지난 15일부터 17일까지 캘리포니아 산타클라라 컨벤션센터에서 열린 ‘AI 인프라 서밋2026’에 참석한 KB증권 김동원 부서장은 회의 핵심을 요약했다. 8000여 명이 엔지니어와 최고경영자, 250개 기업이 참여해 AI 인프라 전 영역을 논의하는 이번 행사는 ‘전 세계적 풀스택 AI 인프라 컨퍼런스’로 평가됐다.
행사에 주요 참여한 기업은 엔비디아, 오픈AI, 구글, 마이크로소프트(MS), 아마존웹서비스(AWS), 오라클 등 대형 IT기업이다. 김 부서장은 “이번 행사의 핵심 화두는 에이전틱 AI 시대 진입에 따라 GPU 확보를 넘어 메모리, 네트워크, 스토리지, 전력 등 AI 인프라 전반으로 빠르게 확산되고 있다는 점”이라며, “AI 인프라의 주요 병목은 GPU와 주문형 반도체(ASIC) 중심에서 고대역폭 메모리(HBM), D램, 낸드플래시 중심의 메모리로 이동하고 있다”고 강조했다.
김 부서장은 특히 “인텔 CEO가 현재 메모리 공급 부족이 일시적 현상에 그치지 않고 내년에는 더욱 심화될 가능성을 언급”하며, “AI용 HBM 신규 증설이 범용 D램 생산능력을 동시에 잠식하는 구조를 고려하면 AI 수요 확대는 HBM뿐 아니라 전체 D램의 공급 여력까지 제약할 전망”이라고 전망했다.
그는 이어서 “메모리 수요가 증가함에 따라 공급 탄력성은 낮아지며, 내년 메모리 수급은 더욱 타이트해질 것”이라며, 초당 1000 토큰 시대를 열리면서 메모리 성능 요구가 급증할 것으로 예상했다.
김 부서장은 “삼성전자는 현재 대형 AI의 응답속도가 초당 100 토큰(100 tokens/sec) 수준이지만, 에이전틱 AI 시대에는 1000 토큰까지 10배 높은 처리 성능이 필요하다”라며, 기존 2.5D HBM 구조를 넘어 GPU 상단에 메모리를 적층하는 zHBM을 제시했다. zHBM 적용 시스템은 HBM5 대비 최대 8배 성능, 3배 이상 전력 효율을 목표로 한다고 밝혔다.
아울라는 “AI 응답속도가 높아질수록 시스템 성능을 결정하는 핵심 요소는 단순한 연산 능력보다 메모리 대역폭과 데이터 공급 속도로 이동할 것”이라며, “특히 발열 문제를 개선하면서 대역폭을 획기적으로 개선할 수 있는 zHBM은 향후 고성능 AI 시스템의 핵심 기술로 부상할 전망”이라고 점쳤다.
김 부서장은 “삼성전자는 베이스 다이, 인터포저, 첨단 패키징, HBM을 동시에 제공하는 원스톱 솔루션 공급 역량을 확보하고 있어 메모리 중심의 AI 인프라 재편 과정에서 전략적 기회가 확대될 것”이라며, “올해 2분기 HBM 시장 점유율 33%를 기록한 삼성전자는 HBM4 출시 확대를 기반으로 4분기 점유율이 40% 수준에 근접할 것”이라고 전망했다.
KB증권은 이같은 분석을 바탕으로 AI 중심축이 GPU에서 메모리로 바뀌는 시대가 도래한 만큼 삼성전자와 SK하이닉스가 변화의 최대 수혜 기업이 될 것이라고 강조했다. 김 부서장은 “글로벌 시장조사기관 IDC가 최근 1년간 AI 확산으로 기업 데이터가 25% 이상 증가했고, 기업의 74%는 향후 3년간 데이터가 연평균 25% 이상 증가할 것으로 분석”이라며, “이는 AI 모델이 고도화될수록 필요한 것은 GPU에 국한되지 않고 더 많은 메모리로 확장되고 있기 때문”이라고 했다.
그는 마지막으로 “에이전틱 AI는 HBM을 시작으로 고용량 서버 D램, 엔터프라이즈 솔리드스테이트드라이브(SSD), 낸드, 대용량 스토리지까지 이어지는 풀스택 메모리 수요 증가 사이클을 촉발할 것으로 기대된다”고 부연했다.
KB증권은 “향후 AI 성능 개선은 오히려 메모리 중심의 수요를 가속화하는 방향으로 전개되고, AI의 중심축이 GPU에서 메모리로 빠르게 이동하고 있어 삼성전자, SK하이닉스는 메모리 센트릭 시대의 최대 수혜주로 부각될 전망”이라고 마무렸다.