구글, AI 반도체 전략 대대적 전환 학습 추론 두산으로

구글이 인공지능 기술의 새로운 지평인 에이전트 시대를 맞아 하드웨어 전략을 근본적으로 재편했다. 과거에는 하나의 범용 칩으로 학습 과정과 추론 업무를 모두 처리하던 방식을 버리고, 대규모 학습 전용인 TPU 8t와 고동시성 추론 전용인 TPU 8i라는 두 가지 맞춤형 반도체를 독자적으로 개발해 선보였다. 이 회사는 23일 미국 라스베이거스에서 열린 클라우드 넥스트 2026 컨퍼런스에서 이 두 가지 혁신적인 칩을 공식 발표했다. 구글 측은 현재 AI 시장이 모델을 만드는 개발 단계에서 실제 서비스에 투입하는 운영 단계로 빠르게 분화되고 있다고 진단하며, 이러한 수요 구조의 변화에 맞춰 설계된 새로운 칩 라인업임을 강조했다.

이전 세대인 아이언우드 TPU가 추론 시대를 대비한 단일 플래그십 플랫폼이었다면, 이번 세대는 구조 자체를 이원화한 점이 가장 큰 특징이다. AI 에이전트 기술의 급속한 확산으로 인해 더 거대한 모델을 훈련시킬 수 있는 인프라와, 이를 클라우드 환경에서 빠르고 효율적으로 실행할 추론 인프라에 대한 수요가 동시에 폭발적으로 증가했기 때문이다. 구글은 이를 반영해 학습용과 추론용을 명확히 구분하는 전략을 취함으로써, 각 단계의 특성에 최적화된 성능과 효율성을 확보하려는 의지를 보였다.

TPU 8t는 대규모 사전 학습과 임베딩 중심의 워크로드에 집중된 칩으로, 3D 토러스 네트워크 토폴로지를 적용해 대형 클러스터의 확장성을 극대화했다. 단일 팟 기준 연결 가능한 칩 수는 9600개로 기존 모델의 9216개를 넘어섰으며, 핵심은 SparseCore 기술과 4비트 부동소수점 연산 지원이다. SparseCore는 대형 언어 모델 검색 과정에서 자주 발생하는 불규칙한 메모리 접근을 처리하는 전용 가속기 역할을 하며, 저비트 연산을 결합해 메모리 대역폭 부담을 낮췄다. 이를 통해 더 작은 메모리 사용량으로도 정확도를 유지하면서 처리량을 두 배로 높였으며, 파라미터당 비트 수를 줄이는 양자화 기술 흐름과도 맞닿아 있어 전력 사용량과 공간 부담을 동시에 줄일 수 있다.

TPU 8i는 학습이 완료된 모델을 실제 서비스에 투입하는 추론 단계에 맞춰 설계되었으며, 대형 모델의 후처리와 다수 사용자가 동시에 요청하는 고동시성 추론에 강점을 둔다. 구글에 따르면 이 칩은 기존 모델보다 3배 많은 정적 램을 탑재해 LLM 추론 시 필요한 큰 키 값 캐시를 담을 수 있어 텍스트 생성 속도를 획기적으로 높였다. 또한 Collectives Acceleration Engine이라는 추론 시스템을 적용해 자기회귀 디코딩과 연쇄 추론 과정에서 필요한 동기화 및 축소 연산을 가속화했다. 보드플라이 ICI라는 맞춤형 네트워크 토폴로지를 도입해 최대 1152개 칩을 상호 연결할 수 있도록 했으며, 데이터 패킷 이동 거리와 홉 수를 줄여 전체 통신 홉 수를 최대 50% 절감했다.

구글의 이번 승부수는 엔비디아 중심의 시장을 흔들 수 있는지에 주목된다. TPU 8t와 8i 모두 이전 세대 대비 와트당 성능이 2배 향상되어 전력 효율성을 확보했으며, 이는 대형 AI 데이터센터의 수익성을 좌우하는 핵심 변수다. 단순한 반도체 신제품 공개를 넘어 구글이 AI 인프라 전략을 학습과 추론으로 본격 분리했다는 신호이며, AI 서비스 경쟁이 모델 성능뿐 아니라 운영비와 응답 속도, 동시 처리량으로 옮겨가는 흐름 속에서 클라우드 사업의 무게감을 키우려는 전략이다. 시장에서는 실제 고객 도입 속도와 엔비디아 생태계와의 소프트웨어 호환성이 성패를 가를 변수로 보지만, AI 에이전트 확산으로 학습용과 추론용 수요가 동시에 커지고 있는 만큼, 구글의 이원화 전략은 향후 AI 인프라 경쟁의 중요한 분기점이 될 가능성이 높다.