[Hacker News 요약] AI 칩 아키텍처의 진화: GPU, TPU, 그리고 새로운 경쟁자들
20
설명
2018년 컴퓨터 아키텍처 심포지엄에서 존 헤네시와 데이비드 패터슨은 '컴퓨터 아키텍처의 새로운 황금기'를 선언했습니다. 무어의 법칙과 데나드 스케일링의 종말로 인해 CPU 성능 향상이 둔화되면서, AI 연산에 특화된 도메인별 아키텍처(DSA)의 필요성이 대두되었습니다. 2026년 현재, GPU, TPU, LPU, NPU 등 수십 개의 새로운 아키텍처가 경쟁하며 AI 컴퓨팅의 미래를 형성하고 있습니다.
### 배경 설명
AI 연산의 핵심은 행렬 곱셈이며, 특히 트랜스포머 모델은 수많은 행렬 곱셈 연산으로 구성됩니다. 모델 학습 시에는 대규모 행렬 곱셈이, 추론 시에는 토큰 생성 방식에 따라 행렬-벡터 곱셈이 빈번하게 발생합니다. 이러한 연산의 효율성을 높이기 위해 각 아키텍처는 데이터 이동을 최소화하고 연산 단위를 최대한 활용하는 다양한 전략을 채택하고 있습니다. 이는 칩의 철학, 아키텍처, 확장 방법, 소프트웨어 스택 등 여러 측면에서 차이를 만들어내며, AI 하드웨어 경쟁의 핵심 동인이 되고 있습니다.
특히, AI 모델의 규모가 커지고 복잡해짐에 따라 메모리 대역폭의 한계(메모리 벽)는 더욱 두드러지고 있습니다. 컴퓨팅 성능은 기하급수적으로 향상되었지만, 메모리 대역폭은 그 속도를 따라가지 못하고 있습니다. 따라서 새로운 칩 아키텍처들은 이 '데이터 이동 게임'에서 승리하기 위한 혁신적인 접근 방식을 제시하고 있습니다. 이는 단순히 연산 속도를 높이는 것을 넘어, 데이터가 어디에 저장되고, 어떻게 연산 장치로 이동하며, 연산 장치 자체의 구조는 어떠한지, 그리고 대규모 클러스터에서 칩들이 어떻게 통신하는지에 대한 근본적인 질문에 답하는 과정입니다.
### NVIDIA GPU: 범용성과 프로그래밍 가능성의 정점
NVIDIA GPU는 수천 개의 스레드를 활용하는 대규모 병렬 처리 장치로, CUDA 생태계를 통해 프로그래밍 가능성을 극대화했습니다. 2006년 Tesla G80부터 시작된 GPU 아키텍처는 2024년 Blackwell B200, 2025년 Blackwell Ultra B300, 2026년 Rubin까지 꾸준히 발전하며 Tensor Core의 성능 향상, FP8 및 FP4 지원, Transformer Engine 도입 등으로 AI 연산 효율성을 높여왔습니다. 특히, 2027년 Rubin Ultra는 4개의 다이로 구성된 GPU 패키지와 1TB HBM4e를 탑재하여 100 PetaFLOPS FP4 성능을 목표로 합니다. NVIDIA의 전략은 각 세대마다 프로그래밍 모델은 유지하면서 가속 프라이머티브를 추가하는 '점진적 진화'에 있습니다. 이는 18년 동안 축적된 CUDA 소프트웨어 생태계의 강력한 기반이 됩니다.
### Google TPU: 컴파일러 중심의 특화된 행렬 연산 머신
Google TPU는 행렬 곱셈에 특화된 '시스톨릭 어레이'를 중심으로 설계되었습니다. 2015년 TPU v1부터 시작하여 2024년 Trillium v6e, 2025년 Ironwood v7, 2026년 TPU v8까지 발전하며 MXU(Matrix Multiplication Unit)의 크기와 성능을 꾸준히 향상시켰습니다. TPU의 핵심 철학은 하드웨어 스케줄러나 캐시 없이 컴파일러가 모든 연산과 데이터 이동을 미리 계획하는 '컴파일러 중심' 설계입니다. 이는 VLIW(Very Long Instruction Word) 아키텍처와 소프트웨어 관리 스크래치패드를 통해 구현됩니다. 2023년 v4부터 도입된 SparseCore는 임베딩 조회와 같은 불규칙한 워크로드 처리에 특화되어 있으며, 2025년 v8i는 CAE(Collectives Acceleration Engine)로 발전하여 추론 시의 집단 연산 가속을 담당합니다. TPU는 대규모 클러스터 구축에 강점을 보이며, 2026년 TPU v8t는 9,600개의 칩으로 121 ExaFLOPS FP4 성능을 목표로 합니다.
### AMD Instinct: 개방형 생태계와 칩렛 기술의 강자
AMD Instinct GPU는 NVIDIA와 달리 CU(Compute Unit)의 변화는 보수적으로 유지하면서 패키징 기술에 집중합니다. 2023년 CDNA 3 아키텍처의 MI300X는 3D 스태킹 칩렛 기술을 적용하여 8개의 XCD(Compute Die)를 IOD(I/O Die) 위에 쌓아 올렸으며, 이는 NVIDIA보다 한 세대 앞선 3D 스태킹 기술입니다. MI300A는 CPU와 GPU를 하나의 패키지에 통합한 APU로, CPU와 GPU 간의 직접적인 메모리 접근을 가능하게 합니다. AMD는 2021년 MI210부터 HBM 용량을 꾸준히 늘려왔으며, 2025년 MI355X는 288GB HBM3e를 탑재합니다. 또한, ROCm, HIP와 같은 개방형 소프트웨어 생태계와 UALink와 같은 개방형 스케일업 패브릭을 통해 경쟁력을 확보하고 있습니다. 2026년 Helios 랙은 72개의 MI455X GPU를 UALink로 연결하여 NVIDIA의 NVL72에 대응합니다.
### Cerebras WSE: 단일 웨이퍼 규모의 혁신
Cerebras Wafer-Scale Engine(WSE)은 칩렛 기술의 한계를 극복하기 위해 단일 웨이퍼 전체를 하나의 칩으로 제작하는 접근 방식을 취합니다. 2019년 WSE-1부터 시작하여 2024년 WSE-3는 46,225mm² 크기에 90만 개의 코어와 44GB의 온칩 SRAM을 탑재했습니다. WSE는 데이터 흐름(Dataflow) 아키텍처를 기반으로 하며, 각 코어는 SRAM과 로직으로 구성되어 있습니다. 행렬 곱셈은 전용 매트릭스 유닛이 아닌, 수많은 코어의 협력을 통해 이루어집니다. WSE의 가장 큰 장점은 메모리 벽을 근본적으로 해결했다는 점입니다. 모든 메모리가 온칩 SRAM에 존재하므로 데이터 이동 지연이 극히 낮습니다. 이는 특히 추론 단계에서 큰 이점을 제공합니다. 2026년 OpenAI는 CS-3 용량에 대한 대규모 계약을 체결하며 WSE의 잠재력을 입증했습니다.
### AWS Trainium: 클라우드 기반의 맞춤형 AI 칩
AWS Trainium은 TPU의 아키텍처를 기반으로 하되, AWS의 클라우드 인프라와 긴밀하게 통합되도록 설계되었습니다. 2022년 Trainium1부터 시작하여 2024년 Trainium2, 2025년 Trainium3까지 발전하며 NeuronCore의 성능을 향상시키고 FP8 및 FP4 지원을 강화했습니다. Trainium의 핵심은 TPU와 유사한 시스톨릭 어레이와 소프트웨어 관리 스크래치패드, 그리고 컴파일러 중심의 설계를 유지하면서도, 전용 집단 통신 코어(CC-Core)를 탑재하여 행렬 연산과 통신을 동시에 수행할 수 있다는 점입니다. 이는 GPU에서 커널 연산과 통신이 경쟁하는 것과 달리, 하드웨어 수준에서 병렬성을 확보하는 것입니다. AWS는 자체 클라우드 인프라를 활용하여 Trainium 칩의 가격 대비 성능을 극대화하고 있으며, Anthropic과의 협력을 통해 대규모 AI 모델 학습에 활용하고 있습니다.
### Groq LPU: 결정론적 추론을 위한 혁신
Groq LPU는 '결정론적(Deterministic)' 아키텍처를 표방합니다. 캐시, 분기 예측기, 중재기 등 불확실성을 야기하는 요소를 제거하고, 컴파일러가 모든 연산과 데이터 이동을 정확한 사이클 단위로 계획합니다. 이는 2020년 TSP부터 시작되어 2024년 LPU로 리브랜딩되었습니다. LPU는 SRAM만을 메모리로 사용하며, 칩 간 통신 역시 컴파일러에 의해 스케줄링됩니다. 2025년 NVIDIA는 Groq의 기술 라이선스를 취득하고 핵심 인력을 영입했으며, 2026년 NVIDIA Groq 3 LPU는 NVIDIA GPU와 협력하여 추론 성능을 극대화할 예정입니다. Groq의 강점은 단일 사용자 추론 지연 시간(latency)에서 타의 추종을 불허하는 성능을 제공한다는 점입니다.
### 기타 주목할 만한 아키텍처들
이 외에도 Tenstorrent는 RISC-V 기반의 개방형 아키텍처를, Tesla는 비디오 학습에 최적화된 D1 칩을 개발했으나, 현재는 추론 중심의 AI6 플랫폼으로 전환했습니다. Meta는 6개월마다 칩을 업데이트하는 빠른 반복 개발 전략으로 MTIA 칩을 선보이며, Intel Gaudi는 개방형 소프트웨어와 표준 이더넷 네트워킹을 강점으로 내세웁니다. MatX는 동적으로 분할 가능한 시스톨릭 어레이를, Taalas는 모델 자체를 실리콘에 각인하는 혁신적인 방식을 제안하며 AI 칩 설계의 다양성을 보여주고 있습니다.
### 가치와 인사이트
AI 칩 아키텍처의 발전은 단순히 성능 경쟁을 넘어, AI 워크로드의 다양화에 따른 최적화 전략의 분화를 보여줍니다. GPU는 범용성과 프로그래밍 용이성을 바탕으로 생태계를 확장하고 있으며, TPU는 특정 연산에 대한 효율성을 극대화하고 있습니다. AMD는 개방형 생태계와 칩렛 기술로, Cerebras는 웨이퍼 스케일의 혁신으로, AWS Trainium은 클라우드 통합으로, Groq는 결정론적 추론으로 각자의 강점을 구축하고 있습니다. 이러한 다양한 접근 방식은 AI 모델의 규모, 연산 특성(학습 vs. 추론, 밀집 vs. 희소), 배포 환경(클라우드 vs. 엣지)에 따라 최적의 하드웨어가 달라질 수 있음을 시사합니다. 결국, AI 칩의 미래는 특정 아키텍처가 모든 것을 지배하기보다는, 다양한 특화 하드웨어들이 소프트웨어와 긴밀하게 통합되어 복잡한 AI 워크로드를 효율적으로 처리하는 이기종(heterogeneous) 인프라가 될 가능성이 높습니다.
### 기술·메타
- NVIDIA GPU: CUDA, Tensor Core, Transformer Engine, HBM, NVLink, NVSwitch
- Google TPU: XLA, Systolic Array, VLIW, SparseCore, ICI, OCS
- AMD Instinct: ROCm, HIP, Infinity Fabric, UALink, OCP MX
- Cerebras WSE: Dataflow, SRAM, SwarmX, MemoryX
- AWS Trainium: NeuronCore, NeuronLink, CC-Core, OpenXLA, NKI
- Groq LPU: Deterministic Architecture, SRAM, RealScale, Software-Scheduled Network
- Tenstorrent: RISC-V, Tensix Core, Blackhole, TT-Metalium, TT-Forge, TT-MLIR, GDDR6
- Tesla: D1 Chip, CFloat8/CFloat16, AI6/AI7 Platform
- Meta MTIA: RISC-V, Dot Product Engine, SIMD Engine, Asynchronous Dataflow, LPDDR5, HBM
- Intel Gaudi: Tensor Processor Core, Matrix Multiplication Engine, Ethernet, RoCEv2
- MatX: Splittable Systolic Array, SRAM + HBM, Custom Numerics
- Taalas: Mask ROM Recall Fabric, Transistor-Level Encoding, SRAM
### 향후 전망
AI 칩 시장은 앞으로도 치열한 경쟁이 예상됩니다. NVIDIA의 CUDA 생태계는 여전히 강력한 진입 장벽이지만, Google, AWS의 수직 통합, AMD의 개방형 전략, 그리고 Groq, MatX, Tenstorrent와 같은 전문화된 아키텍처들이 새로운 가능성을 제시하고 있습니다. 특히, Taalas와 같이 모델 자체를 실리콘에 각인하는 방식은 추론 비용을 획기적으로 절감할 수 있는 잠재력을 가지고 있습니다. AI 컴퓨팅 수요는 계속해서 증가할 것이며, 이는 하드웨어 혁신을 더욱 가속화할 것입니다. 각 기업은 단순히 성능을 넘어, 소프트웨어 생태계, 시스템 통합, 경제성, 그리고 특정 워크로드에 대한 최적화 능력을 종합적으로 갖추어야 경쟁 우위를 확보할 수 있을 것입니다. AI 칩의 발전은 AI 기술의 발전 속도와 궤를 같이하며, 앞으로 가장 역동적이고 중요한 엔지니어링 경쟁 중 하나가 될 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=49405657)
- 원문: [링크 열기](https://www.jepeake.com/ai-chip-architectures)
---
출처: Hacker News · [원문 링크](https://www.jepeake.com/ai-chip-architectures)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.