[Techmeme 요약] OpenAI, 자체 개발 AI 칩 'Jalapeño' 공개: 브로드컴과 협력, AI 모델로 칩 설계까지
0
설명
OpenAI의 하드웨어 부문 부사장인 Richard Ho가 자체 개발 AI 칩 'Jalapeño'에 대해 상세히 설명했습니다.
이 칩은 브로드컴(Broadcom)과의 협력을 통해 개발되었으며, 특히 칩 설계 과정에 OpenAI의 자체 AI 모델이 활용되었다는 점이 주목받고 있습니다.
Jalapeño는 기존의 범용 AI 가속기와는 다른 접근 방식으로, 미래 AI 인프라에 대한 OpenAI의 비전을 엿볼 수 있는 중요한 결과물입니다.
### 배경 설명
OpenAI는 그동안 소프트웨어 중심의 기업으로 알려졌지만, AI 모델의 성능 향상과 효율적인 운영을 위해서는 맞춤형 하드웨어의 중요성을 인지하고 자체 칩 개발에 나섰습니다. 2026년 6월, OpenAI는 브로드컴과 협력하여 자체 실리콘을 개발 중임을 공식 발표했으며, 이 칩의 코드명은 'Jalapeño'입니다.
Jalapeño는 훈련(training)용 칩이 아닌 추론(inference) 가속기이며, 216GiB의 HBM4 메모리와 고성능 컴퓨팅 칩렛, I/O 칩렛으로 구성됩니다. 최대 700W의 전력을 소모하며, 2,048개의 가속기로 구성된 시스템은 4비트 정밀도에서 27 EFLOP/s의 성능을 냅니다.
이번 인터뷰에서 Richard Ho는 Jalapeño가 기존의 분산된 하드웨어 구성과 달리, 전체 추론 워크로드를 단일 칩으로 처리하도록 설계된 점과, 칩 설계 과정에 OpenAI의 AI 모델이 적극적으로 활용된 점을 강조했습니다. 이는 AI 칩 설계 방식에 새로운 가능성을 제시합니다.
### Jalapeño 칩의 특징과 성능
Jalapeño는 216GiB의 HBM4 메모리를 탑재하고 초당 15.4TB의 대역폭을 제공합니다. 또한, 컴퓨팅 칩렛과 I/O 칩렛으로 구성되어 효율적인 데이터 처리와 통신을 지원합니다. 최대 700W의 전력 소모를 가지며, 2,048개의 가속기로 구성된 시스템은 4비트 정밀도에서 27 EFLOP/s의 연산 성능을 달성합니다. Hot Chips 2026에서 공개된 성능 데이터에 따르면, Jalapeño는 NVIDIA GB200/GB300 대비 와트당 성능에서 1.5배에서 1.9배, 지연 시간에서는 1.7배에서 3.6배 더 우수한 성능을 보였습니다. 특히, NVIDIA가 도달하기 어려운 특정 운영 지점에서는 최대 104배까지 뛰어난 성능을 나타냈습니다.
### AI 모델을 활용한 칩 설계 혁신
Jalapeño 설계의 가장 큰 특징 중 하나는 OpenAI의 자체 AI 모델을 활용하여 칩의 컴퓨팅 설계, 회로 배치, 커널 최적화 등 전반적인 과정을 진행했다는 점입니다. 예를 들어, 특정 어텐션(attention) 구현은 AI 모델의 도움으로 약 40시간 만에 메모리/컴퓨팅 루프라인(roofline) 사용률을 1% 미만에서 90% 가까이 끌어올렸습니다. 이는 AI가 하드웨어 설계의 복잡한 문제를 해결하고 개발 속도를 혁신적으로 단축할 수 있음을 보여줍니다. Richard Ho는 과거 구글 TPU 개발 경험을 바탕으로, AI 모델이 설계 과정에서 인간 엔지니어의 능력을 '슈퍼차지'하는 역할을 할 것이라고 설명했습니다.
### 균질화된 데이터센터 설계와 미래 전망
기존 업계에서는 추론 워크로드를 사전 생성(prefill), 추측적 디코딩(speculative decode), 전체 디코딩(full decode) 등 각 단계별로 특화된 하드웨어를 사용하는 이질적인(heterogeneous) 접근 방식을 취해왔습니다. 하지만 OpenAI는 Jalapeño를 통해 이러한 추론 워크로드 전체를 단일 칩으로 처리하는 균질화된(homogeneous) 데이터센터 통합을 추구합니다. 이는 데이터센터 운영의 유연성과 효율성을 극대화하려는 시도로, 미래 AI 인프라 구축에 새로운 방향을 제시할 것으로 기대됩니다. Richard Ho는 이러한 접근 방식이 데이터센터 전체의 자원 활용도를 높이고, 다양한 워크로드에 대한 적응력을 강화할 것이라고 강조했습니다.
### 가치와 인사이트
OpenAI의 Jalapeño 칩 개발은 AI 하드웨어 설계 분야에서 두 가지 중요한 혁신을 보여줍니다. 첫째, AI 모델 자체를 칩 설계에 활용하여 개발 효율성을 극대화했다는 점입니다. 이는 향후 AI 칩 개발 속도를 가속화하고, 더 복잡하고 최적화된 설계를 가능하게 할 것입니다. 둘째, 추론 워크로드 전체를 단일 칩으로 처리하는 균질화된 데이터센터 아키텍처를 제시했다는 점입니다. 이는 기존의 분산된 이질적 접근 방식과 대비되며, 데이터센터 운영의 유연성과 확장성을 크게 향상시킬 잠재력을 지닙니다. 이러한 접근 방식은 AI 인프라 구축 비용을 절감하고, AI 기술의 접근성을 높이는 데 기여할 수 있습니다.
### 기술·메타
- 협력사: Broadcom
- 칩 코드명: Jalapeño
- 메모리: 216 GiB HBM4
- 시스템 성능 (4비트 정밀도): 27 EFLOP/s
- 경쟁사 대비 성능 우위 (NVIDIA GB200/GB300): 와트당 성능 1.5~1.9배, 지연 시간 1.7~3.6배
### 향후 전망
Jalapeño의 등장은 AI 인프라 시장에 상당한 변화를 가져올 것입니다. OpenAI는 자체 칩 개발을 통해 AI 모델의 성능을 최대한 끌어낼 수 있는 최적의 하드웨어를 확보하고, 이를 통해 AI 서비스의 비용 효율성을 높여 더 많은 사용자에게 AI 기술을 제공하는 것을 목표로 합니다.
이러한 자체 칩 개발 추세는 다른 빅테크 기업들에게도 영향을 미쳐, AI 전용 반도체 시장의 경쟁을 더욱 심화시킬 것입니다. 또한, AI 모델의 발전 속도에 맞춰 하드웨어가 신속하게 적응해야 하는 필요성이 커지면서, 칩 설계 과정에 AI를 활용하는 방식이 보편화될 가능성이 높습니다. 장기적으로는 AI 칩의 성능 향상과 가격 하락이 AI 기술의 대중화를 가속화하고, 다양한 산업 분야에 AI가 더욱 깊숙이 통합되는 결과를 가져올 것으로 예상됩니다. 특히, 균질화된 데이터센터 설계는 AI 모델의 배포 및 관리를 단순화하고, 새로운 AI 애플리케이션 개발을 촉진하는 기반이 될 수 있습니다.
📝 원문 및 참고
- Source: Techmeme
- Techmeme 리버: [techmeme.com](https://www.techmeme.com/261004/p9#a261004p9)
- 원문 기사: [링크 열기](https://morethanmoore.substack.com/p/interview-with-richard-ho-openai)
---
출처: Techmeme ([Original Article](https://morethanmoore.substack.com/p/interview-with-richard-ho-openai))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.