[Hacker News 요약] 마이크로소프트 리서치 AI Frontiers 그룹 해체와 연구 방향 충돌
24
설명
2023년 ChatGPT 출시 이후, 마이크로소프트 리서치(MSR) 내 AI 연구 조직인 AI Frontiers(AIF)가 해체되었습니다. AIF는 연구 중심의 접근 방식을 추구했으나, 최근 마이크로소프트 AI(MAI) 조직으로 통합되면서 '스케일링' 중심의 철학과 충돌했습니다.
이러한 변화는 연구원들의 동기 부여와 향후 AI 발전 방향에 대한 중요한 질문을 던집니다.
결과적으로 AIF의 많은 핵심 연구원들이 MSR을 떠나게 되었습니다.
### 배경 설명
2023년 챗GPT(ChatGPT)의 성공 이후, AI 연구 분야는 급격한 변화를 맞이했습니다. 특히 대규모 언어 모델(LLM)의 성능 향상이 '스케일링'에 크게 의존한다는 인식이 확산되면서, 많은 기업들이 연구 개발보다는 모델 크기 확장과 데이터 확보에 집중하는 경향을 보였습니다. 이러한 흐름 속에서 마이크로소프트 리서치(MSR) 내에서도 AI 연구의 방향성에 대한 논의가 활발했습니다. 존 랭포드(John Langford)가 주도한 AI Frontiers(AIF) 그룹은 이러한 '스케일링' 중심의 접근 방식과는 달리, 새로운 근본적인 AI 능력 개발과 연구 자체의 가치를 중시하는 철학을 가지고 있었습니다. AIF는 약 50명의 인원으로 구성되어 있었음에도 불구하고, Autogen 오케스트레이션 프레임워크, Fara 컴퓨터 사용 에이전트, Next Latent objective를 통한 외삽 능력 향상, Dion3를 통한 Muon 모델 개선, Full Bandwidth Transformer를 통한 재귀적 모델 성능 강화 등 다양한 연구 성과를 창출했습니다. 또한, MSR 전체와 공유되는 모노레포(monorepo)를 구축하여 연구 코드의 재사용성을 높이고자 노력했습니다. 이는 MSR 내에서 모델 구축 파이프라인 개발에 대한 여러 시도 중 하나였습니다.
### AI Frontiers 그룹의 설립 배경 및 목표
2023년 챗GPT 출시 이후, AI 연구의 성공을 위해서는 기존 MSR의 일반적인 연구 방식보다 더 체계적인 접근이 필요하다는 인식이 생겼습니다. 다른 연구 그룹들의 막대한 지원과 집중력 때문에, 한 명의 연구자가 아무리 뛰어난 아이디어를 가지고 있더라도 빠르게 발전하는 트렌드를 따라잡고 설득력 있는 결과를 내기 어려웠습니다. 이러한 문제 인식 하에, 여러 연구자들이 뜻을 모아 MSR 내에 AI Frontiers라는 하위 조직을 설립했습니다. AIF는 '탑다운' 또는 '바텀업' 방식이 아닌, 그 중간의 복잡한 지점에서 일관성 있는 연구 노력을 조직화하는 데 중점을 두었습니다. 비록 컴퓨팅 자원 부족과 같은 어려움도 있었지만, AIF는 약 50명 규모의 조직으로 이전보다 훨씬 많은 성과를 창출하며 선구적인 연구를 수행했다고 평가받았습니다.
### AIF의 주요 연구 성과 및 기여
AIF의 주요 연구 분야는 에이전트(agent)의 작동 방식을 이해하고 개선하는 것이었습니다. 대표적인 예로, 복잡한 AI 시스템을 조율하는 Autogen 오케스트레이션 프레임워크와 컴퓨터 사용을 최적화하는 Fara 에이전트가 있습니다. 또한, 뉴욕(NYC)에 기반을 둔 연구원들은 Next Latent objective를 통한 외삽(extrapolation) 능력 개발, Dion3를 통한 Muon 모델의 최적화 및 개선, Full Bandwidth Transformer를 통한 재귀적 모델의 효율성 증대 등 새로운 근본적인 AI 능력 개발에 집중했습니다. 이러한 연구 결과들은 MSR 전체와 공유하기 위해 모노레포 형태로 개발되었으며, 여기에는 COLM 키노트에서 발표된 엣지 스케일 사전 훈련 코드베이스도 포함되었습니다. 이는 모델 구축 파이프라인 개발에 대한 MSR 내 여러 노력 중 하나로, 상당한 노력이 투입된 결과였습니다.
### 마이크로소프트 AI(MAI)로의 통합과 철학적 충돌
2024년 9월 초, AIF는 마이크로소프트 AI(MAI) 조직으로 재편되었습니다. 표면적으로는 두 AI 조직의 통합이 시너지 효과를 창출할 수 있다는 명분이 있었으나, 실제로는 MAI의 리더십 철학과 AIF의 연구 중심 철학 간의 근본적인 충돌이 발생했습니다. MAI는 '스케일링'에 집중하며 연구보다는 규모 확장에 우선순위를 두는 경향이 강했습니다. 이는 연구를 통해 모델을 개선한다는 일반적인 통념과는 다른 접근 방식이며, 비즈니스 관점에서는 규모 확장을 통한 예측 가능한 수익을 선호하는 것으로 보였습니다. 이러한 '스케일링 온리' 환경에서는 데이터 확보 및 정제에 집중하게 되므로, AIF가 추구하던 연구 방향과는 거리가 멀었습니다. 또한, AIF 연구원들이 환영받지 못한다는 정황도 포착되었습니다.
### 연구의 가치와 '스케일링 온리' 접근의 한계
존 랭포드는 '스케일링 온리' 접근 방식이 잘못되었을 뿐만 아니라 재미도 없다고 지적합니다. 그는 혁신과 규모라는 상충되는 이상 사이에서 단기적인 이익을 위해 한쪽을 완전히 포기하는 것은 근시안적인 실패 모드라고 비판합니다. 그러나 연구를 통한 성과는 분명하고 상당합니다. 예를 들어, 바이트댄스(Bytedance)의 실험 결과는 Full Bandwidth Transformer의 변형이 두 배 크기의 모델과 유사한 성능을 낼 수 있음을 시사하며, 이는 동일한 성능을 위해 훈련 및 추론 비용을 크게 절감할 수 있음을 의미합니다. 현재 AI 산업에 거의 1조 달러에 달하는 투자가 이루어지고 있음을 고려할 때, 훈련 및 추론 비용을 절반으로 줄이는 것의 가치는 매우 큽니다. 이러한 연구의 중요성에도 불구하고, MSR 내에서는 연구 성과가 실제 활용으로 이어지거나 진지하게 고려될 가능성이 낮다는 판단이 작용했습니다.
### 가치와 인사이트
AI Frontiers 그룹의 해체는 대규모 AI 모델 개발에서 '스케일링'과 '연구'라는 두 가지 주요 접근 방식 간의 긴장을 보여줍니다. '스케일링 온리' 전략은 단기적인 성과와 예측 가능한 비즈니스 수익을 제공할 수 있지만, 장기적인 혁신과 근본적인 기술 발전에는 한계가 있을 수 있습니다. AIF의 연구 성과, 특히 Full Bandwidth Transformer와 같은 기술은 비용 효율적인 AI 모델 개발의 가능성을 제시하며, 이는 AI 산업 전반에 걸쳐 막대한 경제적 영향을 미칠 수 있습니다. 이 사건은 기업들이 AI 연구 개발에 있어 단기적 이익과 장기적 혁신 사이의 균형을 어떻게 맞춰야 하는지에 대한 중요한 시사점을 제공합니다.
### 기술·메타
- Autogen
- Fara
- Next Latent objective
- Dion3
- Muon
- Full Bandwidth Transformer
- COLM
### 향후 전망
AI Frontiers 그룹의 해체는 마이크로소프트 리서치 내에서 연구 중심의 접근 방식이 위축될 수 있음을 시사합니다. '스케일링'에 집중하는 MAI 조직의 철학이 계속 유지된다면, MSR은 혁신적인 연구보다는 기존 모델의 개선 및 확장에 더 많은 자원을 투입할 가능성이 높습니다. 이는 AI 분야의 전반적인 발전 속도와 방향에 영향을 미칠 수 있습니다. AIF의 핵심 연구원들이 MSR을 떠나면서, 이들이 다른 곳에서 어떤 연구를 이어갈지가 주목됩니다. 만약 이들이 새로운 조직을 설립하거나 다른 연구 기관에 합류하여 연구를 지속한다면, 이는 AI 연구 생태계에 새로운 변화를 가져올 수 있습니다. 또한, MSR이 미래에 다시 연구 중심의 매력적인 조직으로 거듭나기 위해서는 리더십의 변화와 함께 연구의 가치를 인정하고 이를 실제 활용으로 연결하려는 노력이 필요할 것입니다.
📝 원문 및 참고
- Source: Hacker News
- 토론(HN): [news.ycombinator.com](https://news.ycombinator.com/item?id=50406563)
- 원문: [링크 열기](https://hunch.net/?p=13764006)
---
출처: Hacker News · [원문 링크](https://hunch.net/?p=13764006)
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.