[GeekNews 요약] Qwen-Drive-1.0: 자율주행을 위한 비전-언어 기반 AI 모델 공개
44
설명
알리바바 클라우드의 Qwen 팀이 자율주행 분야의 새로운 가능성을 제시하는 Qwen-Drive-1.0 모델을 공개했습니다.
이 모델은 도로 상황 이해부터 주행 경로 계획까지 통합적으로 수행하며, 기존 Qwen3.5 비전-언어 모델을 기반으로 합니다.
Qwen-Drive-1.0은 3D 인식, 시각적 질의응답, 모션 플래닝 기능을 하나의 프레임워크에서 구현하여 자율주행 AI의 발전에 기여할 것으로 기대됩니다.
### 배경 설명
자율주행 기술은 센서 데이터를 기반으로 주변 환경을 인식하고, 이를 바탕으로 안전하고 효율적인 주행 경로를 생성하는 것을 목표로 합니다. 전통적으로 이러한 과정은 독립적인 모듈들(객체 탐지, 경로 계획 등)의 조합으로 이루어졌으나, 최근에는 여러 기능을 통합하는 엔드-투-엔드(End-to-End) 방식의 연구가 활발히 진행되고 있습니다. 특히, 인간의 언어 이해 능력과 시각적 인지 능력을 결합한 비전-언어 모델(Vision-Language Model, VLM)은 자율주행 시스템에 더 높은 수준의 추론 능력과 유연성을 부여할 잠재력을 가지고 있습니다.
이러한 흐름 속에서 Qwen 팀은 기존의 강력한 비전-언어 모델인 Qwen3.5를 기반으로 자율주행에 특화된 기능을 통합한 Qwen-Drive-1.0을 개발했습니다. 이는 단순히 데이터를 나열하는 것을 넘어, 복잡한 도로 상황을 이해하고 이에 기반한 의사결정을 내리는 데 초점을 맞추고 있습니다. 특히, 3D 객체 탐지, 점유 예측, BEV(Bird's Eye View) 맵 분할과 같은 인지 기능과 미래 주행 궤적을 생성하는 계획 기능을 통합함으로써, 자율주행 시스템의 핵심적인 요소들을 하나의 모델 안에서 다루려는 시도입니다. 이는 2026년 9월 arXiv에 공개된 기술 보고서(eprint: 2609.00111)를 통해 그 기술적 깊이를 더하고 있습니다.
### 1. Qwen-Drive-1.0이란 무엇인가
Qwen-Drive-1.0은 알리바바 클라우드의 Qwen 팀이 개발한 자율주행을 위한 초기 단계의 비전-언어 기반 파운데이션 모델입니다. 이 모델은 사전 학습된 Qwen3.5 비전-언어 모델의 아키텍처를 유지하면서, 3D 인식, 시각적 질의응답(VQA), 그리고 모션 플래닝 기능을 통합된 프레임워크 안에서 수행합니다. 기반이 되는 Qwen3.5-4B 모델은 멀티모달 특성을 가지며, 여기에 두 개의 외부 모듈이 추가됩니다. 첫 번째는 BEV(Bird's Eye View) 인식 헤드로, 3D 객체 탐지, 의미론적 점유 예측, BEV 맵 분할을 공동으로 수행합니다. 이 모듈은 공유된 표현에서 접근 가능한 3D 정보를 탐색하고, 3D 장면 구조에 대한 명확하고 검사 가능한 인터페이스를 제공합니다. 두 번째는 플래닝 전문가 모듈로, 공유된 VLM 표현에 조건화되어 미래의 차량 궤적을 생성합니다. 원본 VLM의 LLM 디코더는 변경되지 않아 일반 VQA 및 주행 VQA 작업을 모두 처리할 수 있습니다.
### 2. 주요 구성 요소 및 훈련 전략
Qwen-Drive-1.0은 크게 세 가지 핵심 구성 요소로 나눌 수 있습니다. 첫째, 기반이 되는 Qwen3.5-4B 비전-언어 모델(VLM)은 시각적 정보와 언어적 지시를 이해하는 핵심적인 역할을 수행합니다. 둘째, BEV 인식 헤드는 카메라 이미지로부터 3차원 공간 정보를 추출하여 객체 탐지, 도로 상황 이해, 그리고 지도 분할과 같은 인지 작업을 담당합니다. 셋째, 플래닝 전문가 모듈은 VLM의 이해를 바탕으로 차량이 나아가야 할 미래의 주행 경로를 계획합니다. 이 모델은 인식, 언어, 계획 목표를 통합하는 단계적 훈련 전략을 사용합니다. 운전 관련 특정 지도 학습 데이터와 일반적인 비전-언어 데이터를 결합함으로써, 모델은 전문적인 운전 능력을 갖추면서도 광범위한 시각적 이해 및 지시 따르기 능력을 유지합니다. 이러한 훈련을 지원하기 위해, 이기종적인 인식 주석을 공유 레이블 공간으로 매핑하고, 운전 VQA 응답을 재주석화하여 형식 및 사실적 일관성을 보장하며, 여러 공개 운전 데이터셋의 궤적을 통합된 웨이포인트 표현으로 표준화하는 통합 데이터 파이프라인이 구축되었습니다.
### 3. 성능 평가 및 비교
Qwen-Drive-1.0은 다양한 벤치마크에서 인상적인 성능을 보여주었습니다. 계획(Planning) 부문에서는 NAVSIM v1.1에서 88.2%의 성능을 기록했으며, Waymo Open Dataset E2E 테스트에서는 7.78의 RFS(Root Mean Squared Error) 값을 달성했습니다. NVIDIA PhysicalAI 오픈 루프 평가에서는 0.34m의 minADE(Average Displacement Error)를 기록하며, 이는 3초 동안의 주행 궤적 예측 정확도를 나타냅니다. 특히, SFT(Supervised Fine-Tuning)로 훈련된 플래닝 전문가는 모방 학습을 통해 직접적인 경로 생성을 수행하며, RL(Reinforcement Learning)을 통해 보상 최적화를 거친 후에는 벤치마크 목표에 대한 성능이 더욱 향상되었습니다.
운전 VQA(Driving VQA) 부문에서도 Qwen-Drive-1.0-SFT는 기존의 Qwen3.5-4B 모델 대비 상당한 개선을 보였습니다. 예를 들어, LingoQA 벤치마크에서 77.8의 점수를 기록하며, 이는 IH(in-house Chinese urban driving-decision set)에서 71.0점, WaymoQA all에서 74.5점을 달성하는 등 전반적인 운전 장면 이해 및 추론 능력에서 우수한 성능을 나타냅니다. 일반 VQA 및 추론 능력 또한 유지되어, MMBench에서 85.5점, MMMU-Pro에서 62.7점을 기록하며 기존 모델의 강점을 계승했습니다. 공간 이해 및 접지(Spatial Understanding and Grounding) 영역에서도 EmbSpatial에서 78.9점, Omni3D에서 50.8점을 기록하며, 시각적 정보를 공간적으로 정확하게 이해하는 능력을 입증했습니다.
### 가치와 인사이트
Qwen-Drive-1.0의 등장은 자율주행 시스템 개발에 있어 중요한 시사점을 제공합니다. 첫째, 비전-언어 모델을 자율주행의 핵심 요소로 통합함으로써, 단순한 패턴 인식을 넘어 복잡한 도로 상황에 대한 더 깊은 이해와 추론 능력을 기대할 수 있게 합니다. 이는 인간 운전자의 인지 과정을 모방하는 데 한 걸음 더 다가선 것으로 볼 수 있습니다. 둘째, 3D 인식, VQA, 모션 플래닝을 단일 프레임워크에서 처리하는 능력은 자율주행 시스템의 효율성과 견고성을 향상시킬 수 있습니다. 각 모듈 간의 상호작용을 최적화하고, 데이터 처리 파이프라인을 간소화함으로써 개발 및 배포 과정을 효율화할 수 있습니다. 셋째, 공개된 모델과 코드는 연구 커뮤니티의 발전에 기여할 것입니다. 이를 통해 더 많은 연구자들이 자율주행 AI 모델을 실험하고 개선하며, 새로운 아이디어를 탐구할 수 있는 기반이 마련됩니다. 실무적으로는, 이러한 통합 모델은 자율주행 차량의 안전성과 신뢰성을 높이는 데 직접적으로 기여할 수 있으며, 향후 더욱 발전된 형태의 자율주행 서비스 상용화에 중요한 역할을 할 것으로 예상됩니다.
### 기술·메타
- 라이선스: Apache 2.0
- 모델 다운로드: Hugging Face, ModelScope
- 권장 사양: 24GB 이상의 GPU 메모리
- 기술 스택: Python 3.10, PyTorch, Flash Attention 2 (옵션)
- 저장소: https://github.com/QwenLM/Qwen-Drive-1.0
### 향후 전망
Qwen-Drive-1.0은 자율주행을 위한 비전-언어 파운데이션 모델의 초기 단계로서, 향후 발전 가능성이 매우 높습니다. 현재 모델은 4B(40억 개) 파라미터 규모로 공개되었으나, 더 큰 규모의 모델이나 다양한 센서 데이터(예: LiDAR, Radar)와의 통합을 통해 인식 및 계획 능력을 더욱 향상시킬 수 있을 것입니다. 또한, 강화학습(RL) 기반의 최적화가 일부 적용되었지만, 실제 도로 환경에서의 복잡하고 예측 불가능한 상황에 대한 대응력을 높이기 위해 더욱 정교한 학습 방법론이 필요할 것입니다.
경쟁 구도 측면에서는, Waymo, Cruise와 같은 기존의 자율주행 선두 기업들과 더불어, NVIDIA, Tesla 등 하드웨어 및 소프트웨어 통합 역량을 갖춘 기업들과의 기술 경쟁이 심화될 것으로 예상됩니다. 또한, 오픈 소스 커뮤니티의 활발한 참여는 모델의 빠른 발전과 다양한 응용 분야 확대를 촉진할 것입니다. 규제 측면에서는, 자율주행 기술의 안전성과 신뢰성에 대한 사회적 요구가 높아짐에 따라, 이러한 AI 모델의 성능 검증 및 인증 절차가 더욱 중요해질 것입니다. Qwen-Drive-1.0과 같은 모델이 실제 도로에 적용되기 위해서는 엄격한 테스트와 안전 기준 충족이 필수적입니다. 장기적으로는, 이러한 비전-언어 기반 모델이 자율주행뿐만 아니라 로보틱스, 스마트 시티 등 다양한 분야로 확장될 가능성이 있습니다.
📝 원문 및 참고
- 원문: [링크 열기](https://github.com/QwenLM/Qwen-Drive-1.0)
- GeekNews 토픽: [보기](https://news.hada.io/topic?id=33383)
---
출처: GeekNews ([원문 링크](https://github.com/QwenLM/Qwen-Drive-1.0))
이 글에 대한 한 줄 의견
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 로그인하면 바로 의견을 남길 수 있습니다.