[MIT 연구] 인공지능이 "모르겠어요"라고 솔직하게 말하도록 가르치는 새로운 방법
41
설명
## 배경
요즘 인공지능(AI)은 우리 생활 곳곳에서 놀라운 능력을 보여주고 있어요. 스마트폰의 음성 비서부터 복잡한 계산, 심지어 그림을 그리거나 글을 쓰는 것까지 정말 많은 일을 해내죠. 하지만 인공지능에게는 아직 큰 약점이 하나 있습니다. 바로 '환각(hallucination)' 현상이에요. 환각이란 인공지능이 사실이 아닌 정보를 마치 진짜인 것처럼 자신 있게 말하는 것을 뜻합니다. 예를 들어, 인공지능에게 어떤 질문을 했을 때, 정확한 답을 모르면 "모르겠어요"라고 말해야 하는데, 대신 그럴듯한 거짓 정보를 만들어내서 답하는 경우가 생기는 거죠. 마치 시험 문제를 모르는 학생이 그냥 아무 답이나 자신 있게 적어내는 것과 비슷하다고 할 수 있어요. 이런 환각 현상은 인공지능이 의료 진단, 자율주행차, 금융 분석 등 아주 중요한 분야에서 사용될 때 큰 문제가 될 수 있습니다. 잘못된 정보가 생명이나 재산에 심각한 피해를 줄 수도 있기 때문이죠. 기존의 인공지능 모델들은 자신이 얼마나 답을 확신하는지, 즉 '자신감 추정(confidence estimates)' 능력이 부족했어요. 그래서 MIT 연구팀은 인공지능이 자신이 모르는 것을 솔직하게 인정하고, 언제 '모르겠다'고 말해야 할지 정확히 판단하도록 가르치는 새로운 훈련 방법(training method)을 개발하게 되었습니다. 이 연구는 인공지능의 신뢰도를 높여 우리가 더 안전하게 인공지능을 활용할 수 있도록 돕는 데 중요한 첫걸음이 됩니다.
## 핵심 정리
이번 MIT 연구의 핵심은 인공지능(AI)이 "모르겠어요"라고 솔직하게 말하는 방법을 배우게 하는 새로운 훈련 방식에 있어요. 지금까지의 인공지능은 똑똑하지만, 가끔 자기가 모르는 것을 알면서도 마치 아는 것처럼 거짓 정보를 만들어내곤 했어요. 이걸 '환각(hallucination)'이라고 부르는데, 인공지능이 엉뚱한 답을 자신 있게 말하는 현상이죠. MIT 연구팀은 인공지능이 자신의 대답이 얼마나 정확한지 스스로 판단하는 능력, 즉 '자신감 추정(confidence estimates)'을 훨씬 더 잘하게 만드는 방법을 찾아냈어요. 이 새로운 훈련 방법 덕분에 인공지능은 질문에 대한 답을 잘 찾아내는 능력(성능)은 그대로 유지하면서도, 자신이 정말 모르는 부분에 대해서는 "확실하지 않아요"라고 말할 수 있게 된 거죠. 마치 시험을 볼 때, 아는 문제는 정확히 풀고, 모르는 문제는 억지로 답을 지어내지 않고 "모르겠습니다"라고 솔직하게 말하는 학생과 같다고 생각하면 돼요. 이렇게 되면 인공지능이 잘못된 정보를 자신 있게 말해서 생기는 문제들을 크게 줄일 수 있게 됩니다. 인공지능이 더 믿음직하고 안전하게 우리를 도울 수 있게 되는 아주 중요한 발전이에요.
## 이 기술이 바꿀 미래
인공지능이 "모르겠어요"라고 말할 줄 알게 되면 우리 미래는 어떻게 바뀔까요? 우선, 인공지능이 훨씬 더 '믿을 수 있는 친구'가 될 거예요. 지금은 인공지능이 엉뚱한 답을 자신 있게 말할까 봐 중요한 결정에는 쉽게 사용하기 어려웠지만, 이제는 인공지능이 자신의 한계를 정확히 알기 때문에 의료 진단, 법률 자문, 금융 투자 같은 아주 중요한 분야에서도 더 안전하게 활용될 수 있을 겁니다. 예를 들어, 의사가 인공지능에게 환자의 증상을 물었을 때, 인공지능이 "이 부분은 제가 확실히 모르니 전문가의 판단이 필요합니다"라고 말해준다면, 오진의 위험을 크게 줄일 수 있겠죠. 자율주행차도 예측하기 어려운 상황에서 "지금은 제가 판단하기 어려우니 운전자가 개입해야 합니다"라고 알려줄 수 있을 거예요. 물론 이 기술이 모든 인공지능의 문제를 한 번에 해결하는 마법 같은 방법은 아닙니다. 인공지능이 여전히 잘못된 정보를 학습하거나, 예상치 못한 방식으로 행동할 가능성은 남아있어요. 하지만 이번 연구는 인공지능이 스스로의 '불확실성(uncertainty)'을 인지하고 표현하는 능력을 크게 향상시켰다는 점에서 매우 중요합니다. 앞으로 연구자들은 이 훈련 방법을 더 많은 종류의 인공지능 모델에 적용하고, 인공지능이 단순히 "모르겠어요"라고 말하는 것을 넘어, "왜 모르는지", "어떤 정보가 더 필요한지"까지 설명할 수 있도록 발전시키는 연구를 계속할 것입니다. 이렇게 되면 인공지능은 단순한 도구를 넘어, 인간과 함께 더 나은 결정을 내리는 진정한 협력자가 될 수 있을 거예요.
---
**출처: MIT News (Original Article)**
[**원문 기사 보기 (영문)**](https://news.mit.edu/2026/teaching-ai-models-to-say-im-not-sure-0422)
신고 · 불법·유해·아동 안전(CSAE) 관련 콘텐츠
댓글 0
아직 댓글이 없습니다. 첫 댓글을 남겨 보세요.