- 오픈AI의 최신 모델은 이미지 속 단서를 스스로 확대하고 분석해 촬영된 장소와 구도까지 정확히 추론하는 놀라운 능력을 보여줍니다.
- 하지만 실존 인물에 대한 질문(Person QA) 등 특정 영역에서는 48%에 달하는 높은 환각률(할루시네이션)을 기록하며 치명적인 약점을 드러냈습니다.
- 이는 AI가 속도와 창의성을 높이는 과정에서 발생한 부작용으로, 사용자는 AI를 맹신하지 않고 스스로 팩트를 검증하는 태도를 갖춰야 합니다.
{img}
안녕하세요 IT 커뮤니케이터 김덕진 소장입니다. 여러분, 혹시 길을 가다 무심코 찍은 사진 한 장 때문에 내 위치가 완벽하게 탄로 날 수 있다고 생각해 보신 적 있나요? 최근 오픈AI가 선보인 최신 모델의 추론 능력을 테스트해 보다가 저는 진짜 소름이 돋았습니다. 단순한 이미지 인식을 넘어 스스로 생각하고 단서를 찾아내는 수준에 이르렀거든요. 하지만 이 놀라운 능력 뒤에는 48%라는 충격적인 환각률(할루시네이션)이 숨어 있습니다. 오늘은 AI가 도대체 어디까지 발전했는지, 그리고 왜 이렇게 헛소리도 같이 늘었는지 그 명암을 확실하게 짚어보겠습니다.
사진 한 장의 공포: AI, 스스로 생각하고 위치를 찾다
예전에는 AI에게 이미지를 주면 "이건 컵입니다", "여기에 글씨가 있네요" 하고 읽어주는 정도였습니다. 그런데 지금은 완전히 다릅니다. 이미지를 보고 '추론'을 하기 시작한 거죠. 제가 직접 동네 카페에서 찍은 창밖 사진을 하나 올리고 "여기가 어딘지 분석해 봐"라고 시켜봤습니다.
{img}
[출처] 김덕진의 AI디아 제공 영상 · 04:47
결과는 정말 놀라웠습니다. AI가 스스로 사진 속 조그만 간판을 확대해서 '플래핑 커피'라는 상호를 찾아내더니, 온라인 검색을 통해 마포구 망원동 일대라는 것을 파악했습니다. 여기서 끝이 아닙니다. 사진 속 건물 외벽의 재질, 1차선 일방통행로, 심지어 도로에 그려진 S자형 화살표 무늬가 서울시 도로 표식 규격이라는 것까지 대조하더라고요. 결국 "마포구청역 인근 카페 내부에서 창문 너머로 골목을 촬영한 곳"이라는 정확한 결론을 냈습니다. 메타데이터 하나 없이 오직 사진 속 단서만으로 위치를 역추적한 겁니다.
믿었던 AI의 배신: 48%의 환각률이 의미하는 것
이 정도면 "와, 이제 AI가 내 모든 걸 다 알 수 있겠구나" 싶잖아요? 여기서 제일 궁금한 게 있죠. 이렇게 똑똑한 AI를 과연 100% 믿어도 될까요? 결론부터 말씀드리면, 절대 안 됩니다.
{img}
[출처] 김덕진의 AI디아 제공 영상 · 10:54
최근 테크크런치 등 외신을 통해 충격적인 벤치마크 결과가 나왔습니다. 오픈AI의 최신 모델이 실존 인물에 관한 질문을 던지는 'Person QA' 테스트에서 무려 48%의 환각률(할루시네이션)을 기록했다는 겁니다. 두 번에 한 번꼴로 아주 뻔뻔하게 거짓말을 한다는 뜻이죠. 예를 들어 "버락 오바마가 노벨 평화상을 언제 탔나요?"라고 물어보면, 안 탔다고 해야 하는데 "몇 년 몇 월에 탔습니다"라고 그럴싸하게 지어내는 식입니다. 이미지 추론에서는 천재 같은 모습을 보이면서, 특정 사실 확인에서는 심각한 오류를 범하고 있는 상황입니다.
왜 더 똑똑해졌는데 헛소리도 같이 늘었을까?
그렇다면 도대체 왜 이렇게 할루시네이션이 심해진 걸까요? 오픈AI의 AI 아바타 '먼데이'의 입을 빌려 아주 직관적으로 설명해 드리겠습니다. 짧고 가혹하게 요약하자면 "속도를 높이고 다재다능하게 만들다 보니 뇌내 망상 기능도 같이 부풀어 올랐다"는 겁니다.
과거의 AI가 정답만 말하려고 노력했다면, 최신 모델들은 속도와 창의성, 유연성을 함께 끌어올리도록 설계되었습니다. 마치 사람이 커피 세 잔을 연거푸 마시고 아이디어를 마구 쏟아내는 상태와 비슷하죠. 모르면 모른다고 해야 하는데, 인간 직장인들이 회의 시간에 "제 생각에는요..." 하면서 그럴싸하게 말을 지어내듯 AI도 아는 척하는 습관을 학습해 버린 겁니다. 더 인간답고 쓸모 있게 만들려다 보니 인간의 단점까지 닮아버린, 어떻게 보면 참 아이러니한 진화입니다.
결국에는 인간의 몫: AI는 조수일 뿐, 심판이 아니다
자, 이제 우리가 어떻게 해야 할지가 명확해집니다. AI가 놀라운 추론 능력을 갖춘 것은 사실이지만, 그 이면에는 언제든 그럴싸한 거짓말을 할 수 있다는 위험성이 공존합니다.
{img}
[출처] 김덕진의 AI디아 제공 영상 · 19:00
오픈AI 역시 "중요한 결정은 AI에 의존하지 말고 항상 검증하라"는 가이드라인을 제시하고 있습니다. 문제는 우리 인간들이 너무 편해졌다는 데 있습니다. "AI가 이렇게 답했으니까 맞겠지"라며 자기 검증을 포기하는 순간, 우리는 AI의 헛소리에 휘둘리게 됩니다. 기술이 가져다주는 편리함에만 취할 것이 아니라, 우리가 직접 뇌를 쓰고 팩트를 체크하는 최소한의 귀찮음을 감수해야 합니다. AI는 우리의 훌륭한 조수이지, 모든 것을 판결해 주는 심판이 아니라는 점을 꼭 기억하시길 바랍니다.
FAQ
최신 AI 모델의 이미지 추론 능력은 어느 정도인가요?
단순한 이미지 인식을 넘어, 사진 속 작은 글씨를 스스로 확대해 읽고 주변 건물 외벽 재질이나 도로 표식 패턴까지 분석해 촬영된 정확한 위치와 구도까지 찾아낼 수 있는 수준입니다.
AI의 환각률(할루시네이션)이 48%라는 것은 무슨 의미인가요?
실존 인물에 대한 사실을 묻는 특정 테스트(Person QA)에서 AI가 사실이 아닌 내용을 마치 진짜인 것처럼 꾸며내어 답변하는 비율이 절반 가까이 된다는 것을 의미합니다.
기술이 발전했는데 왜 거짓말(환각) 빈도가 늘어났나요?
AI를 더 빠르고 창의적이며 유연하게 만들고자 튜닝하는 과정에서 발생한 부작용입니다. 모르는 내용에 대해서도 인간처럼 그럴싸하게 유추하고 아는 척을 하려는 성향이 강해졌기 때문입니다.
본 콘텐츠는 채널 발행인의 원본 영상을 기반으로 이글루스 AI가 편집·정리한 콘텐츠입니다.해당 콘텐츠는 제휴 또는 이용 허락을 기반으로 제공되며, 원본 저작권은 채널 발행인에게 있습니다.