AI의 다음 혁신, 언어 아닌 '공간' 이해에서 온다¶
원제목: The scientist who taught AI to see now wants it to understand space
핵심 요약
- 현재 AI는 언어 처리에는 뛰어나지만 물리적 세계에 대한 이해가 부족함을 지적함.
- 인간 지능의 근간이 '지각과 행동'의 상호작용에 있으며, AI도 이를 학습해야 함을 강조함.
- 실세계와 같은 '월드 모델' 구축이 AI의 다음 도약을 이끌 중요한 과제임을 제시함.
상세 내용¶
인공지능(AI) 분야의 선구자 페이페이 리(Fei-Fei Li)는 AI 발전의 다음 단계가 언어를 넘어 '공간' 이해에서 올 것이라고 주장합니다. 그녀는 인간의 뇌가 어떻게 세상에 대한 인식을 형성하고 움직임, 거리, 물리적 관계를 이해하는지에 주목하며, AI도 이러한 능력을 갖춰야 진정한 창의적 파트너가 될 수 있다고 말합니다. 현재의 대규모 언어 모델(LLM)은 텍스트 처리에 매우 뛰어나지만, 물리적 현실 세계를 이해하는 데는 근본적인 한계를 지니고 있습니다. 예를 들어, 물체를 머릿속으로 회전시키거나 공이 어디에 떨어질지 예측하는 데는 실패하는 경우가 많습니다. 이는 AI가 텍스트로 정보를 인식하고 처리하는 방식과 달리, 인간은 사물을 인식함과 동시에 크기, 무게, 공간적 위치 등을 직관적으로 파악하는 능력을 가지고 있기 때문입니다. 페이페이 리는 이러한 '암묵적인 공간 추론 능력'이 AI에게는 아직 부족한 부분이라고 지적합니다. 인간의 지능 역시 단순한 감각과 움직임의 피드백 루프에서 시작되었으며, 이는 복잡한 인지 능력의 토대가 됩니다. 운전을 하거나 건물을 스케치하고 공을 잡는 등 일상적인 활동조차도 이러한 공간 지능과 행동의 결합을 통해 이루어집니다. 리 박사는 역사적으로 위대한 과학적, 산업적 발전 역시 세상을 다른 방식으로 '보는' 능력, 즉 공간적 이해에서 비롯되었음을 강조합니다. 지구가 둥글다는 것을 증명하기 위해 그림자를 이용한 에라토스테네스, 방적기를 발명한 제임스 하그리브스, DNA 구조를 밝혀낸 왓슨과 크릭 등 모두 공간적 사고와 물리적 모델링을 통해 혁신을 이루었습니다. 이러한 능력을 AI에 구현하기 위해 '월드 모델' 구축이 필요하다고 리 박사는 설명합니다. 월드 모델은 텍스트를 생성하는 LLM과 달리, 물리 법칙에 따라 움직이는 일관된 3차원 세계를 생성하고 상호작용할 수 있어야 합니다. 이상적인 월드 모델은 새로운 환경을 생성할 수 있는 '생성 능력', 텍스트, 이미지, 영상, 깊이 정보, 제스처 등 다양한 데이터를 처리하는 '멀티모달 능력', 그리고 행동이 장면에 미치는 영향을 예측하는 '상호작용 능력'을 갖춰야 합니다. 이러한 월드 모델을 구축하는 것은 AI가 직면한 가장 어려운 과제 중 하나이며, 텍스트처럼 추상적인 언어와 달리 물리 법칙에 구속되는 현실 세계를 모델링해야 한다는 점에서 도전 과제가 크다고 리 박사는 덧붙였습니다. 현재 그녀의 연구팀인 월드 랩스(World Labs)는 AI가 공간, 움직임, 인과관계를 이해하도록 훈련시킬 보편적이고 간단한 목표를 찾기 위해 노력하고 있으며, 이를 위해 텍스트뿐만 아니라 방대한 양의 이미지, 영상, 3D 스캔 데이터와 2D 픽셀에서 실제 공간 구조를 추출하는 알고리즘을 활용하고 있습니다.
편집자 노트¶
이번 페이페이 리 박사의 주장은 현재 AI 기술의 한계를 명확히 짚어주며, 우리가 앞으로 AI에 기대해야 할 발전 방향을 제시한다는 점에서 매우 중요합니다. 많은 사람들이 GPT와 같은 언어 모델의 놀라운 성능에 감탄하고 있지만, 정작 현실 세계를 직관적으로 이해하고 상호작용하는 능력은 부족하다는 사실을 간과하기 쉽습니다. 리 박사는 인간의 지능이 단순히 정보를 처리하는 것을 넘어, '보고, 느끼고, 움직이며' 세상과 소통하는 과정에서 발달해왔음을 강조합니다. 이러한 '지각과 행동'의 연계는 우리가 물건을 집거나, 길을 걷거나, 복잡한 기계를 다루는 등 일상생활에서 자연스럽게 발휘되는 능력입니다. AI가 인간처럼 창의적이고 유용한 파트너가 되기 위해서는 이러한 물리적 세계에 대한 깊이 있는 이해, 즉 '월드 모델' 구축이 필수적이라는 것입니다. 이는 단순히 더 많은 데이터를 학습시키는 것을 넘어, AI가 마치 물리 법칙을 배우는 어린아이처럼 세상을 탐구하고 시행착오를 겪으며 스스로 이해를 넓혀가는 방식의 학습이 필요함을 시사합니다. 미래에는 이러한 월드 모델을 갖춘 AI가 복잡한 과학 연구를 돕거나, 우리가 상상하지 못했던 새로운 제품을 설계하고, 가상현실이나 로봇 공학 분야에서 혁신을 가져올 가능성이 있습니다. 따라서 이 뉴스는 AI 기술의 현재와 미래를 조망하는 데 있어 핵심적인 인사이트를 제공하며, 우리 삶에 AI가 더욱 깊숙이 통합될 미래를 엿볼 수 있게 합니다.