딥마인드, 인간처럼 '탐험'하며 배우는 AI 선보여…새로운 게임·가상 세계 정복 준비 완료!¶
원제목: Deepmind’s latest AI agent learns by exploring unfamiliar games and AI-built worlds
핵심 요약
- 딥마인드 SIMA 2는 사람처럼 게임 세계를 탐험하며 스스로 학습하는 AI 에이전트임을 나타냄.
- 새로운 게임이나 AI가 만든 가상 환경에서도 뛰어난 적응력과 문제 해결 능력을 보여줌.
- 장기 계획, 정밀 조작 등 아직 개선할 점이 있지만, 미래 로봇 기술의 중요한 발판이 될 것임을 시사함.
상세 내용¶
구글 딥마인드가 개발한 최신 AI 에이전트 'SIMA 2'가 공개되었습니다. SIMA 2는 이전 모델인 SIMA 1과 달리, 단순히 음성 명령을 따르는 것을 넘어 3차원 가상 환경에서 복잡한 작업을 이해하고, 계획하며, 실행하고, 스스로 학습하는 능력을 갖추고 있습니다. 이는 딥마인드가 강력한 멀티모달 AI인 '제미나이'를 SIMA 2에 통합하면서 가능해졌으며, 엔비디아의 마인크래프트 봇 '보이저'가 GPT-4를 활용해 학습하는 방식과 유사한 접근법을 따릅니다. SIMA 2는 게임 내부 데이터에 직접 접근하지 않고 화면상의 시각 정보와 키보드/마우스 입력을 시뮬레이션하며 마치 실제 인간 플레이어처럼 가상 세계와 상호작용합니다. 딥마인드에 따르면, SIMA 2는 자신의 의도를 설명하고, 중간 단계를 묘사하며, 후속 질문에 응답할 수 있는데, 이는 이전 모델보다 훨씬 협력적이고 자연스러운 상호작용을 가능하게 합니다.
SIMA 2의 가장 중요한 특징 중 하나는 이전에 경험해보지 못한 새로운 게임에서도 임무를 성공적으로 완수할 수 있다는 점입니다. 마인크래프트 기반의 'MineDojo'와 최근 출시된 'ASKA' 게임에서의 테스트 결과, SIMA 2는 이전 모델이 15~30%의 성공률을 보인 반면, 45~75%의 훨씬 높은 성공률을 달성했습니다. 더 나아가, SIMA 2는 '수확'이라는 개념을 한 게임에서 학습한 후 다른 게임에서는 '채굴'이라는 유사한 개념으로 적용하는 등 추상적인 개념을 일반화하고 전이 학습하는 능력을 보여줍니다. 이는 AI 시스템이 새롭고 낯선 환경에 적응하는 데 핵심적인 요소입니다.
SIMA 2는 음성, 이미지, 이모티콘 등 다양한 양식의 입력을 처리할 수 있으며, 더욱 복잡하고 여러 단계로 이루어진 지시 사항을 이해하고 수행합니다. 개선된 아키텍처 덕분에 이전보다 더 길고 실시간에 가까운 고해상도 상호작용도 가능해졌습니다. 특히 주목할 점은 SIMA 2가 인간의 훈련 데이터 없이 시행착오를 통해 스스로 새로운 작업을 학습할 수 있다는 것입니다. 제미나이가 생성한 초기 예제와 피드백을 바탕으로, SIMA 2는 자체적으로 훈련 데이터를 생성하고, 성능을 평가하며, 이를 다시 학습에 활용하는 자율적인 개선 과정을 거칩니다. 심지어 딥마인드의 'Genie 3'와 함께 사용될 때, SIMA 2는 텍스트나 이미지 프롬프트로 생성된 완전히 새로운 3차원 환경에서도 성공적으로 임무를 완수하며 적응력을 입증했습니다.
하지만 SIMA 2가 아직 완벽하지는 않습니다. 장기적인 계획이나 여러 단계의 순차적인 작업이 필요한 임무에서는 여전히 어려움을 겪습니다. 또한, 한 번에 처리할 수 있는 맥락 정보의 양에 제한이 있어 기억력에도 한계가 있습니다. 마우스와 키보드 입력 시뮬레이션은 정밀한 제어에 있어 여전히 신뢰성이 부족하며, 복잡한 3차원 장면에서의 시각적 이해도 주요 과제로 남아 있습니다. 이러한 한계는 현재 AI 시스템이 진정한 범용 지능에 도달하기까지 아직 갈 길이 멀다는 것을 보여줍니다.
딥마인드는 SIMA 2를 실제 세계에서 작동할 수 있는 물리적인 AI 시스템으로 나아가는 중요한 단계로 보고 있습니다. 탐색, 도구 사용, 간단한 협력과 같은 기술은 미래의 로봇 비서에게 필요한 핵심 빌딩 블록으로 여겨집니다. 다만, 현재 SIMA 2는 연구 단계의 프로젝트이며 직접적인 상업적 적용은 이루어지지 않고 있습니다. SIMA 2에 대한 접근은 소수의 학계 및 게임 업계 파트너에게 제한적으로 허용되며, 광범위한 테스트를 시작하기 전에 기술적 약점과 잠재적 위험을 더 깊이 이해하는 것을 목표로 하고 있습니다.
편집자 노트¶
딥마인드의 SIMA 2 공개는 AI 발전의 또 다른 중요한 이정표를 보여줍니다. 단순히 주어진 명령을 수행하는 것을 넘어, 마치 인간처럼 새로운 환경을 '탐험'하고 스스로 학습하는 AI 에이전트의 등장은 우리에게 매우 흥미로운 미래를 예고합니다. 특히, SIMA 2가 낯선 게임 환경에서도 뛰어난 적응력과 문제 해결 능력을 보여준다는 점은 주목할 만합니다. 이는 AI가 앞으로 우리가 마주하게 될 예측 불가능하고 변화무쌍한 현실 세계에서도 유용하게 활용될 수 있는 잠재력을 보여줍니다. 게임은 복잡한 시뮬레이션 환경으로서 AI 학습에 매우 이상적인 도구이며, SIMA 2는 이러한 환경에서 학습한 경험을 다른 영역으로 전이할 수 있다는 점에서 큰 의미를 가집니다.
SIMA 2의 '자체 학습' 능력은 AI의 미래를 논할 때 빼놓을 수 없는 핵심입니다. 인간의 직접적인 데이터 라벨링이나 세세한 지도 없이도 시행착오를 통해 스스로 발전하는 AI는 더욱 빠르고 효율적인 학습을 가능하게 합니다. 이는 결국 AI 기술의 발전 속도를 가속화하고, 우리가 상상하는 것 이상으로 다양한 분야에 AI가 접목될 수 있음을 시사합니다. 물론, 장기 계획, 정밀한 조작, 그리고 방대한 정보 기억 등 아직 해결해야 할 과제들이 남아 있지만, SIMA 2가 보여준 진보는 로봇 공학, 자율 주행, 복잡한 산업 자동화 등 미래 기술 발전에 지대한 영향을 미칠 것으로 예상됩니다. 우리 일상에서도 SIMA 2와 같은 AI 기술의 발전은 더욱 지능적이고 개인화된 서비스, 그리고 인간의 노동 부담을 줄여주는 새로운 형태의 로봇 도우미로 나타날 가능성이 높습니다.