구글 딥마인드, 제미나이 AI로 '염소 시뮬레이터 3' 속 요원 훈련 시킨다¶
원제목: Google DeepMind is using Gemini to train agents inside Goat Simulator 3
핵심 요약
- 구글 딥마인드는 강력한 AI 모델인 제미나이를 활용해 가상 세계에서 복잡한 임무를 수행할 수 있는 SIMA 2 에이전트를 개발했음.
- SIMA 2는 텍스트, 음성, 그림 등 다양한 방식으로 지시를 이해하고, 시행착오를 통해 스스로 학습하며 능력을 향상시키는 능력을 갖췄음.
- 이 기술은 궁극적으로 인간의 지시를 따르고 복잡한 환경에서 작업을 수행하는 차세대 AI 에이전트 개발로 이어져, 미래 로봇 기술 발전에 기여할 것으로 기대됨.
상세 내용¶
구글 딥마인드가 최신 AI 모델인 제미나이(Gemini)를 기반으로 한 'SIMA 2'라는 새로운 비디오 게임 에이전트를 개발했다고 발표했습니다. 이 에이전트는 다양한 3D 가상 세계를 탐색하고 복잡한 문제를 해결하는 능력을 갖추고 있으며, 이는 보다 범용적인 AI 에이전트와 실제 로봇 기술 발전에 중요한 진전으로 평가받고 있습니다.
SIMA(Scalable Instructable Multiworld Agent)의 두 번째 버전인 SIMA 2는 이전 버전에 비해 능력이 크게 향상되었습니다. 연구진에 따르면, SIMA 2는 복잡한 작업을 수행하고, 특정 과제를 스스로 해결 방법을 찾아내며, 사용자들과 대화하는 능력까지 갖추고 있습니다. 또한, 어려운 과제를 반복적으로 시도하고 시행착오를 통해 학습하며 스스로 발전하는 메커니즘을 가지고 있습니다.
비디오 게임은 오랫동안 AI 에이전트 연구의 동력이 되어왔습니다. 구글 딥마인드의 연구 과학자인 조 마리노는 게임 속에서 횃불에 불을 붙이는 것과 같은 간단한 행동조차도 여러 단계를 거쳐야 하는 복잡한 작업임을 강조했습니다. 이러한 복잡한 과제를 해결하는 능력을 AI 에이전트가 학습하는 것은 매우 중요합니다.
구글 딥마인드의 궁극적인 목표는 웹 브라우저와 같은 제한된 환경을 넘어, 더 복잡한 환경에서 지시를 따르고 개방형 과제를 수행할 수 있는 차세대 에이전트를 개발하는 것입니다. 장기적으로는 이러한 에이전트의 기술을 실제 로봇에 적용하여 인간의 삶을 돕는 로봇 동반자를 만드는 데 활용할 계획입니다. SIMA 2가 습득한 환경 탐색, 도구 사용, 인간과의 협업 능력 등은 미래 로봇에게 필수적인 요소가 될 것이라고 마리노는 설명했습니다.
이전의 게임 플레이 AI 연구, 예를 들어 바둑에서 인간 챔피언을 이긴 알파제로(AlphaZero)나 스타크래프트 2에서 높은 순위를 기록한 알파스타(AlphaStar)와는 달리, SIMA의 핵심 아이디어는 사전 설정된 목표 없이 개방형 게임을 플레이하도록 에이전트를 훈련시키는 것입니다. 대신, 에이전트는 사람으로부터 받은 지시를 수행하도록 학습합니다. SIMA 2는 텍스트 채팅, 음성 대화, 또는 게임 화면에 그림을 그려 인간과 상호작용하며, 게임 화면의 픽셀을 프레임별로 입력받아 지시를 수행하기 위한 행동을 스스로 결정합니다. SIMA 2는 No Man's Sky, Goat Simulator 3와 같은 상업용 비디오 게임과 자체 제작한 가상 세계에서 인간의 플레이 영상을 기반으로 훈련되었으며, 키보드와 마우스 입력을 행동으로 매핑하는 방법을 학습했습니다. 제미나이와의 통합으로 SIMA 2는 지시 이해 능력과 복잡한 작업 수행 능력이 크게 향상되었으며, 처음 접하는 환경에서도 지시를 따르고 임무를 수행할 수 있는 능력을 보여주었습니다. 또한, 제미나이가 생성한 팁을 통해 실패를 극복하고 개선하는 모습도 확인되었습니다.
편집자 노트¶
이번 구글 딥마인드의 SIMA 2 발표는 AI 기술이 단순한 게임 플레이를 넘어 실제 세계에서의 적용 가능성을 넓히고 있다는 점을 보여줍니다. 제미나이와 같은 대규모 언어 모델과의 결합은 AI 에이전트가 더욱 복잡하고 추상적인 지시를 이해하고, 예상치 못한 상황에 유연하게 대처할 수 있는 잠재력을 열어주고 있습니다. 특히, 인간과 유사한 방식으로 시행착오를 통해 학습하고 스스로 발전하는 능력은 기존의 특정 규칙에만 의존하는 AI와 차별화되는 중요한 지점입니다.
이 기술은 우리 일상에 직접적으로 어떤 영향을 미칠까요? 예를 들어, 앞으로 우리는 AI 로봇에게 단순히 '문 열어'가 아니라 '거실에 가서 물 한 잔 가져와'와 같이 좀 더 복합적이고 상황에 맞는 지시를 내릴 수 있게 될 것입니다. 또한, SIMA 2의 학습 방식은 위험하거나 반복적인 작업을 대신할 수 있는 로봇 개발에 중요한 밑거름이 될 수 있습니다. 물론 아직 실험 단계이며, 복잡한 과제 수행이나 장기 기억력 등 개선할 부분도 많지만, 이 연구는 미래에 로봇이 우리 삶의 더 많은 부분을 지원하는 동반자가 될 수 있다는 기대를 갖게 합니다.