사전 학습 없이 AGI를 풀어내는 'CompressARC': 기존 AI 상식을 뒤엎는 파격적 접근¶
원제목: ARC-AGIwithout pretraining
핵심 요약
- 사전 학습 없이도 ARC-AGI 퍼즐의 20%를 해결하는 CompressARC 모델이 개발되었음.
- 최소 기술 길이(MDL) 원칙을 활용하여 추론 시점에 학습하며 극도의 일반화 능력을 보여줌.
- 이는 대규모 사전 학습 없이도 지능을 구현할 수 있는 새로운 가능성을 제시함.
상세 내용¶
기존 인공지능(AI) 분야의 통념에 따르면, ARC-AGI와 같은 복잡한 시각 추론 퍼즐을 풀기 위해서는 막대한 양의 사전 학습 데이터가 필수적이라고 여겨져 왔습니다. 이러한 통념에 도전하는 새로운 접근 방식인 CompressARC 모델이 공개되었습니다. Carnegie Mellon University의 연구진은 76K(7만 6천)개의 파라미터만을 가진 CompressARC 모델을 개발했으며, 이 모델은 어떠한 사전 학습 과정도 거치지 않았음에도 불구하고 ARC-AGI-1 벤치마크 평가 퍼즐의 20%를 해결하는 놀라운 성과를 보였습니다. CompressARC의 핵심 아이디어는 최소 기술 길이(Minimum Description Length, MDL) 원칙을 추론 시점에 적용하는 것입니다. 이 원칙은 대상 퍼즐에 대한 가장 짧고 자기 포함적인 프로그램을 찾는 것을 목표로 하며, 가장 짧은 프로그램이 가장 정확한 해답을 포함할 것이라는 가정에 기반합니다. 복잡한 탐색 과정을 효율적으로 만들기 위해, 연구진은 신경망을 사용하여 프로그램의 탐색 공간을 제한하고, 이를 미분 가능한 최적화 문제로 변환했습니다. 이를 통해 기울기 하강법을 이용하여 대상 퍼즐을 재현하는 제약 조건 하에서 프로그램 길이를 최소화할 수 있었습니다. 이러한 방식은 기존의 심층 학습 방법에서는 찾아보기 힘든 극도의 데이터 효율성과 일반화 능력을 CompressARC에 부여했습니다. CompressARC는 우리가 알기로는 ARC-AGI 분야에서 유일하게, 학습이 오직 해결해야 할 대상 퍼즐 자체의 일부에 대해서만 이루어지고, 최종적인 해결 정보는 제거된 상태에서 진행되는 딥러닝 방법입니다. 더욱이, CompressARC는 ARC-AGI에서 사전에 제공된 '학습 세트'를 전혀 사용하지 않습니다. 이러한 극도로 제한적인 데이터 조건에서는 일반적으로 퍼즐 해결이 불가능할 것으로 예상됩니다. 그럼에도 불구하고 CompressARC는 창의적인 ARC-AGI 퍼즐의 다양한 분포를 해결하며, MDL이 기존의 대규모 사전 학습과는 다른, 지능을 구현할 수 있는 매우 실현 가능한 대안임을 시사합니다. 연구진은 CompressARC가 마치 코드를 압축하는 문제처럼, ARC-AGI 퍼즐 데이터셋을 출력하는 가장 짧은 코드 조각으로 변환하는 알고리즘을 근사화한다고 설명합니다. 오컴의 면도날 원칙에 따라, 가장 짧은 코드 조각은 실제 해답을 잘 예측할 것으로 기대됩니다. 이러한 접근 방식은 사전 학습이 필요 없고, 추론 시점에 학습이 이루어지며, 오직 퍼즐 자체만을 데이터로 사용한다는 점에서 매우 흥미롭습니다.
편집자 노트¶
오늘날 인공지능, 특히 대규모 언어 모델(LLM)의 발전은 엄청난 양의 데이터를 사전 학습하는 데 크게 의존하고 있습니다. 하지만 이번 Carnegie Mellon University 연구진의 'CompressARC' 모델은 이러한 패러다임에 대한 근본적인 질문을 던집니다. 사전 학습 없이, 그것도 단 76K개의 파라미터만으로 추론 시점에 학습하여 복잡한 시각 퍼즐을 20%나 풀어낸다는 것은 매우 주목할 만한 성과입니다. 이는 마치 인간이 새로운 문제를 접했을 때, 이미 가지고 있는 지식과 논리만으로 문제를 해결하려는 시도와도 유사합니다.
CompressARC가 활용한 '최소 기술 길이(MDL)' 원칙은 핵심적인 개념입니다. 이는 복잡한 현상을 가장 간결하게 설명하는 가설이 가장 정확할 것이라는 '오컴의 면도날'과 같은 원리라고 이해할 수 있습니다. AI 모델이 퍼즐을 해결하는 과정을 '퍼즐을 설명하는 가장 짧은 코드를 찾는 것'으로 정의함으로써, 모델은 데이터의 패턴과 규칙을 효율적으로 파악하게 됩니다. 이는 마치 우리가 복잡한 그림을 보고 그 안에 숨겨진 질서나 규칙을 직관적으로 파악하는 것과 비슷합니다. 이러한 접근 방식은 기존의 딥러닝 모델이 방대한 데이터를 통해 '기억'하려 하는 방식과 달리, '이해'하려는 시도로 볼 수 있습니다.
만약 CompressARC와 같은 접근 방식이 더욱 발전한다면, 우리의 미래는 어떻게 달라질까요? 우선, AI 학습에 필요한 데이터 양과 컴퓨팅 자원이 획기적으로 줄어들 수 있습니다. 이는 AI 기술의 접근성을 높이고, 개인 맞춤형 AI 개발을 더욱 용이하게 만들 것입니다. 또한, 적은 데이터로도 뛰어난 일반화 능력을 보이는 AI는 지금은 상상하기 어려운 새로운 영역, 예를 들어 인간의 창의적인 문제 해결 능력을 모방하거나, 예측하기 어려운 복잡한 시스템을 이해하는 데 기여할 수 있습니다. 물론 20%라는 해결률은 아직 높은 수준은 아니지만, 사전 학습 없이 달성했다는 점을 고려하면 앞으로의 발전 가능성은 무궁무진하다고 평가할 수 있습니다.