안드레이 카파시: '강화학습은 형편없지만, 다른 모든 방법은 더 나쁘다'¶
원제목: 卡帕西：强化学习很糟糕，但其他所有方法都更糟 - 量子位
핵심 요약
- 강화학습은 현재 기대에 미치지 못하지만, 대안들도 마찬가지로 부족한 점이 많다는 점임.
- 범용인공지능(AGI)의 실현은 최소 10년 이상 걸릴 것으로 예상되며, 이는 현재 기술의 한계와 진화를 위한 시간을 반영함.
- 자동 운전과 같은 복잡한 기술은 '99%의 완벽함'을 넘어서 '99.9999% 이상'의 신뢰도를 달성하기 위해 엄청난 노력과 시간이 필요하다는 점임.
상세 내용¶
오픈AI 창립 멤버이자 테슬라 전 AI 총괄이었던 안드레이 카파시가 최근 인터뷰에서 강화학습의 한계와 범용인공지능(AGI)의 미래, 그리고 자동 운전 기술의 난제에 대해 심도 깊은 의견을 밝혔다. 카파시는 현재의 인공지능 모델들이 예상보다 '형편없다'고 평가했지만, 동시에 다른 대안적인 방법들 역시 더 나은 대안은 아니라고 지적하며 현실적인 시각을 제시했다.
카파시에 따르면, AGI의 등장은 최소 10년은 더 소요될 전망이다. 현재 등장하는 일부 초기 형태의 인공지능 에이전트들은 놀라운 능력을 보여주고 있지만, 이들이 이상적인 상태에 도달하기까지는 상당한 시간이 필요하다는 것이다. 특히, 인간의 동료나 인턴처럼 자연스럽게 협업할 수 있는 수준의 에이전트가 되기 위해서는 현재의 시스템 성숙도, 다중 모드 능력, 컴퓨터 조작 능력, 그리고 지속적인 학습 능력과 같은 근본적인 한계들이 해결되어야 한다. 이러한 문제들을 체계적으로 해결하는 데는 약 10년 정도가 걸릴 것으로 예상했다.
또한, 카파시는 대규모 언어 모델(LLM)의 인지적 결함에 대해서도 언급했다. 그는 코딩과 관련하여 LLM이 종종 생산 코드로 코드를 변환하려는 경향이 있으며, 이는 불필요한 복잡성을 야기하고 때로는 구식 API를 사용하는 등 문제가 발생한다고 지적했다. 현재 모델들이 과대평가되었으며, 여전히 상당한 개선이 필요하다는 것이다.
가장 논란의 여지가 있는 부분은 강화학습에 대한 평가였다. 카파시는 강화학습이 '형편없다'고 단언하며, 수학 문제 풀이를 예로 들었다. 강화학습은 수많은 시도를 통해 얻은 결과에 대해 가중치를 부여하지만, 이 과정에서 잘못된 경로까지도 강화될 수 있어 비합리적이라고 비판했다. 인간은 수백 번의 시도를 하지 않으며, 성공했을 때 철저한 복기를 통해 무엇이 좋았고 나빴는지 분석하는 반면, 현재 LLM에는 이러한 사고 메커니즘이 없다는 점을 강조했다. 진정한 지식 습득은 정보 재구성을 통한 내면화 과정인데, LLM은 단순히 다음 단어 예측에 머물러 있다는 것이다.
AGI의 경제적 영향에 대한 질문에는, AGI가 기존의 2% GDP 성장률 추세를 크게 벗어나지 않을 것이라고 전망했다. 이는 산업 혁명, 소프트웨어 혁명과 같은 점진적인 자동화 추세의 연장선상에 있으며, AGI가 급격한 지능 폭발을 일으키기보다는 기존의 성장 모델을 지속할 것이라는 예측이다. 자동 운전 기술이 오랜 시간이 걸리는 이유에 대해서는, 90%에서 99%로의 신뢰도 향상이 '9의 숫자'를 하나 더 늘리는 것처럼 엄청난 노력을 요구하며, 실패 비용이 매우 높기 때문에 최종 제품 수준에 도달하기까지는 수많은 엣지 케이스를 해결하고 끊임없이 수정해야 하는 과정이 필요하다고 설명했다.
마지막으로, 카파시는 전업 교육자로서의 경험을 바탕으로 미래 교육의 비전을 제시했다. 그는 개인에게 최적화된 '튜터 경험'을 제공하는 현대적인 교육 기관을 설립하고 싶다는 포부를 밝혔다. 훌륭한 튜터는 학생의 지식 수준을 정확히 파악하고 적절한 질문을 통해 인지 모델을 이해하며, 학생에게 필요한 지식을 효과적으로 전달할 수 있다는 것이다. LLM이 아직 도달하지 못한 이 수준의 맞춤형 교육을 통해, 학생들에게 최적의 학습 경험을 제공하고자 한다.
편집자 노트¶
이번 안드레이 카파시의 인터뷰는 인공지능, 특히 AGI와 관련된 현재 기술의 실체와 미래 전망에 대해 매우 현실적이고 비판적인 시각을 제공한다는 점에서 주목할 만합니다. 많은 사람들이 AGI의 등장을 눈앞의 현실처럼 이야기하지만, 카파시는 그러한 기대에 제동을 걸며 AGI가 등장하기까지는 여전히 10년 이상의 시간이 필요하다고 명확히 밝혔습니다. 이는 일반 대중이 AI 기술 발전을 과대평가하고 있다는 점을 시사하며, 기술 발전의 과정이 얼마나 복잡하고 난해한지를 보여줍니다.
특히 강화학습에 대한 그의 직설적인 비판은 흥미롭습니다. 강화학습은 알파고와 같은 성공 사례로 인해 큰 기대를 받았지만, 카파시는 이것이 현실적인 문제 해결에는 한계가 있으며, 오히려 잘못된 방향으로 학습을 강화할 수 있다는 점을 지적했습니다. 이는 단순히 '결과'만을 보고 학습하는 것이 아니라, 인간처럼 '과정'과 '이유'를 이해하고 사고하는 능력이 AI에게 얼마나 중요한지를 역설하는 것으로 해석될 수 있습니다. 이러한 그의 주장은 현재 LLM 기반 AI의 학습 방식에 대한 근본적인 질문을 던지며, 앞으로 AI 연구가 나아가야 할 방향에 대한 중요한 단서를 제공한다고 볼 수 있습니다.
결론적으로, 이번 인터뷰는 AI 기술에 대한 과도한 낙관론을 경계하고, AGI라는 궁극적인 목표를 향해 나아가는 길에 놓인 현실적인 장애물과 필요한 노력에 대해 깊이 생각하게 만드는 계기를 제공합니다. 우리가 AI 기술의 발전을 이해하고 미래를 준비하는 데 있어, 이러한 전문가의 현실적인 진단은 매우 중요하다고 할 수 있습니다. 자동 운전과 같이 우리 일상에 직접적인 영향을 미칠 기술들의 개발이 왜 더디게 느껴지는지에 대한 설명도, 우리가 기술 발전의 속도를 인내심을 가지고 바라봐야 하는 이유를 명확히 합니다.