[김동현의 AI 시대와 한국의 선택] 〈2〉언어모델이 보여준 가능성과 한계

구글의 딥마인드는 2013년 '강화학습을 통해 아타리 게임을 플레이 하기'(Playing Atari with Deep Reinforcement Learning) 라는 논문에서 딥러닝 방식의 강화학습 알고리즘(DRL:Deep Reinforcement Learning)을 발표하고 2016년에 강화학습 된 바둑 인공지능(AI) 알파고를 공개했다. 오래 전부터 바둑 AI를 개발해 오던 중국의 텐센트는 이 논문을 참고해 알파고를 넘어 섰다고 판단되는 바둑 AI 절예를 개발하고 2019년 바둑 AI 대회에서 우승을 차지했다. 미국과 함께 AI 양강으로 여겨지는 딥시크, 큐엔으로 대표되는 최근 중국의 오픈소스 AI 모델들은 중국 정부 및 정보기술(IT)기업의 10년 이상 집중 투자의 결실이라 할수 있다.

거대언어모델(LLM)로 대표되는 언어모델에 대해 자세히 살펴보자. 하나의 언어를 다른 언어로 번역하는 기능의 기술개발은 오랜 역사를 가지고 있다. 이 과정에서 문단을 문장으로 나누고 다시 문장을 단어 단위로 구분해 분석하는 기술이 지속적으로 고도화됐다. 예를 들어 보자. 'I want buy a apple' 이라는 문장을 한국어로 번역할 경우 '나는 사과를 사고 싶다' 라고 번역이 되겠지만, 문맥에 따라 '나는 애플 폰을 사고 싶다' 라고 번역하는 것이 맞을 경우가 있다. 이 경우 번역의 품질에는 이전의 단어의 나열 순서(문맥·Context)를 고려해 그 다음 단어를 예측하는 것이 중요하다. 하지만 여기엔 좀 더 생각해 볼 것들이 있다. 영어를 한국어로 변역하는 과정이 단순히 언어적인 과정만은 아니라는 관점이 그것이다. 번역이라는 것은 하나의 언어를 다른 언어로 표현하는 과정에만 있는 것이 아니라 사람들이 스스로 말을 하고 글을 쓰며 또한 다른 사람의 말을 해석하는 과정에서도 찾아볼 수 있다는 것이 그것이다. 우리는 이 번역과정을 이해라고 부를 수 있고, 이것이 언어모델과 추론이 같이 언급되는 현상황에 대한 이해를 도와준다. 문장을 구성하는 최소단위인 단어를 이미지와 같이 언어가 아닌 다른 형태의 데이터에서도 정의되어지고, 이를 언어적 표현과 양방향으로 번역하는 과정이 차트를 해석하는 멀티모달모델이나 언어를 기반으로 이미지를 생성하게하는 모델들이 광의의 번역모델이며, 이것이 번역이라는 과정에 대한 AI 모델들의 이해를 더 깊이있게 해준다.

이렇듯 최근의 언어모델들은 더욱 인간의 사고와 유사한 정도의 모사도를 나타내며 빠르게 진화하고 있다. 미국, 중국 등 AI 선진국에서는 인간유사성을 띄고 있는 언어모델들의 한계와 실체에 대한 내용들이 속속 발표되고 있다. 추론을 그대로 복사할수 있는 수준까지 응용되고 있는 강화학습의 창시자 중 한명인 리처드 서튼은 언어모델을 '모방 엔진'으로 분류하고 그것은 세상을 진정 이해하거나 상호작용하기보다는 주로 인간의 언어표현 방식을 흉내 내도록 훈련되었다고 주장한다. 그는 지능은 단순히 패턴을 모방하는 것이 아니라 행동하고, 실제 결과를 관찰하고, 그 결과에 따라 즉각적으로 행동을 조정할 수 있어야 하고 이러한 순환 과정이 강화학습의 핵심이라고 말한다. 또 인포시스 전 CEO이자 스탠퍼드 AI 박사인 비샬 시카는 '환각의 궤적:트랜스포머 기반 언어 모델의 몇가지 기본적 한계에 대하여' (Hallucination Stations : On Some Basic Limitations of Transformer-Based Language Model)라는 제목의 논문을 통해, 현재의 트랜스포머 기반 AI 에이전트와 언어 모델이 근복적인 계산상의 한계를 가지고 있어 복잡하고 여러 단계를 거치는 작업을 안정적으로 처리할 수 없다는 수학적 논증을 제시했다. 이는 수학적 '한계'로서 언어모델의 자기확신 등 그 한계치의 경계가 변할 수는 있지만 하나의 아키텍처는 항상 그 제약도 내포하게 된다는 것을 수학적으로 논증하고 있다.

이러한 다양한 논증과 이론을 종합해 볼 때, 아직은 아주 발될된 인간의 논리언어 중심의 요약엔진(Summary engine)이라고 AI 언어모델을 정의 할 수 있을 것 같다. AI 양강은 파운데이션 LLM 개발을 통한 무한 경쟁보다는 이를 활용해 수익이 발생할 수 있는 SLM 에이전트 모델에 더 집중을 하고 이를 바탕으로 다양한 솔루션을 통해 이익을 창출하는 방향으로 기술개발을 집중하고 있다.

우리나라가 집중해야 하는 AI 영역은 불완전한 초거대 요약엔진 개발분야 인지, 근현대 큰 발전을 이룩한 대한민국이 전문이라 할수 있는 산업분야 전문 AI 엔진개발인지 한 번 모두의 관심을 모아 봐야 할 때가 아닌가 싶다.

김동현 데이톤 대표