새로운 개념을 학습하고 이를 기존 개념과 결합하는 사고 능력인 '체계적 일반화'(systematic generalization)는 지난 수십년간 인공지능(AI)으로는 구현하기 어려운 것으로 여겨져 왔으나 이것이 가능하다는 것을 보여주는 연구 결과가 나와 관심을 끌고 있다.

26일 미국 뉴욕대(NYU) 브렌든 레이크 교수와 스페인 폼페우 파브라 대학 마르코 바로니 교수팀은 과학 저널 네이처(Nature)에서 개념을 논리적 순서로 정리하는 구성 능력 훈련에 최적화된 메타 학습(meta-learning) 방식을 사용해 인간과 같이 '체계적 일반화'를 할 수 있는 인공 신경망을 개발했다고 밝혔다.

어린이들은 일단 '뛰기'(skip)라는 것을 배우고 나면 '방 주위 2번 뛰기'나 '손 들고 뛰기' 같은 말의 의미를 이해할 수 있다. 이처럼 한 개념을 학습하고 이를 다른 개념과 결합해 지식을 확장할 수 있는 능력을 체계적 일반화 또는 '구성적 일반화'(compositional generalization)라고 한다.

하지만 AI가 이런 사고를 할 수 있는지에 대해서는 1988년 철학자이자 인지과학자인 제리 포도르와 제논 필리신이 인공신경망은 '구성적 일반화'를 할 수 없다고 주장한 이후 논란이 계속돼 왔다. 과학자들도 수십년간 이런 능력을 갖춘 인공신경망 개발을 추진했지만 성공하지 못했다.

연구팀은 이 연구에서 기존의 AI 훈련 방식보다 성능이 뛰어난 '구성성 메타 학습'(MLC : Meta-Learning for Compositionality)이라는 새로운 방식으로 챗GPT 같은 생성형 AI의 '구성적 일반화' 능력을 향상하는 게 가능하다는 것을 입증했다.

연구팀은 MLC가 인공신경망이 연습을 통해 구성적 일반화를 더 잘 할 수 있게 훈련하는 데 초점을 맞추고 있다며 구성적 일반화 성능 면에서 인간과 동등하거나 때로는 우수한 능력을 보인다고 말했다.

이들은 신경망의 구성 학습 능력을 향상할 수 있는 가능성을 모색하는 과정에서 신경망이 일련의 에피소드 학습을 통해 구성 기술을 지속해서 개선할 수 있게 해주는 새로운 학습 절차인 MLC를 개발했다.

한 에피소드에서 MLC에 한 단어를 주고 이 단어를 구성적으로 사용하도록 지시한다. 예를 들어 '점프'(jump)라는 단어를 주고 '두 번 점프'(jump twice) 같은 새로운 단어 조합을 만들게 하는 식이다.

MLC는 매번 다른 단어가 등장하는 새로운 에피소드를 받아 훈련하는 과정을 반복하는 방식으로 신경망의 구성 능력을 향상시킨다.

연구팀은 이어 MLC의 성능을 시험하기 위해 인간 참가자들을 대상으로 MLC가 수행한 것과 똑같은 작업을 하게 하는 실험으로 MLC와 인간의 구성적 일반화 능력을 비교했다.

실험에서는 사람들이 이미 알고 있는 단어의 의미를 배우는 대신 연구팀이 뜻을 정의한 'zup'나 'dax' 같은 '가짜' 단어를 제시하고 이 단어들의 다양한 사용법을 알아내라는 과제를 줬다.

연구팀은 이 실험에서 MLC는 인간 참가자와 비슷한 성과를 보였고 경우에 따라서는 인간보다 나은 성과를 보이기도 했다고 밝혔다.

또 MLC와 인간은 일반적인 학습 과제에서는 챗GPT와 GPT-4보다 성과가 뒤떨어졌지만, 구성적 일반화에서는 모두 챗GPT와 GPT-4를 능가하는 것으로 나타났다.

바로니 교수는 "챗GPT 같은 거대언어모델(LLM) AI는 최근 몇 년 동안 성능이 크게 개선되기는 했지만, 여전히 구성적 일반화에는 어려움을 겪고 있다"며 "MLC가 LLM의 구성 능력을 향상시킬 수 있을 것"이라고 말했다.

레이크 교수는 "이 연구는 인공신경망이 인간의 체계적 일반화를 모방하거나 능가할 수 있음을 사람과 비교를 통해 처음으로 보여줬다"며 "이는 인간과 더 유사하게 행동하는 AI 시스템의 개발 가능성을 제시하는 것"이라고 말했다.

◆ 출처 : Nature, Brenden Lake et al.,'Human-like systematic generalization through a meta-learning neural network', https://www.nature.com/articles/s41586-023-06668-3

<연합>

과학팀  press@jeonpa.co.kr

<저작권자 © 전파신문, 무단 전재 및 재배포 금지>