고려대, 장거리 의존 관계로 인공지능 언어 능력 탐구

▲ 제1저자 신운섭 박사과정(왼쪽), 공동 교신저자 송상헌 교수 (사진=고려대)

[에너지경제신문 송기우 에디터] 고려대학교(총장 정진택) 언어학과 신운섭 박사과정(지도교수 송상헌 교수)이 언어학 이론과 데이터를 활용하여 인공지능의 신뢰성을 떨어뜨리는 ‘블랙박스(Blackbox) 문제’를 분석한 연구 결과를 발표했다.

해당 연구 결과는 심리학 분야 최대 인용 국제전문학술지 ‘프론티어즈 인 사이콜로지(Frontiers in Psychology)’에 1월 27일 오후 4시(한국시간 기준) 온라인 판에 게재됐다.

최근 심층학습(Deep learning) 기반의 인공지능이 사람과 쉽게 구별하기 어려운 성능을 보여줌에 따라, 인공지능이 정말로 사람처럼 언어 구조를 이해하는지 인문학적 질문이 제기돼왔다. 예를 들어, 오픈 에이아이(OpenAI)가 공개한 인공지능 ‘ChatGPT’는 인간을 대신하여 연설문·신문기사를 매우 그럴듯하게 작성할 수 있지만, 종종 질문의 의도를 벗어난 틀린 답변을 반복하는 오류가 있다. 그러나 인공지능의 내부 작동 방식을 알 수 없다는 구조적 한계로 인하여 인공지능에게 다양한 입력값을 제시하고 출력값을 체계적으로 평가하는 것이 중요하다.

인공지능의 뛰어난 성능이 우연에 의한 것인지, 또는 자연어를 이해하기 때문인지 탐구하려면, 인공지능이 언어 고유의 규칙에 따라 사고하는지 판별할 수 있는 입력값을 제시하는 것이 필요하다.

▲ 그림1. 인공지능의 언어 능력 탐구에 사용된 장거리 의존 관계 문장 세트 (상단 그림) 부정극어 ‘ever’ 인허에 관한 전통적인 의미 이론적 개념 체계이다. (하단 그림) 인공지능의 문장 처리 패턴과 언어 이해 수준을 체계적으로 판별하기 위한 평가용 문장 세트이다.

연구진은 영어의 규칙적 현상인 ‘부정극어 인허’를 장거리 의존 관계로 가공하여 인공지능의 입력값으로 제시했다(그림 1). 분석에 사용된 인공지능인 양방향 트랜스포머 인코더 모형(Bidirectional Encoder Representations from Transformers; 이하 BERT)은 언어 규칙을 위반하는 부정극어 인허를 인간과 유사한 수준으로 매우 정확하게 포착하는 것으로 나타났다.

▲ 그림2. BERT의 부정극어 인허 처리 패턴 그림 (상단 그림) 인간에게 문법적 착시를 유발하는 부정극어 인허 문장을 BERT가 어떻게 처리하는지 보여준다. BERT는 비문법적인(ungrammatical) 부정극어 사용이 마치 문법적인 것으로 착각하여 처리한다는 점에서 BERT 또한 인간처럼 문법적 착시에서 자유롭지 못하다. (하단 그림) 인공지능의 문장 처리 패턴과 언어 이해 수준을 체계적으로 판별하기 위한 평가용 문장 세트이다.

특히, 인간의 인지 기제(cognitive mechanism)와 깊은 연관이 있는 문법적 착시(grammatical illusion) 현상을 확장하여, BERT가 인간처럼 문장 처리 오류를 보이는지 분석했다(그림 2). 분석 결과, BERT는 인간처럼 문법적 착시를 보인다는 점에서 인간의 인지 기제를 모방할 수 있는 잠재력이 있음을 알 수 있었다. 다만, 단어 사용에서 명시적으로 나타나지 않는 함축(implicature)적인 부정어 표현은 어려워했다.

신운섭 고려대 박사과정은 "인공지능을 실생활에서 매우 가깝게 접하기 때문에 사람과 인공지능의 관계에 대한 인문학적 질문은 늘상 제기돼왔다. 발표된 연구 성과는 인문학이 실생활과 괴리된 학문이 아니라 인공지능을 체계적으로 분석하는 과학적 방법으로써 인간과 인공지능의 이해를 풍부하게 할 것"이라고 기대했다.

지도교수인 언어학과 송상헌 교수는 "인문학을 전공한 순수 국내파 대학원생이 해외 유명 저널에 제1저자로 게재하는 것은 흔치 않은 일"이라며, "국내에서 연구한 성과가 해외에서 인정받아 더욱 의미가 있다."고 말했다.

이번 연구는 한국연구재단이 추진하는 4단계 BK21 언어학교육연구팀의 지원으로 수행됐다.

▲ 그림3. BERT의 부정 극어 ever와 빈도 부사 often의 언어 처리 패턴 비교 그림 (상단 그림) 장거리 의존 관계를 갖는 부정극어 ever와 그렇지 않은 단순 빈도 부사 often을 비교하여 BERT의 문법적 착시가 장거리 의존 관계에 한정되는 패턴인지 보였다. (하단 그림) 부정어 표현과 의미적 관계를 갖는 부정극어 ever와 그렇지 않은 단순 빈도 부사 often을 비교하여 BERT가 부정어 표현의 미묘한 의미적 차이를 포착하는지 보였다. (자료=고려대)