국립국어원(원장 장소원)이 ‘2024년 인공지능의 한국어 능력 평가’ 경진 대회를 개최한다. 경진 대회의 주제는 ‘인공지능, 대화의 맥락을 읽고 핵심을 요약하다’이다. 한국어 인공지능에 관심 있는 개인 또는 단체라면 누구나 참가할 수 있으며, 대상 수상자에게는 문화체육관광부 장관상과 상금 500만 원이 수여된다. 또한 금상 2팀, 은상 2팀에는 국립국어원장상과 각 300만 원, 200만 원의 상금이 수여된다. 이번 경진 대회는 ‘인공지능(AI)말평(https://kli.korean.go.kr/benchmark)’에 접속하여 참가할 수 있다. 접수 기간은 7월 1일(월)부터 8월 23일(금)까지이다.

 국립국어원 인공지능 한국어 능력 평가 대회는 2021년부터 개최되어 올해 4회째를 맞는다. 최근 인공지능과 사람이 대화하는 방식으로 소통하기 시작하면서, 인공지능이 사람의 일상 대화들을 다루는 능력이 강조되고 있음을 고려하여 이번 대회에서는 대화의 맥락을 추론하고 요약하는 두 개의 과제가 제시된다. ‘대화 맥락 추론’ 과제는 주어진 대화 맥락을 기반으로 특정 발화의 원인, 동기, 전제, 반응, 후행 사건 등을 추론해 내는 과제로, 인공지능이 대화의 흐름을 잘 이해할 수 있는지 평가한다. ‘일상 대화 요약’ 과제는 여러 명이 참여하는 대화에서 주제를 식별하고 요약문을 생성하는 과제로, 대화 주제가 계속해서 바뀌는 일상 대화에서 인공지능의 요약 실력을 평가한다.

 최근 인공지능의 생성 결과물이 다양한 응용 프로그램을 통해 일상에 들어오면서, 인공지능의 소통 방식이 국어 사용자에게도 영향을 미치게 되었다. 이에 따라, 인공지능이 생성한 결과물이 올바른 한국어 표현으로 구성되었는지와 국어 사용자에게 자연스럽게 받아들여질 수 있는지가 중요한 문제가 되었다. 따라서 국립국어원은 수상작을 선정할 때 국어 전문가가 인공지능이 만든 결과물을 채점하는 ‘인간 평가’를 작년에 이어 올해도 도입할 계획이다. ‘인간 평가’란 모범 답안과의 유사성만을 다루는 루지(ROUGE) 등 정량 지표의 한계를 보완하기 위해 도입한 평가 방법으로, 인공지능이 만든 결과물(요약 결과물)에 대한 국어 전문가의 선호도를 평가한다.

멀티컬처코리아 multiculturekorea@gmail.com