LG AI연구원이 자연어처리(NLP) 분야 최고 권위 학회인 북미전산언어학회(NAACL)에서 가장 혁신적인 논문 1편에 수여하는 ‘최고논문상’을 수상했다고 30일 밝혔다.수상 논문은 생성형 인공지능(AI) 모델 성능을 평가하는 새로운 벤치마크를 제시했다. 논문 1저자인 김승원 카네기멜론대 박사과정 연구생은 LG AI연구원 초지능랩 인턴 과정 중 이문태 초지능랩장, 이경재 데이터스쿼드 리더, 서민준 카이스트(KAIST) 교수 연구팀과 함께 ‘빅젠 벤치’를 개발했다. LG AI연구원과 서민준 교수 연구팀이 주도한 이번 연구에는 연세대, 코넬대, 일리노이대, 매사추세츠공대(MIT), 워싱턴대 등 여러 대학의 연구진이 참여했다.기존 생성형 AI 모델 평가 방식은 유용성, 무해성 등 추상적인 개념 지표에 의존한다. 사람이 평가했을 때의 결과와 차이가 있고, AI 모델이 보유한 세부 역량 측정이 어렵다는 한계가 있다.빅젠 벤치는 실제 사람의 평가와 유사한 결과를 도출하기 위해 다...
