https://www.aitimes.com/news/articleView.html?idxno=158465

미국 AI 개발자 플랫폼 웨이트앤바이어스(W&B)가 대형언어모델(LLM)의 한국어 성능 평가 결과의 랭킹을 공개하는 ‘호랑이(Horangi) 한국어 LLM 리더보드’의 운영을 시작했다고 2일 밝혔다.

호랑이 리더보드는 업스테이지와 한국지능정보사회진흥원(NIA)의 'Ko-LLM 리더보드'에 이은 두번째 한국어 LLM 성능 평가 리더보드다. 

LLM 모델의 언어 이해 능력과 언어 생성 능력을 다각도로 평가할 뿐만 아니라 결과 리포트와 인터랙티브한 분석 기능을 제공한다는 것을 강점으로 내세웠다. 

평가 지표는 '언어 이해'와 '언어 생성'으로 분류돼 있다.

언어 이해는 일문일답식 평가 체계를 사용, 입력 내용을 정확하게 이해하고 요구 형식으로 답변하는 능력을 평가한다.

W&B관계자는 "모델을 공개하기 전에 W&B의 패키지를 사용해 LLM의 특성별로 성능을 평가, 개발에 도움이 된다"라고 전했다. 실제 리더보드에 평가를 받기 전에 모의 평가를 진행, LLM 성능 개발에 도움을 줄 수 있다는 설명이다.

또 "W&B는 아시아·태평양 시장에서 한국을 가장 중요한 시장으로 본다"라며 "W&B 플랫폼을 통해 학계와 긴밀하게 협력하며, 한국 기업들이 LLM모델 성능 개선 과제를 해결하도록 지원할 예정"이라고 밝혔다.

아울러 "호랑이 리더보드의 평가방법에 대한 정보는 블로그에서 확인할 수 있으며, 자세한 내용과 구체적인 사용법은 4월11일 무료 웨비나를 개최해 안내할 계획"이라고 전했다.