LLM 벤치마킹 플랫폼인 Chatbot Arena에 최근 "im-a-good-gpt2-chatbot"이라는 이름의 AI 챗봇이 나타나 GPT-4와 같은 유명 LLM보다 일부 뛰어난 성능을 보여주면서 주목받았습니다.

이후 Chatbot Arena 측은 곧바로 해당 챗봇을 삭제해서 사용할 수 없었으나, 최근 "im-a-good-gpt2-chatbot"과 "im-also-a-good-gpt2-chatbot"이라는 두 가지 변종이 다시 등장했습니다. 

현재 이 모델들은 Chatbot Arena에서 사용할 수는 있지만, 플랫폼의 공식 지원 LLM 목록에 포함되어 있지 않아 나란히 비교하는 기능으로는 테스트해 볼 수 없는 상황입니다.

이 모델을 사용해 보려면 Chatbot Arena에서 두 개의 LLM을 무작위로 선택해 경쟁시키는 과정을 반복해야 하는데, 모델이 나타나면 새 라운드를 시작할 때까지는 채팅을 계속할 수 있습니다.

사용자들은 이 모델에게 다양한 프롬프트를 던져 Flappy Bird 게임 복제, 코드 인터프리터 제작, 물리학 문제 추론 등 인상적인 기능들을 선보이게 했습니다. 

일부에서는 이 모델이 OpenAI의 GPT-4.5 또는 GPT-5일 것으로 추측하고 있습니다.

실제로 "im-a-good-gpt2-chatbot"에게 직접 물어봤을 때 "GPT-4 아키텍처, 특히 GPT-4.5 변형을 기반으로 한다"고 답변했다고 합니다.
하지만, 이에 대해서는 아직 확실하게 밝혀진 바는 없습니다.

현재 Chatbot Arena에서 무료로 이 모델을 사용해 볼 수는 있지만, 아레나 비교를 반복해야 하는 불편함이 있고 환각의 가능성도 배제할 수 없는 상황입니다. 
OpenAI의 공식 확인이 있기 전까지는 신중한 접근이 필요해 보입니다.

사이트 링크 https://chat.lmsys.org/