OpenAI, DevDay 2024에서 여러 업데이트 발표
OpenAI가 최근 개최한 DevDay 2024 컨퍼런스에서 여러 업데이트가 발표되었습니다.
이번 행사는 작년의 화려한 제품 출시와는 달리, 기존 AI 도구와 API의 점진적인 개선에 초점을 맞추었습니다.
OpenAI는 이번 행사에서 네 가지 주요 혁신을 공개했습니다.
첫 번째는 Prompt Caching으로, 이는 개발자들의 비용과 대기 시간을 줄이기 위한 기능입니다.
이 시스템은 모델이 최근에 처리한 입력 토큰에 대해 자동으로 50% 할인을 적용합니다.
이를 통해 컨텍스트를 자주 재사용하는 애플리케이션의 비용을 크게 절감할 수 있게 되었습니다.
OpenAI의 DevDay 2024 가격표는 AI 모델 사용에 대한 주요 비용 절감을 보여주며, 캐시된 입력 토큰은 다양한 GPT 모델에서 캐시되지 않은 토큰에 비해 최대 50%의 절감을 제공합니다.
새로운 o1 모델은 고급 기능을 반영하여 프리미엄 가격을 선보입니다. (출처: OpenAI)
두 번째로 소개된 기능은 Vision Fine-Tuning입니다.
이 기능은 OpenAI의 최신 대규모 언어 모델인 GPT-4o를 위한 것으로, 개발자들이 이미지와 텍스트를 모두 사용하여 모델의 시각적 이해 능력을 맞춤화할 수 있게 해줍니다.
실제 사례로, 음식 배달 및 승차 공유 회사인 Grab은 이 기술을 활용하여 지도 서비스를 개선했습니다.
Grab은 단 100개의 예시만을 사용하여 차선 수 정확도를 20% 개선하고 속도 제한 표지판 위치 파악을 13% 향상시켰습니다.
세 번째로 소개된 Realtime API는 현재 공개 베타 버전으로 제공되고 있습니다.
이 API를 통해 개발자들은 특히 음성-음성 애플리케이션에서 낮은 지연 시간의 멀티모달 경험을 만들 수 있게 되었습니다.
이를 통해 개발자들은 앱에 ChatGPT의 음성 제어 기능을 쉽게 추가할 수 있게 되었습니다.
Realtime API를 사용하여 롤플레잉 기능을 구동하는 언어학습 앱 Speak (출처: OpenAI)
마지막 기능은 Model Distillation입니다.
이 통합 워크플로우를 통해 개발자들은 o1-preview와 GPT-4o 같은 고급 모델의 출력을 사용하여 GPT-4o mini와 같은 더 효율적인 모델의 성능을 개선할 수 있게 되었습니다.
이 접근 방식은 작은 회사들이 고비용의 계산 리소스 없이도 고급 모델과 유사한 기능을 활용할 수 있게 해줍니다.
예를 들어, 농촌 클리닉을 위한 AI 기반 진단 도구를 개발하는 소규모 의료 기술 스타트업의 경우, 이 기능을 사용하여 표준 노트북이나 태블릿에서 실행되면서도 대형 모델의 진단 능력을 많이 포착하는 소형 모델을 훈련시킬 수 있습니다.