인공지능(AI) 스타트업 카타네모가 AI 에이전트 구축에 중요한 함수 호출을 가속화하는 대형언어모델(LLM)을 오픈 소스로 출시했다.

AI 에이전트에 특화된 모델이니만큼, 기존 LLM보다 함수 호출 속도가 10배 이상 빠르다고 강조했다.

벤처비트는 15일(현지시간) 카타네모가 함수 호출 작업을 위해 특별히 설계된 ▲아치-함수-1.5B(Arch-Function-1.5B) ▲아치-함수-3B(Arch-Function-3B) ▲아치-함수-7B(Arch-Function-3B) 등을 오픈 소스로 공개했다.

이 모델들은 복잡한 함수를 이해하고, 필요한 매개변수를 식별하고, 자연어 프롬프트를 기반으로 정확한 함수 호출 출력을 생성하도록 설계됐다.

이를 위해 아치(Arch)라는 지능형 프롬프트 게이트웨이를 오픈 소스화했다.

이 게이트웨이는 API를 사용하여 LLM 애플리케이션을 보호, 관찰하고 개인화하도록 설계됐다.

10억개 미만의 매개변수를 가진 특화된 LLM을 사용해 프롬프트 처리와 관련된 모든 중요한 작업을 처리한다.

여기에는 탈옥 시도를 감지하고 거부하는 기능, 사용자 요청을 처리하기 위해 백엔드 API를 지능적으로 호출하는 기능, 중앙 집중화된 방식으로 프롬프트와 LLM 상호작용의 가시성을 관리하는 기능 등이 포함된다. 이 솔루션은 개발자가 빠르고 안전하며 맞춤화된 생성 AI 앱을 어떤 규모에서든 구축할 수 있도록 지원한다. 

카타네모는 다음 단계로 게이트웨이 뒤에 있는 일부 '지능'을 아치-함수 LLM 모음의 형태로 오픈 소스화했다.

알리바바의 '큐원 2.5'를 기반으로 15억, 30억 및 70억개의 매개변수를 갖춘 함수 호출 특화 LLM을 구축했다.

이를 통해 외부 도구 및 시스템과 상호작용해 디지털 작업을 수행하고 최신 정보에 접근할 수 있다.

아치 함수는 프롬프트를 분석하고, 프롬프트에서 중요한 정보를 추출하고, 가벼운 대화를 통해 사용자로부터 누락된 매개변수를 수집하고,

API 호출을 수행하여 기업이 에이전트 애플리케이션을 개발할 수 있도록 지원한다.

살만 파라차 카타네모 CEO는 "간단히 말해 아치-함수는 사용자 프롬프트를 통해 트리거된 애플리케이션 특정 작업을 호출하여 LLM 앱을 개인화하는 데 도움을 준다"라며

"아치-함수를 사용하면 보험 청구 업데이트부터 프롬프트를 통해 광고 캠페인 생성에 이르기까지 도메인 특정 사용 사례에 맞춘 빠른 자율적 워크플로를 구축할 수 있다"라고 말했다.

출처 : AI타임스(https://www.aitimes.com)