앤트로픽이 컴퓨터 사용이라는 새로운 기능을 갖춘 클로드 3.5 소넷 LLM을 업그레이드하여 로봇 프로세스 자동화(RPA) 등에서 새로운 가능성을 열었다.

크레딧: T. Schneider / Shutterstock

앤트로픽의 클로드 3.5 소넷 대형 언어 모델에 컴퓨터 작동이라는 혁신적인 기능이 추가됐다. ‘컴퓨터 사용’이라 불리는 이 기능은 현재 베타 테스트 중이다.

개발자는 앤트로픽 API를 통해 클로드 3.5 소넷에게 화면 내용 해석, 텍스트 입력, 커서 이동, 버튼 클릭, 윈도우나 애플리케이션 전환 등을 지시할 수 있다. 이는 기존 RPA 도구가 수행하기 어려웠던 작업과 매우 유사하다.

클로드 3.5 소넷은 컴퓨터 사용 능력을 적용하기 위해 먼저 목표를 정의하는 프롬프트에서 시작한다. 이후 목표 달성에 필요한 단계를 파악하고, 사람이 컴퓨터 화면을 보는 것처럼 스크린샷을 분석하여 각 단계의 실행 방법을 결정한다.

이 기능의 핵심은 클로드 3.5 소넷이 이미지에서 특정 요소의 좌표를 파악하여 화면의 버튼이나 텍스트 상자에 커서를 정확히 위치시킬 수 있다는 점이다.
 

앤트로픽은 블로그 게시물에서 “지금까지 LLM 개발자는 모델에 맞는 도구를 만들어 AI가 특별히 설계된 도구로 작업을 수행하는 맞춤형 환경을 구축했다”고 전했다.

이제는 모델을 도구에 맞출 수 있으며, 사람들이 일상적으로 사용하는 컴퓨터 환경에서 클로드가 인간처럼 소프트웨어를 활용하는 것이 목표라고 설명했다.

유아이패스(UiPath)는 자사의 세 가지 제품인 모두를 위한 UiPath 오토파일럿, 클립보드 AI, 새로운 의료 기록 요약 도구에 클로드 3.5 소넷을 통합했다고 발표했다.

두저 AI(Dozr AI)의 설립자 폴 차다는 클로드의 컴퓨터 사용 능력이 RPA 시장에 혁신을 가져올 수 있다고 전했다.

이는 지속적인 유지보수가 필요하거나 인터페이스 변경 시 발생하는 문제점들을 해결할 수 있기 때문이다.

차다는 링크드인 게시물에서 “앤트로픽의 새로운 접근 방식은 적응형 상호작용을 통해 이러한 핵심 과제를 해결한다. 하드코딩된 스크립트 대신 실제로 보는 것을 이해한다”고 강조했다.

또한 이 시스템이 모든 인터페이스에서 작동하고 사용과 피드백을 통해 발전할 수 있는 잠재력을 가지고 있다고 설명했다.