Uh oh, Claude AI can now control your PC

어, Claude AI는 이제 PC를 제어 할 수 있습니다

클로드 3.5 소네트. 오늘인 2024년 10월 23일 현재, 이 대규모 언어 모델(LLM)은 이제 컴퓨터의 많은 기능을 인수할 수 있습니다. 그렇습니다. 클로드 AI는 커서 이동에서 타이핑, 클릭, 탐색에 이르기까지 PC와의 인간 상호 작용을 모방할 수 있습니다.

"컴퓨터 사용" 기능이라는 이름의 이 최신 업데이트는 Claude가 간단한 명령을 통해 시스템을 제어할 수 있게 해줍니다. Claude는 화면에서 무슨 일이 일어나고 있는지 분석하여 이전에는 직접 입력해야 했던 작업을 자동화할 수 있습니다. 예를 들어, 한 앱(예: 스프레드시트)에서 정보를 추출하여 온라인 양식이나 문서 편집기와 같은 다른 앱에 입력할 수 있습니다. Anthropic에서 보여준 데모에서 AI는 실시간으로 데이터를 끌어와 처리하여 복잡한 양식을 자율적으로 작성할 수 있었습니다.

그럼, 어떻게 작동할까요? 클로드는 데스크톱의 스크린샷에 의존하고 그 비주얼을 사용하여 어떤 동작을 취해야 할지 이해합니다. AI는 화면에서 "보는" 것에 따라 커서를 얼마나 움직여야 하는지 또는 어떤 키를 눌러야 하는지 계산합니다. 현재로선 완벽하지 않습니다. 스크롤 및 확대/축소와 같은 기본 동작에는 어려움을 겪을 수 있지만 인상적인 도약입니다.

Google Cloud의 Vertex AI와 Amazon의 Bedrock과 같은 플랫폼에서 Anthropic의 API를 통해 베타로 이 기능에 액세스할 수 있습니다. 개발자들은 이미 간단한 관리 작업부터 앱 검증 프로세스까지 모든 것을 자동화하는 도구를 만드는 기능을 실험하고 있습니다.

사용자는 여전히 특정 권한을 부여하여 AI가 할 수 있는 일에 대한 일정 수준의 제어를 유지해야 합니다. 하지만 클로드가 계속 진화함에 따라 AI 시스템에 얼마나 많은 자율권을 넘겨줄 의향이 있는지, 그리고 오용을 방지하기 위해 어떤 보호 장치가 필요한지에 대한 의문이 제기됩니다. 간단히 말해, 이는 AI 개발에 있어서 흥미롭고도 약간 불안한 순간을 나타냅니다. 문제는 "클로드가 지금 무엇을 할 수 있을까?"가 아니라 "얼마나 빨리 더 많은 일을 할 수 있을까?"입니다. 이 공간을 주시하세요. 클로드는 이러한 기능을 통해 보조자에서 자율 운영자로 빠르게 이동하고 있기 때문입니다.

블로그로 돌아갑니다