Claude 3.5 Sonnet. С сегодняшнего дня, 23 октября 2024 года, эта большая языковая модель (LLM) теперь может взять на себя многие функции на вашем компьютере. Да, Claude AI может имитировать человеческое взаимодействие с вашим ПК, от перемещения курсора до набора текста, щелчков и просмотра.
Последнее обновление, получившее название «Computer Use», позволяет Claude управлять вашей системой с помощью простых команд. Анализируя то, что происходит на вашем экране, Claude может автоматизировать задачи, которые ранее требовали вашего прямого ввода. Например, он может извлекать информацию из одного приложения (например, электронной таблицы) и вводить ее в другое, например, в онлайн-форму или редактор документов. В демонстрации, показанной Anthropic, ИИ был способен автономно заполнять сложные формы, извлекая и обрабатывая данные в режиме реального времени.
Итак, как это работает? Claude полагается на скриншоты вашего рабочего стола и использует эти визуальные эффекты, чтобы понять, какие действия предпринять. ИИ вычисляет, насколько переместить курсор или какие клавиши нажать, основываясь на том, что он «видит» на экране. Пока что он не идеален. Он может испытывать трудности с базовыми действиями, такими как прокрутка и масштабирование, но это впечатляющий скачок вперед.
Вы можете получить доступ к этой функции в бета-версии через API Anthropic на таких платформах, как Vertex AI от Google Cloud и Bedrock от Amazon. Разработчики уже экспериментируют с ее возможностями, чтобы создать инструменты, которые автоматизируют все: от простых задач администрирования до процессов проверки приложений.
Пользователям по-прежнему необходимо будет предоставлять определенные разрешения, сохраняя определенный уровень контроля над тем, что может делать ИИ. Но по мере того, как Claude продолжает развиваться, возникают вопросы о том, сколько автономии мы готовы передать системам ИИ и какие меры предосторожности необходимы для предотвращения злоупотреблений. Короче говоря, это знаменует собой волнующий, немного нервирующий момент в развитии ИИ. Вопрос не только в том, «что Claude может делать сейчас?», но и в том, «как скоро он будет делать еще больше?» Следите за этим пространством, потому что с такими возможностями Claude быстро превращается из помощника в автономного оператора.