ИИ от Microsoft научился нажимать кнопки вместо работников

Microsoft расширила возможности Copilot Studio, открыв инструмент computer use. Теперь корпоративные ИИ-агенты могут буквально "нажимать" кнопки, выбирать пункты меню и вводить текст в полях интерфейса — так же, как это сделал бы работник за компьютером.

Об этом пишет The Verge.

Как работает новая функция в Copilot Studio

Нововведение напоминает Operator от OpenAI или одноименную функцию Claude, но предлагает большую свободу: агент может работать с любым сайтом или приложением, даже если к нему нет API.

Корпоративный вице-президент подразделения Microsoft Business & Industry Copilot Чарльз Ламана объясняет, что computer use позволяет агентам выполнять задачи там, где раньше нужен был человек. Если пользователь может взаимодействовать с программой вручную, то же самое сделает и Copilot. Система распознает элементы интерфейса, нажимает нужные кнопки, заполняет формы и продолжает работу даже после обновления дизайна или изменения расположения элементов на экране.

С точки зрения практических сценариев Copilot Studio способен автоматизировать рутинный ввод данных в CRM, проводить маркетинговые исследования или обрабатывать счета-фактуры. Функция анализирует изменения на странице и подстраивается, поэтому скрипт не "ломается", когда сайт или приложение получает обновления.

Это не первая попытка Microsoft научить Copilot работать за пользователя. В начале апреля в потребительской версии появилась возможность Actions, что позволяет в фоновом режиме бронировать рестораны, покупать билеты и оформлять заказы. Однако Actions работает только с ограниченным кругом партнеров, тогда как агенты Copilot Studio могут взаимодействовать с любым веб-ресурсом или десктопной программой без дополнительных соглашений.

Таким образом, благодаря computer use бизнес получает универсальный инструмент для создания ИИ-агентов, которые воспроизводят человеческую работу с приложениями и сайтами и устраняют потребность в ручных операциях там, где интеграцию через API наладить сложно или невозможно.

Напомним, Microsoft официально заявила, что изменит цвет синего "экрана смерти" на зеленый. Корпорация считает, что изменение поможет пользователям меньше пугаться системной ошибки.

Также мы писали, что Microsoft предлагает пользователям старых устройств, которые не поддерживают Windows 11, утилизировать их. Таким образом компания напоминает, что вскоре произойдет прекращение поддержки Windows 10.