ШІ від Microsoft навчився натискати кнопки замість працівників

Microsoft розширила можливості Copilot Studio, відкривши інструмент computer use. Тепер корпоративні ШІ-агенти можуть буквально "натискати" кнопки, обирати пункти меню й вводити текст у полях інтерфейсу — так само, як це зробив би працівник за комп'ютером.

Про це пише The Verge.

Як працює нова функція в Copilot Studio

Нововведення нагадує Operator від OpenAI або однойменну функцію Claude, але пропонує більшу свободу: агент може працювати з будь‑яким сайтом чи застосунком, навіть якщо до нього немає API.

Корпоративний віцепрезидент підрозділу Microsoft Business & Industry Copilot Чарльз Ламана пояснює, що computer use дає змогу агентам виконувати завдання там, де раніше потрібна була людина. Якщо користувач може взаємодіяти з програмою вручну, те саме зробить і Copilot. Система розпізнає елементи інтерфейсу, натискає потрібні кнопки, заповнює форми й продовжує роботу навіть після оновлення дизайну чи зміни розташування елементів на екрані.

З погляду практичних сценаріїв Copilot Studio здатний автоматизувати рутинне введення даних у CRM, проводити маркетингові дослідження або обробляти рахунки-фактури. Функція аналізує зміни на сторінці та підлаштовується, тож скрипт не "ламається", коли сайт чи додаток отримує оновлення.

Це не перша спроба Microsoft навчити Copilot працювати за користувача. На початку квітня у споживчій версії з'явилася можливість Actions, що дозволяє у фоновому режимі бронювати ресторани, купувати квитки та оформлювати замовлення. Однак Actions працює лише з обмеженим колом партнерів, тоді як агенти Copilot Studio можуть взаємодіяти з будь-яким вебресурсом або десктопною програмою без додаткових угод.

Таким чином, завдяки computer use бізнес отримує універсальний інструмент для створення ШІ-агентів, які відтворюють людську роботу з додатками й сайтами та усувають потребу в ручних операціях там, де інтеграцію через API налагодити складно або неможливо.

Нагадаємо, Microsoft офіційно заявила, що змінить колір синього "екрану смерті" на зелений. Корпорація вважає, що зміна допоможе користувачам менше лякатися системної помилки.

Також ми писали, що Microsoft пропонує користувачам старих пристроїв, які не підтримують Windows 11, утилізувати їх. Таким чином компанія нагадує, що незабаром відбудеться припинення підтримки Windows 10.