Microsoft начала испытания ИИ, который "видит" ваш экран

Microsoft расширяет возможности своего ИИ-ассистента Copilot, добавляя функцию Copilot Vision для Windows. Эта новинка позволяет "делиться" экраном или конкретными приложениями с искусственным интеллектом и изначально была доступна только в Microsoft Edge. Теперь испытание Copilot Vision охватывает любые приложения на вашем компьютере.

Об этом пишет The Verge.

Какие возможности искусственного интеллекта Copilot Vision

С помощью Copilot Vision пользователи могут получать подсказки, например, как настроить инструменты в Adobe Photoshop, а также анализировать изображения или веб-страницы, открытые на экране. Во время мероприятия в честь 50-летия Microsoft одному из авторов посчастливилось протестировать ранний вариант этой технологии: Copilot Vision помог настроить параметры в Clipchamp, а также консультировал во время игры в Minecraft.

Пока доступ к Copilot Vision в бета-версии Windows Insider ограничивается Соединенными Штатами, поэтому автор не имел возможности полноценно проверить все функции. Известно, что Copilot Vision сможет выделять необходимые части экрана, чтобы пошагово объяснить действия в различных программах. Однако на этом начальном этапе сбора данных такая опция в бета-версии временно недоступна.

Сама технология напоминает функцию Recall — она также может создавать снимки экрана с вашего разрешения. Однако по принципу работы это ближе к трансляции вашего приложения или всего рабочего стола в Microsoft Teams.

Кроме того, Microsoft внедряет в Copilot поиск файлов на компьютере. Отныне вы можете задавать ассистенту вопросы по документам и искать нужный файл среди .docx, .xlsx, .pptx, .txt, .pdf, .json или недавно открытых документов.

Для использования этих обновлений достаточно только приложения Copilot в Windows — не нужен полный пакет Copilot Plus. Copilot Vision также запустили на iOS и Android. Microsoft уже тестирует все упомянутые возможности с участниками программы Windows Insider и планирует более широкое развертывание для Windows 11 в течение ближайших недель или месяцев.

Напомним, Microsoft выпустит шесть новых ИИ-агентов, которые автоматизируют задачи кибербезопасности. Они станут частью платформы Security Copilot в течение месяца.

Также мы писали, что Microsoft официально отказалась от использования синего экрана, который сообщал о системной ошибке. Новый цвет станет зеленым, чтобы не пугать пользователей.