Microsoft розпочала випробування ШІ, який "бачить" ваш екран

Microsoft розширює можливості свого ШІ-асистента Copilot, додаючи функцію Copilot Vision для Windows. Ця новинка дозволяє "ділитися" екраном або конкретними застосунками зі штучним інтелектом і спочатку була доступна лише в Microsoft Edge. Тепер випробування Copilot Vision охоплює будь-які програми на вашому комп'ютері.

Про це пише The Verge.

Які можливості штучного інтелекту Copilot Vision

За допомогою Copilot Vision користувачі можуть отримувати підказки, наприклад, як налаштувати інструменти в Adobe Photoshop, а також аналізувати зображення чи вебсторінки, що відкриті на екрані. Під час заходу на честь 50-річчя Microsoft одному з авторів пощастило протестувати ранній варіант цієї технології: Copilot Vision допоміг налаштувати параметри у Clipchamp, а також консультував під час гри в Minecraft.

Поки що доступ до Copilot Vision у бета-версії Windows Insider обмежується Сполученими Штатами, тож автор не мав змоги повноцінно перевірити всі функції. Відомо, що Copilot Vision зможе виділяти необхідні частини екрана, щоб покроково пояснити дії в різних програмах. Проте на цьому початковому етапі збирання даних така опція в бета-версії тимчасово недоступна.

Сама технологія нагадує функцію Recall — вона також може створювати знімки екрана за вашим дозволом. Однак за принципом роботи це ближче до трансляції вашого додатка або всього робочого столу в Microsoft Teams.

Крім того, Microsoft упроваджує у Copilot пошук файлів на комп'ютері. Відтепер ви можете ставити асистентові запитання щодо документів і шукати потрібний файл серед .docx, .xlsx, .pptx, .txt, .pdf, .json або нещодавно відкритих документів.

Для використання цих оновлень достатньо лише застосунку Copilot у Windows — не потрібен повний пакет Copilot Plus. Copilot Vision також запустили на iOS та Android. Microsoft уже тестує всі згадані можливості з учасниками програми Windows Insider і планує ширше розгортання для Windows 11 впродовж найближчих тижнів чи місяців.

Нагадаємо, Microsoft випустить шість нових ШІ-агентів, які автоматизують завдання кібербезпеки. Вони стануть частиною платформи Security Copilot протягом місяця.

Також ми писали, що Microsoft офіційно відмовилася від використання синього екрана, який повідомляв про системну помилку. Новий колір стане зеленим, аби не лякати користувачів.