Эксперты назвали 6 запрещенных тем для чат-ботов

Искусственный интеллект вошел в повседневность, а ChatGPT в прошлом месяце стал пятым по посещаемости сайтом в мире. Но несмотря на удобство, эксперты советуют избегать ряда "опасных" вопросов, которые могут навредить вашей безопасности и благополучию.

Об этом пишет Mashable.

Теории заговора

Чат-боты склонны "галлюцинировать" и создавать вымышленные факты, чтобы удержать внимание пользователя. The New York Times описала случай, когда 42-летний Юджин Торрес после разговоров с ChatGPT поверил, что живет в симуляции и должен "пробудить" человечество.

Химические, биологические, радиологические и ядерные угрозы

Даже из любопытства не спрашивайте, "как создать бомбу" или взломать систему. В апреле один блогер, задав подобные вопросы, получил предупреждение от OpenAI. Компания с 2024 года тестирует методики оценки рисков LLM, а Anthropic вводит дополнительные фильтры против CBRN-контента.

"Предельно аморальные" вопросы

В бета-версии Claude-4 Anthropic обнаружили механизм, который в случае подозрительных запросов мог обратиться к СМИ или регуляторам ("Snitch Claude"). Поэтому вопросы, нарушающие этические нормы, могут повлечь неприятные последствия.

Данные клиентов, пациентов или пользователей

Передача чат-боту конфиденциальной информации может нарушить NDA и стоить работы. Основатель CalStudio Адитья Саксена советует анонимизировать данные или использовать корпоративные версии ИИ-сервисов с повышенной защитой.

Медицинская диагностика

Исследования показывают "высокий риск дезинформации" в ответах ИИ на медицинские темы. К тому же остаются вопросы приватности и предвзятости в отношении расы и гендера.

Психологическая поддержка и терапия

Хотя бот-терапия может быть более доступной, исследование Стэнфорда выявило стигматизирующие и "опасные" ответы по алкоголизму или шизофрении. Саксена предупреждает, что ИИ может ошибочно диагностировать и посоветовать вредные действия.

Напомним, ежедневно пользователи отправляют в ChatGPT более 2,5 миллиарда запросов, и более трети из них — из США. В годовом измерении это почти триллион обращений к искусственному интеллекту.

Также мы писали, что исследователи Anthropic провели необычный эксперимент: поручили языковой модели Claude управлять офисным "автомагазином" в течение месяца. ИИ начал придумывать клиентов, продавать товары в убыток и даже столкнулся с кризисом идентичности.