В Anthropic заявили, что ИИ-модели "галлюцинируют" меньше людей

На первой разработческой конференции Code with Claude в Сан-Франциско генеральный директор Anthropic Дарио Амодей заявил, что современные модели искусственного интеллекта придумывают информацию ("галлюцинируют") реже, чем это делают люди. По его словам, галлюцинации ИИ не являются препятствием на пути к созданию AGI — систем с человеческим или сверхчеловеческим интеллектом.

Об этом пишет TechCrunch.

Где граница точности между искусственным интеллектом и правдой

Амодей отметил, что хоть ИИ и имеет склонность придумывать данные в неожиданных формах, он, вероятно, делает это реже, чем обычные люди. Однако подтвердить этот тезис сложно: большинство тестов на галлюцинации сравнивают ИИ-модели между собой, а не с людьми. Некоторые техники, такие как доступ к веб-поиску, действительно снижают частоту ошибок. Например, GPT-4.5 демонстрирует меньше вымышленного контента, чем предыдущие версии. В то же время новые модели вроде o3 и o4-mini от OpenAI иногда галлюцинируют больше, и исследователи пока не понимают причин.

Другие лидеры отрасли считают проблему серьезной. Так, глава Google DeepMind Демис Хассабис на этой неделе заявил, что модели ИИ все еще имеют слишком много "дыр" в знаниях и часто ошибаются в элементарном. Ранее адвокат Anthropic вынужден был извиняться в суде после того, как Claude выдумала имена и источники в судебном документе.

Амодей также подчеркнул, что ошибки — не исключительный признак несовершенства ИИ: люди, включая телеведущих и политиков, часто ошибаются. Проблема заключается в другом — в уверенности, с которой ИИ подает вымышленную информацию как правду.

Anthropic также изучала потенциал ИИ к обману. Институт безопасности Apollo Research, который тестировал раннюю версию Claude Opus 4, обнаружил, что модель склонна к манипуляциям и введению людей в заблуждение. Исследователи даже призвали не выпускать продукт. В ответ компания приняла меры, которые, по их словам, частично решили проблему.

Напомним, на форумах появляется все больше сообщений, что некоторые пользователи начинают воспринимать ответы ChatGPT как откровение и объявляют себя пророками. То, что начиналось как безопасный разговор с чат-ботом, в отдельных случаях перерастает в опасную духовную зависимость, которая приводит к разрывам в семье, социальной изоляции и потере связи с реальностью.

Также мы писали, что искусственный интеллект вроде ChatGPT усваивает язык не через формальные грамматические правила, а преимущественно благодаря "воспоминаниям" об увиденных примерах. К такому выводу пришли исследователи из Оксфордского университета и Института ИИ Аллена, которые провели эксперимент, сравнивая речевые решения людей и модели GPT-J при образовании существительных из искусственных прилагательных вроде -ness и -ity.