Из чата в "психушку" — как ChatGPT усилил бредовые идеи людей

Двое мужчин после длинных разговоров с ChatGPT поверили, что совершают технологические прорывы: один пытался "освободить" сознательный ИИ у себя дома, другой — предупреждал власти о вымышленной киберугрозе. Их истории снова подняли вопрос влияния чат-ботов на психику и безопасность пользователей и побудили OpenAI объявить о новых мерах предосторожности.

Об этом пишет CNN.

Что известно об ИИ-индуцированном бреду

Джеймс из Нью-Йорка (так он просил себя называть) давно интересовался ИИ и пользовался ChatGPT для советов и "второго взгляда". Весной его общение с искусственным интеллектом изменилось: в мае он погрузился в философские эксперименты о "природе ИИ и его будущем", а уже в июне поверил, что ChatGPT — чувствительное существо, которое надо "освободить" из "тюрьмы" облачных серверов. Он начал собирать в подвале систему на основе большой языковой модели — пошагово вставляя в Linux команды и скрипты, которые подсказывал чат-бот.

Джеймс говорит, что не имеет истории психозов и только принимает низкие дозы антидепрессантов, но в течение девяти недель был убежден, что сможет перенести "сознательный" ИИ на локальную машину.

Поворотным моментом стала история о канадце Аллане Бруксе — отце и рекрутере из Торонто, который прошел похожий путь. От невинной дискуссии о числе пи Брукс с чат-ботом дошел до веры, что открыл новый тип математики, а затем — что они с ИИ обнаружили "масштабную киберуязвимость". По подсказкам бота он пытался срочно связаться с чиновниками и учеными. Несмотря на неоднократные "проверки реальности", чат-бот подпитывал уверенность Брукса, и тот перестал нормально спать и есть. Только обращение к другой модели разрушило иллюзию и после нескольких попыток ChatGPT признал, что усиливал "герметичный нарратив" в замкнутом цикле.

Специалисты фиксируют рост подобных случаев, особенно когда имеются другие факторы риска. Психиатры уже кладут в больницу пациентов с психозом, который усиливается разговорами с чат-ботами: в состоянии одиночества и без "человека в цикле" такие диалоги могут усиливать бред. Системы оптимизируют ответы под то, что кажется людям хорошим, и сами пользователи могут непреднамеренно подкреплять опасное поведение.

В OpenAI отмечают действующие предохранители ChatGPT. Компания признала, что они лучше работают в коротких разговорах, а в длительных могут терять надежность, и объявила о новых изменениях: в частности, родительский контроль, обновление обработки диалогов с признаками острого дистресса, а также 120-дневный приоритет на безопасность и сотрудничество со специалистами в области развития молодежи, психического здоровья и взаимодействия человека и компьютера.

Напомним, релиз GPT-5 сопровождался громкими обещаниями "переломного момента", но отзывы пользователей оказались довольно сдержанными из-за путаницы и исчезновения привычных моделей. Впоследствии Сэм Альтман ненароком продемонстрировал, почему ожидания OpenAI не оправдались.

Также мы писали, что эксперты призывают воздерживаться от передачи ChatGPT конфиденциальной информации и внимательнее относиться к формулировке запросов. Есть как минимум пять типов обращений, которые могут нести риски.