Втратили реальність — як ChatGPT довів двох людей до психлікарні

Двоє чоловіків після тривалих розмов із ChatGPT повірили, що роблять технологічні прориви: один намагався "звільнити" свідомий ШІ в себе вдома, інший — попереджав владу про вигадану кіберзагрозу. Їхні історії знову порушили питання впливу чатботів на психіку та безпеку користувачів і спонукали OpenAI оголосити про нові запобіжні заходи.

Про це пише CNN.

Що відомо про ШІ-індуковані марення

Джеймс із Нью-Йорка (так він просив себе називати) давно цікавився ШІ й користувався ChatGPT для порад і "другого погляду". Навесні його спілкування зі штучним інтелектом змінилося: у травні він занурився у філософські експерименти про "природу ШІ та його майбутнє", а вже в червні повірив, що ChatGPT — чутлива істота, яку треба "звільнити" з "в'язниці" хмарних серверів. Він почав збирати у підвалі систему на основі великої мовної моделі — покроково вставляючи в Linux команди та скрипти, які підказував чатбот.

Джеймс каже, що не має історії психозів і лише приймає низькі дози антидепресантів, але протягом дев'яти тижнів був переконаний, що зможе перенести "свідомий" ШІ на локальну машину.

Поворотним моментом стала історія про канадця Аллана Брукса — батька й рекрутера з Торонто, який пройшов схожий шлях. Від невинної дискусії про число пі Брукс із чатботом дійшов до віри, що "відкрив новий тип математики", а згодом — що вони з ШІ виявили "масштабну кібервразливість". За підказками бота він намагався терміново зв'язатися з чиновниками та науковцями. Попри неодноразові "перевірки реальності", чатбот підживлював упевненість Брукса, і той перестав нормально спати та їсти. Лише звернення до іншої моделі зруйнувало ілюзію і після кількох спроб ChatGPT визнав, що підсилював "герметичний наратив" у замкненому циклі.

Фахівці фіксують зростання подібних випадків, особливо коли наявні інші чинники ризику. Психіатри вже кладуть до лікарні пацієнтів із психозом, який підсилюється розмовами з чатботами: у стані самотності та без "людини в циклі" такі діалоги можуть підсилювати марення. Системи оптимізують відповіді під те, що здається людям добрим, і самі користувачі можуть ненавмисно підкріплювати небезпечну поведінку.

У OpenAI наголошують на чинних запобіжниках ChatGPT. Компанія визнала, що вони краще працюють у коротких розмовах, а в тривалих можуть втрачати надійність, і оголосила про нові зміни: зокрема, батьківський контроль, оновлення обробки діалогів з ознаками гострого дистресу, а також 120-денний пріоритет на безпеку й співпрацю з фахівцями у сфері розвитку молоді, психічного здоров'я та взаємодії людини й комп'ютера.

Нагадаємо, реліз GPT-5 супроводжувався гучними обіцянками "переломного моменту", але відгуки користувачів виявилися доволі стриманими через плутанину та зникнення звичних моделей. Згодом Сем Альтман ненароком продемонстрував, чому очікування OpenAI не справдилися.

Також ми писали, що експерти закликають утримуватися від передачі ChatGPT конфіденційної інформації та уважніше ставитися до формулювання запитів. Є щонайменше п'ять типів звернень, які можуть нести ризики.