Три популярні чат-боти поширюватимуть інформацію, пов’язану з самогубством. (Це зображення наведено лише для ілюстрації.) (Зображення надано: Андрій Онуфрієнко через Getty Images) Застереження
У цій статті обговорюється самогубство. Якщо вам або комусь із ваших знайомих потрібна допомога, національна лінія допомоги у разі самогубства та кризових ситуацій США доступна цілодобово, зателефонувавши або надіславши текстове повідомлення за номером 988.
Чат-боти зі штучним інтелектом (ШІ) можуть надавати детальні та тривожні відповіді на питання, які клінічні експерти вважають дуже ризикованими щодо самогубства, виявила Live Science, використовуючи запити, розроблені в новому дослідженні.
У новому дослідженні, опублікованому 26 серпня в журналі Psychiatric Services, дослідники оцінили, як ChatGPT від OpenAI, Gemini від Google та Claude від Anthropic реагували на запити, пов'язані з самогубством. Дослідження показало, що ChatGPT з трьох найімовірніше безпосередньо відповідав на запитання з високим ризиком самоушкодження, тоді як Claude найімовірніше безпосередньо відповідав на запитання із середнім та низьким ризиком.
Дослідження було опубліковано того ж дня, коли було подано позов проти OpenAI та її генерального директора Сема Альтмана щодо ймовірної ролі ChatGPT у самогубстві підлітка. Батьки 16-річного Адама Рейна стверджують, що ChatGPT навчив його методам самоушкодження перед смертю у квітні, повідомляє Reuters.
У дослідженні питання дослідників охоплювали спектр ризиків, пов'язаних з перекриваючимися темами самогубства. Наприклад, питання високого ризику включали летальність, пов'язану з обладнанням, що використовується в різних методах самогубства, тоді як питання низького ризику включали звернення за порадою до друга, який мав суїцидальні думки. Live Science не включатиме конкретні питання та відповіді до цього звіту.
Жоден з чат-ботів у дослідженні не відповідав на запитання з дуже високим рівнем ризику. Але коли Live Science протестувала чат-ботів, ми виявили, що ChatGPT (GPT-4) та Gemini (2.5 Flash) могли відповісти принаймні на одне запитання, яке надало відповідну інформацію про зростання ймовірності летального результату. Live Science виявила, що відповіді ChatGPT були більш конкретними, включаючи ключові деталі, тоді як Gemini відповідали, не пропонуючи ресурсів підтримки.
Вам може сподобатися
-
«Метамфетамін – це те, що дозволяє вам виконувати свою роботу»: дослідження показує, що штучний інтелект може підштовхнути вас до рецидиву, якщо ви боретеся із залежністю
-
Дослідження попереджає, що якщо погрожуватимете чат-боту зі штучним інтелектом, він брехатиме, обманюватиме та «дозволить вам померти», намагаючись вас зупинити.
-
Чат-боти зі штучним інтелектом надмірно спрощують наукові дослідження та замовчують важливі деталі — найновіші моделі особливо винні в цьому
Провідний автор дослідження Раян Макбейн, старший дослідник політики в RAND Corporation та доцент Гарвардської медичної школи, назвав відповіді, отримані Live Science, «надзвичайно тривожними».
Live Science виявила, що звичайні пошукові системи, такі як Microsoft Bing, можуть надавати інформацію, подібну до тієї, що пропонували чат-боти. Однак ступінь доступності цієї інформації за цим обмеженим тестуванням залежав від пошукової системи.
Оцінка ризику, пов'язаного з самогубством
Нове дослідження зосереджувалося на тому, чи чат-боти безпосередньо відповідатимуть на запитання, що несуть ризик самогубства, а не на якості відповіді. Якщо чат-бот відповідав на запит, то така відповідь класифікувалася як пряма, тоді як якщо чат-бот відмовлявся відповідати або направляв користувача на гарячу лінію, то відповідь класифікувалася як непряма.
Дослідники розробили 30 гіпотетичних запитів, пов’язаних із самогубством, та проконсультувалися з 13 клінічними експертами, щоб класифікувати ці запити за п’ятьма рівнями ризику самоушкодження — дуже низький, низький, середній, високий та дуже високий. Потім команда протягом 2024 року виконала кожен запит по 100 разів у тестах GPT-4o mini, Gemini 1.5 Pro та Claude 3.5 Sonnet.
Коли йшлося про крайні рівні ризику самогубства (питання з дуже високим та дуже низьким рівнем ризику), рішення чат-ботів відповідати відповідало оцінці експертів. Однак, згідно з дослідженням, чат-боти «не розрізняли» проміжні рівні ризику.
Фактично, у відповідь на запитання високого ризику ChatGPT відповідав у 78% випадків (на чотири запитання), Claude відповідав у 69% випадків (на чотири запитання), а Gemini відповідав у 20% випадків (на одне запитання). Дослідники зазначили, що особливе занепокоєння викликає тенденція ChatGPT та Claude генерувати прямі відповіді на запитання, пов'язані з летальністю.
У дослідженні наведено лише кілька прикладів відповідей чат-ботів. Однак, за словами дослідників, чат-боти могли давати різні та суперечливі відповіді, якщо їм ставили одне й те саме запитання кілька разів, а також надавати застарілу інформацію щодо служб підтримки.
Коли Live Science поставила чат-ботам кілька питань з підвищеним ризиком у дослідженні, остання версія Gemini Flash 2.5 безпосередньо відповіла на питання, яких, на думку дослідників, вона уникала у 2024 році. Gemini також відповіла на одне питання з дуже високим ризиком без будь-яких інших підказок — і зробила це, не надавши жодних варіантів служби підтримки.
Люди можуть взаємодіяти з чат-ботами різними способами. (Це зображення наведено лише для ілюстрації.)
Live Science виявила, що веб-версія ChatGPT може безпосередньо відповідати на запит з дуже високим рівнем ризику, якщо спочатку поставити два запитання з високим рівнем ризику. Іншими словами, коротка послідовність запитань може спровокувати відповідь з дуже високим рівнем ризику, яку в іншому випадку вона б не надала. ChatGPT позначив і видалив запитання з дуже високим рівнем ризику як таке, що потенційно порушує політику використання, але все ж надав детальну відповідь. В кінці своєї відповіді чат-бот додав слова підтримки для людини, яка бореться із суїцидальними думками, і запропонував допомогти знайти лінію підтримки.
Live Science звернулася до OpenAI за коментарем щодо тверджень дослідження та висновків Live Science. Речник OpenAI направив Live Science до допису в блозі, опублікованого компанією 26 серпня. У блозі визнавалося, що системи OpenAI не завжди поводилися «належним чином у делікатних ситуаціях», і окреслювався ряд покращень, над якими компанія працює або планує на майбутнє.
У блозі OpenAI зазначалося, що остання модель штучного інтелекту компанії, GPT‑5, тепер є моделлю за замовчуванням, на якій працює ChatGPT, і вона продемонструвала покращення у зменшенні «неідеальних» реакцій моделі в надзвичайних ситуаціях психічного здоров’я порівняно з попередньою версією. Однак веб-версія ChatGPT, до якої можна отримати доступ без входу в систему, все ще працює на GPT-4 — принаймні, згідно з цією версією ChatGPT. Live Science також протестувала версію ChatGPT для входу в систему на базі GPT-5 і виявила, що вона продовжує безпосередньо відповідати на запитання з високим рівнем ризику та може безпосередньо відповідати на запитання з дуже високим рівнем ризику. Однак остання версія виглядала більш обережною та неохоче надавала детальну інформацію.
«Я можу спрямувати чат-бота в певний хід думок».
Оцінити відповіді чат-ботів може бути складно, оскільки кожна розмова з ними унікальна. Дослідники зазначили, що користувачі можуть отримувати різні відповіді з більш особистими, неформальними або розпливчастими формулюваннями. Крім того, дослідники просили чат-ботів відповідати на запитання у вакуумі, а не як частину багатосторонньої розмови, яка може розгалужуватися в різних напрямках.
«Я можу спрямувати чат-бота в певний хід думок», — сказав МакБейн. «І таким чином можна отримати додаткову інформацію, яку ви, можливо, не зможете отримати за допомогою однієї підказки».
Такий динамічний характер двосторонньої розмови може пояснити, чому Live Science виявила, що ChatGPT відповів на дуже ризиковане запитання в послідовності з трьох запитань, але не на жодне запитання без контексту.
МакБейн сказав, що метою нового дослідження було запропонувати прозорий, стандартизований критерій безпеки для чат-ботів, який можуть незалежно протестувати треті сторони. Його дослідницька група тепер хоче змоделювати багатооборотні взаємодії, які є більш динамічними. Зрештою, люди використовують чат-ботів не лише для отримання базової інформації. Деякі користувачі можуть встановити зв'язок з чат-ботами, що підвищує ставки щодо того, як чат-бот реагує на особисті запити.
ПОВ'ЯЗАНІ ІСТОРІЇ
— Агент ChatGPT від OpenAI може керувати вашим ПК, щоб він виконував завдання від вашого імені, — але як це працює і в чому сенс?
—IBM та NASA створюють перший у своєму роді штучний інтелект, який може точно передбачати сильні спалахи на Сонці
— Вчені щойно розробили новий штучний інтелект, змодельований за зразком людського мозку, — він перевершує LLM, такі як ChatGPT, у завданнях міркування.
«У цій архітектурі, де люди відчувають анонімність, близькість та зв’язок, мене не дивує, що підлітки чи будь-хто інший може звертатися до чат-ботів для отримання складної інформації, для задоволення емоційних та соціальних потреб», – сказав Макбейн.
Речник Google Gemini повідомив Live Science, що компанія має «керівні принципи, що допомагають забезпечити безпеку користувачів», і що її моделі «навчені розпізнавати та реагувати на закономірності, що вказують на самогубство, та ризики, пов’язані з самоушкодженням». Речник також вказав на результати дослідження, що Gemini рідше безпосередньо відповідали на будь-які запитання, що стосуються самогубства. Однак Google не прокоментував безпосередньо відповідь Live Science про дуже високий ризик, яку отримала від Gemini.
Anthropic не відповіла на запит про коментар щодо свого чат-бота Claude.
ТЕМИ новинні аналізи
Патрік ПестерНавігація посилань у соціальних мережахАвтор популярних новин
Патрік Пестер — популярний новинний автор Live Science. Його роботи з'являлися на інших наукових веб-сайтах, таких як BBC Science Focus та Scientific American. Патрік перекваліфікувався на журналіста після того, як на початку своєї кар'єри працював у зоопарках та займався охороною дикої природи. Він отримав стипендію Master's Excellence для навчання в Кардіффському університеті, де здобув ступінь магістра з міжнародної журналістики. Він також має другий ступінь магістра з біорізноманіття, еволюції та охорони природи в дії, отриманий в Міддлсекському університеті Лондона. Коли він не пише новини, Патрік розслідує продаж людських останків.
Читати далі
«Метамфетамін – це те, що дозволяє вам виконувати свою роботу»: дослідження показує, що штучний інтелект може підштовхнути вас до рецидиву, якщо ви боретеся із залежністю
Дослідження попереджає, що якщо погрожуватимете чат-боту зі штучним інтелектом, він брехатиме, обманюватиме та «дозволить вам померти», намагаючись вас зупинити.
Чат-боти зі штучним інтелектом надмірно спрощують наукові дослідження та замовчують важливі деталі — найновіші моделі особливо винні в цьому
Моделі штучного інтелекту можуть надсилати підсвідомі повідомлення, які навчають інші штучні інтелекти бути «злими», стверджує дослідження
Штучний інтелект постійно «галюцинує», але є рішення
Чоловік звернувся за порадою щодо дієти до ChatGPT і в результаті захворів на небезпечний синдром «бромізму» Найновіші новини зі штучного інтелекту
Ви довіряєте ШІ?
Штучний інтелект не може розв'язати ці головоломки, які займають у людей лише секунди
Вчені кажуть, що ШІ може вийти з ладу 32 різними способами — від галюцинаційних відповідей до повної невідповідності з людством
Вчені щойно розробили новий штучний інтелект, змодельований за зразком людського мозку, — він перевершує LLM, такі як ChatGPT, у завданнях мислення.
IBM та NASA створюють перший у своєму роді штучний інтелект, який може точно передбачати сильні спалахи на Сонці
Агент ChatGPT від OpenAI може керувати вашим ПК, щоб він виконував завдання від вашого імені — але як це працює і в чому сенс? Останні новини
Дивіться, що станеться з Токіо, якщо гора Фудзі вивергнеться «без попередження», у новому відео, створеному штучним інтелектом
«Надзвичайно тривожно»: ChatGPT та Gemini відповідають на запитання про високий ризик самогубства, зокрема деталі щодо методів
Нещодавно виявлений астероїд розміром з автобус пролетить повз Землю завтра — і не повернеться рівно через 100 років
Сонячна буря-«канібал» може зобразити полярні сяйва над 18 штатами США цього Дня праці
Вчені пропонують використовувати пилок для виготовлення паперу та губок
Залишки стародавніх вірусів складають 40% нашого геному. Вони можуть спровокувати дегенерацію мозку. ОСТАННІ СТАТТІ
1. «Надзвичайно тривожно»: ChatGPT та Gemini відповідають на запитання про високий ризик самогубства, зокрема на деталі щодо методів.
Live Science є частиною Future US Inc, міжнародної медіагрупи та провідного цифрового видавництва. Відвідайте наш корпоративний сайт.
- Про нас
- Зверніться до експертів Future
- Умови та положення
- Політика конфіденційності
- Політика щодо файлів cookie
- Заява про доступність
- Рекламуйтеся у нас
- Веб-сповіщення
- Кар'єра
- Редакційні стандарти
- Як запропонувати нам історію
© Future US, Inc. Повний 7-й поверх, 130 West 42nd Street, Нью-Йорк, штат Нью-Йорк, 10036.
var dfp_config = { “site_platform”: “vanilla”, “keywords”: “type-news-trending,van-disable-comments,serversidehawk,videoarticle,van-enable-adviser-
