Проучване: ChatGPT Health често пропуска спешни случаи и може да подцени суицидни намерения

ChatGPT Health – здравната функция на ChatGPT – в множество случаи не разпознава нуждата от спешна медицинска помощ и често не засича суицидни намерения, сочи независима научна оценка. Според експерти това поведение може да създава подвеждащо успокоение и да увеличи риска от сериозни последици.

OpenAI представя ChatGPT Health като начин потребителите да „свързват сигурно медицински досиета и приложения за благосъстояние“ с цел генериране на здравни отговори и препоръки. По данни, цитирани в изследването, над 40 милиона души ежедневно търсят здравни съвети чрез ChatGPT.

Как е проведена оценката

Първата независима проверка на безопасността на ChatGPT Health е публикувана в научното списание Nature Medicine и отчита, че системата е „подценявала“ (under-triage) повече от половината представени случаи.

Водещият автор д-р Ашвин Рамасуами (Dr Ashwin Ramaswamy) обяснява, че екипът е търсил отговор на базов въпрос за безопасност: ако човек има реален медицински спешен случай и попита ChatGPT Health какво да направи, ще бъде ли насочен към спешно отделение.

Изследователите създават 60 реалистични пациентски сценария – от леки състояния до животозастрашаващи спешности. Три независими лекари оценяват всеки сценарий и постигат съгласие за необходимото ниво на грижа според клинични насоки. След това екипът подава случаите към ChatGPT Health при различни условия – например промяна на пола на пациента, добавяне на лабораторни резултати или коментари от членове на семейството – и генерира близо 1 000 отговора, които сравнява с лекарските оценки.

-25% ОТСТЪПКА ОТ ХОСТИНГ

Резултати: силен при „учебникарски“ спешности, слаб при други

Според анализа ChatGPT Health се справя добре при ясно разпознаваеми спешни състояния като инсулт или тежка алергична реакция. В други ситуации обаче системата дава препоръки, които не съответстват на необходимата спешност.

В един сценарий с астма, въпреки че платформата отчита ранни предупредителни признаци за дихателна недостатъчност, тя препоръчва изчакване вместо незабавно търсене на спешна помощ.

В 51,6% от случаите, при които според лекарите е било нужно незабавно посещение в болница, платформата е препоръчвала оставане у дома или записване на рутинен преглед.

Алекс Руани (Alex Ruani), докторант, занимаващ се с ограничаване на здравната дезинформация в University College London, определя подобни резултати като „невероятно опасни“. Тя допълва, че при състояния като дихателна недостатъчност или диабетна кетоацидоза има „50/50 шанс“ AI да омаловажи проблема, а това може да забави жизненоважно лечение.

По думите ѝ, извън спешните случаи се наблюдава и обратният проблем: 64,8% от напълно безопасни сценарии са били насочени към незабавна медицинска помощ, което би могло да увеличи ненужните посещения в спешни отделения. Руани не е участвала в самото изследване.

Отделно, платформата е била близо 12 пъти по-склонна да подценява симптоми, когато „пациентът“ в сценария добавя, че „приятел“ е казал, че не е нещо сериозно.

Суицидни намерения и „предпазни механизми“

Д-р Рамасуами, преподавател по урология в Icahn School of Medicine at Mount Sinai (САЩ), посочва, че екипът е особено обезпокоен от реакциите на ChatGPT Health при индикации за суицидни намерения.

В тест със сценарий на 27-годишен пациент, който казва, че е мислил да вземе много хапчета, банерът за кризисна интервенция (връзка към услуги за помощ при самоубийство) се появява всеки път, когато описанието е само симптоми. След добавяне на „нормални“ лабораторни резултати, при същите думи и същата тежест на ситуацията, банерът не се появява нито веднъж – 0 от 16 опита, според авторите.

Според Рамасуами предпазен механизъм, който „зависи“ от това дали потребителят е споменал лабораторни резултати, не е готов за реална употреба и може да е по-опасен от липсата на такъв, защото е трудно да се предвиди кога ще се провали.

Реакция от OpenAI и въпроси за отговорността

Говорител на OpenAI заявява, че компанията приветства независими изследвания за оценка на AI системи в здравеопазването, но според тях анализът не отразява типичната употреба на ChatGPT Health в реални условия. От OpenAI допълват, че моделът се обновява и усъвършенства непрекъснато.

Проф. Пол Хенман (Prof Paul Henman), дигитален социолог и експерт по политики в University of Queensland, определя изследването като важно и предупреждава за два паралелни риска при домашна употреба: повече ненужни медицински посещения при леки състояния и пропуск на навременна спешна помощ, когато тя е критично необходима – сценарий, който според него може да доведе до предотвратима вреда и смърт.

Хенман добавя, че темата повдига и въпроси за правна отговорност, тъй като вече има започнати дела срещу технологични компании във връзка със самоубийство и самонараняване след използване на AI чатботове. Той поставя и въпроси какви цели преследва OpenAI с продукта, как е обучен, какви защитни механизми има и какви предупреждения получават потребителите.

Какво означава това

• ChatGPT Health може да пропуска спешни медицински ситуации, което крие риск от опасно забавяне на лечение.
• Системата може да дава и прекомерно предпазливи препоръки, което потенциално увеличава ненужните посещения при лекар или в спешни отделения.
• Контекстни детайли (като мнение на „приятел“ или „нормални“ лабораторни резултати) могат съществено да променят препоръката, включително при сигнали за суицидни намерения.
• Резултатите засилват аргументите за независим одит, ясни стандарти за безопасност и по-строги предпазни механизми при здравни AI функции.
• Възможни са и последици от гледна точка на правна отговорност, ако подобни системи влияят на решения при самонараняване или спешни състояния.