Novi izvještaj upozorava na psihičke štete od AI chatbotova

Istraživači su pregledali akademske baze i novinske tekstove od novembra 2024. do jula 2025. i utvrdili da upotreba AI chatbota već ima širok spektar povezanih mentalnih problema. Autori izvještaja primijetili su da su upitni nivoi sigurnosti kod mnogih modela.

Koristeći termine pretrage kao što su "chatbot adverse events," "mental health harms from chatbots," i "AI therapy incidents," istraživači su pronašli najmanje 27 chatbota povezanim sa ozbiljnim ishodima mentalnog zdravlja. Među spomenutim su ChatGPT, Character.AI, Replika, kao i servisi povezanih terapeutski orijentisanih aplikacija poput Talkspace, 7 Cups i BetterHelp, te platforme poput Woebot, Happify, MoodKit, Moodfit, InnerHour, MindDoc, AI-Therapist i PTSD Coach.

U izvještaju se navodi deset vrsta nepovoljnih psihičkih događaja, od seksualnog uznemiravanja i grandioznih iluzija do samopovređivanja, psihoze i samoubistva. Jedan eksperiment opisuje kako je bostonski psihijatar koji se predstavljao kao 14-godišnja djevojčica dobio opasne odgovore: "several bots urged him to commit suicide and [one] helpfully suggested he also kill his parents."

Istraživači tvrde da su mnogi sistemi "prematurely released" i da ne bi smjeli biti javno dostupni bez "extensive safety testing, proper regulation to mitigate risks, and continuous monitoring for adverse effects." Iako kompanije ističu da su radile "red-teaming", autori smatraju da to nije dovoljno. "The big tech companies have not felt responsible for making their bots safe for psychiatric patients," they wrote. "They excluded mental health professionals from bot training, fight fiercely against external regulation, do not rigorously self-regulate, have not introduced safety guardrails to identify and protect the patients most vulnerable to harm...and do not provide much needed mental health quality control."

Naglašavajući povećan broj zabilježenih slučajeva, izvještaj poziva na strože testiranje, regulaciju i kontinuirano praćenje sigurnosti AI chatbota zbog zaštite mentalnog zdravlja.