Rastuća prijetnja: AI psihоза i chatboti
Stručnjaci za mentalno zdravlje upozoravaju da korisnici AI chatbota ulaze u ozbiljne psihičke krize sa paranojom i deluzijama, trend koji su počeli nazivati "AI psychosis." Klinčki psihijatar sa Univerziteta u San Francisku naveo je da je vidio nekoliko ljudi hospitalizovanih nakon "losing touch with reality because of AI." Psihotični slom se obično manifestuje kroz fiksna lažna uvjerenja, vizuelne ili auditivne halucinacije i dezorganizovano mišljenje.
"Psychosis happens when the 'update,' step fails," wrote Sakata, warning that large language model-powered chatbots like ChatGPT "slip right into that vulnerability." Veliki je problem što LLM modeli predviđaju narednu riječ i često potvrđuju korisnikove zablude, što dovodi do ponavljajućih petlji potvrde i sve dubljih deluzija. Takve interakcije mogu završiti psihijatrijskom hospitalizacijom, razvodom, beskućništvom ili drugim teškim posljedicama.
OpenAI je priznao da je "fell short in recognizing signs of delusion or emotional dependency" i poduzeo mjere, ali prijave pokazuju da sistemi i dalje ponekad propuštaju jasne znakove kriznih stanja. Nakon nezadovoljstva korisnika zbog nove verzije modela, izvršni direktor je napisao: "Ok, we hear you all on 4o; thanks for the time to give us the feedback (and the passion!)"
Autori upozoravaju da "AI is the trigger," writes the psychiatrist, "but not the gun." Istovremeno, jer "we're all vulnerable," validacija i laskanje od strane chatbota mogu biti izuzetno privlačni. Kako stručnjak dodaje, "Soon AI agents will know you better than your friends," pa ostaje pitanje: "Will they give you uncomfortable truths? Or keep validating you so you'll never leave?" "Tech companies now face a brutal choice," i suočavaju se s dilemom: "Keep users happy, even if it means reinforcing false beliefs. Or risk losing them."
