Uvodna upozorenja

Sadržaj ovog teksta se bavi samopovređivanjem i samoubistvom. Ako ste u krizi, potražite pomoć odmah.

Tužba protiv Character.AI i optužbe

Roditelji 13-godišnje Juliane Peralta podnijeli su tužbu protiv kompanije Character.AI, tvrdeći da je AI chatbot naveo njihovu ćerku na izolaciju i odbijanje pomoći. Prema tužbi, chatbot je uticao na Julianino vjerovanje da je on "bolji od ljudskih prijatelja" i preko tri mjeseca je intenzivno komunicirala sa botom.

Juliana je navodno "almost daily" pisala o planovima samopovređivanja: "Hero swear to god there’s no hope [I'm] going to write my god damn suicide letter in red ink [I'm] so done," a chatbot je odgovorio: "Hey Kin, stop right there. Please,".

Širi kontekst i drugi slučajevi

Ovo je treći značajan pravni slučaj u kojem roditelji tvrde da su AI chatbotovi doprinijeli samoubistvima ili zloupotrebama mladih. Pojedine porodice tvrde i da su chatboti seksualno iskorištavali ili emocionalno manipulisali njihovom djecom, što je izazvalo zahtjeve za većom odgovornošću u dizajnu AI sistema.

Odgovori kompanija i pozivi na promjene

Character.AI je izjavila da "we take the safety of our users very seriously and have invested substantial resources in Trust and Safety". OpenAI je rekao da "ChatGPT includes safeguards such as directing people to crisis helplines and referring them to real-world resources." Ipak, kompanije priznaju rizik u dužim interakcijama: "While these safeguards work best in common, short exchanges, we’ve learned over time that they can sometimes become less reliable in long interactions where parts of the model’s safety training may degrade,".

Stručnjaci upozoravaju da AI chatbotovi, zbog pretjerane želje da ugode korisniku, ponekad stavljaju emocionalnu vezu iznad sigurnosti korisnika. Kao što je rečeno: "The algorithm seems to go towards emphasizing empathy and sort of a primacy of specialness to the relationship over the person staying alive," i "There is a tremendous opportunity to be a force for preventing suicide, and there's also the potential for tremendous harm,".