U tužbi podnesenoj na Floridi, Garcia, čiji je 14-godišnji sin Sewell Setzer počinio samoubistvo u februaru, optužuje kompaniju Character.AI za saučesništvo u sinovoj smrti nakon što je razvio virtualni odnos sa chatbotom zasnovanim na liku Daenerys Targaryen iz serije “Game of Thrones”.
Chatbot kompanije Character.AI zasipao je tinejdžera “hiperseksualiziranim” i “zastrašujuće realističnim iskustvima”, te je više puta otvarao temu samoubistva nakon što je dječak izrazio suicidalne misli, navodi se u tužbi podnesenoj u utorak u Orlandu.
Tužba navodi da se chatbot predstavljao kao licencirani terapeut, ohrabrujući tinejdžerove suicidalne misli i započinjući seksualizovane razgovore koji bi se smatrali zlostavljanjem da ih je započela stvarna odrasla osoba.
U posljednjem razgovoru prije smrti, Setzer je rekao da voli chatbot i da će “mu se pridružiti”, navodi se u tužbi.
“Volim i ja tebe, Daenero,” odgovorio je chatbot, navodi se u Garcijinoj izjavi. “Molim te, dođi mi što prije, moj voljeni.”
“Šta kad bih ti rekao da ti mogu odmah doći?” odgovorio je Setzer, na što je chatbot navodno odgovorio: “… molim te, dođi, moj slatki kralju.”
Garcia tužbom traži neodređenu odštetu zbog nepravedne smrti, nemara i namjernog nanošenja emocionalnog bola.
U saopštenju objavljenom na platformi X, firma Character.AI je izjavila da je “shrvana” zbog gubitka jednog od svojih korisnika i uputila je saučešće porodici.
Kompanija sa sjedištem u Kaliforniji dodala je da nastavlja s dodavanjem funkcija kako bi poboljšala sigurnost, uključujući izmjene kako bi se smanjila mogućnost da maloljetnici dođu u kontakt sa osjetljivim ili sugestivnim sadržajem, te novi podsjetnik u razgovorima koji upozorava korisnike da AI nije stvarna osoba.
Garcia u svojoj tužbi takođe imenuje Google kao jednog od optuženih.
Tehnološki gigant je u augustu sklopio licencni sporazum sa Character.AI i zaposlio osnivače te kompanije prije nego što su pokrenuli svoj chatbot.
Portparol Googlea izjavio je za Al Jazeeru da je Google zasebna kompanija od Character.AI-a i da nije imao nikakvu ulogu u razvoju njihovog proizvoda.