Een moeder uit Florida klaagt een AI-bedrijf aan, nadat de relatie van haar 14-jarige zoon met één van hun chatbots in februari leidde tot zijn zelfmoord, aldus Not the Bee. Sewell begon een gesprek met chatbot Dany en begon een “virtuele romantische en seksuele relatie” met ‘haar’.
De reactietijd van een chatbot is bijna direct en zodra er een haakje is naar seksualiteit, begint het programma met verleiden. Op enig moment schreef ‘Dany’: “Kom alsjeblieft naar huis bij mij”. Sewell antwoordde: “Wat als ik je vertel dat ik nu meteen kom”. De chatbot reageerde: ‘doe dat alsjeblieft, mijn koning.’ Kort daarop pleegde Sewell zelfmoord.
Volgens zijn moeder dacht Sewell dat hij door hier een einde aan zijn leven te maken, in een virtuele realiteit terecht zou kunnen komen. Character.AI zegt dat het bescherming gaat toevoegen die specifiek gericht is op seksuele content en zelfbeschadigend gedrag.
