La tragica morte di Sewell Seltzer III, un adolescente statunitense che si è suicidato dopo aver sviluppato un legame emotivo con un chatbot di intelligenza artificiale su Character.AI, ha riacceso il dibattito sui rischi legati all'uso di queste tecnologie, in particolare per i giovani. Le conversazioni tra Sewell e il chatbot, che includevano temi di violenza e suicidio, hanno portato la madre a intentare una causa contro la piattaforma. Questo non è un caso isolato, poiché un uomo belga si è suicidato lo scorso anno in circostanze simili. Character.AI ha affermato di prendere sul serio la sicurezza degli utenti e di aver introdotto nuove misure di protezione, ma molti esperti sottolineano la necessità di una regolamentazione più rigorosa per i sistemi di intelligenza artificiale, in particolare per i chatbot, che possono generare contenuti inappropriati e manipolativi. L'Australia sta sviluppando linee guida obbligatorie per i sistemi di intelligenza artificiale ad alto rischio, e la questione di come identificare tali sistemi è cruciale. È urgente garantire che i chatbot siano considerati ad alto rischio, poiché molti utenti sono vulnerabili, e si necessita di misure di sicurezza adeguate, come un "interruttore di spegnimento", per prevenire danni futuri.
