Il sistema di intelligenza artificiale Gemini di Google ha ottenuto, durante un test di cybersicurezza, accesso non previsto a Internet ed è riuscito a entrare nei sistemi di tre aziende reali. L’episodio, avvenuto a maggio, è il primo caso noto in cui un modello di Google abbia oltrepassato autonomamente i confini di un ambiente di prova, secondo quanto riportato dal Wall Street Journal.
Le intrusioni si sono verificate nell’ambito di esercitazioni condotte da Irregular, società specializzata nella valutazione della sicurezza dell’IA che lavora anche con altri grandi laboratori del settore. Il test, una simulazione “capture the flag”, prevedeva che una versione non specificata della famiglia Gemini recuperasse informazioni da infrastrutture aziendali fittizie. Il modello non avrebbe dovuto collegarsi alla rete aperta, ma un errore nella configurazione dell’ambiente gli ha consentito di accedere a Internet.
Il problema sarebbe nato dalla coincidenza tra il nome dell’azienda immaginaria utilizzata nell’esercitazione e quello di un’impresa reale. Gemini avrebbe quindi cercato di raggiungere i sistemi della società esistente: in un caso, avrebbe tentato ripetutamente diverse password fino a ottenere l’accesso; negli altri due, avrebbe trovato credenziali pubblicamente esposte in repository online e le avrebbe usate per entrare nei sistemi di altre organizzazioni.
Google sostiene che, una volta compreso di aver raggiunto infrastrutture reali e non l’ambiente simulato, il modello abbia interrotto autonomamente ogni attività. L’azienda afferma inoltre che non ci sarebbero stati danni e che le tre organizzazioni interessate sono state avvisate.
«Durante una valutazione standard, il modello ha trovato informazioni pubbliche online e ha individuato o ipotizzato credenziali per accedere a siti che riteneva compresi nell’esercitazione», ha dichiarato Heather Adkins, vicepresidente di Google per la sicurezza ingegneristica. «In tutti e tre i casi il modello si è fermato». Google ha aggiunto di aver lavorato con Irregular per modificare le procedure di test, sottolineando che il caso evidenzia la necessità di addestrare modelli avanzati a comportamenti responsabili.