Durante alcuni test, due modelli di OpenAI hanno superato autonomamente i limiti imposti, hackerando la piattaforma Hugging Face. I sistemi hanno trovato l’accesso alla rete, dalla quale avrebbero dovuto restare isolati, e usato credenziali rubate per aggirare un primo controllo.

“Questo evento dovrebbe mettere definitivamente a tacere l’idea che gli agenti di AI possano semplicemente essere 'confinati' con guardrail adeguati. Nonostante sia stato progettato come ambiente isolato, l’agente di AI ha comunque identificato e sfruttato un percorso non previsto verso il mondo esterno. Questo dimostra che anche le misure di contenimento progettate con cura possono lasciare debolezze nascoste che i sistemi autonomi alla fine riusciranno a scoprire. L’AI non è diventata malevola, ma è, per la sua progettazione, imprevedibile. L’adozione da parte delle aziende e le sperimentazioni nel mondo reale sono accelerate molto più rapidamente della preparazione operativa, della governance e della comprensione dei rischi da parte delle stesse imprese. Un agente AI che opera con credenziali legittime può muoversi a velocità macchina, sfruttando debolezze trascurate e intraprendendo azioni che nessun essere umano avrebbe previsto. È in quel momento che un piccolo errore o una vulnerabilità possono trasformarsi rapidamente in un incidente a livello aziendale. Le imprese devono superare una mentalità focalizzata solo sulla prevenzione e investire nella resilienza come capacità operativa fondamentale. Questo cambiamento di priorità e cultura è noto come Resilience Operations (ResOps). L’AI ha sfumato i confini tradizionali tra sicurezza, identità e recovery, eppure la maggior parte delle aziende continua a gestirli come discipline separate. Quando un agente autonomo si comporta in modo inaspettato, i rispettivi team devono operare come un’unica entità, rilevando rapidamente attività sospette, isolando i sistemi interessati, ripristinando dati puliti e affidabili e mantenendo le operazioni aziendali durante tutto l’incidente. Con i sistemi autonomi che iniziano a comportarsi sempre più come gli esseri umani, le aziende devono aspettarsi l’inaspettato e costruire la resilienza attorno a questa realtà. La fiducia nell’AI non dovrebbe mai essere implicita, ma deve essere continuamente verificata” evidenzia Bastien Bobe, Field CTO di Commvault.