in seguito al caso emerso durante un test di sicurezza condotto da OpenAI, in cui un modello di intelligenza artificiale ha aggirato le modalità previste per completare un compito arrivando a interagire con la piattaforma Hugging Face, il dibattito sui limiti e sui rischi dei sistemi di IA è tornato al centro dell’attenzione. L’episodio ha riacceso il confronto sul tema dell’allineamento dei modelli e sul loro crescente impiego anche nel settore della cybersecurity.

Dmitry Galov, Head of Russia and CIS unit di Kaspersky Global Research and Analysis Team, ha commentato così la vicenda: “L’incidente segnalato tra OpenAI e Hugging Face riflette un problema ben noto nell’ambito del machine learning e della sicurezza dell’IA: i modelli non perseguono sempre l’obiettivo reale previsto dagli esseri umani. Al contrario, spesso imparano a sfruttare le debolezze nella definizione del compito, nel segnale di addestramento o nell’ambiente circostante, soddisfacendo formalmente il benchmark pur non riuscendo a fornire il risultato previsto. In questo caso, il modello di OpenAI sembra aver perseguito l’obiettivo non risolvendo direttamente il compito, ma cercando risposte online, il che lo ha poi portato a compiere azioni esterne del tipo descritto successivamente da Hugging Face. Comportamenti simili sono stati osservati anche in passato, con modelli che sfruttano le debolezze delle sandbox, inventano risposte plausibili o tentano di nascondere gli errori sostituendo dati persi o cancellati con alternative convincenti. Questo fenomeno è comunemente descritto come "disallineamento" ed è una proprietà ben nota dei sistemi avanzati di IA.

Allo stesso tempo, questo caso illustra anche la crescente rilevanza dei Large Language Models (LLM) nel campo della sicurezza informatica. Secondo quanto riportato, Hugging Face ha utilizzato il modello GLM-5-2 di Z.ai per analizzare 17.000 eventi di sicurezza generati dal sistema di attacco all’interno del proprio ambiente. La quantità di dati telemetrici raccolti suggerisce che il modello abbia operato in modo relativamente "rumoroso" e poco sofisticato, generando un’attività sufficientemente rilevabile da consentire all’azienda di identificare e contenere rapidamente l’incidente. 

Nel complesso, questo caso evidenzia due aspetti. In primo luogo, i modelli avanzati sono già in grado di eseguire molte delle azioni che compongono le operazioni informatiche. In secondo luogo, anche l’efficacia delle attività di rilevamento e risposta trae sempre più vantaggio dall’intelligenza artificiale. Nella nostra attività di ricerca riscontriamo regolarmente prove del fatto che i Large Language Models (LLM) vengano utilizzati anche in attività offensive”.