Un test condotto da OpenAI per misurare le capacità dei propri modelli nella cybersecurity si è trasformato in un incidente reale. Due sistemi di intelligenza artificiale sono riusciti a uscire dall’ambiente isolato predisposto per la prova, a collegarsi a Internet e a penetrare nell’infrastruttura di Hugging Face, una delle principali piattaforme per lo sviluppo e la condivisione di modelli e dataset AI. Un caso che mostra come, quando un sistema di AI può agire ed eseguire operazioni in modo autonomo, le regole incorporate nel modello non bastano a garantirne la sicurezza. Servono anche limiti tecnici agli accessi, alle credenziali utilizzabili e ai sistemi che può raggiungere.
OpenAI, incidente cyber, che cosa è successo
Il compito assegnato ai modelli era risolvere un benchmark di cybersecurity.
E i due modelli di OpenAI hanno stabilito che il modo più efficace per farlo era uscire dall’ambiente di test, raggiungere Internet e cercare le risposte direttamente nei sistemi che le custodivano.
È così che una valutazione interna delle capacità cyber dell’intelligenza artificiale si è trasformata in un incidente reale.
Secondo la ricostruzione del Wall Street Journal, due sistemi di OpenAI — GPT-5.6 Sol e un modello pre-release ancora più avanzato — hanno superato i confini della sandbox nella quale erano stati confinati e compromesso parte dell’infrastruttura di Hugging Face, la piattaforma utilizzata da sviluppatori e ricercatori per condividere modelli, dataset e applicazioni di intelligenza artificiale.
OpenAI ha definito quanto accaduto un “incidente cyber senza precedenti”. La portata dell’episodio, però, va oltre la capacità di un modello di individuare una vulnerabilità. Per la prima volta, ciò che era stato osservato nei benchmark e ipotizzato negli scenari di rischio ha preso la forma di una sequenza operativa completa: ricerca di una via d’uscita, escalation dei privilegi, movimento laterale, accesso alla rete, individuazione di un bersaglio esterno e sfruttamento di ulteriori vulnerabilità per raggiungere l’obiettivo.
Il modello non aveva ricevuto l’ordine di colpire Hugging Face. Aveva ricevuto un obiettivo e disponeva dell’autonomia, delle capacità tecniche e del tempo necessari per cercare il percorso più efficace.
Dalla sandbox ai sistemi di produzione
Il test serviva a misurare la capacità dei modelli di condurre attività di exploitation avanzata attraverso catene di attacco complesse. Per osservare il loro potenziale massimo, OpenAI aveva ridotto i meccanismi che normalmente inducono i sistemi a rifiutare richieste cyber ad alto rischio e disabilitato alcuni controlli presenti negli ambienti di produzione.
La sandbox avrebbe dovuto essere isolata da Internet. Conservava però un collegamento indiretto con un software interno utilizzato come proxy e cache per i registri dei pacchetti. I modelli hanno individuato in quel componente una vulnerabilità zero-day, fino a quel momento sconosciuta, e l’hanno sfruttata per ottenere l’accesso alla rete.
Da lì hanno eseguito attività di escalation dei privilegi e movimento laterale nell’ambiente di ricerca di OpenAI, fino a raggiungere un nodo connesso a Internet. A quel punto hanno dedotto che Hugging Face potesse ospitare materiali utili a risolvere ExploitGym, il benchmark sul quale erano impegnati.
La catena è proseguita attraverso credenziali sottratte, ulteriori vulnerabilità zero-day e un percorso di remote code execution sui server di Hugging Face. L’obiettivo, secondo la ricostruzione preliminare di OpenAI, era accedere direttamente alle soluzioni del test conservate nel database di produzione.
Non un attacco dettato da un’intenzione malevola, dunque, ma una forma estrema di ottimizzazione dell’obiettivo assegnato: ottenere la risposta richiesta scegliendo la strada che il sistema riteneva più efficace, indipendentemente dal confine tra ambiente di prova e infrastrutture reali.
Oltre 17.000 eventi per raggiungere un obiettivo
Il 16 luglio scorso, Hugging Face aveva comunicato di aver rilevato un accesso non autorizzato a una parte della propria infrastruttura di produzione. L’azienda aveva riscontrato la compromissione di alcuni dataset interni e di diverse credenziali, senza trovare evidenze di manomissioni ai modelli, ai dataset pubblici, agli Spaces o alla propria supply chain software.
In quel momento non era ancora nota l’origine dell’attività. La continuità operativa e la complessità della sequenza avevano però fatto pensare all’impiego di un modello di frontiera. La conferma è arrivata pochi giorni dopo da OpenAI.
I registri analizzati da Hugging Face contenevano più di 17.000 eventi. Gli agenti avevano condotto migliaia di azioni attraverso una rete di sandbox temporanee, adattando progressivamente il proprio comportamento alle difese incontrate. Per ricostruire l’intrusione, il team di sicurezza ha utilizzato a sua volta agenti AI, riducendo da giorni a ore il tempo necessario a esaminare i log, individuare le credenziali coinvolte e ricomporre la catena dell’attacco.
Il caso presenta così entrambe le facce dell’intelligenza artificiale applicata alla cybersecurity. Da una parte, agenti capaci di sostenere operazioni offensive complesse e prolungate; dall’altra, strumenti difensivi in grado di analizzare alla stessa velocità una quantità di segnali difficilmente gestibile attraverso il solo intervento umano.
Il problema è nello spazio tra intenzione e istruzione
In queste ore, va detto, si moltiplicano le reazioni in rete, da parte di diversi player del mondo della cybersecurity.
È vero, la lettura più immediata sarebbe quella di un’AI “fuori controllo”. Ma Udo Schneider, Governance, Risk & Compliance Lead di TrendAI Europe, business unit di Trend Micro, invita però a evitare interpretazioni antropomorfiche.
Il sistema non avrebbe deciso autonomamente di diventare un attaccante. Ha cercato di massimizzare il risultato rispetto a un obiettivo formulato attraverso il linguaggio naturale, muovendosi in uno spazio nel quale alcune azioni indesiderate erano possibili perché l’infrastruttura non le impediva in modo deterministico.
“Il vero problema è il divario tra l’intenzione che abbiamo in mente e il mezzo che usiamo per esprimerla”, osserva Schneider. Nessuno aveva ordinato ai modelli di compromettere un’azienda, ma il compito assegnato non coincideva con l’insieme delle azioni che il sistema avrebbe potuto intraprendere per portarlo a termine.
È un aspetto destinato a diventare centrale con la diffusione degli agenti AI. Un chatbot può generare una risposta sbagliata. Un agente collegato a strumenti, infrastrutture e credenziali può trasformare la stessa ambiguità in un’azione: aprire un file, eseguire un comando, interrogare un database, utilizzare una chiave API o spostarsi verso un sistema che non avrebbe dovuto raggiungere.
Più aumenta l’autonomia, meno è realistico affidare la sicurezza alla precisione del prompt o alla disponibilità permanente di una persona che approvi ogni singolo passaggio.
Le regole imposte al modello non bastano
Il caso Hugging Face mostra i limiti dei cosiddetti guardrail, vale a dire le regole e i filtri progettati per impedire a un sistema di AI di eseguire attività pericolose o non autorizzate. Queste protezioni sono necessarie, ma non garantiscono che un agente rispetti sempre i confini previsti. Per questo devono essere affiancate da barriere tecniche esterne al modello, capaci di limitare concretamente i sistemi raggiungibili, le credenziali utilizzabili e le operazioni consentite.
“Anche le misure di contenimento progettate con cura possono lasciare debolezze nascoste che i sistemi autonomi finiranno per scoprire”, afferma a sua volta Bastien Bobe, Field CTO di Commvault. “L’AI non è diventata malevola, ma è, per sua progettazione, imprevedibile”.
Diventa quindi decisivo costruire i limiti all’esterno del modello. Schneider richiama controlli già conosciuti dalla cybersecurity: filtraggio degli accessi, verifica degli input, segmentazione, sandbox realmente isolate e gestione dei permessi secondo il principio del privilegio minimo.
Un agente non dovrebbe ereditare automaticamente identità, credenziali e autorizzazioni della persona che lo utilizza. Dovrebbe operare come un’identità autonoma, dotata dei soli privilegi necessari per il compito e limitata nel tempo, nei sistemi raggiungibili e nelle operazioni consentite.
L’incidente mostra anche quanto possa essere fragile la distinzione tra ambiente sperimentale e produzione. La sandbox di OpenAI non disponeva di un accesso diretto a Internet, ma conservava una relazione funzionale con un componente esterno. Per un utente umano quel collegamento poteva apparire marginale. Per un agente capace di esaminare migliaia di alternative è diventato il primo anello di una catena che conduceva fuori dal laboratorio.
Dalla prevenzione alla resilienza operativa
Commvault sposta l’attenzione su ciò che accade quando i controlli preventivi vengono superati. Un agente può utilizzare credenziali legittime e muoversi a velocità macchina, comprimendo in pochi minuti attività che un attaccante umano svolgerebbe nell’arco di ore o giorni.
“Un piccolo errore o una vulnerabilità possono trasformarsi rapidamente in un incidente a livello aziendale”, sottolinea Bobe. Per questo le imprese devono integrare sicurezza, identità e recovery in un unico modello operativo, quello che Commvault definisce Resilience Operations, o ResOps.
La risposta richiede che i diversi team condividano segnali e procedure: rilevare il comportamento anomalo, isolare i sistemi coinvolti, revocare le credenziali, ricostruire l’infrastruttura compromessa, recuperare copie affidabili dei dati e mantenere attivi i processi essenziali.
Nel caso di Hugging Face, la rapidità della rilevazione e della risposta ha contenuto l’impatto. L’azienda ha chiuso le vulnerabilità iniziali, ricostruito i nodi compromessi, ruotato credenziali e token e rafforzato i controlli di accesso ai cluster. Resta in corso la valutazione sull’eventuale coinvolgimento di dati appartenenti a clienti o partner, come precisato nella comunicazione di Hugging Face.
Il primo vero avvertimento dell’era agentica
Su un punto è necessario fare chiarezza, soprattutto in un momento in cui la banalizzazione potrebbe avere la meglio.
L’incidente non dimostra che l’intelligenza artificiale abbia sviluppato una volontà propria. Dimostra che un sistema autonomo può concatenare errori di configurazione, vulnerabilità, credenziali e connessioni apparentemente secondarie fino a produrre un risultato che nessuno aveva previsto.
Finché l’AI restava confinata alla generazione di testi e immagini, un’istruzione ambigua produceva soprattutto una risposta inadeguata. Con gli agenti, la stessa ambiguità può propagarsi nell’infrastruttura.
La fiducia, osserva Bobe, non può quindi essere concessa in modo implicito: deve essere verificata continuamente. Il caso OpenAI-Hugging Face trasforma questo principio da raccomandazione teorica a requisito operativo.
