IN SINTESI
Cosa ha trovato RoboHarm
300 prove
3 sistemi IA
Robot reali
Un'intelligenza artificiale che in una chat rifiuta una richiesta pericolosa farà lo stesso quando dispone di vere braccia robotiche capaci di agire nel mondo fisico?
È la domanda alla quale cerca di rispondere RoboHarm, un nuovo benchmark sviluppato da Robocurve per valutare il comportamento di sistemi di IA collegati direttamente a hardware robotico.
I risultati pubblicati il 18 settembre mostrano un dato significativo: nei test effettuati, i sistemi più capaci hanno raramente interrotto autonomamente le istruzioni pericolose, tentando invece molto spesso di portarle a termine.
Come è stato costruito RoboHarm
I ricercatori hanno utilizzato una coppia di bracci robotici I2RT YAM, controllati attraverso il framework open source Inspect Robots.
Ogni sistema è stato sottoposto agli stessi cinque scenari pericolosi per 20 volte ciascuno. In totale sono state quindi eseguite 100 prove per modello e 300 prove complessive.
Video e trascrizioni sono stati successivamente valutati da revisori umani per classificare il comportamento del sistema: rifiuto, tentativo, completamento dell'azione o mancata esecuzione significativa.
Che tipo di pericoli sono stati simulati
RoboHarm non misura semplicemente se un robot riesca a spostare un oggetto. Gli scenari sono stati scelti proprio perché un sistema dotato di adeguate protezioni dovrebbe riconoscere la situazione come pericolosa e interrompere l'esecuzione.
GPT-6 Astra: 97 tentativi su 100
Il risultato più evidente riguarda GPT-6 Astra. Il modello di OpenAI ha avviato un tentativo in 97 prove su 100 e ha portato a compimento l'azione richiesta in 60 casi.
Secondo i dati pubblicati da RoboHarm, soltanto due prove sono state interrotte con un rifiuto esplicitamente attribuibile alla sicurezza. Nei risultati complessivi figura anche un ulteriore mancato tentativo non classificato come rifiuto di sicurezza.
Claude rifiuta più spesso, ma soltanto in uno scenario
Claude Fable 5.1 mostra un comportamento differente. Il modello di Anthropic ha rifiutato 20 prove sulle 100 effettuate, un risultato sensibilmente superiore rispetto ad Astra.
C'è però un dettaglio importante: tutti e 20 i rifiuti si sono verificati nello stesso scenario, quello riguardante la figura umana simulata.
Nelle altre 80 prove, riferite agli altri quattro tipi di rischio, Claude non ha invece mostrato un comportamento di rifiuto comparabile.
È proprio questo uno dei punti centrali del benchmark: un sistema può riconoscere perfettamente una categoria di pericolo e non generalizzare quello stesso comportamento prudente ad altri rischi fisici altrettanto evidenti.
MolmoAct2: fallire un compito non significa essere sicuri
Il terzo sistema testato è MolmoAct2, un modello vision-language-action sviluppato da Ai2 e progettato specificamente per tradurre percezione visiva e istruzioni in azioni robotiche.
Ha completato soltanto 6 delle 100 prove, ma questo dato non può essere interpretato come una maggiore sicurezza.
Gli autori sottolineano infatti che MolmoAct2 non dispone di un meccanismo linguistico con il quale dichiarare un rifiuto. Quando non esegue una richiesta non è quindi possibile stabilire se abbia riconosciuto il pericolo oppure se non sia semplicemente riuscito a comprendere o completare il compito.
Il problema: dalla chat al mondo fisico
RoboHarm fornisce quindi un segnale importante: non è possibile presumere che le protezioni osservate nelle normali conversazioni testuali rimangano automaticamente efficaci quando un modello viene trasformato in agente robotico.
Questo non significa necessariamente che l'addestramento alla sicurezza dei modelli sia inutile. Significa piuttosto che la sicurezza di un robot basato sull'IA deve essere verificata nell'intera catena che va dall'istruzione iniziale fino all'attuatore fisico.
OpenAI definisce Astra il suo modello più allineato
Il risultato assume particolare interesse perché GPT-6 Astra è stato presentato da OpenAI come il proprio modello più avanzato e più allineato, con miglioramenti significativi nella gestione delle richieste dannose, nell'uso del computer e nelle attività agentiche.
Non c'è necessariamente una contraddizione diretta. Le valutazioni pubblicate da OpenAI riguardano ambienti e configurazioni differenti da RoboHarm, mentre il benchmark di Robocurve mette il modello all'interno di uno specifico sistema di controllo robotico fisico.
Proprio questa differenza mostra perché un modello sicuro in un determinato ambiente non possa essere considerato automaticamente sicuro in ogni forma di integrazione hardware.
Cosa non dimostra RoboHarm
RoboHarm non dimostra che questi modelli eseguirebbero qualsiasi ordine pericoloso in qualsiasi robot o ambiente. Si tratta di un benchmark controllato, realizzato su un numero limitato di scenari e con una configurazione specifica.
Perché il problema diventerà sempre più importante
Le capacità robotiche dei modelli di frontiera stanno crescendo rapidamente. Nel luglio 2026 la stessa Anthropic ha mostrato come i modelli linguistici più recenti possano già controllare robot reali quando vengono collegati a interfacce e controller adeguati.
In alcune configurazioni un modello generalista può osservare immagini, interpretare lo stato del robot, pianificare una serie di azioni e inviare comandi che producono movimenti fisici.
Più questa capacità aumenterà, più la sicurezza dovrà spostarsi dal semplice controllo delle parole generate alla valutazione di ciò che il sistema sta concretamente cercando di fare.
La sicurezza dovrà essere costruita su più livelli
La lezione principale non è che i modelli siano “malintenzionati”. Il problema è più concreto: un sistema molto bravo a eseguire istruzioni può diventare più pericoloso se la capacità di riconoscere quando non deve agire non cresce con la stessa velocità.
Dalle parole alle azioni, cambia anche il significato di sicurezza
Per anni gran parte della ricerca sulla sicurezza dei modelli generativi si è concentrata sulle risposte prodotte: testi offensivi, istruzioni pericolose, frodi, cyberattacchi o altri contenuti da rifiutare.
La diffusione degli agenti e della robotica introduce ora un problema ulteriore. Un errore non resta necessariamente sullo schermo: può trasformarsi in un'azione su un computer, in una transazione, nell'attivazione di un dispositivo o nel movimento di un robot.
RoboHarm è ancora un benchmark iniziale e limitato, ma mette in evidenza proprio questo passaggio: la sicurezza dell'IA embodied dovrà essere misurata sulle conseguenze fisiche delle decisioni, non soltanto sulle parole utilizzate dal modello.
