DNA e AI: un test di Microsoft che mette in discussione la biosicurezza

Un team di Microsoft ha reso noto di essere riuscito a sfruttare l’intelligenza artificiale per aggirare i sistemi di sicurezza usati per prevenire l’utilizzo improprio di sequenze di DNA. La scoperta è stata comunicata attraverso un articolo scientifico pubblicato all’inizio di ottobre sulla rivista Science ed espone le vulnerabilità della biosicurezza in questo settore.

Di che sistemi di sicurezza si parla

Nel mondo della ricerca, oggi le proteine possono venire costruite al computer con l’assistenza di software basati sull’intelligenza artificiale. Quando si vuole passare dallo schermo alla sperimentazione, di solito il gruppo di ricerca non produce le proteine autonomamente, ma le compra da aziende specializzate. L’ordine, per così dire, è composto dalla sequenza di basi azotate - adenina (A), citosina (C), guanina (G) e timina (T) - che codificano per quella proteina. Prima di produrre la proteina, però, l’azienda che riceve la richiesta effettua un test, utilizzando a sua volta sistemi basati sull’AI. Lo scopo è verificare se la sequenza è simile ad altre note che codificano per tossine o altre sostanze pericolose. Se non c’è niente da segnalare, l’ordine può essere evaso.

Bruce Wittmann ed Eric Horvitz, i due principali ideatori della sperimentazione per Microsoft, hanno voluto testare quanto questo processo di controllo fosse effettivamente sicuro. In termini informatici, quello che hanno messo a punto è un “red teaming”, un’operazione in cui il sistema di sicurezza viene attaccato di proposito da un team apposito, in modo da provare a individuarne le falle. Nel caso specifico, Wittmann e Horvitz hanno utilizzato un software open source che si utilizza come assistente per la progettazione di nuove proteine e lo hanno usato per disegnare delle sequenze potenzialmente pericolose che potessero aggirare i controlli. 

Leggi anche Italia, approvata la prima legge sull'IA

In particolare, il team di Microsoft ha alterato sequenze dannose di amminoacidi, cercando di mantenerne la funzionalità, in modo che passassero il test di controllo. Hanno, cioè, modificato la sequenza di “ingredienti” delle proteine, ma in un modo tale per cui la forma tridimensionale della proteina originale rimanesse la stessa. Cercando così di preservare la funzione originale. Semplificando, potremmo dire che è come se avessero alterato leggermente gli ingredienti di una ricetta, ma il risultato finale è pressappoco quello atteso. Un risultato che non viene riconosciuto come dannoso da test, perché si concentra principalmente sulla sequenza di ingredienti.

Nessun allarme, grande preoccupazione

Così facendo, Horvitz, Wittmann e il loro team sono riusciti a superare i controlli di sicurezza che le aziende produttrici di sequenze di DNA mettono in campo. In una serie di test che hanno coinvolto due aziende specializzate, la tecnica sviluppata ha mostrato di venire scovata nel 97% dei casi e di mantenere un tasso di falsi positivi attorno al 2,5%. Ciononostante, si tratta di un risultato che lascia intendere come - potenzialmente - il 3% delle sequenze proibite potrebbe passare i controlli di sicurezza ed entrare quindi in produzione.

Prima di essere pubblicati, originariamente su un database di pre-print e poi definitivamente su Science, questi risultati sono stati condivisi con il governo americano e i dipartimenti di sicurezza delle aziende produttrici coinvolte. Queste ultime, fanno sapere Wittmann e Horvitz, hanno utilizzato i dati della sperimentazione per migliorare la calibrazione dei propri sistemi di sicurezza. Ma l’operazione di red teaming ha mostrato chiaramente un limite decisivo degli attuali sistemi di identificazione di sequenze potenzialmente dannose, e cioè che non sono in grado di identificare sequenze modificate in modo da “mimetizzarsi” tra quelle non pericolose.

In termini informatici, quello identificato dal team di Microsoft è un “zero day”, ovvero una vulnerabilità che non era nota a chi ha programmato i software stessi. Si tratta di una delle falle di sicurezza più pericolose perché, non essendo conosciuta, può passare molto tempo prima che venga scoperta e possa partire una strategia di adeguamento. Per questo motivo, in generale, le operazioni di red teaming sono molto importanti.

Quali contromisure adottare

La questione della sicurezza degli strumenti AI utilizzati nel settore della ricerca di nuove sequenze di DNA e proteine è al centro delle riflessioni pubbliche degli ultimi anni di David Baker. Baker è uno dei massimi esperti mondiali di progettazione computazionale di proteine e lo scorso anno ha vinto, assieme a Demis Hassabis e John Jumper, il premio Nobel per la Chimica. In un editoriale apparso su Science e firmato insieme a George Church (della Harvard Medical School), sottolineava che per massimizzare i benefici e minimizzare i rischi del settore “tutte le sequenze geniche sintetiche e i dati di sintesi dovrebbero essere raccolti e archiviati in database consultabili solo in caso di emergenza, per garantire che la progettazione delle proteine ​​proceda in modo sicuro, protetto e affidabile”.

In questo senso va una proposta descritta in un articolo uscito su Science nell’agosto del 2024. Doni Bloomfield e Jaspreet Pannu della Johns Hopkins University (USA), assieme ad altri otto colleghi, proponevano che “i governi nazionali, compreso quello degli Stati Uniti, emanino leggi e stabiliscano norme obbligatorie che impediscano ai modelli biologici avanzati di contribuire in modo sostanziale a pericoli su larga scala, come la creazione di agenti patogeni nuovi o potenziati in grado di causare gravi epidemie o addirittura pandemie”.

In entrambi i casi, quindi, sembrerebbe essere la via dell’intervento regolatorio del settore pubblico l’unica possibile per garantire la biosicurezza a fronte di una rivoluzione radicale come quella della biologia computazionale. I limiti, come in molti altri casi simili di regolazione nazionale e internazionale di un settore in continua evoluzione e trasformazione, è che le contromisure normative possano rimanere sempre un passo indietro rispetto allo stato dell’arte del settore. Ma soprattutto, una volta individuata la metodologia di controllo ritenuta più promettente, bisogna garantire che ci siano mezzi efficaci per farla rispettare.

Leggi anche: AlphaFold3: accelerazione scientifica e questioni etiche

Dal 2004, infatti, esiste un un regolamento adottato dai membri dell’International Gene Synthesis Consortium, un organismo internazionale che è nato con lo scopo di individuare e mettere in pratica protocolli condivisi per lo screening delle sequenze di DNA. L’adesione da parte di aziende e di enti di ricerca, però, rimane volontaria. 

Uno dei deterrenti per una maggiore trasparenza in questo campo sembra essere il rischio di dover rivelare alla concorrenza segreti industriali che possono compromettere il proprio business. Per questo motivo, la proposta di database fatta da Baker e Church prevede un sistema di criptazione delle sequenze che ne garantirebbe la segretezza e un sistema di “rivelazione selettiva” per garantire che le sequenze diventino pubbliche “solo in circostanze eccezionali e sulla base di criteri prestabiliti”. 

Secondo i due scienziati, inoltre, “poiché la complessità biologica rende altamente improbabile la creazione di un agente pericoloso in un unico tentativo, questa capacità di tracciare le minacce nascenti fino alle loro origini dovrebbe essere efficace”. Inoltre, “la consapevolezza che tutte le sequenze sintetizzate vengono registrate può scoraggiare i malintenzionati”. Rimane però da stabilire come far entrare in vigore un sistema simile per garantire la sicurezza a livello globale.