Gli autori di un recente studio sostengono che sia possibile migliorare le prestazioni cognitive delle reti neurali artificiali implementando l’eterogeneità delle loro componenti ispirandosi ai sistemi neurali animali. I ricercatori hanno infatti constatato che associando ai vari neuroni artificiali diverse costanti di tempo, il sistema diventa più efficiente. Inoltre, il modello di rete neurale da loro proposto è a basso consumo energetico.

Con l’aiuto di Alberto Testolin, ricercatore ai dipartimenti di Psicologia generale e Ingegneria dell'informazione dell’università di Padova, siamo andati a scoprire cos’è una rete neurale artificiale e quale importanza hanno i risultati dello studio di Nicolas Perez-Nieves e coautori pubblicato su Nature Communications.

“Esistono molte classi di reti neurali artificiali di diversa natura e con determinate caratteristiche a seconda degli scopi per cui vengono progettate”, precisa Testolin. “In generale, possiamo affermare che una rete neurale artificiale è un modello matematico computazionale che, una volta programmato in un computer, riproduce in silico (ovvero, artificialmente) alcune funzioni o caratteristiche delle reti neurali o neuronali biologiche.

Le reti neurali artificiali possono avere diversi livelli di complessità. Alcune di esse si basano sostanzialmente sui principi neuroscientifici biofisici. Le componenti di queste reti neurali (ovvero i neuroni artificiali) vengono modellate nel dettaglio sulla base di quelle biologiche sia per quanto riguarda la loro morfologia, sia per quanto riguarda la dinamica della sinapsi. Questo tipo di rete neurale artificiale serve quindi a studiare le dinamiche dei sistemi nervosi animali incorporando e simulando nel modello matematico le caratteristiche biofisiche.

Esistono poi altri tipi di reti neurali artificiali che sono di maggior interesse dal punto di vista cognitivo o per l’applicazione di intelligenze artificiali. Queste tendono ad astrarre le proprietà del sistema biologico per concentrarsi, piuttosto, sulla riproduzione delle sue funzioni cognitive, come ad esempio l’identificazione di pattern, la classificazione degli stimoli o il riconoscimento del linguaggio.

Le reti neurali di cui si parla nello studio in questione sono, per certi versi, una via di mezzo tra i due modelli che abbiamo appena descritto: cercano infatti di incorporare al loro interno delle proprietà biofisiche, come per esempio la comunicazione spiking tra i singoli neuroni, che funziona attraverso scariche di impulsi discreti tra essi, ma tentando allo stesso tempo di simulare anche attività cognitive, come ad esempio l’apprendimento. Queste reti neurali sono perciò in grado sia di adattarsi attraverso l'esperienza di interazione con l'ambiente, sia di svolgere compiti cognitivi”.

Andiamo quindi ad approfondire i risultati dello studio dell’Imperial College cercando di capire, innanzitutto, di che tipo di eterogeneità possiamo parlare con riferimento alle reti neurali artificiali.

“L’eterogeneità di cui si parla nello studio riguarda in particolare la costante di tempo, un parametro che contraddistingue sia i neuroni biologici sia quelli artificiali (in particolare nei modelli spiking). La costante di tempo caratterizza la frequenza di risposta di un sistema dinamico, determinando il grado di reattività di un neurone.

Gli autori hanno notato che i sistemi in cui i neuroni erano programmati ad attivarsi secondo la stessa costante di tempo e in cui non c’era flessibilità per questo parametro, erano poco performanti. Al contrario, inizializzare un sistema in modo eterogeneo – assegnando quindi ai neuroni delle costanti di tempo differenti – e permettere al parametro di adattarsi durante il processo di apprendimento, rendeva la rete più efficiente nel riconoscimento di pattern e anche nella classificazione di stimoli esterni sia visivi che uditivi molto complessi e simili a quelli che potrebbe ricevere in input un sistema cognitivo biologico.

Sulla base di questi risultati, gli autori ipotizzano che introdurre elementi di eterogeneità anche in altre componenti della rete neurale artificiale potrebbe, in futuro, permettere alla rete di raggiungere prestazioni ancora più elevate”.

New paper in @NatureComms, "Neural heterogeneity promotes robust learning" with @NicolasPerezNi1, Vincent Leung and Pier Luigi Dragotti.

Paper: https://t.co/Cp4SMWhUKG

Talk @worldwideneuro: https://t.co/DnQBcjtP5y

Tweeprint: https://t.co/4ItJhnMlBU

— Dan Goodman (@neuralreckoning) October 4, 2021

“Quando ci addentriamo nella fisiologia e nella biologia del sistema nervoso per costruire un modello computazionale più realistico e meno astratto, apriamo un vaso di Pandora: dobbiamo infatti modellare le componenti della rete in modo molto dettagliato per renderla il più plausibile possibile dal punto di vista biofisico e neurologico, basandoci anche sui dati che è possibile raccogliere grazie agli esperimenti sulle cellule animali”, spiega Testolin. “Spesso però questi modelli computazionali non riescono a simulare un numero di neuroni sufficientemente alto da sostenere delle attività cognitive complesse, come imparare a classificare gli stimoli, memorizzare informazioni, comprendere il linguaggio o prendere decisioni a seconda delle condizioni ambientali. Perciò, quando vogliamo che la rete porti a termine dei compiti articolati, siamo solitamente costretti a semplificare i modelli a scapito della plausibilità biologica e a renderli piuttosto distanti dalle reti biologiche e più difficili da validare sperimentalmente.

Il merito degli autori di questo studio è quello di aver presentato un modello abbastanza plausibile dal punto di vista biofisico, dal momento che incorpora dinamiche di comunicazione piuttosto sofisticate tra i neuroni, ma allo stesso tempo capace di risolvere compiti cognitivamente difficili.

Inoltre, un altro aspetto peculiare di questo studio è che la distribuzione delle diverse costanti di tempo tra i vari neuroni che, come abbiamo detto, caratterizza il modo in cui essi si attivano dinamicamente nel tempo, è stata validata su dati empirici, poiché è risultata essere molto simile a quella osservata nelle cellule cerebrali di alcuni topi. Ecco perché questo modello rappresenta una via di mezzo tra i modelli artificiali prettamente cognitivi, utilizzati ad esempio per l’intelligenza artificiale e il deep learning, e modelli più realistici dal punto di vista biologico, che ci consentono di scoprire e validare proprietà interessanti dal punto di vista biofisico e che, tra l’altro, si prestano meglio ad essere programmati in dei dispositivi hardware a basso consumo energetico.

Sappiamo, infatti, che i modelli di intelligenza artificiale stanno diventando sempre più “insostenibili” dal punto di vista energetico. È necessaria una grande potenza di calcolo per produrre un modello di deep learning in grado di riconoscere immagini, dialogare e magari essere implementato in un sistema robotico. Per questo motivo, le compagnie che producono modelli di intelligenza artificiale allo stato dell’arte spesso hanno delle centrali elettriche che alimentano i loro server per simulare queste reti neurali su larga scala. Insomma, tanto più i modelli diventano complessi e performanti, tanto più consumano energia e diventano più difficili da implementabili in una macchina che deve eseguire un compito complesso. Immaginiamo, ad esempio, un robot che deve esplorare la superficie di Marte prendendo l’energia dai pannelli solari e ottimizzando i propri consumi.

Ecco allora che i modelli presentati dai ricercatori dell'Imperial College, oltre ad essere più plausibili dal punto di vista biologico, potrebbero, in un futuro abbastanza breve, anche essere implementati in dei dispositivi hardware molto più efficienti dal punto di vista metabolico. Possiamo anche pensare a un sistema robotico autonomo che svolge delle funzioni cognitive complesse consumando molto meno per la codifica dell’informazione proprio perché si ispira alle proprietà biologiche del cervello”.

Lo studio di Perez-Nieves e coautori evidenzia l’utilità della ricerca neuroscientifica anche per quanto riguardo le possibili applicazioni nel campo della robotica e dell’intelligenza artificiale.

“Risultati come quelli raggiunti in questo lavoro ci lasciano ben sperare che lo studio sempre più dettagliato dei meccanismi fisiologici delle reti neurali biologiche possa essere di ispirazione per costruire delle macchine più efficienti e capaci di raggiungere un grado di intelligenza e di flessibilità utilizzando poche risorse di calcolo, proprio come fanno gli animali. Per un essere umano, ad esempio, è sufficiente mangiare un panino per svolgere complessi calcoli e ragionamenti per un’intera giornata. Ebbene, uno degli obiettivi della ricerca è quello di capire come trasmettere questa capacità anche alle future macchine intelligenti”, conclude Testolin.