Gli agenti di intelligenza artificiale con "più sé" imparano ad adattarsi rapidamente in un mondo che cambia

Ogni giorno ci destreggiamo tra esigenze diverse. ho fame ma sono esausto; dovrei crollare sul divano o preparare la cena? Sono surriscaldato a temperature pericolose ma anche estremamente assetato; dovrei bere l'acqua tiepida che si è riscaldata sotto il sole o infilare la testa nel congelatore finché non avrò la capacità mentale di fare il ghiaccio?

Di fronte a dilemmi, spesso seguiamo i nostri istinti di base senza pensarci. Ma sotto il cofano, più reti neurali competono per prendere la decisione "migliore" in qualsiasi momento. Dormi sul cibo. Congelare sopra l'acqua tiepida. Possono essere decisioni terribili col senno di poi, ma la prossima volta impareremo dai nostri errori passati.

La nostra adattabilità a un mondo in continua evoluzione è un superpotere che attualmente sfugge alla maggior parte degli agenti di intelligenza artificiale. Anche gli agenti di intelligenza artificiale più sofisticati si guastano, o richiedono quantità insostenibili di tempo di calcolo, mentre si destreggiano tra obiettivi contrastanti.

Per un team guidato dal dottor Jonathan Cohen del Princeton Neuroscience Institute, il motivo è semplice: i sistemi di apprendimento automatico generalmente agiscono come un'unica entità, costretta a valutare, calcolare ed eseguire un obiettivo alla volta. Sebbene sia in grado di imparare dai propri errori, l'IA fa fatica a trovare il giusto equilibrio quando viene sfidata con più obiettivi contrapposti contemporaneamente.

Allora perché non spezzare l'intelligenza artificiale?

In un nuovo studio pubblicato nella PNAS, il team ha preso una pagina dalla neuroscienza cognitiva e ha costruito un agente di intelligenza artificiale modulare.

L'idea è apparentemente semplice. Piuttosto che un'intelligenza artificiale monolitica, una singola rete che racchiude l'intero "sé", il team ha costruito un agente modulare, ciascuna parte con la propria "motivazione" e obiettivi ma al comando di un singolo "corpo". Come una società democratica, il sistema di intelligenza artificiale discute al suo interno per decidere la risposta migliore, dove l'azione che ha maggiori probabilità di produrre il risultato vincente più grande guida il suo passo successivo.

In diverse simulazioni, l'IA modulare ha superato il suo classico pari monolitico. La sua adattabilità ha brillato particolarmente quando i ricercatori hanno aumentato artificialmente il numero di obiettivi che doveva mantenere contemporaneamente. L'intelligenza artificiale Lego si è adattata rapidamente, mentre la sua controparte monolitica ha faticato a recuperare il ritardo.

"Una delle domande più fondamentali sull'agenzia è come un individuo gestisce i bisogni contrastanti", ha affermato il team. Decostruendo un agente di intelligenza artificiale, la ricerca non si limita a fornire informazioni sugli agenti di machine learning più intelligenti. Inoltre "apre la strada alla comprensione dei conflitti psicologici inerenti alla psiche umana", ha scritto Dr. Rober Boshra della Princeton University, che non era coinvolto nel lavoro.

Il videogioco della vita

In che modo gli esseri intelligenti imparano a bilanciare bisogni contrastanti in un mondo complesso e in evoluzione?

La questione filosofica ha perseguitato molteplici campi - neuroscienze, psicologia, economia - che approfondiscono la natura umana. Non abbiamo ancora risposte chiare. Ma con l'intelligenza artificiale che affronta sempre più sfide simili quando entra nel mondo reale, è tempo di affrontare l'annoso problema a testa alta.

Il nuovo studio ha raccolto la sfida sotto forma di un semplice RPG (gioco di ruolo). Ci sono due personaggi che navigano in un mondo simile a una griglia, ognuno dei quali cerca di trovare risorse per sopravvivere.

Il primo concorrente: l'agente monolitico, altrimenti noto come "sé", addestrato utilizzando il deep-Q-learning (DQL). Reso popolare da DeepMind, l'algoritmo è particolarmente potente nel capire il prossimo passo ottimale a seconda del suo stato attuale. Ad esempio, come in un videogioco, devo andare a destra oa sinistra? Sposta quale pezzo degli scacchi o Go e dove? In questo caso, l'algoritmo esamina l'intero ambiente seguendo un singolo segnale di ricompensa, ovvero il suo obiettivo finale. In un certo senso, l'agente monolitico è un cervello unificato che cerca di massimizzare il miglior risultato dopo aver elaborato simultaneamente tutte le risorse in tandem.

L'avversario: l'IA modulare. Come un polpo con arti semi-autonomi, l'agente AI è suddiviso in sub-agenti, ciascuno con i propri obiettivi e feedback. Per renderlo un combattimento leale, ogni modulo è anche addestrato con DQL. I "cervelli" separati osservano ciò che li circonda e imparano a selezionare l'opzione migliore, ma solo su misura per i propri obiettivi. I risultati previsti vengono quindi riassunti. Viene quindi selezionata la soluzione con il potenziale risultato ottimale, guidando l'agente AI verso la scelta successiva.

E il campo da gioco?

Il gioco è una versione estremamente ridotta di un gioco di sopravvivenza. Ogni agente AI si aggira su una griglia bidimensionale che ha diversi tipi di risorse nascoste in alcune regioni. L'obiettivo è mantenere le quattro statistiche dell'agente al livello prestabilito, con ciascuna che diminuisce gradualmente nel tempo. Quando più statistiche crollano, spetta all'IA decidere a quale dare la priorità.

Per i videogiocatori, pensa al test come essere gettato in una nuova mappa di gioco e cercare di trovare risorse per aumentare, ad esempio, salute, magia, resistenza e potenza di attacco. Per la nostra vita quotidiana, bilancia la fame, la temperatura, il sonno e altri bisogni fisiologici di base.

"Ad esempio, se l'agente avesse una statistica di 'fame' bassa, potrebbe raccogliere la risorsa 'cibo' spostandosi nella posizione di quella risorsa", ha spiegato il team.

Foresta per gli alberi

Il primo test è iniziato con un ambiente relativamente semplice. La posizione per ogni obiettivo di risorsa è stata fissata all'angolo dell'arena di gioco. L'agente monolitico ha prontamente mantenuto le sue quattro statistiche dopo 30,000 passaggi di allenamento, anche se ha attraversato un periodo di overshooting e undershooting fino a raggiungere gli obiettivi prefissati. Al contrario, l'agente modulare ha imparato molto più velocemente. Con 5,000 passaggi di apprendimento, l'agente aveva già acquisito una comprensione dello "stato del mondo".

Parte dell'abilità dell'IA modulare derivava da un senso intrinseco di libera esplorazione, affermano gli autori. A differenza dei metodi precedenti per i sistemi modulari che dividono e conquistano per raggiungere un obiettivo finale, qui l'IA rappresenta una relazione sociale più olistica, in cui alcuni moduli guadagnano e altri perdono a causa di un costante stato di competizione interna.

Poiché il "corpo" dell'agente AI è guidato solo dal modulo vincente, quelli perdenti devono accettare una decisione con cui non erano d'accordo e sono costretti a una nuova realtà. Devono quindi adattarsi rapidamente e ricalcolare la soluzione migliore per il passaggio successivo. In altre parole, i moduli si trovano spesso al di fuori della loro zona di comfort. È un amore duro, ma i risultati inaspettati li costringono a riflettere su nuove soluzioni, a volte ottenendo risultati migliori che non avrebbero preso in considerazione se avessero affrontato il problema da soli.

Nel complesso, il sistema modulare forma un "ciclo virtuoso con l'esplorazione" per migliorare ulteriormente le azioni dell'IA, ha affermato l'autore dello studio Zack Dulberg.

Questa adattabilità ha ulteriormente brillato quando il team ha sfidato entrambi gli agenti di intelligenza artificiale in ambienti mutevoli. In un test, le posizioni degli obiettivi delle risorse si sono spostate in una posizione della griglia casuale su scale temporali sporadiche. L'intelligenza artificiale modulare ha raccolto rapidamente i cambiamenti e si è adattata ad essi, mentre l'agente monolitico ha funzionato molto peggio.

In un altro test il team ha alzato la mano, richiedendo agli agenti IA di mantenere contemporaneamente otto fattori anziché i quattro originali. Il test ha affrontato il problema che i calcoli diventano sempre più improbabili in termini di tempo e consumo di energia con l'aumentare del numero di variabili, soprannominato la "maledizione della dimensionalità".

L'agente modulare si è rapidamente adattato per dare la caccia alle risorse per mantenere i suoi obiettivi. Al contrario, l'agente monolitico ha di nuovo lottato, impiegando molto più tempo per tornare ai livelli desiderati per ciascuna delle sue statistiche.

Uno contro molti

L'approccio modulare è un altro esempio di attingere alle neuroscienze per lo sviluppo dell'intelligenza artificiale, fornendo al contempo informazioni su come funzionano le nostre zucche.

Analogamente al lavoro precedente, i moduli modulari mostrano che è possibile fare in modo che un singolo agente di intelligenza artificiale apprenda sottoproblemi separati e più semplici in parallelo in un modo relativamente decentralizzato in termini di elaborazione dei dati. L'aggiunta di un modello con un sistema di controllo gerarchico potrebbe rafforzare l'intelligenza artificiale, affermano gli autori, perché entrambe le strutture esistono nel mondo naturale.

Per ora, ogni modulo è programmato per i propri guadagni: un multiplo di sé. Ma i nostri obiettivi nella vita sono spesso interconnessi; ad esempio, alleviare la sete e combattere il caldo non si escludono a vicenda. Il team sottolinea la necessità di integrare questi incroci e di sapere se sono ereditati o appresi nei test futuri.

A Dulberg, l'ignoto fa parte dell'eccitazione. “Come si sviluppano i moduli? Quali caratteristiche dell'ambiente di sviluppo mettono sotto pressione soluzioni diverse?" chiese. "E i vantaggi della modularità spiegano perché il conflitto psicologico interno sembra così centrale per la condizione umana?"

Immagine di credito: Anestiev/Pixabay

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Automobilistico/VE, Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• BlockOffset. Modernizzare la proprietà della compensazione ambientale. Accedi qui.
• Fonte: https://singularityhub.com/2023/07/11/ai-agents-with-multiple-selves-can-rapidly-adapt-to-a-changing-world/