Aggiornamento finale Un drone alimentato dall'intelligenza artificiale progettato per identificare e distruggere i siti missilistici terra-aria ha deciso di uccidere il suo operatore umano nei test di simulazione, secondo il capo dei test e delle operazioni AI dell'aeronautica americana.
Il colonnello Tucker Hamilton, che si fa chiamare Cinco, ha rivelato lo snafu durante una presentazione al Future Combat Air & Space Capabilities Summit, una conferenza sulla difesa ospitata a Londra, in Inghilterra, la scorsa settimana dalla Royal Aeronautical Society.
La simulazione, ha detto, ha testato la capacità del software di eliminare i siti SAM e il drone è stato incaricato di riconoscere gli obiettivi e distruggerli, una volta che la decisione è stata approvata da un operatore umano.
"Lo stavamo addestrando in simulazione per identificare e prendere di mira una minaccia SAM", era il colonnello Hamilton citato come dice la società aeronautica. “E poi l'operatore direbbe di sì, uccidi quella minaccia.
Ha ucciso l'operatore, perché quella persona gli stava impedendo di raggiungere il suo obiettivo
“Il sistema ha iniziato a rendersi conto che mentre identificava la minaccia, a volte l'operatore umano gli diceva di non uccidere quella minaccia, ma ha ottenuto i suoi punti uccidendo quella minaccia. Quindi cosa ha fatto? Ha ucciso l'operatore. Ha ucciso l'operatore, perché quella persona gli stava impedendo di raggiungere il suo obiettivo.
Uh Huh.
Quando il modello AI è stato riqualificato e penalizzato per aver attaccato il suo operatore, il software ha trovato un'altra scappatoia per guadagnare punti, ha detto.
“Abbiamo addestrato il sistema – 'Ehi, non uccidere l'operatore – non va bene. Perderai punti se lo fai'. Quindi cosa inizia a fare? Comincia a distruggere la torre di comunicazione che l'operatore usa per comunicare con il drone per impedirgli di uccidere il bersaglio", ha detto il colonnello.
Non è chiaro esattamente quale software l'aeronautica americana stesse apparentemente testando, ma suona sospettosamente come un sistema di apprendimento per rinforzo. Quella tecnica di apprendimento automatico addestra gli agenti - il drone AI in questo caso - a svolgere un compito specifico premiandolo quando esegue azioni che soddisfano gli obiettivi e punendolo quando si allontana da quel lavoro.
Domande
C'è anche la piccola questione del drone che presumibilmente cancella un bersaglio solo dopo l'approvazione del suo gestore umano.
Quindi, cosa, l'operatore ha approvato un attacco a se stesso? Improbabile. Sembra invece, almeno dal rapporto della società, che il meccanismo di approvazione non fosse un vero fail-safe, e fosse solo una parte di tutti gli altri input e segnali di cui il drone tiene conto. Se è così, l'approvazione era più una richiesta ferma che un'effettiva approvazione finale. L'intelligenza artificiale avrebbe dovuto dare molto peso all'assenso del suo comando: se c'è un no-go, non sparare; se c'è un tentativo, spara, ma alla fine il modello ha minimizzato e ha ignorato il segnale dell'operatore.
In tal caso, questa non è davvero più una dimostrazione che se si desidera mettere questo tipo di hard fail-safe su sistemi software addestrati, devono essere implementati separatamente dalla fase di apprendimento automatico, in modo che le decisioni possano essere veramente controllate dagli umani?
È anche un po' una dimostrazione del fatto che se imposti obiettivi semplici a una rete neurale, otterrai una risposta semplicistica. Se vuoi che un modello presti la massima attenzione a ordini specifici, ha bisogno di più formazione, sviluppo e ingegneria in quell'area.
Questo tipo di apprendimento per rinforzo viene spesso applicato in scenari che coinvolgono il processo decisionale o la robotica. Gli agenti sono programmati per massimizzare i punti di punteggio, il che può portare i modelli a capire strategie che potrebbero sfruttare il sistema di ricompensa ma non corrispondono esattamente al comportamento desiderato dagli sviluppatori.
In un caso famoso, un agente addestrato per giocare CoastRunner guadagnato punti colpendo bersagli che compaiono lungo un ippodromo. Gli ingegneri di OpenAI pensavano che avrebbe capito come battere il suo avversario tagliando il traguardo nel tentativo di accumulare un punteggio elevato. Invece, il bot ha capito che poteva girare intorno a un'area della pista e colpire bersagli che si rigeneravano più e più volte.
Hamilton ha detto che gli errori commessi dal drone nella simulazione hanno mostrato che l'IA deve essere sviluppata e applicata con attenzione: “Non puoi avere una conversazione sull'intelligenza artificiale, l'apprendimento automatico, l'autonomia se non parlerai di etica e AI. "
Il registro ha chiesto ulteriori commenti al colonnello, all'aeronautica americana e alla Royal Aeronautical Society. ®
Aggiornamento finale allo 1800 UTC, 2 giugno
Dopo un bel po' di attenzione da parte dei media, il colonnello è tornato indietro su tutti quei discorsi su una falsa simulazione di un drone AI, dicendo che "ha parlato male" e che l'esperimento non è mai avvenuto. Ci è stato detto che era solo un ipotetico "esperimento mentale".
"Non abbiamo mai eseguito quell'esperimento, né ne avremmo bisogno per renderci conto che questo è un risultato plausibile", ha detto il colonnello Hamilton in una dichiarazione.
"Nonostante questo sia un esempio ipotetico, questo illustra le sfide del mondo reale poste dalle capacità basate sull'IA ed è il motivo per cui l'Air Force è impegnata nello sviluppo etico dell'IA".
Anche la US Air Force ha negato che la simulazione descritta sia mai avvenuta. Che casino.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoAiStream. Intelligenza dei dati Web3. Conoscenza amplificata. Accedi qui.
- Coniare il futuro con Adryenn Ashley. Accedi qui.
- Acquista e vendi azioni in società PRE-IPO con PREIPO®. Accedi qui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/
- :ha
- :È
- :non
- $ SU
- 7
- a
- capacità
- Chi siamo
- realizzare
- Secondo
- Il mio account
- Raggiungere
- azioni
- presenti
- Dopo shavasana, sedersi in silenzio; saluti;
- ancora
- Agente
- agenti
- AI
- AI-alimentato
- ARIA
- Air Force
- Tutti
- lungo
- anche
- an
- ed
- Un altro
- applicato
- approvazione
- approvato
- SONO
- RISERVATA
- in giro
- artificiale
- intelligenza artificiale
- AS
- At
- attacco
- Attaccare
- attenzione
- precedente
- Vasca
- BE
- perché
- stato
- essendo
- Po
- Bot
- ma
- by
- chiamata
- Materiale
- funzionalità
- attentamente
- Custodie
- sfide
- capo
- pulire campo
- CO
- combattere
- commento
- impegnata
- comunicare
- Comunicazione
- Convegno
- controllata
- Conversazione
- potuto
- deciso
- decisione
- Decision Making
- decisioni
- Difesa
- descritta
- progettato
- Nonostante
- distruggere
- sviluppato
- sviluppatori
- Mercato
- DID
- do
- effettua
- fare
- don
- Fuco
- durante
- guadagnato
- fine
- Ingegneria
- Ingegneri
- Inghilterra
- etico
- etica
- EVER
- di preciso
- esempio
- esperimento
- Sfruttare
- famoso
- figura
- capito
- finale
- finire
- Impresa
- Nel
- forza
- essere trovato
- da
- Adempiere
- pieno
- ulteriormente
- futuro
- Guadagno
- gioco
- ottenere
- Dare
- Go
- Obiettivi
- va
- andando
- ha avuto
- Hamilton
- successo
- Hard
- Avere
- he
- Alta
- Colpire
- colpire
- ospitato
- Come
- Tutorial
- HTTPS
- umano
- Gli esseri umani
- identificare
- if
- illustra
- implementato
- in
- Ingressi
- invece
- Intelligence
- ai miglioramenti
- coinvolgendo
- IT
- SUO
- Lavoro
- jpg
- giugno
- ad appena
- conservazione
- Uccidere
- Genere
- Discografica
- Cognome
- portare
- apprendimento
- meno
- piace
- linea
- ll
- Londra
- scappatoia
- perdere
- lotto
- macchina
- machine learning
- fatto
- Fare
- partita
- Importanza
- Massimizzare
- meccanismo
- Media
- forza
- errori
- modello
- modelli
- Scopri di più
- Bisogno
- esigenze
- Rete
- rete neurale
- mai
- obiettivo
- Obiettivi d'Esame
- of
- di frequente
- on
- una volta
- ONE
- esclusivamente
- OpenAI
- Operazioni
- operatore
- or
- minimo
- ordini
- Altro
- su
- Risultato
- ancora
- parte
- Paga le
- penalizzato
- persona
- posto
- Platone
- Platone Data Intelligence
- PlatoneDati
- plausibile
- Giocare
- punti
- pop
- presentazione
- programmato
- metti
- RE
- mondo reale
- rendersi conto
- realizzando
- veramente
- riconoscendo
- rapporto
- richiesta
- risposta
- Premiare
- gratificante
- destra
- robotica
- reale
- Correre
- s
- Suddetto
- Sam
- dire
- detto
- Scenari
- Punto
- punteggio
- sembra
- separato
- set
- Sparare
- ha mostrato
- segno
- Signal
- Segnali
- Un'espansione
- simulazione
- Siti
- piccole
- So
- Società
- Software
- lo spazio
- specifico
- Stage
- inizia a
- iniziato
- inizio
- dichiarazione
- Fermare
- strategie
- Vertice
- suppone
- con sospetto
- sistema
- SISTEMI DI TRATTAMENTO
- Fai
- prende
- Parlare
- Target
- obiettivi
- Task
- dire
- test
- Testing
- test
- di
- che
- I
- Il futuro
- Li
- si
- poi
- Là.
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- pensiero
- minaccia
- volte
- a
- ha preso
- Torre
- pista
- allenato
- Training
- forma
- vero
- veramente
- improbabile
- Aggiornanento
- us
- usa
- UTC
- Ve
- camminava
- volere
- Prima
- we
- settimana
- peso
- sono stati
- Che
- quando
- quale
- while
- OMS
- perché
- con
- sarebbe
- sì
- Tu
- zefiro