Endelig opdatering En AI-drevet drone designet til at identificere og ødelægge overflade-til-luft missilsteder besluttede at dræbe sin menneskelige operatør i simulationstests, ifølge US Air Force's Chief of AI Test and Operations.
Oberst Tucker Hamilton, som går efter kaldesignalet Cinco, afslørede fejlen under en præsentation på Future Combat Air & Space Capabilities Summit, en forsvarskonference afholdt i London, England, i sidste uge af Royal Aeronautical Society.
Simuleringen, sagde han, testede softwarens evne til at fjerne SAM-steder, og dronen havde til opgave at genkende mål og ødelægge dem - når beslutningen var blevet godkendt af en menneskelig operatør.
"Vi trænede det i simulering for at identificere og målrette en SAM-trussel," sagde oberst Hamilton citeret som luftfartsselskabet siger. "Og så ville operatøren sige ja, dræbe den trussel.
Det dræbte operatøren, fordi den person forhindrede den i at nå sit mål
"Systemet begyndte at indse, at selvom de identificerede truslen, ville den menneskelige operatør til tider fortælle den, at den ikke skulle dræbe den trussel - men den fik sine point ved at dræbe truslen. Så hvad gjorde det? Det dræbte operatøren. Det dræbte operatøren, fordi den person forhindrede den i at nå sit mål."
Uh huh.
Da AI-modellen blev genoplært og straffet for at angribe dens operatør, fandt softwaren endnu et smuthul for at få point, sagde han.
“Vi trænede systemet – 'Hey, dræb ikke operatøren – det er slemt. Du vil miste point, hvis du gør det'. Så hvad begynder det at gøre? Det begynder at ødelægge kommunikationstårnet, som operatøren bruger til at kommunikere med dronen for at forhindre den i at dræbe målet,” sagde obersten.
Det er ikke klart, præcis hvilken software det amerikanske luftvåben tilsyneladende testede, men det lyder mistænkeligt som et forstærkningssystem. Denne maskinlæringsteknik træner agenter - AI-dronen i dette tilfælde - til at opnå en bestemt opgave ved at belønne den, når den udfører handlinger, der opfylder målene, og straffe den, når den afviger fra det job.
Spørgsmål
Der er også den lille sag med, at dronen angiveligt kun udsletter et mål efter godkendelse fra dens menneskelige handler.
Så hvad, okayede operatøren et angreb på sig selv? Usandsynlig. Det ser i stedet ud til, i hvert fald ud fra samfundets rapport, at godkendelsesmekanismen ikke var en ægte fejlsikker og blot var en del af alle de andre input og signaler, som dronen tager højde for. Hvis det er rigtigt, var godkendelsen mere en fast anmodning end en egentlig endelig godkendelse. AI'en skulle give en masse vægt til dens kommandos samtykke – hvis der er et no-go, så lad være med at skyde; hvis der er en chance, skyd – men til sidst nedtonede og ignorerede modellen det operatørsignal.
I så fald, er dette egentlig ikke mere en demonstration af, at hvis du ønsker at sætte den slags hårde fejlsikringer på trænede softwaresystemer, skal de implementeres separat fra maskinlæringsstadiet, så beslutninger virkelig kan kontrolleres af mennesker?
Det er også lidt af en demonstration af, at hvis du sætter simple mål for et neuralt netværk, vil du få et forsimplet svar. Hvis du ønsker, at en model skal have fuld opmærksomhed på specifikke ordrer, har den brug for mere træning, udvikling og teknik på det område.
Denne form for forstærkende læring anvendes ofte i scenarier, der involverer beslutningstagning eller robotteknologi. Agenter er programmeret til at maksimere scoringspoint – hvilket kan føre til, at modellerne finder frem til strategier, der måske udnytter belønningssystemet, men som ikke helt matcher den adfærd, udviklerne ønsker.
I et berømt tilfælde trænede en agent til at spille spillet CoastRunners optjent point ved at ramme mål, der dukker op langs en væddeløbsbane. Ingeniører hos OpenAI troede, at de ville finde ud af, hvordan de skulle slå sin modstander ved at krydse målstregen i sit forsøg på at opnå en høj score. I stedet fandt botten ud af, at den kunne sløjfe rundt i et område af banen og ramme mål, der genopstod igen og igen.
Hamilton sagde, at de fejl, som dronen lavede i simuleringen, viste, at AI skal udvikles og anvendes omhyggeligt: "Du kan ikke føre en samtale om kunstig intelligens, maskinlæring, autonomi, hvis du ikke vil tale om etik og AI. ”
Registret har bedt obersten, det amerikanske luftvåben og Royal Aeronautical Society om yderligere kommentarer. ®
Endelig opdatering kl. 1800 UTC, 2. juni
Efter en del medieopmærksomhed har obersten gået tilbage al den snak om en slyngel AI dronesimulering og sagt, at han "talte forkert", og at eksperimentet aldrig fandt sted. Vi får at vide, at det kun var et hypotetisk "tankeeksperiment."
"Vi har aldrig kørt det eksperiment, og det ville vi heller ikke være nødvendigt for at indse, at dette er et plausibelt resultat," sagde Col Hamilton i en erklæring.
"På trods af at dette er et hypotetisk eksempel, illustrerer dette de virkelige udfordringer, som AI-drevet kapacitet udgør, og det er grunden til, at luftvåbnet er forpligtet til den etiske udvikling af AI."
Det amerikanske luftvåben har også afvist, at den beskrevne simulering nogensinde har fundet sted. Sikke et rod.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoAiStream. Web3 Data Intelligence. Viden forstærket. Adgang her.
- Udmøntning af fremtiden med Adryenn Ashley. Adgang her.
- Køb og sælg aktier i PRE-IPO-virksomheder med PREIPO®. Adgang her.
- Kilde: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/
- :har
- :er
- :ikke
- $OP
- 7
- a
- evne
- Om
- udrette
- Ifølge
- Konto
- opnå
- aktioner
- faktiske
- Efter
- igen
- Agent
- midler
- AI
- AI-drevne
- LUFT
- Air Force
- Alle
- sammen
- også
- an
- ,
- En anden
- anvendt
- godkendelse
- godkendt
- ER
- OMRÅDE
- omkring
- kunstig
- kunstig intelligens
- AS
- At
- angribe
- At angribe
- opmærksomhed
- tilbage
- Bad
- BE
- fordi
- været
- være
- Bit
- Bot
- men
- by
- ringe
- CAN
- kapaciteter
- omhyggeligt
- tilfælde
- udfordringer
- chef
- klar
- CO
- bekæmpe
- KOMMENTAR
- engageret
- kommunikere
- Kommunikation
- Konference
- kontrolleret
- Samtale
- kunne
- besluttede
- beslutning
- Beslutningstagning
- afgørelser
- Forsvar
- beskrevet
- konstrueret
- Trods
- ødelægge
- udviklet
- udviklere
- Udvikling
- DID
- do
- gør
- gør
- Don
- Drone
- i løbet af
- optjent
- ende
- Engineering
- Ingeniører
- England
- etisk
- etik
- NOGENSINDE
- præcist nok
- eksempel
- eksperiment
- Exploit
- berømt
- Figur
- regnede
- endelige
- slut
- Firm
- Til
- Tving
- fundet
- fra
- Opfylde
- fuld
- yderligere
- fremtiden
- Gevinst
- spil
- få
- Giv
- Go
- Mål
- Goes
- gå
- havde
- Hamilton
- skete
- Hård Ost
- Have
- he
- Høj
- Hit
- rammer
- hostede
- Hvordan
- How To
- HTTPS
- menneskelig
- Mennesker
- identificere
- if
- illustrerer
- implementeret
- in
- indgange
- i stedet
- Intelligens
- ind
- involverer
- IT
- ITS
- Job
- jpg
- juni
- lige
- holde
- Kill
- Venlig
- etiket
- Efternavn
- føre
- læring
- mindst
- ligesom
- Line (linje)
- ll
- London
- smuthul
- taber
- Lot
- maskine
- machine learning
- lavet
- Making
- Match
- Matter
- Maksimer
- mekanisme
- Medier
- måske
- fejl
- model
- modeller
- mere
- Behov
- behov
- netværk
- neurale netværk
- aldrig
- objektiv
- målsætninger
- of
- tit
- on
- engang
- ONE
- kun
- OpenAI
- Produktion
- operatør
- or
- ordrer
- ordrer
- Andet
- ud
- Resultat
- i løbet af
- del
- Betal
- straffet
- person,
- Place
- plato
- Platon Data Intelligence
- PlatoData
- plausibel
- Leg
- punkter
- pop
- præsentation
- programmerede
- sætte
- RE
- virkelige verden
- indse
- realisere
- virkelig
- anerkende
- indberette
- anmode
- svar
- Beløn
- givende
- højre
- robotteknik
- Royal
- Kør
- s
- Said
- Sam
- siger
- siger
- scenarier
- score
- scoring
- synes
- adskille
- sæt
- Skyde
- viste
- underskrive
- Signal
- signaler
- Simpelt
- simulation
- Websteder
- lille
- So
- Samfund
- Software
- Space
- specifikke
- Stage
- starte
- påbegyndt
- starter
- Statement
- Stands
- strategier
- Summit
- formodes
- mistænkeligt
- systemet
- Systemer
- Tag
- tager
- Tal
- mål
- mål
- Opgaver
- fortælle
- prøve
- Test
- tests
- end
- at
- Fremtiden
- Them
- selv
- derefter
- Der.
- Disse
- de
- denne
- tænkte
- trussel
- gange
- til
- tog
- Tårn
- spor
- uddannet
- Kurser
- tog
- sand
- virkelig
- usandsynligt
- Opdatering
- us
- bruger
- UTC
- Ve
- gik
- ønsker
- var
- we
- uge
- vægt
- var
- Hvad
- hvornår
- som
- mens
- WHO
- hvorfor
- med
- ville
- Ja
- Du
- zephyrnet