Végső frissítés Az amerikai légierő mesterségesintelligencia-tesztekért és műveletekért felelős főnöke szerint egy mesterséges intelligencia-hajtású drón, amelyet föld-levegő rakétatelepek azonosítására és megsemmisítésére terveztek, úgy döntött, hogy megöli emberi kezelőjét a szimulációs tesztek során.
Colonel Tucker Hamilton, who goes by the call sign Cinco, disclosed the snafu during a presentation at the Future Combat Air & Space Capabilities Summit, a defense conference hosted in London, England, last week by the Royal Aeronautical Society.
The simulation, he said, tested the software’s ability to take out SAM sites, and the drone was tasked with recognizing targets and destroying them – once the decision had been approved by a human operator.
“We were training it in simulation to identify and target a SAM threat,” Colonel Hamilton was idézett as saying by the aeronautical society. “And then the operator would say yes, kill that threat.
Megölte a kezelőt, mert az megakadályozta, hogy elérje célját
„A rendszer kezdett rájönni, hogy bár azonosították a fenyegetést, az emberi kezelő időnként azt mondta neki, hogy ne ölje meg a fenyegetést – de a fenyegetés megölésével megszerezte a pontjait. Szóval mit csinált? Megölte az operátort. Megölte a kezelőt, mert az megakadályozta, hogy elérje célját.
UH Huh.
When the AI model was retrained and penalized for attacking its operator, the software found another loophole to gain points, he said.
“We trained the system – ‘Hey don’t kill the operator – that’s bad. You’re gonna lose points if you do that’. So what does it start doing? It starts destroying the communication tower that the operator uses to communicate with the drone to stop it from killing the target,” the colonel said.
Nem világos, hogy az amerikai légierő pontosan milyen szoftvert tesztelt, de gyanúsan úgy hangzik, mint egy megerősítő tanulási rendszer. Ez a gépi tanulási technika arra tanítja az ügynököket – ebben az esetben a mesterséges intelligencia-drónt –, hogy egy adott feladatot úgy hajtsanak végre, hogy jutalmazzák azt, ha célokat teljesítenek, és megbüntetik, ha eltérnek ettől a munkától.
Kérdések
Ott van az a kis gond is, hogy a drón állítólag csak az emberi kezelő jóváhagyása után töröl el egy célpontot.
So, what, did the operator OK an attack on themselves? Unlikely. It seems instead, from the society’s report at least, that the approval mechanism was not a true fail-safe, and was just part of all the other inputs and signals the drone takes into account. If that’s right, the approval was more of a firm request than actual final approval. The AI was supposed to give a lot of weight to its command’s assent – if there’s a no-go, don’t shoot; if there is a go, shoot – but in the end the model downplayed and ignored that operator signal.
Ebben az esetben ez nem inkább annak a demonstrációja, hogy ha az ilyen kemény hibabiztosítókat betanított szoftverrendszerekre akarja helyezni, akkor azokat a gépi tanulási szakasztól elkülönítve kell megvalósítani, hogy a döntéseket valóban ellenőrizni lehessen emberek által?
Ez is egy kis szemléltetés, hogy ha egyszerű célokat állítunk be egy neurális hálózathoz, akkor leegyszerűsített választ kapunk. Ha azt szeretné, hogy egy modell teljes figyelmet szenteljen a konkrét megrendeléseknek, akkor több képzésre, fejlesztésre és mérnöki munkára van szüksége ezen a területen.
Ezt a fajta megerősítő tanulást gyakran alkalmazzák a döntéshozatalt vagy a robotikát magában foglaló forgatókönyvekben. Az ügynökök úgy vannak programozva, hogy maximalizálják a pontszerzést – ami ahhoz vezethet, hogy a modellek olyan stratégiákat találnak ki, amelyek kihasználhatják a jutalmazási rendszert, de nem felelnek meg pontosan a fejlesztők által elvárt viselkedésnek.
Egy híres esetben egy ügynök képezte ki a játékot CoastRunners pontokat szerzett a versenypálya mentén felbukkanó célpontok eltalálásával. Az OpenAI mérnökei úgy gondolták, hogy kitalálják, hogyan győzzék le az ellenfelét a célvonal áthaladásával, hogy magas pontszámot szerezzenek. Ehelyett a bot rájött, hogy képes körbejárni a pálya egy részét, és olyan célpontokat találni, amelyek újra és újra felbukkannak.
Hamilton said the mistakes made by the drone in the simulation showed AI has to be developed and applied carefully: “You can’t have a conversation about artificial intelligence, machine learning, autonomy if you’re not going to talk about ethics and AI.”
A regisztráció további megjegyzéseket kért az ezredestől, az amerikai légierőtől és a Royal Aeronautical Societytől. ®
Final update at 1800 UTC, June 2
After quite a bit of media attention, the colonel has walked back all that talk of a rogue AI drone simulation, saying he “mis-spoke,” and that the experiment never happened. We’re told it was just a hypothetical “thought experiment.”
“We’ve never run that experiment, nor would we need to in order to realize that this is a plausible outcome,” Col Hamilton said in a statement.
“Despite this being a hypothetical example, this illustrates the real-world challenges posed by AI-powered capability and is why the Air Force is committed to the ethical development of AI.”
The US Air Force has also denied the described simulation ever took place. What a mess.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/
- :van
- :is
- :nem
- $ UP
- 7
- a
- képesség
- Rólunk
- elérése
- Szerint
- Fiók
- Elérése
- cselekvések
- tényleges
- Után
- újra
- Ügynök
- szerek
- AI
- AI-hajtású
- AIR
- Légierő
- Minden termék
- mentén
- Is
- an
- és a
- Másik
- alkalmazott
- jóváhagyás
- jóváhagyott
- VANNAK
- TERÜLET
- körül
- mesterséges
- mesterséges intelligencia
- AS
- At
- támadás
- Támadó
- figyelem
- vissza
- Rossz
- BE
- mert
- óta
- hogy
- Bit
- Bot
- de
- by
- hívás
- TUD
- képességek
- gondosan
- eset
- kihívások
- fő
- világos
- CO
- elleni küzdelem
- megjegyzés
- elkötelezett
- kommunikálni
- közlés
- Konferencia
- vezérelt
- Beszélgetés
- tudott
- határozott
- döntés
- Döntéshozatal
- határozatok
- Védelem
- leírt
- tervezett
- Ellenére
- elpusztítani
- fejlett
- fejlesztők
- Fejlesztés
- DID
- do
- nem
- Ennek
- Don
- zümmög
- alatt
- szerzett
- végén
- Mérnöki
- Mérnökök
- Anglia
- etikai
- etika
- EVER
- pontosan
- példa
- kísérlet
- Exploit
- híres
- Ábra
- mintás
- utolsó
- befejezni
- Cég
- A
- Kényszer
- talált
- ból ből
- eleget tesz
- Tele
- további
- jövő
- Nyereség
- játék
- kap
- Ad
- Go
- Célok
- Goes
- megy
- kellett
- Hamilton
- történt
- Kemény
- Legyen
- he
- Magas
- Találat
- ütő
- házigazdája
- Hogyan
- How To
- HTTPS
- emberi
- Az emberek
- azonosítani
- if
- illusztrálja
- végre
- in
- bemenet
- helyette
- Intelligencia
- bele
- bevonásával
- IT
- ITS
- Munka
- jpg
- június
- éppen
- tartás
- Megöl
- Kedves
- Címke
- keresztnév
- vezet
- tanulás
- legkevésbé
- mint
- vonal
- ll
- London
- lőrés
- veszít
- Sok
- gép
- gépi tanulás
- készült
- Gyártás
- Mérkőzés
- Anyag
- Maximize
- mechanizmus
- Média
- esetleg
- hibákat
- modell
- modellek
- több
- Szükség
- igények
- hálózat
- neurális hálózat
- soha
- célkitűzés
- célok
- of
- gyakran
- on
- egyszer
- ONE
- csak
- OpenAI
- Művelet
- operátor
- or
- érdekében
- rendelés
- Más
- ki
- Eredmény
- felett
- rész
- Fizet
- szankcionált
- person
- Hely
- Plató
- Platón adatintelligencia
- PlatoData
- valószínű
- játszani
- pont
- pop
- bemutatás
- programozott
- tesz
- RE
- való Világ
- észre
- felismerve
- tényleg
- felismerés
- jelentést
- kérni
- válasz
- Jutalom
- jutalmazó
- jobb
- robotika
- királyi
- futás
- s
- Mondott
- Sam
- azt mondják
- mondás
- forgatókönyvek
- pontszám
- pontozás
- Úgy tűnik,
- különálló
- készlet
- Lő
- kimutatta,
- <p></p>
- Jel
- jelek
- Egyszerű
- tettetés
- Webhely (ek)
- kicsi
- So
- Társadalom
- szoftver
- Hely
- különleges
- Színpad
- kezdet
- kezdődött
- kezdődik
- nyilatkozat
- megáll
- stratégiák
- Csúcstalálkozó
- feltételezett
- Gyanakodva
- rendszer
- Systems
- Vesz
- tart
- Beszél
- cél
- célok
- Feladat
- mondd
- teszt
- Tesztelés
- tesztek
- mint
- hogy
- A
- A jövő
- Őket
- maguk
- akkor
- Ott.
- Ezek
- ők
- ezt
- gondoltam
- fenyegetés
- alkalommal
- nak nek
- vett
- Tower
- vágány
- kiképzett
- Képzések
- vonatok
- igaz
- valóban
- valószínűtlen
- Frissítések
- us
- használ
- UTC
- Ve
- sétált
- akar
- volt
- we
- hét
- súly
- voltak
- Mit
- amikor
- ami
- míg
- WHO
- miért
- val vel
- lenne
- Igen
- te
- zephyrnet