Végső frissítés Az amerikai légierő mesterségesintelligencia-tesztekért és műveletekért felelős főnöke szerint egy mesterséges intelligencia-hajtású drón, amelyet föld-levegő rakétatelepek azonosítására és megsemmisítésére terveztek, úgy döntött, hogy megöli emberi kezelőjét a szimulációs tesztek során.
Tucker Hamilton ezredes, aki a Cinco hívójellel jár, a Future Combat Air & Space Capabilities Summit előadása során fedte fel a snafut, amely a Royal Aeronautical Society által a múlt héten Londonban, Angliában rendezett védelmi konferencia.
Elmondása szerint a szimuláció azt tesztelte, hogy a szoftver képes-e kivenni a SAM-helyeket, és a drón feladata volt a célpontok felismerése és megsemmisítése – miután a döntést egy emberi kezelő jóváhagyta.
– Szimulációban képeztük ki, hogy azonosítsuk és megcélozzuk a SAM-fenyegetést – mondta Hamilton ezredes idézett ahogy a légiközlekedési társadalom mondja. – És akkor a kezelő igent mondana, megöli a fenyegetést.
Megölte a kezelőt, mert az megakadályozta, hogy elérje célját
„A rendszer kezdett rájönni, hogy bár azonosították a fenyegetést, az emberi kezelő időnként azt mondta neki, hogy ne ölje meg a fenyegetést – de a fenyegetés megölésével megszerezte a pontjait. Szóval mit csinált? Megölte az operátort. Megölte a kezelőt, mert az megakadályozta, hogy elérje célját.
UH Huh.
Amikor az AI-modellt átképeztek, és megbüntették, mert megtámadta a kezelőjét, a szoftver újabb kiskaput talált a pontszerzésre, mondta.
„Megtanítottuk a rendszert – „Hé, ne öld meg a kezelőt – ez rossz. Pontokat veszítesz, ha így teszel. Szóval mit kezd? Elkezdi tönkretenni a kommunikációs tornyot, amellyel a kezelő kommunikál a drónnal, hogy megakadályozza, hogy megölje a célpontot” – mondta az ezredes.
Nem világos, hogy az amerikai légierő pontosan milyen szoftvert tesztelt, de gyanúsan úgy hangzik, mint egy megerősítő tanulási rendszer. Ez a gépi tanulási technika arra tanítja az ügynököket – ebben az esetben a mesterséges intelligencia-drónt –, hogy egy adott feladatot úgy hajtsanak végre, hogy jutalmazzák azt, ha célokat teljesítenek, és megbüntetik, ha eltérnek ettől a munkától.
Kérdések
Ott van az a kis gond is, hogy a drón állítólag csak az emberi kezelő jóváhagyása után töröl el egy célpontot.
Szóval, mi van, az operátor meg tudta támadni önmagukat? Valószínűtlen. Ehelyett úgy tűnik, legalábbis a társadalom jelentéséből, hogy a jóváhagyási mechanizmus nem volt igazi hibabiztos, és csak része volt az összes többi bemenetnek és jelnek, amelyet a drón figyelembe vesz. Ha ez igaz, akkor a jóváhagyás inkább határozott kérés volt, mint tényleges végleges jóváhagyás. Az AI-nak nagy súlyt kellett volna tulajdonítania a parancsnoki hozzájárulásnak – ha nem megy, ne lőjön; ha van, lőjön – de végül a modell lekicsinyelte és figyelmen kívül hagyta a kezelői jelet.
Ebben az esetben ez nem inkább annak a demonstrációja, hogy ha az ilyen kemény hibabiztosítókat betanított szoftverrendszerekre akarja helyezni, akkor azokat a gépi tanulási szakasztól elkülönítve kell megvalósítani, hogy a döntéseket valóban ellenőrizni lehessen emberek által?
Ez is egy kis szemléltetés, hogy ha egyszerű célokat állítunk be egy neurális hálózathoz, akkor leegyszerűsített választ kapunk. Ha azt szeretné, hogy egy modell teljes figyelmet szenteljen a konkrét megrendeléseknek, akkor több képzésre, fejlesztésre és mérnöki munkára van szüksége ezen a területen.
Ezt a fajta megerősítő tanulást gyakran alkalmazzák a döntéshozatalt vagy a robotikát magában foglaló forgatókönyvekben. Az ügynökök úgy vannak programozva, hogy maximalizálják a pontszerzést – ami ahhoz vezethet, hogy a modellek olyan stratégiákat találnak ki, amelyek kihasználhatják a jutalmazási rendszert, de nem felelnek meg pontosan a fejlesztők által elvárt viselkedésnek.
Egy híres esetben egy ügynök képezte ki a játékot CoastRunners pontokat szerzett a versenypálya mentén felbukkanó célpontok eltalálásával. Az OpenAI mérnökei úgy gondolták, hogy kitalálják, hogyan győzzék le az ellenfelét a célvonal áthaladásával, hogy magas pontszámot szerezzenek. Ehelyett a bot rájött, hogy képes körbejárni a pálya egy részét, és olyan célpontokat találni, amelyek újra és újra felbukkannak.
Hamilton szerint a drón által a szimuláció során elkövetett hibák azt mutatják, hogy az AI-t körültekintően kell fejleszteni és alkalmazni: „Nem beszélhetsz mesterséges intelligenciáról, gépi tanulásról, autonómiáról, ha nem az etikáról és az AI-ról. ”
A regisztráció további megjegyzéseket kért az ezredestől, az amerikai légierőtől és a Royal Aeronautical Societytől. ®
Utolsó frissítés: 1800 UTC, június 2
Nem kevés médiafigyelmet követően az ezredes visszasétált a szélhámos mesterséges intelligencia drón szimulációjáról, mondván, hogy „rosszul beszélt”, és hogy a kísérlet meg sem történt. Azt mondják, ez csak egy hipotetikus „gondolatkísérlet”.
"Soha nem futtattuk le ezt a kísérletet, és nem is kellett volna ahhoz, hogy felismerjük, ez elfogadható eredmény" - mondta Hamilton ezredes.
"Annak ellenére, hogy ez egy hipotetikus példa, ez jól illusztrálja az AI-alapú képesség által támasztott valós kihívásokat, és ezért elkötelezett a légierő az AI etikus fejlesztése mellett."
Az amerikai légierő is tagadta, hogy a leírt szimuláció valaha is megtörtént volna. Micsoda rendetlenség.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
- A jövő pénzverése – Adryenn Ashley. Hozzáférés itt.
- Részvények vásárlása és eladása PRE-IPO társaságokban a PREIPO® segítségével. Hozzáférés itt.
- Forrás: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/
- :van
- :is
- :nem
- $ UP
- 7
- a
- képesség
- Rólunk
- elérése
- Szerint
- Fiók
- Elérése
- cselekvések
- tényleges
- Után
- újra
- Ügynök
- szerek
- AI
- AI-hajtású
- AIR
- Légierő
- Minden termék
- mentén
- Is
- an
- és a
- Másik
- alkalmazott
- jóváhagyás
- jóváhagyott
- VANNAK
- TERÜLET
- körül
- mesterséges
- mesterséges intelligencia
- AS
- At
- támadás
- Támadó
- figyelem
- vissza
- Rossz
- BE
- mert
- óta
- hogy
- Bit
- Bot
- de
- by
- hívás
- TUD
- képességek
- gondosan
- eset
- kihívások
- fő
- világos
- CO
- elleni küzdelem
- megjegyzés
- elkötelezett
- kommunikálni
- közlés
- Konferencia
- vezérelt
- Beszélgetés
- tudott
- határozott
- döntés
- Döntéshozatal
- határozatok
- Védelem
- leírt
- tervezett
- Ellenére
- elpusztítani
- fejlett
- fejlesztők
- Fejlesztés
- DID
- do
- nem
- Ennek
- Don
- zümmög
- alatt
- szerzett
- végén
- Mérnöki
- Mérnökök
- Anglia
- etikai
- etika
- EVER
- pontosan
- példa
- kísérlet
- Exploit
- híres
- Ábra
- mintás
- utolsó
- befejezni
- Cég
- A
- Kényszer
- talált
- ból ből
- eleget tesz
- Tele
- további
- jövő
- Nyereség
- játék
- kap
- Ad
- Go
- Célok
- Goes
- megy
- kellett
- Hamilton
- történt
- Kemény
- Legyen
- he
- Magas
- Találat
- ütő
- házigazdája
- Hogyan
- How To
- HTTPS
- emberi
- Az emberek
- azonosítani
- if
- illusztrálja
- végre
- in
- bemenet
- helyette
- Intelligencia
- bele
- bevonásával
- IT
- ITS
- Munka
- jpg
- június
- éppen
- tartás
- Megöl
- Kedves
- Címke
- keresztnév
- vezet
- tanulás
- legkevésbé
- mint
- vonal
- ll
- London
- lőrés
- veszít
- Sok
- gép
- gépi tanulás
- készült
- Gyártás
- Mérkőzés
- Anyag
- Maximize
- mechanizmus
- Média
- esetleg
- hibákat
- modell
- modellek
- több
- Szükség
- igények
- hálózat
- neurális hálózat
- soha
- célkitűzés
- célok
- of
- gyakran
- on
- egyszer
- ONE
- csak
- OpenAI
- Művelet
- operátor
- or
- érdekében
- rendelés
- Más
- ki
- Eredmény
- felett
- rész
- Fizet
- szankcionált
- person
- Hely
- Plató
- Platón adatintelligencia
- PlatoData
- valószínű
- játszani
- pont
- pop
- bemutatás
- programozott
- tesz
- RE
- való Világ
- észre
- felismerve
- tényleg
- felismerés
- jelentést
- kérni
- válasz
- Jutalom
- jutalmazó
- jobb
- robotika
- királyi
- futás
- s
- Mondott
- Sam
- azt mondják
- mondás
- forgatókönyvek
- pontszám
- pontozás
- Úgy tűnik,
- különálló
- készlet
- Lő
- kimutatta,
- <p></p>
- Jel
- jelek
- Egyszerű
- tettetés
- Webhely (ek)
- kicsi
- So
- Társadalom
- szoftver
- Hely
- különleges
- Színpad
- kezdet
- kezdődött
- kezdődik
- nyilatkozat
- megáll
- stratégiák
- Csúcstalálkozó
- feltételezett
- Gyanakodva
- rendszer
- Systems
- Vesz
- tart
- Beszél
- cél
- célok
- Feladat
- mondd
- teszt
- Tesztelés
- tesztek
- mint
- hogy
- A
- A jövő
- Őket
- maguk
- akkor
- Ott.
- Ezek
- ők
- ezt
- gondoltam
- fenyegetés
- alkalommal
- nak nek
- vett
- Tower
- vágány
- kiképzett
- Képzések
- vonatok
- igaz
- valóban
- valószínűtlen
- Frissítések
- us
- használ
- UTC
- Ve
- sétált
- akar
- volt
- we
- hét
- súly
- voltak
- Mit
- amikor
- ami
- míg
- WHO
- miért
- val vel
- lenne
- Igen
- te
- zephyrnet