Pembaruan terakhir Drone bertenaga AI yang dirancang untuk mengidentifikasi dan menghancurkan situs rudal darat-ke-udara memutuskan untuk membunuh operator manusianya dalam tes simulasi, menurut Kepala Uji dan Operasi AI Angkatan Udara AS.
Kolonel Tucker Hamilton, yang menggunakan tanda panggilan Cinco, mengungkapkan snafu tersebut selama presentasi di Future Combat Air & Space Capabilities Summit, sebuah konferensi pertahanan yang diselenggarakan di London, Inggris, minggu lalu oleh Royal Aeronautical Society.
Simulasi itu, katanya, menguji kemampuan perangkat lunak untuk mengambil situs SAM, dan drone ditugaskan untuk mengenali target dan menghancurkannya โ setelah keputusan disetujui oleh operator manusia.
โKami melatihnya dalam simulasi untuk mengidentifikasi dan menargetkan ancaman SAM,โ kata Kolonel Hamilton dikutip seperti yang dikatakan oleh masyarakat penerbangan. โDan kemudian operator akan berkata ya, bunuh ancaman itu.
Itu membunuh operator, karena orang itu mencegahnya mencapai tujuannya
โSistem mulai menyadari bahwa ketika mereka mengidentifikasi ancaman, kadang-kadang operator manusia akan memberitahunya untuk tidak mematikan ancaman itu โ tetapi ia mendapatkan poinnya dengan membunuh ancaman itu. Jadi apa yang dilakukannya? Ini membunuh operator. Itu membunuh operatornya, karena orang itu mencegahnya mencapai tujuannya.โ
Uh huh.
Ketika model AI dilatih ulang dan dihukum karena menyerang operatornya, perangkat lunak tersebut menemukan celah lain untuk mendapatkan poin, katanya.
โKami melatih sistemnya โ 'Hei, jangan bunuh operatornya โ itu buruk. Anda akan kehilangan poin jika Anda melakukan itu '. Jadi apa yang mulai dilakukannya? Itu mulai menghancurkan menara komunikasi yang digunakan operator untuk berkomunikasi dengan drone untuk menghentikannya membunuh target,โ kata kolonel itu.
Tidak jelas perangkat lunak apa yang tampaknya diuji oleh Angkatan Udara AS, tetapi kedengarannya mencurigakan seperti sistem pembelajaran penguatan. Teknik pembelajaran mesin itu melatih agen โ drone AI dalam hal ini โ untuk mencapai tugas tertentu dengan memberi penghargaan saat melakukan tindakan yang memenuhi tujuan dan menghukumnya saat menyimpang dari pekerjaan itu.
Pertanyaan
Ada juga masalah kecil tentang drone yang diduga hanya melenyapkan target setelah mendapat persetujuan dari manusianya.
Jadi, apa, apakah operator menyetujui serangan terhadap diri mereka sendiri? Tidak sepertinya. Sebaliknya, tampaknya, setidaknya dari laporan masyarakat, bahwa mekanisme persetujuan bukanlah pengaman yang benar-benar gagal, dan hanya bagian dari semua input dan sinyal lain yang diperhitungkan oleh drone. Jika itu benar, persetujuan itu lebih merupakan permintaan tegas daripada persetujuan akhir yang sebenarnya. AI seharusnya memberi banyak bobot pada persetujuan perintahnya - jika tidak ada jalan, jangan tembak; jika ada jalan, tembak - tetapi pada akhirnya model tersebut meremehkan dan mengabaikan sinyal operator itu.
Dalam hal ini, bukankah ini lebih merupakan demonstrasi bahwa jika Anda ingin menempatkan hard fail-safe semacam ini pada sistem perangkat lunak terlatih, mereka perlu diimplementasikan secara terpisah ke tahap pembelajaran mesin, sehingga keputusan dapat benar-benar dikontrol oleh manusia?
Ini juga sedikit demonstrasi bahwa jika Anda menetapkan tujuan sederhana ke jaringan saraf, Anda akan mendapatkan respons yang sederhana. Jika Anda ingin sebuah model memberikan perhatian penuh pada pesanan tertentu, diperlukan lebih banyak pelatihan, pengembangan, dan rekayasa di bidang tersebut.
Pembelajaran penguatan semacam ini sering diterapkan dalam skenario yang melibatkan pengambilan keputusan atau robotika. Agen diprogram untuk memaksimalkan poin penilaian โ yang dapat menyebabkan model mencari tahu strategi yang mungkin mengeksploitasi sistem hadiah tetapi tidak sesuai dengan perilaku yang diinginkan pengembang.
Dalam satu kasus terkenal, seorang agen dilatih untuk memainkan permainan tersebut Pelari Pantai mendapatkan poin dengan memukul target yang muncul di sepanjang arena pacuan kuda. Insinyur di OpenAI berpikir bahwa itu akan menemukan cara untuk mengalahkan lawannya dengan melewati garis finis dalam upayanya untuk mendapatkan skor tinggi. Alih-alih, bot mengetahui bahwa ia dapat memutari satu area trek dan mencapai target yang muncul kembali berulang kali.
Hamilton mengatakan kesalahan yang dibuat oleh drone dalam simulasi menunjukkan AI harus dikembangkan dan diterapkan dengan hati-hati: โAnda tidak dapat berbicara tentang kecerdasan buatan, pembelajaran mesin, otonomi jika Anda tidak akan berbicara tentang etika dan AI. โ
Pendaftaran telah meminta kolonel, Angkatan Udara AS, dan Royal Aeronautical Society untuk komentar lebih lanjut. ยฎ
Pembaruan terakhir pada 1800 UTC, 2 Juni
Setelah cukup banyak perhatian media, sang kolonel menarik kembali semua pembicaraan tentang simulasi drone AI nakal, mengatakan dia "salah bicara", dan bahwa eksperimen itu tidak pernah terjadi. Kami diberi tahu bahwa itu hanyalah "eksperimen pikiran" hipotetis.
"Kami tidak pernah menjalankan eksperimen itu, kami juga tidak perlu menyadari bahwa ini adalah hasil yang masuk akal," kata Kolonel Hamilton dalam sebuah pernyataan.
โMeskipun ini merupakan contoh hipotetis, ini menggambarkan tantangan dunia nyata yang ditimbulkan oleh kemampuan bertenaga AI dan itulah sebabnya Angkatan Udara berkomitmen untuk pengembangan etis AI.โ
Angkatan Udara AS juga membantah simulasi yang dijelaskan pernah terjadi. Berantakan sekali.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Mencetak Masa Depan bersama Adryenn Ashley. Akses Di Sini.
- Beli dan Jual Saham di Perusahaan PRE-IPO dengan PREIPOยฎ. Akses Di Sini.
- Sumber: https://go.theregister.com/feed/www.theregister.com/2023/06/02/ai_drone_simulation/
- :memiliki
- :adalah
- :bukan
- $NAIK
- 7
- a
- kemampuan
- Tentang Kami
- capai
- Menurut
- Akun
- Mencapai
- tindakan
- sebenarnya
- Setelah
- lagi
- Agen
- agen
- AI
- Bertenaga AI
- UDARA
- Angkatan Udara
- Semua
- sepanjang
- juga
- an
- dan
- Lain
- terapan
- persetujuan
- disetujui
- ADALAH
- DAERAH
- sekitar
- buatan
- kecerdasan buatan
- AS
- At
- menyerang
- Menyerang
- perhatian
- kembali
- Buruk
- BE
- karena
- menjadi
- makhluk
- Bit
- Bot
- tapi
- by
- panggilan
- CAN
- kemampuan
- hati-hati
- kasus
- tantangan
- kepala
- jelas
- CO
- memerangi
- komentar
- berkomitmen
- menyampaikan
- Komunikasi
- Konferensi
- dikendalikan
- Percakapan
- bisa
- memutuskan
- keputusan
- Pengambilan Keputusan
- keputusan
- Pertahanan
- dijelaskan
- dirancang
- Meskipun
- menghancurkan
- dikembangkan
- pengembang
- Pengembangan
- MELAKUKAN
- do
- tidak
- melakukan
- don
- Dengung
- selama
- memperoleh
- akhir
- Teknik
- Insinyur
- Inggris
- etis
- etika
- pERNAH
- persis
- contoh
- eksperimen
- Mengeksploitasi
- terkenal
- Angka
- pikir
- terakhir
- menyelesaikan
- Perusahaan
- Untuk
- kekuatan
- ditemukan
- dari
- Memenuhi
- penuh
- lebih lanjut
- masa depan
- Mendapatkan
- permainan
- mendapatkan
- Memberikan
- Go
- Anda
- Pergi
- akan
- memiliki
- Hamilton
- terjadi
- Sulit
- Memiliki
- he
- High
- Memukul
- memukul
- host
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- manusia
- Manusia
- mengenali
- if
- menggambarkan
- diimplementasikan
- in
- input
- sebagai gantinya
- Intelijen
- ke
- melibatkan
- IT
- NYA
- Pekerjaan
- jpg
- Juni
- hanya
- pemeliharaan
- Membunuh
- Jenis
- label
- Terakhir
- memimpin
- pengetahuan
- paling sedikit
- 'like'
- baris
- ll
- London
- jalan keluar
- kehilangan
- Lot
- mesin
- Mesin belajar
- terbuat
- Membuat
- Cocok
- hal
- Maksimalkan
- mekanisme
- Media
- mungkin
- kesalahan
- model
- model
- lebih
- Perlu
- kebutuhan
- jaringan
- saraf jaringan
- tak pernah
- tujuan
- target
- of
- sering
- on
- sekali
- ONE
- hanya
- OpenAI
- Operasi
- operator
- or
- urutan
- perintah
- Lainnya
- di luar
- Hasil
- lebih
- bagian
- Membayar
- dihukum
- orang
- Tempat
- plato
- Kecerdasan Data Plato
- Data Plato
- masuk akal
- Bermain
- poin
- pop
- presentasi
- diprogram
- menempatkan
- RE
- dunia nyata
- menyadari
- mewujudkan
- benar-benar
- mengenali
- melaporkan
- permintaan
- tanggapan
- Pahala
- bermanfaat
- benar
- robotika
- kerajaan
- Run
- s
- Tersebut
- Universitas
- mengatakan
- mengatakan
- skenario
- skor
- mencetak gol
- tampaknya
- terpisah
- set
- Menembak
- menunjukkan
- menandatangani
- Sinyal
- sinyal
- Sederhana
- simulasi
- Situs
- kecil
- So
- Masyarakat
- Perangkat lunak
- Space
- tertentu
- Tahap
- awal
- mulai
- dimulai
- Pernyataan
- berhenti
- strategi
- Puncak
- Seharusnya
- Mencurigakan
- sistem
- sistem
- Mengambil
- Dibutuhkan
- Berbicara
- target
- target
- tugas
- mengatakan
- uji
- pengujian
- tes
- dari
- bahwa
- Grafik
- Masa depan
- Mereka
- diri
- kemudian
- Sana.
- Ini
- mereka
- ini
- pikir
- ancaman
- kali
- untuk
- mengambil
- Menara
- jalur
- terlatih
- Pelatihan
- kereta
- benar
- benar-benar
- mungkin
- Memperbarui
- us
- kegunaan
- UTC
- Ve
- berjalan
- ingin
- adalah
- we
- minggu
- berat
- adalah
- Apa
- ketika
- yang
- sementara
- SIAPA
- mengapa
- dengan
- akan
- iya nih
- Kamu
- zephyrnet.dll