Skynet Ahoy? Mire számíthat a következő generációs mesterséges intelligencia biztonsági kockázatai miatt

Skynet Ahoy? Mire számíthat a következő generációs mesterséges intelligencia biztonsági kockázatai miatt

Időbélyeg: 28. december 2023. 9:00
Skynet Ahoy? What to Expect for Next-Gen AI Security Risks PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Mivel a mesterséges intelligencia (AI) innovációja rohamosan folytatódik, 2024 kulcsfontosságú időszak lesz a szervezetek és irányító testületek számára, hogy biztonsági szabványokat, protokollokat és egyéb korlátokat hozzanak létre, amelyek megakadályozzák, hogy az AI megelőzze őket – figyelmeztetnek biztonsági szakértők.

A kifinomult algoritmusokkal és hatalmas adathalmazokkal működő nagy nyelvi modellek (LLM-ek) figyelemre méltó nyelvértést és emberi társalgási képességeket mutatnak be. Az egyik legkifinomultabb platform a mai napig az OpenAI GPT-4, amely fejlett érvelési és problémamegoldó képességekkel büszkélkedhet, és támogatja a vállalat ChatGPT botját. A vállalat pedig a Microsofttal együttműködve megkezdte a GPT-5-ön való munkát, amit Sam Altman vezérigazgató mondta sokkal tovább fog menni - a „szuperintelligencia” birtoklásáig.

Ezek a modellek óriási lehetőséget jelentenek a szervezetek termelékenységének és hatékonyságának jelentős növelésére, de a szakértők egyetértenek abban, hogy eljött az idő az iparág egésze számára. a benne rejlő biztonsági kockázatok kezelésére fejlesztésük és telepítésük okozza. Valóban, A Writerbuddy AI legújabb kutatása, amely mesterséges intelligencia-alapú tartalomíró eszközt kínál, megállapította, hogy a ChatGPT-nek már 14 milliárd látogatottja volt, és ez a szám folyamatosan növekszik.

Ahogy a szervezetek a mesterséges intelligencia fejlődése felé haladnak, ezt „szigorú etikai megfontolásokkal és kockázatértékelésekkel kell párosítani” – mondja Gal Ringel, az AI-alapú adatvédelmi és biztonsági cég, a MineOS vezérigazgatója.

Az AI egzisztenciális fenyegetés?

A mesterséges intelligencia következő generációjának biztonságával kapcsolatos aggodalmak márciusban kezdtek elterjedni, amikor közel 34,000 XNUMX vezető technológus írt alá egy nyílt levelet, amelyben a generatív mesterséges intelligencia rendszerek fejlesztésének leállítására szólítottak fel. OpenAI GPT-4. A levél említést tesz a társadalomra nézve „mélyreható kockázatokról”, amelyeket a technológia jelent, és „az AI-laboratóriumok által kiváltott kontroll nélküli versenyfutást az egyre erősebb digitális elmék fejlesztése és telepítése érdekében, amelyeket senki – még az alkotóik sem – nem tud megérteni, megjósolni vagy megjósolni. megbízhatóan irányítani.”

A disztópikus félelmek ellenére a legtöbb biztonsági szakértőt nem aggasztja olyan világvége forgatókönyve, amelyben a gépek okosabbak lesznek, mint az emberek, és átveszik az uralmat a világ felett.

„A nyílt levél megalapozott aggodalmakra hívta fel a figyelmet a mesterséges intelligencia gyors fejlődésével és lehetséges alkalmazásaival kapcsolatban, tág értelemben, hogy „jó ez az emberiségnek” – mondja Matt Wilson, a Netrix kiberbiztonsági cég értékesítési mérnöki igazgatója. „Bár bizonyos forgatókönyvekben lenyűgözőek, az AI-eszközök nyilvános verziói nem tűnnek annyira fenyegetőnek.”

Aggasztó az a tény, hogy a mesterséges intelligencia fejlődése és alkalmazása túl gyorsan halad ahhoz, hogy a kockázatokat megfelelően kezelni lehessen – jegyzik meg a kutatók. „Nem helyezhetjük vissza a fedelet Pandora szelencéjére” – jegyezte meg Patrick Harr, a SlashNext mesterséges intelligencia-biztonsági szolgáltató vezérigazgatója.

Sőt, pusztán „az innováció ütemének megállítására tett kísérlet az űrben nem segít csökkenteni” az ezzel járó kockázatokat, amelyeket külön kell kezelni – jegyezte meg Marcus Fowler, a DarkTrace Federal mesterséges intelligencia biztonsági cég vezérigazgatója. Ez nem jelenti azt, hogy az AI fejlesztését ellenőrizetlenül kell folytatni, mondja. Éppen ellenkezőleg, a kockázatértékelés arányának és a megfelelő biztosítékok végrehajtásának meg kell egyeznie az LLM-ek képzésének és fejlesztésének ütemével.

„A mesterséges intelligencia technológia gyorsan fejlődik, ezért a kormányoknak és az AI-t használó szervezeteknek is fel kell gyorsítaniuk a mesterséges intelligencia biztonságáról szóló vitákat” – magyarázza Fowler.

Generatív AI kockázatok

A generatív mesterséges intelligencia számos, széles körben elismert kockázatot rejt magában, amelyek mérlegelést igényelnek, és csak rosszabbodni fognak, ahogy a technológia következő generációi egyre okosabbak lesznek. Az emberek szerencséjére egyikük sem jelent sci-fi világvége-forgatókönyvet, amelyben a mesterséges intelligencia összeesküdne alkotói elpusztítására.

Ehelyett sokkal ismertebb fenyegetéseket tartalmaznak, például adatszivárgást, ami potenciálisan üzleti szempontból érzékeny információ; rosszindulatú tevékenységhez való visszaélés; és pontatlan kimenetek, amelyek félrevezethetik vagy megzavarhatják a felhasználókat, ami végső soron negatív üzleti következményekkel jár.

Mivel az LLM-eknek hatalmas mennyiségű adathoz van szükségük ahhoz, hogy pontos és kontextuálisan releváns kimeneteket biztosítsanak, az érzékeny információk véletlenül feltárulhatnak, vagy visszaélhetnek velük.

„A fő kockázatot az alkalmazottak táplálják üzleti szempontból érzékeny információkkal amikor arra kérik, hogy írjon egy tervet, vagy fogalmazza meg újra a cég tulajdonát képező információkat tartalmazó e-maileket vagy üzleti csomagokat” – jegyzi meg Ringel.

A kibertámadások szempontjából a fenyegetés szereplői már számtalan módot találtak a ChatGPT és más mesterséges intelligencia rendszerek fegyverezésére. Az egyik lehetőség az volt, hogy a modelleket kifinomult üzleti e-mail-kompromisszum (BEC) és egyéb adathalász támadások létrehozására használták, amelyekhez társadalmilag megtervezett, személyre szabott üzenetek létrehozása szükséges a sikerhez.

„A rosszindulatú programokkal a ChatGPT lehetővé teszi a kiberbűnözők számára, hogy végtelen számú kódváltozatot készítsenek, hogy egy lépéssel a rosszindulatú programokat észlelő motorok előtt járjanak” – mondja Harr.

A mesterséges intelligencia hallucinációi emellett jelentős biztonsági fenyegetést is jelentenek, és lehetővé teszik a rosszindulatú szereplők számára, hogy egyedi módon élesítsék fel az LLM-alapú technológiát, például a ChatGPT-t. A mesterséges intelligencia hallucinációja a mesterséges intelligencia elfogadható reakciója, amely elégtelen, elfogult vagy teljesen nem igaz. „A kitalált vagy más nem kívánt válaszok hibás döntéshozatalra, folyamatokra és félrevezető kommunikációra terelhetik a szervezeteket” – figyelmeztet Avivah Litan, a Gartner alelnöke.

A fenyegetés szereplői ezeket a hallucinációkat arra is használhatják, hogy megmérgezzék az LLM-eket, és „specifikus téves információkat generáljanak egy kérdésre válaszolva” – jegyezte meg Michael Rinehart, a Securiti adatbiztonsági szolgáltató mesterséges intelligencia részlegének alelnöke. "Ez kiterjeszthető a sebezhető forráskód generálására, és esetleg olyan chat-modellekre, amelyek képesek a webhely felhasználóit nem biztonságos műveletekre irányítani."

A támadók akár odáig is eljuthatnak szoftvercsomagok rosszindulatú verzióinak közzététele amit egy LLM ajánlhat egy szoftverfejlesztőnek, mert úgy gondolja, hogy ez a probléma jogos megoldása. Ily módon a támadók tovább fegyverezhetik a mesterséges intelligenciát az ellátási lánc támadásaihoz.

Az út előre

A szakértők megjegyzik, hogy ezeknek a kockázatoknak a kezelése megfontolt és kollektív fellépést igényel, mielőtt az AI-innováció túlszárnyalná az iparág ellenőrzési képességét. De vannak ötleteik az AI problémájának megoldására is.

Harr hisz egy „harcolj az AI-val A-val” stratégiát, amelyben „a biztonsági megoldások és a mesterséges intelligencia által táplált kockázatok kiküszöbölésére irányuló stratégiák fejlődésének azonos vagy nagyobb ütemben kell fejlődnie.

„A kiberbiztonsági védelemnek ki kell használnia a mesterséges intelligenciát, hogy sikeresen leküzdje a kiberfenyegetéseket az AI-technológiával” – teszi hozzá. „Összehasonlításképpen, az örökölt biztonsági technológiának nincs esélye ezekkel a támadásokkal szemben.”

Mindazonáltal a szervezeteknek mérsékelt megközelítést kell alkalmazniuk a mesterséges intelligencia bevezetése terén – beleértve AI-alapú biztonsági megoldások - nehogy több kockázatot vezessenek be a környezetükbe, figyelmeztet a Netrix Wilson.

„Értsd meg, mi az AI, és mi nem” – tanácsolja. „Kihívja azokat a szállítókat, akik azt állítják, hogy mesterséges intelligenciát alkalmaznak, hogy leírják, mit csinál, hogyan javítja a megoldásukat, és miért fontos ez az Ön szervezete számára.”

A Securiti Rinehart kétszintű megközelítést kínál a mesterséges intelligencia környezetbe való fokozatos bevezetésére azáltal, hogy célzott megoldásokat alkalmaz, majd közvetlenül a védőkorlátokat helyezi el, mielőtt a szervezetet szükségtelen kockázatnak tenné ki.

„Először alkalmazzon alkalmazás-specifikus modelleket, amelyeket potenciálisan tudásbázisok egészítenek ki, és amelyeket úgy alakítottak ki, hogy bizonyos használati esetekben értéket adjanak” – mondja. "Akkor … hozzon létre egy megfigyelő rendszert, amely megvédi ezeket a modelleket azáltal, hogy megvizsgálja a hozzájuk érkező és a tőlük érkező üzeneteket adatvédelmi és biztonsági kérdések szempontjából."

A szakértők azt is javasolják, hogy biztonsági szabályzatokat és eljárásokat állítsanak fel a mesterséges intelligencia körül még a bevezetés előtt, nem pedig utólagos kockázatcsökkentésként. Sőt, létrehozhatnak egy dedikált mesterségesintelligencia-kockázati tisztet vagy munkacsoportot is a megfelelés felügyeletére.

A vállalaton kívül az iparág egészének is lépéseket kell tennie a mesterséges intelligencia körüli biztonsági szabványok és gyakorlatok felállítása érdekében, amelyeket a technológiát fejlesztő és használó mindenki átvehet – amihez globális szintű kollektív fellépésre lesz szükség mind az állami, mind a magánszektor részéről. , mondja a DarkTrace Federal Fowler.

Idéz irányelvek a biztonságos AI-rendszerek felépítéséhez Az Egyesült Államok Kiberbiztonsági és Infrastruktúra-biztonsági Ügynöksége (CISA) és az Egyesült Királyság Nemzeti Kiberbiztonsági Központja (NCSC) közösen publikálta, mint példát arra, hogy milyen típusú erőfeszítéseket kell kísérnie az AI folyamatos fejlődéséhez.

„Lényegében – mondja a Securiti Rinehartja – a 2024-es év a hagyományos biztonsági és az élvonalbeli mesterséges intelligencia technikák gyors adaptációjának lesz tanúja a felhasználók és adatok védelme érdekében ebben a feltörekvő, generatív AI-korszakban.”

Időbélyeg:

Még több Sötét olvasmány