Siit saate teada, kuidas hinnata tehisintellektisüsteemide riske | Amazoni veebiteenused

Tehisintellekt (AI) on kiiresti arenev valdkond, millel on potentsiaali parandada ja muuta paljusid ühiskonna aspekte. 2023. aastal on tehisintellekti tehnoloogiate kasutuselevõtu tempo veelgi kiirenenud tänu võimsate alusmudelite (FM) väljatöötamisele ja sellest tulenevale AI generatiivsete võimaluste edenemisele.

Amazonis oleme käivitanud mitu generatiivset AI-teenust, näiteks Amazonase aluspõhi ja Amazon Code Whispererja on teinud läbi hulga suure võimekusega generatiivseid mudeleid Amazon SageMaker JumpStart. Need teenused on loodud selleks, et toetada meie kliente generatiivse tehisintellekti esilekerkivate võimaluste, sealhulgas täiustatud loovuse, isikupärastatud ja dünaamilise sisu loomise ning uuendusliku disaini vallas. Samuti võivad need võimaldada tehisintellekti praktikutel maailma paremini mõista – tegeleda keelebarjääride, kliimamuutuste, teaduslike avastuste kiirendamise ja muuga.

Generatiivse tehisintellekti täieliku potentsiaali realiseerimiseks on aga oluline hoolikalt kaaluda võimalikke riske. Eelkõige on see kasulik tehisintellektisüsteemi sidusrühmadele, edendades vastutustundlikku ja ohutut arendamist ja kasutuselevõttu ning julgustades võtma ennetavaid meetmeid võimaliku mõjuga tegelemiseks. Järelikult on mehhanismide loomine riskide hindamiseks ja juhtimiseks tehisintellekti praktikute jaoks oluline protsess ning sellest on saanud paljude arenevate tehisintellekti valdkonna standardite põhikomponent (näiteks ISO 42001, ISO 23894ja NIST RMF) ja õigusaktid (nt EL AI seadus).

Selles postituses arutame, kuidas hinnata oma tehisintellektisüsteemi potentsiaalset riski.

Millised on erinevad riskitasemed?

Kuigi võib olla lihtsam alustada üksiku masinõppe mudeli ja sellega seotud riskide vaatlemist eraldi, on oluline arvestada sellise mudeli konkreetse rakenduse üksikasju ja vastavat kasutusjuhtumit tervikliku tehisintellekti süsteemi osana. . Tegelikult põhineb tüüpiline AI-süsteem tõenäoliselt mitmel erineval koos töötaval ML-mudelil ja organisatsioon võib soovida luua mitu erinevat AI-süsteemi. Järelikult saab riske hinnata iga kasutusjuhtumi ja erinevate tasandite puhul, nimelt mudeliriski, tehisintellekti süsteemi riski ja ettevõtte riski.

Ettevõtterisk hõlmab laia spektrit riske, millega organisatsioon võib kokku puutuda, sealhulgas finants-, tegevus- ja strateegilised riskid. AI süsteemirisk keskendub mõjule, mis on seotud AI süsteemide juurutamise ja toimimisega, samas kui ML mudeli risk puudutab konkreetselt ML mudelitele omaseid haavatavusi ja ebakindlust.

Selles postituses keskendume peamiselt AI-süsteemi riskile. Siiski on oluline märkida, et kõiki organisatsioonisiseseid riskijuhtimise tasemeid tuleks arvesse võtta ja ühtlustada.

Kuidas on AI-süsteemi risk määratletud?

Riskijuhtimine tehisintellektisüsteemi kontekstis võib olla viis ebakindluse või võimalike negatiivsete mõjude minimeerimiseks, pakkudes samas võimalusi positiivsete mõjude maksimeerimiseks. Risk ise ei ole potentsiaalne kahju, vaid ebakindluse mõju eesmärkidele. Vastavalt NIST riskijuhtimise raamistik (NIST RMF), riski saab hinnata sündmuse toimumise tõenäosuse korduva meetmena, mis on ajastatud vastava sündmuse tagajärgede ulatusega.

Riskil on kaks aspekti: loomupärane risk ja jääkrisk. Loomulik risk tähistab riski suurust, mida tehisintellekti süsteem avaldab leevenduste või kontrollide puudumisel. Jääkrisk hõlmab ülejäänud riskid pärast leevendusstrateegiate arvessevõtmist.

Pidage alati meeles, et riskihindamine on inimkeskne tegevus, mis nõuab kogu organisatsiooni pingutusi; need jõupingutused ulatuvad kõigi asjaomaste sidusrühmade kaasamise tagamisest hindamisprotsessi (nt toote-, inseneri-, teadus-, müügi- ja turvameeskonnad) kuni selle hindamiseni, kuidas sotsiaalsed perspektiivid ja normid mõjutavad teatud sündmuste tajutavat tõenäosust ja tagajärgi.

Miks peaks teie organisatsioon riskide hindamisest hoolima?

Tehisintellektisüsteemide riskijuhtimisraamistike loomine võib tuua kasu ühiskonnale laiemalt, edendades tehisintellektisüsteemide ohutut ja vastutustundlikku kavandamist, arendamist ja toimimist. Riskijuhtimise raamistikud võivad organisatsioonidele kasu tuua ka järgmiselt.

• Parem otsustusprotsess – Mõistes tehisintellektisüsteemidega seotud riske, saavad organisatsioonid teha paremaid otsuseid, kuidas neid riske maandada ning kasutada tehisintellekti süsteeme ohutul ja vastutustundlikul viisil.
• Suurenenud vastavuse planeerimine – Riskihindamisraamistik võib aidata organisatsioonidel valmistuda asjakohaste seaduste ja määruste riskihindamise nõuete täitmiseks
• Usalduse loomine – Näidates, et nad astuvad samme tehisintellektisüsteemide riskide maandamiseks, saavad organisatsioonid näidata oma klientidele ja sidusrühmadele, et nad on pühendunud tehisintellekti turvalisele ja vastutustundlikule kasutamisele.

Kuidas hinnata riski?

Esimese sammuna peaks organisatsioon kaaluma hindamist vajava tehisintellekti kasutusjuhtumi kirjeldamist ja tuvastama kõik asjakohased sidusrühmad. Kasutusjuhtum on konkreetne stsenaarium või olukord, mis kirjeldab, kuidas kasutajad teatud eesmärgi saavutamiseks AI-süsteemiga suhtlevad. Kasutusjuhtumi kirjelduse loomisel võib abi olla lahendatava äriprobleemi täpsustamisest, kaasatud sidusrühmade loetlemisest, töövoo iseloomustamisest ning süsteemi peamiste sisendite ja väljundite üksikasjade esitamisest.

Sidusrühmade puhul on lihtne mõnest kahe silma vahele jätta. Järgmine joonis on hea lähtepunkt AI sidusrühmade rollide kaardistamiseks.

Tehisintellektisüsteemi riskihindamise järgmine oluline samm on tuvastada kasutusjuhtumiga seotud potentsiaalselt kahjulikud sündmused. Nende sündmuste käsitlemisel võib olla kasulik mõelda vastutustundliku tehisintellekti erinevatele dimensioonidele, näiteks õiglusele ja jõulisusele. Erinevaid sidusrühmi võib eri mõõtmetes erineval määral mõjutada. Näiteks võib lõppkasutaja madal töökindluse risk tuleneda tehisintellektisüsteemi väiksematest häiretest, samas kui madala õigluse riski võib põhjustada tehisintellektisüsteem, mis toodab erinevate demograafiliste rühmade jaoks ebaoluliselt erinevaid väljundeid.

Sündmuse riski hindamiseks võite kasutada tõenäosusskaalat koos tõsiduse skaalaga, et mõõta nii toimumise tõenäosust kui ka tagajärgede ulatust. Nende skaalade väljatöötamisel võib abiks lähtepunktiks olla NIST RMF, mis soovitab kasutada kvalitatiivseid mittenumbrilisi kategooriaid, mis ulatuvad väga madalast kuni väga kõrge riskiga või poolkvantitatiivsete hindamispõhimõtete, nagu skaalad (nt 1–10), prügikastid või muu. esinduslikud numbrid. Kui olete määranud kõigi asjakohaste dimensioonide tõenäosuse ja tõsiduse skaala, saate kasutada riskimaatriksskeemi, et kvantifitseerida üldine risk sidusrühmade kohta igas asjakohases mõõtmes. Järgmisel joonisel on kujutatud riskimaatriksi näide.

Seda riskimaatriksit kasutades võime pidada väikese raskusastmega ja harva esineva tõenäosusega sündmust väga väikese riskiga. Pidage meeles, et esialgne hinnang on olemusliku riski hinnang ja riskide maandamise strateegiad võivad aidata riskitaset veelgi alandada. Protsessi saab seejärel korrata, et luua iga sündmuse kohta allesjäänud jääkriski hinnang. Kui samas mõõdus tuvastatakse mitu sündmust, võib lõpliku hinnangu kokkuvõtte koostamiseks olla kasulik valida kõigi seast kõrgeim riskitase.

Lõpliku hinnangu kokkuvõtet kasutades peavad organisatsioonid määratlema, millised riskitasemed on nende tehisintellektisüsteemide jaoks vastuvõetavad, ning kaaluma asjakohaseid eeskirju ja poliitikaid.

AWS-i pühendumus

Läbi sidemete Valge Maja ja UNMuu hulgas oleme pühendunud oma teadmiste ja asjatundlikkuse jagamisele, et edendada tehisintellekti vastutustundlikku ja turvalist kasutamist. Sellega seoses esindas hiljuti AWS-i Amazoni Adam Selipsky AI ohutuse tippkohtumine kohalviibivate riigipeade ja tööstusjuhtidega, mis demonstreerib veelgi meie pühendumust tehisintellekti vastutustundliku edendamise koostööle.

Järeldus

Kuna tehisintellekt areneb edasi, muutub riskianalüüs üha olulisemaks ja kasulikumaks organisatsioonidele, kes soovivad tehisintellekti vastutustundlikult üles ehitada ja kasutusele võtta. Riskihindamisraamistiku ja riskide maandamise kava loomisega saavad organisatsioonid vähendada võimalike tehisintsidentide riski ja teenida usaldust oma klientidega ning saada kasu, nagu suurem usaldusväärsus, suurem õiglus erinevate demograafiliste näitajate suhtes ja palju muud.

Jätkake ja alustage oma organisatsioonis riskihindamise raamistiku väljatöötamise teekonda ja jagage oma mõtteid kommentaarides.

Vaadake ka Amazon Science'is avaldatud ülevaadet generatiivsetest AI riskidest: Vastutustundlik AI generatiivajastulja uurige AWS-i teenuste valikut, mis võivad teid teie riskihindamise ja -maandamise teekonnal toetada. Amazon SageMaker Clarify, Amazon SageMakeri mudelimonitor, AWS CloudTrail, Samuti mudeljuhtimisraamistik.

---

Autoritest

Mia C. Mayer on rakendusteadlane ja ML koolitaja AWS masinõppe ülikoolis; kus ta uurib ja õpetab masinõppe ja tehisintellektisüsteemide ohutust, seletatavust ja õiglust. Kogu oma karjääri jooksul lõi Mia mitmeid ülikoolide teavitusprogramme, tegutses külalislektorina ja peaesinejana ning esines paljudel suurtel õppekonverentsidel. Samuti aitab ta sisemistel meeskondadel ja AWS-i klientidel oma vastutustundlikku AI-teekonda alustada.

Denis V. Batalov on 17-aastane Amazoni veteran ja doktorikraad masinõppe alal. Denis töötas selliste põnevate projektidega nagu Search Inside the Book, Amazon Mobile Apps ja Kindle Direct Publishing. Alates 2013. aastast on ta lahenduste arhitektina aidanud AWS-i klientidel AI/ML-tehnoloogiat kasutusele võtta. Praegu on Denis AI/ML ülemaailmne tehniline juht, kes vastutab AWS ML Specialist Solutions Architectsi toimimise eest kogu maailmas. Denis on sagedane avalik esineja, saate teda jälgida Twitteris @dbatalov.

Dr Sara Liu on AWS Responsible AI meeskonna vanemtehniline programmijuht. Ta teeb koostööd teadlaste, andmekogumite juhtide, ML-i inseneride, teadlaste ja teiste ristfunktsionaalsete meeskondadega, et tõsta vastutustundlikku tehisintellekti latti AWS-i tehisintellekti teenustes. Tema praegused projektid hõlmavad tehisintellekti teeninduskaartide väljatöötamist, vastutustundliku AI riskianalüüside läbiviimist, kvaliteetsete hindamisandmete kogumite loomist ja kvaliteediprogrammide rakendamist. Samuti aitab ta sisemistel meeskondadel ja klientidel täita arenevaid tehisintellekti valdkonna standardeid.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/learn-how-to-assess-risk-of-ai-systems/