See postitus on koostatud ETH Zürichi AWS üliõpilaste Hackathoni meeskonna osaleja Daniele Chiappalupiga.
Igaüks saab hõlpsasti masinõppega (ML) alustada Amazon SageMaker JumpStart. Selles postituses näitame teile, kuidas ülikooli Hackathoni meeskond kasutas SageMaker JumpStarti, et kiiresti luua rakendus, mis aitab kasutajatel eelarvamusi tuvastada ja eemaldada.
"Amazon SageMaker oli meie projektis oluline. See muutis Flani eelkoolitatud eksemplari juurutamise ja haldamise lihtsaks, pakkudes meile meie rakendusele tugeva aluse. Selle automaatse skaleerimise funktsioon osutus suure liiklusega perioodidel ülioluliseks, tagades, et meie rakendus püsib reageerimisvõimeline ja kasutajad saavad ühtlase ja kiire kaldeanalüüsi. Veelgi enam, võimaldades meil Flani mudeli päringute tegemise raske ülesande hallatavale teenusele maha laadida, suutsime hoida oma rakenduse kerge ja kiirena, parandades erinevate seadmete kasutuskogemust. SageMakeri funktsioonid andsid meile võimaluse maksimeerida häkatonil veedetud aega, võimaldades meil keskenduda oma viipade ja rakenduse optimeerimisele, mitte mudeli jõudluse ja infrastruktuuri haldamisele.
– Daniele Chiappalupi, ETH Zürichi AWS üliõpilaste Hackathoni meeskonnas osaleja.
Lahenduse ülevaade
Hackathoni teema on tehisintellekti tehnoloogia abil panustada ÜRO jätkusuutlike eesmärkide saavutamisse. Nagu on näidatud järgmisel joonisel, aitab Hackathonil loodud rakendus kaasa kolme säästva arengu eesmärgile (kvaliteetne haridus, soopõhise diskrimineerimise sihtimine ja ebavõrdsuse vähendamine), aidates kasutajatel tuvastada ja eemaldada oma tekstist eelarvamusi, et edendada õiglast teksti. ja kaasav keel.
Nagu on näidatud järgmisel ekraanipildil, loob rakendus pärast teksti sisestamist uue versiooni, mis ei sisalda rassilisi, etnilisi ega soolisi eelarvamusi. Lisaks tõstab see esile teie sisendteksti konkreetsed osad, mis on seotud iga kallutatuse kategooriaga.
Järgmisel diagrammil näidatud arhitektuuris sisestavad kasutajad teksti Reageerima-põhine veebirakendus, mis käivitab Amazon API värav, mis omakorda kutsub esile an AWS Lambda funktsioon sõltuvalt kasutaja teksti kallutatusest. Lambda funktsioon kutsub SageMakeri JumpStartis Flani mudeli lõpp-punkti, mis tagastab erapooletu tekstitulemuse sama marsruudi kaudu tagasi esiotsa rakendusse.
Rakenduse arendusprotsess
Selle rakenduse arendusprotsess oli iteratiivne ja keskendus kahele põhivaldkonnale: kasutajaliides ja ML-mudeli integreerimine.
Valisime Reacti esiotsa arenduseks selle paindlikkuse, mastaapsuse ja võimsate tööriistade tõttu interaktiivsete kasutajaliideste loomiseks. Arvestades meie rakenduse olemust – kasutaja sisendi töötlemine ja täiustatud tulemuste esitamine – osutus Reacti komponendipõhine arhitektuur ideaalseks. Reacti abil saaksime tõhusalt luua ühelehelise rakenduse, mis võimaldas kasutajatel esitada teksti ja näha erapoolikuid tulemusi ilma, et oleks vaja pidevalt lehte värskendada.
Kasutaja sisestatud teksti tuli töödelda võimsa keelemudeliga, et kontrollida eelarvamusi. Valisime Flani selle vastupidavuse, tõhususe ja mastaapsuse tõttu. Flani kasutamiseks kasutasime SageMaker JumpStarti, nagu on näidatud järgmisel ekraanipildil. Amazon SageMaker tegi Flani eelkoolitatud eksemplari juurutamise ja haldamise lihtsaks, võimaldades meil keskenduda oma viipade ja päringute optimeerimisele, mitte mudeli jõudluse ja infrastruktuuri haldamisele.
Flani mudeli ühendamine meie esiotsa rakendusega nõudis tugevat ja turvalist integreerimist, mis saavutati Lambda ja API Gateway abil. Lambdaga lõime serverita funktsiooni, mis suhtleb otse meie SageMakeri mudeliga. Seejärel kasutasime rakendust API Gateway, et luua meie Reacti rakenduse jaoks turvaline, skaleeritav ja hõlpsasti juurdepääsetav lõpp-punkt, et käivitada Lambda funktsioon. Kui kasutaja teksti saatis, käivitas rakendus lüüsile rea API-kutseid – esmalt, et tuvastada nihke olemasolu, seejärel vajaduse korral täiendavad päringud eelarvamuse tuvastamiseks, asukoha leidmiseks ja neutraliseerimiseks. Kõik need päringud suunati Lambda funktsiooni kaudu ja seejärel meie SageMakeri mudelisse.
Meie viimane ülesanne arendusprotsessis oli keelemudeli päringu tegemiseks viipade valimine. Siin mängis CrowS-Pairsi andmestik olulist rolli, kuna see andis meile tõelisi näiteid kallutatud tekstist, mida kasutasime oma taotluste täpsustamiseks. Valisime viipad iteratiivse protsessiga, eesmärgiga maksimeerida selle andmestiku eelarvamuste tuvastamise täpsust.
Protsessi kokkuvõttes täheldasime valmis rakenduses sujuvat töövoogu. Protsess algab sellega, et kasutaja saadab analüüsimiseks teksti, mis seejärel saadetakse POST-päringu kaudu meie turvalisele API lüüsi lõpp-punktile. See käivitab Lambda funktsiooni, mis suhtleb SageMakeri lõpp-punktiga. Sellest tulenevalt saab Flani mudel hulga päringuid. Esmalt kontrollitakse, kas tekstis on nihkeid. Kui avastatakse eelarvamusi, rakendatakse nende kallutatud elementide leidmiseks, tuvastamiseks ja neutraliseerimiseks täiendavaid päringuid. Seejärel tagastatakse tulemused sama teed pidi – esmalt Lambda funktsioonile, seejärel API lüüsi kaudu ja lõpuks tagasi kasutajale. Kui algtekstis esines eelarvamusi, saab kasutaja põhjaliku analüüsi, mis näitab tuvastatud eelarvamuste tüüpe, olgu see siis rassiline, etniline või sooline. Teksti konkreetsed lõigud, kus need kõrvalekalded leiti, on esile tõstetud, andes kasutajatele tehtud muudatustest selge ülevaate. Selle analüüsi kõrval esitatakse nende teksti uus, erapoolik versioon, mis muudab potentsiaalselt kallutatud sisendi kaasavamaks narratiiviks.
Järgmistes jaotistes kirjeldame üksikasjalikult selle lahenduse rakendamise samme.
Seadistage Reacti keskkond
Alustasime Reacti arenduskeskkonna seadistamisega. Uue minimaalse konfiguratsiooniga Reacti rakenduse alglaadimiseks kasutasime rakendust Create-React-app:
npx create-react-app my-app
Ehitage kasutajaliides
Kasutades Reacti, kujundasime kasutajatele teksti sisestamiseks lihtsa liidese koos esitamisnupu, lähtestamisnupu ja katvate kuvadega töödeldud tulemuste esitamiseks, kui need on saadaval.
Käivitage SageMakeris Flan mudel
Kasutasime SageMakerit, et luua flani keele mudeli eelkoolitatud eksemplar koos lõpp-punktiga reaalajas järelduste tegemiseks. Mudelit saab kasutada mis tahes JSON-struktureeritud kasuliku koormuse vastu, näiteks:
Looge lambda funktsioon
Töötasime välja Lambda funktsiooni, mis suhtles otseselt meie SageMakeri lõpp-punktiga. Funktsioon oli mõeldud kasutaja tekstiga päringu vastuvõtmiseks, selle edastamiseks SageMakeri lõpp-punktile ja täpsustatud tulemuste tagastamiseks, nagu on näidatud järgmises koodis (ENDPOINT_NAME
seadistati SageMakeri eksemplari lõpp-punktina):
Seadistage API lüüs
Konfigureerisime API Gateways uue REST API ja sidusime selle meie Lambda funktsiooniga. See ühendus võimaldas meie rakendusel React teha API-lüüsile HTTP-päringuid, mis seejärel käivitas Lambda funktsiooni.
Integreerige rakendus React API-ga
Värskendasime rakendust React, et teha API lüüsile POST-päring, kui klõpsati nupul Esita, kusjuures päringu sisuks oli kasutaja tekst. JavaScripti kood, mida kasutasime API kõne tegemiseks, on järgmine (REACT_APP_AWS_ENDPOINT
vastab Lambda kõnega seotud API lüüsi lõpp-punktile):
Kiire valiku optimeerimine
Eelarvamuste tuvastamise täpsuse parandamiseks katsetasime erinevaid viipasid CrowS-Pairsi andmekogumiga. Selle iteratiivse protsessi kaudu valisime viipad, mis andsid meile suurima täpsuse.
Juurutage ja testige rakendust React Vercelis
Pärast rakenduse loomist juurutasime selle Vercelis, et muuta see avalikult juurdepääsetavaks. Viisime läbi ulatuslikud testid, et tagada rakenduse ootuspärane toimimine, alates kasutajaliidest kuni keelemudeli vastusteni.
Need sammud panid aluse meie teksti analüüsimise ja kallutatuse vähendamise rakenduse loomisele. Hoolimata protsessi loomupärasest keerukusest muutis selliste tööriistade nagu SageMaker, Lambda ja API Gateway kasutamine arendust sujuvamaks, võimaldades meil keskenduda projekti põhieesmärgile – tekstis esinevate eelarvamuste tuvastamisele ja kõrvaldamisele.
Järeldus
SageMaker JumpStart pakub mugavat viisi SageMakeri funktsioonide ja võimalustega tutvumiseks. See pakub kureeritud üheastmelisi lahendusi, näidismärkmikke ja juurutavaid eelkoolitatud mudeleid. Need ressursid võimaldavad teil SageMakerit kiiresti õppida ja mõista. Lisaks on teil võimalus mudeleid viimistleda ja vastavalt oma konkreetsetele vajadustele juurutada. JumpStartile juurdepääs on saadaval kaudu Amazon SageMaker Studio või programmiliselt, kasutades SageMaker API-sid.
Sellest postitusest saite teada, kuidas tudengite Hackathoni meeskond töötas lühikese ajaga välja lahenduse, kasutades SageMaker JumpStart, mis näitab AWS-i ja SageMaker JumpStarti potentsiaali keerukate AI-lahenduste kiire arendamise ja juurutamise võimaldamisel isegi väikeste meeskondade või üksikisikute poolt.
Lisateavet SageMaker JumpStarti kasutamise kohta leiate artiklist FLAN T5 XL peenhäälestuse juhised rakendusega Amazon SageMaker Jumpstart ja Null-shot viip Flan-T5 alusmudeli jaoks Amazon SageMaker JumpStartis.
ETH Analytics Club korraldas ETH Datathon, AI/ML häkaton, mis tõmbab kokku üle 150 osaleja ETH Zürichist, Zürichi ülikoolist ja EPFL-ist. Üritusel on töötoad, mida juhivad valdkonna juhid, 24-tunnine kodeerimisväljakutse ning väärtuslikud võrgustike loomise võimalused kaasüliõpilaste ja valdkonna spetsialistidega. Suur tänu ETH Hackathoni meeskonnale: Daniele Chiappalupi, Athina Nisioti ja Francesco Ignazio Re, samuti ülejäänud AWS-i korraldusmeeskond: Alice Morano, Demir Catovic, Iana Peix, Jan Oliver Seidenfuss, Lars Nettemann ja Markus Winterholer.
Selle postituse sisu ja arvamused on kolmandast osapoolest autori omad ja AWS ei vastuta selle postituse sisu ega täpsuse eest.
Autoritest
Jun Zhang on lahenduste arhitekt, mis asub Zürichis. Ta aitab Šveitsi klientidel luua pilvepõhiseid lahendusi oma äripotentsiaali saavutamiseks. Tal on kirg jätkusuutlikkuse vastu ja ta püüab lahendada praeguseid jätkusuutlikkuse väljakutseid tehnoloogia abil. Ta on ka suur tennisefänn ja talle meeldib väga mängida lauamänge.
Mohan Gowda juhib AWS Šveitsi masinõppe meeskonda. Ta töötab peamiselt Automotive klientidega, et töötada välja uuenduslikud AI/ML lahendused ja platvormid järgmise põlvkonna sõidukitele. Enne AWS-iga töötamist töötas Mohan globaalse juhtimiskonsultatsioonifirmaga, keskendudes strateegiale ja analüüsile. Tema kirg seisneb ühendatud sõidukites ja autonoomses sõidus.
Toitthias Egli on Šveitsi haridusjuht. Ta on entusiastlik meeskonnajuht, kellel on laialdased kogemused äriarenduse, müügi ja turunduse vallas.
Kemeng Zhang on Zürichis asuv ML-insener. Ta aitab globaalsetel klientidel kavandada, arendada ja skaleerida ML-põhiseid rakendusi, et anda nende digitaalsele võimekusele suurendada äritulu ja vähendada kulusid. Ta on väga kirglik ka inimkesksete rakenduste loomise vastu, kasutades ära käitumisteaduse teadmisi. Talle meeldib veespordiga tegeleda ja koertega jalutada.
Daniele Chiappalupi on hiljuti ETH Zürichi lõpetanud. Talle meeldivad kõik tarkvaratehnika aspektid, alates projekteerimisest kuni juurutamiseni ja juurutamisest hoolduseni. Tal on sügav kirg tehisintellekti vastu ja ta ootab innukalt valdkonna uusimate edusammude uurimist, kasutamist ja nendesse panustamist. Vabal ajal meeldib talle külmematel kuudel lumelauaga sõita ja ilmade soojenedes mängida korvpalli.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/innovation-for-inclusion-hack-the-bias-with-amazon-sagemaker/
- :on
- :on
- :mitte
- : kus
- $ UP
- 100
- 13
- 150
- 17
- 25
- 7
- 8
- 87
- 97
- 990
- a
- Võimalik
- MEIST
- juurdepääs
- juurdepääsetav
- Vastavalt
- täpsus
- Saavutada
- saavutada
- üle
- Täiendavad lisad
- Lisaks
- edusammud
- pärast
- vastu
- AI
- AI / ML
- alice
- Materjal: BPA ja flataatide vaba plastik
- võimaldama
- lubatud
- Lubades
- kõrval
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- analüüs
- analytics
- analüüsides
- ja
- infrastruktuuri
- ootab
- mistahes
- API
- API-liidesed
- app
- taotlus
- rakendused
- arhitektuur
- OLEME
- valdkondades
- AS
- aspekt
- At
- autor
- auto
- auto
- autonoomne
- saadaval
- AWS
- Axios
- tagasi
- põhineb
- korvpall
- BE
- sest
- enne
- hakkas
- on
- erapoolikus
- erapooletu
- kalduvusi
- juhatus
- Lauamängud
- keha
- Seotud
- lai
- ehitama
- Ehitus
- ehitatud
- äri
- ettevõtluse arendamine
- nupp
- by
- helistama
- Kutsub
- CAN
- võimeid
- Kategooria
- keskele
- väljakutse
- väljakutseid
- Vaidluste lahendamine
- Kontroll
- Valisin
- selge
- klubi
- kood
- Kodeerimine
- keerukus
- terviklik
- läbi
- konfiguratsioon
- konfigureeritud
- seotud
- ühendus
- Järelikult
- pidev
- nõustamine
- sisu
- kontekst
- aitama kaasa
- panustab
- kaasa
- Mugav
- tuum
- vastab
- Maksma
- võiks
- looma
- loodud
- loomine
- otsustav
- kureeritud
- Praegune
- Kliendid
- andmed
- sügav
- Olenevalt
- juurutada
- lähetatud
- kasutuselevõtu
- Disain
- kavandatud
- Vaatamata
- detail
- tuvastatud
- Detection
- arendama
- arenenud
- arenev
- & Tarkvaraarendus
- seadmed
- erinev
- digitaalne
- otse
- Näidikute
- juhib
- sõidu
- kaks
- ajal
- iga
- innukalt
- kergesti
- lihtne
- Käsitöö
- tõhusalt
- efektiivsus
- tõhusalt
- elemendid
- kõrvaldades
- volitama
- volitatud
- võimaldades
- Lõpp-punkt
- insener
- Inseneriteadus
- suurendamine
- tagama
- tagades
- sisenes
- entusiastlik
- keskkond
- ETH
- Isegi
- sündmus
- Iga
- näide
- näited
- oodatav
- kogemus
- uurima
- Avastades
- ulatuslik
- õiglane
- lehvikut
- KIIRE
- tunnusjoon
- FUNKTSIOONID
- mees
- väli
- Joonis
- lõplik
- Firma
- esimene
- Paindlikkus
- voog
- Keskenduma
- Järel
- järgneb
- eest
- edasi
- avastatud
- Sihtasutus
- tasuta
- Alates
- funktsioon
- edasi
- Mängud
- värav
- andis
- SUGU
- genereerib
- põlvkond
- saama
- antud
- andmine
- Globaalne
- eesmärk
- Eesmärgid
- läheb
- rüütama
- koolilõpetaja
- suur
- alused
- näksima
- häkkimismaraton
- Olema
- he
- juhataja
- raske
- aidates
- aitab
- siin
- kõrgeim
- Esiletõstetud
- rõhutab
- tema
- võõrustas
- Kuidas
- HTML
- http
- HTTPS
- tohutu
- ideaalne
- identifitseerima
- if
- rakendada
- täitmine
- import
- parandama
- in
- kaasamine
- Kaasa arvatud
- Suurendama
- inimesed
- tööstus
- ebavõrdsust
- Infrastruktuur
- omane
- Innovatsioon
- uuenduslik
- sisend
- Näiteks
- instrumentaal-
- integratsioon
- interaktiivne
- Interface
- liidesed
- sisse
- kutsub
- IT
- ITS
- John
- JavaScript
- jpg
- Json
- hoidma
- teadmised
- keel
- hiljemalt
- viima
- juhid
- Leads
- Õppida
- õppinud
- õppimine
- Led
- võimendav
- peitub
- kerge
- nagu
- meeldib
- seotud
- Partii
- armastab
- masin
- masinõpe
- tehtud
- põhiline
- hooldus
- tegema
- juhtima
- juhitud
- juhtimine
- juhtiv
- Turundus
- Maksimeerima
- maksimeerimine
- minimaalne
- ML
- mudel
- mudelid
- kuu
- rohkem
- NARRATIIVNE
- loodus
- vajalik
- Vajadus
- vaja
- vajadustele
- võrgustike loomine
- Võrgustiku loomise võimalused
- Uus
- järgmine
- eesmärk
- of
- pakkumine
- Pakkumised
- on
- töökorras
- Arvamused
- Võimalused
- optimeerimine
- valik
- or
- et
- korraldamine
- originaal
- OS
- meie
- lehekülg
- osalejad
- osad
- kirg
- kirglik
- täitma
- jõudlus
- perioodid
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängis
- mängimine
- post
- potentsiaal
- potentsiaalselt
- võimas
- olemasolu
- esitada
- esitatud
- eelkõige
- protsess
- Töödeldud
- spetsialistid
- projekt
- edendama
- omadused
- tõestatud
- anda
- tingimusel
- annab
- avalikult
- kvaliteet
- päringud
- kiiresti
- kiire
- pigem
- RE
- Reageerima
- kergesti
- reaalne
- reaalajas
- saama
- saadud
- saab
- hiljuti
- vähendama
- Lühendatud
- viitama
- puhastatud
- seotud
- jäi
- kõrvaldama
- taotleda
- Taotlusi
- nõutav
- Vahendid
- vastuste
- vastutav
- tundlik
- REST
- kaasa
- Tulemused
- tagasipöördumine
- Tulu
- tulu
- jõuline
- tugevus
- Roll
- Marsruut
- salveitegija
- müük
- sama
- Skaalautuvus
- skaalautuvia
- Skaala
- ketendamine
- teadus
- sujuv
- lõigud
- kindlustama
- vaata
- seeme
- väljavalitud
- valik
- Saadetud
- Seeria
- Serverita
- teenus
- Teenused
- komplekt
- kehtestamine
- ta
- Lühike
- näitama
- näidatud
- Näitused
- lihtne
- väike
- tarkvara
- tarkvaraarendus
- tahke
- lahendus
- Lahendused
- LAHENDAGE
- keeruline
- konkreetse
- sport
- alustatud
- stabiilne
- Sammud
- Strateegia
- Sujuvamaks
- püüab
- õpilane
- Õpilased
- esitamine
- esitama
- esitatud
- Järgnevalt
- Jätkusuutlikkus
- jätkusuutlik
- Säästev areng
- SWIFT
- Šveitsi
- Šveits
- sihtimine
- Ülesanne
- meeskond
- meeskonnad
- Tehnoloogia
- test
- katsetatud
- testid
- tekst
- kui
- tänan
- et
- .
- oma
- Neile
- teema
- SIIS
- Need
- kolmanda osapoole
- see
- need
- kolm
- Läbi
- aeg
- et
- töövahendid
- transformeerivate
- vallandas
- Pöörake
- kaks
- liigid
- lõpuks
- UN
- mõistma
- Ülikool
- ajakohastatud
- us
- kasutama
- Kasutatud
- Kasutaja
- User Experience
- Kasutajaliides
- Kasutajad
- kasutamine
- ära kasutama
- kasutatud
- kasutades
- väärtuslik
- eri
- Sõidukid
- versioon
- väga
- kaudu
- vaade
- jalutamine
- Soojendab
- oli
- Vesi
- Tee..
- we
- ilm
- web
- veebiteenused
- Hästi
- olid
- millal
- kas
- mis
- koos
- jooksul
- ilma
- töötas
- töö
- töötab
- Töötoad
- sa
- Sinu
- sephyrnet
- Zurich