Aastal 2021, farmaatsiatööstus teenis USA tulusid 550 miljardit dollarit. Farmaatsiaettevõtted müüvad turul mitmesuguseid erinevaid, sageli uudseid ravimeid, kus mõnikord võivad tekkida tahtmatud, kuid tõsised kõrvalnähud.
Nendest sündmustest võib teatada kõikjal, haiglatest või kodust, ning neid tuleb vastutustundlikult ja tõhusalt jälgida. Traditsioonilise kõrvalnähtude käsitsi töötlemise muudab keeruliseks kasvav terviseandmete hulk ja kulud. Kokkuvõttes prognoositakse 384. aastaks 2022 miljardit dollarit ravimiohutuse järelevalve tegevuste kuluks kogu tervishoiutööstusele. Üldiste ravimiohutuse järelevalve tegevuste toetamiseks soovivad meie ravimikliendid kasutada masinõppe (ML) võimsust, et automatiseerida kõrvalnähtude tuvastamist erinevatest andmeallikatest. , nagu sotsiaalmeedia kanalid, telefonikõned, meilid ja käsitsi kirjutatud märkmed, ning käivitada asjakohased toimingud.
Selles postituses näitame, kuidas arendada ML-põhist lahendust kasutades Amazon SageMaker kõrvalnähtude tuvastamiseks, kasutades avalikult kättesaadavat kallistava näo kõrvaltoimete andmete kogumit. Selle lahenduse puhul peenhäälestame mitmesuguseid Hugging Face'i mudeleid, mis olid eelnevalt meditsiiniliste andmete põhjal koolitatud, ja kasutame BioBERT mudelit, mis on eelnevalt koolitatud Avaldatud andmestik ja annab proovitutest parimaid tulemusi.
Rakendasime lahenduse kasutades AWS pilvearenduskomplekt (AWS CDK). Kuid me ei käsitle selles postituses lahenduse ehitamise spetsiifikat. Lisateavet selle lahenduse rakendamise kohta leiate aadressilt Looge Amazon SageMakeri ja Amazon QuickSighti abil süsteem ebasoodsate sündmuste reaalajas tabamiseks.
See postitus käsitleb mitut põhivaldkonda, pakkudes põhjalikku uurimist järgmistest teemadest:
- Andmeprobleemid, millega AWS Professional Services kokku puutub
- Suurte keelemudelite (LLM) maastik ja rakendus:
- Transformers, BERT ja GPT
- Kallistav nägu
- Peenhäälestatud LLM-lahendus ja selle komponendid:
- Andmete ettevalmistamine
- Modellikoolitus
Andmete väljakutse
Andmete kallutamine on sageli probleem klassifitseerimisülesannete väljatöötamisel. Ideaalis sooviksite tasakaalustatud andmekogumit ja see kasutusjuhtum pole erand.
Me käsitleme seda viltu koos generatiivne AI mudelid (Falcon-7B ja Falcon-40B), millel paluti luua sündmuste näidised koolituskomplekti viie näite põhjal, et suurendada semantilist mitmekesisust ja suurendada märgistatud kõrvalnähtude valimi suurust. Meile on kasulik kasutada siin Falconi mudeleid, sest erinevalt mõnest Hugging Face'i LLM-ist annab Falcon teile treeninguandmestiku, mida nad kasutavad, nii et võite olla kindel, et ükski teie testikomplekti näidetest ei sisaldu Falconi treeningkomplektis ja väldite andmeid. saastumine.
Teine tervishoiuteenuste klientide jaoks esitatav väljakutse on HIPAA vastavusnõuded. Nende nõuete täitmiseks tuleb lahendusesse lisada krüpteerimine puhkeolekus ja edastamisel.
Transformers, BERT ja GPT
Trafo arhitektuur on närvivõrgu arhitektuur, mida kasutatakse loomuliku keele töötlemise (NLP) ülesannete jaoks. Seda tutvustati esmakordselt ajalehes “Tähelepanu on kõik, mida vajate” Vaswani et al. (2017). Trafo arhitektuur põhineb tähelepanumehhanismil, mis võimaldab mudelil õppida sõnade vahelisi pikamaa sõltuvusi. Trafod, nagu originaalpaberis kirjeldatud, koosnevad kahest põhikomponendist: kodeerijast ja dekoodrist. Kodeerija võtab sisendjärjestuse sisendiks ja loob peidetud olekute jada. Seejärel võtab dekooder need peidetud olekud sisendiks ja loob väljundjada. Tähelepanu mehhanismi kasutatakse nii kooderis kui ka dekoodris. Tähelepanumehhanism võimaldab mudelil jälgida väljundjada genereerimisel sisendjada konkreetseid sõnu. See võimaldab mudelil õppida sõnade vahelisi pikamaa sõltuvusi, mis on oluline paljude NLP-ülesannete jaoks, nagu masintõlge ja teksti kokkuvõte.
Üks populaarsemaid ja kasulikumaid trafoarhitektuure, Transformerite kahesuunalised kodeerijad (BERT) on keeleesitusmudel, mis tutvustas 2018is. BERT on koolitatud järjestustes, kus osa sõnu lauses on maskeeritud, ja ta peab need sõnad täitma, võttes arvesse nii maskeeritud sõnadele eelnevaid kui ka järel olevaid sõnu. BERT-i saab viimistleda mitmesuguste NLP-ülesannete jaoks, sealhulgas küsimustele vastamiseks, loomuliku keele järelduste tegemiseks ja sentimentide analüüsiks.
Teine populaarne trafoarhitektuur, mis on maailma vallutanud, on generatiivne eelkoolitatud transformer (GPT). Esimene GPT mudel oli 2018. aastal tutvustas OpenAI. See toimib koolitatuna ennustama rangelt järgmist sõna järjestuses, olles teadlik ainult sõna ees olevast kontekstist. GPT-mudeleid õpetatakse kasutama tohutul hulgal teksti- ja koodiandmekogumeid ning neid saab viimistleda mitmesuguste NLP-ülesannete jaoks, sealhulgas teksti genereerimine, küsimustele vastamine ja kokkuvõtete tegemine.
Üldiselt on BERT parem ülesannetes, mis nõuavad sõnade konteksti sügavamat mõistmist, samas GPT sobib paremini teksti genereerimist nõudvate ülesannete jaoks.
Kallistav nägu
Hugging Face on tehisintellekti ettevõte, mis on spetsialiseerunud NLP-le. See pakub platvormi tööriistade ja ressurssidega, mis võimaldavad arendajatel luua, koolitada ja juurutada NLP-ülesannetele keskendunud ML-mudeleid. Hugging Face'i üks peamisi pakkumisi on selle raamatukogu, Transformers, mis sisaldab eelkoolitatud mudeleid, mida saab peenhäälestada erinevate keeleülesannete jaoks, nagu teksti liigitamine, tõlkimine, kokkuvõte ja küsimustele vastamine.
Hugging Face integreerub sujuvalt SageMakeriga, mis on täielikult hallatav teenus, mis võimaldab arendajatel ja andmeteadlastel ML-mudeleid mastaapselt ehitada, koolitada ja juurutada. See sünergia toob kasutajatele kasu, pakkudes tugevat ja skaleeritavat infrastruktuuri NLP-ülesannete haldamiseks Hugging Face'i pakutavate tipptasemel mudelitega koos AWS-i võimsate ja paindlike ML-teenustega. Hugging Face mudelitele pääsete juurde ka otse saidilt Amazon SageMaker JumpStart, mistõttu on mugav alustada valmislahendustega.
Lahenduse ülevaade
Kasutasime Hugging Face Transformers teeki SageMakeri trafomudelite peenhäälestamiseks kõrvalnähtude klassifitseerimiseks. Koolitustöö on üles ehitatud SageMaker PyTorchi hindaja abil. SageMaker JumpStartil on ka mõned täiendavad integratsioonid Hugging Face'iga, mida on lihtne rakendada. Selles jaotises kirjeldame andmete ettevalmistamise ja mudelikoolituse peamisi samme.
Andmete ettevalmistamine
Kasutasime ravimi kõrvaltoimete andmeid (ade_corpus_v2) Hugging Face andmekogus koos treeningu/testi jaotusega 80/20. Meie mudelikoolituse ja järelduste jaoks vajalikul andmestruktuuril on kaks veergu:
- Üks veerg tekstisisu jaoks mudeli sisendandmetena.
- Veel üks veerg sildiklassi jaoks. Meil on teksti jaoks kaks võimalikku klassi:
Not_AE
jaAdverse_Event
.
Modellikoolitus ja katsetamine
Võimalike Kallistava näo mudelite ruumi tõhusaks uurimiseks, et täpsustada meie kombineeritud andmeid kõrvalnähtude kohta, koostasime SageMakeri hüperparameetrite optimeerimise (HPO) töö ja edastasime selle hüperparameetrina erinevatesse Hugging Face mudelitesse koos muude oluliste hüperparameetritega. nagu koolituspartii suurus, järjestuse pikkus, mudelid ja õppimiskiirus. Koolitustöödel kasutati ml.p3dn.24xlarge eksemplari ja kulus selle eksemplaritüübiga töö kohta keskmiselt 30 minutit. Treeningu mõõdikud jäädvustati küll Amazon SageMakeri katsed tööriist ja iga koolitustöö läbis 10 epohhi.
Täpsustame oma koodis järgmist:
- Koolituspartii suurus – enne mudeli kaalude värskendamist koos töödeldud proovide arv
- Järjestuse pikkus – Sisendjada maksimaalne pikkus, mida BERT saab töödelda
- Õppimise määr – Kui kiiresti mudel treeningu ajal oma raskusi uuendab
- Mudelid – Hugging Face eelkoolitatud modellid
Tulemused
Meie kasutusjuhtumis kõige paremini toiminud mudel oli monologg/biobert_v1.1_pubmed
Hugging Face'is hostitud mudel, mis on BERT-i arhitektuuri versioon, mis on eelnevalt koolitatud Pubmedi andmestikule, mis koosneb 19,717 XNUMX teaduspublikatsioonist. BERT-i eelkoolitus selle andmestiku kohta annab sellele mudelile täiendavaid teadmisi meditsiiniliselt seotud teadusterminite konteksti tuvastamisel. See suurendab mudeli jõudlust kõrvaltoimete tuvastamise ülesande jaoks, kuna see on eelnevalt koolitatud meditsiiniliselt spetsiifilise süntaksi kohta, mida meie andmekogumis sageli kuvatakse.
Järgmine tabel võtab kokku meie hindamismõõdikud.
MUDEL | Täpsus | Tagasikutsumine | F1 |
Baas BERT | 0.87 | 0.95 | 0.91 |
BioBert | 0.89 | 0.95 | 0.92 |
BioBERT koos HPO-ga | 0.89 | 0.96 | 0.929 |
BioBERT koos HPO-ga ja sünteetiliselt tekitatud kõrvalnähtudega | 0.90 | 0.96 | 0.933 |
Kuigi need on BERT-i baasmudeliga võrreldes suhteliselt väikesed ja järkjärgulised täiustused, näitab see siiski mõningaid elujõulisi strateegiaid mudeli jõudluse parandamiseks nende meetodite abil. Sünteetilisel andmete genereerimisel Falconiga näib olevat palju lubadusi ja potentsiaali jõudluse parandamiseks, eriti kuna need generatiivsed AI mudelid muutuvad aja jooksul paremaks.
Koristage
Edaspidiste tasude vältimiseks kustutage kõik loodud ressursid, nagu mudel ja mudeli lõpp-punktid, mille lõite järgmise koodiga:
Järeldus
Paljud farmaatsiaettevõtted tahaksid tänapäeval süstemaatiliselt automatiseerida oma klientidega suhtlemisest tulenevate kõrvalnähtude tuvastamise protsessi, et aidata parandada klientide ohutust ja tulemusi. Nagu selles postituses näitasime, klassifitseerib andmetele lisatud sünteetiliselt genereeritud kõrvalnähtudega peenhäälestatud LLM BioBERT kõrvaltoimed kõrge F1 skooriga ja seda saab kasutada meie klientidele HIPAA-ühilduva lahenduse loomiseks.
Nagu alati, ootab AWS teie tagasisidet. Palun jätke oma mõtted ja küsimused kommentaaride sektsiooni.
Autoritest
Zack Peterson on andmeteadlane AWS Professional Servicesis. Ta on masinõppelahendusi klientidele tarninud juba aastaid ja tal on majandusteaduse magistrikraad.
Dr Adewale Akinfaderin on AWSi tervishoiu ja bioteaduste vanemandmeteadlane. Tema teadmised on reprodutseeritavad ja täielikud AI/ML meetodid, praktilised teostused ning globaalsete tervishoiu klientide abistamine interdistsiplinaarsete probleemide skaleeritavate lahenduste formuleerimisel ja väljatöötamisel. Tal on kaks magistrikraadi füüsikas ja doktorikraad tehnikateadustes.
Ekta Walia Bhullar, PhD, on AI/ML-i vanemkonsultant AWS Healthcare and Life Sciences (HCLS) professionaalsete teenuste äriüksuses. Tal on ulatuslik kogemus AI/ML rakendamisel tervishoiuvaldkonnas, eriti radioloogias. Väljaspool tööd, kui radioloogias tehisintellektist ei räägi, meeldib talle joosta ja matkata.
Han mees on andmeteaduse ja masinõppe vanemjuht koos AWS-i professionaalsete teenustega, mis asub San Diegos, CA. Tal on Northwesterni ülikooli inseneriteaduste doktorikraad ja mitmeaastane kogemus juhtimiskonsultandina, kes nõustab kliente tootmise, finantsteenuste ja energeetika vallas. Täna teeb ta kirglikult koostööd võtmeklientidega erinevatest tööstusharudest, et arendada ja rakendada AWS-is ML-i ja generatiivseid AI-lahendusi.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/deploy-large-language-models-for-a-healthtech-use-case-on-amazon-sagemaker/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 16
- 19
- 2017
- 2018
- 2021
- 2022
- 30
- 32
- 7
- a
- juurdepääs
- konto
- ACM
- meetmete
- tegevus
- lisatud
- aadress
- kasulik
- ebasoodne
- nõustamine
- pärast
- AI
- AI mudelid
- AI / ML
- AL
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- mööda
- Ka
- alati
- Amazon
- Amazon SageMaker
- Amazon Web Services
- summa
- an
- analüüs
- ja
- vastamine
- mistahes
- kuskil
- taotlus
- asjakohane
- arhitektuur
- Arhitektuurid
- OLEME
- valdkondades
- ümber
- kunstlik
- tehisintellekti
- AS
- At
- osalema
- tähelepanu
- automatiseerima
- saadaval
- keskmine
- vältima
- teadlik
- AWS
- AWS-i professionaalsed teenused
- tasakaalustatud
- baas
- põhineb
- BE
- sest
- olnud
- enne
- on
- Kasu
- BEST
- Parem
- vahel
- kahesuunaline
- Miljard
- suurendab
- mõlemad
- piirid
- ehitama
- Ehitus
- ehitatud
- äri
- kuid
- by
- CA
- Kutsub
- CAN
- pildistatud
- juhul
- väljakutse
- väljakutseid
- raske
- koormuste
- klass
- klassid
- klassifikatsioon
- kliendid
- Cloud
- kood
- Veerg
- Veerud
- kombineeritud
- tuleb
- tulevad
- kommentaarid
- Ettevõtted
- ettevõte
- täiendavad
- Vastavus
- komponendid
- terviklik
- koosneb
- ehitatud
- konsultant
- sisaldub
- sisu
- kontekst
- Mugav
- Maksma
- kulud
- cover
- looma
- loodud
- klient
- Kliendid
- andmed
- Andmete ettevalmistamine
- andmeteadus
- andmeteadlane
- Andmete struktuur
- sügavam
- määratlema
- Kraad
- edastamine
- süveneb
- näitab
- sõltuvused
- juurutada
- kirjeldama
- Detection
- arendama
- Arendajad
- & Tarkvaraarendus
- Diego
- erinev
- otse
- arutame
- mitmekesisus
- domeen
- Ära
- uimasti
- Narkootikumide
- ajal
- E&T
- iga
- Ökonoomika
- tõhusalt
- kirju
- võimaldama
- võimaldab
- krüpteerimist
- Lõpuks-lõpuni
- energia
- Inseneriteadus
- ajajärgud
- eriti
- oluline
- hindamine
- sündmus
- sündmused
- näited
- erand
- kogemus
- teadmised
- uurimine
- uurima
- ulatuslik
- Laialdased kogemused
- lisatasu
- f1
- nägu
- tagasiside
- täitma
- finants-
- finantsteenused
- esimene
- viis
- paindlik
- keskendunud
- Järel
- eest
- Alates
- täielikult
- tulevik
- Üldine
- tekitama
- loodud
- teeniva
- põlvkond
- generatiivne
- Generatiivne AI
- saama
- annab
- Globaalne
- koolilõpetaja
- käepide
- Käed
- Olema
- he
- Tervis
- tervishoid
- tervishoiutööstus
- HealthTech
- aitama
- aidates
- siin
- varjatud
- Suur
- Matk
- tema
- hoidma
- Avaleht
- haiglad
- võõrustas
- Kuidas
- Kuidas
- aga
- HTTPS
- Hüperparameetrite optimeerimine
- ideaalis
- identifitseerimiseks
- rakendada
- täitmine
- rakendused
- rakendatud
- import
- oluline
- parandama
- parandusi
- in
- hõlmab
- Kaasa arvatud
- Inkorporeeritud
- Suurendama
- kasvav
- kasvav
- tööstus
- info
- Infrastruktuur
- sisend
- Näiteks
- Integreerib
- integratsioon
- Intelligentsus
- interaktsioonid
- sisse
- sisse
- seotud
- IT
- ITS
- töö
- Tööturg
- jpg
- Võti
- Võtmevaldkonnad
- silt
- inetu
- maastik
- keel
- suur
- Õppida
- õppimine
- Lahkuma
- Pikkus
- Raamatukogu
- elu
- Maaülikooli
- nagu
- meeldib
- LLM
- Partii
- masin
- masinõpe
- tehtud
- põhiline
- peamine
- TEEB
- Tegemine
- mees
- juhitud
- juhtimine
- juht
- käsiraamat
- tootmine
- palju
- Turg
- suur
- meistrid
- Maksimeerima
- maksimaalne
- mehhanism
- Meedia
- meditsiini-
- meditsiinilised andmed
- Vastama
- meetodid
- Meetrika
- protokoll
- ML
- mudel
- mudelid
- jälgitakse
- rohkem
- peab
- nimi
- Natural
- Natural Language Processing
- võrk
- närvi-
- Närvivõrgus
- Sellegipoolest
- järgmine
- nlp
- ei
- mitte ükski
- märkused
- romaan
- number
- esineda
- of
- Pakkumised
- Pakkumised
- sageli
- on
- ONE
- ainult
- optimeerimine
- or
- et
- originaal
- Muu
- meie
- välja
- tulemusi
- väljund
- väljaspool
- üle
- üldine
- kõikehõlmav
- Paber
- Vastu võetud
- kohta
- jõudlus
- teostatud
- täidab
- Pharmaceutical
- phd
- telefon
- telefonikõned
- Füüsika
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- populaarne
- võimalik
- post
- potentsiaal
- võim
- võimas
- Praktiline
- ennustada
- ettevalmistamine
- Probleem
- probleeme
- protsess
- Töödeldud
- töötlemine
- toodab
- professionaalne
- Prognooside
- lubadus
- annab
- pakkudes
- väljaanded
- avalikult
- pütorch
- küsimus
- Küsimused
- kiiresti
- valik
- määr
- reaktsioon
- reaalajas
- viitama
- regulaaravaldis
- seotud
- suhteliselt
- Teatatud
- esindamine
- nõudma
- nõutav
- Nõuded
- Vahendid
- vastutustundlikult
- REST
- jõuline
- jooks
- ohutus
- salveitegija
- proov
- San
- San Diego
- skaalautuvia
- Skaala
- teadus
- TEADUSED
- teaduslik
- teadlane
- teadlased
- sujuvalt
- Osa
- tundub
- müüma
- semantiline
- vanem
- Lause
- tunne
- Jada
- tõsine
- teenus
- Teenused
- komplekt
- mitu
- ta
- näitama
- näitas
- Näitused
- SUURUS
- viltu
- väike
- So
- sotsiaalmeedia
- Sotsiaalse meedia
- lahendus
- Lahendused
- mõned
- mõnikord
- Allikad
- Ruum
- spetsialiseerunud
- konkreetse
- spetsiifikat
- jagada
- algus
- modernne
- Ühendriigid
- Sammud
- torm
- lihtne
- strateegiad
- struktuur
- selline
- toetama
- kindel
- sünergia
- süntaks
- sünteetiline
- sünteetilised andmed
- sünteetiliselt
- süsteem
- tabel
- võtnud
- võtab
- võtmine
- Ülesanne
- ülesanded
- tingimused
- test
- tekst
- Teksti liigitus
- et
- .
- maailm
- oma
- SIIS
- Need
- nad
- see
- need
- kuigi?
- Läbi
- aeg
- et
- täna
- kokku
- võttis
- tööriist
- töövahendid
- Teemasid
- traditsiooniline
- Rong
- koolitatud
- koolitus
- trafo
- trafod
- transiit
- Tõlge
- proovitud
- vallandada
- kaks
- tüüp
- mõistmine
- üksus
- Ülikool
- erinevalt
- Uudised
- us
- kasutama
- kasutage juhtumit
- Kasutatud
- kasulik
- Kasutajad
- kasutamine
- sort
- eri
- versioon
- vertikaalid
- elujõuline
- tahan
- oli
- Tee..
- we
- web
- veebiteenused
- Tervitab
- olid
- millal
- samas kui
- mis
- koos
- jooksul
- sõna
- sõnad
- Töö
- töö
- töötab
- maailm
- oleks
- aastat
- sa
- Sinu
- sephyrnet