Tervishoiu- ja bioteaduste (HCLS) kliendid kasutavad generatiivset tehisintellekti kui vahendit, et oma andmeid rohkem kasutada. Kasutusjuhtumid hõlmavad dokumendi kokkuvõtet, mis aitab lugejatel keskenduda dokumendi põhipunktidele ja struktureerimata teksti muutmist standardvormingutesse, et esile tõsta olulisi atribuute. Unikaalsete andmevormingute ja rangete regulatiivsete nõuete tõttu otsivad kliendid valikuid, et valida kõige tõhusam ja kulutõhusam mudel, samuti võimalus teha vajalikke kohandamisi (peenhäälestus), et need sobiksid nende ärilise kasutusega. Selles postituses tutvustame teile Falconi suure keelemudeli (LLM) juurutamist Amazon SageMaker JumpStart ja mudeli kasutamine pikkade dokumentide kokkuvõtte tegemiseks LangChaini ja Pythoni abil.
Lahenduse ülevaade
Amazon SageMaker põhineb Amazoni kahe aastakümne pikkusel kogemusel reaalsete ML-rakenduste arendamisel, sealhulgas tootesoovitused, isikupärastamine, intelligentne ostlemine, robootika ja häältoega seadmed. SageMaker on HIPAA nõuetele vastav hallatav teenus, mis pakub tööriistu, mis võimaldavad andmeteadlastel, ML-i inseneridel ja ärianalüütikutel ML-iga uuendusi teha. SageMakeri sees on Amazon SageMaker Studio, integreeritud arenduskeskkond (IDE), mis on loodud koostööks ML-i töövoogudeks, mis omakorda sisaldavad laias valikus kiirkäivituslahendusi ja eelkoolitatud ML-mudeleid integreeritud jaoturis nimega SageMaker JumpStart. SageMaker JumpStarti abil saate nende võimsate trafomudelitega katsetamiseks ja juurutamiseks kasutada eelkoolitatud mudeleid, nagu Falcon LLM, koos eelehitatud näidismärkmikute ja SDK toega. Saate kasutada SageMaker Studio ja SageMaker JumpStart oma generatiivse mudeli juurutamiseks ja päringute tegemiseks oma AWS-i kontol.
Samuti saate tagada, et kasuliku koormuse järeldusandmed ei lahkuks teie VPC-st. Saate luua mudelid ühe rentniku lõpp-punktidena ja juurutada need võrguisolatsiooniga. Lisaks saate kureerida ja hallata valitud mudelite komplekti, mis vastavad teie enda turvanõuetele, kasutades SageMaker JumpStarti privaatset mudelijaoturit ja salvestades sinna kinnitatud mudelid. SageMaker on rakendusalas HIPAA BAA, SOC123ja HITRUST CSF.
. Falcon LLM on suur keelemudel, mille on välja õpetanud Tehnoloogiainnovatsiooni Instituudi (TII) teadlased enam kui 1 triljonil märgil, kasutades AWS-i. Falconil on palju erinevaid variatsioone, mille kaks põhikomponenti Falcon 40B ja Falcon 7B koosnevad vastavalt 40 miljardist ja 7 miljardist parameetrist, kusjuures peenhäälestatud versioonid on koolitatud konkreetsete ülesannete jaoks, näiteks juhiste järgimiseks. Falcon täidab hästi mitmesuguseid ülesandeid, sealhulgas teksti kokkuvõtete tegemine, tundeanalüüs, küsimustele vastamine ja vestlus. See postitus annab ülevaate, mida saate järgida Falcon LLM-i juurutamiseks oma AWS-i kontole, kasutades teksti kokkuvõtte katsetamiseks SageMaker JumpStarti kaudu hallatavat märkmiku eksemplari.
Mudelikeskus SageMaker JumpStart sisaldab täielikke märkmikke iga mudeli juurutamiseks ja päringute tegemiseks. Selle kirjutamise seisuga on SageMaker JumpStart mudelikeskuses saadaval kuus Falconi versiooni: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 ja Falcon7B. See postitus kasutab mudelit Falcon 16B Instruct.
Järgmistes jaotistes näitame, kuidas alustada dokumentide kokkuvõtet, juurutades SageMaker Kiirstardis Falcon 7B.
Eeldused
Selle õpetuse jaoks on teil vaja SageMakeri domeeniga AWS-i kontot. Kui teil pole veel SageMakeri domeeni, vaadake Sisseehitatud Amazon SageMakeri domeeniga selle loomiseks.
Rakendage Falcon 7B, kasutades SageMaker JumpStart
Mudeli juurutamiseks toimige järgmiselt.
- Navigeerige SageMakeri konsoolist oma SageMaker Studio keskkonda.
- IDE sees, all SageMaker KiirStart valige navigeerimispaanil Mudelid, märkmikud, lahendused.
- Juurutage Falcon 7B Instruct mudel järelduste tegemiseks lõpp-punkti.
See avab mudeli Falcon 7B Instruct BF16 mudelikaardi. Sellelt lehelt leiate juurutada or Rong valikud ja lingid näidismärkmike avamiseks SageMaker Studios. See postitus kasutab mudeli juurutamiseks SageMaker JumpStarti näidismärkmikku.
- Vali Ava märkmik.
- Falcon 7B Instruct lõpp-punkti juurutamiseks käivitage sülearvuti neli esimest lahtrit.
Saate vaadata oma juurutatud JumpStarti mudeleid lehel Käivitas KiirStardi varad lehel.
- Navigeerimispaanil all SageMaker Kiirstart, vali Käivitas KiirStardi varad.
- Vali Mudeli lõpp-punktid vahekaarti, et vaadata lõpp-punkti olekut.
Kui Falcon LLM-i lõpp-punkt on juurutatud, olete valmis mudeli kohta päringuid tegema.
Käivitage oma esimene päring
Päringu käivitamiseks toimige järgmiselt.
- Kohta fail menüüst valige Uus ja märkmik uue märkmiku avamiseks.
Samuti saate valmis märkmiku alla laadida siin.
- Kui küsitakse, valige pilt, kernel ja eksemplari tüüp. Selle postituse jaoks valime Data Science 3.0 pildi, Python 3 tuuma ja ml.t3.medium eksemplari.
- Importige Boto3 ja JSON moodulid, sisestades esimesse lahtrisse järgmised kaks rida:
- press Tõstuklahv + sisestusklahv raku käivitamiseks.
- Järgmisena saate määratleda funktsiooni, mis kutsub teie lõpp-punkti. See funktsioon võtab sõnastiku kasuliku koormuse ja kasutab seda SageMakeri käitusaja kliendi käivitamiseks. Seejärel deserialiseerib see vastuse ning prindib sisendi ja loodud teksti.
Kasulik koormus sisaldab sisenditena viipa koos mudelile edastatavate järeldusparameetritega.
- Saate kasutada neid parameetreid koos viipaga, et häälestada mudeli väljund vastavalt oma kasutusjuhtumile:
Päring kokkuvõtteviipaga
See postitus kasutab kokkuvõtte demonstreerimiseks näidisuuringut. Näidistekstifail käsitleb automaatset teksti kokkuvõtet biomeditsiinilises kirjanduses. Tehke järgmised sammud.
- Lae PDF ja kopeerige tekst faili nimega
document.txt
. - Valige SageMaker Studios üleslaadimise ikoon ja laadige fail üles oma SageMaker Studio eksemplari.
Karbist väljas pakub Falcon LLM tuge teksti kokkuvõtete tegemiseks.
- Loome funktsiooni, mis kasutab kokkuvõtte tegemiseks kiireid inseneritehnikaid
document.txt
:
Märkate, et pikemate dokumentide puhul kuvatakse tõrge – Falconil on koos kõigi teiste LLM-idega sisendiks edastatavate žetoonide arv piiratud. Saame sellest piirist mööda minna, kasutades LangChaini täiustatud kokkuvõtete tegemise võimalusi, mis võimaldab palju suuremat sisendit edastada LLM-ile.
Importige ja käivitage kokkuvõtte kett
LangChain on avatud lähtekoodiga tarkvarateek, mis võimaldab arendajatel ja andmeteadlastel kiiresti luua, häälestada ja juurutada kohandatud generatiivseid rakendusi ilma keerukate ML-interaktsioonide haldamiseta, mida tavaliselt kasutatakse generatiivsete AI-keelemudelite paljude levinumate kasutusjuhtude abstrakteerimiseks vaid mõnes kohas. koodi ridu. LangChaini tugi AWS-teenustele hõlmab ka SageMakeri lõpp-punktide tuge.
LangChain pakub LLM-idele juurdepääsetavat liidest. Selle funktsioonid hõlmavad tööriistu kiireks mallimiseks ja kiireks aheldamiseks. Neid ahelaid saab kasutada tekstidokumentide kokkuvõtmiseks, mis on pikemad, kui keelemudel ühes kõnes toetab. Saate kasutada kaardi vähendamise strateegiat pikkade dokumentide kokkuvõtmiseks, jagades need hallatavateks tükkideks, tehes need kokku ja kombineerides (ja vajadusel uuesti kokku võttes).
- Alustuseks installime LangChaini:
- Importige asjakohased moodulid ja jagage pikk dokument tükkideks:
- LangChaini Falconiga tõhusaks töötamiseks peate määratlema kehtiva sisendi ja väljundi jaoks vaikimisi sisukäsitleja klassid:
- Kohandatud viipasid saate määratleda kui
PromptTemplate
objektid, mis on peamine vahend LangChainiga viipade esitamiseks kaardivähendava kokkuvõtliku lähenemisviisi jaoks. See on valikuline samm, sest vaikimisi pakutakse vastendamis- ja kombineerimisviipasid, kui kokkuvõtliku ahela laadimise kutse parameetrid (load_summarize_chain
) on määratlemata.
- LangChain toetab SageMakeri järelduste lõpp-punktides hostitud LLM-e, nii et AWS Pythoni SDK kasutamise asemel saate parema juurdepääsetavuse huvides ühenduse käivitada LangChaini kaudu:
- Lõpuks saate laadida kokkuvõtteahelasse ja käivitada sisenddokumentidel kokkuvõtte, kasutades järgmist koodi:
Kuna verbose
parameeter on seatud väärtusele True
, näete kõiki kaardi vähendamise lähenemisviisi vahepealseid väljundeid. See on kasulik sündmuste jada jälgimiseks, et jõuda lõpliku kokkuvõtteni. Selle kaardi vähendamise lähenemisviisiga saate tõhusalt kokku võtta dokumente, mis on palju pikemad, kui seda tavaliselt võimaldab mudeli maksimaalne sisendmärgi limiit.
Koristage
Kui olete järelduse lõpp-punkti kasutamise lõpetanud, on oluline see kustutada, et vältida tarbetuid kulusid järgmiste koodiridade tõttu.
Teiste vundamendimudelite kasutamine SageMaker JumpStartis
Teiste SageMaker JumpStartis saadaolevate alusmudelite kasutamine dokumentide kokkuvõtete tegemiseks nõuab seadistamiseks ja juurutamiseks minimaalseid üldkulusid. LLM-id varieeruvad aeg-ajalt olenevalt sisend- ja väljundvormingute struktuurist ning kui SageMaker JumpStarti lisatakse uusi mudeleid ja eeltehtud lahendusi, peate olenevalt ülesande rakendamisest võib-olla tegema järgmised koodimuudatused:
- Kui teete kokkuvõtet rakenduse kaudu
summarize()
meetod (meetod ilma LangChaini kasutamata), peate võib-olla muutma JSON-i struktuuripayload
parameeter, aga ka vastusemuutuja käsitleminequery_endpoint()
funktsioon - Kui teete kokkuvõtet LangChaini kaudu
load_summarize_chain()
meetodit, peate võib-olla seda muutmaContentHandlerTextSummarization
klass, täpsemalttransform_input()
jatransform_output()
funktsioonid, et õigesti käsitleda LLM-i oodatud kasulikku koormust ja LLM-i tagastatavat väljundit
Vundamendi mudelid erinevad mitte ainult selliste tegurite poolest nagu järelduste kiirus ja kvaliteet, vaid ka sisend- ja väljundvormingud. Oodatava sisendi ja väljundi kohta vaadake LLM-i asjakohase teabe lehekülge.
Järeldus
Falcon 7B Instruct mudel on saadaval mudelikeskuses SageMaker JumpStart ja see toimib paljudel kasutusjuhtudel. See postitus näitas, kuidas saate SageMaker JumpStarti abil omaenda Falcon LLM-i lõpp-punkti oma keskkonda juurutada ja SageMaker Studios oma esimesi katseid teha, võimaldades teil kiiresti oma mudeleid prototüüpida ja sujuvalt tootmiskeskkonda üle minna. Falconi ja LangChaini abil saate tõhusalt kokku võtta pikaajalised tervishoiu- ja bioteaduste dokumendid.
Lisateavet generatiivse AI-ga töötamise kohta AWS-is leiate aadressilt Teatame uutest tööriistadest generatiivse AI-ga ehitamiseks AWS-is. Saate alustada katsetamist ja dokumentide kokkuvõtete kontseptsioonitõestuste koostamist oma tervishoiule ja bioteadusele orienteeritud GenAI rakenduste jaoks, kasutades selles postituses kirjeldatud meetodit. Millal Amazonase aluspõhi on üldiselt saadaval, avaldame järelpostituse, mis näitab, kuidas saate Amazon Bedrocki ja LangChaini abil dokumentide kokkuvõtet rakendada.
Autoritest
John Kitaoka on Amazon Web Servicesi lahenduste arhitekt. John aitab klientidel kavandada ja optimeerida AI/ML töökoormust AWS-is, et aidata neil saavutada oma ärieesmärke.
Josh Famestad on Amazon Web Servicesi lahenduste arhitekt. Josh teeb koostööd avaliku sektori klientidega, et luua ja rakendada pilvepõhiseid lähenemisviise, et täita äriprioriteete.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :on
- :on
- :mitte
- $ UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- võime
- ABSTRACT
- Nõustub
- kättesaadavus
- juurdepääsetav
- konto
- Saavutada
- lisatud
- Vastuvõtmine
- jälle
- AI
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- lubatud
- Lubades
- võimaldab
- kõrval
- juba
- Ka
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analüüs
- Analüütikud
- ja
- loom
- loomad
- taotlus
- rakendused
- lähenemine
- lähenemisviisid
- heaks
- OLEME
- ümber
- AS
- At
- atribuudid
- Automaatne
- saadaval
- vältima
- AWS
- põhineb
- BE
- sest
- alustama
- usub,
- Miljard
- biomeditsiiniline
- keha
- julge
- Kast
- Murdma
- Purustamine
- ehitama
- Ehitus
- ehitatud
- äri
- kuid
- by
- helistama
- kutsutud
- CAN
- Saab
- võimeid
- võime
- kaart
- juhul
- juhtudel
- Rakke
- kett
- ketid
- muutma
- Vaidluste lahendamine
- valikuid
- Vali
- valimine
- klass
- klassid
- klient
- Cloud
- kood
- koostööl
- ühendama
- kombineerimine
- ühine
- tavaliselt
- võrreldes
- täitma
- Lõpetatud
- keeruline
- Koosneb
- mõiste
- lühike
- ühendus
- konsool
- sisaldama
- sisu
- kuluefektiivne
- kulud
- looma
- tava
- Kliendid
- kohandamine
- andmed
- andmeteadus
- aastakümnete
- vaikimisi
- määratlema
- tarnima
- näitama
- Näidatud
- Olenevalt
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- Disain
- Arendajad
- arenev
- & Tarkvaraarendus
- seadmed
- erinev
- do
- dokument
- dokumendid
- Ei tee
- domeen
- Ära
- alla
- lae alla
- iga
- maa
- tõhusalt
- võimaldama
- Lõpp-punkt
- Inseneriteadus
- Inseneride
- tõhustatud
- tagama
- Sisse
- keskkond
- viga
- sündmused
- näide
- täitma
- oodatav
- ootab
- kogemus
- eksperiment
- katseid
- nägu
- tegurid
- vale
- FUNKTSIOONID
- vähe
- fail
- lõplik
- leidma
- esimene
- sobima
- Keskenduma
- järgima
- Järel
- eest
- Sihtasutus
- neli
- Alates
- funktsioon
- funktsioonid
- Pealegi
- üldiselt
- tekitama
- loodud
- generatiivne
- Generatiivne AI
- saama
- Eesmärgid
- suurem
- käepide
- Käsitsemine
- Olema
- tervishoid
- aitama
- aitab
- Esile tõstma
- võõrustas
- Kuidas
- Kuidas
- HTML
- HTTPS
- Keskus
- ICON
- if
- pilt
- rakendada
- täitmine
- import
- oluline
- in
- sisaldama
- hõlmab
- Kaasa arvatud
- info
- uuendama
- Innovatsioon
- sisend
- sisendite
- paigaldama
- Näiteks
- selle asemel
- Instituut
- juhised
- integreeritud
- Intelligentne
- interaktsioonid
- Interface
- sisse
- isolatsioon
- IT
- ITS
- John
- Json
- lihtsalt
- Võti
- keel
- suur
- suurem
- käivitatud
- Lahkuma
- Raamatukogu
- elu
- Maaülikooli
- LIMIT
- liinid
- lingid
- kirjandus
- LLM
- koormus
- Pikk
- enam
- otsin
- põhiline
- tegema
- juhtima
- juhitav
- juhitud
- juhtiv
- palju
- kaardistus
- maksimaalne
- mai..
- keskmine
- menüü
- meetod
- minimaalne
- ML
- mudel
- mudelid
- muutma
- Moodulid
- rohkem
- kõige
- palju
- NAVIGATSIOON
- vajalik
- Vajadus
- vaja
- võrk
- Uus
- NIH
- Tavaliselt
- märkmik
- Märka..
- number
- esemeid
- of
- on
- ONE
- ainult
- avatud
- avatud lähtekoodiga
- Avatud lähtekoodiga tarkvara
- optimeerima
- Valikud
- Muu
- välja toodud
- väljund
- üle
- enda
- lehekülg
- pane
- Paber
- parameeter
- parameetrid
- Vastu võetud
- täitma
- esitades
- täidab
- Isikupärastamine
- Platon
- Platoni andmete intelligentsus
- PlatoData
- võrra
- post
- võimas
- trükk
- pildid
- era-
- protsess
- Toode
- Produktsioon
- tõendid
- prototüüp
- anda
- tingimusel
- annab
- säte
- avalik
- avaldama
- Python
- kvaliteet
- küsimus
- kiiresti
- kiiresti
- lugejad
- valmis
- päris maailm
- soovitused
- viitama
- regulatiivne
- asjakohane
- Nõuded
- Vajab
- teadustöö
- Teadlased
- vastavalt
- vastus
- tagasipöördumine
- robootika
- jooks
- salveitegija
- SageMakeri järeldus
- Skaala
- teadus
- TEADUSED
- teadlased
- ulatus
- SDK
- sujuvalt
- lõigud
- sektor
- turvalisus
- vaata
- väljavalitud
- SELF
- tunne
- Jada
- teenus
- Teenused
- komplekt
- kehtestamine
- ostud
- Lühike
- näitama
- ühekordne
- SIX
- So
- tarkvara
- Lahendused
- konkreetse
- eriti
- kiirus
- algus
- alustatud
- olek
- Samm
- Sammud
- ladustamine
- Strateegia
- Range
- struktuur
- stuudio
- selline
- Kokku võtta
- KOKKUVÕTE
- toetama
- Toetab
- võtab
- Ülesanne
- ülesanded
- tehnikat
- Tehnoloogia
- Tehnoloogia innovatsioon
- tekst
- kui
- et
- .
- oma
- Neile
- SIIS
- Seal.
- Need
- see
- Läbi
- et
- kokku
- sümboolne
- märgid
- tööriist
- töövahendid
- koolitatud
- trafo
- transformeerivate
- üleminek
- triljon
- tõsi
- Pöörake
- juhendaja
- kaks
- tüüp
- defineerimata
- ainulaadne
- tarbetu
- Üleslaadimine
- kasutama
- kasutage juhtumit
- Kasutatud
- kasutusalad
- kasutamine
- muutuja
- sort
- sõiduk
- versioonid
- kaudu
- vaade
- kõndima
- läbikäiguks
- we
- web
- veebiteenused
- Hästi
- M
- millal
- mis
- lai
- will
- koos
- jooksul
- ilma
- Töö
- Töövoogud
- töö
- töötab
- kirjutama
- kirjutamine
- sa
- Sinu
- sephyrnet