Stranke v zdravstvu in znanostih o življenju (HCLS) sprejemajo generativno umetno inteligenco kot orodje, s katerim lahko bolje izkoristijo svoje podatke. Primeri uporabe vključujejo povzemanje dokumenta, ki pomaga bralcem, da se osredotočijo na ključne točke dokumenta, in preoblikovanje nestrukturiranega besedila v standardizirane formate za poudarjanje pomembnih atributov. Z edinstvenimi formati podatkov in strogimi regulativnimi zahtevami stranke iščejo izbiro najzmogljivejšega in stroškovno učinkovitega modela ter možnost izvajanja potrebnih prilagoditev (fine nastavitve), da ustrezajo njihovemu primeru poslovne uporabe. V tej objavi vas vodimo skozi uvajanje velikega jezikovnega modela Falcon (LLM) z uporabo Amazon SageMaker JumpStart in uporabo modela za povzemanje dolgih dokumentov z LangChain in Python.
Pregled rešitev
Amazon SageMaker temelji na Amazonovih dveh desetletjih izkušenj z razvojem aplikacij ML v resničnem svetu, vključno s priporočili za izdelke, personalizacijo, inteligentnim nakupovanjem, robotiko in glasovno podprtimi napravami. SageMaker je upravljana storitev, primerna za HIPAA, ki ponuja orodja, ki podatkovnim znanstvenikom, inženirjem ML in poslovnim analitikom omogočajo inovacije z ML. Znotraj SageMaker je Amazon SageMaker Studio, integrirano razvojno okolje (IDE), namensko zgrajeno za sodelovalne poteke dela ML, ki nato vsebujejo široko paleto rešitev za hitri zagon in vnaprej usposobljenih modelov ML v integriranem vozlišču, imenovanem SageMaker JumpStart. S SageMaker JumpStart lahko uporabite vnaprej pripravljene modele, kot je Falcon LLM, z vnaprej zgrajenimi vzorčnimi zvezki in podporo za SDK, da eksperimentirate s temi zmogljivimi transformatorskimi modeli in jih uvedete. SageMaker Studio in SageMaker JumpStart lahko uporabite za uvajanje in poizvedovanje lastnega generativnega modela v vašem računu AWS.
Prav tako lahko zagotovite, da podatki koristnega tovora sklepanja ne zapustijo vašega VPC. Modele lahko zagotovite kot končne točke z enim najemnikom in jih uvedete z omrežno izolacijo. Poleg tega lahko pripravite in upravljate izbrani nabor modelov, ki izpolnjujejo vaše lastne varnostne zahteve, tako da uporabite zmogljivost vozlišča za zasebne modele znotraj SageMaker JumpStart in tam shranite odobrene modele. SageMaker je na voljo za HIPAA BAA, SOC123in HITRUST CSF.
O Falcon LLM je velik jezikovni model, ki so ga usposobili raziskovalci na Inštitutu za tehnološke inovacije (TII) na več kot 1 bilijonu žetonov z uporabo AWS. Falcon ima veliko različnih različic, z dvema glavnima sestavinama Falcon 40B in Falcon 7B, sestavljenima iz 40 milijard oziroma 7 milijard parametrov, s podrobno prilagojenimi različicami, usposobljenimi za posebne naloge, kot je sledenje navodilom. Falcon se dobro obnese pri različnih nalogah, vključno s povzemanjem besedila, analizo čustev, odgovarjanjem na vprašanja in pogovorom. Ta objava ponuja potek, ki mu lahko sledite, da uvedete Falcon LLM v svoj račun AWS z uporabo primerka upravljanega prenosnika prek SageMaker JumpStart za eksperimentiranje s povzemanjem besedila.
Središče modelov SageMaker JumpStart vključuje celotne prenosne računalnike za uvajanje in poizvedovanje po vsakem modelu. Od tega pisanja je v središču modelov SageMaker JumpStart na voljo šest različic Falcona: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 in Falcon 7B BF16. Ta objava uporablja model Falcon 7B Instruct.
V naslednjih razdelkih prikazujemo, kako začeti s povzemanjem dokumentov z uvedbo programa Falcon 7B na SageMaker Jumpstart.
Predpogoji
Za to vadnico boste potrebovali račun AWS z domeno SageMaker. Če še nimate domene SageMaker, si oglejte Vkrcajte se na domeno Amazon SageMaker ustvariti enega.
Razmestite Falcon 7B s pomočjo SageMaker JumpStart
Če želite razmestiti svoj model, dokončajte naslednje korake:
- Pomaknite se do svojega okolja SageMaker Studio s konzole SageMaker.
- Znotraj IDE, pod SageMaker JumpStart v podoknu za krmarjenje izberite Modeli, zvezki, rešitve.
- Razmestite model Falcon 7B Instruct na končno točko za sklepanje.
To bo odprlo kartico modela za model Falcon 7B Instruct BF16. Na tej strani lahko najdete uvajanje or Vlak možnosti kot tudi povezave za odpiranje vzorčnih zvezkov v SageMaker Studio. Ta objava bo za uvedbo modela uporabila vzorčni prenosni računalnik podjetja SageMaker JumpStart.
- Izberite Odpri zvezek.
- Zaženite prve štiri celice zvezka, da uvedete končno točko Falcon 7B Instruct.
Svoje nameščene modele JumpStart si lahko ogledate na Lansirana sredstva JumpStart stran.
- V podoknu za krmarjenje pod SageMaker Jumpstart, izberite Lansirana sredstva JumpStart.
- Izberite Končne točke modela zavihek za ogled stanja končne točke.
Z nameščeno končno točko Falcon LLM ste pripravljeni na poizvedovanje po modelu.
Zaženite prvo poizvedbo
Če želite zagnati poizvedbo, izvedite naslednje korake:
- o file izberite meni Novo in notebook da odprete nov zvezek.
Izpolnjen zvezek si lahko tudi prenesete tukaj.
- Ob pozivu izberite sliko, jedro in vrsto primerka. Za to objavo izberemo sliko Data Science 3.0, jedro Python 3 in primerek ml.t3.medium.
- Uvozite modula Boto3 in JSON tako, da v prvo celico vnesete naslednji dve vrstici:
- Pritisnite Shift + Enter za zagon celice.
- Nato lahko definirate funkcijo, ki bo poklicala vašo končno točko. Ta funkcija sprejme obremenitev slovarja in jo uporabi za priklic izvajalnega odjemalca SageMaker. Nato deserializira odgovor in natisne vhodno in ustvarjeno besedilo.
Koristna obremenitev vključuje poziv kot vhodne podatke, skupaj s parametri sklepanja, ki bodo posredovani modelu.
- Te parametre lahko uporabite s pozivom za nastavitev izhoda modela za vaš primer uporabe:
Poizvedba s pozivom za povzemanje
Ta objava uporablja vzorec raziskovalnega dokumenta za prikaz povzemanja. Primer besedilne datoteke se nanaša na samodejno povzemanje besedila v biomedicinski literaturi. Izvedite naslednje korake:
- Prenos PDF in kopirajte besedilo v datoteko z imenom
document.txt
. - V SageMaker Studio izberite ikono za nalaganje in naložite datoteko v svoj primerek SageMaker Studio.
Falcon LLM takoj po namestitvi nudi podporo za povzemanje besedila.
- Ustvarimo funkcijo, ki za povzetek uporablja tehnike hitrega inženiringa
document.txt
:
Opazili boste, da se pri daljših dokumentih pojavi napaka – Falcon ima poleg vseh drugih LLM-jev omejitev števila žetonov, posredovanih kot vnos. To omejitev lahko zaobidemo z uporabo izboljšanih zmožnosti povzemanja LangChaina, ki omogočajo, da se LLM posreduje veliko večji vnos.
Uvozite in zaženite verigo povzemanja
LangChain je knjižnica odprtokodne programske opreme, ki razvijalcem in podatkovnim znanstvenikom omogoča hitro gradnjo, prilagajanje in uvajanje generativnih aplikacij po meri brez upravljanja zapletenih interakcij ML, ki se običajno uporabljajo za abstrahiranje številnih običajnih primerov uporabe generativnih jezikovnih modelov AI v samo nekaj vrstice kode. Podpora LangChain za storitve AWS vključuje podporo za končne točke SageMaker.
LangChain ponuja dostopen vmesnik za LLM. Njegove funkcije vključujejo orodja za hitro izdelavo predlog in hitro veriženje. Te verige je mogoče uporabiti za povzemanje besedilnih dokumentov, ki so daljši od tistega, kar podpira jezikovni model, v enem klicu. Za povzemanje dolgih dokumentov lahko uporabite strategijo zmanjševanja zemljevidov, tako da jih razdelite na obvladljive dele, jih povzamete in združite (in po potrebi znova povzamete).
- Za začetek namestimo LangChain:
- Uvozite ustrezne module in razdelite dolg dokument na dele:
- Da bo LangChain učinkovito deloval s Falconom, morate definirati privzete razrede obdelovalcev vsebine za veljaven vnos in izhod:
- Pozive po meri lahko definirate kot
PromptTemplate
predmeti, glavno sredstvo za pozivanje z LangChain, za pristop povzemanja z zmanjšanjem zemljevida. To je izbirni korak, ker so pozivi za preslikavo in združevanje privzeto na voljo, če so parametri znotraj klica za nalaganje verige povzemanja (load_summarize_chain
) so nedefinirani.
- LangChain podpira LLM-je, ki gostujejo na končnih točkah sklepanja SageMaker, tako da lahko namesto uporabe AWS Python SDK inicializirate povezavo prek LangChaina za večjo dostopnost:
- Končno lahko naložite v verigo povzemanja in zaženete povzetek na vhodnih dokumentih z naslednjo kodo:
Ker verbose
parameter je nastavljen na True
, boste videli vse vmesne rezultate pristopa zmanjševanja zemljevida. To je uporabno za sledenje zaporedju dogodkov, da pridemo do končnega povzetka. S tem pristopom zmanjševanja zemljevidov lahko dokumente učinkovito povzemate veliko dlje, kot običajno dovoljuje največja omejitev vhodnega žetona modela.
Čiščenje
Ko končate z uporabo končne točke sklepanja, je pomembno, da jo izbrišete, da se izognete nepotrebnim stroškom zaradi naslednjih vrstic kode:
Uporaba drugih modelov temeljev v SageMaker JumpStart
Uporaba drugih modelov temeljev, ki so na voljo v SageMaker JumpStart za povzemanje dokumentov, zahteva minimalne stroške za nastavitev in uvajanje. LLM-ji se občasno razlikujejo glede na strukturo vhodnih in izhodnih formatov, in ko se v SageMaker JumpStart dodajajo novi modeli in vnaprej izdelane rešitve, boste morda morali narediti naslednje spremembe kode, odvisno od izvedbe naloge:
- Če izvajate povzemanje prek
summarize()
(metoda brez uporabe LangChain), boste morda morali spremeniti strukturo JSONpayload
parametra, kot tudi ravnanje s spremenljivko odziva vquery_endpoint()
funkcija - Če izvajate povzemanje prek LangChain's
load_summarize_chain()
način, boste morda morali spremenitiContentHandlerTextSummarization
razreda, natančnejetransform_input()
intransform_output()
funkcij, da pravilno obravnava koristno obremenitev, ki jo LLM pričakuje, in izhod, ki ga LLM vrne
Temeljni modeli se razlikujejo ne samo glede dejavnikov, kot sta hitrost sklepanja in kakovost, ampak tudi vhodnih in izhodnih formatov. Glejte ustrezno stran z informacijami LLM o pričakovanem vnosu in izhodu.
zaključek
Model Falcon 7B Instruct je na voljo v vozlišču modelov SageMaker JumpStart in deluje v številnih primerih uporabe. Ta objava je pokazala, kako lahko uvedete svojo lastno končno točko Falcon LLM v svoje okolje z uporabo SageMaker JumpStart in izvedete prve poskuse iz SageMaker Studio, kar vam omogoča hitro izdelavo prototipov vaših modelov in nemoten prehod v produkcijsko okolje. S Falconom in LangChainom lahko učinkovito povzamete dolgoročne dokumente zdravstvenega varstva in znanosti o življenju v velikem obsegu.
Za več informacij o delu z generativnim AI na AWS glejte Napovedujemo nova orodja za gradnjo z Generative AI na AWS. Z metodo, opisano v tej objavi, lahko začnete eksperimentirati in graditi dokaze koncepta povzetka dokumentov za vaše aplikacije GenAI, usmerjene v zdravstvo in znanost o življenju. Kdaj Amazon Bedrock je splošno na voljo, bomo objavili nadaljnjo objavo, ki prikazuje, kako lahko implementirate povzemanje dokumentov z uporabo Amazon Bedrock in LangChain.
O avtorjih
John Kitaoka je arhitekt rešitev pri Amazon Web Services. John pomaga strankam oblikovati in optimizirati delovne obremenitve AI/ML na AWS, da jim pomaga doseči njihove poslovne cilje.
Josh Famestad je arhitekt rešitev pri Amazon Web Services. Josh sodeluje s strankami iz javnega sektorja pri izgradnji in izvajanju pristopov, ki temeljijo na oblaku, za doseganje poslovnih prednostnih nalog.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :ima
- : je
- :ne
- $GOR
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- sposobnost
- POVZETEK
- Sprejema
- dostopnost
- dostopen
- Račun
- Doseči
- dodano
- Sprejem
- spet
- AI
- AI / ML
- vsi
- dovoljene
- Dovoli
- omogoča
- skupaj
- že
- Prav tako
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- Analiza
- Analitiki
- in
- živali
- Živali
- uporaba
- aplikacije
- pristop
- pristopi
- odobren
- SE
- okoli
- AS
- At
- lastnosti
- Samodejno
- Na voljo
- izogniti
- AWS
- temeljijo
- BE
- ker
- začetek
- meni
- Billion
- biomedicina
- telo
- krepko
- Pasovi
- Break
- Breaking
- izgradnjo
- Building
- zgrajena
- poslovni
- vendar
- by
- klic
- se imenuje
- CAN
- Lahko dobiš
- Zmogljivosti
- zmožnost
- kartice
- primeru
- primeri
- Celice
- verige
- verige
- spremenite
- Spremembe
- možnosti
- Izberite
- izbiri
- razred
- razredi
- stranke
- Cloud
- Koda
- sodelovanje
- združujejo
- združevanje
- Skupno
- pogosto
- v primerjavi z letom
- dokončanje
- Končana
- kompleksna
- Sestavljeno
- Koncept
- zgoščeno
- povezava
- Konzole
- vsebujejo
- vsebina
- stroškovno učinkovito
- stroški
- ustvarjajo
- po meri
- Stranke, ki so
- customization
- datum
- znanost o podatkih
- desetletja
- privzeto
- opredeliti
- poda
- izkazati
- Dokazano
- Odvisno
- razporedi
- razporejeni
- uvajanja
- uvajanje
- Oblikovanje
- Razvijalci
- razvoju
- Razvoj
- naprave
- drugačen
- do
- dokument
- Dokumenti
- Ne
- domena
- dont
- navzdol
- prenesi
- vsak
- Zemlja
- učinkovito
- omogočajo
- Končna točka
- Inženiring
- Inženirji
- okrepljeno
- zagotovitev
- V
- okolje
- Napaka
- dogodki
- Primer
- izvršiti
- Pričakuje
- pričakuje
- izkušnje
- poskus
- Poskusi
- Obraz
- dejavniki
- false
- Lastnosti
- Nekaj
- file
- končna
- Najdi
- prva
- fit
- Osredotočite
- sledi
- po
- za
- Fundacija
- štiri
- iz
- funkcija
- funkcije
- Poleg tega
- splošno
- ustvarjajo
- ustvarila
- generativno
- Generativna AI
- dobili
- Cilji
- več
- ročaj
- Ravnanje
- Imajo
- zdravstveno varstvo
- pomoč
- Pomaga
- Označite
- gostila
- Kako
- Kako
- HTML
- HTTPS
- Hub
- ICON
- if
- slika
- izvajati
- Izvajanje
- uvoz
- Pomembno
- in
- vključujejo
- vključuje
- Vključno
- Podatki
- inovacije
- Inovacije
- vhod
- vhodi
- namestitev
- primer
- Namesto
- Inštitut
- Navodila
- integrirana
- Inteligentna
- interakcije
- vmesnik
- v
- izolacija
- IT
- ITS
- John
- json
- samo
- Ključne
- jezik
- velika
- večja
- začela
- pustite
- Knjižnica
- življenje
- Life Sciences
- LIMIT
- linije
- Povezave
- literatura
- LLM
- obremenitev
- Long
- več
- si
- Glavne
- Znamka
- upravljanje
- obvladljiv
- upravlja
- upravljanje
- več
- kartiranje
- največja
- Maj ..
- srednje
- Meni
- Metoda
- minimalna
- ML
- Model
- modeli
- spremenite
- Moduli
- več
- Najbolj
- veliko
- ostalo
- potrebno
- Nimate
- potrebna
- mreža
- Novo
- NIH
- Običajno
- prenosnik
- Opaziti..
- Številka
- predmeti
- of
- on
- ONE
- samo
- odprite
- open source
- Odprtokodna programska oprema
- Optimizirajte
- možnosti
- Ostalo
- opisano
- izhod
- več
- lastne
- Stran
- podokno
- Papir
- parameter
- parametri
- opravil
- Izvedite
- izvajati
- opravlja
- personalizacija
- platon
- Platonova podatkovna inteligenca
- PlatoData
- točke
- Prispevek
- močan
- Tiskanje
- printi
- zasebna
- Postopek
- Izdelek
- proizvodnja
- dokazov
- Prototip
- zagotavljajo
- če
- zagotavlja
- zagotavljanje
- javnega
- objavijo
- Python
- kakovost
- vprašanje
- hitro
- hitro
- bralci
- pripravljen
- resnični svet
- Priporočila
- glejte
- regulatorni
- pomembno
- Zahteve
- zahteva
- Raziskave
- raziskovalci
- oziroma
- Odgovor
- vrnitev
- robotika
- Run
- sagemaker
- Sklep SageMaker
- Lestvica
- Znanost
- ZNANOSTI
- Znanstveniki
- Obseg
- SDK
- brez težav
- oddelki
- sektor
- varnost
- glej
- izbran
- SAMO
- sentiment
- Zaporedje
- Storitev
- Storitve
- nastavite
- nastavitev
- Nakupovalna
- Kratke Hlače
- Prikaži
- sam
- SIX
- So
- Software
- rešitve
- specifična
- posebej
- hitrost
- Začetek
- začel
- Status
- Korak
- Koraki
- shranjevanje
- Strategija
- Stroga
- Struktura
- studio
- taka
- Povzamemo
- POVZETEK
- podpora
- Podpira
- meni
- Naloga
- Naloge
- tehnike
- Tehnologija
- Tehnološka inovacija
- besedilo
- kot
- da
- O
- njihove
- Njih
- POTEM
- Tukaj.
- te
- ta
- skozi
- do
- skupaj
- žeton
- Boni
- orodje
- orodja
- usposobljeni
- transformator
- preoblikovanje
- Prehod
- Bilijona
- Res
- OBRAT
- Navodila
- dva
- tip
- undefined
- edinstven
- nepotrebna
- Prenos
- uporaba
- primeru uporabe
- Rabljeni
- uporablja
- uporabo
- spremenljivka
- raznolikost
- vozilo
- različice
- preko
- Poglej
- sprehod
- walkthrough
- we
- web
- spletne storitve
- Dobro
- Kaj
- kdaj
- ki
- široka
- bo
- z
- v
- brez
- delo
- delovnih tokov
- deluje
- deluje
- pisati
- pisanje
- Vi
- Vaša rutina za
- zefirnet