Az egészségügyi és élettudományi (HCLS) ügyfelei a generatív mesterséges intelligenciát alkalmazzák, hogy többet hozhassanak ki adataikból. A felhasználási esetek közé tartozik a dokumentumösszegzés, amely segít az olvasóknak a dokumentum kulcsfontosságú pontjaira összpontosítani, valamint a strukturálatlan szöveg szabványos formátumokká alakítása a fontos tulajdonságok kiemelése érdekében. Az egyedi adatformátumoknak és a szigorú szabályozási követelményeknek köszönhetően az ügyfelek választási lehetőséget keresnek a legteljesítményesebb és legköltséghatékonyabb modell kiválasztásához, valamint a szükséges testreszabás (finomhangolás) lehetőségét az üzleti felhasználási esetükhöz igazodva. Ebben a bejegyzésben végigvezetjük a Falcon nagy nyelvi modell (LLM) használatával Amazon SageMaker JumpStart és a modell használata hosszú dokumentumok összefoglalására LangChain és Python segítségével.
Megoldás áttekintése
Amazon SageMaker az Amazon két évtizedes tapasztalatára épül a valós ML alkalmazások fejlesztésében, beleértve a termékajánlatokat, a személyre szabást, az intelligens vásárlást, a robotikát és a hangalapú eszközöket. A SageMaker egy HIPAA-kompatibilis felügyelt szolgáltatás, amely olyan eszközöket biztosít, amelyek lehetővé teszik az adattudósok, az ML-mérnökök és az üzleti elemzők számára az ML-alapú innovációt. A SageMakeren belül van Amazon SageMaker Studio, egy integrált fejlesztői környezet (IDE), amelyet kifejezetten az együttműködésen alapuló ML-munkafolyamatokhoz építettek, amelyek viszont gyorsindítási megoldások és előre betanított ML-modellek széles választékát tartalmazzák a SageMaker JumpStart nevű integrált központban. A SageMaker JumpStart segítségével előre betanított modelleket, például a Falcon LLM-et, előre beépített mintafüzetekkel és SDK-támogatással kísérletezhet és telepíthet ezekkel a nagy teljesítményű transzformátormodellekkel. A SageMaker Studio és a SageMaker JumpStart segítségével telepítheti és lekérdezheti saját generatív modelljét az AWS-fiókjában.
Biztosíthatja azt is, hogy a következtetési hasznos adatok ne hagyják el a VPC-t. A modelleket egyetlen bérlős végpontként is kiépítheti, és hálózati elkülönítéssel telepítheti. Ezenkívül a SageMaker JumpStart privát modellközpontjának használatával és a jóváhagyott modellek tárolásával válogathatja és kezelheti a kiválasztott modellkészleteket, amelyek megfelelnek saját biztonsági követelményeinek. A SageMaker alkalmazásban van HIPAA BAA, SOC123és HITRUST CSF.
A Falcon LLM egy nagy nyelvi modell, amelyet a Technology Innovation Institute (TII) kutatói képeztek ki több mint 1 billió tokennel az AWS használatával. A Falconnak számos különböző változata van, két fő összetevője, a Falcon 40B és a Falcon 7B, amelyek 40 milliárd, illetve 7 milliárd paraméterből állnak, és a finomhangolt változatok speciális feladatokra vannak kiképezve, például az utasítások követésére. A Falcon jól teljesít számos feladatban, beleértve a szövegösszegzést, a hangulatelemzést, a kérdések megválaszolását és a beszélgetést. Ez a bejegyzés bemutatja a Falcon LLM-nek az AWS-fiókjában való üzembe helyezéséhez szükséges áttekintést a SageMaker JumpStart segítségével felügyelt jegyzetfüzet-példány használatával, hogy kísérletezzen szöveges összegzéssel.
A SageMaker JumpStart modellközpont komplett notebookokat tartalmaz az egyes modellek telepítéséhez és lekérdezéséhez. Jelen pillanatban a Falcon hat változata érhető el a SageMaker JumpStart modellközpontban: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 és Falcon7B. Ez a bejegyzés a Falcon 16B Instruct modellt használja.
A következő szakaszokban bemutatjuk, hogyan kezdje meg a dokumentum-összegzést a Falcon 7B telepítésével a SageMaker Jumpstarton.
Előfeltételek
Ehhez az oktatóanyaghoz SageMaker-domainnel rendelkező AWS-fiókra lesz szüksége. Ha még nem rendelkezik SageMaker domainnel, tekintse meg a Bekapcsolva az Amazon SageMaker domainbe létrehozni.
Telepítse a Falcon 7B-t a SageMaker JumpStart segítségével
A modell üzembe helyezéséhez hajtsa végre a következő lépéseket:
- Keresse meg a SageMaker Studio környezetet a SageMaker konzolról.
- Az IDE-n belül, alatt SageMaker JumpStart a navigációs ablakban válassza a lehetőséget Modellek, notebookok, megoldások.
- Telepítse a Falcon 7B Instruct modellt egy végpontra következtetés céljából.
Ezzel megnyílik a Falcon 7B Instruct BF16 modell modellkártyája. Ezen az oldalon megtalálhatja a Telepítése or Vonat opciókat, valamint hivatkozásokat a mintajegyzetfüzetek SageMaker Studio programban való megnyitásához. Ez a bejegyzés a SageMaker JumpStart mintajegyzetfüzetét használja a modell üzembe helyezéséhez.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Nyissa meg a jegyzetfüzetet.
- Futtassa a notebook első négy celláját a Falcon 7B Instruct végpont üzembe helyezéséhez.
Megtekintheti a telepített JumpStart modelljeit a Elindította a JumpStart eszközöket cimre.
- A navigációs ablakban a SageMaker Jumpstart, választ Elindította a JumpStart eszközöket.
- Válassza a Modellvégpontok fület a végpont állapotának megtekintéséhez.
A Falcon LLM végpont telepítésével készen áll a modell lekérdezésére.
Futtassa le az első lekérdezést
Lekérdezés futtatásához hajtsa végre a következő lépéseket:
- A filé menüben válasszon Új és a jegyzetfüzet új jegyzetfüzet megnyitásához.
Az elkészült jegyzetfüzetet is letöltheti itt.
- Amikor a rendszer kéri, válassza ki a képet, a kernelt és a példánytípust. Ehhez a bejegyzéshez a Data Science 3.0 rendszerképet, a Python 3 kernelt és az ml.t3.medium példányt választjuk.
- Importálja a Boto3 és JSON modulokat a következő két sor első cellájába történő beírásával:
- nyomja meg Shift + Enter hogy futtassák a sejtet.
- Ezután meghatározhat egy függvényt, amely meghívja a végpontját. Ez a függvény egy szótár hasznos terhelést vesz fel, és azt használja a SageMaker futásidejű kliens meghívására. Ezután deszerializálja a választ, és kinyomtatja a bemeneti és generált szöveget.
A hasznos adat bemenetként tartalmazza a promptot a modellnek átadandó következtetési paraméterekkel együtt.
- Ezeket a paramétereket használhatja a prompttal, hogy a modell kimenetét a használati esetnek megfelelően hangolja:
Lekérdezés összefoglaló prompttal
Ez a bejegyzés egy kutatási mintaanyagot használ az összefoglalás bemutatására. A példa szövegfájl az orvosbiológiai irodalom automatikus szövegösszegzésére vonatkozik. Hajtsa végre a következő lépéseket:
- Letöltés a PDF-fájlt, és másolja a szöveget egy nevű fájlba
document.txt
. - A SageMaker Studio alkalmazásban válassza ki a feltöltés ikont, és töltse fel a fájlt a SageMaker Studio példányába.
A Falcon LLM már a dobozból is támogatja a szöveges összegzést.
- Hozzunk létre egy függvényt, amely gyors mérnöki technikákat használ az összegzéshez
document.txt
:
Észreveheti, hogy hosszabb dokumentumok esetén hiba jelenik meg – a Falcon, az összes többi LLM mellett, korlátozza a bemenetként átadott tokenek számát. Ezt a határt megkerülhetjük a LangChain továbbfejlesztett összegzési képességeivel, amely sokkal nagyobb bemenetet tesz lehetővé az LLM-nek.
Összefoglaló lánc importálása és futtatása
A LangChain egy nyílt forráskódú szoftverkönyvtár, amely lehetővé teszi a fejlesztők és adattudósok számára, hogy gyorsan építsenek, hangolhassanak és telepítsenek egyedi generatív alkalmazásokat bonyolult ML interakciók kezelése nélkül, amelyet általában arra használnak, hogy a generatív mesterséges intelligencia nyelvi modelljeinek számos gyakori használati esetét absztraháljanak. kódsorok. A LangChain AWS-szolgáltatások támogatása magában foglalja a SageMaker-végpontok támogatását is.
A LangChain elérhető felületet biztosít az LLM-eknek. Jellemzői közé tartoznak a gyorssablonozáshoz és az azonnali láncoláshoz szükséges eszközök. Ezek a láncok használhatók olyan szöveges dokumentumok összefoglalására, amelyek hosszabbak, mint amit a nyelvi modell egyetlen hívásban támogat. A térképcsökkentési stratégiát hosszú dokumentumok összegzésére használhatja úgy, hogy kezelhető darabokra bontja, összefoglalja, majd kombinálja őket (és szükség esetén újra összefoglalja).
- Kezdésként telepítsük a LangChaint:
- Importálja a megfelelő modulokat, és bontsa darabokra a hosszú dokumentumot:
- Ahhoz, hogy a LangChain hatékonyan működjön együtt a Falconnal, meg kell határoznia az alapértelmezett tartalomkezelő osztályokat az érvényes bemenethez és kimenethez:
- Egyéni promptokat úgy határozhat meg, mint
PromptTemplate
objektumok, a LangChain segítségével történő felszólítás fő eszköze a térképcsökkentési összefoglaló megközelítéshez. Ez egy opcionális lépés, mert a leképezési és kombinálási promptok alapértelmezés szerint rendelkezésre állnak, ha az összesítő lánc betöltéséhez szükséges hívás paraméterei (load_summarize_chain
) meghatározatlanok.
- A LangChain támogatja a SageMaker következtetési végpontokon tárolt LLM-eket, így az AWS Python SDK használata helyett inicializálhatja a kapcsolatot a LangChain segítségével a nagyobb hozzáférhetőség érdekében:
- Végül betölthet egy összegző láncot, és futtathat egy összegzést a bemeneti dokumentumokon a következő kóddal:
Mivel az verbose
paraméter beállítása True
, látni fogja a térképcsökkentési megközelítés összes közbenső kimenetét. Ez akkor hasznos, ha követni szeretné az események sorrendjét, hogy végleges összegzést kaphasson. Ezzel a leképezéscsökkentési megközelítéssel hatékonyan összegezheti a sokkal hosszabb dokumentumokat, mint amennyit a modell maximális bemeneti jogkivonat korlátja általában megengedett.
Tisztítsuk meg
Miután befejezte a következtetési végpont használatát, fontos, hogy törölje azt, hogy elkerülje a felesleges költségeket a következő kódsorok miatt:
Más alapozó modellek használata a SageMaker JumpStartban
A SageMaker JumpStartban elérhető egyéb alapmodellek felhasználása a dokumentumok összegzéséhez minimális többletköltséget igényel a beállításhoz és a telepítéshez. Az LLM-ek időnként változnak a bemeneti és kimeneti formátumok szerkezetétől függően, és amint új modellek és előre elkészített megoldások kerülnek a SageMaker JumpStartba, a feladat megvalósításától függően előfordulhat, hogy a következő kódmódosításokat kell végrehajtania:
- Ha összegzést végez a
summarize()
módszer (a LangChain használata nélküli módszer), előfordulhat, hogy módosítania kell a JSON-struktúrátpayload
paramétert, valamint a válaszváltozó kezelését aquery_endpoint()
funkció - Ha a LangChain's-on keresztül végez összegzést
load_summarize_chain()
módszert, előfordulhat, hogy módosítania kell aContentHandlerTextSummarization
osztály, konkrétan atransform_input()
és atransform_output()
függvényeket, hogy megfelelően kezelje az LLM által elvárt hasznos terhet és az LLM által visszaadott kimenetet
Az alapozási modellek nemcsak olyan tényezőkben különböznek egymástól, mint a következtetési sebesség és minőség, hanem a bemeneti és kimeneti formátumok is. Tekintse meg az LLM vonatkozó információs oldalát a várható bemenetekről és kimenetekről.
Következtetés
A Falcon 7B Instruct modell elérhető a SageMaker JumpStart modellközpontban, és számos felhasználási esetben teljesít. Ez a bejegyzés bemutatta, hogyan telepítheti saját Falcon LLM végpontját a környezetébe a SageMaker JumpStart segítségével, és hogyan végezheti el az első kísérleteket a SageMaker Studio segítségével, lehetővé téve a modellek gyors prototípusának elkészítését és zökkenőmentes átállást az éles környezetre. A Falcon és a LangChain segítségével hatékonyan összegezheti a hosszú távú egészségügyi és élettudományi dokumentumokat.
A generatív mesterséges intelligencia AWS rendszeren végzett munkájáról további információkért lásd: Új eszközök bejelentése a generatív AI-val való építéshez az AWS-en. Az ebben a bejegyzésben vázolt módszerrel megkezdheti a kísérletezést és a dokumentum-összefoglaló koncepció-bizonyítékok készítését egészségügyi és élettudomány-orientált GenAI-alkalmazásaihoz. Amikor Amazon alapkőzet általánosan elérhető, akkor közzéteszünk egy további bejegyzést, amely bemutatja, hogyan valósíthatja meg a dokumentum-összegzést az Amazon Bedrock és a LangChain használatával.
A szerzőkről
Kitaoka János az Amazon Web Services megoldástervezője. John segít az ügyfeleknek megtervezni és optimalizálni az AI/ML-munkaterheléseket az AWS-en, hogy segítse őket üzleti céljaik elérésében.
Josh Famestad az Amazon Web Services megoldástervezője. Josh a közszektorbeli ügyfelekkel együttműködve felhő alapú megközelítéseket épít ki és hajt végre az üzleti prioritások teljesítése érdekében.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :van
- :is
- :nem
- $ UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- képesség
- KIVONAT
- elfogadja
- megközelíthetőség
- hozzáférhető
- Fiók
- Elérése
- hozzáadott
- Elfogadása
- újra
- AI
- AI / ML
- Minden termék
- megengedett
- lehetővé téve
- lehetővé teszi, hogy
- mellett
- már
- Is
- amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Az Amazon Web Services
- an
- elemzés
- Az elemzők
- és a
- állat
- állatok
- Alkalmazás
- alkalmazások
- megközelítés
- megközelít
- jóváhagyott
- VANNAK
- körül
- AS
- At
- attribútumok
- Automatikus
- elérhető
- elkerülése érdekében
- AWS
- alapján
- BE
- mert
- kezdődik
- úgy gondolja,
- Billió
- orvosbiológiai
- test
- Doboz
- szünet
- Törés
- épít
- Épület
- épült
- üzleti
- de
- by
- hívás
- hívott
- TUD
- Kaphat
- képességek
- képesség
- kártya
- eset
- esetek
- Cellák
- lánc
- láncok
- változik
- Változások
- választás
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- választja
- osztály
- osztályok
- vásárló
- felhő
- kód
- kollaboratív
- össze
- kombinálása
- Közös
- általában
- képest
- teljes
- Befejezett
- bonyolult
- Tartalmaz
- koncepció
- tömör
- kapcsolat
- Konzol
- tartalmaz
- tartalom
- költséghatékony
- kiadások
- teremt
- szokás
- Ügyfelek
- testreszabás
- dátum
- adat-tudomány
- évtizedek
- alapértelmezett
- meghatározott
- szállít
- bizonyítani
- igazolták
- attól
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- Design
- fejlesztők
- fejlesztése
- Fejlesztés
- Eszközök
- különböző
- do
- dokumentum
- dokumentumok
- Nem
- domain
- ne
- le-
- letöltés
- minden
- föld
- hatékonyan
- lehetővé
- Endpoint
- Mérnöki
- Mérnökök
- fokozott
- biztosítására
- belépés
- Környezet
- hiba
- események
- példa
- kivégez
- várható
- elvárja
- tapasztalat
- kísérlet
- kísérletek
- Arc
- tényezők
- hamis
- Jellemzők
- kevés
- filé
- utolsó
- Találjon
- vezetéknév
- megfelelő
- Összpontosít
- következik
- következő
- A
- Alapítvány
- négy
- ból ből
- funkció
- funkciók
- Továbbá
- általában
- generál
- generált
- nemző
- Generatív AI
- kap
- Célok
- nagyobb
- fogantyú
- Kezelés
- Legyen
- egészségügyi
- segít
- segít
- Kiemel
- házigazdája
- Hogyan
- How To
- HTML
- HTTPS
- Kerékagy
- ICON
- if
- kép
- végre
- végrehajtás
- importál
- fontos
- in
- tartalmaz
- magában foglalja a
- Beleértve
- információ
- újít
- Innováció
- bemenet
- bemenet
- telepíteni
- példa
- helyette
- Intézet
- utasítás
- integrált
- Intelligens
- kölcsönhatások
- Felület
- bele
- szigetelés
- IT
- ITS
- János
- json
- éppen
- Kulcs
- nyelv
- nagy
- nagyobb
- indított
- Szabadság
- könyvtár
- élet
- Life Sciences
- LIMIT
- vonalak
- linkek
- irodalom
- LLM
- kiszámításának
- Hosszú
- hosszabb
- keres
- Fő
- csinál
- kezelése
- kezelhető
- sikerült
- kezelése
- sok
- térképészet
- maximális
- Lehet..
- közepes
- Menü
- módszer
- minimális
- ML
- modell
- modellek
- módosítása
- Modulok
- több
- a legtöbb
- sok
- Navigáció
- elengedhetetlen
- Szükség
- szükséges
- hálózat
- Új
- NIH
- rendszerint
- jegyzetfüzet
- Értesítés..
- szám
- objektumok
- of
- on
- ONE
- csak
- nyitva
- nyílt forráskódú
- Nyílt forráskódú szoftver
- Optimalizálja
- Opciók
- Más
- vázolt
- teljesítmény
- felett
- saját
- oldal
- üvegtábla
- Papír
- paraméter
- paraméterek
- Elmúlt
- Teljesít
- előadó
- Előadja
- Testreszabás
- Plató
- Platón adatintelligencia
- PlatoData
- pont
- állás
- erős
- Plakátok
- magán
- folyamat
- Termékek
- Termelés
- igazolások
- prototípus
- ad
- feltéve,
- biztosít
- ellátás
- nyilvános
- közzétesz
- Piton
- világítás
- kérdés
- gyorsan
- gyorsan
- olvasók
- kész
- való Világ
- ajánlások
- utal
- szabályozók
- követelmények
- megköveteli,
- kutatás
- kutatók
- illetőleg
- válasz
- visszatérés
- robotika
- futás
- sagemaker
- SageMaker következtetés
- Skála
- Tudomány
- TUDOMÁNYOK
- tudósok
- hatálya
- sdk
- zökkenőmentesen
- szakaszok
- szektor
- biztonság
- lát
- kiválasztott
- MAGA
- érzés
- Sorozat
- szolgáltatás
- Szolgáltatások
- készlet
- beállítás
- Bevásárlás
- rövid
- előadás
- egyetlen
- SIX
- So
- szoftver
- Megoldások
- különleges
- kifejezetten
- sebesség
- kezdet
- kezdődött
- Állapot
- Lépés
- Lépései
- tárolása
- Stratégia
- Szigorú
- struktúra
- stúdió
- ilyen
- összegez
- ÖSSZEFOGLALÓ
- támogatás
- Támogatja
- tart
- Feladat
- feladatok
- technikák
- Technológia
- Technológiai innováció
- szöveg
- mint
- hogy
- A
- azok
- Őket
- akkor
- Ott.
- Ezek
- ezt
- Keresztül
- nak nek
- együtt
- jelképes
- tokenek
- szerszám
- szerszámok
- kiképzett
- transzformátor
- transzformáló
- átmenet
- Trillió
- igaz
- FORDULAT
- oktatói
- kettő
- típus
- nem definiált
- egyedi
- felesleges
- Feltöltés
- használ
- használati eset
- használt
- használ
- segítségével
- változó
- fajta
- jármű
- verzió
- keresztül
- Megnézem
- séta
- végigjátszás
- we
- háló
- webes szolgáltatások
- JÓL
- Mit
- amikor
- ami
- széles
- lesz
- val vel
- belül
- nélkül
- Munka
- munkafolyamatok
- dolgozó
- művek
- ír
- írás
- te
- A te
- zephyrnet