Clienții din domeniul sănătății și științele vieții (HCLS) adoptă AI generativă ca instrument pentru a obține mai mult din datele lor. Cazurile de utilizare includ rezumarea documentelor pentru a ajuta cititorii să se concentreze asupra punctelor cheie ale unui document și transformarea textului nestructurat în formate standardizate pentru a evidenția atribute importante. Cu formate de date unice și cerințe de reglementare stricte, clienții caută opțiuni pentru a selecta cel mai performant și mai rentabil model, precum și capacitatea de a efectua personalizarea necesară (ajustarea fină) pentru a se potrivi cazului lor de utilizare în afaceri. În această postare, vă prezentăm prin implementarea unui model de limbaj mare Falcon (LLM) folosind Amazon SageMaker JumpStart și utilizarea modelului pentru a rezuma documente lungi cu LangChain și Python.
Prezentare generală a soluțiilor
Amazon SageMaker se bazează pe cele două decenii de experiență ale Amazon în dezvoltarea de aplicații ML din lumea reală, inclusiv recomandări de produse, personalizare, cumpărături inteligente, robotică și dispozitive asistate de voce. SageMaker este un serviciu gestionat eligibil HIPAA care oferă instrumente care le permit oamenilor de știință de date, inginerilor ML și analiștilor de afaceri să inoveze cu ML. În cadrul SageMaker se află Amazon SageMaker Studio, un mediu de dezvoltare integrat (IDE) creat special pentru fluxurile de lucru ML colaborative, care, la rândul lor, conțin o mare varietate de soluții de pornire rapidă și modele ML pre-antrenate într-un hub integrat numit SageMaker JumpStart. Cu SageMaker JumpStart, puteți utiliza modele pregătite în prealabil, cum ar fi Falcon LLM, cu notebook-uri pre-construite și suport SDK pentru a experimenta și a implementa aceste modele puternice de transformatoare. Puteți utiliza SageMaker Studio și SageMaker JumpStart pentru a implementa și a interoga propriul dvs. model generativ în contul dvs. AWS.
De asemenea, vă puteți asigura că datele de inferență utile nu părăsesc VPC-ul dvs. Puteți furniza modele ca puncte finale cu un singur locatar și le puteți implementa cu izolarea rețelei. În plus, puteți gestiona și gestiona setul selectat de modele care vă satisfac propriile cerințe de securitate utilizând capacitatea hubului model privat din SageMaker JumpStart și stocând acolo modelele aprobate. SageMaker este în domeniu HIPAA BAA, SOC123, și HITRUST CSF.
Falcon LLM este un model lingvistic mare, instruit de cercetătorii de la Technology Innovation Institute (TII) pe peste 1 trilion de jetoane folosind AWS. Falcon are multe variante diferite, cu cei doi constituenți principali ai săi Falcon 40B și Falcon 7B, compuse din 40 de miliarde și, respectiv, 7 miliarde de parametri, cu versiuni reglate fin antrenate pentru sarcini specifice, cum ar fi urmarea instrucțiunilor. Falcon se descurcă bine la o varietate de sarcini, inclusiv rezumarea textului, analiza sentimentelor, răspunsul la întrebări și conversația. Această postare oferă o explicație pe care o puteți urma pentru a implementa Falcon LLM în contul dvs. AWS, folosind o instanță de notebook gestionată prin SageMaker JumpStart pentru a experimenta rezumarea textului.
Hub-ul de modele SageMaker JumpStart include notebook-uri complete pentru a implementa și a interoga fiecare model. În momentul scrierii acestui articol, există șase versiuni de Falcon disponibile în hub-ul modelului SageMaker JumpStart: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 și Falcon 7B BF16. Această postare folosește modelul Falcon 7B Instruct.
În secțiunile următoare, arătăm cum să începeți cu rezumarea documentelor prin implementarea Falcon 7B pe SageMaker Jumpstart.
Cerințe preliminare
Pentru acest tutorial, veți avea nevoie de un cont AWS cu un domeniu SageMaker. Dacă nu aveți deja un domeniu SageMaker, consultați Integrat la domeniul Amazon SageMaker pentru a crea unul.
Implementați Falcon 7B utilizând SageMaker JumpStart
Pentru a implementa modelul dvs., urmați următorii pași:
- Navigați la mediul dvs. SageMaker Studio din consola SageMaker.
- În cadrul IDE, sub SageMaker JumpStart în panoul de navigare, alegeți Modele, caiete, solutii.
- Implementați modelul Falcon 7B Instruct la un punct final pentru inferență.
Aceasta va deschide cardul de model pentru modelul Falcon 7B Instruct BF16. Pe această pagină, puteți găsi Lansa or Tren opțiuni, precum și link-uri pentru a deschide exemple de caiete în SageMaker Studio. Această postare va folosi exemplul de blocnotes de la SageMaker JumpStart pentru a implementa modelul.
- Alege Deschide caietul.
- Rulați primele patru celule ale notebook-ului pentru a implementa punctul final Falcon 7B Instruct.
Puteți vedea modelele dvs. JumpStart implementate pe S-au lansat elementele JumpStart .
- În panoul de navigare, sub SageMaker Jumpstart, alege S-au lansat elementele JumpStart.
- Alege Modele de puncte finale pentru a vedea starea punctului final.
Cu punctul final Falcon LLM implementat, sunteți gata să interogați modelul.
Rulați prima interogare
Pentru a rula o interogare, parcurgeți următorii pași:
- Pe Fișier meniu, alegeți Nou și Blocnotes pentru a deschide un caiet nou.
De asemenea, puteți descărca caietul completat aici.
- Selectați imaginea, nucleul și tipul de instanță când vi se solicită. Pentru această postare, alegem imaginea Data Science 3.0, nucleul Python 3 și instanța ml.t3.medium.
- Importați modulele Boto3 și JSON introducând următoarele două linii în prima celulă:
- Anunturi Shift + Enter să conducă celula.
- Apoi, puteți defini o funcție care vă va apela punctul final. Această funcție preia o sarcină utilă de dicționar și o folosește pentru a invoca clientul de rulare SageMaker. Apoi deserializează răspunsul și tipărește intrarea și textul generat.
Sarcina utilă include promptul ca intrări, împreună cu parametrii de inferență care vor fi transferați modelului.
- Puteți utiliza acești parametri cu promptul pentru a regla rezultatul modelului pentru cazul dvs. de utilizare:
Interogare cu un prompt de rezumare
Această postare folosește un exemplu de lucrare de cercetare pentru a demonstra rezumarea. Exemplul de fișier text se referă la rezumarea automată a textului în literatura biomedicală. Parcurgeți următorii pași:
- Descarcă PDF-ul și copiați textul într-un fișier numit
document.txt
. - În SageMaker Studio, alegeți pictograma de încărcare și încărcați fișierul în instanța dvs. SageMaker Studio.
Din cutie, Falcon LLM oferă suport pentru rezumarea textului.
- Să creăm o funcție care utilizează tehnici de inginerie prompte pentru a rezuma
document.txt
:
Veți observa că pentru documentele mai lungi, apare o eroare — Falcon, alături de toate celelalte LLM, are o limită a numărului de jetoane transmise ca intrare. Putem depăși această limită utilizând capacitățile de rezumare îmbunătățite ale LangChain, care permit transmiterea unei intrări mult mai mari către LLM.
Importați și rulați un lanț de rezumare
LangChain este o bibliotecă de software open-source care permite dezvoltatorilor și cercetătorilor de date să creeze, să ajusteze și să implementeze rapid aplicații generative personalizate fără a gestiona interacțiuni complexe ML, utilizate în mod obișnuit pentru a abstra multe dintre cazurile de utilizare comune pentru modelele de limbaj AI generative în doar câteva linii de cod. Asistența LangChain pentru serviciile AWS include suport pentru punctele finale SageMaker.
LangChain oferă o interfață accesibilă pentru LLM. Caracteristicile sale includ instrumente pentru șabloane prompte și înlănțuire promptă. Aceste lanțuri pot fi utilizate pentru a rezuma documente text care sunt mai lungi decât ceea ce suportă modelul de limbă într-un singur apel. Puteți folosi o strategie de reducere a hărții pentru a rezuma documente lungi, împărțindu-le în bucăți ușor de gestionat, rezumandu-le și combinându-le (și rezumate din nou, dacă este necesar).
- Să instalăm LangChain pentru a începe:
- Importați modulele relevante și împărțiți documentul lung în bucăți:
- Pentru ca LangChain să funcționeze eficient cu Falcon, trebuie să definiți clasele implicite de gestionare a conținutului pentru intrare și ieșire valide:
- Puteți defini solicitări personalizate ca
PromptTemplate
obiecte, vehiculul principal pentru solicitarea cu LangChain, pentru abordarea de sumarizare a reducerii hărții. Acesta este un pas opțional, deoarece solicitările de mapare și combinare sunt furnizate în mod implicit dacă parametrii din apel pentru a încărca lanțul de rezumare (load_summarize_chain
) sunt nedefinite.
- LangChain acceptă LLM-uri găzduite pe punctele finale de inferență SageMaker, așa că în loc să utilizați SDK-ul AWS Python, puteți inițializa conexiunea prin LangChain pentru o mai mare accesibilitate:
- În cele din urmă, puteți încărca un lanț de rezumat și puteți rula un rezumat asupra documentelor de intrare folosind următorul cod:
Deoarece volumul verbose
parametrul este setat la True
, veți vedea toate rezultatele intermediare ale abordării map-reduce. Acest lucru este util pentru a urmări succesiunea evenimentelor pentru a ajunge la un rezumat final. Cu această abordare de reducere a hărții, puteți rezuma în mod eficient documentele mult mai mult decât este permis în mod normal de limita maximă a simbolurilor de intrare a modelului.
A curăța
După ce ați terminat de utilizat punctul final de inferență, este important să îl ștergeți pentru a evita costurile inutile prin următoarele linii de cod:
Utilizarea altor modele de fundație în SageMaker JumpStart
Utilizarea altor modele de bază disponibile în SageMaker JumpStart pentru rezumarea documentelor necesită o suprasolicitare minimă pentru configurare și implementare. LLM-urile variază ocazional în funcție de structura formatelor de intrare și de ieșire și, pe măsură ce noi modele și soluții prefabricate sunt adăugate la SageMaker JumpStart, în funcție de implementarea sarcinii, poate fi necesar să faceți următoarele modificări de cod:
- Dacă efectuați o rezumare prin intermediul
summarize()
(metoda fără a utiliza LangChain), poate fi necesar să modificați structura JSON a fișieruluipayload
parametrul, precum și gestionarea variabilei răspuns înquery_endpoint()
funcţie - Dacă efectuați o rezumare prin LangChain
load_summarize_chain()
metoda, poate fi necesar să modificațiContentHandlerTextSummarization
clasa, în special ceatransform_input()
șitransform_output()
funcții, pentru a gestiona corect sarcina utilă pe care o așteaptă LLM și rezultatul returnat de LLM
Modelele de bază variază nu numai în factori precum viteza și calitatea inferenței, ci și formatele de intrare și ieșire. Consultați pagina de informații relevante a LLM despre intrările și ieșirile așteptate.
Concluzie
Modelul Falcon 7B Instruct este disponibil pe hub-ul modelului SageMaker JumpStart și funcționează într-un număr de cazuri de utilizare. Această postare a demonstrat cum vă puteți implementa propriul punct final Falcon LLM în mediul dvs. folosind SageMaker JumpStart și să faceți primele experimente din SageMaker Studio, permițându-vă să vă prototipați rapid modelele și să tranziți fără probleme la un mediu de producție. Cu Falcon și LangChain, puteți rezuma în mod eficient documentele de asistență medicală și științele vieții de lungă durată la scară.
Pentru mai multe informații despre lucrul cu AI generativă pe AWS, consultați Anunțăm noi instrumente pentru construirea cu IA generativă pe AWS. Puteți începe să experimentați și să construiți dovezi de concept pentru rezumarea documentelor pentru aplicațiile dvs. GenAI orientate spre asistența medicală și știința vieții folosind metoda prezentată în această postare. Când Amazon Bedrock este disponibilă în general, vom publica o postare ulterioară care arată cum puteți implementa rezumarea documentelor folosind Amazon Bedrock și LangChain.
Despre Autori
John Kitaoka este arhitect de soluții la Amazon Web Services. John îi ajută pe clienți să proiecteze și să optimizeze sarcinile de lucru AI/ML pe AWS pentru a-i ajuta să-și atingă obiectivele de afaceri.
Josh Famestad este arhitect de soluții la Amazon Web Services. Josh lucrează cu clienții din sectorul public pentru a construi și a executa abordări bazate pe cloud pentru a îndeplini prioritățile de afaceri.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :are
- :este
- :nu
- $UP
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- capacitate
- REZUMAT
- acceptă
- accesibilitate
- accesibil
- Cont
- Obține
- adăugat
- Adoptarea
- din nou
- AI
- AI / ML
- TOATE
- permis
- Permiterea
- permite
- pe langa
- deja
- de asemenea
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analiză
- analiști
- și
- animal
- animale
- aplicație
- aplicatii
- abordare
- abordari
- aprobat
- SUNT
- în jurul
- AS
- At
- atribute
- Automat
- disponibil
- evita
- AWS
- bazat
- BE
- deoarece
- începe
- consideră că
- Miliard
- biomedicale
- corp
- Cutie
- Pauză
- Breaking
- construi
- Clădire
- construit
- afaceri
- dar
- by
- apel
- denumit
- CAN
- Poate obține
- capacități
- capacitate
- card
- caz
- cazuri
- Celule
- lanţ
- lanţuri
- Schimbare
- Modificări
- alegeri
- Alege
- alegere
- clasă
- clase
- client
- Cloud
- cod
- colaborativ
- combina
- combinând
- Comun
- în mod obișnuit
- comparație
- Completă
- Terminat
- complex
- Compus
- concept
- concis
- conexiune
- Consoleze
- conţine
- conţinut
- cost-eficiente
- Cheltuieli
- crea
- personalizat
- clienţii care
- personalizare
- de date
- știința datelor
- zeci de ani
- Mod implicit
- defini
- livra
- demonstra
- demonstrat
- În funcție
- implementa
- dislocate
- Implementarea
- desfășurarea
- Amenajări
- Dezvoltatorii
- în curs de dezvoltare
- Dezvoltare
- Dispozitive
- diferit
- do
- document
- documente
- Nu
- domeniu
- Dont
- jos
- Descarca
- fiecare
- Pământ
- în mod eficient
- permite
- Punct final
- Inginerie
- inginerii
- sporită
- asigura
- intrarea
- Mediu inconjurator
- eroare
- evenimente
- exemplu
- a executa
- de aşteptat
- se așteaptă
- experienţă
- experiment
- experimente
- Față
- factori
- fals
- DESCRIERE
- puțini
- Fișier
- final
- Găsi
- First
- potrivi
- Concentra
- urma
- următor
- Pentru
- Fundație
- patru
- din
- funcţie
- funcții
- În plus
- în general
- genera
- generată
- generativ
- AI generativă
- obține
- Goluri
- mai mare
- manipula
- Manipularea
- Avea
- de asistență medicală
- ajutor
- ajută
- Evidențiați
- găzduit
- Cum
- Cum Pentru a
- HTML
- HTTPS
- Butuc
- ICON
- if
- imagine
- punerea în aplicare a
- implementarea
- import
- important
- in
- include
- include
- Inclusiv
- informații
- inova
- Inovaţie
- intrare
- intrări
- instala
- instanță
- in schimb
- Institut
- instrucțiuni
- integrate
- Inteligent
- interacţiuni
- interfaţă
- în
- izolare
- IT
- ESTE
- Ioan
- JSON
- doar
- Cheie
- limbă
- mare
- mai mare
- a lansat
- Părăsi
- Bibliotecă
- Viaţă
- Life Sciences
- LIMITĂ
- linii
- Link-uri
- literatură
- LLM
- încărca
- Lung
- mai lung
- cautati
- Principal
- face
- administra
- flexibil
- gestionate
- de conducere
- multe
- cartografiere
- maxim
- Mai..
- mediu
- Meniu
- metodă
- minim
- ML
- model
- Modele
- modifica
- Module
- mai mult
- cele mai multe
- mult
- Navigare
- necesar
- Nevoie
- necesar
- reţea
- Nou
- NIH
- în mod normal
- caiet
- Înștiințare..
- număr
- obiecte
- of
- on
- ONE
- afară
- deschide
- open-source
- Software open-source
- Optimizați
- Opţiuni
- Altele
- a subliniat
- producție
- peste
- propriu
- pagină
- pâine
- Hârtie
- parametru
- parametrii
- Trecut
- Efectua
- efectuarea
- efectuează
- personalizare
- Plato
- Informații despre date Platon
- PlatoData
- puncte
- Post
- puternic
- printuri
- privat
- proces
- Produs
- producere
- dovezi
- prototip
- furniza
- prevăzut
- furnizează
- dispoziţie
- public
- publica
- Piton
- calitate
- întrebare
- repede
- repede
- cititori
- gata
- lumea reală
- Recomandări
- trimite
- autoritățile de reglementare
- Cerinţe
- Necesită
- cercetare
- cercetători
- respectiv
- răspuns
- reveni
- robotica
- Alerga
- sagemaker
- SageMaker Inference
- Scară
- Ştiinţă
- ȘTIINȚE
- oamenii de stiinta
- domeniu
- sdk
- perfect
- secțiuni
- sector
- securitate
- vedea
- selectate
- SELF
- sentiment
- Secvenţă
- serviciu
- Servicii
- set
- instalare
- Cumpărături
- Pantaloni scurți
- Arăta
- singur
- SIX
- So
- Software
- soluţii
- specific
- specific
- viteză
- Începe
- început
- Stare
- Pas
- paşi
- stocarea
- Strategie
- Strict
- structura
- studio
- astfel de
- rezuma
- REZUMAT
- a sustine
- Sprijină
- ia
- Sarcină
- sarcini
- tehnici de
- Tehnologia
- Inovația tehnologică
- a) Sport and Nutrition Awareness Day in Manasia Around XNUMX people from the rural commune Manasia have participated in a sports and healthy nutrition oriented activity in one of the community’s sports ready yards. This activity was meant to gather, mainly, middle-aged people from a Romanian rural community and teach them about the benefits that sports have on both their mental and physical health and on how sporting activities can be used to bring people from a community closer together. Three trainers were made available for this event, so that the participants would get the best possible experience physically and so that they could have the best access possible to correct information and good sports/nutrition practices. b) Sports Awareness Day in Poiana Țapului A group of young participants have taken part in sporting activities meant to teach them about sporting conduct, fairplay, and safe physical activities. The day culminated with a football match.
- decât
- acea
- lor
- Lor
- apoi
- Acolo.
- Acestea
- acest
- Prin
- la
- împreună
- semn
- indicativele
- instrument
- Unelte
- dresat
- transformator
- transformare
- tranziţie
- Trilion
- adevărat
- ÎNTORCĂ
- tutorial
- Două
- tip
- nedefinit
- unic
- inutil
- Se încarcă
- utilizare
- carcasa de utilizare
- utilizat
- utilizări
- folosind
- variabil
- varietate
- vehicul
- Versiunile
- de
- Vizualizare
- umbla
- walkthrough
- we
- web
- servicii web
- BINE
- Ce
- cand
- care
- larg
- voi
- cu
- în
- fără
- Apartamente
- fluxuri de lucru
- de lucru
- fabrică
- scrie
- scris
- Tu
- Ta
- zephyrnet