Terveydenhuollon ja biotieteiden (HCLS) asiakkaat ottavat käyttöön generatiivisen tekoälyn työkaluna saada enemmän irti tiedoistaan. Käyttötapauksia ovat asiakirjan yhteenveto, joka auttaa lukijoita keskittymään asiakirjan keskeisiin kohtiin ja muuntamaan jäsentelemätöntä tekstiä standardoituihin muotoihin tärkeiden ominaisuuksien korostamiseksi. Ainutlaatuisten tietomuotojen ja tiukkojen sääntelyvaatimusten ansiosta asiakkaat etsivät vaihtoehtoja valitakseen tehokkaimman ja kustannustehokkaimman mallin sekä kykyä suorittaa tarvittavia mukautuksia (hienosäätöä) liiketoimintansa tarpeisiin sopivaksi. Tässä viestissä opastamme sinut Falconin suuren kielimallin (LLM) käyttöönotossa Amazon SageMaker JumpStart ja mallin käyttäminen pitkien asiakirjojen yhteenvetoon LangChainilla ja Pythonilla.
Ratkaisun yleiskatsaus
Amazon Sage Maker perustuu Amazonin kahden vuosikymmenen kokemukseen todellisten ML-sovellusten kehittämisestä, mukaan lukien tuotesuositukset, personointi, älykkäät ostokset, robotiikka ja puheavusteiset laitteet. SageMaker on HIPAA-kelpoinen hallinnoitu palvelu, joka tarjoaa työkaluja, joiden avulla datatieteilijät, ML-insinöörit ja yritysanalyytikot voivat innovoida ML:n avulla. SageMakerin sisällä on Amazon SageMaker Studio, integroitu kehitysympäristö (IDE), joka on suunniteltu yhteiskäyttöön tarkoitettuihin ML-työnkulkuihin, jotka puolestaan sisältävät laajan valikoiman pika-aloitusratkaisuja ja valmiiksi koulutettuja ML-malleja integroidussa SageMaker JumpStart -keskittimessä. SageMaker JumpStartin avulla voit käyttää esikoulutettuja malleja, kuten Falcon LLM, valmiiksi rakennetuilla näytekirjoilla ja SDK-tuella kokeillaksesi ja ottaaksesi käyttöön näitä tehokkaita muuntajamalleja. Voit käyttää SageMaker Studiota ja SageMaker JumpStartia oman generatiivisen mallin käyttöönottoon ja kyselyyn AWS-tililläsi.
Voit myös varmistaa, että päätelmän hyötykuormatiedot eivät poistu VPC:stäsi. Voit valmistaa malleja yhden vuokraajan päätepisteinä ja ottaa ne käyttöön verkon eristämisellä. Lisäksi voit kuratoida ja hallita valittuja malleja, jotka täyttävät omat tietoturvavaatimukset käyttämällä SageMaker JumpStartin yksityistä mallikeskustoimintoa ja tallentamalla hyväksytyt mallit sinne. SageMaker on käytettävissä HIPAA BAA, SOC123ja HITRUST CSF.
- Falcon LLM on suuri kielimalli, jonka Technology Innovation Instituten (TII) tutkijat ovat kouluttaneet yli 1 biljoonalla AWS:n avulla. Falconilla on monia erilaisia muunnelmia, ja sen kaksi pääkomponenttia Falcon 40B ja Falcon 7B koostuvat 40 miljardista ja 7 miljardista parametrista, ja hienosäädetyt versiot on koulutettu tiettyihin tehtäviin, kuten ohjeiden noudattamiseen. Falcon suoriutuu hyvin erilaisissa tehtävissä, mukaan lukien tekstin yhteenveto, tunteiden analysointi, kysymyksiin vastaaminen ja keskustelu. Tämä viesti tarjoaa esittelyn, jonka avulla voit ottaa Falcon LLM:n käyttöön AWS-tilillesi käyttämällä hallittua muistikirjaesiintymää SageMaker JumpStartin kautta testataksesi tekstin yhteenvetoa.
SageMaker JumpStart -mallikeskus sisältää täydelliset muistikirjat kunkin mallin käyttöönottoa ja kyselyä varten. Tätä kirjoitettaessa SageMaker JumpStart -mallikeskuksessa on saatavilla kuusi versiota Falconista: Falcon 40B Instruct BF16, Falcon 40B BF16, Falcon 180B BF16, Falcon 180B Chat BF16, Falcon 7B Instruct BF16 ja Falcon7B. Tämä viesti käyttää Falcon 16B Instruct -mallia.
Seuraavissa osissa näytämme, kuinka pääset alkuun asiakirjan yhteenvedon tekemisessä ottamalla käyttöön Falcon 7B SageMaker Jumpstartissa.
Edellytykset
Tätä opetusohjelmaa varten tarvitset AWS-tilin, jossa on SageMaker-verkkotunnus. Jos sinulla ei vielä ole SageMaker-verkkotunnusta, katso Sisääntulo Amazon SageMaker -verkkotunnukseen luoda yksi.
Ota Falcon 7B käyttöön SageMaker JumpStartin avulla
Voit ottaa mallisi käyttöön suorittamalla seuraavat vaiheet:
- Siirry SageMaker Studio -ympäristöösi SageMaker-konsolista.
- IDE:n sisällä, alla SageMaker JumpStart valitse siirtymisruudussa Mallit, muistikirjat, ratkaisut.
- Ota Falcon 7B Instruct -malli käyttöön päätepisteeseen johtopäätösten tekemiseksi.
Tämä avaa mallikortin Falcon 7B Instruct BF16 -mallille. Tältä sivulta löydät Sijoittaa or Juna vaihtoehtoja sekä linkkejä esimerkkimuistikirjojen avaamiseen SageMaker Studiossa. Tämä viesti käyttää mallin käyttöönotossa SageMaker JumpStartin mallimuistikirjaa.
- Valita Avaa muistikirja.
- Suorita muistikirjan neljä ensimmäistä solua ottaaksesi käyttöön Falcon 7B Instruct -päätepiste.
Voit nähdä käyttöönotetut JumpStart-mallit osoitteessa JumpStart-resurssit julkaistiin sivu.
- Navigointiruudun kohdassa SageMaker Jumpstart, valitse JumpStart-resurssit julkaistiin.
- Valitse Mallin päätepisteet -välilehti nähdäksesi päätepisteesi tilan.
Kun Falcon LLM -päätepiste on otettu käyttöön, olet valmis kyselemään mallia.
Suorita ensimmäinen kyselysi
Suorita kysely suorittamalla seuraavat vaiheet:
- On filee valikosta, valitse Uusi ja muistikirja avataksesi uuden muistikirjan.
Voit myös ladata valmiin muistikirjan tätä.
- Valitse kuva, ydin ja ilmentymän tyyppi pyydettäessä. Tätä viestiä varten valitsemme Data Science 3.0 -kuvan, Python 3 -ytimen ja ml.t3.medium -esiintymän.
- Tuo Boto3- ja JSON-moduulit kirjoittamalla seuraavat kaksi riviä ensimmäiseen soluun:
- lehdistö Vaihto + Enter ohjaamaan solua.
- Seuraavaksi voit määrittää funktion, joka kutsuu päätepisteesi. Tämä toiminto ottaa sanakirjan hyötykuorman ja käyttää sitä SageMaker-ajonaikaisen asiakasohjelman käynnistämiseen. Sitten se deserialisoi vastauksen ja tulostaa syötteen ja luodun tekstin.
Hyötykuorma sisältää kehotteen syötteinä yhdessä mallille välitettävien päättelyparametrien kanssa.
- Voit käyttää näitä parametreja kehotteen kanssa virittääksesi mallin lähdön käyttötapauksesi mukaan:
Kysely yhteenvetokehotteella
Tämä viesti käyttää esimerkkitutkimuspaperia yhteenvedon esittämiseksi. Esimerkkitekstitiedosto koskee automaattista tekstin yhteenvetoa biolääketieteellisessä kirjallisuudessa. Suorita seuraavat vaiheet:
- Lataa PDF ja kopioi teksti tiedostoon nimeltä
document.txt
. - Valitse SageMaker Studiossa latauskuvake ja lähetä tiedosto SageMaker Studio -esiintymääsi.
Falcon LLM tarjoaa tuen tekstin yhteenvedolle.
- Luodaan funktio, joka käyttää nopeaa suunnittelutekniikkaa yhteenvedon tekemiseen
document.txt
:
Huomaat, että pidemmille asiakirjoille tulee virhe – Falconilla on kaikkien muiden LLM:ien ohella syötettävien tunnuksien määrä rajoitettu. Voimme kiertää tämän rajan käyttämällä LangChainin parannettuja yhteenvetoominaisuuksia, mikä mahdollistaa paljon suuremman syötteen välittämisen LLM:lle.
Tuo ja suorita yhteenvetoketju
LangChain on avoimen lähdekoodin ohjelmistokirjasto, jonka avulla kehittäjät ja datatieteilijät voivat nopeasti rakentaa, virittää ja ottaa käyttöön mukautettuja generatiivisia sovelluksia ilman monimutkaisten ML-vuorovaikutusten hallintaa. Niitä käytetään yleisesti abstraktien monien yleisten käyttötapausten tiivistämiseen generatiivisille tekoälyn kielimalleille vain muutamassa. koodirivejä. LangChainin tuki AWS-palveluille sisältää tuen SageMaker-päätepisteille.
LangChain tarjoaa käyttöliittymän LLM:ille. Sen ominaisuudet sisältävät työkalut nopeaan mallinnukseen ja nopeaan ketjutukseen. Näitä ketjuja voidaan käyttää yhteenvedon tekemiseen tekstidokumenteista, jotka ovat pidempiä kuin mitä kielimalli tukee yhdessä kutsussa. Voit käyttää kartan vähentämisstrategiaa tiivistämään pitkiä asiakirjoja jakamalla ne hallittaviin osiin, tiivistämällä ne ja yhdistämällä ne (ja tiivistämällä uudelleen tarvittaessa).
- Asennetaan LangChain aloittaaksesi:
- Tuo asiaankuuluvat moduulit ja jaa pitkä asiakirja osiin:
- Jotta LangChain toimisi tehokkaasti Falconin kanssa, sinun on määritettävä oletussisällönkäsittelyluokat kelvollisille syötteille ja tulosteille:
- Voit määrittää mukautetut kehotteet muodossa
PromptTemplate
objektit, tärkein väline LangChain-kehotuksiin karttavähentävien yhteenvetojen lähestymistavassa. Tämä on valinnainen vaihe, koska kartoitus- ja yhdistämiskehotteet tarjotaan oletusarvoisesti, jos parametrit kutsussa ladata yhteenvetoketju (load_summarize_chain
) ovat määrittelemättömiä.
- LangChain tukee SageMaker-päätelmäpäätepisteissä isännöityjä LLM:itä, joten AWS Python SDK:n käyttämisen sijaan voit alustaa yhteyden LangChainin kautta helpottaaksesi käytettävyyttä:
- Lopuksi voit ladata yhteenvetoketjun ja suorittaa yhteenvedon syöttöasiakirjoista käyttämällä seuraavaa koodia:
Koska verbose
parametriksi on asetettu True
, näet kaikki kartan vähentämismenetelmän välitulokset. Tämä on hyödyllistä seurata tapahtumasarjaa lopullisen yhteenvedon saamiseksi. Tällä karttaa vähentävällä lähestymistavalla voit tehdä tehokkaasti yhteenvedon asiakirjoista, jotka ovat paljon pidempiä kuin mallin suurin syöttötunnusraja normaalisti sallii.
Puhdistaa
Kun olet lopettanut päätepäätepisteen käytön, on tärkeää poistaa se, jotta vältytään tarpeettomilta kustannuksilta seuraavien koodirivien vuoksi:
Muiden perusmallien käyttäminen SageMaker JumpStartissa
Muiden SageMaker JumpStartissa saatavilla olevien perusmallien käyttäminen asiakirjojen yhteenvedossa vaatii minimaalisia lisäkustannuksia määrityksessä ja käyttöönotossa. LLM:t vaihtelevat toisinaan syöttö- ja tulostusmuotojen rakenteen mukaan, ja kun uusia malleja ja valmiita ratkaisuja lisätään SageMaker JumpStartiin, tehtävän toteutuksesta riippuen saatat joutua tekemään seuraavat koodimuutokset:
- Jos teet yhteenvedon kautta
summarize()
-menetelmällä (menetelmä ilman LangChainin käyttöä), saatat joutua muuttamaan JSON-rakennettapayload
parametri sekä vastausmuuttujan käsittelyquery_endpoint()
toiminto - Jos teet yhteenvedon LangChainin kautta
load_summarize_chain()
menetelmää, saatat joutua muuttamaanContentHandlerTextSummarization
luokkaa, erityisestitransform_input()
jatransform_output()
toimintoja, käsitelläkseen oikein LLM:n odottamaa hyötykuormaa ja LLM:n palauttamaa tulosta
Perustusmallit vaihtelevat paitsi päättelyn nopeuden ja laadun, myös syöttö- ja tulostusmuotojen osalta. Katso LLM:n asiaankuuluvat tiedot -sivulta odotettavissa olevasta syötöstä ja lähdöstä.
Yhteenveto
Falcon 7B Instruct -malli on saatavilla SageMaker JumpStart -mallikeskuksessa ja toimii useissa käyttötapauksissa. Tämä viesti osoitti, kuinka voit ottaa käyttöön oman Falcon LLM -päätepisteesi ympäristöösi SageMaker JumpStartin avulla ja tehdä ensimmäiset kokeilusi SageMaker Studiosta, jolloin voit luoda malliesi nopeasti prototyyppejä ja siirtyä saumattomasti tuotantoympäristöön. Falconin ja LangChainin avulla voit tiivistää tehokkaasti pitkäaikaisia terveydenhuolto- ja biotieteitä koskevia asiakirjoja mittakaavassa.
Lisätietoja generatiivisen tekoälyn kanssa työskentelystä AWS:ssä on kohdassa Ilmoitamme uusista työkaluista rakentamiseen generatiivisella tekoälyllä AWS:ssä. Voit aloittaa kokeilujen ja dokumenttien yhteenvetotodistusten rakentamisen terveydenhuoltoon ja biotieteeseen suuntautuneisiin GenAI-sovelluksiin tässä viestissä kuvatulla menetelmällä. Kun Amazonin kallioperä on yleisesti saatavilla, julkaisemme jatkoviestin, jossa kerrotaan, kuinka voit toteuttaa asiakirjojen yhteenvedon Amazon Bedrockin ja LangChainin avulla.
Tietoja Tekijät
John Kitaoka on ratkaisuarkkitehti Amazon Web Servicesissä. John auttaa asiakkaita suunnittelemaan ja optimoimaan AI/ML-työkuormia AWS:ssä auttaakseen heitä saavuttamaan liiketoimintatavoitteensa.
Josh Famestad on ratkaisuarkkitehti Amazon Web Servicesissä. Josh työskentelee julkisen sektorin asiakkaiden kanssa rakentaakseen ja toteuttaakseen pilvipohjaisia lähestymistapoja liiketoiminnan prioriteettien saavuttamiseksi.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/create-an-hcls-document-summarization-application-with-falcon-using-amazon-sagemaker-jumpstart/
- :on
- :On
- :ei
- $ YLÖS
- 1
- 10
- 100
- 11
- 12
- 14
- 150
- 16
- 1M
- 20
- 40
- 400
- 50
- 500
- 7
- a
- kyky
- TIIVISTELMÄ
- hyväksyy
- saavutettavuus
- saatavilla
- Tili
- Saavuttaa
- lisä-
- hyväksymällä
- uudelleen
- AI
- AI / ML
- Kaikki
- sallittu
- Salliminen
- mahdollistaa
- rinnalla
- jo
- Myös
- Amazon
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analyysi
- analyytikot
- ja
- eläin
- eläimet
- Hakemus
- sovellukset
- lähestymistapa
- lähestymistavat
- hyväksytty
- OVAT
- noin
- AS
- At
- attribuutteja
- automaattisesti
- saatavissa
- välttää
- AWS
- perustua
- BE
- koska
- alkaa
- uskoo
- Miljardi
- biolääketieteen
- elin
- tappi
- Laatikko
- Tauko
- Breaking
- rakentaa
- Rakentaminen
- rakennettu
- liiketoiminta
- mutta
- by
- soittaa
- nimeltään
- CAN
- Voi saada
- kyvyt
- valmiudet
- kortti
- tapaus
- tapauksissa
- Solut
- ketju
- kahleet
- muuttaa
- Muutokset
- valintoja
- Valita
- valita
- luokka
- luokat
- asiakas
- pilvi
- koodi
- yhteistyöhön
- yhdistää
- yhdistely
- Yhteinen
- yleisesti
- verrattuna
- täydellinen
- Valmistunut
- monimutkainen
- Sisältää
- käsite
- suppea
- liitäntä
- Console
- sisältää
- pitoisuus
- kustannustehokas
- kustannukset
- luoda
- asiakassuhde
- Asiakkaat
- räätälöinnin
- tiedot
- tietojenkäsittely
- vuosikymmeninä
- oletusarvo
- määritellä
- toimittaa
- osoittaa
- osoittivat
- Riippuen
- sijoittaa
- käyttöön
- levityspinnalta
- käyttöönotto
- Malli
- kehittäjille
- kehittämällä
- Kehitys
- Laitteet
- eri
- do
- asiakirja
- asiakirjat
- ei
- verkkotunnuksen
- Dont
- alas
- download
- kukin
- maa
- tehokkaasti
- mahdollistaa
- päätepiste
- Tekniikka
- Engineers
- tehostettu
- varmistaa
- kirjoittamalla
- ympäristö
- virhe
- Tapahtumat
- esimerkki
- suorittaa
- odotettu
- odottaa
- experience
- kokeilu
- kokeiluja
- Kasvot
- tekijät
- väärä
- Ominaisuudet
- harvat
- filee
- lopullinen
- Löytää
- Etunimi
- sovittaa
- Keskittää
- seurata
- jälkeen
- varten
- perusta
- neljä
- alkaen
- toiminto
- tehtävät
- Lisäksi
- yleensä
- tuottaa
- syntyy
- generatiivinen
- Generatiivinen AI
- saada
- Tavoitteet
- suurempi
- kahva
- Käsittely
- Olla
- terveydenhuollon
- auttaa
- auttaa
- Korostaa
- isännöi
- Miten
- Miten
- HTML
- HTTPS
- Napa
- ICON
- if
- kuva
- toteuttaa
- täytäntöönpano
- tuoda
- tärkeä
- in
- sisältää
- sisältää
- Mukaan lukien
- tiedot
- innovoida
- Innovaatio
- panos
- tuloa
- asentaa
- esimerkki
- sen sijaan
- Instituutti
- ohjeet
- integroitu
- Älykäs
- vuorovaikutukset
- liitäntä
- tulee
- eristäminen
- IT
- SEN
- Johannes
- json
- vain
- avain
- Kieli
- suuri
- suurempi
- käynnistettiin
- jättää
- Kirjasto
- elämä
- Life Sciences
- RAJOITA
- linjat
- linkit
- kirjallisuus
- OTK
- kuormitus
- Pitkät
- kauemmin
- näköinen
- tärkein
- tehdä
- hoitaa
- hallittavissa
- onnistui
- toimitusjohtaja
- monet
- kartoitus
- maksimi
- Saattaa..
- keskikokoinen
- valikko
- menetelmä
- minimi
- ML
- malli
- mallit
- muokata
- Moduulit
- lisää
- eniten
- paljon
- suunnistus
- välttämätön
- Tarve
- tarvitaan
- verkko
- Uusi
- NIH
- Normaalisti
- muistikirja
- Ilmoitus..
- numero
- esineet
- of
- on
- ONE
- vain
- avata
- avoimen lähdekoodin
- Avoimen lähdekoodin ohjelmisto
- Optimoida
- Vaihtoehdot
- Muut
- hahmoteltu
- ulostulo
- yli
- oma
- sivulla
- lasi
- Paperi
- parametri
- parametrit
- Hyväksytty
- Suorittaa
- esittävä
- suorittaa
- Personointi
- Platon
- Platonin tietotieto
- PlatonData
- pistettä
- Kirje
- voimakas
- Painaa
- tulosteet
- yksityinen
- prosessi
- Tuotteet
- tuotanto
- todisteet
- prototyyppi
- toimittaa
- mikäli
- tarjoaa
- säännös
- julkinen
- julkaista
- Python
- laatu
- kysymys
- nopeasti
- nopeasti
- lukijoita
- valmis
- todellinen maailma
- suosituksia
- katso
- sääntelyn
- merkityksellinen
- vaatimukset
- Vaatii
- tutkimus
- Tutkijat
- vastaavasti
- vastaus
- palata
- robotiikka
- ajaa
- sagemaker
- SageMaker-johtopäätös
- Asteikko
- tiede
- tieteet
- tutkijat
- laajuus
- sdk
- saumattomasti
- osiot
- sektori
- turvallisuus
- nähdä
- valittu
- SELF
- näkemys
- Järjestys
- palvelu
- Palvelut
- setti
- asetus
- Ostokset
- Lyhyt
- näyttää
- single
- SIX
- So
- Tuotteemme
- Ratkaisumme
- erityinen
- erityisesti
- nopeus
- Alkaa
- alkoi
- Tila
- Vaihe
- Askeleet
- tallentamiseksi
- Strategia
- Tiukka
- rakenne
- studio
- niin
- yhteenveto
- YHTEENVETO
- tuki
- Tukee
- vie
- Tehtävä
- tehtävät
- tekniikat
- Elektroniikka
- Teknologinen innovaatio
- teksti
- kuin
- että
- -
- heidän
- Niitä
- sitten
- Siellä.
- Nämä
- tätä
- Kautta
- että
- yhdessä
- symbolinen
- tokens
- työkalu
- työkalut
- koulutettu
- muuntaja
- muuttamassa
- siirtyminen
- Biljoona
- totta
- VUORO
- oppitunti
- kaksi
- tyyppi
- määrittelemätön
- unique
- tarpeeton
- Ladataan
- käyttää
- käyttölaukku
- käytetty
- käyttötarkoituksiin
- käyttämällä
- muuttuja
- lajike
- ajoneuvo
- versiot
- kautta
- Näytä
- kävellä
- läpikäynti
- we
- verkko
- verkkopalvelut
- HYVIN
- Mitä
- kun
- joka
- leveä
- tulee
- with
- sisällä
- ilman
- Referenssit
- työnkulkuja
- työskentely
- toimii
- kirjoittaa
- kirjoittaminen
- Voit
- Sinun
- zephyrnet