Amazon SageMaker JumpStart er et maskinlæringssenter (ML) som kan hjelpe deg med å akselerere ML-reisen. Med SageMaker JumpStart kan du oppdage og distribuere offentlig tilgjengelige og proprietære grunnmodeller til dedikerte Amazon SageMaker forekomster for dine generative AI-applikasjoner. SageMaker JumpStart lar deg distribuere grunnmodeller fra et nettverksisolert miljø, og deler ikke kundeopplæring og slutningsdata med modellleverandører.
I dette innlegget går vi gjennom hvordan du kommer i gang med proprietære modeller fra modellleverandører som AI21, Cohere og LightOn fra Amazon SageMaker Studio. SageMaker Studio er et bærbart miljø hvor SageMaker enterprise data scientist-kunder evaluerer og bygger modeller for deres neste generative AI-applikasjoner.
Fundamentmodeller i SageMaker
Grunnmodeller er ML-modeller i stor skala som inneholder milliarder av parametere og er forhåndsopplært på terabyte med tekst- og bildedata, slik at du kan utføre et bredt spekter av oppgaver, for eksempel artikkeloppsummering og tekst-, bilde- eller videogenerering. Fordi grunnmodeller er forhåndsopplært, kan de bidra til å redusere opplærings- og infrastrukturkostnadene og muliggjøre tilpasning for ditt bruksområde.
SageMaker JumpStart tilbyr to typer fundamentmodeller:
- Proprietære modeller – Disse modellene er fra leverandører som AI21 med Jurassic-2-modeller, Cohere med Cohere Command og LightOn med Mini trent på proprietære algoritmer og data. Du kan ikke se modellartefakter som vekt og skript, men du kan fortsatt distribuere til SageMaker-forekomster for slutning.
- Offentlig tilgjengelige modeller – Disse er fra populære modellhuber som Hugging Face with Stable Diffusion, Falcon og FLAN trent på offentlig tilgjengelige algoritmer og data. For disse modellene har brukere tilgang til modellartefakter og er i stand til å finjustere med sine egne data før de distribueres for slutning.
Oppdag modeller
Du kan få tilgang til grunnmodellene gjennom SageMaker JumpStart i SageMaker Studio UI og SageMaker Python SDK. I denne delen går vi over hvordan du oppdager modellene i SageMaker Studio UI.
SageMaker Studio er et nettbasert integrert utviklingsmiljø (IDE) for ML som lar deg bygge, trene, feilsøke, distribuere og overvåke ML-modellene dine. For mer informasjon om hvordan du kommer i gang og konfigurerer SageMaker Studio, se Amazon SageMaker Studio.
Når du er på SageMaker Studio UI, kan du få tilgang til SageMaker JumpStart, som inneholder forhåndsopplærte modeller, bærbare datamaskiner og forhåndsbygde løsninger, under Forhåndsbygde og automatiserte løsninger.
Fra SageMaker JumpStart-landingssiden kan du søke etter løsninger, modeller, notatbøker og andre ressurser. Følgende skjermbilde viser et eksempel på landingssiden med løsninger og fundamentmodeller oppført.
Hver modell har et modellkort, som vist i følgende skjermbilde, som inneholder modellnavnet, om det er finjusterbart eller ikke, leverandørens navn og en kort beskrivelse av modellen. Du kan også åpne modellkortet for å lære mer om modellen og begynne å trene eller distribuere.
Abonner på AWS Marketplace
Proprietære modeller i SageMaker JumpStart er publisert av modellleverandører som AI21, Cohere og LightOn. Du kan identifisere proprietære modeller ved "Proprietary"-taggen på modellkort, som vist i følgende skjermbilde.
Du kan velge Se notatbok på modellkortet for å åpne den bærbare datamaskinen i skrivebeskyttet modus, som vist i følgende skjermbilde. Du kan lese notisboken for viktig informasjon om forutsetninger og andre bruksanvisninger.
Etter å ha importert notatboken, må du velge riktig notatbokmiljø (bilde, kjerne, forekomsttype og så videre) før du kjører koder. Du bør også følge abonnements- og bruksinstruksjonene for den valgte notatboken.
Før du bruker en proprietær modell, må du først abonnere på modellen fra AWS Marketplace:
- Åpne modelloppføringssiden i AWS Marketplace.
URL-en er oppgitt i Viktig delen av notatboken, eller du kan få tilgang til den fra SageMaker JumpStart serviceside. Oppføringssiden viser oversikt, priser, bruk og støtteinformasjon om modellen.
- På AWS Marketplace-oppføringen velger du Fortsett å abonnere.
Hvis du ikke har de nødvendige tillatelsene til å se eller abonnere på modellen, ta kontakt med IT-administratoren eller innkjøpskontakten for å abonnere på modellen for deg. Mange bedrifter kan begrense AWS Marketplace-tillatelser for å kontrollere handlingene som noen med disse tillatelsene kan utføre i AWS Marketplace Management Portal.
- På Abonner på denne programvaresiden, se gjennom detaljene og velg Ta i mot tilbudet hvis du og organisasjonen din er enige i EULA, priser og støttevilkår.
Hvis du har spørsmål eller en forespørsel om volumrabatt, ta kontakt med modellleverandøren direkte via støtte-e-posten på detaljsiden eller ta kontakt med AWS-kontoteamet ditt.
- Velg Fortsett til konfigurasjonen og velg en region.
Du vil se et produkt ARN vist. Dette er modellpakken ARN som du må spesifisere mens du oppretter en distribuerbar modell ved hjelp av Boto3.
- Kopier ARN som tilsvarer din region og spesifiser det samme i den bærbare datamaskinens celleinstruksjon.
Prøveslutninger med prøvemeldinger
La oss se på noen av grunnmodellene fra A21 Labs, Cohere og LightOn som kan oppdages fra SageMaker JumpStart i SageMaker Studio. Alle har de samme instruksjonene for å abonnere på AWS Marketplace og importere og konfigurere den bærbare datamaskinen.
AI21 Oppsummering
Summarize-modellen av A121 Labs kondenserer lange tekster til korte, lettleste biter som forblir faktisk konsistente med kilden. Modellen er opplært til å generere sammendrag som fanger opp nøkkelideer basert på en tekst. Det krever ingen oppfordring. Du skriver bare inn teksten som må oppsummeres. Kildeteksten din kan inneholde opptil 50,000 10,000 tegn, som kan oversettes til omtrent 40 XNUMX ord, eller imponerende XNUMX sider.
Eksempelnotatboken for AI21 Summarize-modellen gir viktige forutsetninger som må følges. Modellen abonnerer for eksempel på AWS Marketplace , har passende IAM-rolletillatelser, og påkrevd boto3-versjon osv. Den leder deg gjennom hvordan du velger modellpakken, oppretter endepunkter for sanntidsslutning, og deretter rydder opp.
Den valgte modellpakken inneholder kartlegging av ARN-er til regioner. Dette er informasjonen du fanget etter å ha valgt Fortsett til konfigurasjonen på AWS Marketplace-abonnementssiden (i delen Evaluer og abonner på Marketplace) og velg deretter en region som du vil se det tilsvarende produkt-ARN for.
Notatboken kan allerede ha ARN forhåndsutfylt.
Du importerer deretter noen biblioteker som kreves for å kjøre denne notatboken og installere wikipedia, som er et Python-bibliotek som gjør det enkelt å få tilgang til og analysere data fra Wikipedia. Notatboken bruker dette senere for å vise frem hvordan man oppsummerer en lang tekst fra Wikipedia.
Den bærbare datamaskinen fortsetter også med å installere ai21
Python SDK, som er en innpakning rundt SageMaker APIer som f.eks deploy
og invoke endpoint
.
De neste cellene i notatboken går gjennom følgende trinn:
- Velg Region og hent modellpakken ARN fra modellpakkekartet
- Lag slutningsendepunktet ditt ved å velge en forekomsttype (avhengig av brukstilfellet og støttet forekomst for modellen; se Oppgavespesifikke modeller for mer detaljer) for å kjøre modellen på
- Lag en distribuerbar modell fra modellpakken
La oss kjøre slutningen for å generere et sammendrag av et enkelt avsnitt hentet fra en nyhetsartikkel. Som du kan se i utgangen, presenteres den oppsummerte teksten som en utgang av modellen.
AI21 Summarize kan håndtere inndata på opptil 50,000 10,000 tegn. Dette oversettes til omtrent 40 XNUMX ord, eller XNUMX sider. Som en demonstrasjon av modellens oppførsel laster vi inn en side fra Wikipedia.
Nå som du har utført en sanntidsslutning for testing, trenger du kanskje ikke endepunktet lenger. Du kan slette endepunktet for å unngå å bli belastet.
Sammenhengende kommando
Cohere Command er en generativ modell som reagerer godt med instruksjonslignende spørsmål. Denne modellen gir bedrifter og bedrifter best kvalitet, ytelse og nøyaktighet i alle generative oppgaver. Du kan bruke Cohere's Command-modell for å styrke tekstforfatterarbeidet, gjenkjennelse av navngitte enheter, parafrasering eller oppsummering og ta dem til neste nivå.
Eksempelnotatboken for Cohere Command-modellen gir viktige forutsetninger som må følges. Modellen abonnerer for eksempel på AWS Marketplace, har passende IAM-rolletillatelser, og påkrevd boto3-versjon osv. Den leder deg gjennom hvordan du velger modellpakken, oppretter endepunkter for sanntidsslutning og deretter rydder opp.
Noen av oppgavene ligner på de som ble dekket i det forrige eksempelet på den bærbare datamaskinen, som å installere Boto3, installere cohere-sagemaker
(pakken gir funksjonalitet utviklet for å forenkle grensesnitt med Cohere-modellen), og få økten og regionen.
La oss utforske å lage endepunktet. Du oppgir modellpakken ARN, endepunktnavn, instanstype som skal brukes og antall instanser. Når det er opprettet, vises endepunktet i din endepunkt delen av SageMaker.
La oss nå kjøre slutningen for å se noen av utgangene fra Command-modellen.
Følgende skjermbilde viser et eksempel på generering av en stillingspost og utdata. Som du kan se, genererte modellen et innlegg fra den gitte ledeteksten.
La oss nå se på følgende eksempler:
- Generer en produktbeskrivelse
- Generer et hovedavsnitt av et blogginnlegg
- Generer en oppsøkende e-post
Som du kan se, genererte Cohere Command-modellen tekst for ulike generative oppgaver.
Nå som du har utført sanntidsslutning for testing, trenger du kanskje ikke endepunktet lenger. Du kan slette endepunktet for å unngå å bli belastet.
LightOn Mini-instruksjon
Mini-instruct, en AI-modell med 40 milliarder milliarder parametere laget av LightOn, er et kraftig flerspråklig AI-system som har blitt trent opp ved hjelp av data av høy kvalitet fra en rekke kilder. Den er bygget for å forstå naturlig språk og reagere på kommandoer som er spesifikke for dine behov. Den yter beundringsverdig i forbrukerprodukter som stemmeassistenter, chatboter og smarte apparater. Den har også et bredt spekter av forretningsapplikasjoner, inkludert agenthjelp og naturlig språkproduksjon for automatisert kundebehandling.
Eksempelnotatboken for LightOn Mini-instruct-modellen gir viktige forutsetninger som må følges. Modellen abonnerer for eksempel på AWS Marketplace, har passende IAM-rolletillatelser, og påkrevd boto3-versjon osv. Den leder deg gjennom hvordan du velger modellpakken, oppretter endepunkter for sanntidsslutning og deretter rydder opp.
Noen av oppgavene ligner på de som ble dekket i det forrige eksempelet på den bærbare datamaskinen, som å installere Boto3 og få øktregionen.
La oss se på å lage endepunktet. Oppgi først modellpakken ARN, endepunktnavn, instanstype som skal brukes og antall instanser. Når det er opprettet, vises endepunktet i endepunktdelen av SageMaker.
La oss nå prøve å slutte modellen ved å be den generere en liste med ideer for artikler for et emne, i dette tilfellet akvarell.
Som du kan se, var LightOn Mini-instruct-modellen i stand til å gi generert tekst basert på den gitte ledeteksten.
Rydd opp
Etter at du har testet modellene og opprettet endepunkter ovenfor for eksempel proprietære Foundation Models, sørg for at du sletter SageMaker-slutningsendepunktene og sletter modellene for å unngå kostnader.
konklusjonen
I dette innlegget viste vi deg hvordan du kommer i gang med proprietære modeller fra modellleverandører som AI21, Cohere og LightOn i SageMaker Studio. Kunder kan oppdage og bruke proprietære Foundation-modeller i SageMaker JumpStart fra Studio, SageMaker SDK og SageMaker-konsollen. Med dette har de tilgang til storskala ML-modeller som inneholder milliarder av parametere og er forhåndsopplært på terabyte med tekst- og bildedata, slik at kundene kan utføre et bredt spekter av oppgaver som artikkeloppsummering og tekst-, bilde- eller videogenerering. Fordi grunnmodeller er forhåndsopplært, kan de også bidra til å redusere opplærings- og infrastrukturkostnadene og muliggjøre tilpasning for ditt bruksområde.
Ressurser
Om forfatterne
juni vant er produktsjef hos SageMaker JumpStart. Han fokuserer på å gjøre grunnmodeller lett synlige og brukbare for å hjelpe kunder med å bygge generative AI-applikasjoner.
Mani Khanuja er en Artificial Intelligence and Machine Learning Specialist SA hos Amazon Web Services (AWS). Hun hjelper kunder som bruker maskinlæring for å løse forretningsutfordringene deres ved hjelp av AWS. Hun bruker mesteparten av tiden sin på å dykke dypt og lære kunder om AI/ML-prosjekter relatert til datasyn, naturlig språkbehandling, prognoser, ML på kanten og mer. Hun er lidenskapelig opptatt av ML på kanten, derfor har hun laget sitt eget laboratorium med selvkjørende sett og produksjonslinje for prototyper, hvor hun tilbringer mye av fritiden sin.
Nitin Eusebius er Sr. Enterprise Solutions Architect hos AWS med erfaring innen programvareteknikk, Enterprise Architecture og AI/ML. Han jobber med kunder for å hjelpe dem med å bygge godt utformede applikasjoner på AWS-plattformen. Han brenner for å løse teknologiske utfordringer og hjelpe kunder med deres skyreise.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/use-proprietary-foundation-models-from-amazon-sagemaker-jumpstart-in-amazon-sagemaker-studio/
- : har
- :er
- :ikke
- :hvor
- $OPP
- 000
- 10
- 100
- 40
- 50
- 500
- 7
- 87
- a
- I stand
- Om oss
- ovenfor
- akselerere
- adgang
- Logg inn
- nøyaktighet
- handlinger
- admin
- Etter
- Agent
- AI
- AI / ML
- algoritmer
- Alle
- tillater
- allerede
- også
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon SageMaker Studio
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- og
- og infrastruktur
- noen
- lenger
- APIer
- vises
- hvitevarer
- søknader
- hensiktsmessig
- arkitektur
- ER
- rundt
- Artikkel
- artikler
- kunstig
- kunstig intelligens
- Kunstig intelligens og maskinlæring
- AS
- Assistanse
- assistenter
- At
- Automatisert
- tilgjengelig
- unngå
- AWS
- AWS Marketplace
- basert
- BE
- fordi
- vært
- før du
- være
- BEST
- Milliarder
- milliarder
- Blogg
- kroppen
- bygge
- bygget
- virksomhet
- Business Applications
- bedrifter
- men
- by
- CAN
- fangst
- fanget
- kort
- Kort
- hvilken
- saken
- Celler
- utfordringer
- tegn
- ladet
- avgifter
- chatbots
- Velg
- velge
- Cloud
- koder
- datamaskin
- Datamaskin syn
- konsistent
- Konsoll
- forbruker
- Forbrukerprodukter
- kontakt
- inneholde
- inneholder
- kontroll
- copywriting
- Tilsvarende
- Kostnader
- dekket
- skape
- opprettet
- Opprette
- kunde
- Kunder
- tilpasning
- dato
- dataforsker
- dedikert
- dyp
- avhengig
- utplassere
- utplasserings
- distribusjon
- beskrivelse
- detalj
- detaljer
- utviklet
- Utvikling
- kringkasting
- direkte
- Rabatt
- oppdage
- vises
- ikke
- ikke
- lett
- lett
- Edge
- innsats
- emalje
- muliggjøre
- Endpoint
- Ingeniørarbeid
- Enterprise
- bedrifter
- enhet
- Miljø
- etc
- evaluere
- eksempel
- eksempler
- erfaring
- utforske
- Face
- Noen få
- Først
- fokuserer
- følge
- fulgt
- etter
- Til
- Fundament
- Gratis
- fra
- funksjonalitet
- generere
- generert
- genererer
- generasjonen
- generative
- Generativ AI
- få
- få
- gitt
- Go
- håndtere
- Ha
- he
- hjelpe
- hjelpe
- hjelper
- her
- høykvalitets
- Hvordan
- Hvordan
- HTML
- HTTPS
- Hub
- Ideer
- identifisere
- if
- bilde
- importere
- viktig
- importere
- imponerende
- in
- Inkludert
- informasjon
- Infrastruktur
- inngang
- innganger
- installere
- installere
- f.eks
- instruksjoner
- integrert
- Intelligens
- inn
- isolert
- IT
- DET ER
- Jobb
- reise
- jpg
- nøkkel
- lab
- Labs
- landing
- Språk
- storskala
- seinere
- LÆRE
- læring
- Lar
- Nivå
- bibliotekene
- Bibliotek
- i likhet med
- BEGRENSE
- linje
- Liste
- oppført
- oppføring
- laste
- Lang
- Se
- Lot
- lavere
- maskin
- maskinlæring
- gjøre
- GJØR AT
- Making
- ledelse
- leder
- produksjon
- mange
- kartlegging
- markedsplass
- Kan..
- ML
- Mote
- modell
- modeller
- Overvåke
- mer
- mest
- navn
- oppkalt
- Naturlig
- Natural Language Processing
- nødvendig
- Trenger
- behov
- nettverk
- nyheter
- neste
- bærbare
- Antall
- mange
- of
- on
- gang
- åpen
- or
- organisasjon
- Annen
- ut
- produksjon
- oppsøk
- enn
- oversikt
- egen
- pakke
- side
- parametere
- lidenskapelig
- Utfør
- ytelse
- utført
- utfører
- tillatelser
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Point
- Populær
- Portal
- Post
- kraftig
- forutsetninger
- presentert
- forrige
- prising
- Før
- fortsetter
- prosessering
- innkjøp
- Produkt
- Produktsjef
- Produksjon
- Produkter
- prosjekter
- proprietær
- prototype
- gi
- forutsatt
- leverandør
- tilbydere
- gir
- offentlig
- publisert
- Python
- kvalitet
- spørsmål
- område
- å nå
- Reager
- Lese
- Skrivebeskyttet modus
- sanntids
- anerkjennelse
- om
- region
- regioner
- i slekt
- forbli
- anmode
- krever
- påkrevd
- Ressurser
- anmeldelse
- roller
- omtrent
- Kjør
- rennende
- SA
- sagemaker
- SageMaker Inference
- samme
- Forsker
- skript
- SDK
- Seksjon
- se
- valgt
- velge
- self-kjøring
- tjeneste
- Tjenester
- Session
- sett
- Del
- hun
- Kort
- bør
- presentere
- viste
- vist
- Viser
- lignende
- forenkle
- ganske enkelt
- enkelt
- Smart
- So
- Software
- software engineering
- Solutions
- LØSE
- løse
- noen
- Noen
- kilde
- Kilder
- spesialist
- spesifikk
- stabil
- Begynn
- startet
- Steps
- Still
- studio
- abonnere
- abonnement
- slik
- oppsummere
- SAMMENDRAG
- støtte
- Støttes
- system
- TAG
- Ta
- tatt
- oppgaver
- Undervisning
- lag
- Teknologi
- vilkår
- testet
- Testing
- Det
- De
- informasjonen
- Kilden
- deres
- Dem
- deretter
- derfor
- Disse
- de
- denne
- De
- Gjennom
- tid
- til
- Tema
- Tog
- trent
- Kurs
- prøve
- to
- typen
- typer
- ui
- etter
- forstå
- URL
- bruk
- bruk
- bruke
- bruk sak
- brukt
- Brukere
- bruker
- ved hjelp av
- ulike
- versjon
- av
- video
- Se
- syn
- Voice
- volum
- var
- we
- web
- webtjenester
- Web-basert
- vekt
- VI VIL
- hvilken
- mens
- bred
- Bred rekkevidde
- Wikipedia
- vil
- med
- ord
- virker
- Du
- Din
- zephyrnet