Amazon SageMaker JumpStart er en maskinlæringshub (ML), der kan hjælpe dig med at accelerere din ML-rejse. Med SageMaker JumpStart kan du opdage og implementere offentligt tilgængelige og proprietære fundamentmodeller til dedikerede Amazon SageMaker instanser til dine generative AI-applikationer. SageMaker JumpStart giver dig mulighed for at implementere fundamentmodeller fra et netværksisoleret miljø og deler ikke kundetræning og slutningsdata med modeludbydere.
I dette indlæg gennemgår vi, hvordan du kommer i gang med proprietære modeller fra modeludbydere som AI21, Cohere og LightOn fra Amazon SageMaker Studio. SageMaker Studio er et notebook-miljø, hvor SageMaker enterprise data scientist-kunder evaluerer og bygger modeller til deres næste generative AI-applikationer.
Fundamentmodeller i SageMaker
Fundamentmodeller er ML-modeller i stor skala, der indeholder milliarder af parametre og er fortrænede på terabyte af tekst- og billeddata, så du kan udføre en lang række opgaver, såsom artikelopsummering og generering af tekst, billede eller video. Fordi fundamentmodeller er foruddannede, kan de hjælpe med at sænke uddannelses- og infrastrukturomkostninger og muliggøre tilpasning til din brugssituation.
SageMaker JumpStart tilbyder to typer fundamentmodeller:
- Proprietære modeller – Disse modeller er fra udbydere såsom AI21 med Jurassic-2-modeller, Cohere med Cohere Command og LightOn med Mini trænet på proprietære algoritmer og data. Du kan ikke se modelartefakter såsom vægt og scripts, men du kan stadig implementere til SageMaker-instanser for at konkludere.
- Offentligt tilgængelige modeller – Disse er fra populære modelhubs såsom Hugging Face with Stable Diffusion, Falcon og FLAN trænet på offentligt tilgængelige algoritmer og data. For disse modeller har brugere adgang til modelartefakter og er i stand til at finjustere med deres egne data før implementering til inferencing.
Opdag modeller
Du kan få adgang til fundamentmodellerne gennem SageMaker JumpStart i SageMaker Studio UI og SageMaker Python SDK. I dette afsnit gennemgår vi, hvordan du opdager modellerne i SageMaker Studio UI.
SageMaker Studio er et webbaseret integreret udviklingsmiljø (IDE) til ML, der lader dig bygge, træne, fejlfinde, implementere og overvåge dine ML-modeller. For flere detaljer om, hvordan du kommer i gang og opsætter SageMaker Studio, se Amazon SageMaker Studio.
Når du først er på SageMaker Studio UI, kan du få adgang til SageMaker JumpStart, som indeholder forudtrænede modeller, notebooks og præbyggede løsninger under Præbyggede og automatiserede løsninger.
Fra SageMaker JumpStart-destinationssiden kan du søge efter løsninger, modeller, notebooks og andre ressourcer. Følgende skærmbillede viser et eksempel på landingssiden med løsninger og funderingsmodeller.
Hver model har et modelkort, som vist på det følgende skærmbillede, som indeholder modelnavnet, om det kan finjusteres eller ej, udbyderens navn og en kort beskrivelse af modellen. Du kan også åbne modelkortet for at lære mere om modellen og begynde at træne eller implementere.
Abonner på AWS Marketplace
Proprietære modeller i SageMaker JumpStart udgives af modeludbydere som AI21, Cohere og LightOn. Du kan identificere proprietære modeller ved "Proprietary" tagget på modelkort, som vist på det følgende skærmbillede.
Du kan vælge Se notesbog på modelkortet for at åbne den bærbare computer i skrivebeskyttet tilstand, som vist på det følgende skærmbillede. Du kan læse notesbogen for vigtige oplysninger om forudsætninger og andre brugsanvisninger.
Når du har importeret notesbogen, skal du vælge det relevante notebook-miljø (billede, kerne, instanstype og så videre), før du kører koder. Du skal også følge abonnements- og brugsinstruktionerne i henhold til den valgte notesbog.
Før du bruger en proprietær model, skal du først abonnere på modellen fra AWS Marketplace:
- Åbn modellistesiden i AWS Marketplace.
URL'en er angivet i Vigtig sektionen af notesbogen, eller du kan få adgang til den fra SageMaker JumpStart serviceside. Listesiden viser oversigt, priser, brug og supportoplysninger om modellen.
- På AWS Marketplace-listen skal du vælge Fortsæt med at abonnere.
Hvis du ikke har de nødvendige tilladelser til at se eller abonnere på modellen, skal du kontakte din it-administrator eller indkøbskontaktperson for at abonnere på modellen for dig. Mange virksomheder kan begrænse AWS Marketplace-tilladelser for at kontrollere de handlinger, som en person med disse tilladelser kan udføre i AWS Marketplace Management Portal.
- På Abonner på denne softwareside, gennemgå detaljerne og vælg Accepter tilbud hvis du og din organisation er enige i EULA, priser og supportvilkår.
Hvis du har spørgsmål eller en anmodning om mængderabat, skal du kontakte modeludbyderen direkte via support-e-mailen på detailsiden eller kontakte dit AWS-kontoteam.
- Vælg Fortsæt til konfiguration og vælg en region.
Du vil se et produkt ARN vist. Dette er modelpakken ARN, som du skal angive, mens du opretter en deployerbar model ved hjælp af Boto3.
- Kopier det ARN, der svarer til din region, og angiv det samme i notesbogens celleinstruktion.
Prøveinferencing med prøveprompter
Lad os se på nogle af eksemplerne på grundmodellerne fra A21 Labs, Cohere og LightOn, som kan findes fra SageMaker JumpStart i SageMaker Studio. Alle har de samme instruktioner til at abonnere på AWS Marketplace og importere og konfigurere notesbogen.
AI21 Opsummering
Summarize-modellen fra A121 Labs kondenserer lange tekster til korte, letlæselige bidder, der forbliver faktuelt i overensstemmelse med kilden. Modellen er trænet til at generere resuméer, der fanger nøgleideer baseret på en tekst. Det kræver ingen opfordring. Du indtaster blot den tekst, der skal opsummeres. Din kildetekst kan indeholde op til 50,000 tegn, der kan oversættes til omkring 10,000 ord eller imponerende 40 sider.
Eksempelnotebooken til AI21 Summarize-modellen giver vigtige forudsætninger, som skal følges. Modellen abonnerer for eksempel på AWS Marketplace, har passende IAM-rolletilladelser og påkrævet boto3-version osv. Den leder dig igennem, hvordan du vælger modelpakken, opretter slutpunkter til realtidsslutning og derefter rydder op.
Den valgte modelpakke indeholder kortlægning af ARN'er til regioner. Dette er den information, du har fanget efter at have valgt Fortsæt til konfiguration på AWS Marketplace-abonnementssiden (i sektionen Evaluer og abonner på Marketplace) og vælg derefter en region, for hvilken du vil se det tilsvarende produkt ARN.
Notebook'en kan allerede have ARN udfyldt.
Du importerer derefter nogle biblioteker, der kræves for at køre denne notesbog og installerer wikipedia, som er et Python-bibliotek, der gør det nemt at få adgang til og parse data fra Wikipedia. Notesbogen bruger dette senere til at vise, hvordan man opsummerer en lang tekst fra Wikipedia.
Den bærbare computer fortsætter også med at installere ai21
Python SDK, som er en indpakning omkring SageMaker API'er som f.eks deploy
, invoke endpoint
.
De næste par celler i notesbogen gennemgår følgende trin:
- Vælg regionen og hent modelpakken ARN fra modelpakkekortet
- Opret dit slutningsendepunkt ved at vælge en instanstype (afhængigt af din use case og understøttede instans for modellen; se Opgavespecifikke modeller for flere detaljer) for at køre modellen på
- Opret en implementerbar model fra modelpakken
Lad os køre slutningen for at generere et resumé af et enkelt afsnit taget fra en nyhedsartikel. Som du kan se i outputtet, præsenteres den opsummerede tekst som et output af modellen.
AI21 Summarize kan håndtere input op til 50,000 tegn. Dette oversættes til omkring 10,000 ord eller 40 sider. Som en demonstration af modellens adfærd indlæser vi en side fra Wikipedia.
Nu hvor du har udført en realtidsslutning til test, har du muligvis ikke brug for slutpunktet længere. Du kan slette slutpunktet for at undgå at blive opkrævet.
Sammenhængende kommando
Cohere Command er en generativ model, der reagerer godt med instruktionslignende prompter. Denne model giver virksomheder og virksomheder den bedste kvalitet, ydeevne og nøjagtighed i alle generative opgaver. Du kan bruge Cohere's Command-model til at puste nyt liv i din tekstforfatning, genkendelse af navngivne enheder, omskrivninger eller opsummering og tage dem til næste niveau.
Eksempelnotesbogen til Cohere Command-modellen giver vigtige forudsætninger, som skal følges. Modellen abonnerer for eksempel på AWS Marketplace, har passende IAM-rolletilladelser og påkrævet boto3-version osv. Den leder dig igennem, hvordan du vælger modelpakken, opretter slutpunkter til realtidsslutning og derefter rydder op.
Nogle af opgaverne ligner dem, der er dækket i det foregående eksempel på en bærbar computer, som at installere Boto3, installere cohere-sagemaker
(pakken giver funktionalitet udviklet til at forenkle grænsefladen med Cohere-modellen), og få sessionen og regionen.
Lad os undersøge oprettelsen af slutpunktet. Du angiver modelpakken ARN, slutpunktsnavn, instanstype, der skal bruges, og antal instanser. Når det er oprettet, vises slutpunktet i din endpoint sektion af SageMaker.
Lad os nu køre inferensen for at se nogle af outputtene fra Command-modellen.
Følgende skærmbillede viser et eksempel på generering af et jobopslag og dets output. Som du kan se, genererede modellen et indlæg fra den givne prompt.
Lad os nu se på følgende eksempler:
- Generer en produktbeskrivelse
- Generer et kropsafsnit i et blogindlæg
- Generer en opsøgende e-mail
Som du kan se, genererede Cohere Command-modellen tekst til forskellige generative opgaver.
Nu hvor du har udført realtidsslutning til test, har du muligvis ikke brug for slutpunktet længere. Du kan slette slutpunktet for at undgå at blive opkrævet.
LightOn Mini-instruktion
Mini-instruct, en AI-model med 40 milliarder milliarder parametre skabt af LightOn, er et kraftfuldt flersproget AI-system, der er blevet trænet ved hjælp af data af høj kvalitet fra adskillige kilder. Den er bygget til at forstå naturligt sprog og reagere på kommandoer, der er specifikke for dine behov. Det fungerer fremragende i forbrugerprodukter som stemmeassistenter, chatbots og smarte apparater. Det har også en bred vifte af forretningsapplikationer, herunder agentassistance og naturligt sprogproduktion til automatiseret kundepleje.
Eksempelnotebooken til LightOn Mini-instruct-modellen giver vigtige forudsætninger, som skal følges. Modellen abonnerer for eksempel på AWS Marketplace, har passende IAM-rolletilladelser og påkrævet boto3-version osv. Den leder dig igennem, hvordan du vælger modelpakken, opretter slutpunkter til realtidsslutning og derefter rydder op.
Nogle af opgaverne ligner dem, der er dækket i det forrige notesbogseksempel, som at installere Boto3 og få sessionsregionen.
Lad os se på at skabe slutpunktet. Angiv først modelpakken ARN, slutpunktsnavn, instanstype, der skal bruges, og antal instanser. Når det er oprettet, vises slutpunktet i din slutpunktssektion af SageMaker.
Lad os nu prøve at udlede modellen ved at bede den om at generere en liste med ideer til artikler til et emne, i dette tilfælde akvarel.
Som du kan se, var LightOn Mini-instruct-modellen i stand til at levere genereret tekst baseret på den givne prompt.
Ryd op
Når du har testet modellerne og oprettet endepunkter ovenfor for eksemplet med proprietære Foundation-modeller, skal du sørge for at slette SageMaker-slutningsendepunkterne og slette modellerne for at undgå at pådrage dig gebyrer.
Konklusion
I dette indlæg viste vi dig, hvordan du kommer i gang med proprietære modeller fra modeludbydere som AI21, Cohere og LightOn i SageMaker Studio. Kunder kan opdage og bruge proprietære Foundation-modeller i SageMaker JumpStart fra Studio, SageMaker SDK og SageMaker Console. Med dette har de adgang til ML-modeller i stor skala, der indeholder milliarder af parametre og er fortrænede på terabyte af tekst- og billeddata, så kunderne kan udføre en lang række opgaver såsom artikelopsummering og generering af tekst, billede eller video. Fordi fundamentmodeller er fortrænede, kan de også hjælpe med at sænke uddannelses- og infrastrukturomkostninger og muliggøre tilpasning til din brugssituation.
Ressourcer
Om forfatterne
juni vandt er produktchef hos SageMaker JumpStart. Han fokuserer på at gøre fundamentmodeller let synlige og brugbare for at hjælpe kunder med at bygge generative AI-applikationer.
Mani Khanuja er en Artificial Intelligence and Machine Learning Specialist SA hos Amazon Web Services (AWS). Hun hjælper kunder med maskinlæring til at løse deres forretningsudfordringer ved hjælp af AWS. Hun bruger det meste af sin tid på at dykke dybt og undervise kunder i AI/ML-projekter relateret til computervision, naturlig sprogbehandling, prognoser, ML på kanten og meget mere. Hun brænder for ML på kanten, derfor har hun skabt sit eget laboratorium med selvkørende kit og prototypefremstillingsproduktionslinje, hvor hun bruger meget af sin fritid.
Nitin Eusebius er en Sr. Enterprise Solutions Architect hos AWS med erfaring i Software Engineering, Enterprise Architecture og AI/ML. Han arbejder sammen med kunder om at hjælpe dem med at bygge veldesignede applikationer på AWS-platformen. Han brænder for at løse teknologiske udfordringer og hjælpe kunder med deres cloud-rejse.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
- Kilde: https://aws.amazon.com/blogs/machine-learning/use-proprietary-foundation-models-from-amazon-sagemaker-jumpstart-in-amazon-sagemaker-studio/
- :har
- :er
- :ikke
- :hvor
- $OP
- 000
- 10
- 100
- 40
- 50
- 500
- 7
- 87
- a
- I stand
- Om
- over
- fremskynde
- adgang
- Konto
- nøjagtighed
- aktioner
- admin
- Efter
- Agent
- AI
- AI / ML
- algoritmer
- Alle
- tillader
- allerede
- også
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon SageMaker Studio
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- ,
- og infrastruktur
- enhver
- længere
- API'er
- kommer til syne
- apparater
- applikationer
- passende
- arkitektur
- ER
- omkring
- artikel
- artikler
- kunstig
- kunstig intelligens
- Kunstig intelligens og maskinlæring
- AS
- Assistance
- assistenter
- At
- Automatiseret
- til rådighed
- undgå
- AWS
- AWS Marketplace
- baseret
- BE
- fordi
- været
- før
- være
- BEDSTE
- Billion
- milliarder
- Blog
- krop
- bygge
- bygget
- virksomhed
- Business Applications
- virksomheder
- men
- by
- CAN
- fange
- fanget
- kort
- Kort
- hvilken
- tilfælde
- Celler
- udfordringer
- tegn
- opladet
- afgifter
- chatbots
- Vælg
- vælge
- Cloud
- koder
- computer
- Computer Vision
- konsekvent
- Konsol
- forbruger
- Forbrugerprodukter
- kontakt
- indeholder
- indeholder
- kontrol
- tekstforfatning
- Tilsvarende
- Omkostninger
- dækket
- skabe
- oprettet
- Oprettelse af
- kunde
- Kunder
- tilpasning
- data
- dataforsker
- dedikeret
- dyb
- Afhængigt
- indsætte
- implementering
- implementering
- beskrivelse
- detail
- detaljer
- udviklet
- Udvikling
- Broadcasting
- direkte
- Rabat
- opdage
- vises
- Er ikke
- Dont
- nemt
- let
- Edge
- indsats
- muliggøre
- Endpoint
- Engineering
- Enterprise
- virksomheder
- enhed
- Miljø
- etc.
- evaluere
- eksempel
- eksempler
- erfaring
- udforske
- Ansigtet
- få
- Fornavn
- fokuserer
- følger
- efterfulgt
- efter
- Til
- Foundation
- Gratis
- fra
- funktionalitet
- generere
- genereret
- generere
- generation
- generative
- Generativ AI
- få
- få
- given
- Go
- håndtere
- Have
- he
- hjælpe
- hjælpe
- hjælper
- hende
- høj kvalitet
- Hvordan
- How To
- HTML
- HTTPS
- Hub
- ideer
- identificere
- if
- billede
- importere
- vigtigt
- importere
- imponerende
- in
- Herunder
- oplysninger
- Infrastruktur
- indgang
- indgange
- installere
- installation
- instans
- anvisninger
- integreret
- Intelligens
- ind
- isolerede
- IT
- ITS
- Job
- rejse
- jpg
- Nøgle
- lab
- Labs
- landing
- Sprog
- storstilet
- senere
- LÆR
- læring
- Lets
- Niveau
- biblioteker
- Bibliotek
- ligesom
- GRÆNSE
- Line (linje)
- Liste
- Børsnoterede
- notering
- belastning
- Lang
- Se
- Lot
- lavere
- maskine
- machine learning
- lave
- maerker
- Making
- ledelse
- leder
- Produktion
- mange
- kortlægning
- markedsplads
- Kan..
- ML
- tilstand
- model
- modeller
- Overvåg
- mere
- mest
- navn
- Som hedder
- Natural
- Natural Language Processing
- nødvendig
- Behov
- behov
- netværk
- nyheder
- næste
- notesbog
- nummer
- talrige
- of
- on
- engang
- åbent
- or
- organisation
- Andet
- ud
- output
- opsøgende
- i løbet af
- oversigt
- egen
- pakke
- side
- parametre
- lidenskabelige
- Udfør
- ydeevne
- udføres
- udfører
- Tilladelser
- perron
- plato
- Platon Data Intelligence
- PlatoData
- Punkt
- Populær
- Portal
- Indlæg
- vigtigste
- forudsætninger
- forelagt
- tidligere
- prissætning
- Forud
- udbytte
- forarbejdning
- indkøb
- Produkt
- produktchef
- produktion
- Produkter
- projekter
- proprietære
- prototype
- give
- forudsat
- udbyder
- udbydere
- giver
- offentligt
- offentliggjort
- Python
- kvalitet
- Spørgsmål
- rækkevidde
- nå
- Reagerer
- Læs
- Skrivebeskyttet tilstand
- realtid
- anerkendelse
- om
- region
- regioner
- relaterede
- forblive
- anmode
- kræver
- påkrævet
- Ressourcer
- gennemgå
- roller
- groft
- Kør
- kører
- SA
- sagemaker
- SageMaker Inference
- samme
- Videnskabsmand
- scripts
- SDK
- Sektion
- se
- valgt
- udvælgelse
- selvkørende
- tjeneste
- Tjenester
- Session
- sæt
- Del
- hun
- Kort
- bør
- udstillingsvindue
- viste
- vist
- Shows
- lignende
- forenkle
- ganske enkelt
- enkelt
- Smart
- So
- Software
- software Engineering
- Løsninger
- SOLVE
- Løsning
- nogle
- Nogen
- Kilde
- Kilder
- specialist
- specifikke
- stabil
- starte
- påbegyndt
- Steps
- Stadig
- Studio
- Hold mig opdateret
- abonnement
- sådan
- opsummere
- RESUMÉ
- support
- Understøttet
- systemet
- TAG
- Tag
- taget
- opgaver
- Undervisning
- hold
- Teknologier
- vilkår
- afprøvet
- Test
- at
- oplysninger
- The Source
- deres
- Them
- derefter
- derfor
- Disse
- de
- denne
- dem
- Gennem
- tid
- til
- emne
- Tog
- uddannet
- Kurser
- prøv
- to
- typen
- typer
- ui
- under
- forstå
- URL
- brugbar
- Brug
- brug
- brug tilfælde
- anvendte
- brugere
- bruger
- ved brug af
- forskellige
- udgave
- via
- video
- Specifikation
- vision
- Voice
- bind
- var
- we
- web
- webservices
- web-baseret
- vægt
- GODT
- som
- mens
- bred
- Bred rækkevidde
- Wikipedia
- vilje
- med
- ord
- virker
- Du
- Din
- zephyrnet