Danes z veseljem sporočamo, da je Gemma model je zdaj na voljo strankam, ki uporabljajo Amazon SageMaker JumpStart. Gemma je družina jezikovni modeli temelji na Googlovih modelih Gemini, urjenih na do 6 bilijonih žetonov besedila. Družino Gemma sestavljata dve velikosti: model s 7 milijardami parametrov in model z 2 milijardama parametrov. Zdaj lahko v SageMaker JumpStart. JumpStart je središče strojnega učenja (ML) SageMakerja, ki poleg vgrajenih algoritmov in celovitih predlog rešitev omogoča dostop do temeljnih modelov, ki vam pomagajo hitro začeti uporabljati ML.
V tej objavi bomo predstavili, kako razmestiti model Gemma in ga natančno prilagoditi za vaše primere uporabe v SageMaker JumpStart. Celoten zvezek je na voljo na GitHub.
Model Gemma
Gemma je družina lahkih, najsodobnejših modeli zgrajen na podlagi istih raziskav in tehnologije, uporabljenih za ustvarjanje Gemini modeli. Gemma, ki so jo razvili Google DeepMind in druge ekipe v Googlu, se zgleduje po Gemini. Gemma kaže močne splošne zmožnosti na besedilnih področjih ter najsodobnejše veščine razumevanja in sklepanja v velikem obsegu. Dosega boljšo zmogljivost v primerjavi z drugimi javno dostopnimi modeli podobnega ali večjega obsega na različnih področjih, vključno z odgovarjanjem na vprašanja, zdravorazumskim razmišljanjem, matematiko in znanostjo ter kodiranjem. Gemma je izdala uteži modela za podporo inovacijam razvijalcev z uporabo modelov Gemma. Gemma je bila predstavljena z novim Responsible Generative AI Toolkit ki ponuja smernice in osnovna orodja za ustvarjanje varnejših aplikacij AI z Gemmo.
Modeli temeljev v SageMakerju
JumpStart omogoča dostop do vrste modelov iz priljubljenih vozlišč za modele, vključno s Hugging Face, PyTorch Hub in TensorFlow Hub, ki jih lahko uporabite v delovnem procesu razvoja ML v SageMakerju. Nedavni napredek v ML je povzročil nov razred modelov, znan kot modeli temeljev, ki se običajno urijo na milijardah parametrov in so prilagodljivi široki kategoriji primerov uporabe, kot je povzemanje besedila, ustvarjanje digitalne umetnosti in jezikovno prevajanje. Ker je usposabljanje teh modelov drago, stranke želijo uporabiti obstoječe vnaprej pripravljene modele temeljev in jih po potrebi natančno prilagoditi, namesto da bi te modele usposobile same. SageMaker ponuja izbran seznam modelov, med katerimi lahko izbirate na konzoli SageMaker.
Zdaj lahko najdete modele temeljev različnih ponudnikov modelov znotraj JumpStarta, kar vam omogoča, da hitro začnete z modeli temeljev. Poiščete lahko temeljne modele, ki temeljijo na različnih nalogah ali ponudnikih modelov, ter pregledate značilnosti modela in pogoje uporabe. Te modele lahko preizkusite tudi s testnim gradnikom uporabniškega vmesnika. Če želite uporabiti osnovni model v velikem obsegu, lahko to storite, ne da bi zapustili SageMaker, tako da uporabite vnaprej pripravljene prenosnike ponudnikov modelov. Ker modeli gostujejo in so nameščeni na AWS, se vaši podatki, ne glede na to, ali se uporabljajo za ocenjevanje modela ali njegovo uporabo v velikem obsegu, nikoli ne delijo s tretjimi osebami.
Raziščimo, kako lahko uporabite model Llama Guard v JumpStartu.
Raziščite model Gemma v Jumpstartu
Do modelov temeljev Gemma lahko dostopate prek SageMaker JumpStart v uporabniškem vmesniku SageMaker Studio in SDK SageMaker Python. V tem razdelku bomo opisali, kako odkriti modele v SageMaker Studio.
SageMaker Studio je integrirano razvojno okolje (IDE), ki ponuja enoten spletni vizualni vmesnik, kjer lahko dostopate do namensko izdelanih orodij za izvajanje vseh razvojnih korakov ML, od priprave podatkov do gradnje, usposabljanja in uvajanja vaših modelov ML. Za več podrobnosti o tem, kako začeti in nastaviti SageMaker Studio, glejte Amazon SageMaker Studio.
V upravljalni konzoli AWS za SageMaker Studio pojdite na SageMaker JumpStart pod Predizdelane in avtomatizirane rešitve. Jumpstart vsebuje vnaprej usposobljene modele, prenosne računalnike in vnaprej pripravljene rešitve.
Na ciljni strani SageMaker JumpStart lahko najdete model Gemma z iskanjem Gemma.
Nato lahko izbirate med številnimi različicami modela Gemma, vključno z Gemma 2B, Gemma 7B, Gemma 2B instruct in Gemma 7B instruct.
Izberite kartico modela, če si želite ogledati podrobnosti o modelu, kot so licenca, podatki, uporabljeni za usposabljanje, in način uporabe modela. Našli boste tudi a uvajanje gumb, ki vas pripelje na ciljno stran, kjer lahko preizkusite sklepanje s primerom tovora.
Namestite Gemmo s SDK za SageMaker Python
Kodo, ki prikazuje uvajanje Gemme, lahko najdete na JumpStart in primer, kako uporabiti uvedeni model v ta prenosnik GitHub.
Začnite z izbiro ID-ja modela SageMaker Model Hub in različice modela, ki ju želite uporabiti pri uvajanju Gemme.
Izberite ID modela iz naslednje tabele, ki podrobno opisuje privzete konfiguracijske možnosti za razmestitev JumpStart. Zaradi velike velikosti besedišča 256 tisoč žetonov se lahko Gemma 7B prilega samo enemu grafičnemu procesorju A10G, če podpira dolžino konteksta 1 tisoč. Zaradi tega JumpStart uporablja večji privzeti primerek za Gemma 7B.
ID modela | Privzeti primerek sklepanja | Tenzorska paralelna stopnja | Podprti kontekst Dolžina |
huggingface-llm-gemma-2b | ml.g5.xlarge | 1 | 8k |
huggingface-llm-gemma-2b-instruct | ml.g5.xlarge | 1 | 8k |
huggingface-llm-gemma-7b | ml.g5.12xvelik | 4 | 8k |
huggingface-llm-gemma-7b-instruct | ml.g5.12xvelik | 4 | 8k |
Zdaj lahko razmestite model s SageMaker JumpStart. Naslednja koda uporablja privzeti primerek ml.g5.12xlarge
za končno točko sklepanja Model lahko razmestite na druge vrste primerkov s podajanjem instance_type
v JumpStartModel
razred. Uvajanje lahko traja 5-10 minut.
Za uspešno uvajanje morate ročno spremeniti accept_eula
argument v metodi razmestitve modela za True
. Ta model je razporejen s pomočjo vsebnika za globoko učenje (TGI).
Prikliči končno točko
Primere uporabnih obremenitev lahko programsko pridobite iz JumpStartModel
predmet. To vam bo pomagalo začeti z opazovanjem vnaprej oblikovanih navodil, ki jih Gemma lahko zaužije.
Preden si ogledamo posebne pozive, razmislimo o predlogi za klepet za modele Gemma Instruct.
Tukaj postavite svoj poziv v [USER_PROMPT]
lokacijo. Ni podpore za sistemska navodila; namesto tega lahko pred uporabniškim pozivom dodate želeno navodilo. Poleg tega, če imate večkratni pogovor, se lahko poziv modela po potrebi zamenja med uporabnikom in pomočnikom.
Zdaj razmislite o nekaj pozivih za primere navodil. Tukaj prosite Gemmo, naj napiše program Hello World.
Pričakovani rezultat je naslednji:
Nato pokličite Gemmo za ustvarjalno nalogo pisanja pesmi.
Izhod je naslednji:
To izgleda zelo dobro!
Zdaj pa si poglejmo primerjalno analizo zakasnitve in zmogljivosti prepustnosti za strežbo modela s privzeto konfiguracijo uvedbe JumpStart. Tukaj prikazujemo, kako se lahko zmogljivost modela razlikuje za vašo običajno delovno obremenitev končne točke. V naslednjih tabelah lahko opazite, da so poizvedbe majhne velikosti (256 vhodnih besed in 256 izhodnih žetonov) precej zmogljive pri velikem številu sočasnih uporabnikov in dosegajo prepustnost žetonov reda tisoč do dva tisoč žetonov na sekundo. Ko pa se število vhodnih besed približa Gemmini največji podprti dolžini konteksta osem tisoč žetonov, končna točka nasiči svojo zmogljivost paketiranja – število sočasnih zahtev, ki jih je dovoljeno sočasno obdelati – zaradi omejitev, vezanih na pomnilnik primerka.
Za več informacij o tem, kako upoštevati te informacije in prilagoditi konfiguracije razmestitve za vaš poseben primer uporabe, glejte Primerjajte in optimizirajte uvajanje končne točke v Amazon SageMaker JumpStart.
. | Prepustnost (žetoni/s) | ||||||||||
Sočasni uporabniki | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
Model | Vrsta primerka | Vnos besed | Izhodni žetoni | . | . | . | . | . | . | . | . |
gemma-2b-instruct | ml.g5.xlarge | 256 | 256 | 73 | 137 | 262 | 486 | 829 | 1330 | 1849 | 1834 |
2048 | 256 | 69 | 126 | 227 | 373 | 537 | 704 | 764 | - | ||
7936 | 256 | 60 | 100 | 147 | 195 | 226 | 230 | - | - | ||
gemma-7b-instruct | ml.g5.12xvelik | 256 | 256 | 62 | 119 | 227 | 413 | 601 | 811 | 937 | 962 |
2048 | 256 | 56 | 100 | 172 | 245 | 267 | 273 | - | - | ||
7936 | 256 | 44 | 67 | 77 | 77 | 78 | - | - | - |
. | Zakasnitev P50 (ms/žeton) | ||||||||||
Sočasni uporabniki | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
Model | Vrsta primerka | Vnos besed | Izhodni žetoni | . | . | . | . | . | . | . | . |
gemma-2b-instruct | ml.g5.xlarge | 256 | 256 | 13 | 14 | 15 | 16 | 19 | 23 | 33 | 49 |
2048 | 256 | 14 | 15 | 17 | 20 | 28 | 43 | 79 | - | ||
7936 | 256 | 16 | 19 | 26 | 39 | 68 | 136 | - | - | ||
Gemma-7b-instruct | ml.g5.12xvelik | 256 | 256 | 16 | 16 | 17 | 19 | 26 | 38 | 57 | 110 |
2048 | 256 | 17 | 19 | 23 | 32 | 52 | 119 | - | - | ||
7936 | 256 | 22 | 29 | 45 | 105 | 197 | - | - | - |
Natančno nastavite Gemmo s SDK za SageMaker Python
Nato vam pokažemo, kako natančno prilagodite model navodil Gemma 7B na naboru podatkov, oblikovanem za pogovor, z uporabo QLoRA tehnika. Kot je bilo že omenjeno, JumpStart zaradi velike velikosti besedišča 256 tisoč in dolžine konteksta 8 tisoč ponuja naslednje privzete konfiguracije za fino nastavitev QLoRA.
ID modela | Privzeti primerek usposabljanja | Največja dolžina vhodnega zaporedja | Velikost serije za usposabljanje na napravo | Koraki kopičenja gradienta |
huggingface-llm-gemma-2b | ml.g5.2xvelik | 1024 | 1 | 4 |
huggingface-llm-gemma-2b-instruct | ml.g5.2xvelik | 1024 | 1 | 4 |
huggingface-llm-gemma-7b | ml.g5.12xvelik | 2048 | 1 | 4 |
huggingface-llm-gemma-7b-instruct | ml.g5.12xvelik | 2048 | 1 | 4 |
Naložimo in obdelajmo nabor podatkov v pogovorni obliki. Primer nabora podatkov za to predstavitev je TOP-1 pogovornih niti OpenAssistant.
Podatki o usposabljanju morajo biti oblikovani v vrsticah JSON (.jsonl
), kjer je vsaka vrstica slovar, ki predstavlja niz pogovorov. Spodaj je prikazan en primer znotraj datoteke vrstic JSON. Za podrobnosti o tem, kako obdelati nabor podatkov, glejte zvezek v GitHub.
V osnovi skriptov za usposabljanje JumpStart uporablja HuggingFace SFTTrainer z QLoRA in FlashAttention. Flash Attention omogoča učinkovitost skaliranja, kar vodi do hitrejšega usposabljanja in sklepanja. Poleg natančnega prilagajanja na podlagi klepeta JumpStart podpira tudi natančno prilagajanje navodil in domene s QLoRA. Za podrobnosti si oglejte zvezek v GitHub.
Po fini nastavitvi lahko natančno nastavljen model razmestite na končno točko SageMaker.
Izberete lahko uvedbo modela, natančno nastavljenega na podatke pogovorov v končni točki SageMaker Funkcija API za sporočila HuggingFace kot alternativni pristop. Prednost uporabe funkcije API za sporočila je, da uporabnikom omogoča posredovanje primerov poizvedb v neobdelani obliki, kot je prikazano v naslednji tabeli, chat_template znotraj končne točke pa bo primere poizvedb pretvoril v pravilno obliko, preden jih pošlje v model. Za podrobnosti glejte razdelek o uvajanju po natančni nastavitvi v prenosnik.
Po uvedbi natančno nastavljenega modela v končni točki lahko primerjate izhodne odzive vnaprej usposobljenih in natančno nastavljenih modelov Gemma. Primeri so zbrani iz testnih podatkov, ki so zadržani niz podatkov o usposabljanju. Parametri sklepanja so max_tokens
kot 512, top_p
kot 0.9, temperature
kot 0.4, in top_k
kot 50.
Kot lahko vidite pri rezultatih natančnega prilagajanja, so odgovori agenta natančnejši.
Če želite dodatno oceniti svoje natančno nastavljene modele, lahko raziščete FM vrednotenje z Amazon SageMaker Clarify da vidite, kako deluje vaš natančno nastavljen model v primerjavi z osnovnim modelom.
Vhodi | Osnovna resnica | Odgovor od baza Model | Odziv natančno nastavljenega modela | |
1 |
Uporabnik: Želim delati na svojem besedišču. Ali mi lahko ponudite nekaj preprostih načinov, kako najti nove besede, ki jih bom uporabil za povečanje raznolikosti svojih stavkov? Pomočnik: Vsekakor! Izboljševanje besednega zaklada je stalen proces, a tukaj je nekaj preprostih načinov za iskanje novih besed in povečanje raznolikosti vaših stavkov: 1. Veliko berite: branje knjig, člankov in blogov iz različnih žanrov in tem vas izpostavi novim besedam in frazam. Zapišite si vse neznane besede, ki jih srečate, in poiščite njihov pomen. 2. Uporabite tezaver: Kadarkoli pišete ali berete, uporabite tezaver, da poiščete sinonime za pogosto uporabljene besede. To vam ne pomaga samo pri učenju novih besed, ampak tudi izboljša vaše razumevanje njihovih subtilnih razlik v pomenu. 3. Koledarji ali aplikacije beseda na dan: Naročite se na e-pošto beseda na dan ali prenesite aplikacijo za ustvarjanje besedišča. Ta orodja vas vsak dan seznanijo z novo besedo, skupaj z njenim pomenom, izgovorjavo in primeri uporabe. 4. Pridružite se knjižnemu klubu ali diskusijski skupini: Sodelovanje v pogovorih in razpravah o knjigah, člankih ali kateri koli drugi temi vas izpostavi drugačnim perspektivam in novemu besedišču. Pozorno poslušajte druge in poskusite uporabiti nove besede v kontekstu. 5. Igrajte besedne igre: Igre, kot so Scrabble, Boggle in križanke, izzivajo vaše besedišče in vam pomagajo pri učenju novih besed na prijeten način. 6. Oglejte si filme, televizijske oddaje ali dokumentarce: vizualni mediji pogosto uporabljajo raznolik jezik, sleng in žargon. Gledanje filmov, televizijskih oddaj ali dokumentarnih filmov s podnapisi vam lahko pomaga bolje razumeti in si zapomniti nove besede. 7. Vadite pisanje: redno pisanje zgodb, esejev ali dnevniških zapisov vas spodbuja k uporabi novih besed in besednih zvez. Eksperimentirajte z različnimi slogi in žanri pisanja, da razširite svoj besedni zaklad. 8. Naučite se etimologije nove besede: Razumevanje izvora in zgodovine besede lahko olajša zapomnitev in pravilno uporabo. Raziskovanje etimologije vas izpostavi tudi sorodnim besedam in pojmom. 9. Uporabite kartice ali programsko opremo za ponavljanje s presledki: Ustvarite kartice z novimi besedami, njihovimi pomeni in primeri stavkov. Redno jih pregledujte ali uporabite programsko opremo za ponavljanje v razmikih, kot je Anki, da optimizirate svoje učenje. 10. Postavite si osebne cilje: Postavite si dosegljive cilje, kot je učenje petih novih besed na teden. Spremljajte svoj napredek in se nagradite za doseganje svojih ciljev. Z doslednim vključevanjem teh strategij v vašo dnevno rutino boste postopoma zgradili raznoliko in robustno besedišče. Uporabnik: Hm, res mi je všeč ideja o branju. Mi lahko priporočite kul znanstvenofantastični triler, ki bi ga lahko prebral? |
Pomočnik: Vsekakor! Tukaj je nekaj priporočil za znanstvenofantastične trilerje, ki vam bodo morda všeč: 1. »Problem treh teles« Liuja Cixina – Ta nagrajeni roman raziskuje prvi stik med človeštvom in tujo civilizacijo ter politične in osebne posledice, ki iz tega izhajajo. To je navdušujoče branje, ki spodbuja razmišljanje in se poglobi v globoka vprašanja o naravi obstoja in vesolja. 2. »Annihilation« Jeffa Vandermeerja – Ta roman spremlja skupino znanstvenikov, ki se odpravijo na skrivnostno območje, znano kot »Območje X«, kjer naletijo na nenavadne in vznemirljive pojave. Ko se poglobijo v to področje, začnejo odkrivati temne skrivnosti o naravi resničnosti in sveta okoli njih. 3. “Dark Matter” Blakea Croucha – Ta roman spremlja briljantnega fizika po imenu Jason Dessen, ki je ugrabljen in prepeljan v vzporedno vesolje. Ko poskuša najti pot nazaj v lastno realnost, se mora soočiti s svojimi odločitvami in posledicami svojih dejanj. 4. “The Andromeda Strain” Michaela Crichtona – Ta klasični roman spremlja ekipo znanstvenikov, ki poskušajo zadržati in preučiti smrtonosni nezemeljski mikrob, ki je pristal na Zemlji. Medtem ko tekmujejo s časom, da bi našli način za nevtralizacijo mikroba, se morajo spopasti tudi s političnimi spletkami in osebnimi konflikti. 5. »Ready Player One« Ernesta Clinea – Ta roman je postavljen v distopično prihodnost, kjer večina prebivalstva preživlja svoj čas v svetu virtualne resničnosti, znanem kot OASIS. Ko ustvarjalec OASIS umre in za seboj pusti izziv najti skrito velikonočno jajce, se mladi protagonist poda na razburljivo iskanje, ki mu bo za vedno spremenilo življenje. Upam, da bo eno od teh priporočil vzbudilo vaše zanimanje! |
Pomočnik: Besedilo ne vsebuje podatkov o vaših bralnih željah ali zanimanjih, zato vam ne morem dati knjižnega priporočila. |
Pomočnik: Seveda, tukaj je nekaj priporočil za znanstvenofantastične trilerje, ki vam bodo morda všeč: – »Sipina« Franka Herberta: Ta epski znanstvenofantastični roman je postavljen na puščavski planet Arrakis, kjer se mora mladi princ po imenu Paul Atreides soočiti z izzivi sovražnega okolja in zahrbtne politične krajine. – “The Martian” Andyja Weira: Ta navdušujoč znanstvenofantastični triler sledi zgodbi Marka Watneyja, astronavta, ki je po prašni nevihti obtičal na Marsu, ko uporablja svojo iznajdljivost in iznajdljivost, da preživi in se končno vrne na Zemljo. – “Časovni stroj” HG Wellsa: Ta klasični znanstvenofantastični roman ima filozofski pristop k konceptu potovanja skozi čas in raziskuje posledice spreminjanja preteklosti in prihodnosti. – “The Blade Runner” Philipa K. Dicka: Ta neo-noir znanstvenofantastični roman, postavljen v futuristični Los Angeles, raziskuje presečišče človeške in umetne inteligence ter njen vpliv na družbo in naravo realnosti. – »Androidi« Isaaca Asimova: Ta znanstvenofantastični roman raziskuje koncept umetne inteligence in njene morebitne posledice, zlasti ko ljudje razvijejo napredne androide, ki izzivajo tradicionalne človeške vrednote in prepričanja. To je le nekaj predlogov in na koncu bo najboljša knjiga za vas odvisna od vaših osebnih preferenc in vrste izkušnje, ki jo iščete v znanstvenofantastičnem trilerju. Upam pa, da vam bodo ta priporočila dobro izhodišče za raziskovanje žanra. Sporočite mi, če imate dodatna vprašanja ali če vam lahko kar koli pomagam. |
2 |
Uporabnik: Napišite program Hello World v VB.NET Pomočnik: Izvolite: »vbnet Uporabnik: Naj sprejme vnos iz $ in nato izgovori »Hello, $« namesto »Hello, World!« |
Pomočnik: javni modul HelloWorld Javni podglavni() System.Console.WriteLine("Kako ti je ime?") Zatemni ime kot niz = System.Console.ReadLine() System.Console.WriteLine(“Pozdravljeni, ” & ime & “!”) End Sub Končni modul |
Pomočnik: »`vbnet Javni modul HelloWorld Javni podglavni() Zatemni ime kot niz = Console.ReadLine() Console.WriteLine(“Pozdravljeni, ” & ime) End Sub Končni modul |
Pomočnik: Seveda! Tukaj je primer: »vbnet |
3 |
Uporabnik: daj mi seznam opravil, ko začnem s projektom za usposabljanje velikega jezikovnega modela, ki lahko razume in odgovarja na človeška vprašanja Pomočnik: Naslednji koraki so zgoščen seznam korakov, ki jih je treba izvesti ob začetku projekta za usposabljanje velikega jezikovnega modela, ki je sposoben razumeti človeške poizvedbe in se nanje odzvati: 1. Določite obseg in cilje projekta ter ciljno občinstvo. To vam mora dati osnovno predstavo o zahtevanih korakih. Ali naj grem podrobneje o eni od točk? Uporabnik: Te naloge je treba podrobneje razčleniti. Ali lahko prosim zagotovite posodobljen seznam opravil s podrobnejšo razčlenitvijo prihodnjih nalog |
Pomočnik: Tukaj je podrobnejša razčlenitev vsakega koraka: 1. Določite obseg in cilje projekta: Pomembno je jasno opredeliti cilje projekta in ciljno občinstvo. To vam bo pomagalo pri odločanju o tem, katero vrsto podatkov želite zbrati in kakšna arhitektura modela je primerna. 2. Zberite in predhodno obdelajte podatke: To je pomemben korak, saj bosta kakovost in raznolikost podatkov neposredno vplivala na učinkovitost modela. Predhodna obdelava lahko vključuje čiščenje podatkov, tokenizacijo besedila in pretvorbo besed v numerične predstavitve. 3. Izberite arhitekturo modela: Izbirate lahko med številnimi različnimi vrstami modelov, vključno s ponavljajočimi se nevronskimi mrežami (RNN), transformatorskimi modeli in konvolucijskimi nevronskimi mrežami (CNN). Izbira bo odvisna od posebnih zahtev projekta in količine razpoložljivih podatkov. 4. Razdelite nabor podatkov in implementirajte povečavo podatkov: Razdelitev podatkov na podnabore za usposabljanje, validacijo in testiranje je pomembna za spremljanje delovanja modela med usposabljanjem. Povečanje podatkov je mogoče uporabiti za umetno povečanje velikosti nabora podatkov in izboljšanje robustnosti modela. 5. Usposabljanje modela in spremljanje napredka: Ta korak vključuje usposabljanje modela na podatkih o usposabljanju z uporabo potrditvenega niza za spremljanje napredka in po potrebi prilagajanje hiperparametrov. Morda bo treba ta postopek večkrat ponoviti, dokler model ne bo dobro deloval na nizu za preverjanje veljavnosti. 6. Ocenite model na testnem nizu: Ko je model usposobljen, je pomembno, da ocenite njegovo delovanje na ločenem testnem nizu, da dobite predstavo o njegovi sposobnosti posploševanja. To lahko storite tako, da primerjate napovedi modela z dejanskimi rezultati in analizirate napake. 7. Natančna nastavitev za posebne naloge ali domene: Ta korak vključuje nadaljnje usposabljanje modela na podatkih, specifičnih za naloge, da se izboljša njegova zmogljivost za določeno domeno. To je mogoče doseči s prenosnim učenjem, kjer se predhodno usposobljeni model natančno nastavi na novih podatkih, ali s fino nastavitvijo, kjer se model uri iz nič na novih podatkih. 8. Ustvarite vmesnik za uporabniški vnos: To vključuje oblikovanje vmesnika, ki uporabnikom omogoča vnašanje vprašanj ali zahtev ter prejemanje odgovorov od modela. 9. Test v nadzorovanem okolju: Pred uvedbo modela v resničnem okolju je pomembno, da ga preizkusite v nadzorovanem okolju in zberete povratne informacije uporabnikov. To bo pomagalo prepoznati morebitne napake ali pristranskosti v modelu in ponudilo priložnosti za izboljšave. 10. Nenehno spremljajte in izboljšujte delovanje: Nazadnje je pomembno, da nenehno spremljate delovanje modela in po potrebi izvajate posodobitve in izboljšave. To lahko vključuje ponovno usposabljanje modela na novih podatkih, natančno nastavitev hiperparametrov ali posodobitev arhitekture. |
Pomočnik: ## Seznam opravil za usposabljanje velikega jezikovnega modela za odgovarjanje na vprašanja **1. Obseg in cilji projekta:** * Določite cilje projekta in želene funkcionalnosti. **2. Pridobivanje podatkov in predhodna obdelava:** * Identificirajte vire za podatke o usposabljanju in zberite nabor raznolikih besedilnih podatkov. **3. Izbira in konfiguracija modela:** * Izberite ustrezno arhitekturo modela glede na kompleksnost naloge in želeno zmogljivost. **4. Usposabljanje in ocenjevanje:** * Razdelite podatke o usposabljanju na podnabore za usposabljanje, validacijo in testiranje. **5. Natančna nastavitev in razvoj vmesnika:** * Natančno prilagodite model za posebne naloge ali domene s prenosnim učenjem. **6. Testiranje in izboljšave:** * Preizkusite model v nadzorovanem okolju z različnimi vhodnimi scenariji. **Dodatni premisleki:** * Določite časovnico in proračun za projekt. **Opomba:** Ta seznam ni izčrpen in ga bo morda treba prilagoditi glede na specifične zahteve projekta. |
Pomočnik: Seveda, tukaj je podrobnejša razčlenitev nalog, vključenih v usposabljanje velikega jezikovnega modela za razumevanje in odgovarjanje na človeška vprašanja: **1. Določite obseg in cilje projekta** **2. Zberite in predhodno obdelajte obsežen/različen nabor besedilnih podatkov** **3. Izberite ustrezno arhitekturo modela, prilagodite hiperparametre za natančnost/hitrost** **4. Razdelite nabor podatkov na podnabore za usposabljanje, validacijo, testiranje, implementirajte razširitev podatkov** **5. Usposobite model, spremljajte napredek na naboru za preverjanje, prilagodite po potrebi** **6. Ocenite model na testnem nizu, primerjajte z merili uspešnosti, analizirajte napake in pristranskosti** **7. Natančna nastavitev za posebne naloge ali domene s prenosnim učenjem ali natančnim prilagajanjem** **8. Ustvarite vmesnik za uporabniški vnos in odziv modela** **9. Testirajte v nadzorovanem okolju, zberite povratne informacije za izboljšave** **10. Nenehno spremljajte in izboljšujte uspešnost s ponovnim usposabljanjem in natančnim prilagajanjem** To so koraki, vključeni v usposabljanje velikega jezikovnega modela za razumevanje in odgovarjanje na človeška vprašanja. Sporočite mi, če imate vprašanje. |
Čiščenje
Ko ste preizkusili končne točke, izbrišite končne točke sklepanja SageMaker in model, da se izognete zaračunavanju.
zaključek
V tej objavi smo vam pokazali, kako začeti uporabljati Gemmo v SageMaker Studio in uvesti model za sklepanje. Pokazali smo vam tudi, kako lahko natančno prilagodite modele Gemma na SageMaker Jumpstart.
Ker so osnovni modeli vnaprej usposobljeni, lahko pomagajo znižati stroške usposabljanja in infrastrukture ter omogočijo prilagoditev za vaš primer uporabe. Za začetek obiščite SageMaker JumpStart v SageMaker Studio.
Ta navodila so samo informativne narave. Še vedno bi morali opraviti lastno neodvisno oceno in sprejeti ukrepe za zagotovitev skladnosti s svojimi posebnimi praksami in standardi nadzora kakovosti ter lokalnimi pravili, zakoni, predpisi, licencami in pogoji uporabe, ki veljajo za vas, vašo vsebino in model tretje osebe, na katerega se sklicuje ta navodila. AWS nima nadzora ali pooblastil nad modelom tretje osebe, navedenim v teh navodilih, in ne daje nobenih izjav ali jamstev, da je model tretje osebe varen, brez virusov, delujoč ali združljiv z vašim produkcijskim okoljem in standardi. AWS ne daje nobenih izjav, jamstev ali jamstev, da bodo katere koli informacije v teh navodilih privedle do določenega izida ali rezultata.
O avtorjih
Dr. Kyle Ulrich je uporabni znanstvenik z Vgrajeni algoritmi Amazon SageMaker ekipa. Njegovi raziskovalni interesi vključujejo skalabilne algoritme strojnega učenja, računalniški vid, časovne vrste, Bayesove neparametrične in Gaussove procese. Njegov doktorat je pridobil na Univerzi Duke in je objavil članke v NeurIPS, Cell in Neuron.
dr. Xin Huang je višji aplikativni znanstvenik za vgrajene algoritme Amazon SageMaker JumpStart in Amazon SageMaker. Osredotoča se na razvoj razširljivih algoritmov strojnega učenja. Njegovi raziskovalni interesi so na področju obdelave naravnega jezika, razložljivega globokega učenja na tabelarnih podatkih in robustne analize neparametričnega prostorsko-časovnega združevanja. Objavil je številne članke na konferencah ACL, ICDM, KDD in Royal Statistical Society: Series A.
Rachna Chadha je glavni arhitekt rešitev AI/ML v Strategic Accounts pri AWS. Rachna je optimist, ki verjame, da lahko etična in odgovorna uporaba umetne inteligence izboljša družbo v prihodnosti ter prinese gospodarsko in družbeno blaginjo. V prostem času Rachna rada preživlja čas z družino, hodi na pohode in posluša glasbo.
Evan Kravitz je programski inženir pri Amazon Web Services, ki dela na SageMaker JumpStart. Rad kuha in hodi na tek v New Yorku.
Dr. Ashish Khetan je višji aplikativni znanstvenik z vgrajenimi algoritmi Amazon SageMaker in pomaga pri razvoju algoritmov strojnega učenja. Doktoriral je na Univerzi Illinois Urbana-Champaign. Je aktiven raziskovalec strojnega učenja in statističnega sklepanja ter je objavil številne članke na konferencah NeurIPS, ICML, ICLR, JMLR, ACL in EMNLP.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/gemma-is-now-available-in-amazon-sagemaker-jumpstart/
- :ima
- : je
- :ne
- :kje
- $GOR
- 1
- 10
- 100
- 11
- 13
- 135
- 17
- 19
- 1900
- 250
- 28
- 29
- 31
- 39
- 41
- 50
- 7
- 8
- 9
- a
- sposobnost
- O meni
- nad
- Sprejmi
- dostop
- dostopnost
- Račun
- računi
- akumulacija
- natančnost
- natančna
- dosegljiv
- Dosega
- pridobitev
- čez
- dejavnosti
- aktivna
- dejanska
- prilagoditev
- Poleg tega
- Poleg tega
- prilagodite
- napredno
- napredek
- po
- proti
- Agent
- AI
- AI / ML
- letalo
- algoritmi
- alien
- vsi
- omogočajo
- dovoljene
- omogoča
- skupaj
- Prav tako
- alternativa
- Amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- znesek
- an
- Analiza
- analizirati
- analize
- analiziranje
- in
- in infrastrukturo
- andromeda
- Angeles
- Objavi
- odgovor
- odgovor
- odgovori
- kaj
- karkoli
- API
- aplikacija
- aplikacije
- uporabna
- Uporabi
- pristop
- pristopi
- primerno
- aplikacije
- Arhitektura
- SE
- OBMOČJE
- območja
- Argument
- okoli
- Umetnost
- članki
- umetni
- Umetna inteligenca
- AS
- vprašati
- ocenjevanje
- Pomočnik
- astronavt
- At
- Občinstvo
- organ
- Avtomatizirano
- Na voljo
- izogniti
- Nagrajena
- AWS
- Konzola za upravljanje AWS
- nazaj
- uravnotežen
- baza
- temeljijo
- Osnovni
- šaržiranje
- Bajezijski
- BE
- ker
- pred
- začetek
- zadaj
- počutje
- prepričanja
- meni
- spodaj
- primerjalna analiza
- meril
- koristi
- poleg tega
- BEST
- Boljše
- med
- pristranskosti
- pristranskosti
- Billion
- milijardah
- BLADE
- Block
- Blog
- blogi
- Bloom
- telo
- Knjiga
- knjige
- Razčlenitev
- briljantno
- prinašajo
- Predložitev
- Prinaša
- Broken
- proračun
- izgradnjo
- Building
- zgrajena
- vgrajeno
- vendar
- Gumb
- by
- koledarji
- klic
- se imenuje
- CAN
- ne more
- platno
- Zmogljivosti
- lahko
- kartice
- primeru
- primeri
- Kategorija
- previdnost
- celica
- izziv
- izzivi
- spremenite
- lastnosti
- Stroški
- klepet
- Pregledi
- izbira
- možnosti
- Izberite
- mesto
- Civilizacija
- razred
- klasična
- čiščenje
- čiščenje
- jasno
- klik
- klub
- grozdenje
- Koda
- Kodiranje
- sodelovanje
- prihaja
- pogosto
- primerjate
- v primerjavi z letom
- primerjavo
- Primerjava
- združljiv
- dokončanje
- zapletenosti
- kompleksnost
- izpolnjujejo
- računalnik
- Računalniška vizija
- Koncept
- koncepti
- sočasno
- konference
- konfiguracija
- Konflikti
- Posledice
- Razmislite
- premislekov
- upoštevamo
- dosledno
- vsebuje
- Konzole
- stalna
- omejitve
- kontakt
- vsebujejo
- Posoda
- Vsebuje
- trditi
- vsebina
- ozadje
- stalno
- nadzor
- nadzorom
- Pogovor
- pogovorni
- pogovorov
- pretvorbo
- pretvorbo
- Cool
- pravilno
- stroški
- bi
- ustvarjajo
- Ustvarjanje
- Creative
- kreator
- Križanka
- kurirano
- radovedna
- Trenutna
- Stranke, ki so
- customization
- vsak dan
- ples
- Temnomodra
- datum
- nabor podatkov
- dan
- odločitve
- globoko
- globoko učenje
- globlje
- Deepmind
- privzeto
- opredeliti
- Določa
- potopite
- poglablja
- predstavitev
- odvisna
- razporedi
- razporejeni
- uvajanja
- uvajanje
- PUŠČAVA
- Oblikovanje
- oblikovanje
- želeno
- Podatki
- podrobno
- Podrobnosti
- Ugotovite,
- Razvoj
- razvili
- Razvojni
- razvoju
- Razvoj
- naprava
- diagnosticiranje
- Dialog
- se razlikujejo
- razlike
- drugačen
- digitalni
- digitalna umetnost
- neposredno
- imenik
- odkriti
- Razprava
- Razprave
- bolezni
- potop
- razne
- raznolikost
- razdeli
- do
- dokument
- dokumentarci
- ne
- domena
- domen
- opravljeno
- navzdol
- prenesi
- 2
- Duke
- vojvodska univerza
- med
- Prah
- distopijski
- vsak
- Zemlja
- lažje
- učinkovitosti
- 8
- E-naslov
- Empire
- omogočajo
- omogoča
- omogočanje
- srečanje
- spodbuja
- konec koncev
- Končna točka
- angažiran
- inženir
- Izboljša
- uživajte
- prijetna
- zagotovitev
- okolje
- EPIC
- napake
- bistvena
- vzpostaviti
- etično
- oceniti
- ocenjevanje
- Ocena
- sčasoma
- Tudi vsak
- Primer
- Primeri
- razburjen
- celovito
- eksponati
- Obstoj
- obstoječih
- Razširi
- Pričakuje
- drago
- izkušnje
- poskus
- Strokovnjaki
- raziskuje
- raziskuje
- Raziskovati
- Obraz
- pravičnost
- false
- družina
- hitreje
- Feature
- povratne informacije
- Feet
- Nekaj
- Polje
- boj
- file
- končno
- Najdi
- Ugotovitve
- konec
- prva
- prvi stik
- fit
- pet
- Flash
- let
- Osredotoča
- po
- sledi
- za
- za vedno
- format
- Fundacija
- Okvirni
- frank
- iz
- funkcija
- funkcionalnosti
- funkcionalnost
- delovanje
- nadalje
- Prihodnost
- Futuristična
- Games
- zbiranje
- Gemini
- ustvarjajo
- generativno
- Generativna AI
- žanr
- zvrsti
- dobili
- GitHub
- Daj
- dana
- Go
- Cilji
- dogaja
- dobro
- Googlova
- prisodil
- GPU
- Milost
- postopoma
- veliko
- velika moč
- skupina
- jamstva
- Guard
- Navodila
- vodi
- vodenje
- strani
- plezalni pas
- Imajo
- he
- višina
- zdravo
- pomoč
- Pomaga
- jo
- tukaj
- skrita
- njegov
- zgodovina
- upam,
- gostila
- Kako
- Kako
- Vendar
- HTML
- HTTPS
- Hub
- vozlišča
- HuggingFace
- človeškega
- Človeštvo
- Ljudje
- i
- ID
- Ideja
- identificirati
- if
- Illinois
- slike
- vpliv
- izvajati
- Izvajanje
- uvoz
- Pomembno
- izboljšanje
- Izboljšanje
- Izboljšave
- izboljšanju
- in
- vključujejo
- Vključno
- vključujoč
- Povečajte
- Neodvisni
- Industrija
- industrijski standardi
- vplivajo
- Podatki
- Informacijsko
- Infrastruktura
- iznajdljivost
- Inovacije
- vhod
- vhodi
- Poizvedbe
- vpogledi
- navdih
- primer
- Namesto
- integrirati
- integrirana
- Intelligence
- namen
- interakcije
- interesi
- vmesnik
- križišče
- v
- uvesti
- intuitivno
- vključujejo
- vključeni
- vključuje
- IT
- Izdelkov
- ITS
- žargon
- pridružite
- Revija
- Potovanje
- jpg
- json
- samo
- Imejte
- Otrok
- Vedite
- znanje
- znano
- Kyle
- pristanek
- Pokrajina
- jezik
- velika
- večja
- Latenca
- začela
- Zakoni
- vodi
- UČITE
- učenje
- uči
- odhodu
- dolžina
- Naj
- Stopnja
- Vzvod
- Licenca
- Licence
- življenje
- strele
- Hitrost strele
- lahek
- kot
- všeč mi je
- vrstica
- linije
- Seznam
- poslušati
- Poslušanje
- posluša
- Llama
- obremenitev
- lokalna
- kraj aktivnosti
- Poglej
- si
- POGLEDI
- jih
- Los Angeles
- nižje
- stroj
- strojno učenje
- Večina
- Znamka
- zlonamerno
- upravljanje
- ročno
- več
- znamka
- marec
- matematika
- največja
- Maj ..
- me
- kar pomeni,
- pomene
- ukrepe
- mediji
- zdravila
- srečanja
- omenjeno
- Sporočilo
- sporočil
- Metoda
- Michael
- morda
- moti
- Minute
- ML
- Model
- modeli
- Moduli
- monitor
- spremljanje
- več
- Najbolj
- filmi
- Glasba
- morajo
- my
- skrivnostna
- Ime
- Imenovan
- naravna
- Obdelava Natural Language
- Narava
- potrebno
- Nimate
- potrebna
- potrebe
- omrežij
- Živčne
- nevronske mreže
- nikoli
- Novo
- NY
- New York City
- noč
- št
- Upoštevajte
- prenosnik
- roman
- zdaj
- Številka
- Oasis
- predmet
- Cilji
- opazujejo
- of
- Ponudbe
- pogosto
- on
- enkrat
- ONE
- v teku
- samo
- operativno
- Priložnosti
- optimizacija
- Optimizirajte
- možnosti
- or
- Da
- poreklo
- OS
- Ostalo
- drugi
- ven
- Rezultat
- rezultatov
- izhod
- več
- lastne
- Stran
- članki
- vzporedno
- parameter
- parametri
- zlasti
- zlasti
- Stranke
- mimo
- Podaje
- preteklosti
- pot
- vzorci
- paul
- ljudje
- za
- Izvedite
- performance
- izvajati
- opravlja
- Osebni
- perspektive
- Dr.
- stavki
- fizik
- pilot
- Kraj
- planet
- načrti
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Predvajaj
- predvajalnik
- prosim
- Točka
- točke
- političnih
- Popular
- prebivalstvo
- Prispevek
- potencial
- moč
- praksa
- vaje
- Napovedi
- Predictor
- nastavitve
- priprava
- precej
- prej
- Prince
- , ravnateljica
- printi
- Postopek
- Predelano
- Procesi
- obravnavati
- proizvodnja
- Program
- Napredek
- Projekt
- pozove
- pravilno
- blaginja
- zagotavljajo
- ponudniki
- zagotavlja
- javnega
- javno
- objavljeno
- namene
- Uganke
- Python
- pitorha
- kakovost
- poizvedbe
- poizvedba
- iskanje
- vprašanje
- vprašanja
- hitro
- precej
- Dirka
- razvejanosti
- območje
- precej
- Surovi
- dosegli
- Preberi
- reading
- resnični svet
- Reality
- res
- kraljestvo
- Razlog
- prejeti
- nedavno
- Priporočilo
- Priporočila
- priporočilo
- ponavljajoče se
- reference
- referenčno
- odseva
- redno
- predpisi
- povezane
- sprosti
- pomembno
- ne pozabite
- ponovite
- predstavlja
- zahteva
- obvezna
- Zahteve
- Raziskave
- raziskovalec
- Odzove
- odziva
- Odgovor
- odgovorov
- Odgovornost
- odgovorna
- povzroči
- Rezultati
- pregleda
- Nagrada
- Rise
- robusten
- robustnost
- vloga
- rutinsko
- royal
- pravila
- Run
- deluje
- s
- varnejši
- sagemaker
- Sklep SageMaker
- Enako
- Shrani
- pravijo,
- razširljive
- Lestvica
- luske
- skaliranje
- scenariji
- sci-fi
- Znanost
- Znanstvenik
- Znanstveniki
- Obseg
- praska
- script
- skripte
- SDK
- brezšivne
- iskanje
- drugi
- skrivnosti
- Oddelek
- zavarovanje
- glej
- izberite
- izbran
- izbiranje
- izbor
- pošiljanja
- višji
- ločena
- Zaporedje
- Serija
- Serija A
- Storitve
- služijo
- Zasedanje
- nastavite
- Kompleti
- nastavitev
- več
- deli
- shouldnt
- Prikaži
- je pokazala,
- Prikaz
- pokazale
- Razstave
- strani
- Podoben
- Enostavno
- sam
- Velikosti
- velikosti
- spretnosti
- So
- socialna
- Društvo
- Software
- Software Engineer
- Rešitev
- rešitve
- nekaj
- Viri
- Sparks
- specifična
- hitrost
- Poraba
- troši
- stati
- standardi
- začel
- Začetek
- Država
- state-of-the-art
- Izjava
- Statistično
- Korak
- Koraki
- Še vedno
- zgodbe
- Storm
- Zgodba
- čudno
- Strateško
- strategije
- String
- močna
- studio
- študija
- naročiti
- podnapisi
- uspešno
- taka
- primerna
- podpora
- Podprti
- Podpora
- Podpira
- Preverite
- preživetje
- sistem
- miza
- Bodite
- meni
- zgodba
- ciljna
- Cilji
- Naloga
- Naloge
- skupina
- Skupine
- tehnika
- tehnike
- Tehnologija
- Predloga
- predloge
- tensorflo
- Pogoji
- Test
- Testiran
- Testiranje
- besedilo
- kot
- da
- O
- Območje
- Prihodnost
- svet
- njihove
- Njih
- sami
- POTEM
- Tukaj.
- zato
- te
- jih
- tretja
- tretje osebe
- tretjih oseb
- ta
- tisti,
- mislil
- spodbujanje razmišljanja
- tisoč
- razburljivo
- skozi
- pretočnost
- čas
- Časovne serije
- Čas potovanja
- časovnica
- krat
- do
- žeton
- označevanje
- Boni
- Rekel
- orodje
- orodja
- temo
- Skupaj za plačilo
- sledenje
- tradicionalna
- Vlak
- usposobljeni
- usposabljanje
- prenos
- Prenos
- transformator
- prevod
- potovanja
- Bilijona
- Res
- poskusite
- melodija
- uglašen
- tuning
- tv
- dva
- tip
- Vrste
- tipičen
- tipično
- ui
- Konec koncev
- odkrijte
- pod
- razumeli
- razumevanje
- neznan
- Vesolje
- univerza
- neprimerljivo
- dokler
- razkrivanje
- posodobljeno
- posodobitve
- posodabljanje
- us
- uporabnost
- Uporaba
- uporaba
- primeru uporabe
- Rabljeni
- uporabnik
- Uporabniku prijazen
- Uporabniki
- uporablja
- uporabo
- potrjevanje
- Vrednote
- raznolikost
- različnih
- podjetje
- različica
- Poglej
- Virtual
- Navidezna resničnost
- Vizija
- obisk
- vizualna
- vizualni mediji
- Obseg
- sprehod
- želeli
- garancije
- je
- Watch
- gledanju
- način..
- načini
- we
- web
- spletne storitve
- Web-Based
- teden
- Dobro
- Well
- Kaj
- Kaj je
- kdaj
- kadar koli
- ali
- ki
- WHO
- široka
- pogosto
- pripomoček
- bo
- modrost
- z
- v
- brez
- beseda
- besede
- delo
- potek dela
- deluje
- svet
- pisati
- pisanje
- X
- york
- Vi
- mladi
- Vaša rutina za
- sami
- zefirnet