AlexaTM 20B on nüüd saadaval Amazon SageMaker JumpStartis

Täna teatame Amazoni tipptasemel seadmete avalikust kättesaadavusest Alexa õpetajamudel 20 miljardi parameetriga  (AlexaTM 20B) läbi Amazon SageMaker JumpStart, SageMakeri masinõppe keskus. AlexaTM 20B on Amazoni poolt välja töötatud mitmekeelne suuremahuline järjestus-järjestus (seq2seq) keelemudel. AlexaTM 20B-d saate kasutada mitmesugustel tööstusharu kasutusjuhtudel, alates finantsaruannete kokkuvõtte tegemisest kuni klienditeeninduse vestlusrobotite küsimustele vastamiseni. Seda saab rakendada isegi siis, kui koolitusnäiteid on vähe või üldse mitte. AlexaTM 20B edestab 175 miljardit GPT-3 mudel zero-shot õppeülesannete (nt SuperGLUE) puhul ja näitab tipptasemel jõudlust mitmekeelsete nullvõtteülesannete (nt XNLI) jaoks.

Selles postituses anname ülevaate sellest, kuidas AlexaTM 20B mudelit programmiliselt juurutada ja järeldada JumpStart API-de kaudu, mis on saadaval SageMaker Python SDK. Näitame, kuidas saate seda mudelit kasutada mitme keele vahel tõlkimiseks, pika teksti kokkuvõtte tegemiseks, antud konteksti alusel küsimustele vastamiseks ja teksti loomiseks, mis näib inimese kirjutatud tekstist eristamatu.

AlexaTM 20B ja kontekstisisene õpe

Amazon Alexa AI programm Alexa Teacher Model (AlexaTM) on loodud suuremahuliste mitmekeelsete süvaõppemudelite (peamiselt transformeripõhiste) loomiseks, mille eesmärk on parandada üldistamist ja andmepuuduse käsitlemist järgnevate ülesannete jaoks. Suuremahulise eelkoolituse abil saavad õpetajamudelid hästi üldistada, et õppida hõredate andmete põhjal uusi ülesandeid ja aidata arendajatel järgnevate ülesannete toimivust parandada. AlexaTM 20B on näidanud konkurentsivõimeline jõudlus tavaliste loomuliku keele töötlemise (NLP) etalonide ja ülesannete kohta, nagu masintõlge, andmete genereerimine ja kokkuvõtete tegemine.

Vundamendimudelite nagu AlexaTM 20B kasutamine vähendab vajadust kuluka mudeli eelkoolituse järele ja annab tipptasemel lähtepunkti ülesandemudelite väljatöötamiseks väiksema vaevaga ja vähema ülesandespetsiifiliste treeningandmetega. Vundamendimudelite üks peamisi omadusi on see, et saame õpetada mudelit täitma uusi ülesandeid, nagu küsimuste esitamine ja vastamine erinevates keeltes, kasutades väga väikeses koguses sisendnäiteid ja pole vaja peenhäälestust ega gradiendi värskendusi. Seda tuntakse kui kontekstis õppimine. Kui järelduste kontekstiks on toodud vaid mõned näited uue ülesande kohta, saab AlexaTM 20B mudelil teadmisi laiaulatusliku eelkoolituse käigus õpitu põhjal üle kanda isegi erinevates keeltes. Seda nimetatakse vähehaaval õppimine. Mõnel juhul võib mudel hästi toimida ilma igasuguste treeningandmeteta, koos ainult selgitusega, mida tuleks ennustada. Seda nimetatakse null-shot õppimine. Oletame näiteks, et kasutame AlexaTM 20B ühekordse loomuliku keele genereerimiseks. Mudelile edastatav sisend on koolitusnäide atribuut-väärtuste paaride kujul koos vastava väljundteksti narratiiviga. Seejärel lisatakse katsenäide, et moodustada täielik sisendviiba, nagu on näidatud järgmisel joonisel.

Mudeli kohta lisateabe saamiseks vaadake 20B parameetriga Alexa mudel annab vähehaaval õppimisel uued punktid või originaal paber.

AlexaTM 20B kasutamine on saadaval mitteäriliseks kasutamiseks ja see on hõlmatud Alexa õpetaja mudeli litsentsileping.

Lahenduse ülevaade

Järgmised jaotised pakuvad samm-sammult demo selle kohta, kuidas mudelit juurutada, järeldusi teha ja kontekstipõhist õpet väheste õppeülesannete lahendamiseks teha.

Pange tähele, et järgmine jaotis sisaldab koodilõike; täielik kood koos kõigi selle demo sammudega on saadaval kaasasolevas märkmikus: Kontekstisisene õpe AlexaTM 20B-ga SageMaker JumpStartis.

Mudeli juurutamine

SageMakeris suure keelemudeli kasutamiseks vajate mudeli jaoks spetsiifilist järeldusskripti, mis sisaldab selliseid samme nagu mudeli laadimine, paralleelsus ja palju muud. Samuti peate looma skriptide, mudelite ja soovitud eksemplaritüüpide täielikud testid, et kinnitada, et kõik kolm saavad koos töötada. JumpStart eemaldab selle pingutuse, pakkudes kasutusvalmis skripte, mida on tugevalt testitud.

SageMaker annab teile võimaluse kasutada Dockeri konteinereid laialdaselt treenimiseks ja järelduste tegemiseks. KiirStart kasutab neid saadaolevaid raamistikupõhiseid SageMakeri süvaõppekonteinerid (DLC-d). Alustame optimeeritud DLC toomisega (deploy_image_uri) kasutades model_id. Siis toome ära model_uri mis sisaldab mudeli parameetreid koos järelduste töötlemise skriptidega ja mis tahes seotud sõltuvustega. Järgmisena loome a mudeli eksemplar SageMakeris ja juurutage see reaalajas lõpp-punkti. Vaadake järgmist koodi:

# model_version="*" fetches the latest version of the model
model_id, model_version = "pytorch-textgeneration1-alexa20b", "*"

instance_type = "ml.g4dn.12xlarge"

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve(
    region=None,
    framework=None,  # automatically inferred from model_id
    image_scope="inference",
    model_id=model_id,
    model_version=model_version,
    instance_type=inference_instance_type,
)

# Retrieve the model uri. This includes the model parameters, all dependencies and scripts for model loading, inference handling etc.
 model_uri = model_uris.retrieve(
 model_id=model_id, 
 model_version=model_version, 
 model_scope="inference")

AlexaTM 20B juurutamiseks on vaja GPU-ga toetatud eksemplari, millel on vähemalt 50 GB CPU mälu ja vähemalt 42 GB GPU mälu. SageMaker pakub palju selliseid juhtumeid, mis toetavad reaalajas järeldusi. Testisime seda lahendust kolmel juhul: ml.g4dn.12xlarge, ml.p3.8xlarge, ml.p3.16xlarge. Vaadake järgmist koodi:

env = {
        "SAGEMAKER_MODEL_SERVER_TIMEOUT": str(3600),
        "MODEL_CACHE_ROOT": "/opt/ml/model",
        "SAGEMAKER_ENV": "1",
        "SAGEMAKER_SUBMIT_DIRECTORY":"/opt/ml/model/code/",
        "SAGEMAKER_PROGRAM": "inference.py",
        "SAGEMAKER_MODEL_SERVER_WORKERS": "1", # One worker for the endpoint rather than one worker per GPU by default
        "TS_DEFAULT_WORKERS_PER_MODEL":"1" # 1 TS worker which allocates all memory to the single master worker.
    }
    
#Create the SageMaker model instance. Note that we need to pass Predictor class when we deploy model through Model class,
#for being able to run inference through the sagemaker API.
model = Model(
    image_uri=deploy_image_uri,
    model_data=model_uri,
    role=aws_role,
    predictor_cls=Predictor,
    name=endpoint_name,
    env=env
)

Järgmisena juurutame mudeli SageMakeri reaalajas lõpp-punktis:

# deploy the Model.
model_predictor = model.deploy(
    initial_instance_count=1,
    instance_type=instance_type,
    endpoint_name=endpoint_name,
    volume_size= volume_size, # Specify the size of the Amazon EBS volume in GBs.
    model_data_download_timeout = 3600, # Specify the model download timeout in seconds.
    container_startup_health_check_timeout = 3600, # Specify the health checkup timeout in seconds
)

AlexaTM 20B nõuab järelduskonteineris 40 GB kettaruumi. Sellele nõudele vastab ml.g4dn.12xlarge eksemplar. Näiteks tüüpide ml.p3.8xlarge ja ml.p3.16xlarge puhul lisame an Amazoni elastsete plokkide pood (Amazon EBS) helitugevust suure mudelisuuruse jaoks. Seetõttu seadsime volume_size = None juurutamisel kohta ml.g4dn.12xlarge ja volume_size=256 juurutamisel: ml.p3.8xlarge või ml.p3.16xlarge.

Mudeli juurutamine võib kesta kuni 10 minutit. Pärast mudeli kasutuselevõttu saame sellest reaalajas prognoose saada!

Käivitage järeldus

AlexaTM 20B on teksti genereerimise mudel, mis osalise jada (lause või tekstiosa) korral genereerib järgmise sõnade komplekti. Järgmine koodilõik annab teile ülevaate sellest, kuidas teha päringuid juurutatud lõpp-punkti kohta ja sõeluda väljundeid automaatse täitmise toimingu jaoks. Juurutatud mudelile päringute saatmiseks kasutame UTF-8 vormingus kodeeritud JSON-sõnastikku. Lõpp-punkti vastus on JSON-objekt, mis sisaldab loodud tekstide loendit.

def query(model_predictor, text, kwargs = None):
    """Query the model predictor."""

    payload = {"text_inputs": text}
    if kwargs is not None:
        payload.update(kwargs)
        
    encoded_inp = json.dumps(payload).encode("utf-8")

    query_response = model_predictor.predict(
        encoded_inp,
        {
            "ContentType": "application/json",
            "Accept": "application/json",
        },
    )
    return query_response
 
def parse_response(query_response):
    """Parse response and return the generated texts."""

    model_predictions = json.loads(query_response)
    generated_texts = model_predictions["generated_texts"]
    return generated_texts

Järgmisena küsime lõpp-punkti ja sõelume vastuse näidissisendtekstile:

# text can be a single string or a list of strings
text = “[CLM]My name is Lewis and I like to"
kwargs = {"num_beams": 5, "no_repeat_ngram_size": 2, “max_length”: 50}
query_response = query_endpoint(model_predictor, text, kwargs)
generated_texts = parse_response(query_response)

Generated_texts: “travel and meet new people. I have been to many countries and I like to meet people from all over the world. If you are interested in meeting me, please feel free to send me a message and we can arrange a meeting.”

AlexaTM 20B toetab praegu järeldamisel 10 teksti genereerimise parameetrit: max_length, num_return_sequences, num_beams, no_repeat_ngram_size, temperature, early_stopping, do_sample, top_k, top_pja seed. Üksikasjaliku teabe saamiseks iga parameetri kehtivate väärtuste ja nende mõju kohta väljundile vaadake kaasasolevat märkmikku: Kontekstisisene õpe AlexaTM 20B-ga SageMaker JumpStartis.

Kontekstisisene õpe

Kontekstisisene õpe viitab järgmisele: pakume keelemudelile viipa, mis koosneb sisend-väljund paaridest, mis näitavad ülesannet. Lisame viipale testsisendi ja lubame keelemudelil teha ennustusi, tingides viipa ja ennustades järgmisi märke või sõnu. See on ülitõhus tehnika väheste kiirõppeprobleemide lahendamiseks, mille käigus õpime ülesande mõne treeningnäidise põhjal.

Järgmisena näitame, kuidas saate AlexaTM 20B-d kasutada mitme ühe- ja nullvõtteülesannete jaoks kontekstisisese õppe kaudu. Erinevalt varasematest järjestus-järjestusmudelitest koolitati AlexaTM 1B lisaks müra vähendamisele ka põhjusliku keele modelleerimiseks, mistõttu on see hea mudel kontekstis õppimiseks.

1-kaadriline tekstikokkuvõte

Teksti kokkuvõte on ülesanne lühendada andmeid ja luua kokkuvõte, mis esindab kõige olulisemat algtekstis sisalduvat teavet. 1-kaadriline tekstikokkuvõte viitab seadistusele, kus õpime ühe koolitusnäidise põhjal teksti kokkuvõtet tegema. Järgmine kood on teksti kokkuvõtte näidis XSUM andmestik:

train_article = "The announcement ends months of uncertainty for Cornish Language Partnership staff whose contracts had been due to end. Local government minister Andrew Stunnell said the three-year funding package for the service would help make sure the language survived. But he warned that long term funding should come from Cornwall. He said it was "important to make sure the Cornish were given the opportunity to put down sound foundations." "In the longer term support for the Cornish language is going to be something which is going to have to be based in Cornwall and will not come from London," he added. The Cornish Language Partnership's, Jennifer Lowe, said: "We can now plan for the future thanks to the funding." The United Nations recently upgraded the status of the Cornish language from "extinct" to "critically endangered". It is thought fewer than 500 people worldwide are fluent in the language.""
                
train_summary = "The government is spending nearly £400,000 to help save the Cornish language."

test_article = "Torrents of water brought down a suspended ceiling and damaged stock "
                "in the Victoria Centre store at about 22:40 BST on Tuesday. Managers "
                "had hoped for a weekend reopening but it is now closed "until "
                "further notice". Staff have been helping with the clean-up "
                "operation. Water poured through from a rooftop room, leaving the "
                "top floor under three inches of water and stock "significantly" "
                "damaged. A spokeswoman said: "Our teams are working around the "
                "clock to get the shop open as quickly as possible and we're sorry "
                "for the inconvenience this has caused to our customers.""

Kui esitatakse ainult üks koolitusnäidis, kasutame kokkuvõtte tegemiseks järgmist viipa. Mudelist loodud teksti tõlgendatakse kui testartikli ennustatud kokkuvõtet.

Väljund on järgmine:

AlexaTM 20B output: 'The top floor of a London department store has been flooded.'

1-kaadriline loomuliku keele genereerimine

Loomuliku keele genereerimine on sisendteksti põhjal tekstinarratiivide loomine. Järgmine näidis näitab koolituse näidist E2E andmestik:

train_inp = "name[The Punter], food[Indian], priceRange[cheap]"
train_out = "The Punter provides Indian food in the cheap price range."

test_inp = "name[Blue Spice], eatType[coffee shop], area"

Kasutame loomuliku keele genereerimiseks järgmist viipa, kui esitatakse ainult üks koolitusnäidis (1-võte). Mudelist loodud teksti tõlgendatakse testsisendi ennustatud tekstinarratiivina (test_inp).

Väljund on järgmine:

AlexaTM 20B output: 'Blue Spice is a coffee shop in the city centre. '

1-kaadriline masintõlge

Masintõlge on ülesanne tõlkida teksti ühest keelest teise. Järgmine näide näitab koolituse näidist WMT19 andmestik milles peame tõlkima saksa keelest inglise keelde:

train_inp = "Das Parlament erhebt sich zu einer Schweigeminute."
train_out = "The House rose and observed a minute' s silence"

test_inp = "Kleingärtner bewirtschaften den einstigen Grund von Bauern."

Kasutame masintõlke jaoks järgmist viipa, kui esitatakse ainult üks koolitusnäidis (1-võte). Mudelist genereeritud teksti tõlgendatakse testsisendi tõlkena (test_inp).

Väljund on järgmine:

AlexaTM 20B translation: 'Gardeners cultivate the former land of farmers.'

Null-shot väljavõtlik küsimus vastus

Väljavõttev küsimusele vastamine on ülesanne leida vastus küsimusele konteksti lõigust. Järgnev on näide kontekstist ja küsimusest SQuAD v2 andmestik:

test_context = "The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy, a region in France. They were descended from Norse ("Norman" comes from "Norseman") raiders and pirates from Denmark, Iceland and Norway who, under their leader Rollo, agreed to swear fealty to King Charles III of West Francia. Through generations of assimilation and mixing with the native Frankish and Roman-Gaulish populations, their descendants would gradually merge with the Carolingian-based cultures of West Francia. The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century, and it continued to evolve over the succeeding centuries."
test_question = "In what country is Normandy located?"

Pange tähele, et meil pole oma ülesande jaoks koolitusnäidiseid. Selle asemel loome viipa viimase sõna kohta näiva küsimuse, mis põhineb test_context (mannekeen-lask). Seetõttu vastame tegelikult null-shot väljavõtvatele küsimustele.

Kui koolitusnäidist ei esitata, kasutame järgmist viipa ammendava küsimusele vastamiseks. Mudelist genereeritud teksti tõlgendatakse vastusena testküsimusele.

Väljund on järgmine:

AlexaTM 20B output: 'France'

Kiire inseneritöö

Kiire inseneritöö võib mõnikord olla kunst. Isegi väikesed muudatused viipamallis võivad kaasa tuua olulisi muudatusi mudeli jõudluses konkreetse ülesande täitmisel. Järgnevalt on toodud mõned nõuanded heade viipade mallide kirjutamiseks. Esiteks on oluline meeles pidada, et mudelit õpetati õppima pärislausete struktuuri (põhjusliku keele modelleerimine). Seetõttu on kõige parem tagada, et teie viipamall on loomulikus keeles grammatiliselt ja struktuuriliselt õige. Teiseks on sellel konkreetsel mudelil kasu näivvõtetest, mis aitavad õpetada sellele vastuses oodatud struktuuri, nagu ülal näidatud. Kolmandaks on alati soovitatav uurida ülesannete toimimist erinevate kandidaatide viipade mallide kaudu. Kiire allikas ja Looduslikud juhised on kaks avatud lähtekoodiga raamistikku viipade mallide standardimiseks ja pakuvad mitmesuguseid näidisviipasid, mida kasutatakse olemasolevate modelleerimisülesannete jaoks. Lisaks lisa B AlexaTM 20B paber pakub viipamalle, mida kasutatakse artiklis esitatud tulemuste loomiseks. Kasvab alamvaldkond, mis on pühendatud ülesande parimate viipade, sealhulgas nii loomuliku keele kui ka pidevate viipade automaatsele loomisele ja õppimisele. See ei kuulu selle õpetuse raamesse.

Järeldus

Selles postituses näitasime, kuidas AlexaTM 20B mudelit SageMakeri lõpp-punktis juurutada ja järeldusi teha. Saate kasutada AlexaTM 20B mudelit kontekstipõhiseks õppimiseks mitmesuguste väheste õppeülesannete jaoks. AlexaTM 20B kohta lisateabe saamiseks vaadake 20B parameetriga Alexa mudel annab vähehaaval õppimisel uued punktid või originaal paber.

Autorid soovivad tunnustada Maciej Rudnicki, Jakub Debski, Ashish Khetani, Anastasiia Dubinina, Vitaliy Korolevi, Karl Albertseni, Saleh Soltani ja Mariusz Momotko tehnilist panust selle käivitamise võimaldamisel.

JumpStarti kohta

JumpStart on Amazon SageMakeri masinõppe (ML) keskus, mis pakub üle 350 eelkoolitatud mudeli, sisseehitatud algoritmi ja eelseadistatud lahendusmalle, mis aitavad teil ML-iga kiiresti alustada. JumpStart majutab tipptasemel mudeleid populaarsetest mudelikeskustest, nagu TensorFlow, PyTorch, Hugging Face ja MXNet, mis toetavad populaarseid ML-ülesandeid, nagu objektide tuvastamine, teksti klassifitseerimine ja teksti genereerimine. ML-i teadlaskond on teinud palju pingutusi, et muuta enamik hiljuti välja töötatud mudeleid kasutamiseks avalikult kättesaadavaks. JumpStarti eesmärk on aidata teil leida õiged ML-mudelid ja algoritmid ning alustada kohe mudelite koostamist. Täpsemalt pakub JumpStart järgmisi eeliseid:

• Lihtne juurdepääs kasutajaliidese ja SDK-ga – JumpStarti mudelitele ja algoritmidele pääsete juurde programmiliselt, kasutades SageMaker Python SDK-d või Amazon SageMaker Studio JumpStart kasutajaliidese kaudu. Praegu on AlexaTM 20B juurdepääsetav ainult SageMaker Python SDK kaudu.
• SageMakeri sisseehitatud algoritmid – JumpStart pakub üle 350 sisseehitatud algoritmi ja eelkoolitatud mudeli koos vastavate treeningskriptidega (kui neid toetatakse), järeldusskripte ja näidismärkmikke. Skriptid on optimeeritud iga raamistiku ja ülesande jaoks ning pakuvad selliseid funktsioone nagu GPU tugi, automaatne mudeli häälestamine ja järkjärguline koolitus. Skripte testitakse ka SageMakeri eksemplaride ja funktsioonide suhtes, et teil ei tekiks ühilduvusprobleeme.
• Eelehitatud lahendused – JumpStart pakub 23 lahendust tavalisteks ML kasutusjuhtudeks, nagu nõudluse prognoosimine ning tööstus- ja finantsrakendused, mille saate juurutada vaid mõne klõpsuga. Lahendused on täielikud ML-rakendused, mis ühendavad erinevaid AWS-teenuseid konkreetse ärilise kasutusjuhtumi lahendamiseks. Nad kasutavad kiireks juurutamiseks AWS CloudFormationi malle ja võrdlusarhitektuure, mis tähendab, et neid saab täielikult kohandada.
• Tugi – SageMaker pakub laias valikus tuge, näiteks ajakohastatud versioonide säilitamine, kui välja antakse uued SageMakeri funktsioonid või Deep Learning Containeri versioonid, ning dokumentatsiooni loomine JumpStarti sisu kasutamise kohta SageMakeri keskkonnas.

JumpStarti kohta lisateabe saamiseks ja selle kohta, kuidas kasutada avatud lähtekoodiga eelkoolitatud mudeleid mitmesuguste muude ML-ülesannete jaoks, vaadake järgmist AWS re:Invent 2020 video.

Autoritest

Dr Vivek Madan on Amazon SageMaker JumpStart meeskonna rakendusteadlane. Ta sai doktorikraadi Illinoisi ülikoolist Urbana-Champaignis ja oli Georgia Techi järeldoktor. Ta on aktiivne masinõppe ja algoritmide kujundamise uurija ning avaldanud ettekandeid EMNLP, ICLR, COLT, FOCS ja SODA konverentsidel.

Jack FitzGerald on Alexa AI vanemrakendusteadlane, kus ta keskendub praegu suure keele modelleerimisele, mitmekeelse teksti modelleerimisele ja masinõppe operatsioonidele.

João Moura on AI/ML spetsialistilahenduste arhitekt ettevõttes Amazon Web Services. Ta keskendub peamiselt NLP kasutusjuhtudele ning aitab klientidel optimeerida süvaõppemudeli koolitust ja juurutamist. Samuti on ta aktiivne madala koodiga ML-lahenduste ja ML-le spetsialiseerunud riistvara pooldaja.

Juuni võitis on tootejuht, kellel on SageMaker JumpStart ja sisseehitatud algoritmid. Ta keskendub ML-i sisu hõlpsasti leitavaks ja kasutatavaks muutmisele SageMakeri klientide jaoks.

Pulkit Kapur on Alexa AI-ga programmi Alexa Teacher Model tootejuht, mis keskendub Alexa mitmeotstarbeliste multimodaalsete alusmudelite üldisele intelligentsusele ja rakendustele.