Udfør batch-transformationer med Amazon SageMaker Jumpstart Text2Text Generation store sprogmodeller | Amazon Web Services

I dag er vi glade for at kunne meddele, at du nu kan udføre batchtransformationer med Amazon SageMaker JumpStart store sprogmodeller (LLM'er) til Text2Text Generation. Batch-transformationer er nyttige i situationer, hvor svarene ikke behøver at være i realtid, og derfor kan du foretage slutninger i batch for store datasæt i bulk. For batchtransformation køres et batchjob, der tager batch-input som et datasæt og en forudtrænet model og udsender forudsigelser for hvert datapunkt i datasættet. Batch-transformation er omkostningseffektiv, fordi i modsætning til hostede endepunkter i realtid, der har vedvarende hardware, rives batch-transformationsklynger ned, når jobbet er færdigt, og derfor bruges hardwaren kun i batchjobbets varighed.

I nogle brugstilfælde kan anmodninger om konklusioner i realtid grupperes i små batches til batchbehandling for at skabe svar i realtid eller næsten i realtid. Hvis du f.eks. skal behandle en kontinuerlig strøm af data med lav latenstid og høj gennemløb, vil det kræve flere ressourcer at påkalde et realtidsslutpunkt for hver anmodning separat, og det kan tage længere tid at behandle alle anmodningerne, fordi behandlingen sker serielt . En bedre tilgang ville være at gruppere nogle af anmodningerne og kalde realtidsslutpunktet i batch-inferenstilstand, som behandler dine anmodninger i én fremadgående gennemgang af modellen og returnerer bulksvaret for anmodningen i realtid eller næsten realtid . Latenstiden for svaret vil afhænge af, hvor mange anmodninger du grupperer sammen og instanshukommelsesstørrelsen, derfor kan du justere batchstørrelsen i henhold til dine forretningskrav for latenstid og gennemløb. Det kalder vi batch-inferens i realtid fordi det kombinerer konceptet batching, mens det stadig giver realtidssvar. Med batch-inferens i realtid kan du opnå en balance mellem lav latenstid og høj gennemløb, så du kan behandle store mængder data på en rettidig og effektiv måde.

Jumpstart batch-transformation til Text2Text Generation-modeller giver dig mulighed for at sende batch-hyperparametrene gennem miljøvariabler, der yderligere øger gennemløbet og minimerer latens.

JumpStart leverer forudtrænede open source-modeller til en lang række problemtyper for at hjælpe dig i gang med maskinlæring (ML). Du kan trinvist træne og tune disse modeller før implementering. JumpStart leverer også løsningsskabeloner, der opsætter infrastruktur til almindelige brugstilfælde og eksekverbare eksempelnotebooks til ML med Amazon SageMaker. Du kan få adgang til de fortrænede modeller, løsningsskabeloner og eksempler via JumpStart-landingssiden i Amazon SageMaker Studio. Du kan også få adgang til JumpStart-modeller ved hjælp af SageMaker Python SDK.

I dette indlæg demonstrerer vi, hvordan du bruger det avancerede præ-trænede text2text FLAN T5 modeller fra Hugging Face til batchtransformation og batchslutning i realtid.

Løsningsoversigt

Notesbogen, der viser batch-transformation af fortrænede Text2Text FLAN T5-modeller fra Knusende ansigt tilgængelig i det følgende GitHub repository. Denne notesbog bruger data fra Hugging Face cnn_dailymail datasæt til en tekstresuméopgave ved hjælp af SageMaker SDK.

Følgende er de vigtigste trin til implementering af batchtransformation og batchinferens i realtid:

1. Opsæt forudsætninger.
2. Vælg en præ-trænet model.
3. Hent artefakter til modellen.
4. Angiv batchtransformationsjob-hyperparametre.
5. Forbered data til batchtransformationen.
6. Kør batchtransformationsjobbet.
7. Vurder opsummeringen ved hjælp af en RED (Recall-Oriented Understudy for Gisting Evaluation) score.
8. Udfør batch-inferens i realtid.

Opsæt forudsætninger

Før du kører den bærbare computer, skal du udføre nogle indledende opsætningstrin. Lad os konfigurere SageMaker-udførelsesrollen, så den har tilladelser til at køre AWS-tjenester på dine vegne:

sagemaker_session = Session()
aws_role = sagemaker_session.get_caller_identity_arn()
aws_region = boto3.Session().region_name
sess = sagemaker.Session()

Vælg en præ-trænet model

Vi bruger huggingface-text2text-flan-t5-large-modellen som standardmodel. Du kan eventuelt hente listen over tilgængelige Text2Text-modeller på JumpStart og vælge din foretrukne model. Denne metode giver en nem måde at vælge forskellige model-id'er ved hjælp af samme notebook. Til demonstrationsformål bruger vi huggingface-text2text-flan-t5-large-modellen:

model_id, model_version, = ( "huggingface-text2text-flan-t5-large", "*",
)

Hent artefakter til modellen

Med SageMaker kan vi udføre inferens på den præ-trænede model, selv uden at finjustere den først på et nyt datasæt. Vi starter med at hente deploy_image_uri, deploy_source_uriog model_uri for den fortrænede model:

inference_instance_type = "ml.p3.2xlarge" # Retrieve the inference docker container uri. This is the base HuggingFace container image for the default model above.
deploy_image_uri = image_uris.retrieve(
region=None,
framework=None, # automatically inferred from model_id
image_scope="inference",
model_id=model_id,
model_version=model_version,
instance_type=inference_instance_type,
) # Retrieve the model uri.
model_uri = model_uris.retrieve(
model_id=model_id, model_version=model_version, model_scope="inference"
) #Create the SageMaker model instance
model = Model(
image_uri=deploy_image_uri,
model_data=model_uri,
role=aws_role,
predictor_cls=Predictor)

Angiv batchtransformationsjob-hyperparametre

Du kan overføre et hvilket som helst undersæt af hyperparametre som miljøvariable til batchtransformationsjobbet. Du kan også sende disse hyperparametre i en JSON-nyttelast. Men hvis du indstiller miljøvariabler for hyperparametre, som den følgende kode viser, så vil de avancerede hyperparametre fra de individuelle eksempler i JSON-linjernes nyttelast ikke blive brugt. Hvis du vil bruge hyperparametre fra nyttelasten, kan du indstille hyper_params_dict parameter som null i stedet for.

#Specify the Batch Job Hyper Params Here, If you want to treate each example hyperparameters different please pass hyper_params_dict as None
hyper_params = {"batch_size":4, "max_length":50, "top_k": 50, "top_p": 0.95, "do_sample": True}
hyper_params_dict = {"HYPER_PARAMS":str(hyper_params)}

Forbered data til batchtransformation

Nu er vi klar til at indlæse cnn_dailymail datasæt fra Hugging Face:

cnn_test = load_dataset('cnn_dailymail','3.0.0',split='test')

Vi gennemgår hver dataindtastning og opretter inputdataene i det ønskede format. Vi skaber en articles.jsonl fil som en testdatafil, der indeholder artikler, der skal opsummeres som input nyttelast. Når vi opretter denne fil, tilføjer vi prompten "Briefly summarize this text:" til hver testinputrække. Hvis du vil have forskellige hyperparametre for hvert testinput, kan du tilføje disse hyperparametre som en del af oprettelsen af ​​datasættet.

Vi opretter highlights.jsonl som ground truth-filen, der indeholder højdepunkter fra hver artikel, der er gemt i testfilen articles.jsonl. Vi gemmer begge testfiler i en Amazon Simple Storage Service (Amazon S3) spand. Se følgende kode:

#You can specify a prompt here
prompt = "Briefly summarize this text: "
#Provide the test data and the ground truth file name
test_data_file_name = "articles.jsonl"
test_reference_file_name = 'highlights.jsonl' test_articles = []
test_highlights =[] # We will go over each data entry and create the data in the input required format as described above
for id, test_entry in enumerate(cnn_test): article = test_entry['article'] highlights = test_entry['highlights'] # Create a payload like this if you want to have different hyperparameters for each test input # payload = {"id": id,"text_inputs": f"{prompt}{article}", "max_length": 100, "temperature": 0.95} # Note that if you specify hyperparameter for each payload individually, you may want to ensure that hyper_params_dict is set to None instead payload = {"id": id,"text_inputs": f"{prompt}{article}"} test_articles.append(payload) test_highlights.append({"id":id, "highlights": highlights}) with open(test_data_file_name, "w") as outfile: for entry in test_articles: outfile.write("%sn" % json.dumps(entry)) with open(test_reference_file_name, "w") as outfile: for entry in test_highlights: outfile.write("%sn" % json.dumps(entry)) # Uploading the data s3 = boto3.client("s3")
s3.upload_file(test_data_file_name, output_bucket, os.path.join(output_prefix + "/batch_input/articles.jsonl"))

Kør batchtransformationsjobbet

Når du starter et batchtransformationsjob, starter SageMaker de nødvendige beregningsressourcer til at behandle dataene, inklusive CPU- eller GPU-forekomster afhængigt af den valgte forekomsttype. Under batchtransformationsjobbet klargør og administrerer SageMaker automatisk de computerressourcer, der kræves til at behandle dataene, herunder forekomster, lager- og netværksressourcer. Når batchtransformationsjobbet er fuldført, ryddes beregningsressourcerne automatisk op af SageMaker. Det betyder, at de forekomster og opbevaring, der bruges under jobbet, stoppes og fjernes, hvilket frigør ressourcer og minimerer omkostningerne. Se følgende kode:

# Creating the Batch transformer object
batch_transformer = model.transformer( instance_count=1, instance_type=inference_instance_type, output_path=s3_output_data_path, assemble_with="Line", accept="text/csv", max_payload=1, env = hyper_params_dict
) # Making the predications on the input data
batch_transformer.transform(s3_input_data_path, content_type="application/jsonlines", split_type="Line") batch_transformer.wait()

Det følgende er et eksempel på rekord fra articles.jsonl testfil. Bemærk, at posten i denne fil har et ID, der matcher predict.jsonl filposter, der viser en opsummeret post som output fra Hugging Face Text2Text-modellen. På samme måde har ground truth-filen også et matchende ID for dataposten. Det matchende ID på tværs af testfilen, ground truth-filen og outputfilen gør det muligt at forbinde inputposter med outputposter for nem fortolkning af resultaterne.

Følgende er eksemplet på inputposten, der er angivet til opsummering:

{"id": 0, "text_inputs": "Briefly summarize this text: (CNN)The Palestinian Authority officially became the 123rd member of the International Criminal Court on Wednesday, a step that gives the court jurisdiction over alleged crimes in Palestinian territories. The formal accession was marked with a ceremony at The Hague, in the Netherlands, where the court is based. The Palestinians signed the ICC's founding Rome Statute in January, when they also accepted its jurisdiction over alleged crimes committed "in the occupied Palestinian territory, including East Jerusalem, since June 13, 2014." Later that month, the ICC opened a preliminary examination into the situation in Palestinian territories, paving the way for possible war crimes investigations against Israelis. As members of the court, Palestinians may be subject to counter-charges as well. Israel and the United States, neither of which is an ICC member, opposed the Palestinians' efforts to join the body. But Palestinian Foreign Minister Riad al-Malki, speaking at Wednesday's ceremony, said it was a move toward greater justice. "As Palestine formally becomes a State Party to the Rome Statute today, the world is also a step closer to ending a long era of impunity and injustice," he said, according to an ICC news release. "Indeed, today brings us closer to our shared goals of justice and peace." Judge Kuniko Ozaki, a vice president of the ICC, said acceding to the treaty was just the first step for the Palestinians. "As the Rome Statute today enters into force for the State of Palestine, Palestine acquires all the rights as well as responsibilities that come with being a State Party to the Statute. These are substantive commitments, which cannot be taken lightly," she said. Rights group Human Rights Watch welcomed the development. "Governments seeking to penalize Palestine for joining the ICC should immediately end their pressure, and countries that support universal acceptance of the court's treaty should speak out to welcome its membership," said Balkees Jarrah, international justice counsel for the group. "What's objectionable is the attempts to undermine international justice, not Palestine's decision to join a treaty to which over 100 countries around the world are members." In January, when the preliminary ICC examination was opened, Israeli Prime Minister Benjamin Netanyahu described it as an outrage, saying the court was overstepping its boundaries. The United States also said it "strongly" disagreed with the court's decision. "As we have said repeatedly, we do not believe that Palestine is a state and therefore we do not believe that it is eligible to join the ICC," the State Department said in a statement. It urged the warring sides to resolve their differences through direct negotiations. "We will continue to oppose actions against Israel at the ICC as counterproductive to the cause of peace," it said. But the ICC begs to differ with the definition of a state for its purposes and refers to the territories as "Palestine." While a preliminary examination is not a formal investigation, it allows the court to review evidence and determine whether to investigate suspects on both sides. Prosecutor Fatou Bensouda said her office would "conduct its analysis in full independence and impartiality." The war between Israel and Hamas militants in Gaza last summer left more than 2,000 people dead. The inquiry will include alleged war crimes committed since June. The International Criminal Court was set up in 2002 to prosecute genocide, crimes against humanity and war crimes. CNN's Vasco Cotovio, Kareem Khadder and Faith Karimi contributed to this report."}

Følgende er det forudsagte output med opsummering:

{'id': 0, 'generated_texts': ['The Palestinian Authority officially became a member of the International Criminal Court on Wednesday, a step that gives the court jurisdiction over alleged crimes in Palestinian territories.']}

Følgende er grundsandhedens opsummering til modelevalueringsformål:

{"id": 0, "highlights": "Membership gives the ICC jurisdiction over alleged crimes committed in Palestinian territories since last June .nIsrael and the United States opposed the move, which could open the door to war crimes investigations against Israelis ."}

Dernæst bruger vi grundsandheden og forudsagte output til modelevaluering.

Evaluer modellen ved hjælp af en ROUGE score¶

RED, eller Recall-Oriented Understudy for Gisting Evaluation, er et sæt metrikker og en softwarepakke, der bruges til at evaluere automatisk opsummering og maskinoversættelse i naturlig sprogbehandling. Metrikken sammenligner et automatisk fremstillet resumé eller oversættelse med et reference (menneskeproduceret) resume eller oversættelse eller et sæt referencer.

I den følgende kode kombinerer vi de forudsagte og originale resuméer ved at forbinde dem på den fælles nøgle id og brug dette til at beregne ROUGE-score:

# Downloading the predictions
s3.download_file(
output_bucket, output_prefix + "/batch_output/" + "articles.jsonl.out", "predict.jsonl"
) with open('predict.jsonl', 'r') as json_file:
json_list = list(json_file) # Creating the prediction list for the dataframe
predict_dict_list = []
for predict in json_list:
if len(predict) > 1:
predict_dict = ast.literal_eval(predict)
predict_dict_req = {"id": predict_dict["id"], "prediction": predict_dict["generated_texts"][0]}
predict_dict_list.append(predict_dict_req) # Creating the predictions dataframe
predict_df = pd.DataFrame(predict_dict_list) test_highlights_df = pd.DataFrame(test_highlights) # Combining the predict dataframe with the original summarization on id to compute the rouge score
df_merge = test_highlights_df.merge(predict_df, on="id", how="left") rouge = evaluate.load('rouge')
results = rouge.compute(predictions=list(df_merge["prediction"]),references=list(df_merge["highlights"]))
print(results)
{'rouge1': 0.32749078992945646, 'rouge2': 0.126038645005132, 'rougeL': 0.22764277967933363, 'rougeLsum': 0.28162915746368966}

Udfør batch-inferens i realtid

Dernæst viser vi dig, hvordan du kører batch-inferens i realtid på slutpunktet ved at angive inputs som en liste. Vi bruger det samme model-id og datasæt som tidligere, bortset fra at vi tager nogle få poster fra testdatasættet og bruger dem til at fremkalde et slutpunkt i realtid.

Følgende kode viser, hvordan du opretter og implementerer et realtidsslutpunkt til batchslutning i realtid:

from sagemaker.utils import name_from_base
endpoint_name = name_from_base(f"jumpstart-example-{model_id}")
# deploy the Model. Note that we need to pass Predictor class when we deploy model through Model class,
# for being able to run inference through the sagemaker API.
model_predictor = model.deploy( initial_instance_count=1, instance_type=inference_instance_type, predictor_cls=Predictor, endpoint_name=endpoint_name
)

Dernæst forbereder vi vores input nyttelast. Til dette bruger vi de data, som vi forberedte tidligere, og udtrækker de første 10 testinput og tilføjer tekstinput med hyperparametre, som vi ønsker at bruge. Vi leverer denne nyttelast i realtid invoke_endpoint. Svarnyttelasten returneres derefter som en liste over svar. Se følgende kode:

#Provide all the text inputs to the model as a list
text_inputs = [entry["text_inputs"] for entry in test_articles[0:10]] # The information about the different Parameters is provided above
payload = { "text_inputs": text_inputs, "max_length": 50, "num_return_sequences": 1, "top_k": 50, "top_p": 0.95, "do_sample": True, "batch_size": 4
} def query_endpoint_with_json_payload(encoded_json, endpoint_name):
client = boto3.client("runtime.sagemaker")
response = client.invoke_endpoint(
EndpointName=endpoint_name, ContentType="application/json", Body=encoded_json
)
return response query_response = query_endpoint_with_json_payload(
json.dumps(payload).encode("utf-8"), endpoint_name=endpoint_name
) def parse_response_multiple_texts(query_response):
model_predictions = json.loads(query_response["Body"].read())
return model_predictions generated_text_list = parse_response_multiple_texts(query_response)
print(*generated_text_list, sep='n')

Ryd op

Når du har testet slutpunktet, skal du sørge for at slette SageMaker-slutningspunktet og slette modellen for at undgå at pådrage dig gebyrer.

Konklusion

I denne notesbog udførte vi en batchtransformation for at fremvise Hugging Face Text2Text Generator-modellen til opsummeringsopgaver. Batchtransformation er fordelagtig til at opnå slutninger fra store datasæt uden at kræve et vedvarende slutpunkt. Vi koblede inputposter med slutninger for at hjælpe med resultatfortolkning. Vi brugte ROUGE-score til at sammenligne opsummeringen af ​​testdata med den modelgenererede opsummering.

Derudover demonstrerede vi batchinferens i realtid, hvor du kan sende en lille batch af data til et realtidsslutpunkt for at opnå en balance mellem latenstid og gennemløb for scenarier som streaming af inputdata. Batch-inferens i realtid hjælper med at øge gennemløbet for realtidsanmodninger.

Prøv batch-transformationen med Text2Text Generation-modeller i SageMaker i dag, og fortæl os din feedback!

Om forfatterne

Hemant Singh er en maskinlæringsingeniør med erfaring i Amazon SageMaker JumpStart og Amazon SageMaker indbyggede algoritmer. Han fik sin master fra Courant Institute of Mathematical Sciences og B.Tech fra IIT Delhi. Han har erfaring med at arbejde med en bred vifte af maskinlæringsproblemer inden for området naturlig sprogbehandling, computersyn og tidsserieanalyse.

Rachna Chadha er Principal Solutions Architect AI/ML i Strategic Accounts hos AWS. Rachna er en optimist, der tror på, at den etiske og ansvarlige brug af kunstig intelligens kan forbedre samfundet i fremtiden og bringe økonomisk og social velstand. I sin fritid kan Rachna godt lide at bruge tid med sin familie, vandreture og lytte til musik.

Dr. Ashish Khetan er en Senior Applied Scientist med Amazon SageMaker indbyggede algoritmer og hjælper med at udvikle machine learning algoritmer. Han fik sin ph.d. fra University of Illinois Urbana-Champaign. Han er en aktiv forsker i maskinlæring og statistisk inferens og har publiceret mange artikler i NeurIPS, ICML, ICLR, JMLR, ACL og EMNLP konferencer.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoAiStream. Web3 Data Intelligence. Viden forstærket. Adgang her.
• Udmøntning af fremtiden med Adryenn Ashley. Adgang her.
• Køb og sælg aktier i PRE-IPO-virksomheder med PREIPO®. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/perform-batch-transforms-with-amazon-sagemaker-jumpstart-text2text-generation-large-language-models/