AWS teostab suure keelemudeli (LLM) peenhäälestust, et klassifitseerida suure mängufirma jaoks mürgine kõne | Amazoni veebiteenused

Videomängude tööstuses on hinnanguliselt üle 3 miljardi kasutaja kogu maailmas¹. See koosneb tohutul hulgal mängijatest, kes suhtlevad üksteisega praktiliselt iga päev. Kahjuks, nagu pärismaailmas, ei suhtle kõik mängijad asjakohaselt ja lugupidavalt. Püüdes luua ja säilitada sotsiaalselt vastutustundlikku mängukeskkonda, paluti AWS Professional Services luua mehhanism, mis tuvastab võrgumängijaga suhtlemisel sobimatu keele (toksilise kõne). Üldine äritulemus oli parandada organisatsiooni tegevust, automatiseerides olemasoleva käsitsi protsessi ja parandada kasutajakogemust, suurendades mängijatevahelise sobimatu suhtluse tuvastamise kiirust ja kvaliteeti, edendades lõpuks puhtamat ja tervislikumat mängukeskkonda.

Kliendi soov oli luua inglise keele detektor, mis liigitab hääle ja teksti väljavõtted nende enda kohandatud mürgiste keelte kategooriatesse. Nad soovisid esmalt kindlaks teha, kas antud keeleväljavõte on mürgine, ja seejärel liigitada väljavõtte konkreetsesse kliendi määratletud mürgisuse kategooriasse, nagu roppused või solvav keel.

AWS ProServe lahendas selle kasutusjuhtumi Generative AI Innovation Center (GAIIC) ja ProServe ML Delivery Team (MLDT) ühiste jõupingutustega. AWS GAIIC on AWS ProServe'i grupp, mis ühendab kliendid ekspertidega, et töötada välja generatiivseid AI-lahendusi paljude äriliste kasutusjuhtude jaoks, kasutades kontseptsiooni tõendi (PoC) konstruktsioone. Seejärel viib AWS ProServe MLDT PoC läbi tootmise, skaleerides, tugevdades ja integreerides lahenduse kliendi jaoks.

Seda kliendi kasutusjuhtumit tutvustatakse kahes eraldi postituses. See postitus (1. osa) on sügav sukeldumine teaduslikku metoodikasse. See selgitab lahenduse taga olevat mõtlemisprotsessi ja eksperimenteerimist, sealhulgas mudeli koolitus- ja arendusprotsessi. 2. osas süvenetakse tootmislahendusse, selgitatakse disainiotsuseid, andmevoogu ning mudeli koolituse ja juurutamise arhitektuuri illustreerimist.

See postitus hõlmab järgmisi teemasid:

• Väljakutsed, mille AWS ProServe pidi selle kasutusjuhtumi puhul lahendama
• Ajalooline kontekst suurte keelemudelite (LLM) kohta ja selle kohta, miks see tehnoloogia selle kasutusjuhtumi jaoks ideaalselt sobib
• AWS GAIICi PoC ja AWS ProServe MLDT lahendus andmeteaduse ja masinõppe (ML) vaatenurgast

Andmete väljakutse

Peamine väljakutse, millega AWS ProServe toksilise keeleklassifikaatori koolitamisel silmitsi seisis, oli saada kliendilt piisavalt märgistatud andmeid, et koolitada nullist täpne mudel. AWS sai kliendilt umbes 100 märgistatud andmete näidist, mis on palju vähem kui 1,000 näidist, mida soovitati LLM-i peenhäälestamiseks andmeteaduse kogukonnas.

Täiendava loomupärase väljakutsena on loomuliku keele töötlemise (NLP) klassifikaatorid ajalooliselt teadaolevalt väga kulukad ja nõuavad suurt hulka sõnavara, mida nimetatakse korpus, et teha täpseid ennustusi. Range ja tõhus NLP-lahendus oleks piisava hulga märgistatud andmete korral kohandatud keelemudeli koolitamine kliendi märgistatud andmete abil. Mudelit treenitakse ainult mängijate mängusõnavaraga, muutes selle kohandatud vastavalt mängudes kasutatavale keelele. Kliendil olid nii kulu- kui ka ajapiirangud, mis muutsid selle lahenduse elujõuliseks. AWS ProServe oli sunnitud leidma lahenduse täpse keele toksilisuse klassifikaatori koolitamiseks suhteliselt väikese märgistatud andmekogumiga. Lahendus peitus selles, mida nimetatakse ülekandmisõpe.

Ülekandeõppe idee on kasutada eelkoolitatud mudeli teadmisi ja rakendada neid erineva, kuid suhteliselt sarnase probleemi puhul. Näiteks kui kujutise klassifikaatorit õpetati ennustama, kas pilt sisaldab kassi, võite kasutada teadmisi, mille mudel omandas koolituse käigus, et ära tunda teisi loomi, näiteks tiigreid. Selle keelekasutusjuhtumi jaoks pidi AWS ProServe leidma eelnevalt koolitatud keeleklassifikaatori, mis oli koolitatud tuvastama mürgist keelt ja seda kliendi märgistatud andmete abil peenhäälestama.

Lahendus oli mürgise keele klassifitseerimiseks LLM-i leidmine ja viimistlemine. LLM-id on närvivõrgud, mida on koolitatud suure hulga, tavaliselt miljardite suuruste parameetrite abil, kasutades märgistamata andmeid. Enne AWS-i lahendusega tutvumist antakse järgmises jaotises ülevaade LLM-ide ajaloost ja nende ajaloolistest kasutusjuhtudest.

LLM-ide võimsuse ärakasutamine

LLM-idest on hiljuti saanud ML-i uusi rakendusi otsivate ettevõtete keskpunkt, sest ChatGPT saavutas avalikkuse tähelepanu, olles ajaloos kõige kiiremini kasvav tarbijarakendus.², jõudes 100. aasta jaanuariks 2023 miljoni aktiivse kasutajani, vaid 2 kuud pärast selle avaldamist. LLM-id pole aga ML-ruumis uus tehnoloogia. Neid on laialdaselt kasutatud NLP-ülesannete täitmiseks, nagu sentimentide analüüsimine, korpuste kokkuvõtte tegemine, märksõnade eraldamine, kõne tõlkimine ja teksti klassifitseerimine.

Teksti järjestikuse olemuse tõttu olid korduvad närvivõrgud (RNN-d) olnud NLP-modelleerimise tipptasemel. Täpsemalt, kodeerija-dekooder võrguarhitektuur formuleeriti, kuna see lõi RNN-struktuuri, mis on võimeline võtma suvalise pikkusega sisendi ja genereerima suvalise pikkusega väljundit. See oli ideaalne NLP-ülesannete jaoks, nagu tõlkimine, kus ühe keele väljundfraasi oli võimalik ennustada teise keele sisendfraasi põhjal, tavaliselt sisendis ja väljundis erinev sõnade arv. Trafo arhitektuur³ (Vaswani, 2017) oli kodeerija-dekoodri läbimurdeline täiustus; see tutvustas mõistet enese tähelepanu, mis võimaldas mudelil keskenduda sisend- ja väljundfraaside erinevatele sõnadele. Tüüpilises kodeerija-dekooderis tõlgendab mudel iga sõna identsel viisil. Kuna mudel töötleb järjestikku iga sisendfraasi sõna, võib alguses olev semantiline teave fraasi lõpuks kaduda. Enesetähelepanu mehhanism muutis seda, lisades tähelepanukihi nii kodeerija kui ka dekoodri plokki, et mudel saaks väljundfraasis teatud sõna genereerimisel panna sisendfraasist teatud sõnadele erinevad kaalud. Nii sündis trafo mudeli alus.

Trafo arhitektuur oli aluseks kahele tänapäeval kõige tuntumale ja populaarsemale LLM-ile, kahesuunalisele kodeerija esindustele transformaatoritelt (BERT).⁴ (Radford, 2018) ja generatiivne eelkoolitatud transformer (GPT)⁵ (Devlin 2018). GPT mudeli hilisemad versioonid, nimelt GPT3 ja GPT4, on mootor, mis toidab ChatGPT rakendust. Retsepti viimane osa, mis muudab LLM-id nii võimsaks, on võime destilleerida teavet tohututest tekstikorpustest ilma ulatusliku märgistamise või eeltöötlemiseta protsessi nimega ULMFiT. Sellel meetodil on eelkoolitusfaas, kus saab kokku koguda üldteksti ja mudelit koolitatakse eelmiste sõnade põhjal järgmise sõna ennustamiseks; Siin on eeliseks see, et igasugune koolituseks kasutatav sisendtekst on oma olemuselt teksti järjekorra alusel eelsildistatud. LLM-id on tõesti võimelised õppima Interneti-mastaabis andmetest. Näiteks algne BERT-mudel oli eelkoolitatud BookCorpuse ja tervete ingliskeelsete Vikipeedia tekstiandmekogumitega.

See uus modelleerimisparadigma on toonud kaasa kaks uut kontseptsiooni: alusmudelid (FM-id) ja generatiivne AI. Erinevalt mudeli nullist koolitamisest ülesandespetsiifiliste andmetega, mis on tavaline klassikalise juhendatud õppe puhul, on LLM-id eelkoolitatud, et ammutada üldteadmisi laia teksti andmestikust, enne kui neid kohandatakse konkreetsete ülesannete või palju väiksema mahuga domeenidega. andmestik (tavaliselt sadade proovide suurusjärgus). Uus ML-i töövoog algab nüüd eelkoolitatud mudeliga, mida nimetatakse vundamendimudeliks. Oluline on rajada õigele vundamendile ning valikuvõimalusi, näiteks uusi, on järjest rohkem Amazon Titan FM-id, mille AWS avaldab osana Amazonase aluspõhi. Neid uusi mudeleid peetakse ka generatiivseteks, kuna nende väljundid on inimesele tõlgendatavad ja sisendandmetega samas andmetüübis. Kui varasemad ML-mudelid olid kirjeldavad, näiteks kasside ja koerte kujutiste klassifitseerimine, siis LLM-id on generatiivsed, kuna nende väljundiks on järgmine sisendsõnadel põhinev sõnade komplekt. See võimaldab neil toita interaktiivseid rakendusi, nagu ChatGPT, mis võivad olla nende loodud sisus väljendusrikkad.

Hugging Face on teinud koostööd AWS-iga demokratiseerida FM-id ning muuta need hõlpsasti juurdepääsetavaks ja nendega koostamiseks lihtsaks. Hugging Face on loonud a Transformers API mis ühendab rohkem kui 50 erinevat trafoarhitektuuri erinevatel ML-raamistikel, sealhulgas juurdepääsu eelkoolitatud mudelikaaludele nendes Mudel Hub, mis on selle postituse kirjutamise seisuga kasvanud üle 200,000 XNUMX mudelini. Järgmistes osades uurime kontseptsiooni tõestust, lahendust ja FM-e, mida testiti ja valiti selle kliendi jaoks mürgise kõne klassifikatsiooni kasutusjuhtumi lahendamiseks.

AWS GAIIC kontseptsiooni tõend

AWS GAIIC otsustas katsetada BERT-i arhitektuuriga LLM-i alusmudeleid, et täpsustada mürgist keeleklassifikaatorit. Kokku testiti kolme Hugging Face'i mudelikeskuse mudelit:

Kõik kolm mudeliarhitektuuri põhinevad BERTweet arhitektuur. BERTweet on koolitatud selle põhjal RoBERTa koolituseelne protseduur. RoBERTa eeltreeningu protseduur on BERT-i eelkoolituse replikatsiooniuuringu tulemus, milles hinnati hüperparameetrite häälestamise ja treeningkomplekti suuruse mõju, et parandada BERT-mudelite treenimise retsepti.⁶ (Liu 2019). Katse eesmärk oli leida eelkoolitusmeetod, mis parandas BERTi jõudlust ilma selle aluseks olevat arhitektuuri muutmata. Uuringu järeldusest leiti, et järgmised koolituseelsed muudatused parandasid oluliselt BERTi jõudlust:

• Suuremate partiidega mudeli koolitamine rohkemate andmete saamiseks
• Järgmise lause ennustamise eesmärgi eemaldamine
• Treening pikematel jadadel
• Treeningandmetele rakendatud maskeerimismustri dünaamiline muutmine

Bertweeti baasmudel kasutab eelnevat RoBERTa uuringu eelkoolitusprotseduuri, et koolitada BERT-i algne arhitektuur, kasutades 850 miljonit ingliskeelset säutsu. See on esimene avalik suuremahuline keelemudel, mis on ingliskeelsete säutsude jaoks eelkoolitatud.

Eelnevalt koolitatud säutse kasutavad FM-id arvati sobivat kasutusjuhtumiga kahel peamisel teoreetilisel põhjusel:

• Säutsu pikkus on väga sarnane võrgumänguvestlustes leiduva sobimatu või mürgise fraasi pikkusega
• Tweetid pärinevad suure hulga erinevate kasutajatega elanikkonnalt, mis on sarnased mänguplatvormidel leiduva elanikkonna omaga

AWS otsustas algtaseme saamiseks esmalt BERTweeti kliendi märgistatud andmetega täpsustada. Seejärel otsustas peenhäälestada veel kahte FM-i bertweet-base-offensive ja bertweet-base-hate-s, mis olid potentsiaalselt suurema täpsuse saavutamiseks spetsiaalselt välja õpetatud spetsiaalselt asjakohasemate mürgiste säutsude jaoks. Bertweet-base-ründemudel kasutab BertTweet FM-i baasi ja on täiendavalt koolitatud 14,100 XNUMX kommenteeritud säutsiga, mida peeti solvavaks.⁷ (Zampieri 2019). Bertweet-base-vihamudel kasutab ka põhilist BertTweet FM-i, kuid on täiendavalt koolitatud 19,600 XNUMX vihakõneks peetud säutsu kohta.⁸ (Basiili 2019).

PoC mudeli jõudluse edasiseks parandamiseks tegi AWS GAIIC kaks disainiotsust:

• Loodud kaheastmeline ennustusvoog, kus esimene mudel toimib binaarse klassifikaatorina, mis klassifitseerib, kas tekstiosa on mürgine või mitte. Teine mudel on peeneteraline mudel, mis liigitab teksti kliendi määratletud mürgitüüpide alusel. Ainult siis, kui esimene mudel ennustab teksti mürgiseks, edastatakse see teisele mudelile.
• Täiendas treeninguandmeid ja lisas avaliku Kaggle'i võistluse kolmanda osapoole märgistatud toksilise teksti andmestiku alamhulga (Pusle mürgisus) kliendilt saadud 100 originaalproovile. Nad kaardistasid pusle sildid seotud kliendi määratletud toksilisuse märgistega ja jagasid mudeli kinnitamiseks 80% treeningandmetena ja 20% katseandmetena.

Kasutatud AWS GAIIC Amazon SageMaker märkmikud oma peenhäälestuskatsete läbiviimiseks ja leidsid, et bertweet-base-ründemudel saavutas valideerimiskomplekti parimad tulemused. Järgmises tabelis on vaadeldud mõõdikute hinded kokku võetud.

Sellest hetkest alates andis GAIIC PoC-i üle AWS ProServe ML-i tarnemeeskonnale, et PoC toota.

AWS ProServe ML Delivery Team lahendus

Mudeliarhitektuuri tootmiseks palus klient AWS ProServe ML Delivery Teamil (MLDT) luua skaleeritav ja hõlpsasti hooldatav lahendus. Kaheetapilisel mudelil oli mõned hooldusprobleemid:

• Mudelid nõuaksid kahekordset mudeliseiret, mis muudab ümberõppe ajastuse ebajärjekindlaks. Võib juhtuda, et ühte mudelit tuleb sagedamini ümber õpetada kui teist.
• Kahe mudeli käitamise kulud suurenevad ühe mudeli asemel.
• Järeldamise kiirus aeglustub, kuna järeldus läbib kahte mudelit.

Nende väljakutsetega tegelemiseks pidi AWS ProServe MLDT välja mõtlema, kuidas muuta kaheastmeline mudeliarhitektuur ühtseks mudeliarhitektuuriks, säilitades samal ajal kaheastmelise arhitektuuri täpsuse.

Lahenduseks oli esmalt küsida kliendilt rohkem treeninguandmeid, seejärel viimistleda bertweet-base-rüvetav mudel kõikidel siltidel, sealhulgas mittetoksilistel näidistel, üheks mudeliks. Idee seisnes selles, et ühe mudeli peenhäälestamine rohkemate andmetega annaks sarnaseid tulemusi kui kaheetapilise mudeliarhitektuuri peenhäälestus vähematel andmetel. Kaheastmelise mudeliarhitektuuri viimistlemiseks värskendas AWS ProServe MLDT eelkoolitatud mudeli mitmemärgise klassifikatsioonipead, et lisada üks lisasõlm, mis esindab mittetoksilist klassi.

Järgmine on koodinäidis selle kohta, kuidas viimistleksite Hugging Face mudelijaoturi eelkoolitatud mudelit, kasutades nende trafode platvormi, ja muudate mudeli mitme märgistusega klassifitseerimispead, et ennustada soovitud klasside arvu. AWS ProServe MLDT kasutas seda kavandit peenhäälestuse alusena. See eeldab, et teil on rongiandmed ja valideerimisandmed valmis ja õiges sisendvormingus.

Esiteks imporditakse Hugging Face mudelikeskusest Pythoni moodulid ja soovitud eelkoolitatud mudel:

# Imports.
from transformers import ( AutoModelForSequenceClassification, AutoTokenizer, DataCollatorWithPadding, PreTrainedTokenizer, Trainer, TrainingArguments,
) # Load pretrained model from model hub into a tokenizer.
model_checkpoint = “cardiffnlp/bertweet-base-offensive”
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

Seejärel laaditakse eelkoolitatud mudel ja valmistatakse peenhäälestamiseks ette. See on samm, kus määratakse mürgiste kategooriate arv ja kõik mudeli parameetrid:

# Load pretrained model into a sequence classifier to be fine-tuned and define the number of classes you want to classify in the num_labels parameter. model = AutoModelForSequenceClassification.from_pretrained( model_checkpoint, num_labels=[number of classes] ) # Set your training parameter arguments. The below are some key parameters that AWS ProServe MLDT tuned:
training_args = TrainingArguments( num_train_epochs=[enter input] per_device_train_batch_size=[enter input] per_device_eval_batch_size=[enter input] evaluation_strategy="epoch", logging_strategy="epoch", save_strategy="epoch", learning_rate=[enter input] load_best_model_at_end=True, metric_for_best_model=[enter input] optim=[enter input], )

Mudeli peenhäälestus algab koolitus- ja valideerimisandmekogumite teede sisestamisega:

# Finetune the model from the model_checkpoint, tokenizer, and training_args defined assuming train and validation datasets are correctly preprocessed.
trainer = Trainer( model=model, args=training_args, train_dataset=[enter input], eval_dataset=[enter input], tokenizer=tokenizer, data_collator=data_collator, ) # Finetune model command.
trainer.train()

AWS ProServe MLDT sai veel umbes 5,000 märgistatud andmeproovi, millest 3,000 olid mittetoksilised ja 2,000 mürgised, ning viimistles kõik kolm bertweeti baasmudelit, ühendades kõik sildid üheks mudeliks. Nad kasutasid neid andmeid lisaks 5,000 PoC proovile, et täpsustada uusi üheastmelisi mudeleid, kasutades sama 80% rongikomplekti ja 20% katsekomplekti meetodit. Järgmine tabel näitab, et tulemuslikkuse hinded olid võrreldavad kaheetapilise mudeli tulemustega.

Üheastmelise mudeli lähenemisviisiga saavutati kulude ja hoolduse täiustused, vähendades samal ajal täpsust vaid 3%. Pärast kompromisside kaalumist valis klient üheetapilise mudeli tootmiseks AWS ProServe MLDT.

Peenhäälestades üht mudelit rohkem märgistatud andmetega, suutis AWS ProServe MLDT pakkuda lahenduse, mis vastas kliendi mudeli täpsuse künnisele, samuti täitis nende nõudmised hoolduse lihtsuse osas, vähendades samal ajal kulusid ja suurendades töökindlust.

Järeldus

Suur mänguklient otsis võimalust avastada oma suhtluskanalites mürgist keelt, et edendada sotsiaalselt vastutustundlikku mängukeskkonda. AWS GAIIC lõi mürgise keeledetektori PoC, viimistledes LLM-i mürgise keele tuvastamiseks. Seejärel värskendas AWS ProServe MLDT mudelitreeningu voogu kaheetapilise lähenemisviisi asemel üheetapilisele lähenemisviisile ja valmistas LLM-i kliendi jaoks mastaapseks kasutamiseks.

Selles postituses demonstreerib AWS LLM-i peenhäälestamise tõhusust ja praktilisust selle kliendi kasutusjuhtumi lahendamiseks, jagab konteksti alusmudelite ja LLM-ide ajaloo kohta ning tutvustab töövoogu AWS Generative AI Innovation Centeri ja AWS ProServe ML vahel. Kohaletoimetamise meeskond. Selle seeria järgmises postituses sukeldume sügavamale sellesse, kuidas AWS ProServe MLDT valmistas SageMakeri abil saadud üheetapilise mudeli.

Kui olete huvitatud koostööst AWS-iga generatiivse AI lahenduse loomiseks, võtke ühendust aadressil GAIIC. Nad hindavad teie kasutusjuhtumit, koostavad generatiivsel tehisintellektil põhineva kontseptsiooni tõendi ja neil on võimalused laiendada koostööd AWS-iga, et rakendada saadud PoC tootmisse.

viited

1. Mängijate demograafia: faktid ja statistika maailma kõige populaarsema hobi kohta
2. ChatGPT püstitas kõige kiiremini kasvava kasutajaskonna rekordi – analüütiku märkus
3. Vaswani et al., "Tähelepanu on kõik, mida vajate"
4. Radford et al., "Keelemõistmise parandamine generatiivse eelkoolituse abil"
5. Devlin et al., "BERT: kahesuunaliste sügavate transformaatorite eelkoolitus keele mõistmiseks"
6. Yinhan Liu et al., "RoBERTa: tugevalt optimeeritud BERTi eelkoolitusmeetod"
7. Marcos Zampieri jt, „SemEval-2019 6. ülesanne: solvava keele tuvastamine ja kategoriseerimine sotsiaalmeedias (OffensEval)”
8. Valerio Basile jt, „SemEval-2019 ülesanne 5: sisserändajate ja naiste vastu suunatud vihakõne mitmekeelne tuvastamine Twitteris”

Autoritest

James Poquiz on Californias Orange'i maakonnas asuv AWS-i professionaalsete teenuste andmeteadlane. Tal on arvutiteaduse bakalaureusekraad California ülikoolist Irvine'is ja tal on mitmeaastane andmevaldkonnas töötamise kogemus, olles mänginud palju erinevaid rolle. Täna töötab ta skaleeritavate ML-lahenduste juurutamise ja juurutamisega, et saavutada AWS-i klientide jaoks äritulemusi.

Han mees on andmeteaduse ja masinõppe vanemjuht koos AWS-i professionaalsete teenustega, mis asub San Diegos, CA. Tal on Northwesterni ülikooli inseneriteaduste doktorikraad ja mitmeaastane kogemus juhtimiskonsultandina, kes nõustab kliente tootmise, finantsteenuste ja energeetika vallas. Täna töötab ta kirglikult koos võtmeklientidega erinevatest tööstusharudest, et arendada ja rakendada AWS-is ML- ja GenAI lahendusi.

Safa Tinaztepe on AWS-i professionaalsete teenustega täielik andmeteadlane. Tal on Emory ülikooli arvutiteaduse bakalaureusekraad ja ta on huvitatud MLO-de, hajutatud süsteemide ja web3 vastu.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/aws-performs-fine-tuning-on-a-large-language-model-llm-to-classify-toxic-speech-for-a-large-gaming-company/