Inštitut za tehnološke inovacije usposablja najsodobnejši temeljni model Falcon LLM 40B na Amazon SageMaker

Ponovno objavil Platon

Spremljevalci: 0

Ta objava v spletnem dnevniku je napisana skupaj z dr. Ebtesamom Almazroueijem, izvršnim direktorjem – vršilcem dolžnosti glavnega raziskovalca AI enote AI-Cross Center in vodjo projekta za LLM projekte pri TII.

Združeni arabski emirati (ZAE) Inštitut za tehnološke inovacije (TII), steber uporabnih raziskav Abu Dhabija Svet za napredne tehnološke raziskave, je predstavil Falcon LLM, temeljni model velikih jezikov (LLM) s 40 milijardami parametrov. TII je vodilno globalno raziskovalno središče, namenjeno premikanju meja znanja. TII-jeva ekipa znanstvenikov, raziskovalcev in inženirjev dela za zagotavljanje znanosti o odkrivanju in transformativnih tehnologij. Delo TII se osredotoča na preboje, ki bodo našo družbo zaščitili v prihodnosti. Izurjen na 1 bilijonu žetonov, TII Falcon LLM se ponaša z vrhunsko zmogljivostjo, hkrati pa ostaja neverjetno stroškovno učinkovit. Falcon-40B se ujema z zmogljivostjo drugih visoko zmogljivih LLM-jev in je najbolje uvrščen odprtokodni model v javnosti Hugging Face Open LLM lestvica najboljših. Na voljo je kot odprtokoden v dveh različnih velikostih – Falcon-40B in Falcon-7B in je bil zgrajen iz nič z uporabo predobdelave podatkov in delovnih mest za usposabljanje modelov, ki temeljijo na Amazon SageMaker. Odprtokodni Falcon 40B uporabnikom omogoča izdelavo in prilagajanje orodij AI, ki ustrezajo edinstvenim potrebam uporabnikov, kar omogoča brezhibno integracijo in zagotavlja dolgoročno ohranitev podatkovnih sredstev. Uteži modela so na voljo za prenos, pregled in uporabo kjer koli.

Od 7. junija naprej bosta oba Falcon LLM na voljo tudi v Amazon SageMaker JumpStart, SageMakerjevem središču za strojno učenje (ML), ki ponuja vnaprej usposobljene modele, vgrajene algoritme in vnaprej izdelane predloge rešitev, ki vam pomagajo hitro začeti uporabljati ML. Falcon LLMs lahko uvedete in uporabljate z nekaj kliki Studio SageMaker ali programsko prek SDK SageMaker Python. Če želite razmestiti in zagnati sklepanje glede na Falcon LLM, glejte Uvod v SageMaker JumpStart – generiranje besedila s Falcon LLM primer zvezka.

Inštitut za tehnološke inovacije usposablja najsodobnejši temeljni model Falcon LLM 40B na Amazon SageMaker | Amazon Web Services PlatoBlockchain Data Intelligence. Navpično iskanje. Ai.

Dr. Ebtesam Almazrouei, izvršni direktor – vršilec dolžnosti glavnega raziskovalca AI enote AI-Cross Center in vodja projekta za LLM projekte pri TII, deli:

»Ponosno oznanjamo uradno odprtokodno izdajo Falcon-40B, najbolj uvrščenega odprtokodnega jezikovnega modela na svetu. Falcon-40B je izjemen odprtokodni model s parametri 40B, posebej zasnovan kot model samo za vzročni dekoder. Usposobljen je bil na obsežnem naboru podatkov 1,000 milijard žetonov, vključno z RefinedWeb, izboljšanim z izbranimi korpusi. Model je na voljo pod licenco Apache 2.0, kar zagotavlja njegovo dostopnost in uporabnost. Falcon-40B je presegel znane modele, kot so LLaMA-65B, StableLM in MPT, na javni lestvici najboljših, ki jo vzdržuje Hugging Face. Arhitektura Falcon-40B je optimizirana za sklepanje, vključuje FlashAttention in tehnike več poizvedb.”

»Ta korak odraža našo predanost premikanju meja inovacij umetne inteligence in stopnje pripravljenosti tehnologije za sodelovanje skupnosti, izobraževanje, aplikacije v resničnem svetu in sodelovanje. Nadaljuje dr. Ebtesam. »Z izdajo Falcon-40B kot odprtokodnega modela nudimo raziskovalcem, podjetnikom in organizacijam priložnost, da izkoristijo njegove izjemne zmogljivosti in spodbujajo napredek v rešitvah, ki temeljijo na umetni inteligenci, od zdravstva do vesolja, financ, proizvodnje do biotehnologije; možnosti za rešitve, ki jih poganja AI, so neomejene. Za dostop do Falcon-40B in raziskovanje njegovega izjemnega potenciala obiščite FalconLLM.tii.ae. Pridružite se nam pri izkoriščanju moči Falcon-40B za oblikovanje prihodnosti umetne inteligence in revolucijo v panogah.”

V tej objavi se poglobimo z dr. Almazroueijem o usposabljanju Falcon LLM za SageMaker, urejanju podatkov, optimizaciji, zmogljivosti in naslednjih korakih.

Nova generacija LLM

LLM so programski algoritmi, usposobljeni za dokončanje naravnih besedilnih zaporedij. Zaradi svoje velikosti in količine podatkov o usposabljanju, s katerimi komunicirajo, imajo LLM impresivne sposobnosti obdelave besedil, vključno s povzemanjem, odgovarjanjem na vprašanja, učenjem v kontekstu in še več.

V začetku leta 2020 so raziskovalne organizacije po vsem svetu dale poudarek velikosti modela, pri čemer so opazile, da je natančnost povezana s številom parametrov. Na primer, GPT-3 (2020) in BLOOM (2022) vsebujeta približno 175 milijard parametrov, Gopher (2021) ima 230 milijard parametrov in MT-NLG (2021) 530 milijard parametrov. Leta 2022, Hoffman et al. opazil, da je trenutno ravnovesje računalništva med parametri modela in velikostjo nabora podatkov podoptimalno, in objavil empirične zakone o skaliranju, ki kažejo, da bi lahko uravnoteženje računskega proračuna proti manjšim modelom, usposobljenim za več podatkov, vodilo do učinkovitejših modelov. Svoje smernice so implementirali v model Chinchilla (70) s parametrom 2022B, ki je presegel veliko večje modele.

LLM usposabljanje na SageMaker

SageMaker je zbirka upravljanih API-jev za razvoj, usposabljanje, prilagajanje in gostovanje modelov strojnega učenja (ML), vključno z LLM. Številne stranke se zanašajo na SageMaker za svoje LLM delovne obremenitve, kot npr Stabilnost AI, Laboratoriji AI21, Objemni obrazin LG AI. Izobraževanje žajblja zagotavlja računalniške gruče z uporabniško definirano konfiguracijo strojne opreme in kodo. Računalniška opravila se zaračunavajo na zagon, sorazmerno z sekundo, kar pomeni, da uporabnikom ne zaračunamo zmogljivosti GPE, ko ne uporabljajo storitve. TII je uporabil prehodne gruče, ki jih je zagotovil SageMaker Training API za usposabljanje Falcon LLM, do 48 ml.p4d.24xlarge instanc, ki so kumulirane v 384 grafičnih procesorjih NVIDIA A100. Zdaj TII usposablja naslednji Falcon LLM in je njihovo usposabljanje razširil na 3,136 GPU A100 (392 primerkov ml.p4d).

Količina prilagojenih inovacij brez primere je šla v vse plasti projekta, da bi dvignili lestvico kakovosti znanosti in hitrosti usposabljanja. V naslednjih razdelkih opisujemo optimizacije TII, ki se izvajajo na vseh ravneh sistema usposabljanja za globoko učenje (DL).

Razširljivo urejanje podatkov

Študentje LLM najnovejše generacije črpajo svojo moč iz velikosti in kakovosti podatkov o usposabljanju. Ekipa je posebno pozornost namenila izdelavi visokokakovostnega nabora podatkov z bilijoni žetonov. Več opravil SageMaker Training CPE je pretvorilo petabajte poceni, razširljivih spletnih podatkov v kuriran, varen nabor podatkov za usposabljanje. Avtomatizirani sistemi so podatke filtrirali in odstranili dvojnike; na primer, klasifikatorji ML so bili uporabljeni za filtriranje kletvic. Opravila CPE, ki se izvajajo na ml.c5.18xlarge (72 vCPU-jev, 144 GB RAM-a), so bila instancirana v nekaj klicih API-ja prek SageMaker Training za izvajanje nalog pretvorbe podatkov. Ekipa je za različne primere uporabe uporabila opravila CPE z enim primerkom in več primerki. Nekatera od teh opravil so uporabljala na stotine opravil vzporedne arhitekture brez skupne rabe (SNA), vsako na enem računalniku, in za naloge, ki zahtevajo sinhronizacijo med delavci, je ekipa zagnala opravila z več primerki, ki so se kopičila v desetinah primerkov in na tisoče vCPE. Anekdotično je, da se je ekipa pri nalogi priprave nabora podatkov na nižji stopnji povečala na 257 ml.c5.18xlarge v enem samem opravilu usposabljanja SageMaker, kar je nabralo 18,504 vCPU in 37 TB pomnilnika.

Povečanje zmogljivosti treninga

Da bi minimizirali stroške usposabljanja in čas do trženja, je ekipa sledila več smerem optimizacije, da bi pospešila hitrost usposabljanja sorazmerno z žetoni usposabljanja, obdelanimi na sekundo in merjeno v TFLOP-jih/GPE. Ekipa je uporabila popolnoma prilagojeno 3D-vzporedno ogrodje za usposabljanje LLM, ki vsebuje prilagojene optimizirane plasti, napisane v prevedeni kodi GPU. Ekipa je šla tako daleč, da je napisala lastno implementacijo množenja matrik po meri, da bi pridobila nadaljnjo hitrost! Ekipa je razvila tudi logiko, ki prilagaja vzporedno komunikacijo osnovni topologiji omrežja. Med njihovimi začetnimi poskusi skaliranja je TII uspel doseči 166 TFLOP-jev/GPU na modelu 147B na 256 GPE-jih in 173 TFLOP-ov/GPU na modelu 13B na 16 GPE-jih, kar je po našem znanju najhitrejši znani model TFLOP-jev, dosežen v oblaku pri čas testa konec leta 2022.

Shramba brez strežnika

Usposabljanje LLM je intenzivno shranjevanje; nekaj terabajtov podatkov o usposabljanju je treba usmeriti v gručo za usposabljanje in več terabajtov kontrolnih točk modela redno potuje nazaj iz gruče v trajno shrambo. Kontrolne točke morajo prav tako čim hitreje doseči gručo usposabljanja v primeru ponovnega zagona opravila. V tradicionalnem visoko zmogljivem računalništvu (HPC) so računalniška vozlišča povezana s porazdeljenimi datotečnimi sistemi, ki zagotavljajo visoko zmogljiv V/I in prepustnost prek vmesnika, podobnega POSIX-u. V AWS stranke redno uporabljajo Amazon FSx za Luster datotečni sistem za ta namen (za več podrobnosti glejte Pospešite usposabljanje na Amazonu SageMaker z uporabo Amazon FSx za datotečne sisteme Luster in Amazon EFS), dokumentirali pa smo tudi samoupravno uporabo BeeGFS v študija primera porazdeljenega računalniškega vida. Zaradi svoje osredotočenosti na stroške in preprostost delovanja se je ekipa odločila, da ne bo implementirala in upravljala strežnikov datotečnega sistema, ampak se je namesto tega lotila izziva gradnje izključno na shranjevanju objektov brez strežnika. Preprosta storitev shranjevanja Amazon (Amazon S3). Razred nabora podatkov S3 po meri je bil zgrajen z uporabo AWS SDK za Python (Boto3) in je zagotovil zadovoljivo zmogljivost, medtem ko je znanstvenikom omogočil, da samostojno ponavljajo I/O inženiring in znanost o modeliranju znotraj iste kodne baze.

Inovacije na strani odjemalca

Projekt LLM je redko sestavljen iz ene same naloge usposabljanja; za izvedbo začetnih preizkusov in izkušenj so potrebna številna delovna mesta. Med glavnim proizvodnim usposabljanjem je lahko verižno povezanih več opravil, na primer za posodobitev konfiguracije ali različic programske opreme, uvajanje popravkov ali obnovitev po napakah. Znanstveniki iz TII so izvedli pomemben inženiring za izdelavo strank po meri, prilagojenih usposabljanju LLM. Odjemalec zaganjalnika je bil zgrajen na vrhu SDK za usposabljanje SageMaker, da bi združil več funkcij v enem ukazu, na primer različico kode, gradnjo slike Docker in zagon opravila. Poleg tega je an AWS Lambda Računalniška funkcija brez strežnika je bila zasnovana za opazovanje, spremljanje in poseganje v opravila po potrebi.

Uporaba botov Slack za revizije kakovosti sklepanja

Proti koncu usposabljanja je ekipa namestila model na interno Končna točka GPU gostovanja SageMaker za interakcijo v realnem času. Ekipa je šla tako daleč, da je ustvarila Slack bota za dialog, da bi pridobila realistične povratne informacije in izvajala kvalitativne revizije kakovosti modela.

Usposabljanje in spremljanje uspešnosti

Usposabljanje LLM zahteva velike količine računalniških virov, vključno s CPE, GPE in pomnilniškimi viri. Zato je moral TII spremljati uspešnost in čas nedejavnosti usposabljanja, da bi zagotovil optimalno uporabo računalniških virov in njihovo stroškovno učinkovitost.

Za izgradnjo avtomatizirane rešitve za spremljanje je TII uporabil amazoncloudwatch alarmi za spremljanje uporabe GPE, CPE in pomnilnika za opravila usposabljanja. CloudWatch zbira neobdelane podatke in jih obdeluje v berljive metrike v skoraj realnem času iz osnovnih primerkov vsebnika, ki se uporabljajo v opravilu SageMaker Training. Po tem nastavimo pragove za vsako od teh metrik in če katera koli metrika pade pod prag, se sproži alarm. Ta alarm obvesti ekipo TII o nizki izkoriščenosti virov, kar ji omogoči, da izvedejo korektivne ukrepe za odpravo omejitev glede izkoriščenosti virov.

Poleg spremljanja izkoriščenosti virov lahko TII spremlja tudi čas nedejavnosti virov delovnega mesta za usposabljanje. Če so bili viri delovnega mesta za usposabljanje dlje časa nedejavni, bi to lahko pomenilo ozko grlo na kateri koli stopnji cikla usposabljanja in zahtevalo ročno preiskavo. V nekaterih primerih je bila izkoriščenost virov še razmeroma optimalna, sam proces usposabljanja pa ni napredoval. Za te primere je TII integriral alarme CloudWatch s funkcijami Lambda za poizvedovanje in branje ustvarjenih dnevnikov vadbe, nato pa izvede samodejna dejanja na podlagi ustvarjene napake ali nedejavnosti procesa generiranja dnevnika (gruča je ustavljena). Alarm sproži dejanje za ustavitev usposabljanja, kar zagotavlja, da TII ne povzroča nepotrebnih stroškov, ko viri niso bili uporabljeni.

zaključek

Z uporabo SageMakerja v kombinaciji z lastniškimi inovacijami po meri je TII lahko usposobil model, ki je najsodobnejši v več dimenzijah: tehnološki preboj, znanstvena kakovost, hitrost usposabljanja in tudi preprostost delovanja.

»Izdaja modela Falcon 40B iz Združenih arabskih emiratov, najbolje uvrščenega odprtokodnega modela umetne inteligence na svetu, ponazarja vodilni položaj v tehnologiji in utira pot inovacijam, ki jih poganja umetna inteligenca v regiji.ion« navaja dr. Ebtesam Almazrouei; in dodal, da "izkazujemo svojo zavezanost ciljem, ki so opisani v nacionalni strategiji umetne inteligence 2031. Naša aktivna vključenost v globalni tehnološki napredek, ki ga predstavlja Falcon-40B, igra ključno vlogo pri našem prizadevanju za gospodarstvo, ki temelji na znanju. Z naložbami in razvojem v rešitve umetne inteligence želimo ustvariti nove priložnosti za gospodarsko rast, družbeni napredek in izobraževalni napredek.

»Odprtokodna narava Falcon-40B odraža našo predanost sodelovanju, preglednosti, inovacijam in raziskavam na področju umetne inteligence. Verjamemo v demokratizacijo zmogljivosti napredne tehnologije umetne inteligence, zaradi česar bo Falcon-40B dostopen raziskovalcem in organizacijam po vsem svetu.«

»V prihodnosti bomo še naprej prispevali k umetni inteligenci in tehnološkemu napredku, s prihajajočimi modeli v pripravi. Poleg tega bomo aktivno spodbujali sprejetje napredne tehnologije umetne inteligence v organizacijah in podjetjih v naši državi, s čimer bomo spodbujali rast in blaginjo v skladu z našimi strateškimi cilji.«

– Dr. Almazrouei

Če želite izvedeti več o Falcon LLM, obiščite spletno stran FalconLLM.tii.ae in model kartice na Hugging Face!

O avtorjih

dr. Ebtesam Almazrouei je izvršni direktor – vršilec dolžnosti glavnega raziskovalca umetne inteligence in ustanovitelj enote Al-Cross Center na Inštitutu za tehnološke inovacije (TII). Dr. Almazrouei je kot ustanovitelj enote Al-Cross Center na Inštitutu za tehnološke inovacije (TII) igral ključno vlogo pri oblikovanju zmogljivosti AI v TII. Njena strateška vizija in strokovno znanje na področju umetne inteligence in strojnega učenja sta jo opolnomočila za vodenje prelomnih raziskovalnih pobud in spodbujanje medfunkcionalnega sodelovanja, kar ima za posledico zagotavljanje inovativnih rešitev umetne inteligence v več panogah.

Eden od pomembnih dosežkov dr. Almazroueija je njena ključna vloga pri razvoju Falcona 40B, vrhunskega LLM, ki je pridobil svetovno priznanje. Izjemna zmogljivost Falcona 40B ga je maja 2023 uvrstila na prvo mesto LLM na svetovni lestvici Hugging Face. Poleg tega je vodila razvoj Noorja, največjega arabskega velikega jezikovnega modela (LLM) na svetu, izdanega aprila 2022.

Dr. Almazrouei je po vsem svetu priznana zaradi svojih prispevkov k umetni inteligenci in je bila leta 2023 uvrščena na seznam vodilnih žensk na področju umetne inteligence na svetu, poleg drugih uglednih žensk na tem področju. Je tudi zagovornica trajnosti in pobud AI for Good ter glavna predsednica Abu Dhabi AI Connect in predsednica TPC številnih mednarodnih konferenc IEEE.

Njeni prispevki presegajo njeno delo pri TII, kjer vodi pododbor strokovnjakov za velike podatke Sveta ZAE za umetno inteligenco in verigo blokov in je članica svetovnega usmerjevalnega odbora Svetovnega raziskovalnega foruma za brezžično omrežje (WWRF). Je znanstvena avtorica, patentna izumiteljica, podjetnica in priznana govornica, znana po svojih osrednjih govorih na prestižnih vrhovih, kot so AI Summit v Londonu, svetovni festival AI v Cannesu in tehnološki vrhovi.

Will Badr je višji vodja AI/ML Solutions Architects s sedežem v Dubaju – ZAE, ki dela kot del globalne ekipe Amazon Machine Learning. Will je navdušen nad uporabo tehnologije na inovativne načine za pozitiven vpliv na skupnost. V prostem času se rad potaplja, igra nogomet in raziskuje pacifiške otoke.

Olivier Cruchant je strokovnjak za rešitve za strojno učenje pri AWS s sedežem v Franciji. Olivier pomaga strankam AWS – od majhnih novoustanovljenih podjetij do velikih podjetij – pri razvoju in uvajanju aplikacij za strojno učenje proizvodnega razreda. V prostem času rad bere raziskovalne naloge in s prijatelji in družino raziskuje divjino.