Technology Innovation Institute kouluttaa huippuluokan Falcon LLM 40B -perusmallin Amazon SageMakerissa | Amazon Web Services

Tämä blogiviesti on kirjoitettu yhdessä tohtori Ebtesam Almazrouein kanssa, joka on AI-Cross Center -yksikön toiminnanjohtaja, tekoälyn vt. päätutkija ja TII:n LLM-projektien projektipäällikkö.

Yhdistyneet arabiemiirikunnat (UAE) Technology Innovation Institute (TII), Abu Dhabin soveltavan tutkimuksen pilari Kehittyneen teknologian tutkimusneuvosto, on julkaissut Falcon LLM:n, perustavanlaatuisen suuren kielimallin (LLM), jossa on 40 miljardia parametria. TII on johtava maailmanlaajuinen tutkimuskeskus, joka on omistautunut tiedon rajojen työntämiseen. TII:n tiedemiehistä, tutkijoista ja insinööreistä koostuva tiimi työskentelee kehittääkseen löytötiedettä ja transformatiivisia teknologioita. TII:n työ keskittyy läpimurtoihin, jotka varmistavat yhteiskuntamme tulevaisuuden. Koulutettu 1 biljoonalla rahakkeella, TII Falcon LLM tarjoaa huippuluokan suorituskyvyn samalla kun se on uskomattoman kustannustehokas. Falcon-40B vastaa muiden tehokkaiden LLM-yritysten suorituskykyä, ja se on julkisuudessa paras avoimen lähdekoodin malli. Hugging Face Open LLM-tulostaulukko. Se on saatavana avoimena lähdekoodina kahdessa eri koossa – Falcon-40B ja Falcon-7B, ja se on rakennettu tyhjästä käyttämällä tietojen esikäsittelyä ja mallin koulutustöitä, jotka on rakennettu Amazon Sage Maker. Avoimen lähdekoodin Falcon 40B:n avulla käyttäjät voivat rakentaa ja mukauttaa tekoälytyökaluja, jotka vastaavat käyttäjien yksilöllisiä tarpeita, mikä helpottaa saumatonta integrointia ja varmistaa tietoresurssien pitkäaikaisen säilymisen. Mallin painot ovat ladattavissa, tarkastettavissa ja asennettavissa missä tahansa.

7. kesäkuuta alkaen molemmat Falconin LLM:t ovat saatavilla myös Amazon SageMaker JumpStartissa, SageMakerin koneoppimiskeskuksessa (ML), joka tarjoaa valmiiksi koulutettuja malleja, sisäänrakennettuja algoritmeja ja valmiita ratkaisumalleja, joiden avulla pääset nopeasti alkuun ML:n kanssa. Voit ottaa Falcon LLM:t käyttöön ja käyttää niitä muutamalla napsautuksella SageMaker Studio tai ohjelmallisesti SageMaker Python SDK. Jos haluat ottaa käyttöön ja suorittaa päätelmiä Falcon LLM:itä vastaan, katso Johdatus SageMaker JumpStartiin – Tekstin luomiseen Falcon LLM:ien kanssa muistikirja esimerkkinä.

Tohtori Ebtesam Almazrouei, AI-Cross Center -yksikön toiminnanjohtaja, tekoälyn päätutkija ja TII:n LLM-projektien projektipäällikkö, jakaa:

”Ilmoitamme ylpeänä Falcon-40B:n, maailman huippuluokan avoimen lähdekoodin kielimallin, virallisesta avoimen lähdekoodin julkaisusta. Falcon-40B on poikkeuksellinen avoimen lähdekoodin malli, jossa on 40B-parametrit, ja se on erityisesti suunniteltu vain kausaalisen dekooderin malliksi. Se on koulutettu laajalle 1,000 2.0 miljardin tunnuksen tietojoukolle, mukaan lukien RefinedWeb, jota on parannettu kuratoimilla korpusilla. Malli on saatavilla Apache 40 -lisenssillä, mikä varmistaa sen käytettävyyden ja käytettävyyden. Falcon-65B on ohittanut tunnetut mallit, kuten LLaMA-40B, StableLM ja MPT Hugging Facen ylläpitämässä julkisessa tulostaulukossa. Falcon-XNUMXB:n arkkitehtuuri on optimoitu päätelmiä varten, ja se sisältää FlashAttention- ja multiquery-tekniikat."

"Tämä askel heijastaa sitoutumistamme tekoälyn innovaatioiden ja teknologiavalmiuksien rajojen työntämiseen yhteisön osallistumiseen, koulutukseen, todellisiin sovelluksiin ja yhteistyöhön. Jatkuu tohtori Ebtesam. ”Julkaisemalla Falcon-40B:n avoimen lähdekoodin mallina tarjoamme tutkijoille, yrittäjille ja organisaatioille mahdollisuuden hyödyntää sen poikkeuksellisia kykyjä ja edistää tekoälypohjaisten ratkaisujen kehitystä terveydenhoidosta avaruuteen, rahoitukseen, valmistukseen biotekniikkaan. mahdollisuudet tekoälypohjaisiin ratkaisuihin ovat rajattomat. Voit käyttää Falcon-40B:tä ja tutkia sen merkittävää potentiaalia osoitteessa FalconLLM.tii.ae. Liity kanssamme hyödyntämään Falcon-40B:n tehoa tekoälyn tulevaisuuden muokkaamiseksi ja teollisuuden mullistamiseksi.

Tässä viestissä sukeltaamme syvälle tohtori Almazrouein kanssa Falcon LLM -koulutuksesta SageMakerissa, tietojen hallinnassa, optimoinnissa, suorituskyvyssä ja seuraavissa vaiheissa.

Uuden sukupolven LLM:t

LLM:t ovat ohjelmistoalgoritmeja, jotka on koulutettu täydentämään luonnollisia tekstisekvenssejä. Kokonsa ja vuorovaikutuksessa olevan koulutusdatan määrän vuoksi LLM:illä on vaikuttava tekstinkäsittelykyky, mukaan lukien yhteenvedon tekeminen, kysymyksiin vastaaminen, kontekstin sisäinen oppiminen ja paljon muuta.

Vuoden 2020 alussa tutkimusorganisaatiot ympäri maailmaa painottivat mallin kokoa ja havaitsivat, että tarkkuus korreloi parametrien lukumäärän kanssa. Esimerkiksi GPT-3 (2020) ja BLOOM (2022) sisältävät noin 175 miljardia parametria, Gopher (2021) sisältää 230 miljardia parametria ja MT-NLG (2021) 530 miljardia parametria. Vuonna 2022, Hoffman et ai. havaitsi, että nykyinen laskennan tasapaino mallin parametrien ja tietojoukon koon välillä oli epäoptimaalinen, ja julkaisi empiirisiä skaalauslakeja, jotka viittaavat siihen, että laskentabudjetin tasapainottaminen pienempiin malleihin, jotka on koulutettu enemmän dataa varten, voisi johtaa parempiin malleihin. He toteuttivat opastuksensa 70B-parametrin Chinchilla (2022) -mallissa, joka ylitti paljon suuremmat mallit.

LLM-koulutus SageMakerissa

SageMaker on kokoelma hallittuja sovellusliittymiä koneoppimismallien (ML) kehittämiseen, koulutukseen, virittämiseen ja isännöintiin, mukaan lukien LLM:t. Monet asiakkaat luottavat SageMakeriin LLM-työkuormituksessaan, kuten Vakaus AI, AI21 Labs, Halaaminen kasvotja LG AI. SageMaker-koulutus sisältää laskentaklustereita käyttäjän määrittämillä laitteistokokoonpanoilla ja koodilla. Laskentatyöt laskutetaan suorituskohtaisesti, suhteutettuna sekuntiin, mikä tarkoittaa, että käyttäjiä ei veloiteta GPU-kapasiteetista, kun he eivät käytä palvelua. TII käytti SageMaker Training API:n tarjoamia ohimeneviä klustereita Falcon LLM:n kouluttamiseen, jopa 48 ml.p4d.24xlarge-esiintymiä, jotka kumuloivat 384 NVIDIA A100 GPU:ta. Nyt TII kouluttaa seuraavaa Falcon LLM:ää ja skaalasi heidän koulutuksensa 3,136 100 A392 GPU:hun (4 ml.pXNUMXd-tapauksia).

Ennennäkemättömän suuri määrä räätälöityjä innovaatioita sijoittui projektin kaikille tasoille tieteen laadun ja koulutusnopeuden rimaa kohottamiseksi. Seuraavissa osioissa kuvataan TII-optimointeja, jotka on suoritettu syväoppimisen (DL) koulutusjärjestelmän kaikilla tasoilla.

Skaalautuva tiedon kuratointi

Uusimman sukupolven LLM:t saavat voimansa koulutustietojen koosta ja laadusta. Tiimi kiinnitti erityistä huomiota korkealaatuisen biljoonan tunnuksen tietojoukon luomiseen. Useat SageMaker Training CPU -työt muuttivat petatavuja halpaa, skaalautuvaa verkkodataa kuratoiduksi, turvalliseksi harjoitustietojoukoksi. Automaattiset järjestelmät suodattivat tiedot ja poistivat niiden kopiot; esimerkiksi ML-luokittajia käytettiin kiroilun suodattamiseen. CPU-työt, jotka toimivat ml.c5.18xlargella (72 vCPU:ta, 144 Gt RAM-muistia), syntyivät muutamassa API-kutsussa SageMaker Trainingin kautta tietojen muunnostehtävien suorittamiseksi. Tiimi käytti sekä yhden instanssin että usean esiintymän CPU-töitä erilaisiin käyttötapauksiin. Jotkin näistä töistä käyttivät satoja rinnakkaisia ​​jakamattomia arkkitehtuuritöitä (SNA) kukin yhdellä koneella, ja työntekijöiden välistä synkronointia vaativiin tehtäviin tiimi käynnisti usean ilmentymän työt, jotka kumuloituivat kymmeniin instansseihin ja tuhansiin vCPU:ihin. Anekdoottisesti, myöhemmän datajoukon valmistelutehtävässä, tiimi nousi 257 ml.c5.18xlarge yhdellä SageMaker Training -työllä, mikä kumuloi 18,504 37 vCPU:ta ja XNUMX Tt muistia.

Harjoittelun suorituskyvyn maksimointi

Sekä koulutuskustannusten että markkinoilletuloajan minimoimiseksi tiimi pyrki useisiin optimointiin nopeuttaakseen harjoitusnopeutta suhteessa sekunnissa prosessoituihin harjoitustokeneihin, jotka mitattiin TFLOP:ina/GPU:na. Tiimi käytti täysin mukautettua 3D-rinnakkais LLM-koulutuskehystä, joka sisälsi mukautettuja optimoituja tasoja, jotka oli kirjoitettu käännetyllä GPU-koodilla. Tiimi meni niin pitkälle, että kirjoitti oman mukautetun matriisin kertolaskutoteutuksen saadakseen lisää nopeutta! Tiimi kehitti myös logiikkaa, joka mukauttaa rinnakkaisviestinnän taustalla olevaan verkkotopologiaan. Alkuperäisten skaalauskokeilujensa aikana TII pystyi saavuttamaan 166 TFLOPs/GPU 147B-mallilla 256 GPU:lla ja 173 TFLOPs/GPU 13B-mallilla 16 GPU:lla, tietämyksemme mukaan nopeimmat tunnetut malli-TFLOP:t, jotka saavutettiin pilvessä klo. testin ajankohta vuoden 2022 lopulla.

Palvelimeton tallennustila

LLM-koulutus on varastointiintensiivistä; useita teratavuja harjoitustietoa täytyy kanavoida koulutusklusteriin, ja useita teratavuja mallin tarkistuspisteitä kulkee säännöllisesti takaisin klusterista pysyvään tallennustilaan. Tarkistuspisteiden on myös päästävä koulutusklusteriin mahdollisimman nopeasti työn uudelleenkäynnistyessä. Perinteisessä korkean suorituskyvyn laskennassa (HPC) laskentasolmut on kytketty hajautettuihin tiedostojärjestelmiin, jotka tarjoavat korkean suorituskyvyn I/O:n ja suorituskyvyn POSIX-tyyppisen rajapinnan kautta. AWS:ssä asiakkaat käyttävät säännöllisesti Amazon FSx Lusterille tiedostojärjestelmä tätä tarkoitusta varten (katso lisätietoja kohdasta Nopeuta koulutusta Amazon SageMakerissa käyttämällä Amazon FSx for Luster- ja Amazon EFS -tiedostojärjestelmiä), ja dokumentoimme myös BeeGFS:n itsehallitun käytön vuonna hajautettu tietokonenäön tapaustutkimus. Koska he keskittyivät kustannuksiin ja toiminnan yksinkertaisuuteen, tiimi päätti olla toteuttamatta ja käyttämättä tiedostojärjestelmäpalvelimia, vaan otti sen sijaan haasteen rakentaa yksinomaan palvelimettoman objektitallennustilan päälle. Amazonin yksinkertainen tallennuspalvelu (Amazon S3). Mukautettu S3-tietojoukkoluokka rakennettiin käyttämällä Pythonin AWS SDK:ta (Boto3), ja se tarjosi tyydyttävän suorituskyvyn samalla, kun tutkijat pystyivät toistamaan itsenäisesti I/O-suunnittelua ja mallitieteitä samassa koodikannassa.

Asiakaspuolen innovaatio

LLM-projekti koostuu harvoin yhdestä koulutustyöstä; lukuisia työpaikkoja tarvitaan alustavien testien ja kokemusten suorittamiseen. Päätuotantokoulutuksen aikana useita töitä voidaan ketjuttaa esimerkiksi konfiguraatio- tai ohjelmistoversioiden päivittämiseksi, korjaustiedostojen asentamiseksi tai vioista toipumiseksi. TII:n tutkijat suorittivat merkittävää suunnittelua rakentaakseen räätälöityjä asiakkaita, jotka on mukautettu LLM-koulutukseen. SageMaker Training SDK:n päälle rakennettiin käynnistysohjelma, jonka avulla voidaan pakata yhteen komennossa useita toimintoja, kuten koodiversiointi, Docker-kuvanrakennus ja työn käynnistäminen. Lisäksi an AWS Lambda palvelimeton laskentatoiminto on suunniteltu tarkkailemaan, valvomaan ja puuttumaan töihin tarpeen mukaan.

Slack-bottien käyttäminen laaduntarkastuksiin

Harjoittelun loppua kohden tiimi otti mallin käyttöön sisäisessä SageMaker Hosting GPU-päätepiste reaaliaikaista vuorovaikutusta varten. Tiimi loi Slack-botin vuoropuheluun saadakseen realistista palautetta ja suorittaakseen mallin laadullisia laatutarkastuksia.

Koulutus ja suoritusten seuranta

LLM:n kouluttaminen vaatii suuria määriä laskentaresursseja, mukaan lukien CPU-, GPU- ja muistiresurssit. Siksi TII:n oli seurattava koulutustyön suorituskykyä ja joutoaikaa laskentaresurssien optimaalisen käytön ja kustannustehokkuuden varmistamiseksi.

Automaattisen valvontaratkaisun rakentamiseen käytti TII amazonin pilvikello hälytyksiä, jotka valvovat GPU:n, CPU:n ja muistin käyttöä harjoitustöissä. CloudWatch kerää raakadataa ja prosessoi sen luettaviksi, lähes reaaliaikaisiksi mittareiksi SageMaker Training -työssä käytettävistä taustalla olevista säilön ilmentymistä. Tämän jälkeen asetamme kynnysarvot kullekin näistä mittareista, ja jos jokin mittari putoaa kynnyksen alapuolelle, hälytys laukeaa. Tämä hälytys ilmoittaa TII:n tiimille alhaisesta resurssien käytöstä, jolloin he voivat ryhtyä korjaaviin toimenpiteisiin resurssien käyttörajoitusten korjaamiseksi.

Resurssien käytön seurannan lisäksi TII voisi seurata myös koulutustyöresurssien joutoaikaa. Jos koulutustyöresurssit olivat käyttämättömänä pitkiä aikoja, se voi viitata pullonkaulaan missä tahansa koulutussyklin vaiheessa ja vaatia manuaalista tutkimista. Joissain tapauksissa resurssien käyttöaste oli vielä suhteellisen optimaalinen, mutta itse koulutusprosessi ei edennyt. Näissä tapauksissa TII integroi CloudWatch-hälytyksiä Lambda-toiminnoilla, jotka kyselevät ja lukevat luotuja harjoituslokeja ja suorittavat sitten automaattisia toimenpiteitä joko luodun virheen tai lokin luontiprosessin käyttämättömyyden perusteella (klusteri pysähtyy). Hälytys laukaisee toimenpiteen koulutustyön pysäyttämiseksi, mikä varmistaa, että TII:lle ei aiheudu tarpeettomia kustannuksia, kun resursseja ei käytetä.

Yhteenveto

Käyttämällä SageMakeria yhdistettynä omaan, räätälöityyn innovaatioon, TII pystyi kouluttamaan mallin, joka on huippuluokan useissa ulottuvuuksissa: teknologinen läpimurto, tieteen laatu, koulutusnopeus ja myös toiminnan yksinkertaisuus.

"UAE:n Falcon 40B:n, maailman parhaiden avoimen lähdekoodin tekoälymallin, julkaisu osoittaa teknologiajohtajuuden ja tasoittaa tietä tekoälypohjaiselle innovaatiolle alueella.ioni” osoittaa tohtori Ebtesam Almazrouei; lisäämällä että "osoitamme sitoutumisemme kansallisessa tekoälystrategiassa 2031 esitettyihin tavoitteisiin. Aktiivinen osallistumisemme maailmanlaajuiseen teknologiseen kehitykseen, jota edustaa Falcon-40B, on ratkaisevassa roolissa pyrittäessämme tietoon perustuvaan talouteen. Investoinneilla ja kehitystyöllä tekoälyratkaisuihin pyrimme luomaan uusia mahdollisuuksia talouskasvulle, sosiaaliselle kehitykselle ja koulutuksen edistymiselle.

"Falcon-40B:n avoimen lähdekoodin luonne kuvastaa omistautumistamme yhteistyölle, läpinäkyvyydelle, innovaatioille ja tutkimukselle tekoälyn alalla. Uskomme edistyneiden tekoälyteknologian kykyjen demokratisoimiseen, jolloin Falcon-40B on tutkijoiden ja organisaatioiden käytettävissä kaikkialla maailmassa."

"Tulevaisuutta ajatellen jatkamme tekoälyn ja teknologian kehitystä, ja tulevia malleja on valmisteilla. Lisäksi edistämme aktiivisesti edistyneen tekoälyteknologian käyttöönottoa maamme organisaatioissa ja yrityksissä, mikä edistää kasvua ja vaurautta strategisten tavoitteidemme mukaisesti.

– Tohtori Almazrouei

Lisätietoja Falcon LLM:stä on verkkosivustolla FalconLLM.tii.ae ja Hugging Facen mallikortti!

---

Tietoja Tekijät

Tohtori Ebtesam Almazrouei on toiminnanjohtaja-vt Chief AI-tutkija ja Al-Cross Center -yksikön perustaja Technology Innovation Institutessa (TII). Al-Cross Center Unit -yksikön perustajana Technology Innovation Institutessa (TII) tohtori Almazrouei on ollut keskeisessä roolissa TII:n tekoälykyvyn muokkaamisessa. Hänen strateginen näkemyksensä ja asiantuntemuksensa tekoälystä ja koneoppimisesta ovat antaneet hänelle mahdollisuuden johtaa uraauurtavia tutkimusaloitteita ja edistää toimintojen välistä yhteistyötä, mikä on johtanut innovatiivisten tekoälyratkaisujen toimittamiseen useille toimialoille.

Yksi tohtori Almazrouein merkittävistä saavutuksista on hänen tärkeä roolinsa Falcon 40B:n, huippuluokan LLM:n kehittämisessä, joka on kerännyt maailmanlaajuista tunnustusta. Falcon 40B:n poikkeuksellinen suorituskyky on nostanut sen ykköseksi maailmanlaajuisesti Hugging Facen tulostaulukossa toukokuussa 2023. Lisäksi hän johti Noorin, maailman suurimman arabian suurkielisen mallin (LLM) kehitystä, joka julkaistiin huhtikuussa 2022.

Tohtori Almazrouei tunnetaan maailmanlaajuisesti hänen panoksestaan ​​tekoälyn parissa, ja hänet mainittiin Leading AI Women in the World 2023 -listalla muiden alan ansioituneiden naisten ohella. Hän on myös kestävän kehityksen ja AI for Good -aloitteiden puolestapuhuja sekä Abu Dhabi AI Connectin yleispuheenjohtaja ja monien kansainvälisten IEEE-konferenssien TPC-puheenjohtaja.

Hänen panoksensa ulottuu muutakin kuin hänen työnsä TII:ssä, jossa hän johtaa Yhdistyneiden arabiemiirikuntien tekoälyn ja lohkoketjun neuvoston big data -alakomiteaa ja on Wireless World Research Forumin (WWRF) maailmanlaajuisen johtokunnan jäsen. Hän on tieteellinen kirjailija, patentin keksijä, yrittäjä ja tunnettu puhuja, joka tunnetaan pääpuheistaan ​​arvostetuissa huippukokouksissa, kuten Lontoon tekoälyn huippukokouksessa, World AI Cannes -festivaaleissa ja tekniikan huippukokouksissa.

Will Badr on Sr. Manager AI/ML Solutions Architects, joka sijaitsee Dubaissa – Yhdistyneet arabiemiirikunnat ja työskentelee osana maailmanlaajuista Amazon Machine Learning -tiimiä. Will on intohimoinen teknologian käyttämisestä innovatiivisilla tavoilla vaikuttaakseen positiivisesti yhteisöön. Vapaa-ajallaan hän tykkää sukeltaa, pelata jalkapalloa ja tutustua Tyynenmeren saariin.

Olivier Cruchant on Machine Learning Specialist Solutions -arkkitehti AWS:ssä Ranskassa. Olivier auttaa AWS-asiakkaita – pienistä startupeista suuriin yrityksiin – kehittämään ja ottamaan käyttöön tuotantotason koneoppimissovelluksia. Vapaa-ajallaan hän lukee mielellään tutkimuspapereita ja tutkii erämaata ystävien ja perheen kanssa.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• EVM Finance. Hajautetun rahoituksen yhtenäinen käyttöliittymä. Pääsy tästä.
• Quantum Media Group. IR/PR vahvistettu. Pääsy tästä.
• PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/