A Technology Innovation Institute kiképezi a legmodernebb Falcon LLM 40B alapozó modellt az Amazon SageMakeren | Amazon webszolgáltatások

Ezt a blogbejegyzést Dr. Ebtesam Almazrouei-vel, az AI-Cross Center egység ügyvezető igazgatójával, az AI-Cross Center részlegének megbízott fő mesterséges intelligencia-kutatójával és a TII LLM-projektjeinek projektvezetőjével közösen írta.

Egyesült Arab Emirátus (EAE) Technológiai Innovációs Intézet (TII), Abu Dhabi alkalmazott kutatási pillére Advanced Technology Research Council, elindította a Falcon LLM-et, egy alapvető nagy nyelvi modellt (LLM), 40 milliárd paraméterrel. A TII egy vezető globális kutatóközpont, amely a tudás határainak feszegetésére törekszik. A TII tudósokból, kutatókból és mérnökökből álló csapata a felfedező tudomány és az átalakuló technológiák megvalósításán dolgozik. A TII munkája azokra az áttörésekre összpontosít, amelyek jövőt védenek társadalmunktól. 1 billió tokenre kiképzett, TII Falcon LLM kiváló teljesítménnyel büszkélkedhet, miközben hihetetlenül költséghatékony marad. A Falcon-40B megfelel más nagy teljesítményű LLM-ek teljesítményének, és a nyilvános nyílt forráskódú modell a legmagasabb rangú. Hugging Face Open LLM ranglista. Nyílt forráskódúként két különböző méretben – Falcon-40B és Falcon-7B – érhető el, és a nulláról készült, adat-előfeldolgozási és modelltanítási munkák segítségével. Amazon SageMaker. A nyílt forráskódú Falcon 40B lehetővé teszi a felhasználók számára, hogy olyan mesterséges intelligencia eszközöket hozzanak létre és testreszabjanak, amelyek megfelelnek az egyedi felhasználói igényeknek, megkönnyítve a zökkenőmentes integrációt és biztosítva az adatvagyon hosszú távú megőrzését. A modellsúlyok bárhol letölthetők, ellenőrizhetők és telepíthetők.

Június 7-től mindkét Falcon LLM elérhető lesz az Amazon SageMaker JumpStartban, a SageMaker gépi tanulási (ML) központjában, amely előre betanított modelleket, beépített algoritmusokat és előre elkészített megoldássablonokat kínál az ML használatának gyors megkezdéséhez. A Falcon LLM-eket néhány kattintással telepítheti és használhatja SageMaker Stúdió vagy programozottan a SageMaker Python SDK. A Falcon LLM-ekkel szembeni következtetések telepítéséhez és futtatásához tekintse meg a A SageMaker JumpStart – Szöveggenerálás Falcon LLM-ekkel – bemutatása példafüzet.

Dr. Ebtesam Almazrouei, az AI-Cross Center egység ügyvezető igazgatója, megbízott AI-kutatója és a TII LLM-projektjeinek projektvezetője megosztja:

„Büszkén jelentjük be a Falcon-40B, a világ vezető nyílt forráskódú nyelvi modelljének hivatalos nyílt forráskódú kiadását. A Falcon-40B egy kivételes nyílt forráskódú modell 40B paraméterekkel, kifejezetten csak ok-okozati dekóderrel használható modellként. 1,000 milliárd tokenből álló hatalmas adathalmazra képezték ki, beleértve a kurált korpuszokkal bővített RefinedWeb-et is. A modell Apache 2.0 licenc alatt érhető el, ezzel biztosítva elérhetőségét és használhatóságát. A Falcon-40B felülmúlta az olyan híres modelleket, mint a LLaMA-65B, a StableLM és az MPT a Hugging Face által fenntartott nyilvános ranglistán. A Falcon-40B architektúrája következtetésekre van optimalizálva, és magában foglalja a FlashAttention és a multiquery technikákat."

„Ez a lépés tükrözi elkötelezettségünket az AI innováció és technológiai felkészültségi szint határainak feszegetése iránt a közösségi részvétel, az oktatás, a valós alkalmazások és az együttműködés terén. Dr. Ebtesam folytatja. „A Falcon-40B nyílt forráskódú modellként való kibocsátásával lehetőséget biztosítunk kutatóknak, vállalkozóknak és szervezeteknek, hogy kiaknázzák kivételes képességeit, és előrelépéseket hajtsanak végre az AI-vezérelt megoldások terén az egészségügytől az űrig, a pénzügyeken, a gyártáson át a biotechnológiáig; az AI-vezérelt megoldások lehetőségei határtalanok. A Falcon-40B eléréséhez és figyelemre méltó lehetőségeinek felfedezéséhez látogasson el ide FalconLLM.tii.ae. Csatlakozzon hozzánk, hogy kihasználja a Falcon-40B erejét az AI jövőjének alakításához és az iparágak forradalmasításához”

Ebben a bejegyzésben mélyen elmerülünk Dr. Almazrouei-vel a Falcon LLM SageMakerrel kapcsolatos képzéséről, az adatok gondozásáról, optimalizálásáról, teljesítményéről és a következő lépésekről.

Az LLM-ek új generációja

Az LLM-ek természetes szövegsorozatok befejezésére kiképzett szoftveralgoritmusok. Méretük és az általuk interakcióba kerülő képzési adatok mennyisége miatt az LLM-ek lenyűgöző szövegfeldolgozási képességekkel rendelkeznek, beleértve az összegzést, a kérdések megválaszolását, a kontextuson belüli tanulást és még sok mást.

2020 elején a kutatószervezetek világszerte a modellméretre helyezték a hangsúlyt, megfigyelve, hogy a pontosság a paraméterek számával korrelál. Például a GPT-3 (2020) és a BLOOM (2022) körülbelül 175 milliárd, a Gopher (2021) 230 milliárd, az MT-NLG (2021) pedig 530 milliárd paramétert tartalmaz. 2022-ben Hoffman et al. megfigyelte, hogy a modellparaméterek és az adatkészlet mérete közötti számítások jelenlegi egyensúlya szuboptimális, és empirikus skálázási törvényeket tettek közzé, amelyek arra utalnak, hogy a számítási költségvetés kiegyensúlyozása a több adatra képzett kisebb modellek felé jobb teljesítményű modelleket eredményezhet. Útmutatásukat a 70B paraméterű Chinchilla (2022) modellben valósították meg, amely sokkal nagyobb modelleket teljesített.

LLM képzés a SageMakeren

A SageMaker felügyelt API-k gyűjteménye gépi tanulási (ML) modellek fejlesztésére, betanítására, hangolására és üzemeltetésére, beleértve az LLM-eket is. Számos ügyfél támaszkodik a SageMakerre az LLM-munkavégzés során, mint pl Stabilitás AI, AI21 Labs, Átölelő arcés LG AI. SageMaker képzés Számítási fürtöket biztosít felhasználó által meghatározott hardverkonfigurációval és kóddal. A számítási feladatokat futtatásonként számlázzák, a második arányban, ami azt jelenti, hogy a felhasználóknak nem kell fizetniük a GPU-kapacitásért, ha nem használják a szolgáltatást. A TII a SageMaker Training API által biztosított tranziens fürtöket használta a Falcon LLM betanításához, 48 ml.p4d.24xnagy példányig, amely 384 NVIDIA A100 GPU-ban halmozódott fel. A TII most a következő Falcon LLM-et képezi ki, és a képzésüket 3,136 A100 GPU-ra méretezték (392 ml.p4d példányok).

Példátlan mennyiségű egyedi újítás került a projekt minden rétegébe annak érdekében, hogy megemeljék a tudomány minőségének és a képzési sebességnek a lécét. A következő részekben a mély tanulási (DL) képzési rendszer minden szintjén végrehajtott TII optimalizálásokat ismertetjük.

Skálázható adatkezelés

A legújabb generációs LLM-ek az edzési adatok méretéből és minőségéből merítenek erejüket. A csapat különös gondot fordított egy kiváló minőségű trillió token adatkészlet létrehozására. Számos SageMaker Training CPU-feladat petabájtokat alakított át olcsó, méretezhető webes adatokból kurált, biztonságos képzési adatkészletté. Az automatizált rendszerek szűrték és deduplikálták az adatokat; például ML osztályozókat használtak a trágárság szűrésére. Az ml.c5.18xlarge-en (72 vCPU, 144 GB RAM) futó CPU-feladatokat a SageMaker Training-en keresztül néhány API-hívással példányosítottak adatátalakítási feladatok futtatásához. A csapat egypéldányos és többpéldányos CPU-feladatokat is használt a különböző felhasználási esetekben. Néhány ilyen feladat több száz párhuzamos megosztás-semmi architektúra (SNA) feladatot használt, mindegyiket egyetlen gépen, és a dolgozók közötti szinkronizálást igénylő feladatokhoz a csapat többpéldányos jobokat indított el, amelyek több tucat példányban és több ezer vCPU-ban halmozódtak fel. Anekdotikus módon egy downstream adatkészlet-előkészítési feladat során a csapat 257 ml.c5.18xlarge-ra nőtt egyetlen SageMaker Training feladattal, ami 18,504 37 vCPU-val és XNUMX TB memóriával halmozódott fel.

Az edzési teljesítmény maximalizálása

A képzési költségek és a piacra kerülési idő minimalizálása érdekében a csapat több optimalizálási irányt követett, hogy a másodpercenként feldolgozott és TFLOP/GPU-ban mért képzési tokenekkel arányos képzési sebességet gyorsítson. A csapat egy teljesen egyedi 3D-párhuzamos LLM képzési keretrendszert használt, amely testre szabott, lefordított GPU-kóddal írt rétegeket tartalmazott. A csapat odáig jutott, hogy megírta saját egyéni mátrixszorzási implementációját, hogy további sebességet érjen el! A csapat olyan logikát is kifejlesztett, amely a párhuzamos kommunikációt az alapul szolgáló hálózati topológiához igazítja. A kezdeti skálázási kísérleteik során a TII 166 TFLOP/GPU-t tudott elérni 147B modellen 256 GPU-n, és 173 TFLOP/GPU-t egy 13B modellen 16 GPU-n, tudomásunk szerint a leggyorsabb modell TFLOP-ok, amelyeket felhőben értek el a teszt időpontja 2022 végén.

Szerver nélküli tárhely

Az LLM képzés tárolóigényes; több terabájt betanítási adatot kell a betanítási klaszterbe csatornázni, és több terabájt modell-ellenőrzőpont is rendszeresen visszakerül a klaszterből az állandó tárolóba. Az ellenőrző pontoknak a munka újraindítása esetén is a lehető leggyorsabban el kell érniük a képzési klasztert. A hagyományos nagy teljesítményű számítástechnikában (HPC) a számítási csomópontok elosztott fájlrendszerekhez csatlakoznak, amelyek POSIX-szerű interfészen keresztül nagy teljesítményű I/O-t és átvitelt biztosítanak. Az AWS-ben az ügyfelek rendszeresen használják a Amazon FSx Lusterhez fájlrendszer erre a célra (további részletekért lásd: Gyorsítsa fel az Amazon SageMaker oktatását az Amazon FSx for Luster és az Amazon EFS fájlrendszerek használatával), és dokumentáltuk a BeeGFS saját kezelésű használatát is elosztott számítógépes látás esettanulmánya. A költségekre és a működési egyszerűségre összpontosítva a csapat úgy döntött, hogy nem implementál és nem üzemeltet fájlrendszer-kiszolgálókat, hanem vállalta a kihívást, hogy kizárólag szerver nélküli objektumtárolásra építsen. Amazon egyszerű tárolási szolgáltatás (Amazon S3). Egy egyéni S3 adatkészlet osztály készült az AWS SDK for Python (Boto3) használatával, és kielégítő teljesítményt nyújtott, miközben lehetővé tette a tudósok számára, hogy autonóm módon iterálják az I/O tervezést és a modelltudományt ugyanazon a kódbázison belül.

Ügyféloldali innováció

Egy LLM projekt ritkán áll egyetlen képzési munkából; számos munkára van szükség a kezdeti tesztek és tapasztalatok elvégzéséhez. A fő termelési képzés során több feladat is láncba kapcsolódhat, például a konfiguráció vagy a szoftververziók frissítése, a javítások telepítése vagy a hibák utáni helyreállítás. A TII tudósai jelentős tervezést végeztek az LLM-képzéshez igazodó, egyedi ügyfelek létrehozása érdekében. Egy indítókliens a SageMaker Training SDK tetejére épült, hogy több funkciót egyetlen parancsba csomagoljon, például kódverziót, Docker-képalkotást és feladatindítást. Ezenkívül egy AWS Lambda A szerver nélküli számítási funkciót úgy tervezték, hogy figyelje, figyelje és szükség szerint beavatkozzon a feladatokba.

Slack robotok használata minőségi auditáláshoz

A képzés vége felé a csapat bevezette a modellt egy belső felületen SageMaker Hosting GPU végpont valós idejű interakcióhoz. A csapat egészen odáig jutott, hogy létrehoztak egy Slack botot, hogy párbeszédet folytassanak vele, hogy reális visszajelzéseket kapjanak, és minőségi minőségellenőrzéseket végezzenek a modellen.

Képzés és teljesítményfigyelés

Az LLM betanítása nagy mennyiségű számítási erőforrást igényel, beleértve a CPU-t, a GPU-t és a memória erőforrásokat. Ezért a TII-nek figyelemmel kellett kísérnie a képzési munka teljesítményét és üresjárati idejét, hogy biztosítsa a számítási erőforrások optimális kihasználását és költséghatékonyságát.

Az automatizált felügyeleti megoldás felépítéséhez a TII használta amazonfelhőóra riasztások a GPU, a CPU és a memória kihasználtságának figyelésére a képzési feladatokhoz. A CloudWatch nyers adatokat gyűjt, és azokat olvasható, közel valós idejű metrikákká dolgozza fel a SageMaker Training feladatban használt mögöttes tárolópéldányokból. Ezt követően mindegyik mérőszámhoz beállítunk küszöbértékeket, és ha valamelyik mérőszám a küszöbérték alá esik, riasztást indít el. Ez a riasztás értesíti a TII csapatát az alacsony erőforrás-kihasználásról, lehetővé téve számukra, hogy korrekciós intézkedéseket tegyenek az erőforrás-kihasználtsági korlátok megszüntetése érdekében.

Az erőforrás-kihasználás nyomon követése mellett a TII a képzési munkaerőforrások üresjárati idejét is figyelemmel kísérheti. Ha a képzési munka erőforrásai hosszabb ideig tétlenek voltak, az a képzési ciklus bármely szakaszában szűk keresztmetszetet jelezhet, és manuális vizsgálatot igényel. Egyes esetekben az erőforrás-kihasználás még mindig viszonylag optimális volt, de maga a képzési folyamat nem haladt előre. Ezekben az esetekben a TII integrált CloudWatch riasztásokat tartalmaz Lambda funkciókkal a generált oktatási naplók lekérdezéséhez és olvasásához, majd automatikus műveletek végrehajtásához a generált hiba vagy a naplógenerálási folyamat tétlensége alapján (a fürt leáll). A riasztás elindít egy műveletet a betanítási feladat leállítására, amely biztosítja, hogy a TII-nek ne merüljön fel szükségtelen költsége, amikor az erőforrásokat nem használják fel.

Következtetés

A SageMaker és a szabadalmaztatott, egyedi innováció segítségével a TII képes volt egy olyan modellt betanítani, amely több dimenzióban is a legkorszerűbb: technológiai áttörés, tudományos minőség, képzési sebesség és működési egyszerűség.

„Az Egyesült Arab Emírségek Falcon 40B, a világ legjobb nyílt forráskódú mesterséges intelligencia modelljének megjelenése jól szemlélteti a technológiai vezető szerepet, és megnyitja az utat a mesterséges intelligencia által vezérelt innováció előtt.ion” jelzi Dr. Ebtesam Almazrouei; hozzátéve, hogy "demonstráljuk elkötelezettségünket a Nemzeti AI Stratégia 2031-ben megfogalmazott célkitűzések iránt. A Falcon-40B által képviselt globális technológiai fejlesztésekben való aktív részvételünk döntő szerepet játszik a tudásalapú gazdaságra való törekvésünkben. A mesterséges intelligencia-megoldásokba való befektetések és fejlesztések révén új lehetőségeket teremtünk a gazdasági növekedés, a társadalmi haladás és az oktatás terén.

„A Falcon-40B nyílt forráskódú természete az együttműködés, az átláthatóság, az innováció és a kutatás iránti elkötelezettségünket tükrözi a mesterséges intelligencia területén. Hiszünk a fejlett mesterséges intelligencia-technológiai képességek demokratizálásában, így világszerte elérhetővé tesszük a Falcon-40B-t a kutatók és szervezetek számára.”

„A jövőre nézve továbbra is hozzá fogunk járulni a mesterséges intelligencia és a technológiai fejlesztésekhez, a készülőben lévő modellekkel. Ezen túlmenően aktívan támogatni fogjuk a fejlett mesterséges intelligencia-technológia alkalmazását országunk szervezeteiben és vállalkozásaiban, elősegítve a növekedést és a jólétet, összhangban stratégiai céljainkkal.”

– Dr. Almazrouei

Ha többet szeretne megtudni a Falcon LLM-ről, látogasson el a webhelyre FalconLLM.tii.ae és a a Hugging Face modellkártyája!

---

A szerzőkről

Dr. Ebtesam Almazrouei a Technológiai Innovációs Intézet (TII) ügyvezető igazgatója és megbízott fő AI-kutatója, valamint az Al-Cross Center Unit alapítója. A Technológiai Innovációs Intézet (TII) Al-Cross Center Unit alapítójaként Dr. Almazrouei kulcsfontosságú szerepet játszott a TII mesterséges intelligencia képességeinek kialakításában. A mesterséges intelligencia és a gépi tanulás terén szerzett stratégiai víziója és szakértelme felhatalmazta őt arra, hogy úttörő kutatási kezdeményezéseket vezessen, és elősegítse a többfunkciós együttműködést, ami innovatív mesterségesintelligencia-megoldásokat kínál több iparágban.

Dr. Almazrouei egyik figyelemre méltó eredménye a Falcon 40B fejlesztésében játszott meghatározó szerepe, egy élvonalbeli LLM, amely világszerte elismert. A Falcon 40B kivételes teljesítménye 2023 májusában a Hugging Face ranglistáján a világ első számú LLM-je lett. Ezenkívül ő vezette a Noor, a világ legnagyobb arab nagynyelvi modelljének (LLM) fejlesztését, amelyet 2022 áprilisában adtak ki.

Dr. Almazrouei világszerte elismert az MI-hez való hozzájárulásáért, és szerepelt a Leading AI Women in the World 2023 listán, a szakterületen dolgozó többi kiemelkedő nő mellett. Emellett a fenntarthatóság és az AI for Good kezdeményezések szószólója, valamint az Abu Dhabi AI Connect általános elnöke és számos IEEE nemzetközi konferencia TPC elnöke.

Hozzájárulása túlmutat a TII-nél végzett munkáján, ahol az Egyesült Arab Emírségek AI és Blockchain Tanácsának big data szakértői albizottságát vezeti, és tagja a Wireless World Research Forum (WWRF) világméretű irányítóbizottságának. Tudományos szerző, szabadalmi feltaláló, vállalkozó és neves előadó, aki olyan rangos csúcstalálkozókon tartott vitaindító beszédeiről ismert, mint a londoni AI Summit, a World AI Cannes Festival és a Tech Summits.

Will Badr az AI/ML Solutions Architects Sr. menedzsere Dubaiban (Egyesült Arab Emírségek), aki az Amazon Machine Learning globális csapatának tagjaként dolgozik. Will szenvedélyesen használja a technológiát innovatív módon, hogy pozitív hatással legyen a közösségre. Szabadidejében szeret búvárkodni, focizni és felfedezni a Csendes-óceáni szigeteket.

Olivier Cruchant a franciaországi székhelyű AWS gépi tanulási specialista megoldások építésze. Az Olivier segít az AWS-ügyfeleknek – a kis startupoktól a nagyvállalatokig – éles szintű gépi tanulási alkalmazások fejlesztésében és üzembe helyezésében. Szabadidejében szívesen olvas kutatási cikkeket, és barátaival és családjával fedezi fel a vadonban.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• EVM Finance. Egységes felület a decentralizált pénzügyekhez. Hozzáférés itt.
• Quantum Media Group. IR/PR erősített. Hozzáférés itt.
• PlatoAiStream. Web3 adatintelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/