Technology Innovation Institute szkoli najnowocześniejszy model podstawowy Falcon LLM 40B na Amazon SageMaker | Usługi sieciowe Amazona

Ten wpis na blogu został napisany wspólnie z dr Ebtesamem Almazrouei, dyrektorem wykonawczym – pełniącym obowiązki głównego badacza AI w jednostce AI-Cross Center i kierownikiem projektu dla projektów LLM w TII.

Zjednoczone Emiraty Arabskie (ZEA) Instytut Innowacji Technologicznych (TII), filar badań stosowanych w Abu Dhabi Rada ds. Badań Zaawansowanych Technologii, uruchomił Falcon LLM, podstawowy model dużego języka (LLM) z 40 miliardami parametrów. TII jest wiodącym światowym centrum badawczym poświęconym przesuwaniu granic wiedzy. Zespół naukowców, badaczy i inżynierów TII pracuje nad dostarczaniem odkryć naukowych i technologii transformacyjnych. Prace TII koncentrują się na przełomach, które zabezpieczą nasze społeczeństwo na przyszłość. Wyszkolony na 1 bilionie tokenów, TII Falcon spółka z ograniczoną odpowiedzialnością szczyci się najwyższą wydajnością, pozostając jednocześnie niezwykle opłacalnym. Falcon-40B dorównuje wydajnością innym wysokowydajnym LLM i jest najlepiej ocenianym modelem open source wśród opinii publicznej Tablica liderów Open LLM Hugging Face. Jest dostępny jako oprogramowanie typu open source w dwóch różnych rozmiarach — Falcon-40B i Falcon-7B i został zbudowany od podstaw przy użyciu zadań wstępnego przetwarzania danych i szkolenia modeli zbudowanych na Amazon Sage Maker. Open-sourcing Falcon 40B umożliwia użytkownikom konstruowanie i dostosowywanie narzędzi AI, które zaspokajają unikalne potrzeby użytkowników, ułatwiając bezproblemową integrację i zapewniając długoterminowe przechowywanie zasobów danych. Wagi modeli można pobrać, sprawdzić i wdrożyć w dowolnym miejscu.

Od 7 czerwca oba Falcon LLM będą również dostępne w Amazon SageMaker JumpStart, centrum uczenia maszynowego (ML) SageMaker, które oferuje wstępnie wytrenowane modele, wbudowane algorytmy i gotowe szablony rozwiązań, które pomogą Ci szybko rozpocząć pracę z ML. Możesz wdrożyć i używać Falcon LLM za pomocą kilku kliknięć Studio SageMaker lub programowo przez SageMaker SDK dla Pythona. Aby wdrożyć i uruchomić wnioskowanie względem Falcon LLM, zapoznaj się z Wprowadzenie do SageMaker JumpStart – generowanie tekstu za pomocą Falcon LLM przykładowy notatnik.

Dr Ebtesam Almazrouei, dyrektor wykonawczy – pełniący obowiązki głównego badacza AI w jednostce AI-Cross Center i kierownik projektu projektów LLM w TII, dzieli się:

„Z dumą ogłaszamy oficjalne wydanie open source Falcon-40B, czołowego na świecie modelu języka open source. Falcon-40B to wyjątkowy model typu open source z parametrami 40B, specjalnie zaprojektowany jako model wyłącznie z dekoderem przyczynowym. Został przeszkolony na ogromnym zbiorze danych zawierającym 1,000B tokenów, w tym RefinedWeb wzbogaconym o wyselekcjonowane korpusy. Model udostępniany jest na licencji Apache 2.0, zapewniając jego dostępność i użyteczność. Falcon-40B wyprzedził renomowane modele, takie jak LLaMA-65B, StableLM i MPT w publicznej tabeli liderów prowadzonej przez Hugging Face. Architektura Falcon-40B jest zoptymalizowana pod kątem wnioskowania, zawiera FlashAttention i techniki wielu zapytań”.

„Ten krok odzwierciedla nasze zaangażowanie w przesuwanie granic innowacji AI i poziomu gotowości technologii na rzecz zaangażowania społeczności, edukacji, aplikacji w świecie rzeczywistym i współpracy. Kontynuuje dr Ebtesam. „Wprowadzając Falcon-40B jako model open source, zapewniamy naukowcom, przedsiębiorcom i organizacjom możliwość wykorzystania jego wyjątkowych możliwości i napędzania postępów w rozwiązaniach opartych na sztucznej inteligencji, od opieki zdrowotnej po kosmos, finanse, produkcję i biotechnologię; możliwości rozwiązań opartych na sztucznej inteligencji są nieograniczone. Aby uzyskać dostęp do Falcon-40B i odkryć jego niezwykły potencjał, odwiedź stronę FalconLLM.tii.ae. Dołącz do nas, wykorzystując moc Falcon-40B, aby kształtować przyszłość sztucznej inteligencji i zrewolucjonizować przemysł”

W tym poście szczegółowo omawiamy z dr Almabrouei szkolenie Falcon LLM w zakresie SageMaker, kurację danych, optymalizację, wydajność i kolejne kroki.

Nowa generacja LLM

LLM to algorytmy programowe wyszkolone w celu uzupełnienia naturalnych sekwencji tekstowych. Ze względu na swój rozmiar i ilość danych szkoleniowych, z którymi wchodzą w interakcję, LLM mają imponujące możliwości przetwarzania tekstu, w tym podsumowania, odpowiadania na pytania, uczenia się w kontekście i nie tylko.

Na początku 2020 roku organizacje badawcze na całym świecie położyły nacisk na rozmiar modelu, zauważając, że dokładność koreluje z liczbą parametrów. Na przykład GPT-3 (2020) i BLOOM (2022) mają około 175 miliardów parametrów, Gopher (2021) ma 230 miliardów parametrów, a MT-NLG (2021) 530 miliardów parametrów. w 2022 r. Hoffmana i in. zaobserwowali, że obecna równowaga mocy obliczeniowej między parametrami modelu a rozmiarem zbioru danych była nieoptymalna, i opublikowali empiryczne prawa skalowania sugerujące, że zrównoważenie budżetu obliczeniowego w kierunku mniejszych modeli przeszkolonych na większej liczbie danych może prowadzić do modeli o lepszej wydajności. Wdrożyli swoje wytyczne w modelu Chinchilla z parametrem 70B (2022), który przewyższał znacznie większe modele.

Szkolenie LLM na SageMaker

SageMaker to zbiór zarządzanych interfejsów API do opracowywania, szkolenia, dostrajania i hostowania modeli uczenia maszynowego (ML), w tym LLM. Wielu klientów polega na SageMaker w swoich obciążeniach LLM, takich jak Stabilność AI, Laboratoria AI21, Przytulanie Twarzy, AI LG. Szkolenie SageMaker postanowienia klastrów obliczeniowych ze zdefiniowaną przez użytkownika konfiguracją sprzętową i kodem. Opłaty za zadania obliczeniowe są rozliczane za wykonanie, proporcjonalnie do sekundy, co oznacza, że ​​użytkownicy nie są obciążani kosztami GPU, gdy nie korzystają z usługi. Firma TII wykorzystała przejściowe klastry udostępniane przez interfejs SageMaker Training API do trenowania Falcon LLM, do 48 instancji ml.p4d.24xlarge, łącznie w 384 procesorach graficznych NVIDIA A100. Teraz TII szkoli następny Falcon LLM i przeskalował swoje szkolenie do 3,136 procesorów graficznych A100 (392 instancje ml.p4d).

Bezprecedensowa ilość niestandardowych innowacji została zastosowana we wszystkich warstwach projektu, aby podnieść poprzeczkę jakości nauki i szybkości szkolenia. W kolejnych sekcjach opisujemy optymalizacje TII przeprowadzone na wszystkich warstwach systemu szkoleniowego głębokiego uczenia (DL).

Skalowalna kontrola danych

LLM najnowszej generacji czerpią swoją siłę z rozmiaru i jakości danych szkoleniowych. Zespół włożył szczególną staranność w stworzenie wysokiej jakości zbioru danych o bilionach tokenów. Kilka zadań SageMaker Training CPU przekształciło petabajty tanich, skalowalnych danych internetowych w wyselekcjonowany, bezpieczny zestaw danych szkoleniowych. Zautomatyzowane systemy filtrowały i deduplikowały dane; na przykład klasyfikatory ML były używane do filtrowania wulgaryzmów. Zadania procesora uruchomione na ml.c5.18xlarge (72 procesory wirtualne, 144 GB RAM) zostały utworzone w kilku wywołaniach API za pośrednictwem SageMaker Training w celu uruchomienia zadań transformacji danych. Zespół wykorzystał zadania procesora zarówno z pojedynczą instancją, jak i z wieloma instancjami do różnych przypadków użycia. Niektóre z tych zadań korzystały z setek równoległych zadań w architekturze typu „share-nothing” (SNA), każde na jednym komputerze, a w przypadku zadań wymagających synchronizacji między pracownikami zespół uruchomił zadania z wieloma instancjami, kumulujące się w dziesiątkach instancji i tysiącach procesorów wirtualnych. Anegdotycznie, w ramach zadania przygotowania zestawu danych, zespół zwiększył rozmiar do 257 ml.c5.18xlarge w jednym zadaniu szkoleniowym SageMaker, uzyskując łącznie 18,504 37 vCPU i XNUMX TB pamięci.

Maksymalizacja przepustowości treningu

Aby zminimalizować zarówno koszty szkolenia, jak i czas wprowadzenia na rynek, zespół realizował kilka kierunków optymalizacji, aby przyspieszyć szybkość szkolenia proporcjonalnie do tokenów szkoleniowych przetwarzanych na sekundę i mierzonych w TFLOPs/GPU. Zespół wykorzystał w pełni niestandardową, równoległą platformę szkoleniową 3D LLM, zawierającą niestandardowe zoptymalizowane warstwy zapisane w skompilowanym kodzie GPU. Zespół posunął się nawet do napisania własnej implementacji mnożenia macierzy, aby jeszcze bardziej przyspieszyć! Zespół opracował również logikę, która dostosowuje komunikację równoległą do podstawowej topologii sieci. Podczas początkowych eksperymentów skalowania firma TII była w stanie osiągnąć 166 TFLOP/GPU na modelu 147B na 256 GPU i 173 TFLOP/GPU na modelu 13B na 16 GPU, co według naszej wiedzy jest najszybszym znanym modelem TFLOP osiągniętym w chmurze na poziomie czas testu pod koniec 2022 roku.

Bezserwerowa pamięć masowa

Szkolenie LLM wymaga dużej ilości pamięci masowej; kilka terabajtów danych szkoleniowych musi zostać przesłanych do klastra szkoleniowego, a kilka terabajtów punktów kontrolnych modelu regularnie wraca z klastra do pamięci stałej. Punkty kontrolne muszą również jak najszybciej dotrzeć do klastra szkoleniowego w przypadku ponownego uruchomienia zadania. W tradycyjnych obliczeniach o wysokiej wydajności (HPC) węzły obliczeniowe są połączone z rozproszonymi systemami plików, które zapewniają wysoką wydajność operacji we/wy i przepustowość za pośrednictwem interfejsu podobnego do POSIX. W AWS klienci regularnie korzystają z Amazon FSx dla Luster w tym celu system plików (więcej informacji można znaleźć w Przyspiesz szkolenie dotyczące Amazon SageMaker przy użyciu systemów plików Amazon FSx for Luster i Amazon EFS), a także udokumentowaliśmy samozarządzane użycie BeeGFS w studium przypadku rozproszonego widzenia komputerowego. Ze względu na skupienie się na kosztach i prostocie operacyjnej zespół zdecydował się nie wdrażać i nie obsługiwać serwerów z systemem plików, ale zamiast tego podjął wyzwanie zbudowania wyłącznie na bazie bezserwerowej obiektowej pamięci masowej Usługa Amazon Simple Storage (Amazon S3). Niestandardowa klasa zestawu danych S3 została zbudowana przy użyciu AWS SDK dla Pythona (Boto3) i zapewniła zadowalającą wydajność, umożliwiając jednocześnie naukowcom autonomiczną iterację inżynierii we/wy i modelowania w ramach tej samej bazy kodu.

Innowacje po stronie klienta

Projekt LLM rzadko składa się z jednej pracy szkoleniowej; do przeprowadzenia wstępnych testów i doświadczeń potrzebnych jest wiele miejsc pracy. W trakcie głównego szkolenia produkcyjnego można połączyć kilka zadań, na przykład w celu aktualizacji konfiguracji lub wersji oprogramowania, wdrażania poprawek lub usuwania awarii. Naukowcy z TII przeprowadzili znaczące prace inżynieryjne w celu zbudowania niestandardowych klientów dostosowanych do szkolenia LLM. Klient programu uruchamiającego został zbudowany na bazie pakietu SageMaker Training SDK, aby połączyć wiele funkcji w jednym poleceniu, na przykład wersjonowanie kodu, budowanie obrazu Dockera i uruchamianie zadań. Dodatkowo an AWS Lambda bezserwerowa funkcja obliczeniowa została zaprojektowana do oglądania, monitorowania i interweniowania w zadaniach w razie potrzeby.

Wykorzystanie botów Slack do audytów jakości wnioskowania

Pod koniec szkolenia zespół wdrożył model na urządzeniu wewnętrznym Punkt końcowy GPU SageMaker Hosting do interakcji w czasie rzeczywistym. Zespół posunął się nawet do stworzenia bota Slack, z którym można rozmawiać, aby uzyskać realistyczne informacje zwrotne i przeprowadzić jakościowe audyty jakości modelu.

Monitorowanie treningu i wyników

Szkolenie LLM wymaga dużych ilości zasobów obliczeniowych, w tym zasobów procesora CPU, procesora graficznego i pamięci. Dlatego TII musiało monitorować wydajność i czas bezczynności zadania szkoleniowego, aby zapewnić optymalne wykorzystanie zasobów obliczeniowych i ich opłacalność.

Do zbudowania zautomatyzowanego rozwiązania do monitorowania firma TII użyła Amazon Cloud Watch alarmy do monitorowania wykorzystania GPU, CPU i pamięci dla zadań szkoleniowych. CloudWatch zbiera surowe dane i przetwarza je w czytelne metryki w czasie zbliżonym do rzeczywistego z bazowych instancji kontenerów używanych w zadaniu SageMaker Training. Następnie ustalamy progi dla każdej z tych metryk, a jeśli jakakolwiek metryka spadnie poniżej progu, uruchamiany jest alarm. Ten alarm powiadamia zespół TII o niskim wykorzystaniu zasobów, umożliwiając im podjęcie działań naprawczych w celu naprawienia ograniczeń wykorzystania zasobów.

Oprócz monitorowania wykorzystania zasobów, TII może również monitorować czas bezczynności zasobów zadania szkoleniowego. Jeśli zasoby zadania szkoleniowego były bezczynne przez dłuższy czas, może to wskazywać na wąskie gardło na dowolnym etapie cyklu szkoleniowego i wymagać ręcznego zbadania. W niektórych przypadkach wykorzystanie zasobów było nadal względnie optymalne, ale sam proces szkolenia nie postępował. W takich przypadkach TII zintegrowało alarmy CloudWatch z funkcjami Lambda, aby wyszukiwać i odczytywać wygenerowane dzienniki treningowe, a następnie podejmować automatyczne działania w oparciu o wygenerowany błąd lub bezczynność procesu generowania dziennika (klaster jest zatrzymany). Alarm wyzwala akcję zatrzymania zadania szkoleniowego, co gwarantuje, że TII nie poniesie niepotrzebnych kosztów, gdy zasoby nie były wykorzystywane.

Wnioski

Wykorzystując SageMaker w połączeniu z zastrzeżonymi, niestandardowymi innowacjami, TII był w stanie wyszkolić model, który jest najnowocześniejszy w wielu wymiarach: przełom technologiczny, jakość naukowa, szybkość szkolenia, a także prostota operacyjna.

„Wydanie Falcon 40B firmy ZEA, najwyżej ocenianego na świecie modelu sztucznej inteligencji typu open source, ilustruje przywództwo technologiczne i toruje drogę innowacjom opartym na sztucznej inteligencji w regjon” wskazuje dr Ebtesam Almazrouei; dodając, że „demonstrujemy nasze zaangażowanie w realizację celów nakreślonych w Narodowej Strategii AI 2031. Nasze aktywne zaangażowanie w globalny postęp technologiczny, reprezentowany przez Falcon-40B, odgrywa kluczową rolę w dążeniu do gospodarki opartej na wiedzy. Poprzez inwestycje i rozwój rozwiązań AI dążymy do stworzenia nowych możliwości wzrostu gospodarczego, postępu społecznego i edukacyjnego.

„Otwarty charakter Falcon-40B odzwierciedla nasze zaangażowanie we współpracę, przejrzystość, innowacje i badania w dziedzinie sztucznej inteligencji. Wierzymy w demokratyzację zaawansowanych możliwości technologii sztucznej inteligencji, dzięki czemu Falcon-40B będzie dostępny dla naukowców i organizacji na całym świecie”.

„Patrząc w przyszłość, będziemy nadal przyczyniać się do rozwoju sztucznej inteligencji i technologii, przygotowując nadchodzące modele. Ponadto będziemy aktywnie promować przyjęcie zaawansowanej technologii sztucznej inteligencji w organizacjach i firmach w naszym kraju, wspierając wzrost i dobrobyt zgodny z naszymi celami strategicznymi”.

– dr Almastrouei

Aby dowiedzieć się więcej o Falcon LLM, sprawdź stronę internetową FalconLLM.tii.ae i kartę modelu na Przytulanej Twarzy!

---

O autorach

dr Ebtesam Almazrouei jest dyrektorem wykonawczym pełniącym obowiązki głównego badacza sztucznej inteligencji i założycielem jednostki Al-Cross Center w Instytucie Innowacji Technologicznych (TII). Jako założyciel jednostki Al-Cross Center w Instytucie Innowacji Technologicznych (TII), dr Almazrouei odegrał kluczową rolę w kształtowaniu możliwości sztucznej inteligencji TII. Jej strategiczna wizja i wiedza specjalistyczna w zakresie sztucznej inteligencji i uczenia maszynowego umożliwiły jej kierowanie przełomowymi inicjatywami badawczymi i wspieranie współpracy międzyfunkcyjnej, co zaowocowało dostarczaniem innowacyjnych rozwiązań AI w wielu branżach.

Jednym z godnych uwagi osiągnięć dr Almazrouei jest jej kluczowa rola w rozwoju Falcon 40B, najnowocześniejszego LLM, który zdobył uznanie na całym świecie. Wyjątkowe wyniki Falcon 40B sprawiły, że w maju 2023 r. stał się numerem jeden LLM na świecie w tabeli liderów Hugging Face. Ponadto kierowała rozwojem Noor, największego na świecie modelu języka arabskiego (LLM), który został wydany w kwietniu 2022 r.

Dr Almazrouei jest uznawana na całym świecie za swój wkład w sztuczną inteligencję i znalazła się na liście Leading AI Women in the World in 2023 wraz z innymi wybitnymi kobietami w tej dziedzinie. Jest także orędowniczką zrównoważonych inicjatyw i AI for Good, a także przewodniczącą Abu Dhabi AI Connect i przewodniczącą TPC wielu międzynarodowych konferencji IEEE.

Jej wkład wykracza poza jej pracę w TII, gdzie kieruje podkomitetem ekspertów ds. Big Data Rady ZEA ds. Sztucznej Inteligencji i Blockchain oraz jest członkiem światowej rady sterującej Wireless World Research Forum (WWRF). Jest autorką artykułów naukowych, wynalazczynią patentów, przedsiębiorcą i znaną mówczynią, znaną ze swoich przemówień na prestiżowych szczytach, takich jak AI Summit w Londynie, World AI Cannes Festival i Tech Summit.

Will Badr jest starszym menedżerem AI/ML Solutions Architects z siedzibą w Dubaju – Zjednoczonych Emiratach Arabskich, który pracuje jako część globalnego zespołu Amazon Machine Learning. Will jest pasjonatem wykorzystywania technologii w innowacyjny sposób, aby pozytywnie wpływać na społeczność. W wolnym czasie lubi nurkować, grać w piłkę nożną i zwiedzać wyspy Pacyfiku.

Oliviera Cruchanta jest specjalistą ds. rozwiązań w zakresie uczenia maszynowego w AWS z siedzibą we Francji. Olivier pomaga klientom AWS — od małych start-upów po duże przedsiębiorstwa — opracowywać i wdrażać aplikacje do uczenia maszynowego klasy produkcyjnej. W wolnym czasie lubi czytać artykuły naukowe i odkrywać dziką przyrodę z przyjaciółmi i rodziną.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• EVM Finanse. Ujednolicony interfejs dla zdecentralizowanych finansów. Dostęp tutaj.
• Quantum Media Group. Wzmocnienie IR/PR. Dostęp tutaj.
• PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/