Dziś z radością ogłaszamy, że Model DBRX, otwarty, uniwersalny model dużego języka (LLM) opracowany przez Pamięci danych, jest dostępny dla klientów za pośrednictwem Amazon SageMaker JumpStart wdrożyć jednym kliknięciem, aby uruchomić wnioskowanie. DBRX LLM wykorzystuje drobnoziarnistą architekturę złożoną z ekspertów (MoE), wstępnie przeszkoloną na 12 bilionach tokenów starannie dobranych danych i o maksymalnej długości kontekstu wynoszącej 32,000 XNUMX tokenów.
Możesz wypróbować ten model za pomocą SageMaker JumpStart, centrum uczenia maszynowego (ML), które zapewnia dostęp do algorytmów i modeli, dzięki czemu możesz szybko rozpocząć korzystanie z ML. W tym poście opisujemy, jak odkryć i wdrożyć model DBRX.
Jaki jest model DBRX
DBRX to wyrafinowany LLM przeznaczony wyłącznie do dekodera, zbudowany na architekturze transformatorowej. Wykorzystuje drobnoziarnistą architekturę MoE, obejmującą łącznie 132 miliardy parametrów, z których 36 miliardów jest aktywnych dla dowolnego wejścia.
Model przeszedł wstępne szkolenie przy użyciu zbioru danych składającego się z 12 bilionów tokenów tekstu i kodu. W przeciwieństwie do innych otwartych modeli MoE, takich jak Mixtral i Grok-1, DBRX charakteryzuje się szczegółowym podejściem, wykorzystującym większą liczbę mniejszych ekspertów w celu zoptymalizowania wydajności. W porównaniu do innych modeli MoE, DBRX ma 16 ekspertów i wybiera 4.
Model udostępniany jest na licencji Databricks Open Model, do wykorzystania bez ograniczeń.
Co to jest SageMaker JumpStart
SageMaker JumpStart to w pełni zarządzana platforma oferująca najnowocześniejsze modele podstawowe do różnych zastosowań, takich jak pisanie treści, generowanie kodu, odpowiadanie na pytania, copywriting, podsumowywanie, klasyfikacja i wyszukiwanie informacji. Zapewnia kolekcję wstępnie wytrenowanych modeli, które można szybko i łatwo wdrożyć, przyspieszając tworzenie i wdrażanie aplikacji ML. Jednym z kluczowych komponentów SageMaker JumpStart jest Model Hub, który oferuje obszerny katalog wstępnie wyszkolonych modeli, takich jak DBRX, do różnych zadań.
Możesz teraz odkrywać i wdrażać modele DBRX za pomocą kilku kliknięć Studio Amazon SageMaker lub programowo za pomocą zestawu SDK SageMaker Python, umożliwiając uzyskanie wydajności modelu i kontroli MLOps Amazon Sage Maker funkcje takie jak Rurociągi Amazon SageMaker, Debuger Amazon SageMakerlub dzienniki kontenerów. Model jest wdrażany w bezpiecznym środowisku AWS i pod kontrolą VPC, pomagając zapewnić bezpieczeństwo danych.
Odkryj modele w SageMaker JumpStart
Dostęp do modelu DBRX można uzyskać poprzez SageMaker JumpStart w interfejsie użytkownika SageMaker Studio i SageMaker Python SDK. W tej sekcji omówimy, jak odkryć modele w SageMaker Studio.
SageMaker Studio to zintegrowane środowisko programistyczne (IDE) zapewniające pojedynczy internetowy interfejs wizualny, w którym można uzyskać dostęp do specjalnie zaprojektowanych narzędzi umożliwiających wykonanie wszystkich etapów programowania ML, od przygotowania danych po budowanie, trenowanie i wdrażanie modeli ML. Aby uzyskać więcej informacji na temat rozpoczęcia i konfiguracji SageMaker Studio, zobacz Studio Amazon SageMaker.
W SageMaker Studio możesz uzyskać dostęp do SageMaker JumpStart, wybierając Szybki start w okienku nawigacji.
Na stronie docelowej SageMaker JumpStart możesz wyszukać „DBRX” w polu wyszukiwania. Wyniki wyszukiwania zostaną wyświetlone Instrukcja DBRX i Baza DBRX.
Możesz wybrać kartę modelu, aby wyświetlić szczegółowe informacje na temat modelu, takie jak licencja, dane użyte do uczenia i sposób korzystania z modelu. Znajdziesz tu także Rozmieścić przycisk, aby wdrożyć model i utworzyć punkt końcowy.
Wdróż model w SageMaker JumpStart
Wdrożenie rozpoczyna się po wybraniu Rozmieścić przycisk. Po zakończeniu wdrażania zobaczysz, że utworzono punkt końcowy. Punkt końcowy można przetestować, przekazując przykładowy ładunek żądania wnioskowania lub wybierając opcję testowania przy użyciu zestawu SDK. Po wybraniu opcji użycia pakietu SDK zobaczysz przykładowy kod, którego możesz użyć w wybranym edytorze notatników w SageMaker Studio.
Baza DBRX
Aby wdrożyć za pomocą zestawu SDK, zaczynamy od wybrania modelu podstawowego DBRX określonego przez model_id
z wartością huggingface-llm-dbrx-base. Możesz wdrożyć dowolny z wybranych modeli w SageMaker za pomocą poniższego kodu. Podobnie możesz wdrożyć DBRX Instruct przy użyciu własnego identyfikatora modelu.
Spowoduje to wdrożenie modelu w SageMaker z domyślnymi konfiguracjami, w tym domyślnym typem instancji i domyślnymi konfiguracjami VPC. Można zmienić te konfiguracje, określając wartości inne niż domyślne w Model JumpStart. Aby zaakceptować umowę licencyjną użytkownika końcowego (EULA), wartość Eula musi być jawnie zdefiniowana jako True. Upewnij się także, że masz limit usług na poziomie konta umożliwiający używanie ml.p4d.24xlarge lub ml.pde.24xlarge do użycia punktu końcowego jako jednej lub większej liczby instancji. Możesz postępować zgodnie z instrukcjami tutaj w celu złożenia wniosku o zwiększenie limitu usług.
Po wdrożeniu możesz uruchomić wnioskowanie na temat wdrożonego punktu końcowego za pomocą predyktora SageMaker:
Przykładowe monity
Z modelem bazowym DBRX można wchodzić w interakcję jak z każdym standardowym modelem generowania tekstu, w którym model przetwarza sekwencję wejściową i wyprowadza przewidywane kolejne słowa w sekwencji. W tej sekcji podajemy kilka przykładowych podpowiedzi i przykładowe dane wyjściowe.
Generowanie kodu
Korzystając z poprzedniego przykładu, możemy użyć podpowiedzi generowania kodu w następujący sposób:
Poniżej przedstawiono dane wyjściowe:
Analiza sentymentów
Analizę nastrojów można przeprowadzić za pomocą podpowiedzi podobnej do poniższej w przypadku DBRX:
Poniżej przedstawiono dane wyjściowe:
Odpowiadanie na pytania
W przypadku DBRX możesz użyć pytania z odpowiedzią na pytanie, jak poniżej:
Poniżej przedstawiono dane wyjściowe:
Instrukcja DBRX
Wersja DBRX dostosowana do instrukcji akceptuje sformatowane instrukcje, w których role konwersacyjne muszą rozpoczynać się od podpowiedzi użytkownika i naprzemiennie zawierać instrukcje użytkownika i asystenta (instrukcja DBRX). Należy ściśle przestrzegać formatu instrukcji, w przeciwnym razie model będzie generował nieoptymalne wyniki. Szablon do zbudowania podpowiedzi dla modelu Instruct jest zdefiniowany w następujący sposób:
<|im_start|>
i <|im_end|>
to specjalne tokeny początku łańcucha (BOS) i końca łańcucha (EOS). Model może zawierać wiele zwrotów konwersacji pomiędzy systemem, użytkownikiem i asystentem, co pozwala na włączenie kilku przykładów w celu ulepszenia odpowiedzi modelu.
Poniższy kod pokazuje, jak sformatować zachętę w formacie instrukcji:
Wyszukiwanie wiedzy
Do wyszukiwania wiedzy możesz użyć następującego monitu:
Poniżej przedstawiono dane wyjściowe:
Generowanie kodu
Modele DBRX wykazują porównawcze mocne strony w zadaniach kodowania. Na przykład spójrz na następujący kod:
Poniżej przedstawiono dane wyjściowe:
Matematyka i rozumowanie
Modele DBRX wykazują również mocne strony w zakresie dokładności matematycznej. Na przykład spójrz na następujący kod:
DBRX może zapewnić zrozumienie, jak pokazano w poniższych wynikach, z logiką matematyczną:
Sprzątać
Po zakończeniu uruchamiania notatnika pamiętaj o usunięciu wszystkich zasobów utworzonych w trakcie procesu, aby zatrzymać rozliczenia. Użyj następującego kodu:
Wnioski
W tym poście pokazaliśmy, jak rozpocząć pracę z DBRX w SageMaker Studio i wdrożyć model na potrzeby wnioskowania. Ponieważ modele podstawowe są wstępnie wytrenowane, mogą pomóc w obniżeniu kosztów szkoleń i infrastruktury oraz umożliwić dostosowanie do konkretnego przypadku użycia. Aby rozpocząć, odwiedź teraz SageMaker JumpStart w SageMaker Studio.
Zasoby
O autorach
Szikhara Kwatry jest architektem rozwiązań specjalistycznych AI/ML w Amazon Web Services, współpracującym z wiodącym globalnym integratorem systemów. Zdobył tytuł jednego z najmłodszych indyjskich mistrzów wynalazców dzięki ponad 400 patentom w obszarach AI/ML i IoT. Ma ponad 8-letnie doświadczenie w branży, od start-upów po duże przedsiębiorstwa, od inżyniera ds. badań IoT, analityka danych, po architekta danych i sztucznej inteligencji. Shikhar pomaga w projektowaniu, budowaniu i utrzymywaniu ekonomicznych, skalowalnych środowisk chmurowych dla organizacji oraz wspiera partnerów GSI w budowaniu strategicznego przemysłu
Niithiyn Vijeaswaran jest architektem rozwiązań w AWS. Jego obszar zainteresowań to generatywna sztuczna inteligencja i akceleratory AWS AI. Posiada tytuł licencjata w dziedzinie informatyki i bioinformatyki. Niithiyn ściśle współpracuje z zespołem Generative AI GTM, aby umożliwić klientom AWS na wielu frontach i przyspieszyć ich wdrażanie generatywnej sztucznej inteligencji. Jest zagorzałym fanem Dallas Mavericks i lubi kolekcjonować trampki.
Sebastiana Bustillo jest architektem rozwiązań w AWS. Koncentruje się na technologiach AI/ML z głęboką pasją do generatywnej sztucznej inteligencji i akceleratorów obliczeniowych. W AWS pomaga klientom odblokować wartość biznesową dzięki generatywnej sztucznej inteligencji. Kiedy nie jest w pracy, lubi parzyć idealną kawę specialty i zwiedzać świat z żoną.
Armanda Diaza jest architektem rozwiązań w AWS. Koncentruje się na generatywnej sztucznej inteligencji, AI/ML i analizie danych. W AWS Armando pomaga klientom integrować najnowocześniejsze możliwości generatywnej sztucznej inteligencji z ich systemami, wspierając innowacje i przewagę konkurencyjną. Kiedy nie jest w pracy, lubi spędzać czas z żoną i rodziną, wędrować i podróżować po świecie.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- Zdolny
- O nas
- powyżej
- absolutnie
- przyśpieszyć
- przyspieszenie
- akceleratory
- Akceptuj
- Akceptuje
- dostęp
- Stosownie
- odpowiednio
- Konto
- precyzja
- osiągnięcia
- aktywny
- zajęcia
- Dodaj
- dostosować
- Przyjęcie
- Korzyść
- Rada
- Po
- przed
- Umowa
- AI
- AI / ML
- AID
- AIDS
- Algorytmy
- Wszystkie kategorie
- dozwolony
- Pozwalać
- również
- am
- Amazonka
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analiza
- analityka
- i
- i infrastruktura
- Ogłosić
- Inne
- odpowiedź
- sekretarka
- każdy
- Apple
- aplikacje
- podejście
- architektura
- SĄ
- POWIERZCHNIA
- na około
- AS
- Asystent
- At
- dostępny
- AWS
- Banan
- baza
- na podstawie
- podstawowy
- BE
- bo
- Wołowina
- zanim
- Początek
- jest
- testowany
- pomiędzy
- billing
- Miliard
- obie
- Pudełko
- przerwa
- brązowy
- budować
- Budowanie
- wybudowany
- biznes
- by
- obliczać
- obliczenie
- CAN
- możliwości
- wózek
- karta
- ostrożnie
- walizka
- Etui
- katalog
- zmiana
- Opłaty
- wybór
- wybory
- Dodaj
- wybiera
- Wybierając
- klasyfikacja
- kliknij
- Zamknij
- dokładnie
- zamknięcie
- Chmura
- kod
- Kodowanie
- Kawa
- Zbieranie
- kolekcja
- Kolumna
- kolumny
- sukcesy firma
- w porównaniu
- konkurencyjny
- składniki
- obliczać
- komputer
- Computer Science
- Koncepcje
- Składający się
- konsultować
- zawierać
- Pojemnik
- zawartość
- Pisanie treści
- kontekst
- kontrast
- kontroli
- Rozmowa
- copywriting
- prawidłowo
- Koszty:
- Koszty:
- mógłby
- Stwórz
- stworzony
- Tworzenie
- istotny
- kulturalny
- Hodowle
- Kubek
- kurator
- Aktualny
- Klientów
- dostosowywanie
- pionierski nowatorski
- codziennie
- Dallas
- Dallas Mavericks
- dane
- Analityka danych
- naukowiec danych
- bezpieczeństwo danych
- Data
- dzień
- Dni
- Domyślnie
- zdefiniowane
- Stopień
- wykazać
- rozwijać
- wdrażane
- wdrażanie
- Wdrożenie
- wdraża się
- czerpać
- detale
- rozwinięty
- oprogramowania
- DICT
- ZROBIŁ
- Dieta
- różne
- odkryj
- Wyświetlacz
- dokumenty
- robi
- domeny
- zrobić
- na dół
- napędzany
- jazdy
- zdobył
- łatwość
- z łatwością
- redaktor
- efekt
- skutecznie
- Jajka
- bądź
- więcej
- zatrudnia
- umożliwiać
- umożliwiając
- zakończenia
- Punkt końcowy
- energia
- inżynier
- wzmacniać
- dość
- przedsiębiorstwa
- Środowisko
- środowiska
- EOS
- EVER
- wszyscy
- przykład
- przykłady
- wymiana
- podniecony
- Ćwiczenie
- doświadczenie
- ekspert
- eksperci
- Wyjaśnienia
- wyraźnie
- Exploring
- ułatwione
- członków Twojej rodziny
- wentylator
- Korzyści
- kilka
- filet
- Akta
- finał
- W końcu
- Znajdź
- i terminów, a
- ZDROWIE I FITNESS
- ustalony
- Skupiać
- koncentruje
- obserwuj
- następujący
- następujący sposób
- jedzenie
- żywność
- W razie zamówieenia projektu
- format
- wychowanie
- Fundacja
- od
- w pełni
- funkcjonować
- ogólny cel
- Generować
- generacja
- generatywny
- generatywna sztuczna inteligencja
- otrzymać
- dany
- Dający
- Globalne
- global Trade
- Go
- cel
- Gole
- dobry
- towary
- wspaniały
- większy
- grecki
- Wzrost
- miał
- Zaoszczędzić
- Have
- he
- Zdrowie
- opieki zdrowotnej
- pomoc
- pomoc
- pomaga
- tutaj
- Wysoki
- wyższy
- jego
- historia
- posiada
- W jaki sposób
- How To
- HTML
- HTTPS
- Piasta
- i
- ID
- pomysł
- pomysły
- if
- Rezultat
- wpływ
- Oddziaływania
- importować
- ważny
- in
- obejmuje
- Włącznie z
- włączenie
- Zwiększać
- wzrastający
- Hindusi
- przemysł
- Informacja
- Infrastruktura
- Innowacja
- wkład
- Wejścia
- spostrzeżenia
- przykład
- instrukcje
- zintegrowany
- Integracja
- interakcji
- interaktywne
- Interfejs
- najnowszych
- Wynalazcy
- dotyczy
- Internet przedmiotów
- IT
- JEGO
- jpg
- właśnie
- Klawisz
- Uprzejmy
- wiedza
- lądowanie
- język
- Języki
- duży
- na dużą skalę
- prowadzący
- pochylić się
- nauka
- Doprowadziło
- Długość
- niech
- Biblioteka
- Licencja
- lifestyle
- lubić
- LIMIT
- Lista
- ll
- LLM
- załadować
- masa
- logika
- logiczny
- Popatrz
- wygląda jak
- miłość
- niższy
- maszyna
- uczenie maszynowe
- zrobiony
- Utrzymywanie
- robić
- zarządzane
- Manipulacja
- Masa
- mistrz
- matematyka
- matematyczny
- matematyka
- matplotlib
- maksymalny
- Może..
- me
- mila
- mieszany
- ML
- MLOps
- model
- modele
- jeszcze
- większość
- ruch
- film
- wielokrotność
- mięsień
- musi
- my
- O imieniu
- Nazwy
- Nawigacja
- Potrzebować
- wymagania
- ujemny
- Neutralny
- Nowości
- Następny
- żaden
- noty
- notatnik
- już dziś
- numer
- odżywcze
- of
- Oferty
- on
- ONE
- koncepcja
- zoptymalizowane
- Option
- or
- zamówienie
- organizacji
- Inne
- Inaczej
- na zewnątrz
- zarys
- wydajność
- Wyjścia
- koniec
- ogólny
- własny
- strona
- pandy
- chleb
- parametry
- szczególnie
- wzmacniacz
- strony
- Przechodzący
- pasja
- Patenty
- ścieżka
- Ludzie
- dla
- doskonały
- wykonać
- jest gwarancją najlepszej jakości, które mogą dostarczyć Ci Twoje monitory,
- Personalizowany
- krok po kroku
- plany
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- Volcano Plenty Vaporizer Storz & Bickel
- działka
- plus
- Popularny
- część
- pozytywny
- możliwy
- Post
- mocny
- praktyki
- poprzedzający
- Przewiduje
- Urządzenie prognozujące
- preferencje
- przygotowanie
- przedstawione
- Cena
- Cennik
- Problem
- rozwiązanie problemu
- wygląda tak
- procesów
- profesjonalny
- głęboki
- Program
- Programowanie
- języki programowania
- monity
- Białko
- zapewniać
- pod warunkiem,
- zapewnia
- Python
- ilość
- pytanie
- szybko
- podnieść
- Kurs
- Czytaj
- polecić
- regeneracja
- odnosić się
- zarejestrowany
- regularny
- związane z
- pamiętać
- obsługi produkcji rolnej, która zastąpiła
- raport
- reprezentować
- zażądać
- wymagania
- Badania naukowe
- Zasoby
- szanowany
- Odpowiadać
- odpowiedź
- Odpowiedzi
- restauracja
- Ograniczenia
- Efekt
- wyszukiwanie
- powrót
- Ryż
- Rola
- role
- run
- bieganie
- s
- sagemaker
- próba
- zobaczył
- skalowalny
- nauka
- Naukowiec
- szufelka
- scenariusz
- Sdk
- Szukaj
- Sekcja
- bezpieczne
- bezpieczeństwo
- widzieć
- wybierać
- wybrany
- wybierając
- sentyment
- Sekwencja
- usługa
- Usługi
- zestaw
- powinien
- pokazać
- pokazał
- pokazane
- Targi
- znaczący
- Podobnie
- Prosty
- pojedynczy
- Rozmiar
- rozmiary
- spać
- mniejszy
- Sneakersy
- So
- Tworzenie
- rozwoju oprogramowania
- Rozwiązania
- kilka
- wyrafinowany
- Źródła
- specjalny
- specjalista
- Specjalność
- specyficzny
- określony
- określanie
- Spędzanie
- SPORTOWE
- standard
- początek
- rozpoczęty
- Startowy
- rozpocznie
- Startups
- state-of-the-art
- statyczny
- pobyt
- Cel
- stany magazynowe
- zatrzymany
- Strategiczny
- jest determinacja.
- silne strony
- sznur
- Struktury
- studio
- nieoptymalny
- taki
- wystarczający
- wsparcie
- podpory
- pewnie
- system
- systemy
- biorąc
- zadania
- zespół
- Techniki
- Technologies
- szablon
- straszny
- test
- Testowanie
- XNUMX
- niż
- że
- Połączenia
- świat
- ich
- następnie
- Te
- one
- to
- Przez
- poprzez
- czas
- Tytuł
- do
- już dziś
- Żetony
- narzędzie
- narzędzia
- Kwota produktów:
- handel
- ruch drogowy
- Pociąg
- Trening
- transformator
- transport
- podróżować
- Podróżowanie
- Trylion
- prawdziwy
- próbować
- stara
- SKRĘCAĆ
- włącza
- ćwierkać
- rodzaj
- ui
- dla
- przeszedł
- odblokować
- Stosowanie
- posługiwać się
- przypadek użycia
- używany
- Użytkownik
- zastosowania
- za pomocą
- wartość
- Wartości
- zmienna
- różnorodność
- różnorodny
- Naprawiono
- Ve
- Warzywa
- wersja
- Zobacz i wysłuchaj
- Odwiedzić
- wizualny
- spacer
- chcieć
- była
- Woda
- Droga..
- sposoby
- we
- Pogoda
- sieć
- usługi internetowe
- Web-based
- były
- Co
- jeśli chodzi o komunikację i motywację
- który
- cały
- dlaczego
- żona
- będzie
- w
- bez
- słowa
- Praca
- pracujący
- działa
- świat
- by
- napisać
- pisanie
- lat
- You
- Najmłodszy
- Twój
- zefirnet