Następny gambit AI Meta? Mówi się, że Lama 3 pojawi się na początku 2024 r. – odszyfruj

Następny gambit AI Meta? Mówi się, że Lama 3 pojawi się na początku 2024 r. – odszyfruj

Znacznik czasu: 9 listopada 2023 9:39

Ciekawość dotycząca kolejnego wielkiego posunięcia Meta osiąga szczyt w wyścigu o dominację w krajobrazie sztucznej inteligencji. Dzięki wypuszczonemu w lipcu generatywnemu modelowi tekstu Llama 2, który ma ugruntowaną pozycję na rynku, obserwatorzy sztucznej inteligencji z zapałem szukają oznak Lamy 3.

Jeśli wierzyć pogłoskom branży, kontynuacja sukcesu open source technologicznego tytana może pojawić się na początku 2024 roku.

Meta nie potwierdziła oficjalnie tych plotek, ale Mark Zuckerberg rzucił niedawno nieco światła na przyszłość meta LLM (dużych modeli językowych), zaczynając od potwierdzenia, że ​​prace nad Llamą 3 są w toku. Powiedział jednak, że nowy, podstawowy model sztucznej inteligencji nadal pozostaje na marginesie, a priorytetem pozostaje dopracowanie Lamy 2, aby była bardziej przyjazna dla konsumenta.

„To znaczy, że zawsze szkolimy innego modela” – powiedział w wywiadzie podcastowym, na którym skupialiśmy się skrzyżowanie sztucznej inteligencji i metaświata„Wyszkoliliśmy Lamę 2 i wypuściliśmy ją jako model o otwartym kodzie źródłowym, a obecnie priorytetem jest wbudowanie go w szereg produktów konsumenckich…

„Ale tak, pracujemy także nad przyszłymi modelami fundamentów i nie mam nic nowego ani wiadomości na ten temat” – kontynuował. „Nie wiem dokładnie, kiedy będzie gotowy”.

Chociaż Meta nie potwierdziła oficjalnie tych plotek, wzorce cykli rozwoju i ogromne inwestycje w sprzęt wskazują na zbliżającą się premierę. Treningi Llama 1 i Llama 2 miały sześciomiesięczne przerwy i jeśli ta kadencja się utrzyma, nowa Llama 3 – przypuszczalnie dorównująca GPT-4 OpenAI – mogłaby zostać wypuszczona na rynek w pierwszej połowie 2024 roku.

Dodawanie głębi do spekulacji, użytkownik Reddita lamaShill przedstawił wszechstronną analizę historycznych cyklów rozwoju modelu Meta.

Trening Lamy 1 trwał od lipca 2022 r. do stycznia 2023 r., a Llama 2 kontynuowała do lipca 2023 r. – zaproponował użytkownik, ustalając wiarygodny etap szkolenia Lamy 3 od lipca 2023 r. do stycznia 2024 r. Te spostrzeżenia pokrywają się z narracją Meta, która jest nieustannie dążąc do doskonałości w zakresie sztucznej inteligencji, chcąc zaprezentować swoje kolejne osiągnięcie, które mogłoby równać się z możliwościami GPT-4.

Tymczasem fora techniczne i Media społecznościowe jest o nich głośno dyskusje o tym, jak ta nowa iteracja może przywrócić przewagę konkurencyjną Meta. Społeczność technologiczna ułożyła także prawdopodobny harmonogram na podstawie okruchów dostępnych informacji.

Dodaj do tego trochę herezji na Twitterze: rozmowa podsłuchana podobno na portalu społecznościowym „Meta GenAI”, opublikowana później na Twitterze przez badacza OpenAI Jasona Wei. „Mamy moc obliczeniową, aby wytrenować Lamę 3 i 4” – twierdzi Wei niezidentyfikowane źródło, które następnie potwierdza, że ​​będzie to również oprogramowanie typu open source.

Tymczasem partnerstwo firmy z firmą Dell — oferujące wersję lokalną Llama 2 dla użytkowników korporacyjnych — podkreśla jej zaangażowanie w kontrolę i bezpieczeństwo danych osobowych, co jest posunięciem zarówno strategicznym, jak i wskazującym na czasy. Ponieważ Meta przygotowuje się do rywalizacji z gigantami takimi jak OpenAI i Google, to zaangażowanie ma kluczowe znaczenie.

Meta wprowadza również sztuczną inteligencję do wielu swoich produktów, więc logiczne jest, że firma podniesie stawkę, aby nie pozostać w tyle. Llama 2 obsługuje Meta AI i inne usługi, takie jak chatboty Meta, usługi generatywne Meta i okulary Meta AI, żeby wymienić tylko kilka.

W wirze spekulacji rozważania Marka Zuckerberga na temat open source Llama 3 jedynie zaintrygowały i zaintrygowały. „Potrzebowalibyśmy procesu, który pozwoliłby to połączyć i zapewnić bezpieczeństwo” – powiedział Zuckerberg podczas niedawnego podcastu z informatykiem Lexem Fridmanem.

Llama 2 może pochwalić się wielopoziomową architekturą z wersjami oferującymi 7 miliardów, 13 miliardów i solidne 70 miliardów parametrów, każdy dostosowany do różnych poziomów złożoności i mocy obliczeniowej. Parametry w LLM służą jako neuronowe elementy składowe, które definiują zdolność modelu do rozumienia i generowania języka, przy czym liczba parametrów często koreluje ze złożonością i potencjalną jakością wyników modelu.

Potężna sztuczna inteligencja została przeszkolona na obszernym korpusie 2 bilionów tokenów, co stanowi podstawę jego zdolności do nawigacji i generowania tekstu podobnego do ludzkiego w szerokim zakresie tematów i kontekstów.

Zdjęcie dzięki uprzejmości Meta

W tle kładzione są także podstawy sprzętowe. Jak zgłaszane by Odszyfruj, Meta zaopatruje centrum danych w karty Nvidia H100, jeden z najpotężniejszych sprzętów do szkolenia sztucznej inteligencji – wyraźny znak, że koła są w ruchu.

Jednak pomimo całego entuzjazmu i spekulacji prawda pozostaje owiana tajemnicą korporacyjną.

Zamiar Meta, by konkurować w przestrzeni AI, jest w dużej mierze kształtowany przez wymagany czas szkolenia, inwestycje w sprzęt i kwestię otwartego oprogramowania. Tymczasem oczekiwanie jest tak samo wyraźne, jak prawdopodobne jest wydanie Llama 2024 w 3 roku.

Edytowany przez Ryana Ozawy.

Bądź na bieżąco z wiadomościami o kryptowalutach, otrzymuj codzienne aktualizacje w swojej skrzynce odbiorczej.

Znak czasu:

Więcej z Odszyfruj