Наступний AI-гамбіт Meta? За чутками, Llama 3 вийде на початок 2024 року – розшифровка

Наступний AI-гамбіт Meta? За чутками, Llama 3 вийде на початок 2024 року – розшифровка

Мітка часу: 9 листопада 2023 р., 9:39

Цікавість щодо наступного великого кроку Meta сягає апогею в змаганні за домінування в області штучного інтелекту. Завдяки моделі генеративного тексту Llama 2, випущеній у липні, добре зарекомендував себе на ринку, спостерігачі ШІ жадібно шукають ознаки Llama 3.

Якщо вірити наріканням індустрії, продовження успіху технологічного титана з відкритим кодом може вийти на початку 2024 року.

Meta офіційно не підтвердила ці чутки, але Марк Цукерберг нещодавно пролив світло на те, яким може бути майбутнє LLM (великих мовних моделей) Meta, починаючи з визнання того, що Llama 3 знаходиться в розробці. Але, за його словами, нова базова модель штучного інтелекту все ще відходить на другий план, тоді як пріоритетом залишається тонке налаштування Llama 2, щоб зробити її більш зручною для користувачів.

«Я маю на увазі, що завжди є інша модель, яку ми навчаємо», — сказав він в інтерв’ю подкасту, присвяченому перетин між ШІ та метавсесвітом, «Ми навчили Llama 2 і випустили її як модель з відкритим вихідним кодом, і зараз пріоритетом є вбудовування цього в низку споживчих продуктів…

«Але так, ми також працюємо над майбутніми базовими моделями, і в мене немає нічого нового чи новин щодо цього», – продовжив він. «Я точно не знаю, коли він буде готовий».

Хоча Meta офіційно не підтвердила чутки, закономірності в циклах розробки та значні інвестиції в апаратне забезпечення натякають на швидкий запуск. Навчання Llama 1 і Llama 2 відбувалося з шестимісячними інтервалами, і якщо ця каденція збережеться, нова Llama 3, яка, за припущеннями, буде на одному рівні з GPT-4 OpenAI, може бути запущена в першій половині 2024 року.

Додавання глибини спекуляціям, користувач Reddit llamaShill представив комплексний аналіз історичних циклів розробки моделі Meta.

Тренування Лами 1 тривало з липня 2022 року по січень 2023 року, а Лама 2 наслідувала його приклад до липня 2023 року, запропонував користувач, встановлюючи вірогідний етап навчання Лами 3 з липня 2023 року по січень 2024 року. Ці ідеї узгоджуються з розповіддю про Мету, яка є невпинно прагне до досконалості ШІ, прагнучи продемонструвати свій наступний прогрес, який міг би стояти пліч-о-пліч із можливостями GPT-4.

Тим часом технічні форуми та соціальні медіа кипіють обговорення про те, як ця нова ітерація може відновити конкурентну перевагу Meta. Технічна спільнота також склала вірогідну хронологію з крихт доступної інформації.

Додайте до цього трохи вигадок у Twitter: нібито підслухану розмову в соціальній мережі «Meta GenAI», яку пізніше опублікував у Twitter дослідник OpenAI Джейсон Вей. «У нас є комп’ютер, щоб навчити Llama 3 і 4», — повідомило невстановлене джерело, за словами Вея, продовжуючи підтверджувати, що він також буде відкритим.

У той же час партнерство компанії з Dell — пропозиція Llama 2 локально для корпоративних користувачів — підкреслює її прагнення контролювати та захищати особисті дані, крок, який є водночас стратегічним і вказівним на час. Оскільки Meta готова протистояти таким гігантам, як OpenAI і Google, це зобов’язання є критично важливим.

Meta також впроваджує штучний інтелект у багато своїх продуктів, тому компанії має сенс збільшити свої ставки, щоб не залишитися позаду. Llama 2 підтримує Meta AI та інші сервіси, як-от чат-боти Meta, генеративні служби Meta та окуляри Meta AI.

Серед цього вихора спекуляцій міркування Марка Цукерберга про відкритий код Llama 3 лише інтригували та містифікували. «Нам потрібен процес, щоб перевірити це і зробити його безпечним», — поділився Цукерберг під час нещодавнього подкасту з комп’ютерним науковцем Лексом Фрідманом.

Llama 2 може похвалитися багаторівневою архітектурою з версіями, що пропонують 7 мільярдів, 13 мільярдів і надійні 70 мільярдів параметрів, кожна з яких підходить для різного рівня складності та обчислювальної потужності. Параметри в LLM служать нейронними будівельними блоками, які визначають здатність моделі розуміти та генерувати мову, причому кількість параметрів часто корелює зі складністю та потенційною якістю результату моделі.

Електростанція штучного інтелекту пройшла навчання на широкому корпусі 2 трильйона токенів, що підкріплює його здатність орієнтуватися та генерувати текст, подібний до людини, у широкому спектрі тем і контекстів.

Зображення надано Meta

На задньому плані також закладається апаратна основа. як повідомляє by Розшифрувати, Meta комплектує центр обробки даних Nvidia H100, одним із найпотужніших апаратних засобів для навчання штучному інтелекту — це явна ознака того, що колеса запущені.

Проте, попри всі хвилювання та припущення, правда залишається оповитою корпоративною таємницею.

Наміри Meta конкурувати у сфері штучного інтелекту значною мірою сформовані необхідним часом навчання, інвестиціями в апаратне забезпечення та питанням відкритого коду. У той же час очікування настільки ж відчутні, як і ймовірність виходу Llama 2024 у 3 році.

За редакцією Раян Озава.

Будьте в курсі криптовалютних новин, отримуйте щоденні оновлення на свою поштову скриньку.

Часова мітка:

Більше від Розшифрувати