Следующий AI-гамбит Меты? По слухам, запуск Llama 3 появится в начале 2024 года — расшифровка

Следующий AI-гамбит Меты? По слухам, запуск Llama 3 появится в начале 2024 года – расшифровка

Отметка времени: 9 ноября 2023 г., 9:39

Любопытство по поводу следующего большого шага Меты достигает апогея в гонке за доминирование в сфере искусственного интеллекта. Благодаря генеративной текстовой модели Llama 2, выпущенной в июле и хорошо зарекомендовавшей себя на рынке, наблюдатели за искусственным интеллектом жадно ищут признаки Llama 3.

Если верить отраслевым слухам, продолжение успеха технологического титана с открытым исходным кодом может появиться в начале 2024 года.

Meta официально не подтвердила эти слухи, но Марк Цукерберг недавно пролил некоторый свет на то, каким может быть будущее LLM (больших языковых моделей) Meta, начав с признания того, что Llama 3 находится в разработке. Но, по его словам, новая основополагающая модель искусственного интеллекта все еще находится на втором плане, в то время как приоритетом остается доработка Llama 2, чтобы сделать ее более удобной для потребителя.

«Я имею в виду, что всегда есть еще одна модель, которую мы обучаем», — сказал он в интервью подкаста, посвященном пересечение между ИИ и метавселенной«Мы обучили Llama 2 и выпустили ее как модель с открытым исходным кодом, и сейчас приоритетом является встраивание ее в ряд потребительских продуктов…

«Но да, мы также работаем над будущими моделями фундаментов, и у меня нет ничего нового или новостей по этому поводу», — продолжил он. «Я не знаю точно, когда он будет готов».

Хотя Meta официально не подтвердила эти слухи, особенности циклов разработки и значительные инвестиции в оборудование намекают на предстоящий запуск. Обучение Llama 1 и Llama 2 проходило с шестимесячными интервалами, и если эта частота сохранится, новая Llama 3, которая, как предполагается, будет соответствовать OpenAI GPT-4, может быть запущена в первой половине 2024 года.

Добавляя глубины спекуляциям, пользователь Reddit ламаШилл представил всесторонний анализ циклов разработки исторической модели Меты.

Обучение Ламы 1 продолжалось с июля 2022 года по январь 2023 года, а Лама 2 следовала его примеру до июля 2023 года, как предложил пользователь, создавая правдоподобную основу для обучения Ламы 3 с июля 2023 года по январь 2024 года. Эти идеи согласуются с повествованием о Мете, которая неустанно стремится к совершенству в области искусственного интеллекта, стремясь продемонстрировать свое следующее достижение, которое могло бы стоять плечом к плечу с возможностями GPT-4.

Между тем, технические форумы и социальные сети гудят от обсуждение о том, как эта новая итерация может восстановить конкурентное преимущество Meta. Технологическое сообщество также собрало вероятные сроки на основе крох доступной информации.

Добавьте к этому немного высказываний в Твиттере: разговор, который, как сообщается, был подслушан в социальной сети «Meta GenAI», позже опубликованный в Твиттере исследователем OpenAI Джейсоном Веем. «У нас есть вычислительные мощности для обучения Llama 3 и 4», — сказал неизвестный источник, по словам Вэя, и подтвердил, что исходный код также будет открытым.

Между тем, партнерство компании с Dell, предлагающее локальную версию Llama 2 для корпоративных пользователей, подчеркивает ее приверженность контролю и безопасности личных данных, шаг, который является одновременно стратегическим и показательным для времени. Поскольку Meta готовится встать лицом к лицу с такими гигантами, как OpenAI и Google, это обязательство имеет решающее значение.

Meta также внедряет искусственный интеллект во многие свои продукты, поэтому для компании имеет смысл повысить ставки, чтобы не остаться позади. Llama 2 обеспечивает работу Meta AI и других сервисов, таких как чат-боты Meta, генеративные сервисы Meta и очки искусственного интеллекта Meta, и это лишь некоторые из них.

Среди этого вихря спекуляций размышления Марка Цукерберга об открытом исходном коде Llama 3 только заинтриговали и заинтриговали. «Нам понадобится процесс, чтобы объединить это и сделать это безопасным», — поделился Цукерберг во время недавнего подкаста с ученым-компьютерщиком Лексом Фридманом.

Llama 2 может похвастаться многоуровневой архитектурой с версиями, предлагающими 7 миллиардов, 13 миллиардов и надежные 70 миллиардов параметров, каждая из которых подходит для разных уровней сложности и вычислительной мощности. Параметры в LLM служат нейронными строительными блоками, которые определяют способность модели понимать и генерировать язык, при этом количество параметров часто коррелирует со сложностью и потенциальным качеством вывода модели.

Специалист по искусственному интеллекту прошел обучение на обширном корпусе 2 триллионов токенов, что лежит в основе его способности ориентироваться и генерировать человеческий текст по широкому спектру тем и контекстов.

Изображение предоставлено Мета

На заднем плане также закладывается основа аппаратного обеспечения. Как переправу by DecryptMeta снабжает центр обработки данных Nvidia H100, одним из самых мощных аппаратных средств для обучения искусственному интеллекту, что является явным признаком того, что колеса идут хорошо.

Тем не менее, несмотря на все волнения и спекуляции, правда остается окутанной корпоративной тайной.

Намерения Meta конкурировать в сфере искусственного интеллекта во многом определяются необходимым временем обучения, инвестициями в оборудование и вопросом об открытом исходном коде. Между тем, ожидание настолько же ощутимо, насколько вероятен выпуск Llama 2024 в 3 году.

Под редакцией Райан Одзава.

Будьте в курсе крипто-новостей, получайте ежедневные обновления на свой почтовый ящик.

Отметка времени:

Больше от Decrypt