Metan seuraava AI Gambit? Llama 3:sta huhuttiin vuoden 2024 alussa – Pura salaus

Uteliaisuus Metan seuraavaa suurta siirtoa kohtaan on saavuttamassa kuumetta kilpailussa tekoälymaiseman hallitsemisesta. Heinäkuussa julkaistun Llama 2 -tekstimallin ansiosta, joka on vakiinnuttanut asemansa markkinoilla, tekoälyn tarkkailijat etsivät innokkaasti Llama 3:n merkkejä.

Jos alan nurinaa on uskoa, teknologiatitaanin jatko-osa avoimen lähdekoodin menestykselle saattaa saapua vuoden 2024 alussa.

Meta ei ole virallisesti vahvistanut huhuja, mutta Mark Zuckerberg valaisi äskettäin hieman Metan LLM:ien (suurten kielimallien) tulevaisuutta, alkaen tunnustuksella, että Llama 3 on työn alla. Hänen mukaansa uusi perustavanlaatuinen tekoälymalli on kuitenkin edelleen taustalla, kun taas ensisijaisena tavoitteena on edelleen Llama 2:n hienosäätö tehdä siitä kuluttajaystävällisempi.

"Tarkoitan, että meillä on aina toinen malli, jota koulutamme", hän sanoi podcast-haastattelussa, jossa keskityttiin tekoälyn ja metaversumin leikkauspisteKoulutimme Llama 2:n ja julkaisimme sen avoimen lähdekoodin mallina, ja tällä hetkellä tärkeintä on rakentaa siitä joukko kuluttajatuotteita…

"Mutta joo, työskentelemme myös tulevaisuuden pohjamallien parissa, eikä minulla ole siitä mitään uutta tai uutista", hän jatkoi. "En tiedä tarkalleen, milloin se on valmis."

Vaikka Meta ei ole virallisesti vahvistanut huhuja, kehityssyklit ja mojovat laitteistoinvestoinnit viittaavat uhkaavaan julkaisuun. Llama 1 ja Llama 2 harjoittelivat kuuden kuukauden välein, ja jos tämä poljinnopeus pysyy, uusi Llama 3 – jonka arvellaan olevan OpenAI:n GPT-4:n tasoa – saataisiin markkinoille vuoden 2024 ensimmäisellä puoliskolla.

Lisää syvyyttä spekulaatioon, Reddit-käyttäjä lamaShill on esittänyt kattavan analyysin Metan historiallisista mallien kehityssykleistä.

Llama 1:n koulutus kesti heinäkuusta 2022 tammikuuhun 2023, ja Llama 2 seurasi perässä heinäkuuhun 2023 asti, käyttäjä ehdotti, että Llama 3:n koulutukselle asetettiin uskottava vaihe heinäkuusta 2023 tammikuuhun 2024. Nämä oivallukset sopivat yhteen metan kerronnan kanssa, joka on tavoittelee hellittämättä tekoälyn erinomaisuutta ja haluaa esitellä seuraavan edistyksensä, joka voisi olla rinta rinnan GPT-4:n ominaisuuksilla.

Samaan aikaan tekniikan foorumeilla ja sosiaalinen media ovat täynnä keskustelut miten tämä uusi iteraatio voisi palauttaa Metan kilpailuedun. Teknologiayhteisö on myös koonnut todennäköisen aikajanan saatavilla olevista tiedonmuruista.

Lisää tähän hieman Twitter-harhaa: keskustelu kuultiin "Meta GenAI" -yhteisössä, jonka OpenAI-tutkija Jason Wei twiittasi myöhemmin. "Meillä on laskelma Llama 3:n ja 4:n kouluttamiseen", Wein mukaan tuntematon lähde sanoi ja vahvisti, että se olisi myös avoimen lähdekoodin.

Samaan aikaan yrityksen yhteistyö Dellin kanssa, joka tarjoaa Llama 2:n paikan päällä yrityskäyttäjille, korostaa sen sitoutumista henkilötietojen hallintaan ja turvallisuuteen, mikä on sekä strateginen että ajankohtainen siirto. Kun Meta valmistautuu kestämään varpaisiin jättiläisiä, kuten OpenAI ja Google, tämä sitoutuminen on ratkaisevan tärkeää.

Meta lisää myös tekoälyä moniin tuotteisiinsa, joten yrityksen on järkevää kasvattaa panoksiaan, jotta se ei jää jälkeen. Llama 2 antaa voiman Meta AI:lle ja muille palveluille, kuten Metan chatboteille, Meta generatiivisille palveluille ja Metan tekoälylaseille.

Tämän spekuloinnin pyörteen keskellä Mark Zuckerbergin pohdiskelut avoimesta lähdekoodista Llama 3:sta ovat vain kiehtoneet ja mystimoineet. "Tarvitsimme prosessin, jotta voimme yhdistää tämän ja tehdä siitä turvallisen", Zuckerberg kertoi äskettäin podcastissa tietojenkäsittelytieteilijä Lex Fridmanin kanssa.

Llama 2:ssa on monikerroksinen arkkitehtuuri, jonka versiot tarjoavat 7 miljardia, 13 miljardia ja vankat 70 miljardia parametria, joista kukin soveltuu erilaisille monimutkaisuuden ja laskentatehon tasoille. LLM:ien parametrit toimivat hermosolujen rakennuspalikoina, jotka määrittävät mallin kyvyn ymmärtää ja generoida kieltä, ja parametrien määrä korreloi usein mallin kehittyneisyyden ja mahdollisen tulosteen laadun kanssa.

Tekoälyvoimantekijä on koulutettu laajalla aineistolla 2 biljoonaa rahaketta, mikä tukee sen kykyä navigoida ja luoda ihmisen kaltaista tekstiä useissa eri aiheissa ja konteksteissa.

Taustalla tehdään myös laitteistopohjaa. Kuten raportoitu by Pura, Meta varastoi palvelinkeskukseen Nvidia H100s:a, joka on yksi tehokkaimmista tekoälykoulutuksen laitteistoista – selvä merkki siitä, että pyörät ovat hyvässä liikkeessä.

Kaikesta jännityksestä ja spekulaatiosta huolimatta totuus on kuitenkin edelleen yrityssalaisuuksien peitossa.

Metan aikomukset kilpailla tekoälyavaruudessa ovat suurelta osin muokattavissa vaadittujen harjoitusaikojen, laitteistoinvestointien ja avoimen lähdekoodin kysymyksen perusteella. Sillä välin odotukset ovat yhtä tuntuvia kuin Llama 2024:n vuoden 3 julkaisu on todennäköistä.

Muokannut Ryan Ozawa.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://decrypt.co/205436/llama-3-release-date-rumored-meta-ai-challenger