A Meta engedi, hogy a Code Llama szinte nyílt feltételekkel lázadjon fel

A Meta engedi, hogy a Code Llama szinte nyílt feltételekkel lázadjon fel

Időbélyeg: 25. augusztus 2023. 5:45
Meta lets Code Llama run riot under almost-open terms PlatoBlockchain Data Intelligence. Vertical Search. Ai.

A Meta egy újabb nyitott gépi tanulási modellt adott ki, ezúttal szoftverforráskód generálására hangolva.

Code Llama nagy nyelvi modellek családja – innen az időnkénti nagybetűs „LLaMA” – a Llama 2 modell alapján felszabaduló júliusban. Finomhangolásra került, és arra lett kiképezve, hogy szöveges felszólításokra válaszul forráskódot adjon ki és beszéljen meg a prózával, mint az elődje.

Mint minden élvonalbeli technológia, a Code Llama is kockázatokkal jár

„A Code Llamában megvan a lehetőség, hogy termelékenységi és oktatási eszközként használják a programozókat robusztusabb, jól dokumentált szoftverek megírásában” – állította Meta. egy bejelentés Csütörtök.

Ha arra kéri Code Llamát, hogy írjon egy függvényt, amely a Fibonacci-szekvenciát állítja elő, a modell kódot és természetes nyelvet is generál, amely elmagyarázza a forrást, mondja Meta. Az AI-modell pedig Python, C++, Java, PHP, Typescript (Javascript), C#, Bash és más nyelveken képes erre.

A felhasználókat azonban arra kérik, hogy angolul forduljanak Code Llamához, mivel a modellt nem tesztelték más nyelveken, és valami borzasztót mondanak, ha megkérdezik. hatáskörön kívül nyelv.

„Mint minden élvonalbeli technológia esetében, a Code Llama is kockázatokkal jár” – magyarázza Meta, megjegyezve, hogy a saját vörös csapatának rosszindulatú kódok létrehozására irányuló tesztelése során a Code Llama biztonságosabb válaszokat adott, mint a ChatGPT (GPT3.5 Turbo).

A Meta szerint a Code Llama két benchmarkon felülmúlja a nyílt forráskódú, kódspecifikus LLM-eket és a saját szülő Llama 2-t – HumanEval és többnyire alapvető Python programozás (MBPP) – és megfelel az OpenAI ChatGPT teljesítményének.

A Code Llama három méretben kapható – 7B, 13B és 34B paraméterekkel –, és mindegyik változat 500B kóddal és kóddal kapcsolatos adatokkal lett betanítva. Egy token nagyjából négy karakterből áll angolul. Az OpenAI Codex legnagyobb verziója, amikor megjelent 12B paraméterek.

A két legkisebb Code Llama modellt Meta elmondása szerint arra tanították, hogy kitöltsék a hiányzó forráskódokat, ami lehetővé teszi, hogy további finomhangolás nélkül használhatók fel kódkiegészítésre. Állítólag a 34B verzió biztosítja a legjobb eredményeket, de a kisebb kettő gyorsabban reagál, így jobbak olyan feladatoknál, mint például a kódbefejezés, ahol észrevehető a késleltetés.

Két változata is létezik: Code Llama – Python és Code Llama – Instruct. Az előbbi a Code Llama finomhangolásából származik, további 100 milliárd Python kóddal. Ez utóbbit úgy finomhangolták, hogy megfeleljen a bemeneti és kimeneti mintáknak, így jobban alkalmas kódgenerálásra.

Megbízhatóság, valaki?

Az LLM-ek gyakran biztosítják hibás válaszok a programozási promptokhoz, bár sok fejlesztő használja ezeket a minták és API-paraméterek visszahívására, illetve a keresési lekérdezések és a dokumentáció ellenőrzésének elkerülésére.

A Code Llama egyik értékesítési pontja, hogy képes kezelni akár 100,000 XNUMX tokenből álló kódsorozatok be- és kimenetét is. Ez azt jelenti, hogy sok kódsorral kérheti a modellt, és bőbeszédű választ kaphat.

„Amellett, hogy a hosszabb programok létrehozásának előfeltétele, a hosszabb bemeneti szekvenciák izgalmas új használati eseteket nyitnak meg az LLM kódhoz” – magyarázta Meta. „A felhasználók például több kontextust biztosíthatnak a modellnek a kódbázisukból, hogy relevánsabbá tegyék a generációkat. Segít a hibakeresési forgatókönyvekben is nagyobb kódbázisokban, ahol a fejlesztők számára kihívást jelenthet a konkrét problémákkal kapcsolatos kódok felett maradni.”

A felhasználók több kontextust biztosíthatnak a modellnek a kódbázisukból, hogy relevánsabbá tegyék a generációkat

A Code Llama csatlakozik a kódkonverzív modellek egyre szélesebb köréhez, amelyeket kezdetben az OpenAI Codex és a GitHub társított programjai vettek át. peres eljárással terhelt Copilot (2021) programozási javaslat szolgáltatás. A programozási pozitív modellek közé tartozik a DeepMind AlphaCode (2022), OpenAI GPT-4 (2023), Amazon Code Whisperer (2023) és a Google Bard (2023) áprilisban hangolt generálni forráskód.

Ezen kívül léteztek különböző nyílt forráskódú (vagy egyfajta nyílt) LLM-ek, mint például StarCoder és a XGen, hogy kettőt említsünk.

A Meta a Code Llamát ugyanezen a címen adta ki közösségi jogosítvány mint Llama 2, hivatkozva a mega-vállalat „az AI nyitott megközelítésébe” vetett hitére, amely a legjobb módja az innovatív, biztonságos és felelősségteljes eszközök fejlesztésének.

De amint azt a Llama 2 kapcsán széles körben megjegyezték, a közösségi licenc az nem nyílt forráskódú licenc. A Meta „nyílt megközelítése” az AI-hoz zárva van a verseny előtt – a licenc kifejezetten megtiltja a szoftver használatát „bármely más nagy nyelvi modell fejlesztésére”.

És bár a Meta közösségi licence megengedi a különféle lámáinak kereskedelmi felhasználását, meghúzza a határt a „több mint 700 millió havi aktív felhasználóval” rendelkező szolgáltatásoknál.

Az inkább csoport kiválasztása A megaszolgáltatások – a YouTube, a WeChat, a TikTok, a LinkedIn, a Telegram, a Snapchat és a Douyin – a Meta által még nem üzemeltetett közösségi médiaplatformok, valamint feltehetően olyan operációs rendszer-alapú platformokat futtató cégek, mint az Apple, a Google és a Microsoft – „kérést kell kérni a Meta licence, amelyet a Meta saját belátása szerint adhat Önnek…” ®

Időbélyeg:

Még több A regisztráció