Az OpenAI azt állítja, hogy a GPT-4 90%-át legyőzi egy vizsgán

Az OpenAI kedden bejelentette a GPT-4 minősített megérkezését, amely a hívás és válasz mély tanulási modellek létrehozásának legújabb mérföldköve, és amely látszólag felülmúlja húsos alkotóit a fontos vizsgákon.

Az OpenAI szerint a modell „emberi szintű teljesítményt mutat különböző szakmai és tudományos benchmarkokon”. A GPT-4 a vizsgázók felső 10 százalékában tud átmenni egy szimulált ügyvédi vizsgán, míg elődje, a GPT-3.5 (a ChatGPT alapja) az alsó 10 százalék körül ért el.

A GPT-4 számos más vizsgán is jól teljesített, mint például a SAT matematika (700-ból 800). Ez azonban nem általánosan alkalmas, csak 2 pontot ér el az AP angol nyelv és összetétel alapján (14–44. percentilis).

A GPT-4 egy nagy multimodális modell, szemben a nagy nyelvi modellel. Úgy tervezték, hogy szöveges és képi bemeneteken keresztüli lekérdezéseket fogadjon, a válaszokat szövegben adja vissza. Kezdetben a várólistán szereplő GPT-4 API-n keresztül és a ChatGPT Plus előfizetői számára csak szöveges formában érhető el. A képalapú bevitel még mindig finomítás alatt áll.

A vizuális beviteli mechanizmus hozzáadása ellenére az OpenAI nem nyitott a modelljének elkészítésére, és nem ad rálátást. A feltörekvő úgy döntött, hogy nem ad ki részleteket a méretéről, a képzés módjáról, és arról sem, hogy milyen adatok mentek be a folyamatba.

"Tekintettel a versenyhelyzetre és a nagyméretű modellek, például a GPT-4 biztonsági vonatkozásaira, ez a jelentés nem tartalmaz további részleteket az architektúráról (beleértve a modell méretét), a hardverről, a képzési számításokról, az adatkészlet felépítéséről, a képzési módszerről vagy hasonlókról." – közölte a cég közleményében műszaki papír [PDF].

egy élő közvetítés a YouTube-onGreg Brockman, az OpenAI elnöke és társalapítója bemutatta a GPT-4 és a GPT-3.5 közötti különbséget azzal, hogy felkérte a modelleket, hogy foglalják össze az OpenAI GPT-4-et. blogbejegyzés egyetlen mondatban, ahol minden szó „G” betűvel kezdődik.

A GPT-3.5 egyszerűen nem próbálkozott. A GPT 4 visszatért „A GPT-4 úttörő, grandiózus eredményeket produkál, nagymértékben ösztönözve az általános AI-célokat.” És amikor Brockman azt mondta a modellnek, hogy az „AI” mondatba foglalása nem számít, a GPT-4 egy másik G-terhelt mondatban módosította a válaszát, anélkül, hogy „AI” szerepelt volna.

Ezután a GPT-4-gyel generálta a Python kódot egy Discord bot számára. Még lenyűgözőbb, hogy lefényképezett egy viccoldal kézzel rajzolt makettjét, elküldte a képet a Discord-nak, és a kapcsolódó GPT-4 modell HTML- és JavaScript-kóddal válaszolt, hogy megvalósítsa a makett webhelyet.

Végül Brockman beállította a GPT-4-et, hogy elemezzen 16 oldalnyi amerikai adókódot, hogy visszaadja a szokásos levonást egy pár, Alice és Bob esetében, konkrét pénzügyi körülmények között. Az OpenAI modellje a helyes válasszal válaszolt, a számítások magyarázatával együtt.

A jobb érvelésen túl, amely a javított teszteredményekben is megmutatkozik, a GPT-4 célja, hogy jobban együttműködjön (iteráljon a korábbi kimenet javítása érdekében), jobban tudjon kezelni sok szöveget (körülbelül 25,000 XNUMX szóból álló novella hosszúságú darabok elemzése vagy kiadása). , valamint a képalapú bevitel elfogadása (az objektumfelismeréshez, bár ez a képesség még nem elérhető nyilvánosan).

Sőt, az OpenAI szerint a GPT-4-nek kisebb valószínűséggel kell kikerülnie a pályáról, mint elődeinek.

„Hat hónapot töltöttünk ismétlődően igazítás A GPT-4 a kontradiktórius tesztelési programunkból, valamint a ChatGPT-ből származó tanulságok felhasználásával minden idők legjobb eredményeit eredményezi (bár messze nem tökéletes) a tényszerűség, a kormányozhatóság és a korlátokon való kilépés megtagadása terén.” azt mondja,.

Az emberek már ismerhetik ezt a „távolról sem tökéletes” biztonsági szintet a rockos debütálás a Microsoft Bing kérdésmegválaszolási képességei közül, amiről kiderül GPT-4-et használ mint a Prometheus-modell alapja.

Az OpenAI elismeri, hogy a GPT-4 „tényeket hallucinál és érvelési hibákat követ el”, mint ősei, de a szervezet ragaszkodik ahhoz, hogy a modell ezt kisebb mértékben teszi.

A GPT-4 jelentősen csökkenti a hallucinációkat a korábbi modellekhez képest

„Bár továbbra is valódi probléma, a GPT-4 jelentősen csökkenti a hallucinációkat a korábbi modellekhez képest (amelyek maguk is javultak minden iterációval)” – magyarázza a vállalat. „A GPT-4 40 százalékkal magasabb pontszámot ér el, mint a legutóbbi GPT-3.5 a belső ellentmondásos tényszerűségi értékeléseink alapján.”

A GPT-4 ára 0.03 USD 1 0.06 prompt tokenenként és 1 USD XNUMX XNUMX befejezési tokenenként, ahol a token körülbelül négy karakter. Van egy alapértelmezett sebességkorlát is: percenként 40,000 200 token és percenként XNUMX kérés.

Továbbá OpenAI nyílt forráskódú Evals, egy program a gépi tanulási modellek értékelésére és összehasonlítására, beleértve a sajátját is.

A mesterséges intelligencia kockázatai miatti folyamatos aggodalmak ellenére rohanás történik az AI-modellek piacra dobásával. Ugyanezen a napon megérkezett a GPT-4, az Anthropic, egy startup, amelyet egykori OpenAI alkalmazottak alapítottak. Bevezetett saját chat-alapú segítője, a Claude a szövegösszegzés és -generálás, a keresés, a kérdések és válaszok, a kódolás és egyebek kezelésére. Ez korlátozott előzetesen is elérhető.

A Google pedig amiatt aggódott, hogy lemarad az AP-modellek marketingjében, ugratott a kinyújt a PaLM nevű API-t, amely különféle nagy nyelvi modellekkel és a MakerSuite nevű prototípus-készítő környezettel való interakcióra szolgál.

Néhány héttel korábban a Facebook elindította LLaMA nagy nyelvi modell, amely mostanra a Alpaka modell stanfordi kutatók által, amelyek A regisztráció később részletesebben foglalkozunk.

„Még sok a tennivaló, és alig várjuk, hogy továbbfejlesszük ezt a modellt a közösség kollektív erőfeszítései révén a modell tetején, feltárásán és ahhoz való hozzájárulásán keresztül” – fejezte be az OpenAI. ®

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://go.theregister.com/feed/www.theregister.com/2023/03/14/openai_gpt4_ai/