Manapság ügyfeleink többségét izgatják a nagy nyelvi modellek (LLM-ek), és azon gondolkodnak, hogy a generatív mesterséges intelligencia hogyan alakíthatná át üzletét. Az ilyen megoldásokat, modelleket azonban a megszokott üzleti életbe bevinni nem könnyű feladat. Ebben a bejegyzésben megvitatjuk, hogyan lehet generatív AI-alkalmazásokat operacionalizálni MLOps-elvek segítségével, amelyek az alapmodell-műveletekhez (FMOps) vezetnek. Ezenkívül mélyrehatóan foglalkozunk a szöveg-szöveg alkalmazások és az LLM-műveletek (LLMOps) legáltalánosabb generatív mesterségesintelligencia-használati eseteivel, az FMOp-ok egy részhalmazával. A következő ábra az általunk tárgyalt témákat szemlélteti.
Konkrétan röviden bemutatjuk az MLOps alapelveket, és az FMOps-hoz és az LLMOps-hoz viszonyított főbb különbségekre összpontosítunk a folyamatok, az emberek, a modellválasztás és -értékelés, az adatvédelem és a modelltelepítés tekintetében. Ez azokra az ügyfelekre vonatkozik, akik a dobozból használják, alapozási modelleket készítenek a semmiből, vagy finomhangolják azokat. Megközelítésünk egyaránt vonatkozik a nyílt forráskódú és a védett modellekre.
ML operacionalizálási összefoglaló
A posztban meghatározottak szerint MLOps alapítványi ütemterv az Amazon SageMakerrel rendelkező vállalkozások számára, ML and Operations (MLOps) az emberek, folyamatok és technológia kombinációja a gépi tanulási (ML) megoldások hatékony előállításához. Ennek eléréséhez csapatok és személyek kombinációjának kell együttműködnie, amint az a következő ábrán látható.
Ezek a csapatok a következők:
- Haladó analitikai csapat (data lake és data mesh) – Az adatmérnökök feladata a több forrásból származó adatok előkészítése és feldolgozása, az ETL (extract, transform, and load) csővezetékek kiépítése az adatok gondozása és katalogizálása érdekében, valamint a szükséges történeti adatok előkészítése az ML használati esetekhez. Ezek az adattulajdonosok arra törekednek, hogy több üzleti egység vagy csapat számára hozzáférést biztosítsanak adataikhoz.
- Adattudományi csapat – Az adattudósoknak arra kell összpontosítaniuk, hogy a notebookokban működő, előre meghatározott kulcsfontosságú teljesítménymutatókon (KPI-k) alapuló legjobb modellt hozzanak létre. A kutatási fázis befejezése után az adattudósoknak együtt kell működniük az ML mérnökökkel, hogy automatizálást hozzanak létre a modellek építéséhez (ML pipelines) és CI/CD folyamatok segítségével történő gyártáshoz.
- Üzleti csapat – A terméktulajdonos felelős a modell teljesítményének értékeléséhez használandó üzleti eset, követelmények és KPI-k meghatározásáért. Az ML-fogyasztók más üzleti érdekelt felek, akik a következtetési eredményeket (előrejelzéseket) használják döntéseik meghozatalára.
- Platform csapat – Az építészek felelősek a vállalkozás átfogó felhőarchitektúrájáért és a különböző szolgáltatások összekapcsolásáért. A biztonsági kkv-k az üzleti biztonsági irányelvek és igények alapján vizsgálják felül az architektúrát. Az MLOps mérnökei felelősek azért, hogy biztonságos környezetet biztosítsanak az adattudósok és az ML mérnökök számára az ML használati esetek előállításához. Konkrétan a CI/CD folyamatok szabványosításáért, a felhasználói és szolgáltatási szerepkörökért, valamint a tárolók létrehozásáért, a modellfelhasználásért, a tesztelésért és az üzembe helyezési módszertanért felelnek az üzleti és biztonsági követelmények alapján.
- Kockázati és megfelelőségi csapat – Szigorúbb környezetekben az auditorok feladata az adatok, a kód és a modell műtermékek értékelése, valamint annak biztosítása, hogy a vállalkozás megfelel-e az előírásoknak, például az adatvédelmi előírásoknak.
Vegye figyelembe, hogy ugyanaz a személy több személyt is lefedhet a vállalkozás méretezésétől és MLOps érettségétől függően.
Ezeknek a személyeknek dedikált környezetre van szükségük a különböző folyamatok végrehajtásához, amint az a következő ábrán látható.
A környezetek a következők:
- Platform adminisztráció – A platform adminisztrációs környezete az a hely, ahol a platform csapatának hozzáférése van AWS-fiókok létrehozásához, valamint a megfelelő felhasználók és adatok összekapcsolásához
- dátum – Az adatréteg, amelyet gyakran Data Lake-nek vagy adathálónak is neveznek, az a környezet, amelyet az adatmérnökök vagy -tulajdonosok és üzleti érdekelt felek használnak az adatok előkészítésére, interakciójára és megjelenítésére.
- kísérletezés – Az adatkutatók homokozót vagy kísérleti környezetet használnak új könyvtárak és ML technikák tesztelésére annak bizonyítására, hogy a koncepciójuk bizonyítása képes megoldani az üzleti problémákat
- Modellkészítés, modellteszt, modell telepítés – A modellépítési, tesztelési és üzembe helyezési környezet az MLOps rétege, ahol az adattudósok és az ML mérnökök együttműködnek a kutatás automatizálása és termelésbe helyezése érdekében.
- ML kormányzás – A rejtvény utolsó darabja az ML irányítási környezet, ahol az összes modell- és kódterméket a megfelelő személyek tárolják, felülvizsgálják és auditálják.
A következő ábra a referencia architektúrát szemlélteti, amelyről már szó volt MLOps alapítványi ütemterv az Amazon SageMakerrel rendelkező vállalkozások számára.
Minden üzleti egység saját fejlesztési (automatikus modellképzés és -építés), előgyártási (automatikus tesztelés) és gyártási (modelltelepítés és kiszolgálás) fiókokkal rendelkezik az ML használati esetek gyártása érdekében, amelyek adatokat kérnek le egy központosított vagy decentralizált adatforrásból vagy adatokból. háló, ill. Az összes legyártott modell és kódautomatizálás egy központosított eszközfiókban van tárolva, a modellnyilvántartás lehetőségével. Ezen fiókok infrastrukturális kódja egy megosztott szolgáltatási fiókban (speciális analitikai irányítási fiókban) van verziózva, amelyet a platform csapata kivonhat, sablonokat készíthet, karbantarthat és újra felhasználhat minden új csapat MLOps platformjára való belépéshez.
Generatív mesterséges intelligencia definíciók és különbségek az MLOp-októl
A klasszikus ML-ben az emberek, folyamatok és technológia előző kombinációja segíthet az ML használati eseteinek termékesítésében. A generatív mesterséges intelligencia esetében azonban a használati esetek jellege megköveteli a képességek kiterjesztését vagy új képességeket. Ezen új fogalmak egyike az alapmodell (FM). Azért nevezik őket ilyennek, mert más mesterséges intelligencia modellek széles skálájának létrehozására is használhatók, amint azt a következő ábra mutatja.
Az FM-eket terabájtnyi adat alapján képezték ki, és több százmilliárd paraméterrel rendelkeznek ahhoz, hogy megjósolhassák a következő legjobb választ a generatív AI felhasználási esetek három fő kategóriája alapján:
- Szövegről szövegre – Az FM-eket (LLM-ek) címkézetlen adatok (például szabad szöveg) alapján képezték ki, és képesek megjósolni a következő legjobb szót vagy szósorozatot (bekezdések vagy hosszú esszék). A fő felhasználási esetek az emberszerű chatbotok, az összegzés vagy más tartalomkészítés, például programozási kód körüli.
- Szöveg-kép – A címkézett adatokat, például a párokat használták az FM-ek betanítására, amelyek képesek megjósolni a pixelek legjobb kombinációját. Felhasználási példák a ruhatervezés generálása vagy a képzeletbeli, személyre szabott képek.
- Szövegből hangba vagy videóba – A feliratozott és a címkézetlen adatok egyaránt használhatók FM edzéshez. Az egyik fő generatív mesterséges intelligencia felhasználási példa a zeneszerzés.
A generatív mesterséges intelligencia felhasználási esetek előállításához kölcsön kell kérnünk és ki kell terjesztenünk az MLOps tartományt a következőkre:
- FM műveletek (FMOps) – Ez generatív AI-megoldásokat hozhat létre, beleértve bármilyen használati esettípust
- LLM műveletek (LLMOps) – Ez az FMOp egy részhalmaza, amely az LLM-alapú megoldások, például a szöveg-szöveg létrehozására összpontosít.
A következő ábra szemlélteti ezen használati esetek átfedését.
A klasszikus ML és MLOp-okhoz képest az FMOp-ok és LLMOp-k négy fő kategória alapján késleltetnek, amelyeket a következő szakaszokban tárgyalunk: emberek és folyamatok, FM kiválasztása és adaptálása, FM értékelése és felügyelete, adatvédelem és modellek telepítése, valamint technológiai igények. A monitorozásról külön bejegyzésben fogunk szólni.
Operacionalizálási út generatív AI-felhasználótípusonként
A folyamatok leírásának leegyszerűsítése érdekében kategorizálnunk kell a fő generatív AI-felhasználói típusokat, ahogy az alábbi ábrán is látható.
A felhasználói típusok a következők:
- szolgáltatók – Olyan felhasználók, akik a semmiből készítik az FM-eket, és termékként kínálják azokat más felhasználóknak (finomhangoló és fogyasztó). Teljes körű ML és természetes nyelvi feldolgozási (NLP) szakértelemmel és adattudományi készségekkel, valamint hatalmas adatcímkéző és szerkesztő csapatokkal rendelkeznek.
- Finomhangolók – Azok a felhasználók, akik áttanítják (finomhangolják) az FM-eket a szolgáltatóktól az egyéni igényeknek megfelelően. Ők szervezik meg a modell bevezetését a fogyasztók általi szolgáltatásként. Ezeknek a felhasználóknak erős, teljes körű ML és adattudományi szakértelemre, valamint a modellek telepítésével és következtetéseivel kapcsolatos ismeretekre van szükségük. A hangoláshoz, beleértve az azonnali tervezést is, erős szakterületi ismeretek is szükségesek.
- Fogyasztók – Azok a felhasználók, akik szolgáltatóktól vagy finomhangolóktól származó generatív AI-szolgáltatásokkal lépnek kapcsolatba szöveges felszólítással vagy vizuális felülettel a kívánt műveletek végrehajtása érdekében. Nincs szükség ML szakértelemre, de többnyire alkalmazásfejlesztőkre vagy végfelhasználókra van szükség, akik ismerik a szolgáltatási képességeket. Csak gyors tervezés szükséges a jobb eredményekhez.
A meghatározás és a szükséges ML-szakértelem szerint az MLOps-ra leginkább a szolgáltatók és a finomhangolók számára van szükség, míg a fogyasztók olyan alkalmazásgyártási elveket használhatnak, mint a DevOps és az AppDev a generatív AI-alkalmazások létrehozásához. Továbbá megfigyelhettünk egy mozgást a felhasználói típusok között, ahol a szolgáltatók finomhangolókká válhatnak egy adott vertikumon (például pénzügyi szektoron) alapuló felhasználási esetek támogatására, vagy a fogyasztók finomhangolóvá válhatnak a pontosabb eredmények elérése érdekében. De nézzük meg a fő folyamatokat felhasználótípusonként.
A fogyasztók utazása
A következő ábra a fogyasztói utat szemlélteti.
Amint azt korábban említettük, a fogyasztóknak ki kell választani, tesztelni és használniuk kell az FM-et, kölcsönhatásba lépve vele meghatározott bemenetek, más néven ún. utasításokat. A promptok a számítógépes programozás és a mesterséges intelligencia kontextusában arra a bemenetre vonatkoznak, amelyet egy modellnek vagy rendszernek adnak a válasz generálásához. Ez lehet szöveg, parancs vagy kérdés formájában, amelyet a rendszer a kimenet feldolgozására és generálására használ. Az FM által generált kimenetet ezután felhasználhatják a végfelhasználók, akiknek képesnek kell lenniük ezen kimenetek minősítésére is, hogy javítsák a modell jövőbeli válaszait.
Ezeken az alapvető folyamatokon túl azt vettük észre, hogy a fogyasztók kifejezték vágyukat egy modell finomhangolására a finomhangolók által kínált funkciók kihasználásával. Vegyünk például egy webhelyet, amely képeket generál. Itt a végfelhasználók privát fiókokat hozhatnak létre, személyes fotókat tölthetnek fel, majd azokhoz a képekhez kapcsolódó tartalmat hozhatnak létre (például létrehozhatnak egy képet, amely a végfelhasználót egy karddal hadonászó motoron ábrázolja, vagy egzotikus helyen tartózkodik). Ebben a forgatókönyvben a fogyasztó által tervezett generatív AI-alkalmazásnak API-kon keresztül interakcióba kell lépnie a finomhangoló háttérrendszerrel, hogy ezt a funkcionalitást a végfelhasználókhoz eljuttassa.
Mielőtt azonban ebbe belemerülnénk, először koncentráljunk a modellválasztás, a tesztelés, a használat, a bemeneti és kimeneti interakció, valamint a minősítés útjára, amint az a következő ábrán látható.
1. lépés: Ismerje meg a legjobb FM-képességeket
Az alapozási modellek kiválasztásakor számos dimenziót kell figyelembe venni, a felhasználási esettől, a rendelkezésre álló adatoktól, az előírásoktól és így tovább. Egy jó ellenőrző lista, bár nem teljes körű, a következő lehet:
- Saját vagy nyílt forráskódú FM – A szabadalmaztatott modellek gyakran pénzügyi költségekkel járnak, de jellemzően jobb teljesítményt nyújtanak (a generált szöveg vagy kép minőségét tekintve), amelyeket gyakran a modellszolgáltatók elkötelezett csapatai fejlesztenek és tartanak fenn, akik biztosítják az optimális teljesítményt és megbízhatóságot. Másrészt látjuk a nyílt forráskódú modellek elfogadását is, amelyek az ingyenességen kívül további előnyöket kínálnak az elérhetőség és rugalmasság révén (például minden nyílt forráskódú modell finomhangolható). A szabadalmaztatott modellre példa az Anthropic Claude modellje, a nagy teljesítményű nyílt forráskódú modellre pedig a Falcon-40B, 2023 júliusától.
- Kereskedelmi engedély – Az engedélyezési szempontok döntőek az FM kiválasztásakor. Fontos megjegyezni, hogy egyes modellek nyílt forráskódúak, de nem használhatók kereskedelmi célokra az engedélyezési korlátozások vagy feltételek miatt. A különbségek finomak lehetnek: Az újonnan megjelent xgen-7b-8k-bázis a modell például nyílt forráskódú és kereskedelmileg használható (Apache-2.0 licenc), míg a modell utasításokkal finomított változata xgen-7b-8k-inst csak kutatási célokra adják ki. Kereskedelmi alkalmazáshoz FM kiválasztásakor elengedhetetlen, hogy ellenőrizze a licencszerződést, megértse annak korlátait, és gondoskodjon arról, hogy összhangban legyen a projekt tervezett felhasználásával.
- paraméterek – A paraméterek száma, amely a neurális hálózat súlyozásaiból és torzításaiból áll, szintén kulcsfontosságú tényező. A több paraméter általában összetettebb és potenciálisan erőteljesebb modellt jelent, mivel bonyolultabb mintákat és összefüggéseket képes rögzíteni az adatokban. A kompromisszum azonban az, hogy több számítási erőforrást igényel, és ezért többe kerül a működtetése. Ezen túlmenően tendenciát tapasztalunk a kisebb modellek irányába, különösen a nyílt forráskódú területen (7–40 milliárdos modellek), amelyek jól teljesítenek, különösen finomhangolás esetén.
- Sebesség – Egy modell sebességét a mérete befolyásolja. A nagyobb modellek általában lassabban dolgozzák fel az adatokat (magasabb késleltetés) a megnövekedett számítási bonyolultság miatt. Ezért kulcsfontosságú egyensúlyba hozni a nagy prediktív képességgel rendelkező modellek (gyakran nagyobb modellek) iránti igényt a sebesség gyakorlati követelményeivel, különösen az olyan alkalmazásokban, mint a chat-botok, amelyek valós idejű vagy közel valós idejű válaszokat igényelnek.
- Kontextusablak mérete (tokenek száma) – A kontextusablak, amelyet a promptonként be- vagy kiírható tokenek maximális száma határoz meg, kulcsfontosságú annak meghatározásában, hogy a modell mennyi kontextust tud egyszerre figyelembe venni (angol nyelvre egy token nagyjából 0.75 szót jelent). A nagyobb kontextusablakkal rendelkező modellek képesek megérteni és létrehozni hosszabb szövegsorozatokat, ami hasznos lehet hosszabb beszélgetéseket vagy dokumentumokat tartalmazó feladatoknál.
- Képzési adatkészlet – Azt is fontos megérteni, hogy az FM milyen adatokra tanított. Egyes modellek különféle szöveges adatkészletekre taníthatók, például internetes adatokra, kódoló szkriptekre, utasításokra vagy emberi visszajelzésekre. Mások multimodális adatkészletekre, például szöveg- és képadatok kombinációira is képzést kaphatnak. Ez befolyásolhatja a modell alkalmasságát különböző feladatokra. Ezen túlmenően egy szervezetnek lehetnek szerzői jogi aggályai attól függően, hogy a modellt pontosan milyen forrásból képezték ki – ezért kötelező alaposan megvizsgálni a képzési adatkészletet.
- Minőség – Az FM minősége változhat a típusától (tulajdonos vagy nyílt forráskódú), a méretétől és attól függően, hogy mitől lett kiképezve. A minőség kontextusfüggő, ami azt jelenti, hogy ami az egyik alkalmazásnál jó minőségűnek számít, az nem biztos, hogy egy másik alkalmazásnál az. Például egy internetes adatokra kiképzett modell jó minőségűnek tekinthető társalgási szöveg létrehozásához, de kevésbé a technikai vagy speciális feladatokhoz.
- Finomhangolható – Az FM finomhangolása a modell súlyának vagy rétegeinek beállításával döntő tényező lehet. A finomhangolás lehetővé teszi, hogy a modell jobban alkalmazkodjon az alkalmazás konkrét környezetéhez, javítva a teljesítményt az adott feladaton. A finomhangolás azonban további számítási erőforrásokat és műszaki szakértelmet igényel, és nem minden modell támogatja ezt a funkciót. A nyílt forráskódú modellek (általában) mindig finomhangolhatók, mivel a modelltermékek letölthetők, és a felhasználók tetszés szerint bővíthetik és használhatják őket. A szabadalmaztatott modellek néha lehetőséget kínálnak a finomhangolásra.
- Meglévő ügyfélkészségek – Az FM kiválasztását befolyásolhatja az ügyfél vagy a fejlesztőcsapat készségei és hozzáértése is. Ha egy szervezet csapatában nincsenek AI/ML-szakértők, akkor egy API-szolgáltatás megfelelőbb lehet számukra. Ezenkívül, ha egy csapatnak széleskörű tapasztalata van egy adott FM-mel kapcsolatban, hatékonyabb lehet tovább használni azt, ahelyett, hogy időt és erőforrásokat fektetne be a tanulásba és az újhoz való alkalmazkodásba.
Az alábbiakban egy példa két szűkített listára mutatunk be, egyet a szabadalmaztatott modellekhez, egyet pedig a nyílt forráskódú modellekhez. Hasonló táblázatokat állíthat össze sajátos igényei alapján, hogy gyors áttekintést kapjon a rendelkezésre álló lehetőségekről. Vegye figyelembe, hogy ezeknek a modelleknek a teljesítménye és paraméterei gyorsan változnak, és az olvasás idejére elavulhatnak, míg más képességek fontosak lehetnek bizonyos ügyfelek számára, például a támogatott nyelv.
A következő példa az AWS-ben elérhető figyelemre méltó szabadalmaztatott FM-ekre (2023. július).
A következő példa az AWS-ben elérhető figyelemre méltó nyílt forráskódú FM-re (2023. július).
Miután összeállította a 10–20 lehetséges jelölt modell áttekintését, szükségessé válik a szűkített lista további finomítása. Ebben a részben egy olyan gyors mechanizmust javasolunk, amely két vagy három életképes végső modellt eredményez a következő fordulóban.
Az alábbi diagram a kezdeti listázási folyamatot mutatja be.
Jellemzően a prompt mérnökök, akik szakértők a kiváló minőségű promptok létrehozásában, amelyek lehetővé teszik az AI-modellek számára, hogy megértsék és feldolgozzák a felhasználói bemeneteket, különféle módszerekkel kísérleteznek, hogy elvégezzék ugyanazt a feladatot (például összegzést) egy modellen. Javasoljuk, hogy ezeket a promptokat ne menet közben hozzák létre, hanem szisztematikusan vegyék ki őket egy prompt katalógusból. Ez a prompt-katalógus egy központi hely a felszólítások tárolására a replikációk elkerülése, a verziókezelés engedélyezése és a promptok csapaton belüli megosztása érdekében, hogy biztosítsa a konzisztenciát a különböző prompt-tesztelők között a különböző fejlesztési szakaszokban, amelyet a következő részben mutatunk be. Ez a prompt katalógus egy szolgáltatástároló Git-tárházához hasonló. A generatív mesterséges intelligencia fejlesztőjének, aki potenciálisan ugyanaz a személy lehet, mint az azonnali mérnök, ezután értékelnie kell a kimenetet, hogy megállapítsa, alkalmas lenne-e az általa fejleszteni kívánt generatív AI alkalmazáshoz.
2. lépés. Tesztelje és értékelje a legjobb FM-et
Miután a szűkített lista körülbelül három FM-re csökkent, javasolunk egy értékelési lépést az FM-ek képességeinek és az adott használati esetre való alkalmasságának további tesztelésére. Az értékelési adatok elérhetőségétől és jellegétől függően különböző módszereket javasolunk, amint azt a következő ábra szemlélteti.
Az elsőként használandó módszer attól függ, hogy vannak-e címkézett tesztadatok vagy sem.
Ha rendelkezik címkézett adatokkal, felhasználhatja a modell kiértékeléséhez, ahogyan a hagyományos ML modelleknél tesszük (vigyen be néhány mintát, és hasonlítsa össze a kimenetet a címkékkel). Attól függően, hogy a tesztadatok diszkrét címkéket tartalmaznak (például pozitív, negatív vagy semleges hangulatelemzés), vagy strukturálatlan szövegek (például összegzés), különböző módszereket javasolunk az értékeléshez:
- Pontossági mutatók – Diszkrét kimenetek esetén (például hangulatelemzés) használhatunk szabványos pontossági mérőszámokat, mint például a precizitás, a visszahívás és az F1 pontszám
- Hasonlósági mutatók – Ha a kimenet strukturálatlan (például összefoglaló), hasonlósági mérőszámokat javasolunk, mint például a ROUGE és a koszinusz hasonlóság
Egyes használati esetek nem alkalmasak arra, hogy egyetlen igaz választ kapjanak (például: „Készítsen rövid gyermekmesét az 5 éves lányomnak”). Ilyen esetekben nagyobb kihívást jelent a modellek kiértékelése, mivel nincsenek címkézett tesztadatok. Két megközelítést javasolunk, attól függően, hogy mennyire fontos a modell emberi felülvizsgálata az automatizált értékeléssel szemben:
- Human-in-the-Loop (HIL) – Ebben az esetben egy gyorstesztelő csapat fogja átnézni a modell válaszait. Attól függően, hogy mennyire kritikus az alkalmazás, a prompt tesztelők áttekinthetik a modell kimeneteinek 100%-át vagy csak egy mintát.
- LLM-alapú értékelés – Ebben a forgatókönyvben az azonnali tesztelőket egy LLM váltja fel, ideális esetben az, amelyik erősebb (bár talán lassabb és legköltségesebb), mint a tesztelt. Az LLM felülvizsgálja az összes modell által generált választ, és pontozza azokat. Ez a módszer gyengébb minőséget eredményezhet, de ez egy olcsóbb és gyorsabb kiértékelési lehetőség, amely jó kezdeti mércét adhat a modellek teljesítményére.
Például használhatjuk a következő példapromptot egy LLM-hez, amely tartalmazza a beviteli lekérdezést, az LLM-választ és az utasításokat: „Szeretnénk visszajelzést kérni egy AI-asszisztens teljesítményéről a fent megjelenített felhasználói kérdésre válaszolva. . Kérjük, értékelje az asszisztens válaszának segítőkészségét, relevanciáját, pontosságát, részletezettségét. Az asszisztens 1-től 10-ig terjedő skálán összpontszámot kap, ahol a magasabb pontszám jobb általános teljesítményt jelent.”
Ezt a promptot egy másik LLM-nek (az EvalLLM-nek) küldjük el értékelésre. A következő példa egy olyan példa, ahol a Falcon-40B modell válaszát egy EvalLLM (jelen esetben Claude) értékelte. A „Mi lenne, ha a Szuezi-csatorna soha nem épült volna meg?” kérdést használjuk? A válasz a következő:
Kérdés: Mi lenne, ha a Szuezi-csatorna soha nem épült volna meg?
sólyom-40b-utasít
Ha a Szuezi-csatorna soha nem épült volna meg, a hajóknak Afrikát kellene körbejárniuk, hogy a Földközi-tenger és a Vörös-tenger között hajózhassanak. Ez jelentős időt és távolságot növelne az utazáshoz, ami kevésbé hatékony és drágább lesz. Ráadásul a Szuezi-csatorna nélkül a Közel-Kelet és Észak-Afrika számos országa sokkal kevésbé csatlakozott volna a világ többi részéhez, ami akadályozta volna a gazdasági és kulturális fejlődést.
Véleményezés (pontszám: 9/10)
Az asszisztens válasza nagyon releváns, pontos és részletes. Kiváló választ ad a felhasználónak a Szuezi-csatorna nem létezésével kapcsolatos hipotetikus kérdésére. Az asszisztens helyesen mutat rá a tengeri utazásra, valamint a Közel-Keletre és Észak-Afrikára gyakorolt gazdasági és kulturális hatásokra. Átfogóbb válasz érdekében azonban tovább dolgozhatta volna a geopolitikai következményeket vagy a globális kereskedelmi mintákra gyakorolt hatást.
A következő ábra a végpontok közötti kiértékelési folyamat példáját szemlélteti.
A példa alapján a kiértékelés végrehajtásához meg kell adnunk a példapromptokat, amelyeket a prompt katalógusban tárolunk, és egy kiértékelést, címkézett vagy címkézetlen adatkészletet az adott alkalmazásaink alapján. Például egy címkézett kiértékelési adatkészlettel olyan promptokat (beviteli és lekérdezési) tudunk biztosítani, mint például: „Adja meg az Egyesült Királyság miniszterelnökének teljes nevét 2023-ban”, valamint kimeneteket és válaszokat, például „Rishi Sunak”. Egy címkézetlen adatkészlet esetén csak a kérdést vagy az utasítást adjuk meg, például „A kiskereskedelmi webhely forráskódjának létrehozása”. A prompt katalógus és az értékelési adatkészlet kombinációját nevezzük a értékelési prompt katalógus. Azért teszünk különbséget a prompt katalógus és az értékelési prompt katalógus között, mert az utóbbi egy adott használati esetre vonatkozik, nem pedig az általános promptok és utasítások (például a kérdés megválaszolása) helyett, amelyeket a prompt katalógus tartalmaz.
Ezzel az értékelési prompt katalógussal a következő lépés az értékelési promptok eljuttatása a legjobb FM-ekhez. Az eredmény egy kiértékelési eredmény adatkészlet, amely tartalmazza az egyes FM-ek promptjait, kimeneteit és a címkézett kimenetet pontszámmal együtt (ha van ilyen). Egy címkézetlen értékelési prompt katalógus esetén van egy további lépés a HIL vagy LLM számára, hogy áttekintse az eredményeket, és adjon pontszámot és visszajelzést (ahogyan korábban leírtuk). A végeredmény olyan összesített eredmények lesz, amelyek egyesítik az összes kimenet pontszámát (az átlagos pontosság vagy az emberi értékelés kiszámítása), és lehetővé teszik a felhasználók számára a modellek minőségének összehasonlítását.
Az értékelési eredmények összegyűjtése után több dimenzió alapján javasoljuk a modell kiválasztását. Ezek általában olyan tényezőkre vezethetők vissza, mint a pontosság, a sebesség és a költségek. A következő ábra egy példát mutat be.
Mindegyik modellnek megvannak az erősségei és bizonyos kompromisszumok e dimenziók mentén. A használati esettől függően különböző prioritásokat kell rendelnünk ezekhez a dimenziókhoz. Az előző példában úgy döntöttünk, hogy a költséget tekintjük a legfontosabb tényezőnek, ezt követi a pontosság, majd a sebesség. Annak ellenére, hogy lassabb és nem olyan hatékony, mint az FM1, továbbra is kellően hatékony és lényegesen olcsóbb a hosztolása. Következésképpen az FM2-t választhatjuk a legjobb választásnak.
3. lépés: Fejlessze a generatív AI-alkalmazás háttér- és előfelületét
Ezen a ponton a generatív mesterséges intelligencia fejlesztői gyors mérnökök és tesztelők segítségével kiválasztották az adott alkalmazáshoz megfelelő FM-et. A következő lépés a generatív AI alkalmazás fejlesztésének megkezdése. A generatív AI-alkalmazás fejlesztését két rétegre, egy háttér- és egy front-endre különítettük el, amint az a következő ábrán látható.
A háttérben a generatív mesterséges intelligencia fejlesztői beépítik a kiválasztott FM-et a megoldásokba, és a prompt mérnökökkel együttműködve létrehozzák az automatizálást, amely a végfelhasználói bemenetet megfelelő FM promptokká alakítja. A prompt tesztelők létrehozzák a szükséges bejegyzéseket a prompt katalógusban az automatikus vagy manuális (HIL vagy LLM) teszteléshez. Ezután a generatív mesterséges intelligencia fejlesztői létrehozzák az azonnali láncolási és alkalmazási mechanizmust, hogy biztosítsák a végső kimenetet. Az azonnali láncolás ebben az összefüggésben dinamikusabb és környezettudatosabb LLM-alkalmazások létrehozására szolgáló technika. Úgy működik, hogy egy összetett feladatot kisebb, jobban kezelhető részfeladatokra bont. Például, ha feltesszük egy LLM-nek azt a kérdést, hogy „Hol született az Egyesült Királyság miniszterelnöke, és milyen messze van az a hely Londontól”, akkor a feladat egyedi promptokra bontható, ahol a válasz alapján prompt építhető. egy korábbi gyors értékelésről, például „Ki az Egyesült Királyság miniszterelnöke”, „Hogy van a szülőhelyük” és „Milyen messze van ez a hely Londontól?” Egy bizonyos bemeneti és kimeneti minőség biztosítása érdekében a generatív mesterséges intelligencia fejlesztőinek létre kell hozniuk a végfelhasználói bemenetek és alkalmazások kimeneteinek figyelésére és szűrésére szolgáló mechanizmust is. Ha például az LLM-alkalmazásnak el kell kerülnie a mérgező kéréseket és válaszokat, akkor toxicitásérzékelőt alkalmazhat a bemenetre és a kimenetre, és kiszűrheti azokat. Végül egy minősítési mechanizmust kell biztosítaniuk, amely támogatja az értékelési prompt katalógus jó és rossz példákkal való kiegészítését. E mechanizmusok részletesebb bemutatása a következő bejegyzésekben lesz bemutatva.
Ahhoz, hogy a funkcionalitást a generatív mesterségesintelligencia végfelhasználó számára biztosítsuk, szükség van egy olyan frontend webhely fejlesztésére, amely együttműködik a háttérrel. Ezért a DevOps és AppDevs (alkalmazásfejlesztők a felhőben) személyeknek követniük kell a legjobb fejlesztési gyakorlatokat a bemeneti/kimeneti és értékelési funkciók megvalósításához.
Ezen az alapfunkción túlmenően a frontendnek és a háttérrendszernek tartalmaznia kell a személyes felhasználói fiókok létrehozását, az adatok feltöltését, a finomhangolás fekete dobozként történő kezdeményezését, valamint az alap FM helyett a személyre szabott modell használatát. A generatív AI-alkalmazások előállítása hasonló a normál alkalmazáshoz. A következő ábra egy példa architektúrát mutat be.
Ebben az architektúrában a generatív AI-fejlesztők, felszólító mérnökök és DevOps-ok vagy AppDev-ek manuálisan hozzák létre és tesztelik az alkalmazást úgy, hogy CI/CD-n keresztül telepítik azt egy fejlesztői környezetbe (az előző ábrán a generatív AI App Dev), dedikált kódtárolók használatával, és egyesítik a fejlesztői ág. Ebben a szakaszban a generatív mesterséges intelligencia fejlesztők a megfelelő FM-et fogják használni az API meghívásával, ahogy azt a finomhangoló FM-szolgáltatók biztosították. Ezután az alkalmazás széles körű teszteléséhez a kódot a tesztágba kell hirdetniük, amely elindítja a telepítést CI/CD-n keresztül a preprodukciós környezetbe (generatív AI App Pre-prod). Ebben a környezetben a prompt tesztelőknek nagy mennyiségű prompt kombinációt kell kipróbálniuk, és felül kell vizsgálniuk az eredményeket. A promptok, kimenetek és áttekintések kombinációját át kell helyezni az értékelési prompt katalógusba, hogy a jövőben automatizálhassuk a tesztelési folyamatot. Ezt a kiterjedt tesztet követően az utolsó lépés a generatív AI-alkalmazás CI/CD-n keresztül történő előállítása a fő ággal (generatív AI App Prod) való egyesítése révén. Vegye figyelembe, hogy az összes adatot, beleértve az azonnali katalógust, az értékelési adatokat és eredményeket, a végfelhasználói adatokat és a metaadatokat, valamint a finomhangolt modell metaadatokat, az adattóban vagy az adatháló rétegben kell tárolni. A CI/CD-folyamatokat és adattárakat külön eszközfiókban kell tárolni (hasonlóan az MLOp-oknál leírtakhoz).
A szolgáltatók útja
Az FM-szolgáltatóknak ki kell képezniük FM-eket, például mély tanulási modelleket. Számukra a végpontok közötti MLOps életciklusra és infrastruktúrára van szükség. Kiegészítésekre van szükség a történeti adatok előkészítésében, a modellértékelésben és a monitorozásban. Az alábbi ábra szemlélteti utazásukat.
A klasszikus ML-ben a történeti adatokat leggyakrabban az alapigazság ETL-csővezetékeken keresztül történő táplálásával hozzák létre. Például egy lemorzsolódás előrejelzése esetén az automatizálás frissíti az adatbázistáblát az ügyfél új állapota alapján, hogy automatikusan lemorzsolódik/nem lemorzsolódik. Az FM-ek esetében vagy több milliárd címkézett vagy címkézetlen adatpontra van szükségük. Szöveg-kép felhasználási esetekben egy adatcímkéző csoportnak manuálisan kell felcímkéznie a párokat. Ez egy drága gyakorlat, amely nagyszámú ember erőforrását igényel. Amazon SageMaker Ground Truth Plus címkézőkből álló csapatot biztosíthat ennek a tevékenységnek az elvégzéséhez. Bizonyos felhasználási esetekben ez a folyamat részben automatizálható is, például CLIP-szerű modellek használatával. LLM esetén, például szöveg-szövegként, az adatok címkézetlenek. Azonban fel kell őket készíteni, és követniük kell a meglévő, címkézetlen előzményadatok formátumát. Ezért adatszerkesztőkre van szükség a szükséges adatok előkészítéséhez és a konzisztencia biztosításához.
Az elkészített történeti adatokkal a következő lépés a modell betanítása és gyártása. Vegye figyelembe, hogy ugyanazok az értékelési technikák használhatók, amelyeket a fogyasztók esetében leírtunk.
A finomhangolók útja
A finomhangolók célja, hogy egy meglévő FM-et a sajátos környezetükhöz igazítsanak. Például egy FM-modell egy általános célú szöveget tud pontosan összefoglalni, de egy pénzügyi jelentést nem, vagy nem tud forráskódot generálni egy nem általános programozási nyelvhez. Ilyen esetekben a finomhangolóknak fel kell címkéznie az adatokat, finomhangolniuk kell a modellt egy betanítási feladat végrehajtásával, telepíteniük kell a modellt, tesztelniük kell a fogyasztói folyamatok alapján, és figyelniük kell a modellt. A következő diagram ezt a folyamatot szemlélteti.
Egyelőre két finomhangoló mechanizmus létezik:
- Finomhangolás – FM és címkézett adatok használatával a képzési feladat újraszámítja a mélytanulási modellrétegek súlyát és torzításait. Ez a folyamat számításigényes lehet, és reprezentatív mennyiségű adatot igényel, de pontos eredményeket hozhat.
- Paraméter-hatékony finomhangolás (PEFT) – Az összes súlyozás és torzítás újraszámítása helyett a kutatók kimutatták, hogy további kis rétegek hozzáadásával a mély tanulási modellekhez kielégítő eredményeket érhetnek el (pl. LoRA). A PEFT kisebb számítási teljesítményt igényel, mint a mélyreható finomhangolás és a kevesebb bemeneti adattal rendelkező betanítási feladat. Hátránya a potenciálisan kisebb pontosság.
A következő diagram ezeket a mechanizmusokat mutatja be.
Most, hogy meghatároztuk a két fő finomhangolási módszert, a következő lépés annak meghatározása, hogyan telepíthetjük és használhatjuk a nyílt forráskódú és szabadalmaztatott FM-et.
A nyílt forráskódú FM-ek esetében a finomhangolók letölthetik a modell műtermékét és a forráskódot a webről, például a Átölelő arcmodell központ. Ez rugalmasságot biztosít a modell mélyreható finomhangolásához, a helyi modellnyilvántartásban való tárolásához és egy Amazon SageMaker végpont. Ehhez a folyamathoz internetkapcsolat szükséges. A biztonságosabb környezetek támogatása érdekében (például a pénzügyi szektorban dolgozó ügyfelek számára) letöltheti a modellt a helyszínen, lefuttathatja az összes szükséges biztonsági ellenőrzést, és feltöltheti azokat egy AWS-fiók helyi tárolójába. Ezután a finomhangolók internetkapcsolat nélkül használják az FM-et a helyi sávból. Ez biztosítja az adatvédelmet, és az adatok nem terjednek az interneten. A következő ábra ezt a módszert szemlélteti.
A szabadalmaztatott FM-ek esetében a telepítési folyamat eltérő, mivel a finomhangolók nem férnek hozzá a modellműtermékhez vagy a forráskódhoz. A modelleket saját FM-szolgáltató AWS-fiókjaiban és modell-nyilvántartásaiban tárolják. Egy ilyen modell SageMaker-végponton való üzembe helyezéséhez a finomhangolók csak azt a modellcsomagot kérhetik le, amely közvetlenül egy végpontra lesz telepítve. Ez a folyamat megköveteli, hogy az ügyféladatokat a saját FM-szolgáltatók fiókjaiban használják fel, ami kérdéseket vet fel azzal kapcsolatban, hogy a távoli fiókokban finomhangoláshoz használnak ügyfélérzékeny adatokat, és hogy a modelleket több ügyfél között megosztott modellnyilvántartásban tárolják. . Ez több bérlési problémához vezet, amely még nagyobb kihívást jelent, ha a szabadalmaztatott FM-szolgáltatóknak ki kell szolgálniuk ezeket a modelleket. Ha a finomhangolók használják Amazon alapkőzet, ezek a kihívások megoldódnak – az adatok nem terjednek az interneten, és az FM-szolgáltatók nem férnek hozzá a finomhangolók adataihoz. Ugyanezek a kihívások a nyílt forráskódú modellekre is vonatkoznak, ha a finomhangolók több ügyfél modelljeit akarják kiszolgálni, mint például a korábban bemutatott példa a weboldalnál, amelyre ügyfelek ezrei fognak személyre szabott képeket feltölteni. Ezek a forgatókönyvek azonban ellenőrizhetőnek tekinthetők, mivel csak a finomhangoló érintett. A következő ábra ezt a módszert szemlélteti.
Technológiai szempontból az architektúra, amelyet a finomhangolónak támogatnia kell, olyan, mint az MLOp-é (lásd a következő ábrát). A finomhangolást a fejlesztőben kell végrehajtani ML folyamatok létrehozásával, például a használatával Amazon SageMaker csővezetékek; előfeldolgozás, finomhangolás (képzési munka), és utófeldolgozás elvégzése; és a finomhangolt modellek elküldése egy helyi modellnyilvántartásba nyílt forráskódú FM esetén (ellenkező esetben az új modell a védett FM-szolgáltató környezetbe kerül tárolásra). Ezután az előgyártás során tesztelnünk kell a modellt a fogyasztói forgatókönyvhöz leírtak szerint. Végül a modellt prod-ban szolgálják ki és figyelik. Vegye figyelembe, hogy a jelenlegi (finomhangolt) FM-hez GPU-példányvégpontokra van szükség. Ha minden finomhangolt modellt külön végpontra kell telepítenünk, ez több száz modell esetén megnövelheti a költségeket. Ezért több modellből álló végpontokat kell használnunk, és meg kell oldanunk a több bérlési kihívást.
A finomhangolók egy FM-modellt egy adott kontextus alapján adaptálnak, hogy üzleti céljukra használják fel. Ez azt jelenti, hogy a legtöbbször a finomhangolók egyúttal fogyasztók is, akiknek támogatniuk kell az összes réteget, amint azt az előző szakaszokban leírtuk, beleértve a generatív AI-alkalmazásfejlesztést, a Data Lake-et és az adathálót, valamint az MLOp-okat.
A következő ábra azt a teljes FM-finomhangolási életciklust mutatja be, amelyre a finomhangolóknak szükségük van a generatív AI végfelhasználó számára.
A következő ábra a legfontosabb lépéseket szemlélteti.
A legfontosabb lépések a következők:
- A végfelhasználó létrehoz egy személyes fiókot, és feltölti a személyes adatokat.
- Az adatokat a Data Lake-ben tárolják, és előfeldolgozásuk az FM által elvárt formátum szerint történik.
- Ez elindít egy finomhangoló ML folyamatot, amely hozzáadja a modellt a modellnyilvántartáshoz,
- Innentől kezdve a modellt vagy minimális teszteléssel állítják be a gyártásba, vagy a modell kiterjedt tesztelést hajt végre HIL és kézi jóváhagyási kapukkal.
- A finomhangolt modell elérhetővé válik a végfelhasználók számára.
Mivel ez az infrastruktúra bonyolult a nem vállalati ügyfelek számára, az AWS kiadta az Amazon Bedrock-ot, hogy tehermentesítse az ilyen architektúrák létrehozására irányuló erőfeszítéseket, és közelebb hozza a finomhangolt FM-eket a termeléshez.
FMOps és LLMOps személyiségek és folyamatok megkülönböztetői
Az előző felhasználói típusú utak (fogyasztó, gyártó és finomhangoló) alapján új, speciális képességekkel rendelkező személyekre van szükség, amint azt a következő ábra szemlélteti.
Az új szereplők a következők:
- Adatcímkézők és szerkesztők – Ezek a felhasználók címkéznek adatokat, például párokat, vagy címkézetlen adatokat, például szabad szöveget készítenek elő, és kiterjesztik a fejlett analitikai csapatot és a Data Lake környezeteket.
- Finomhangolók – Ezek a felhasználók mély ismeretekkel rendelkeznek az FM-ekről, és tudják, hogyan hangolják őket, így bővítve a klasszikus ML-re összpontosító adattudományi csapatot.
- Generatív AI fejlesztők – Mély ismeretekkel rendelkeznek az FM-ek kiválasztásában, a promptok és alkalmazások láncolásában, valamint a bemenetek és kimenetek szűrésében. Egy új csapathoz tartoznak – a generatív AI-alkalmazási csapathoz.
- Gyors mérnökök – Ezek a felhasználók megtervezik a bemeneti és kimeneti promptokat, hogy a megoldást a környezethez igazítsák, és teszteljék és létrehozzák a prompt katalógus kezdeti verzióját. Csapatuk a generatív mesterséges intelligencia alkalmazási csapata.
- Gyors tesztelők – Méretben tesztelik a generatív mesterségesintelligencia-megoldást (backend és frontend), és eredményeiket továbbítják az azonnali katalógus és kiértékelési adatkészlet bővítéséhez. Csapatuk a generatív mesterséges intelligencia alkalmazási csapata.
- AppDev és DevOps – Ők fejlesztik a generatív AI-alkalmazás kezelőfelületét (például weboldalt). Csapatuk a generatív mesterséges intelligencia alkalmazási csapata.
- Generatív AI végfelhasználók – Ezek a felhasználók fekete dobozként használják a generatív mesterséges intelligencia alkalmazásokat, megosztanak adatokat, és értékelik a kimenet minőségét.
Az MLOps folyamattérkép kiterjesztett változata a generatív mesterséges intelligencia beépítésére a következő ábrán látható.
Egy új alkalmazási réteg az a környezet, ahol a generatív mesterségesintelligencia-fejlesztők, mérnökök és tesztelők, valamint az AppDevs létrehozták a generatív AI-alkalmazások hátterét és előterét. A generatív AI végfelhasználók az interneten (például webes felhasználói felületen) keresztül lépnek kapcsolatba a generatív AI-alkalmazásokkal. Másrészt az adatcímkézőknek és -szerkesztőknek az adatokat elő kell feldolgozniuk anélkül, hogy hozzáférnének az adattó vagy adatháló hátteréhez. Ezért az adatokkal való biztonságos interakcióhoz webes felhasználói felületre (webhelyre) van szükség szerkesztővel. A SageMaker Ground Truth ezt a funkciót a dobozból kivéve biztosítja.
Következtetés
Az MLOps segíthet az ML modellek hatékony előállításában. A generatív AI-alkalmazások működéséhez azonban további készségekre, folyamatokra és technológiákra van szüksége, ami az FMOps-hoz és az LLMOp-hoz vezet. Ebben a bejegyzésben meghatároztuk az FMOps és LLMOps főbb fogalmait, és leírtuk az MLOps képességeihez viszonyított főbb különbségeket az emberek, a folyamatok, a technológia, az FM-modell kiválasztása és az értékelés szempontjából. Továbbá bemutattuk egy generatív AI-fejlesztő gondolkodási folyamatát és egy generatív AI-alkalmazás fejlesztési életciklusát.
A jövőben az általunk tárgyalt tartományon belüli megoldások biztosítására fogunk összpontosítani, és további részleteket fogunk közölni arról, hogyan integrálhatjuk az FM-figyelést (például toxicitás, torzítás és hallucináció) és a harmadik féltől származó vagy privát adatforrás-architektúra mintákat, mint pl. Retrieval Augmented Generation (RAG), FMOps/LLMOps-ba.
További információért lásd: MLOps alapítványi ütemterv az Amazon SageMakerrel rendelkező vállalkozások számára és próbálja ki a végpontok közötti megoldást MLOps gyakorlatok megvalósítása Amazon SageMaker JumpStart előre betanított modellekkel.
Ha bármilyen észrevétele vagy kérdése van, kérjük, tegye meg a megjegyzés rovatban.
A szerzőkről
Dr. Sokratis Kartakis az Amazon Web Services vezető gépi tanulási és üzemeltetési specialistája. A Sokratis arra összpontosít, hogy a vállalati ügyfelek számára lehetővé tegye gépi tanulási (ML) megoldásaik iparosítását az AWS-szolgáltatások kiaknázásával és működési modelljük, azaz az MLOps alapja, valamint az átalakítási ütemterv kialakításával a legjobb fejlesztési gyakorlatok felhasználásával. Több mint 15 évet töltött innovatív, teljes körű termelési szintű ML és Internet of Things (IoT) megoldások feltalálásával, tervezésével, vezetésével és bevezetésével az energia, a kiskereskedelem, az egészségügy, a pénzügy/bankügy, a motorsport stb. területén. Sokratis szívesen tölti szabadidejét családjával és barátaival, vagy motorozással.
Heiko Hotz a mesterséges intelligencia és a gépi tanulás vezető megoldások építésze, különös tekintettel a természetes nyelvi feldolgozásra, a nagy nyelvi modellekre és a generatív mesterséges intelligenciára. Ezt megelőzően az Amazon EU-s ügyfélszolgálatának adattudományi vezetője volt. A Heiko segít ügyfeleinknek abban, hogy sikeresek legyenek az AI/ML útjukon az AWS-ben, és számos iparágban dolgozott együtt szervezetekkel, beleértve a biztosítást, a pénzügyi szolgáltatásokat, a médiát és a szórakoztatást, az egészségügyet, a közműveket és a gyártást. Szabadidejében Heiko minél többet utazik.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- ChartPrime. Emelje fel kereskedési játékát a ChartPrime segítségével. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/fmops-llmops-operationalize-generative-ai-and-differences-with-mlops/
- :van
- :is
- :nem
- :ahol
- $ UP
- 1
- 10
- 100
- 2023
- 23
- 7
- 75
- a
- képesség
- Képes
- Rólunk
- felett
- KIVONAT
- hozzáférés
- hozzáférhető
- Hozzáférés
- Fiók
- Fiókok
- pontosság
- pontos
- pontosan
- Elérése
- cselekvések
- tevékenység
- alkalmazkodni
- alkalmazkodás
- hozzá
- hozzáadásával
- mellett
- További
- Ezen kívül
- kiegészítések
- Hozzáteszi
- igazgatás
- Örökbefogadás
- fejlett
- Afrika
- Után
- Megállapodás
- AI
- AI és gépi tanulás
- AI asszisztens
- AI modellek
- AI szolgáltatások
- ai használati esetek
- AI / ML
- cél
- Igazítás
- Minden termék
- lehetővé
- lehetővé teszi, hogy
- mentén
- már
- Is
- Bár
- mindig
- amazon
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Az Amazon Web Services
- között
- összeg
- an
- elemzés
- analitika
- és a
- és az infrastruktúra
- Másik
- válasz
- válaszok
- bármilyen
- api
- API-k
- app
- Alkalmazás
- Application Development
- alkalmazások
- alkalmaz
- megközelítés
- megközelít
- megfelelő
- jóváhagyás
- körülbelül
- építészek
- építészeti
- építészet
- VANNAK
- körül
- AS
- értékelése
- Helyettes
- At
- ellenőrzött
- könyvvizsgálók
- bővített
- automatizált
- Automatizált
- Automatikus
- automatikusan
- Automatizálás
- elérhetőség
- elérhető
- átlagos
- elkerülése érdekében
- AWS
- háttér
- Rossz
- Egyenleg
- alapján
- alapvető
- BE
- mert
- válik
- válik
- óta
- előtt
- hogy
- benchmark
- Előnyök
- BEST
- Jobb
- között
- előítélet
- torzítások
- Billió
- milliárd
- Fekete
- született
- kölcsönkér
- mindkét
- botok
- Doboz
- dobozok
- Ág
- Törés
- tömören
- Bringing
- Törött
- épít
- Épület
- épült
- üzleti
- de
- by
- számít
- hívás
- hívott
- hívás
- TUD
- jelölt
- jelöltek
- képességek
- képesség
- elfog
- eset
- esetek
- katalógus
- kategóriák
- központi
- központosított
- bizonyos
- kihívás
- kihívások
- kihívást
- változik
- chatbots
- olcsóbb
- Ellenőrzések
- választás
- választja
- klasszikus
- szorosan
- közelebb
- Ruházat
- felhő
- kód
- Kódolás
- együttműködik
- kombináció
- kombinációk
- össze
- hogyan
- Hozzászólások
- kereskedelmi
- kereskedelemben
- Közös
- összehasonlítani
- képest
- teljes
- befejezés
- bonyolult
- bonyolultság
- teljesítés
- engedékeny
- összetétel
- átfogó
- számítási teljesítmény
- számítógép
- összpontosít
- koncepció
- fogalmak
- aggodalmak
- Körülmények
- Magatartás
- lefolytatott
- összefüggő
- kapcsolat
- Következésképpen
- Fontolja
- megfontolások
- figyelembe vett
- fogyaszt
- fogyasztó
- Fogyasztók
- fogyasztás
- Konténer
- tartalmaz
- tartalom
- tartalomalkotás
- kontextus
- folytatódik
- ellenőrzés
- társalgó
- beszélgetések
- copyright
- Megfelelő
- Költség
- drága
- kiadások
- tudott
- országok
- terjed
- fedett
- teremt
- készítette
- teremt
- létrehozása
- teremtés
- kritikai
- kritikus
- kulturális
- Jelenlegi
- szokás
- vevő
- ügyféladatok
- Vevőszolgálat
- Ügyfelek
- dátum
- adattó
- adat pontok
- Adatok előkészítése
- Adatvédelem
- adat-tudomány
- adatbázis
- adatkészletek
- decentralizált
- Döntés
- határozatok
- elszánt
- mély
- mély merülést
- mély tanulás
- meghatározott
- meghatározó
- definíció
- definíciók
- szállít
- ás
- Kereslet
- attól
- függ
- ábrázoló
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- leírni
- leírt
- leírás
- Design
- tervezett
- tervezés
- vágy
- kívánatos
- részletes
- részletek
- Határozzuk meg
- meghatározó
- Dev
- Fejleszt
- fejlett
- Fejlesztő
- fejlesztők
- fejlesztése
- Fejlesztés
- fejlesztői csapat
- különbségek
- különböző
- különbséget
- méretek
- közvetlenül
- megvitatni
- tárgyalt
- Megjelenik
- távolság
- merülés
- számos
- do
- dokumentumok
- Nem
- domain
- domainek
- ne
- le-
- letöltés
- hajtás
- két
- dinamikus
- e
- minden
- Korábban
- Keleti
- könnyű
- Gazdasági
- szerkesztő
- Hatékony
- hatékony
- eredményesen
- erőfeszítés
- bármelyik
- kidolgozott
- megválasztott
- lehetővé
- lehetővé téve
- végén
- végtől végig
- Endpoint
- energia
- mérnök
- Mérnöki
- Mérnökök
- Angol
- növelése
- biztosítására
- biztosítja
- Vállalkozás
- Vállalatok
- Szórakozás
- Környezet
- környezetek
- egyaránt
- különösen
- alapvető
- stb.
- EU
- értékelni
- értékelték
- értékelés
- Még
- Minden
- példa
- példák
- kiváló
- izgatott
- Gyakorol
- létező
- létezik
- Egzotikus
- elvárja
- drága
- tapasztalat
- kísérlet
- szakvélemény
- szakértők
- kiaknázása
- terjed
- kiterjedő
- kiterjesztés
- kiterjedt
- Átfogó tapasztalat
- alaposan
- kivonat
- f1
- Arc
- tényező
- tényezők
- bizalmasság
- család
- messze
- gyorsabb
- Funkció
- Visszacsatolás
- táplálás
- Ábra
- szűrő
- szűrő
- utolsó
- Végül
- pénzügyi
- pénzügyi jelentés
- Pénzügyi szektor
- pénzügyi szolgáltatások
- vezetéknév
- megfelelő
- Rugalmasság
- rugalmas
- Összpontosít
- összpontosított
- koncentrál
- összpontosítás
- következik
- követ
- következő
- következik
- A
- A fogyasztók számára
- forma
- formátum
- Alapítvány
- négy
- Ingyenes
- barátok
- ból ből
- front
- Front end
- frontend
- Tele
- funkcionalitás
- alapvető
- további
- Továbbá
- jövő
- Gates
- nyomtáv
- általános
- Általános rendeltetésű
- általában
- generál
- generált
- generál
- generáló
- generáció
- nemző
- Generatív AI
- geopolitikai
- kap
- megy
- adott
- ad
- Globális
- globális kereskedelem
- jó
- kormányzás
- GPU
- Földi
- kellett
- kéz
- hasznosítása
- Legyen
- tekintettel
- he
- fej
- Egészség
- egészségügyi
- segít
- segít
- itt
- Magas
- jó minőségű
- <p></p>
- nagyon
- övé
- történeti
- tart
- vendéglátó
- házigazdája
- Hogyan
- How To
- azonban
- HTML
- HTTPS
- emberi
- Több száz
- i
- ideálisan
- if
- illusztrálja
- kép
- képek
- képzeletbeli
- Hatás
- végre
- végrehajtási
- következményei
- fontosság
- fontos
- javuló
- in
- tartalmaz
- magában foglalja a
- Beleértve
- bele
- Növelje
- <p></p>
- jelzi
- mutatók
- egyéni
- iparágak
- befolyás
- befolyásolható
- Infrastruktúra
- kezdetben
- újító
- bemenet
- bemenet
- példa
- helyette
- utasítás
- biztosítás
- integrálni
- szándékolt
- kölcsönhatásba
- kölcsönható
- kölcsönhatás
- kölcsönhatásba lép
- Felület
- Internet
- Internet kapcsolat
- internet a dolgok
- bele
- bevezet
- befektetés
- részt
- bevonásával
- tárgyak internete
- IT
- ITS
- Munka
- utazás
- Journeys
- július
- éppen
- Kulcs
- kulcstényező
- Kedves
- Ismer
- tudás
- ismert
- Címke
- Címkék
- tó
- nyelv
- nagy
- nagyobb
- keresztnév
- Késleltetés
- réteg
- tojók
- vezető
- vezetékek
- TANUL
- tanulás
- Szabadság
- kölcsönöz
- kevesebb
- szint
- erőfölény
- könyvtárak
- Engedély
- Engedélyezés
- életciklus
- mint
- Kedvencek
- korlátozások
- LINK
- LLM
- kiszámításának
- helyi
- található
- elhelyezkedés
- London
- Hosszú
- hosszabb
- alacsonyabb
- gép
- gépi tanulás
- készült
- Fő
- fenntartása
- Többség
- Gyártás
- kezelhető
- kötelező
- kézikönyv
- kézzel
- gyártási
- sok
- térkép
- tömeges
- érettség
- maximális
- Lehet..
- me
- jelenti
- eszközök
- mechanizmus
- mechanizmusok
- Média
- Mediterrán életérzés
- említett
- egyesülő
- háló
- Metaadatok
- módszer
- Módszertan
- mód
- Metrics
- Középső
- Közel-Kelet
- esetleg
- minimum
- ML
- MLOps
- modell
- modellek
- monitor
- ellenőrizni
- ellenőrzés
- több
- hatékonyabb
- a legtöbb
- többnyire
- Motorsport
- mozog
- áthelyezve
- mozgalom
- sok
- többszörös
- zene
- kell
- my
- név
- Természetes
- Természetes nyelvi feldolgozás
- Természet
- Keresse
- elengedhetetlen
- Szükség
- szükséges
- igények
- negatív
- hálózat
- neurális hálózat
- Semleges
- soha
- Új
- újonnan
- következő
- NLP
- nem
- normális
- Északi
- figyelemre méltó
- szám
- megfigyelni
- of
- ajánlat
- felajánlott
- gyakran
- on
- Beszállás
- ONE
- azok
- csak
- nyitva
- nyílt forráskódú
- üzemeltetési
- Művelet
- optimálisan
- opció
- Opciók
- or
- szervezet
- szervezetek
- Más
- Egyéb
- másképp
- mi
- ki
- Eredmény
- teljesítmény
- felett
- átfogó
- áttekintés
- saját
- tulajdonos
- tulajdonosok
- csomag
- párok
- paraméterek
- minták
- Emberek (People)
- mert
- Teljesít
- teljesítmény
- előadó
- talán
- person
- személyes
- Személyre
- perspektíva
- fázis
- képek
- darab
- csővezeték
- Hely
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- pont
- pont
- Politikák
- pozitív
- birtokol
- lehetséges
- állás
- Hozzászólások
- potenciális
- potenciálisan
- hatalom
- erős
- Gyakorlati
- gyakorlat
- Pontosság
- előre
- előrejelzés
- Tippek
- előkészítés
- Készít
- előkészített
- előkészítése
- bemutatott
- előző
- korábban
- Első
- miniszterelnök
- elvek
- Előzetes
- Fontossági sorrendet
- magánélet
- magán
- Probléma
- folyamat
- Folyamatok
- feldolgozás
- Készült
- termelő
- Termékek
- Termelés
- Programozás
- program
- kellene támogatnia,
- bizonyíték
- bizonyíték a koncepcióra
- javasol
- szabadalmazott
- Bizonyít
- ad
- feltéve,
- ellátó
- szolgáltatók
- biztosít
- amely
- cél
- célokra
- kitolja
- kirakós játék
- világítás
- kérdés
- Kérdések
- Quick
- emelés
- hatótávolság
- kezdve
- gyorsan
- Arány
- Inkább
- értékelés
- Olvasás
- real-time
- ok
- kap
- ajánl
- Piros
- Csökkent
- finomítani
- tekintettel
- nyilvántartások
- iktató hivatal
- előírások
- összefüggő
- felszabaduló
- relevancia
- megbízhatóság
- maradványok
- távoli
- helyébe
- jelentést
- raktár
- képviselet
- reprezentatív
- kérni
- kéri
- kötelező
- követelmények
- megköveteli,
- kutatás
- kutatók
- Tudástár
- illetőleg
- válasz
- válaszok
- felelős
- REST
- korlátozások
- Korlátozó
- eredményez
- Eredmények
- kiskereskedelem
- újra
- Kritika
- felül
- lovaglás
- jobb
- ütemterv
- Szerep
- szerepek
- nagyjából
- körül
- futás
- futás
- sagemaker
- azonos
- sandbox
- Skála
- skálázás
- forgatókönyv
- forgatókönyvek
- Tudomány
- tudósok
- pontszám
- kaparni
- szkriptek
- SEA
- Rész
- szakaszok
- szektor
- biztonság
- biztosan
- biztonság
- biztonsági politikák
- lát
- keres
- kiválasztott
- kiválasztása
- kiválasztás
- elküldés
- idősebb
- küldött
- érzés
- különálló
- Sorozat
- Series of
- szolgál
- szolgáltatás
- Szolgáltatások
- szolgáló
- készlet
- számos
- formálás
- Megosztás
- megosztott
- hajók
- rövid
- kellene
- mutatott
- Műsorok
- oldal
- jelentős
- jelentősen
- hasonló
- egyszerűsítése
- Méret
- készségek
- kicsi
- kisebb
- KKV-k
- So
- megoldások
- Megoldások
- SOLVE
- néhány
- forrás
- forráskód
- Források
- Hely
- speciális
- szakember
- specializált
- különleges
- kifejezetten
- sebesség
- költ
- költött
- Színpad
- állapota
- érdekeltek
- standard
- szabványosítása
- kezdet
- Állapot
- Lépés
- Lépései
- tárolni
- memorizált
- tárolása
- Történet
- erősségek
- erős
- Később
- sikeres
- ilyen
- javasol
- alkalmasság
- megfelelő
- összegez
- ÖSSZEFOGLALÓ
- támogatás
- Támogatott
- feltételezett
- biztos
- SWIFT
- rendszer
- táblázat
- Vesz
- Feladat
- feladatok
- csapat
- csapat
- Műszaki
- technikák
- Technologies
- Technológia
- feltételek
- teszt
- kipróbált
- tesztelők
- Tesztelés
- mint
- hogy
- A
- A jövő
- The Source
- Az Egyesült Királyságban
- a világ
- azok
- Őket
- maguk
- akkor
- Ott.
- ebből adódóan
- Ezek
- ők
- dolgok
- Gondolkodás
- harmadik fél
- ezt
- azok
- bár?
- gondoltam
- ezer
- három
- idő
- nak nek
- együtt
- jelképes
- tokenek
- felső
- Témakörök
- felé
- kereskedelem
- hagyományos
- Vonat
- kiképzett
- Képzések
- Átalakítás
- Átalakítás
- utazás
- utazik
- tendencia
- kiváltó
- igaz
- igazság
- megpróbál
- kettő
- típus
- típusok
- jellemzően
- ui
- Uk
- megért
- megértés
- egység
- egységek
- Frissítés
- Feltöltés
- us
- használható
- Használat
- használ
- használati eset
- használt
- használó
- Felhasználók
- használ
- segítségével
- segédprogramok
- hasznosított
- különféle
- ellenőrzése
- változat
- Ellen
- függőleges
- keresztül
- életképes
- Képzeld
- vs
- akar
- volt
- we
- háló
- webes szolgáltatások
- weboldal
- JÓL
- Mit
- Mi
- amikor
- mivel
- vajon
- ami
- míg
- WHO
- széles
- Széleskörű
- lesz
- ablak
- ablakok
- val vel
- belül
- nélkül
- szó
- szavak
- Munka
- együtt dolgozni
- dolgozott
- dolgozó
- művek
- világ
- lenne
- év
- Hozam
- te
- A te
- zephyrnet