Használjon generatív AI-alapmodelleket VPC módban internetkapcsolat nélkül az Amazon SageMaker JumpStart | segítségével Amazon webszolgáltatások

A legújabb fejlesztésekkel generatív AI, sok vita folyik arról, hogyan lehet a generatív AI-t különböző iparágakban használni bizonyos üzleti problémák megoldására. A generatív mesterséges intelligencia egy olyan típusú mesterséges intelligencia, amely új tartalmakat és ötleteket hozhat létre, beleértve a beszélgetéseket, történeteket, képeket, videókat és zenét. Mindezt nagyon nagy modellek támasztják alá, amelyeket előre képzett hatalmas mennyiségű adatra, és amelyeket általában ún. alapozó modellek (FM-ek). Ezek az FM-ek a feladatok széles skáláját képesek elvégezni, amelyek több tartományra kiterjednek, például blogbejegyzéseket írhatnak, képeket generálhatnak, matematikai feladatokat oldhatnak meg, párbeszédet folytathatnak és kérdésekre válaszolhatnak egy dokumentum alapján. Az FM-ek mérete és általános célú jellege különbözteti meg őket a hagyományos ML-modellektől, amelyek jellemzően meghatározott feladatokat hajtanak végre, például szövegelemzést érzelmek szempontjából, képek osztályozását és trendek előrejelzését.

Miközben a szervezetek igyekeznek kihasználni ezeknek az FM-eknek az erejét, azt is szeretnék, hogy az FM-alapú megoldások saját védett környezetükben fussanak. Az olyan erősen szabályozott területeken működő szervezeteknek, mint a globális pénzügyi szolgáltatások, valamint az egészségügy és az élettudományok, auditív és megfelelőségi követelmények vonatkoznak arra, hogy környezetüket VPC-jükben működtetjék. Valójában sokszor még a közvetlen internet-hozzáférés is le van tiltva ezekben a környezetekben, hogy elkerülje a nem szándékos forgalomnak való kitettséget, mind a be-, mind a kilépést.

Amazon SageMaker JumpStart egy ML hub, amely algoritmusokat, modelleket és ML megoldásokat kínál. A SageMaker JumpStart segítségével az ML szakemberek a legjobban teljesítő nyílt forráskódú FM-ek egyre növekvő listájából választhatnak. Lehetőséget biztosít arra is, hogy ezeket a modelleket saját maga telepítse Virtuális magánfelhő (VPC).

Ebben a bejegyzésben bemutatjuk, hogyan használható a JumpStart a Flan-T5 XXL modell egy VPC-ben internetkapcsolat nélkül. A következő témákat tárgyaljuk:

• Hogyan telepítsünk alapmodellt a SageMaker JumpStart segítségével internet-hozzáférés nélküli VPC-n
• Az FM-ek telepítésének előnyei a SageMaker JumpStart modelleken keresztül VPC módban
• Alternatív módok az alapmodellek telepítésének testreszabására a JumpStart segítségével

A FLAN-T5 XXL-en kívül a JumpStart számos különféle alapmodellel kínál különféle feladatokat. A teljes lista megtekintéséhez nézze meg Az Amazon SageMaker JumpStart használatának első lépései.

Megoldás áttekintése

A megoldás részeként a következő lépéseket vesszük figyelembe:

1. Állítson be egy VPC-t internetkapcsolat nélkül.
2. Beállítása Amazon SageMaker Studio az általunk létrehozott VPC segítségével.
3. Telepítse a generatív AI Flan T5-XXL alapozó modellt a JumpStart segítségével a VPC-ben internet-hozzáférés nélkül.

Az alábbiakban a megoldás architektúra diagramja látható.

Nézzük meg a megoldás megvalósításának különböző lépéseit.

Előfeltételek

A bejegyzés követéséhez a következőkre lesz szüksége:

Állítson be egy VPC-t internetkapcsolat nélkül

Hozzon létre egy új CloudFormation-vermet a 01_networking.yaml sablon. Ez a sablon új VPC-t hoz létre, és két privát alhálózatot ad hozzá két elérhetőségi zónához internetkapcsolat nélkül. Ezután az átjáró VPC-végpontjait telepíti a hozzáféréshez Amazon egyszerű tárolási szolgáltatás (Amazon S3) és interfész VPC végpontok a SageMakerhez és néhány más szolgáltatáshoz, amelyek lehetővé teszik a VPC erőforrásai számára, hogy csatlakozzanak az AWS szolgáltatásokhoz AWS PrivateLink.

Adjon meg egy veremnevet, pl No-Internet, és fejezze be a verem létrehozásának folyamatát.

Ez a megoldás nem nagyon elérhető, mert a CloudFormation-sablon csak egy alhálózatban hoz létre interfész VPC-végpontokat, hogy csökkentse a költségeket a bejegyzés lépéseinek követése során.

A Studio beállítása a VPC segítségével

Hozzon létre egy másik CloudFormation-vermet a használatával 02_sagemaker_studio.yaml, amely Studio-tartományt, Studio felhasználói profilt és támogató erőforrásokat, például IAM-szerepeket hoz létre. Válasszon nevet a veremnek; ehhez a bejegyzéshez a nevet használjuk SageMaker-Studio-VPC-No-Internet. Adja meg a korábban létrehozott VPC verem nevét (No-Internet) mint CoreNetworkingStackName paramétert, és hagyjon minden mást alapértelmezettként.

Várjon, amíg az AWS CloudFormation jelenti, hogy a verem létrehozása befejeződött. Megerősítheti, hogy a Studio tartomány elérhető a SageMaker konzolon.

Annak ellenőrzéséhez, hogy a Studio domain felhasználója nem rendelkezik internet-hozzáféréssel, indítsa el a Studio alkalmazást a SageMaker konzol segítségével. Válaszd ki filé, Újés terminál, majd próbáljon meg elérni egy internetes erőforrást. Amint az a következő képernyőképen látható, a terminál továbbra is vár az erőforrásra, és végül időtúllépéssel.

Ez bizonyítja, hogy a Studio olyan VPC-ben működik, amely nem rendelkezik internet-hozzáféréssel.

A JumpStart segítségével telepítse a Flan T5-XXL generatív AI alapozó modellt

Ezt a modellt a Studio-on és az API-n keresztül is telepíthetjük. A JumpStart minden kódot biztosít a modell telepítéséhez a Studio-ból elérhető SageMaker notebookon keresztül. Ebben a bejegyzésben bemutatjuk a Stúdió ezt a képességét.

• A Studio üdvözlő oldalán válassza a lehetőséget ugrás indítás Az előre elkészített és automatizált megoldások alatt.

• Válassza ki a Flan-T5 XXL modellt az alatt Alapozó modellek.

• Alapértelmezés szerint megnyitja a Telepítése fület. Bontsa ki a Telepítési konfiguráció szakasz módosításához hosting instance és a endpoint name, vagy adjon hozzá további címkéket. Lehetőség van a módosításra is S3 bucket location ahol a modell mellékterméke tárolva lesz a végpont létrehozásához. Ennél a bejegyzésnél mindent az alapértelmezett értéken hagyunk. Jegyezze fel a végpont nevét, amelyet a végpont előrejelzésekhez való meghívásakor használ.

• Bontsa ki a Biztonsági beállítások szakaszban, ahol megadhatja a IAM role a végpont létrehozásához. Megadhatja azt is VPC configurations biztosításával a subnets és a security groups. Az alhálózati azonosítók és a biztonsági csoportazonosítók az AWS CloudFormation konzol VPC-verem Kimenetek lapján találhatók. A SageMaker JumpStart legalább két alhálózatot igényel ennek a konfigurációnak a részeként. Az alhálózatok és a biztonsági csoportok szabályozzák a modelltárolóhoz való hozzáférést és onnan történő hozzáférést.

JEGYZET: Függetlenül attól, hogy a SageMaker JumpStart modell telepítve van-e a VPC-ben vagy sem, a modell mindig hálózati elkülönítési módban fut, ami elszigeteli a modelltárolót, így nem lehet bejövő vagy kimenő hálózati hívásokat indítani a modelltárolóba vagy onnan. Mivel VPC-t használunk, a SageMaker letölti a modellműterméket a megadott VPC-n keresztül. A modelltároló hálózati elkülönített futtatása nem akadályozza meg a SageMaker-végpontot abban, hogy válaszoljon a következtetési kérésekre. Egy szerverfolyamat fut a modelltároló mellett, és továbbítja neki a következtetési kéréseket, de a modelltárolónak nincs hálózati hozzáférése.

• A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Telepítése a modell telepítéséhez. A folyamatban lévő végpont-létrehozás közel valós idejű állapotát láthatjuk. A végpont létrehozása 5–10 percig tarthat.

Figyelje meg a mező értékét Modelladatok helye ezen az oldalon. Az összes SageMaker JumpStart modell egy SageMaker által kezelt S3 tárolóban (s3://jumpstart-cache-prod-{region}). Ezért, függetlenül attól, hogy melyik modellt választották ki a JumpStartból, a modell a nyilvánosan elérhető SageMaker JumpStart S3 tárolóból kerül telepítésre, és a forgalom soha nem megy át a nyilvános modell állatkert API-kra a modell letöltéséhez. Ez az oka annak, hogy a modell végpont létrehozása akkor is sikeresen indult el, ha a végpontot olyan VPC-ben hozzuk létre, amely nem rendelkezik közvetlen internet-hozzáféréssel.

A modell műtermék bármely privát állatkertbe vagy saját S3 tárolójába másolható, hogy tovább vezérelje és biztonságossá tegye a modell forrásának helyét. A következő paranccsal töltheti le a modellt helyileg a AWS parancssori interfész (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Néhány perc múlva a végpont sikeresen létrejön, és az állapotát a következőképpen mutatja: Szolgálatban. Válaszd ki Open Notebook a Use Endpoint from Studio szakasz. Ez egy mintajegyzetfüzet, amelyet a JumpStart élmény részeként biztosítanak a végpont gyors teszteléséhez.

• A jegyzetfüzetben válassza ki a képet mint Adattudomány 3.0 és a kernel as Python 3. Amikor a kernel készen áll, futtathatja a jegyzetfüzet celláit, hogy előrejelzéseket készítsen a végpontról. Vegye figyelembe, hogy a notebook a invoke_endpoint() API a AWS SDK Pythonhoz jóslatokat tenni. Alternatív megoldásként használhatja a A SageMaker Python SDK előrejelzése () módszer ugyanazt az eredményt elérni.

Ezzel befejeződik a Flan-T5 XXL modell JumpStart használatával történő telepítésének lépései egy internet-hozzáférés nélküli VPC-n belül.

A SageMaker JumpStart modellek VPC módban történő telepítésének előnyei

Az alábbiakban bemutatjuk a SageMaker JumpStart modellek VPC módban történő telepítésének előnyeit:

• Mivel a SageMaker JumpStart nem tölti le a modelleket nyilvános állatkertből, teljesen zárt környezetben is használható, ahol nincs internet-hozzáférés.
• Mivel a hálózati hozzáférés korlátozható és korlátozható a SageMaker JumpStart modelleknél, ez segít a csapatoknak javítani a környezet biztonsági helyzetét.
• A VPC határai miatt a végponthoz való hozzáférés alhálózatokon és biztonsági csoportokon keresztül is korlátozható, ami további biztonsági réteget ad.

Alternatív módok az alapmodellek telepítésének testreszabására a SageMaker JumpStart segítségével

Ebben a részben megosztunk néhány alternatív módszert a modell üzembe helyezésére.

Használja a SageMaker JumpStart API-kat a preferált IDE-ből

A SageMaker JumpStart által biztosított modellekhez nincs szükség a Studio elérésére. Bármely IDE-ről telepítheti őket a SageMaker végpontokra, köszönhetően a JumpStart API-k. Kihagyhatja az ebben a bejegyzésben korábban tárgyalt Studio beállítási lépést, és a JumpStart API-kat használhatja a modell üzembe helyezéséhez. Ezek az API-k argumentumokat biztosítanak, ahol VPC-konfigurációk is megadhatók. Az API-k részei a SageMaker Python SDK maga. További információkért lásd: Előképzett modellek.

Használja a SageMaker JumpStart által biztosított jegyzetfüzeteket a SageMaker Studio-tól

A SageMaker JumpStart notebookokat is biztosít a modell közvetlen üzembe helyezéséhez. A modell részletes oldalán válassza ki Nyissa meg a jegyzetfüzetet a végpont telepítéséhez szükséges kódot tartalmazó mintajegyzetfüzet megnyitásához. A notebook használ SageMaker JumpStart Industry API-k amelyek lehetővé teszik a modellek listázását és szűrését, a melléktermékek lekérését, valamint a végpontok telepítését és lekérdezését. A notebook kódját a használati esetspecifikus követelményei szerint is szerkesztheti.

Tisztítsa meg az erőforrásokat

Nézze meg a CLEANUP.md fájlt, hogy részletes lépéseket találjon a Studio, a VPC és a jelen bejegyzés részeként létrehozott egyéb erőforrások törléséhez.

Hibaelhárítás

Ha bármilyen problémába ütközik a CloudFormation veremek létrehozása során, tekintse meg a következőt: A CloudFormation hibaelhárítása.

Következtetés

A nagy nyelvi modelleken alapuló generatív mesterséges intelligencia megváltoztatja azt, ahogyan az emberek betekintést nyernek és alkalmaznak az információkból. Az erősen szabályozott területeken működő szervezeteknek azonban olyan módon kell használniuk a generatív mesterségesintelligencia-képességeket, amelyek lehetővé teszik számukra a gyorsabb innovációt, ugyanakkor leegyszerűsítik az ilyen képességekhez való hozzáférési mintákat.

Javasoljuk, hogy próbálja ki az ebben a bejegyzésben található megközelítést a generatív mesterséges intelligencia képességek meglévő környezetébe való beágyazásához, miközben továbbra is a saját VPC-n belül tartja, internet-hozzáférés nélkül. A SageMaker JumpStart alapozó modellekkel kapcsolatos további információkért nézze meg a következőket:

---

A szerzőkről

Vikesh Pandey az AWS gépi tanulási specialistája, aki a pénzügyi iparágak ügyfeleit segíti a generatív AI és ML megoldások tervezésében és kivitelezésében. A munkán kívül Vikesh szívesen kipróbálja a különböző konyhákat és szabadtéri sportokat űz.

Mehran Nikoo az AWS vezető megoldástervezője, a Digital Native vállalatokkal dolgozik együtt az Egyesült Királyságban, és segíti őket céljaik elérésében. Szenvedélyesen alkalmazza szoftvermérnöki tapasztalatait a gépi tanulásban, ezért a végpontok közötti gépi tanulásra és az MLOps gyakorlatokra specializálódott.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/