A beépített Amazon SageMaker Az XGBoost algoritmus felügyelt tárolót biztosít a népszerű futtatásához XGBoost gépi tanulási (ML) keretrendszer, amely további kényelemmel támogatja a haladó képzési vagy következtetési funkciókat, például az elosztott képzést, az adatkészlet-felosztást nagyméretű adatkészletekhez, A/B modell tesztelésevagy több modellből származó következtetés végpontok. Kibővítheti ezt a hatékony algoritmust, hogy megfeleljen a különböző követelményeknek.
A kód és a függőségek egyetlen tárolóba csomagolása kényelmes és robusztus megközelítés a hosszú távú kódkarbantartás, reprodukálhatóság és auditálás céljából. A tároló módosítása közvetlenül követi az alaptárolót, és elkerüli az alaptároló által már támogatott meglévő funkciók megkettőzését. Ebben a bejegyzésben áttekintjük a SageMaker XGBoost algoritmustároló belső működését, és gyakorlatias szkripteket biztosítunk a tároló közvetlen testreszabásához.
SageMaker XGBoost konténer szerkezet
A SageMaker beépített XGBoost algoritmus önálló konténerként van csomagolva, elérhető a GitHub-on, és a fejlesztőbarát Apache 2.0 nyílt forráskódú licenc alatt bővíthető. A konténer csomagolja a nyílt forráskódú XGBoost algoritmus és kiegészítő eszközök az algoritmus futtatásához a más AWS felhőszolgáltatásokkal integrált SageMaker környezetben. Ez lehetővé teszi az XGBoost modellek oktatását különféle változatokon adatforrások, készítsd kötegelőrejelzések offline adatokon, vagy hoszt egy következtetés végpontja valós időben csővezeték.
A tároló támogatja a képzési és következtetési műveleteket különböző belépési pontokkal. Következtetési módhoz a bejegyzés a fő funkcióban található serving.py szkriptet. A valós idejű következtetések kiszolgálásához a tároló fut a PalackAlapú webszerver az amikor hivatkozni, fogad egy HTTP-kódolt kérést, amely tartalmazza az adatokat, dekódolja az adatokat az XGBoostba DMatrix formátum, betölti a modellt, és visszaadja a HTTP-kódolású válasz vissza. Ezeket a módszereket a ScoringService osztály, amely szintén nagymértékben testreszabható a szkript módban (lásd az alábbi mellékletet).
Az edzésmód (algoritmus mód) belépési pontja a fő funkció a képzés.py. A fő funkció beállítja a képzési környezetet, és meghívja a képzési feladat funkciót. Elég rugalmas ahhoz, hogy lehetővé tegye az elosztott vagy egy csomópontos képzést, vagy olyan segédprogramokat, mint a keresztellenőrzés. A képzési folyamat szíve a vonat_munka funkciót.
A tárolót csomagoló Docker fájlokat a GitHub repo. Vegye figyelembe, hogy a tároló két lépésben épül fel: a bázis konténer épül először, majd a utolsó tartály a tetején.
Megoldás áttekintése
A forráskódon keresztül módosíthatja és újraépítheti a tárolót. Ez azonban magában foglalja az összes függőség és csomag összegyűjtését és újjáépítését a semmiből. Ebben a bejegyzésben egy egyszerűbb megközelítést tárgyalunk, amely közvetlenül módosítja a tárolót a már elkészített és nyilvánosan elérhető SageMaker XGBoost algoritmus tárolóképén.
Ebben a megközelítésben mi húzza a nyilvános SageMaker XGBoost kép másolata, módosítsa a szkripteket vagy adjon hozzá csomagokat, és építse újra a tárolót a tetején. A módosított tároló privát tárolóban tárolható. Így elkerüljük a közvetítő függőségek újraépítését, hanem közvetlenül a hivatalos konténerbe csomagolt, már megépített könyvtárak tetejére építünk.
A következő ábra a nyilvános alapkép lekéréséhez, a kép módosításához és újraépítéséhez, valamint privátba feltöltéséhez használt szkript áttekintését mutatja. Amazon Elastic Container Registry (Amazon ECR) adattár. A bash script a bejegyzés kísérő kódjában végrehajtja az ábrán látható összes munkafolyamat lépést. A kísérő jegyzetfüzet példát mutat be, ahol a SageMaker XGBoost algoritmus egy adott verziójának URI-jét először lekérik és továbbítják a bash script, amely lecseréli a képben található Python-szkriptek közül kettőt, újraépíti azt, és a módosított képet egy privát Amazon ECR-tárba küldi. A mellékelt kódot igényeinek megfelelően módosíthatja.
Előfeltételek
A GitHub tárház tartalmazza a bejegyzéshez tartozó kódot. Futtathatod a mintafüzet az AWS-fiókjában, vagy használja a biztosított AWS felhőképződés verem a notebook üzembe helyezéséhez egy SageMaker notebook segítségével. A következő előfeltételekre van szüksége:
- AWS-fiók.
- A SageMaker kötegelt átalakítási és betanítási feladatok futtatásához szükséges engedélyek, valamint Amazon ECR-jogosultságok. A CloudFormation sablon mintát hoz létre AWS Identity and Access Management (IAM) szerepek.
Telepítse a megoldást
A megoldási erőforrások AWS CloudFormation használatával történő létrehozásához válassza a lehetőséget Indítsa el a Stack alkalmazást:
A verem egy SageMaker-jegyzetfüzetet telepít, amely előre be van állítva a GitHub-tárhely klónozására. A végigjátszás jegyzetfüzet tartalmazza az adott verzió nyilvános SageMaker XGBoost képének letöltését, módosítását és az egyéni konténer egy privát Amazon ECR-tárba történő átküldését. A notebook a nyilvánosságot használja Abalone adatkészlet mintaként betanít egy modellt a SageMaker XGBoost beépített betanítási móddal, és újrafelhasználja ezt a modellt az egyéni lemezképben, hogy olyan kötegelt átalakítási feladatokat hajtson végre, amelyek az SHAP-értékekkel együtt következtetéseket hoznak létre.
Következtetés
A SageMaker beépített algoritmusai számos szolgáltatást és funkcionalitást biztosítanak, és az Apache 2.0 nyílt forráskódú licenc alatt tovább bővíthetők. Ebben a bejegyzésben áttekintettük, hogyan bővíthetjük ki a SageMaker XGBoost algoritmus gyártási beépített tárolóját, hogy megfeleljen a termelési követelményeknek, például a visszamenőleges kóddal és az API-kompatibilitásnak.
A mintafüzet és segítő szkriptek kényelmes kiindulópontot biztosít a SageMaker XGBoost tárolókép testreszabásához a kívánt módon. Megpróbál!
Függelék: Script mód
Script mód módot ad számos SageMaker beépített algoritmus módosítására azáltal, hogy interfészt biztosít a bemenetek átalakításáért és a modell betöltéséért felelős funkciók helyettesítésére. A szkript mód nem olyan rugalmas, mint a tároló közvetlen módosítása, de teljesen Python-alapú útvonalat biztosít a beépített algoritmus testreszabásához anélkül, hogy közvetlenül kellene vele dolgozni. Dokkmunkás.
Szkript módban a user-module
Az adatok dekódolása, a modell betöltése és az előrejelzések testreszabása szolgál. A felhasználói modul meghatározhat a transformer_fn
amely a kérelem feldolgozásának minden aspektusát kezeli a válasz elkészítéséig. Vagy definiálás helyett transformer_fn
, egyéni módszereket biztosíthat model_fn
, input_fn
, predict_fn
és output_fn
egyénileg testreszabhatja a modell betöltését, valamint a dekódolást és a bemenet előkészítését az előrejelzéshez. A szkript mód alaposabb áttekintéséért lásd: Hozd el saját modelledet a SageMaker Script móddal.
A szerzőkről
Peyman Razaghi az AWS adattudósa. A Torontói Egyetemen szerzett PhD fokozatot információelméletből, és posztdoktori kutató volt a Los Angeles-i Dél-Kaliforniai Egyetemen (USC). Mielőtt csatlakozott volna az AWS-hez, Peyman a Qualcomm személyzeti rendszermérnöke volt, és számos jelentős nemzetközi távközlési szabványhoz járult hozzá. Számos, lektorált tudományos kutatási cikket írt statisztikai és rendszermérnöki területen, és szereti a gyereknevelést és az országúti kerékpározást a munkán kívül.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/customize-the-amazon-sagemaker-xgboost-algorithm-container/
- "
- 100
- hozzáférés
- elhelyezésére
- Fiók
- fejlett
- algoritmus
- algoritmusok
- Minden termék
- már
- amazon
- api
- megközelítés
- TERÜLET
- cikkek
- AWS
- épít
- beépített
- Kalifornia
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- osztály
- felhő
- felhő szolgáltatások
- kód
- Gyűjtő
- teljesen
- Konténer
- tartalmaz
- kényelem
- Kényelmes
- teremt
- szokás
- dátum
- adattudós
- telepíteni
- bevet
- különböző
- közvetlenül
- megvitatni
- megosztott
- Dokkmunkás
- mérnök
- Környezet
- példa
- terjed
- Jellemzők
- Ábra
- vezetéknév
- rugalmas
- következő
- formátum
- talált
- Keretrendszer
- funkció
- további
- GitHub
- nagy
- tart
- Hogyan
- How To
- HTTPS
- Identitás
- kép
- információ
- bemenet
- integrált
- Felület
- Nemzetközi
- IT
- Munka
- Állások
- tanulás
- Engedély
- hosszú lejáratú
- Los Angeles
- gép
- gépi tanulás
- KÉSZÍT
- Gyártás
- sikerült
- ML
- modell
- modellek
- több
- jegyzetfüzet
- szám
- hivatalos
- Nem elérhető
- Művelet
- Más
- saját
- pont
- Népszerű
- erős
- előrejelzés
- Tippek
- magán
- folyamat
- gyárt
- Termelés
- ad
- biztosít
- amely
- nyilvános
- célokra
- real-time
- raktár
- kérni
- követelmények
- kutatás
- Tudástár
- válasz
- felelős
- Visszatér
- Kritika
- Útvonal
- futás
- Tudós
- Szolgáltatások
- szolgáló
- szilánkos
- szoftver
- megoldások
- forráskód
- Déli
- verem
- szabványok
- statisztika
- Támogatott
- Támogató
- Támogatja
- Systems
- The Source
- Keresztül
- együtt
- szerszámok
- felső
- toronto
- Képzések
- vonatok
- Átalakítás
- transzformáló
- egyetemi
- használ
- fajta
- Wikipedia
- Munka
- lenne