Kaikenkokoiset ja kaikenkokoiset asiakkaat innovoivat AWS:ssä lisäämällä koneoppimista (ML) tuotteisiinsa ja palveluihinsa. Viimeaikainen kehitys generatiivisissa AI-malleissa on entisestään nopeuttanut ML:n käyttöönottoa kaikilla toimialoilla. Tietoturvan, tietosuojan ja hallinnon hallinnan ottaminen käyttöön ovat kuitenkin edelleen keskeisiä haasteita, joita asiakkaat kohtaavat toteuttaessaan ML-työkuormia mittakaavassa. Näihin haasteisiin vastaaminen rakentaa puitteet ja perustan riskien vähentämiselle ja ML-lähtöisten tuotteiden vastuulliselle käytölle. Vaikka generatiivinen tekoäly saattaa tarvita lisävalvontatoimenpiteitä, kuten myrkyllisyyden poistamista ja jailbreakingin ja hallusinaatioiden ehkäisemistä, sillä on samat turvallisuuden ja hallinnan peruskomponentit kuin perinteisellä ML:llä.
Kuulemme asiakkailta, että he vaativat erikoisosaamista ja jopa 12 kuukauden investointeja räätälöityjensa rakentamiseen Amazon Sage Maker ML-alustan toteutus varmistaakseen skaalautuvat, luotettavat, turvalliset ja hallitut ML-ympäristöt heidän liiketoiminta-alueilleen (LOB:ille) tai ML-tiimeilleen. Jos sinulla ei ole viitekehystä ML-elinkaarin hallitsemiseksi mittakaavassa, saatat kohdata haasteita, kuten tiimitason resurssien eristäminen, kokeiluresurssien skaalaus, ML-työnkulkujen toiminnallisuus, mallin hallinnan skaalaus sekä ML-työkuormien turvallisuuden ja vaatimustenmukaisuuden hallinta.
ML-elinkaari mittakaavassa on kehys, joka auttaa sinua rakentamaan ML-alustan, jossa on sulautettu tietoturva- ja hallintahallinta, joka perustuu alan parhaisiin käytäntöihin ja yritysstandardeihin. Tämä viitekehys vastaa haasteisiin tarjoamalla ohjaavia ohjeita modulaarisen kehyksen lähestymistavan avulla, joka laajentaa AWS-ohjaustorni monen tilin AWS-ympäristö ja viestissä käsitelty lähestymistapa Turvallisten, hyvin hallittujen koneoppimisympäristöjen määrittäminen AWS:ssä.
Se tarjoaa ohjeellisia ohjeita seuraaville ML-alustan toiminnoille:
- Usean tilin, turvallisuuden ja verkkojen perusta – Tämä toiminto käyttää AWS Control Toweria ja hyvin suunniteltuja periaatteita usean tilin ympäristö-, tietoturva- ja verkkopalveluiden luomiseen ja käyttöön.
- Tietojen ja hallinnon perusteet – Tämä toiminto käyttää a tietoverkkoarkkitehtuuri Data Laken, keskeisen ominaisuussäilön ja tiedonhallintasäätiöiden perustamiseen ja käyttöön, jotta voidaan mahdollistaa hienorakeinen tietojen käyttö.
- ML-alustan jaetut ja hallintopalvelut – Tämä toiminto mahdollistaa yleisten palvelujen, kuten CI/CD, määrittämisen ja käytön, AWS-palveluluettelo provisiointiympäristöjä varten ja keskitetty mallirekisteri mallien edistämistä ja sukulinjaa varten.
- ML-joukkueympäristöt – Tämä toiminto mahdollistaa ML-tiimien määrittämisen ja käyttöympäristöjen mallinkehitystä, testausta ja niiden käyttötapausten käyttöönottoa turvallisuuden ja hallinnan hallintaa varten.
- ML-alustalla havaittavuus – Tämä toiminto auttaa vianmäärityksessä ja ongelmien perimmäisen syyn tunnistamisessa ML-malleissa keskittämällä lokit ja tarjoamalla työkaluja lokianalyysin visualisointiin. Se tarjoaa myös ohjeita kustannus- ja käyttöraporttien luomiseen ML-käyttötapauksia varten.
Vaikka tämä viitekehys voi tarjota etuja kaikille asiakkaille, se on hyödyllisin suurille, kehittyneille, säänneltyille tai globaaleille yritysasiakkaille, jotka haluavat skaalata ML-strategioitaan hallittuun, yhteensopivaan ja koordinoituun lähestymistapaan koko organisaatiossa. Se auttaa mahdollistamaan ML:n käyttöönoton ja vähentämään riskejä. Tämä kehys on hyödyllinen seuraaville asiakkaille:
- Suuret yritysasiakkaat, joilla on monia LOBeja tai osastoja, jotka ovat kiinnostuneita ML:n käytöstä. Tämän kehyksen avulla eri tiimit voivat rakentaa ja ottaa käyttöön ML-malleja itsenäisesti samalla kun ne tarjoavat keskitetyn hallinnan.
- Yritysasiakkaat, joiden maturiteetti on maltillinen tai korkea. He ovat jo ottaneet käyttöön joitain alkuperäisiä ML-malleja ja haluavat skaalata ML-ponnistelujaan. Tämä kehys voi auttaa nopeuttamaan ML:n käyttöönottoa koko organisaatiossa. Nämä yritykset tiedostavat myös hallinnon tarpeen hallita asioita, kuten kulunvalvontaa, tiedon käyttöä, mallin suorituskykyä ja epäreilua harhaa.
- Yritykset säännellyillä aloilla, kuten rahoituspalvelut, terveydenhuolto, kemia ja yksityinen sektori. Nämä yritykset tarvitsevat vahvaa hallintoa ja kuultavuutta kaikille liiketoimintaprosesseissaan käytettäville ML-malleille. Tämän kehyksen hyväksyminen voi helpottaa vaatimustenmukaisuutta, mutta silti mahdollistaa paikallisen mallin kehittämisen.
- Globaalit organisaatiot, joiden on tasapainotettava keskitetty ja paikallinen valvonta. Tämän kehyksen liittoutuneen lähestymistavan ansiosta keskusalustan suunnittelutiimi voi asettaa korkean tason käytäntöjä ja standardeja, mutta antaa myös LOB-tiimeille joustavuutta mukautua paikallisiin tarpeisiin.
Tämän sarjan ensimmäisessä osassa käymme läpi ML-alustan määrittämisen viitearkkitehtuurin. Myöhemmässä postauksessa annamme ohjeellisia ohjeita siitä, miten eri moduulit otetaan käyttöön viitearkkitehtuurissa organisaatiossasi.
ML-alustan ominaisuudet on ryhmitelty neljään luokkaan seuraavan kuvan mukaisesti. Nämä ominaisuudet muodostavat perustan viitearkkitehtuurille, jota käsitellään myöhemmin tässä viestissä:
- Rakenna ML-perustat
- Skaalaa ML-operaatioita
- Havaittava ML
- Turvallinen ML
Ratkaisun yleiskatsaus
ML elinkaaren mittakaavan hallinnan puitteet antavat organisaatioille mahdollisuuden upottaa tietoturva- ja hallintavalvontatoimenpiteet koko ML-elinkaariin, mikä puolestaan auttaa organisaatioita vähentämään riskejä ja nopeuttamaan ML:n sisällyttämistä tuotteisiinsa ja palveluihinsa. Kehys auttaa optimoimaan turvallisten, skaalautuvien ja luotettavien ML-ympäristöjen asennuksen ja hallinnan, jotka voidaan skaalata tukemaan yhä useampia malleja ja projekteja. Kehys mahdollistaa seuraavat ominaisuudet:
- Tilin ja infrastruktuurin hallinta organisaatiopolitiikan mukaisilla infrastruktuuriresursseilla
- Tietotekniikkaympäristöjen itsepalvelukäyttöönotto ja päästä päähän ML Operations (MLOps) -mallit ML-käyttötapauksiin
- LOB-tason tai tiimitason resurssien eristäminen turvallisuuden ja tietosuojan noudattamiseksi
- Hallittu pääsy tuotantotason tietoihin kokeilua ja tuotantovalmiita työnkulkuja varten
- Koodivarastojen, koodiputkien, käyttöön otettujen mallien ja tietoominaisuuksien hallinta ja hallinta
- Mallirekisteri ja ominaisuusvarasto (paikalliset ja keskuskomponentit) hallinnon parantamiseksi
- Suojaus- ja hallintavalvonta mallin kokonaiskehitys- ja käyttöönottoprosessia varten
Tässä osiossa annamme yleiskatsauksen ohjeistavista ohjeista, jotka auttavat sinua rakentamaan tämän ML-alustan AWS:lle sulautetuilla suojaus- ja hallintaominaisuuksilla.
ML-alustaan liittyvä toiminnallinen arkkitehtuuri on esitetty seuraavassa kaaviossa. Arkkitehtuuri kartoittaa ML-alustan eri ominaisuudet AWS-tileihin.
Toiminnallinen arkkitehtuuri erilaisilla ominaisuuksilla on toteutettu useilla AWS-palveluilla, mm AWS-organisaatiot, SageMaker, AWS DevOps -palvelut ja datajärvi. ML-alustan referenssiarkkitehtuuri erilaisilla AWS-palveluilla on esitetty seuraavassa kaaviossa.
Tämä viitekehys ottaa huomioon useita henkilöitä ja palveluita hallitsemaan ML:n elinkaarta mittakaavassa. Suosittelemme seuraavia vaiheita tiimien ja palveluiden järjestämiseen:
- AWS Control Towerin ja automaatiotyökalujen avulla pilvijärjestelmänvalvojasi määrittää usean tilin perustat, kuten organisaatiot ja AWS IAM Identity Center (AWS Single Sign-Onin seuraaja) ja turvallisuus- ja hallintopalvelut, kuten AWS-avainhallintapalvelu (AWS KMS) ja palveluluettelo. Lisäksi järjestelmänvalvoja määrittää useita organisaatioyksiköitä (OU) ja alkutilejä tukemaan ML- ja analytiikan työnkulkujasi.
- Data Lake -järjestelmänvalvojat määrittävät datajärvesi ja tietoluettelosi sekä perustavat keskeisen ominaisuussäilön yhdessä ML-alustan järjestelmänvalvojan kanssa.
- ML-alustan admin tarjoaa ML:n yhteisiä palveluita, kuten AWS CodeCommit, AWS-koodiputki, Amazonin elastisten säiliörekisteri (Amazon ECR), keskitetty mallirekisteri, SageMaker-mallikortit, SageMaker mallin hallintapaneeli, ja Service Catalog -tuotteet ML-joukkueille.
- ML-tiimi johtaa federaatioita IAM Identity Centerin kautta, käyttää Service Catalog -tuotteita ja varaa resursseja ML-tiimin kehitysympäristössä.
- Tietotutkijat ML-tiimeistä eri liiketoimintayksiköissä yhdistyvät tiiminsä kehitysympäristöön rakentaakseen malliputken.
- Tietotutkijat etsivät ja poimivat ominaisuuksia keskeisestä ominaisuuskaupan luettelosta, rakentavat malleja kokeiden avulla ja valitsevat parhaan mallin mainostamiseen.
- Tietotutkijat luovat ja jakavat uusia ominaisuuksia keskeiseen ominaisuuskauppaluetteloon uudelleenkäyttöä varten.
- ML-insinööri ottaa malliputken käyttöön ML-tiimin testiympäristössä jaettujen palvelujen CI/CD-prosessin avulla.
- Sidosryhmien validoinnin jälkeen ML-malli otetaan käyttöön tiimin tuotantoympäristössä.
- Tietoturva- ja hallintavalvonta on upotettu tämän arkkitehtuurin jokaiseen kerrokseen käyttämällä palveluita, kuten AWS-tietoturvakeskus, Amazon Guard Duty, Amazon Macie, Ja enemmän.
- Suojausohjaimia hallitaan keskitetysti tietoturvatyökalutililtä Security Hubin avulla.
- ML-alustan hallintaominaisuuksia, kuten SageMaker Model Cards ja SageMaker Model Dashboard, hallitaan keskitetysti hallintopalvelutililtä.
- amazonin pilvikello ja AWS CloudTrail kunkin jäsentilin lokit ovat saatavilla keskitetysti havainnointitililtä AWS:n natiivipalveluilla.
Seuraavaksi sukeltaamme syvälle tämän kehyksen viitearkkitehtuurin moduuleihin.
Viitearkkitehtuurimoduulit
Referenssiarkkitehtuuri koostuu kahdeksasta moduulista, joista jokainen on suunniteltu ratkaisemaan tiettyjä ongelmia. Yhdessä nämä moduulit käsittelevät hallintoa eri ulottuvuuksissa, kuten infrastruktuurissa, datassa, mallissa ja kustannuksissa. Jokainen moduuli tarjoaa erillisen joukon toimintoja ja toimii yhdessä muiden moduulien kanssa integroidun päästä päähän ML-alustan, jossa on sulautetut suojaus- ja hallintaohjaimet. Tässä osiossa esittelemme lyhyen yhteenvedon kunkin moduulin ominaisuuksista.
Monen tilin säätiöt
Tämä moduuli auttaa pilvijärjestelmänvalvojia rakentamaan AWS Control Towerin laskeutumisalue perustavana kehyksenä. Tähän sisältyy usean tilin rakenteen rakentaminen, todennus ja valtuutus IAM Identity Centerin kautta, verkon keskitin ja puoli -suunnittelu, keskitetyt lokipalvelut ja uudet AWS-jäsentilit standardoiduilla tietoturva- ja hallintoperustasoilla.
Lisäksi tämä moduuli antaa parhaita käytäntöjä koskevia ohjeita organisaatioyksiköistä ja tilirakenteista, jotka sopivat ML- ja analytiikan työnkulkujen tukemiseen. Pilvijärjestelmänvalvojat ymmärtävät vaadittujen tilien ja organisaatioyksiköiden tarkoituksen, kuinka ne otetaan käyttöön ja tärkeimmät tietoturva- ja vaatimustenmukaisuuspalvelut, joita heidän tulee käyttää hallitakseen keskitetysti ML- ja analytiikkatyökuormiaan.
Katettu on myös uusien tilien myyntikehys, joka käyttää automaatiota uusien tilien perustamiseen, kun ne varataan. Kun käytössä on automaattinen tilinhallintaprosessi, pilvijärjestelmänvalvojat voivat tarjota ML- ja analytiikkatiimeille tilit, joita he tarvitsevat työnsä suorittamiseen nopeammin, tinkimättä vahvasta hallinnon perustasta.
Datajärven perustukset
Tämä moduuli auttaa Data Laken järjestelmänvalvojia määrittämään datajärven tietojen keräämiseksi, tietojoukkojen kuratoimiseksi ja AWS-järvien muodostuminen hallintomalli, jolla hallinnoidaan tilien ja käyttäjien tarkkoja tietoja käyttämällä keskitettyä tietoluetteloa, tietojen käyttökäytäntöjä ja tunnistepohjaisia käyttöoikeuksia. Voit aloittaa pienestä yhdellä tilillä tietoalustasi perustaksi konseptin todisteeksi tai muutamalla pienellä työmäärällä. Keskipitkän ja suuren tuotantomäärän toteuttamiseksi suosittelemme usean tilin strategian käyttöönottoa. Tällaisessa ympäristössä LOB:t voivat ottaa datan tuottajien ja datan kuluttajien roolin käyttämällä erilaisia AWS-tilejä, ja datajärven hallintaa ohjataan keskitetyltä jaetulta AWS-tililtä. Tiedontuottaja kerää, käsittelee ja tallentaa dataa omasta tietoalueestaan sekä valvoo ja varmistaa tietoresurssiensa laadun. Tiedonkuluttajat kuluttavat tiedon tuottajalta sen jälkeen, kun keskitetty luettelo jakaa ne Lake Formationin avulla. Keskitetty luettelo tallentaa ja hallinnoi jaettua tietokatalogia tiedon tuottajatileille.
ML-alustapalvelut
Tämä moduuli auttaa ML-alustan suunnittelutiimiä määrittämään jaetut palvelut, joita datatieteen tiimit käyttävät tiimitileillään. Palveluihin kuuluu palvelukatalogi, joka sisältää tuotteita SageMaker-verkkotunnus käyttöönotto, SageMaker-verkkotunnuksen käyttäjäprofiili käyttöönotto, datatieteen mallipohjia mallin rakentamista ja käyttöönottoa varten. Tässä moduulissa on toimintoja keskitetylle mallirekisterille, mallikorteille, mallin kojetaululle ja CI/CD-putkille, joita käytetään mallinkehityksen ja käyttöönoton työnkulkujen ohjaamiseen ja automatisointiin.
Lisäksi tässä moduulissa kerrotaan, kuinka voit ottaa käyttöön ohjaukset ja hallinnan, joita tarvitaan henkilökohtaisten itsepalveluominaisuuksien mahdollistamiseksi, jolloin datatiederyhmät voivat ottaa itsenäisesti käyttöön vaaditun pilviinfrastruktuurin ja ML-malleja.
ML-käyttötapausten kehittäminen
Tämä moduuli auttaa LOB:ita ja datatieteilijöitä pääsemään tiiminsä SageMaker-verkkotunnukseen kehitysympäristössä ja luomaan mallinrakennusmallin mallien kehittämiseksi. Tässä moduulissa datatieteilijät työskentelevät mallin kehittäjätili-esiintymän parissa voidakseen olla vuorovaikutuksessa keskitetyn datajärven saatavilla olevien tietojen kanssa, käyttääkseen ja jakaakseen ominaisuuksia keskitetystä ominaisuussäilystä, luodakseen ja suorittaakseen ML-kokeita, rakentaakseen ja testatakseen ML-työnkulkujaan, ja rekisteröidä mallinsa kehittäjätilimallirekisteriin kehitysympäristöissään.
Malleissa on myös toteutettu ominaisuuksia, kuten kokeiden seuranta, mallien selitettävyysraportit, datan ja mallin bias-seuranta sekä mallirekisteri, mikä mahdollistaa ratkaisujen nopean mukauttamisen datatieteilijöiden kehittämiin malleihin.
ML-operaatiot
Tämä moduuli auttaa LOB:ita ja ML-insinöörejä työskentelemään mallin käyttöönottomallin dev-esiintymien parissa. Kun ehdokasmalli on rekisteröity ja hyväksytty, he määrittävät CI/CD-liukuhihnat ja suorittavat ML-työnkulkuja ryhmän testiympäristössä, joka rekisteröi mallin keskitettyyn mallirekisteriin, joka toimii alustan jaetulla palvelutilillä. Kun malli on hyväksytty keskitetyssä mallirekisterissä, tämä käynnistää CI/CD-liukuhihnan, joka ottaa mallin käyttöön työryhmän tuotantoympäristössä.
Keskitetty ominaisuuskauppa
Kun ensimmäiset mallit on otettu käyttöön tuotantoon ja useat käyttötapaukset alkavat jakaa samoista tiedoista luotuja ominaisuuksia, ominaisuussäilöstä tulee välttämätön käyttötapausten välisen yhteistyön varmistamiseksi ja päällekkäisten töiden vähentämiseksi. Tämä moduuli auttaa ML-alustan suunnittelutiimiä perustamaan keskitetyn ominaisuusvaraston, joka tarjoaa tallennustilaa ja hallintaa ML-käyttötapauksissa luoduille ML-ominaisuuksille, mikä mahdollistaa ominaisuuksien uudelleenkäytön projekteissa.
Kirjaaminen ja havaittavuus
Tämä moduuli auttaa LOB:ita ja ML-harjoittajia näkemään ML-työkuormien tilan ML-ympäristöissä keskittämällä lokitoiminnot, kuten CloudTrail, CloudWatch, VPC-kulkulokit ja ML-työkuormalokit. Tiimit voivat suodattaa, tehdä kyselyjä ja visualisoida lokeja analysointia varten, mikä voi myös parantaa turvallisuutta.
Kustannukset ja raportointi
Tämä moduuli auttaa eri sidosryhmiä (pilvijärjestelmänvalvoja, alustan järjestelmänvalvoja, pilvipalvelutoimisto) luomaan raportteja ja hallintapaneeleja kustannusten eriyttämiseksi ML-käyttäjän, ML-tiimin ja ML-tuotetasoilla ja seuraamaan käyttöä, kuten käyttäjien määrää, ilmentymätyyppejä ja päätepisteitä.
Asiakkaat ovat pyytäneet meitä antamaan ohjeita siitä, kuinka monta tiliä luodaan ja miten tilit rakennetaan. Seuraavassa osiossa annamme ohjeita tilirakenteesta viitteenä, jota voit muokata tarpeidesi mukaan yrityksesi hallintovaatimusten mukaan.
Tässä osiossa käsittelemme suosituksiamme tilisi rakenteen järjestämiseksi. Meillä on yhteinen perustason viitetilirakenne; Suosittelemme kuitenkin, että ML- ja datajärjestelmänvalvojat tekevät tiivistä yhteistyötä pilvijärjestelmänvalvojansa kanssa muokatakseen tätä tilirakennetta organisaation hallintalaitteidensa perusteella.
Suosittelemme järjestämään tilit organisaatioyksikön mukaan turvallisuutta, infrastruktuuria, työkuormia ja käyttöönottoja varten. Järjestä lisäksi kussakin organisaatioyksikössä ei-tuotannon ja tuotantoyksikön mukaan, koska niiden alla käytettävillä tileillä ja työkuormilla on erilaiset hallintalaitteet. Seuraavaksi keskustelemme lyhyesti näistä organisaatioyksiköistä.
Turvallisuus OU
Organisaation pilvijärjestelmänvalvoja tai tietoturvatiimi hallinnoi tämän organisaatioyksikön tilejä tietoturvatapahtumien valvontaa, tunnistamista, suojaamista, havaitsemista ja niihin vastaamista varten.
Infrastruktuuri OU
Tämän organisaatioyksikön tilejä hallinnoi organisaation pilvijärjestelmänvalvoja tai verkkotiimi yritystason infrastruktuurin jaettujen resurssien ja verkkojen hallinnassa.
Suosittelemme, että sinulla on seuraavat tilit infrastruktuurin organisaatioyksikössä:
- verkko – Perusta keskitetty verkkoinfrastruktuuri, esim AWS Transit Gateway
- Yhteiset palvelut – Määritä keskitetyt AD-palvelut ja VPC-päätepisteet
Työkuormat OU
Tämän organisaatioyksikön tilejä hallinnoivat organisaation alustatiimin järjestelmänvalvojat. Jos tarvitset eri ohjausobjekteja kullekin alustatiimille, voit sijoittaa muita organisaatiotasoja tähän tarkoitukseen, kuten ML-työkuormien OU:n, datatyökuormien OU:n ja niin edelleen.
Suosittelemme seuraavia tilejä työkuormien OU:n alla:
- Tiimitason ML-kehittäjä-, testi- ja tuotantotilit – Määritä tämä työkuorman eristysvaatimustesi perusteella
- Data Lake -tilit – Osioi tilit tietoalueen mukaan
- Keskitetty tiedonhallintatili – Keskitä tietojen käyttökäytännöt
- Keskitetty ominaisuuskaupan tili – Keskitä ominaisuudet jakamista varten tiimien kesken
Käyttöönotto OU
Tämän organisaatioyksikön tilejä hallinnoivat organisaation alustatiimin järjestelmänvalvojat työkuormien käyttöönoton ja havainnoinnin vuoksi.
Suosittelemme seuraavia tilejä käyttöönottoyksikön alle, koska ML-alustan tiimi voi määrittää erilaisia ohjausryhmiä tälle OU-tasolle käyttöönottojen hallintaa ja hallintaa varten:
- ML:n jaetut palvelut kattavat testi- ja tuotantopalvelut – Isännöi alustan jaetut palvelut CI/CD ja mallirekisteri
- ML-havainnointi vastaa testiä ja tuotetta – Isännöi CloudWatch-lokeja, CloudTrail-lokeja ja muita lokeja tarpeen mukaan
Seuraavaksi käsittelemme lyhyesti organisaation ohjaimia, joita on harkittava sisällytettäessä jäsentilejä infrastruktuuriresurssien seurantaa varten.
AWS-ympäristön hallinta
Ohjaus on korkean tason sääntö, joka tarjoaa jatkuvan hallinnan yleiselle AWS-ympäristöllesi. Se ilmaistaan selkeällä kielellä. Tässä yhteydessä käytämme AWS Control Toweria seuraavien hallintatoimintojen toteuttamiseen, jotka auttavat hallitsemaan resurssejasi ja seuraamaan vaatimustenmukaisuutta AWS-tiliryhmissä:
- Ennaltaehkäisevät kontrollit – Ennaltaehkäisevä valvonta varmistaa, että tilisi noudattaa vaatimustenmukaisuutta, koska se estää käytäntörikkomuksiin johtavat toimet ja toteutetaan palvelunvalvontakäytännön (SCP) avulla. Voit esimerkiksi asettaa ennaltaehkäisevän hallinnan, joka varmistaa, ettei CloudTrailia poisteta tai pysäytetä AWS-tileillä tai -alueilla.
- Etsivä valvonta – Etsivä valvonta havaitsee tiliesi resurssien noudattamatta jättämisen, kuten käytäntörikkomukset, antaa hälytyksiä kojelaudan kautta ja toteutetaan käyttämällä AWS-määritykset säännöt. Voit esimerkiksi luoda detektorin, joka havaitsee, onko julkinen lukuoikeus käytössä Amazonin yksinkertainen tallennuspalvelu (Amazon S3) kauhat lokiakiston jaetussa tilissä.
- Ennakoiva valvonta – Ennakoiva ohjaus tarkistaa resurssit ennen niiden hallintaa ja varmistaa, että resurssit ovat tämän ohjauksen mukaisia ja että ne on otettu käyttöön AWS-pilven muodostuminen koukut. Resursseja, jotka eivät ole yhteensopivia, ei anneta. Voit esimerkiksi määrittää ennakoivan ohjauksen, joka tarkistaa, että suoraa Internet-yhteyttä ei sallita SageMaker-muistikirjan ilmentymälle.
Vuorovaikutuksia ML-alustapalvelujen, ML-käyttötapausten ja ML-toimintojen välillä
Eri persoonat, kuten datatieteen johtaja (johtava datatieteilijä), datatieteilijä ja ML-insinööri, käyttävät moduuleja 2–6 seuraavan kaavion mukaisesti ML-alustan palveluiden eri vaiheissa, ML-käyttötapausten kehittämisessä ja ML-operaatioissa. sekä datajärven perustukset ja keskusominaisuuskauppa.
Seuraavassa taulukossa on yhteenveto eri henkilöiden toimintakulun toiminnoista ja määritysvaiheista. Kun henkilö aloittaa ML-toiminnan osana toimintojen kulkua, palvelut toimivat asennuskulun vaiheissa mainitulla tavalla.
Henkilö | Ops Flow Activity – numero | Ops Flow Activity – kuvaus | Asetusvirran vaihe – numero | Asetusvaihe – Kuvaus |
Johda Data Science- tai ML-tiimin johtaja |
1 |
Käyttää palveluluetteloa ML-alustan palvelutilissä ja ottaa käyttöön seuraavat:
|
1- |
|
1-B |
|
|||
Tiedon tutkija |
2 |
Suorittaa ja seuraa ML-kokeita SageMaker-muistikirjoissa |
2- |
|
3 |
Automatisoi onnistuneet ML-kokeet SageMaker-projektien ja -putkien kanssa |
3- |
|
|
3-B |
Kun SageMaker-liukuhihnat on suoritettu, tallentaa mallin paikalliseen (dev) mallirekisteriin | |||
Päätietotieteilijä tai ML-tiimin johtaja |
4 |
Hyväksyy mallin paikallisessa (dev) mallirekisterissä |
4- |
Mallin metatiedot ja mallipaketti kirjoittaa paikallisesta (dev) mallirekisteristä keskusmallirekisteriin |
5 |
Hyväksyy mallin keskusmallirekisterissä |
5- |
Käynnistää käyttöönotto-CI/CD-prosessin SageMaker-päätepisteiden luomiseksi testiympäristössä | |
5-B |
Kirjoittaa mallin tiedot ja metatiedot ML-hallintamoduuliin (mallikortti, mallin kojelauta) ML-alustan palvelutilille paikalliselta (kehittäjä) tililtä | |||
ML-insinööri |
6 |
Testaa ja valvoo SageMaker-päätepistettä testiympäristössä CI/CD:n jälkeen | . | |
7 |
Hyväksyy SageMaker-päätepisteiden käyttöönoton tuotantoympäristössä |
7- |
Käynnistää käyttöönotto-CI/CD-prosessin SageMaker-päätepisteiden luomiseksi tuotantoympäristöön | |
8 |
Testaa ja valvoo SageMaker-päätepistettä testiympäristössä CI/CD:n jälkeen | . |
Persoonaa ja vuorovaikutusta ML-alustan eri moduulien kanssa
Jokainen moduuli palvelee tiettyjä kohdehenkilöitä tietyissä divisioonissa, jotka käyttävät moduulia useimmin, mikä antaa heille ensisijaisen pääsyn. Toissijainen pääsy sallitaan sitten muille osastoille, jotka vaativat moduulien satunnaista käyttöä. Moduulit on räätälöity tiettyjen työtehtävien tai henkilöiden tarpeisiin toiminnallisuuden optimoimiseksi.
Keskustelemme seuraavista joukkueista:
- Keskitetty pilvisuunnittelu – Tämä tiimi toimii yrityspilvitasolla kaikissa työkuormissa yleisten pilviinfrastruktuuripalvelujen määrittämiseksi, kuten yritystason verkottumisen, identiteetin, käyttöoikeuksien ja tilinhallinnan määrittäminen.
- Tietoalustan suunnittelu – Tämä tiimi hallinnoi yrityksen datajärviä, tiedonkeruuta, tietojen kuratointia ja tiedonhallintaa
- ML-alustan suunnittelu – Tämä tiimi toimii ML-alustatasolla LOB:issa tarjotakseen jaettuja ML-infrastruktuuripalveluita, kuten ML-infrastruktuurin tarjontaa, kokeilujen seurantaa, mallin hallintaa, käyttöönottoa ja havainnointia.
Seuraavassa taulukossa kerrotaan, millä osastoilla on ensisijainen ja toissijainen käyttöoikeus kullekin moduulille moduulin kohdehenkilöiden mukaan.
Moduulin numero | Moduulit | Ensisijainen pääsy | Toissijainen pääsy | Kohdehenkilöt | Tilien lukumäärä |
1 |
Monen tilin säätiöt | Keskitetty pilvisuunnittelu | Yksittäiset LOBit |
|
Harvat |
2 |
Datajärven perustukset | Keskitetty pilvi- tai tietoalustan suunnittelu | Yksittäiset LOBit |
|
moninkertainen |
3 |
ML-alustapalvelut | Keskipilvi tai ML-alustasuunnittelu | Yksittäiset LOBit |
|
yksi |
4 |
ML-käyttötapausten kehittäminen | Yksittäiset LOBit | Keskipilvi tai ML-alustasuunnittelu |
|
moninkertainen |
5 |
ML-operaatiot | Keskipilvi tai ML-tekniikka | Yksittäiset LOBit |
|
moninkertainen |
6 |
Keskitetty ominaisuuskauppa | Keskipilvi tai tietotekniikka | Yksittäiset LOBit |
|
yksi |
7 |
Kirjaaminen ja havaittavuus | Keskitetty pilvisuunnittelu | Yksittäiset LOBit |
|
yksi |
8 |
Kustannukset ja raportointi | Yksittäiset LOBit | Keskitason suunnittelu |
|
yksi |
Yhteenveto
Tässä viestissä esittelimme viitekehyksen ML-elinkaarin hallitsemiseksi mittakaavassa, mikä auttaa sinua toteuttamaan hyvin suunniteltuja ML-työkuormia, joihin on sisällytetty tietoturva- ja hallintaohjaus. Keskustelimme siitä, kuinka tämä viitekehys ottaa kokonaisvaltaisen lähestymistavan ML-alustan rakentamiseen ottaen huomioon tietojen hallinnan, mallihallinnon ja yritystason hallinnan. Kehotamme sinua kokeilemaan tässä viestissä esiteltyä viitekehystä ja käsitteitä ja jakamaan palautetta.
Tietoja kirjoittajista
Ram Vital on johtava ML Solutions -arkkitehti AWS:ssä. Hänellä on yli 3 vuosikymmenen kokemus hajautettujen, hybridi- ja pilvisovellusten arkkitehtuurista ja rakentamisesta. Hän on intohimoinen turvallisten, skaalautuvien, luotettavien AI/ML- ja big data -ratkaisujen rakentamiseen auttaakseen yritysasiakkaita pilvipalveluiden käyttöönotto- ja optimointimatkalla parantaakseen liiketoimintansa tuloksia. Vapaa-ajallaan hän ratsastaa moottoripyörällä ja kävelee kolmivuotiaan lammas-doodlensa kanssa!
Sovik Kumar Nath on AI/ML-ratkaisuarkkitehti AWS:n kanssa. Hänellä on laaja kokemus kokonaisvaltaisten koneoppimis- ja liiketoimintaanalytiikkaratkaisujen suunnittelusta rahoituksen, toiminnan, markkinoinnin, terveydenhuollon, toimitusketjun hallinnan ja IoT:n aloilla. Sovik on julkaissut artikkeleita ja omistaa patentin ML-mallien valvontaan. Hänellä on kaksois maisterin tutkinto Etelä-Floridan yliopistosta, Fribourgin yliopistosta Sveitsistä ja kandidaatin tutkinto Indian Institute of Technologysta, Kharagpurista. Työn ulkopuolella Sovik nauttii matkustamisesta, lauttamatkoista ja elokuvien katselusta.
Maira Ladeira Tanke on AWS:n vanhempi tietoasiantuntija. Teknisenä johtajana hän auttaa asiakkaita nopeuttamaan liiketoiminnan arvon saavuttamista kehittyvän teknologian ja innovatiivisten ratkaisujen avulla. Maira on työskennellyt AWS:ssä tammikuusta 2020 lähtien. Sitä ennen hän työskenteli datatutkijana useilla toimialoilla keskittyen liikearvon saavuttamiseen datasta. Vapaa-ajallaan Maira matkustaa ja viettää aikaa perheen kanssa jossain lämpimässä paikassa.
Ryan Lempka on vanhempi ratkaisuarkkitehti Amazon Web Servicesissä, jossa hän auttaa asiakkaitaan työskentelemään taaksepäin liiketoiminnan tavoitteista ja kehittämään ratkaisuja AWS:lle. Hänellä on syvä kokemus liiketoimintastrategiasta, IT-järjestelmien hallinnasta ja datatieteestä. Ryan on omistautunut olemaan elinikäinen oppija ja nauttii itsensä haastamisesta joka päivä oppiakseen jotain uutta.
Sriharsh Adari on vanhempi ratkaisuarkkitehti Amazon Web Servicesissä (AWS), jossa hän auttaa asiakkaita työskentelemään taaksepäin liiketoiminnan tuloksista innovatiivisten ratkaisujen kehittämiseksi AWS:ssä. Vuosien varrella hän on auttanut useita asiakkaita tietoympäristön muutoksissa eri toimialoilla. Hänen ydinosaamisensa ovat teknologiastrategia, dataanalytiikka ja tietotiede. Vapaa-ajallaan hän harrastaa urheilua, tv-sarjojen katselua ja Tablaa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 1
- 10
- 100
- 12
- 12 kuukautta
- 2020
- 28
- 7
- 8
- 971
- a
- Meistä
- kiihdyttää
- pääsy
- saatavilla
- Mukaan
- Tili
- Tilit
- saavutus
- saavuttamisessa
- poikki
- toimet
- toiminta
- Ad
- sopeuttaa
- sovitus
- Lisäksi
- lisä-
- osoite
- osoitteet
- käsitellään
- admin
- ylläpitäjät
- hyväksymällä
- Hyväksyminen
- Jälkeen
- AI
- AI-mallit
- AI / ML
- Hälytykset
- Kaikki
- sallittu
- Salliminen
- mahdollistaa
- pitkin
- jo
- Myös
- Vaikka
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- Amazon Web Services (AWS)
- an
- analyysi
- Analytics
- ja
- ja infrastruktuuri
- Kaikki
- sovellukset
- lähestymistapa
- sopiva
- hyväksytty
- arkkitehtuuri
- Archive
- OVAT
- ALUE
- artikkelit
- AS
- Varat
- liittyvä
- olettaa
- At
- Authentication
- lupa
- automatisoida
- Automatisoitu
- Automaatio
- saatavissa
- AWS
- Balance
- perustua
- Lähtötilanne
- BE
- koska
- tulee
- ollut
- ennen
- ovat
- suotuisa
- Hyödyt
- PARAS
- parhaat käytännöt
- välillä
- puolueellisuus
- Iso
- Big Data
- Tauko
- lyhyesti
- rakentaa
- Rakentaminen
- rakentaa
- liiketoiminta
- yritysstrategia
- mutta
- by
- CAN
- ehdokkaat
- kyvyt
- kortti
- Kortit
- tapaus
- tapauksissa
- luettelo
- luokat
- Catering
- Aiheuttaa
- keskus
- keskeinen
- Keskittäminen
- keskitetty
- ketju
- haasteet
- haastava
- Tarkastukset
- kemia
- tarkasti
- pilvi
- pilvien hyväksyminen
- pilvi infrastruktuuri
- koodi
- yhteistyö
- kokoelma
- kollektiivisesti
- Yhteinen
- Yritykset
- noudattaminen
- mukautuva
- osat
- käsittää
- käsite
- käsitteet
- harkittu
- ottaen huomioon
- pitää
- kuluttaa
- Kuluttajat
- Kontti
- ohjaus
- Lennonjohtotorni
- hallinnassa
- valvonta
- koordinoi
- Ydin
- Hinta
- kustannukset
- katettu
- luoda
- luotu
- Curation
- Asiakkaat
- räätälöidä
- räätälöityjä
- kojelauta
- mittaristot
- tiedot
- tietojen käyttö
- Data Analytics
- Datajärvi
- Tietoalusta
- Tietosuoja
- tietojenkäsittely
- tietojen tutkija
- aineistot
- päivä
- vuosikymmeninä
- omistautunut
- syvä
- Aste
- osastot
- sijoittaa
- käyttöön
- levityspinnalta
- käyttöönotto
- käyttöönotot
- lauennut
- Malli
- suunniteltu
- suunnittelu
- yksityiskohdat
- dev
- kehittää
- kehitetty
- Kehitys
- kehitys
- eri
- mitat
- ohjata
- pohtia
- keskusteltiin
- selvä
- jaettu
- sukellus
- verkkotunnuksen
- kaksinkertainen
- alas
- kukin
- ponnisteluja
- Upottaa
- upotettu
- upottamisen
- syntymässä
- Kehittyvä teknologia
- mahdollistaa
- käytössä
- mahdollistaa
- mahdollistaa
- kannustaa
- päittäin
- päätepiste
- insinööri
- Tekniikka
- Engineers
- parantaa
- varmistaa
- varmistaa
- varmistamalla
- yritys
- yritystasolla
- yrityksille
- ympäristö
- ympäristöissä
- olennainen
- arvioida
- Tapahtumat
- Joka
- joka päivä
- esimerkki
- experience
- kokeilu
- kokeiluja
- asiantuntemus
- ilmaistuna
- ulottuu
- laaja
- Kattava kokemus
- kohtasi
- helpottamaan
- perhe
- Ominaisuus
- Ominaisuudet
- palaute
- harvat
- Kuva
- suodattaa
- rahoittaa
- taloudellinen
- rahoituspalvelut
- Etunimi
- Joustavuus
- Florida
- virtaus
- tarkennus
- jälkeen
- varten
- muoto
- muodostus
- perusta
- Perustukset
- neljä
- Puitteet
- Ilmainen
- alkaen
- toiminto
- toiminnallinen
- toiminnallisuudet
- toiminnallisuus
- tehtävät
- edelleen
- Lisäksi
- Saada
- tuottaa
- tuottaa
- generatiivinen
- Generatiivinen AI
- antaa
- Global
- hallinto
- hallintomalli
- hallintomoduuli
- säännellään
- hallitseva
- myöntäminen
- Ryhmän
- ohjaus
- Olla
- ottaa
- he
- pää
- terveydenhuollon
- kuulla
- auttaa
- auttanut
- auttaa
- hänen
- Korkea
- korkean tason
- hänen
- pitää
- kokonaisvaltainen
- Koukut
- isännät
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- Napa
- Hybridi
- tunnistaminen
- Identiteetti
- if
- toteuttaa
- täytäntöönpano
- täytäntöön
- täytäntöönpanosta
- parantaa
- parantaminen
- in
- sisältää
- sisältää
- Mukaan lukien
- lisää
- itsenäisesti
- intialainen
- teollisuuden
- teollisuus
- tiedot
- Infrastruktuuri
- ensimmäinen
- Osaa aloittaa
- innovoidaan
- innovatiivinen
- esimerkki
- Instituutti
- integroitu
- olla vuorovaikutuksessa
- vuorovaikutukset
- kiinnostunut
- Internet
- Internet-yhteys
- tulee
- käyttöön
- investointi
- Esineiden internet
- eristäminen
- IT
- tammikuu
- Job
- matka
- jpg
- avain
- tuntemus
- Kumar
- Lack
- järvi
- järvet
- lasku
- Kieli
- suuri
- myöhemmin
- kerros
- johtaa
- OPPIA
- oppiminen
- Taso
- tasot
- elinkaari
- pitää
- sukuperä
- linjat
- paikallinen
- log
- hakkuu
- näköinen
- kone
- koneoppiminen
- tehty
- ylläpitää
- TEE
- hoitaa
- onnistui
- johto
- hallinnoi
- toimitusjohtaja
- monet
- Kartat
- Marketing
- kypsä
- kypsyys
- Saattaa..
- jäsen
- mainitsi
- verkko
- Metadata
- lieventävä
- riskien lieventäminen
- ML
- MLOps
- malli
- mallit
- muokata
- modulaarinen
- Moduulit
- Moduulit
- monitori
- seuranta
- näytöt
- kk
- lisää
- eniten
- moottoripyörä
- Elokuvat
- moninkertainen
- syntyperäinen
- Tarve
- tarpeet
- Pesä
- verkko
- verkostoituminen
- verkot
- Uusi
- Uudet ominaisuudet
- seuraava
- muistikirja
- numero
- tavoitteet
- satunnainen
- of
- Tarjoukset
- Office
- usein
- Vanha
- on
- kerran
- ONE
- jatkuva
- käyttää
- toimi
- toimii
- toiminta
- Operations
- optimointi
- Optimoida
- or
- organisaatio
- organisaatioiden
- organisointi
- Muut
- meidän
- ulos
- tuloksiin
- ulkopuolella
- yli
- yleinen
- yleiskatsaus
- paketti
- osa
- erityinen
- intohimoinen
- patentti-
- Suorittaa
- suorituskyky
- Oikeudet
- putki
- Paikka
- tavallinen
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- pelaa
- politiikkaa
- politiikka
- salkku
- Kirje
- harjoitusta.
- käytännöt
- esittää
- estää
- ensisijainen
- Pääasiallinen
- Aikaisempi
- yksityisyys
- yksityinen
- yksityissektorin
- Ennakoiva
- ongelmia
- prosessi
- Prosessit
- tuottaja
- tuottajat
- Tuotteet
- tuotanto
- Tuotteemme
- hankkeet
- edistäminen
- todiste
- todiste käsitteestä
- suojella
- toimittaa
- tarjoaa
- tarjoamalla
- julkinen
- julkaistu
- tarkoitus
- laatu
- nopeasti
- nopea
- Lue
- äskettäinen
- tunnistaa
- suositella
- Suositus
- vähentää
- viite
- alueet
- ilmoittautua
- kirjattu
- rekisterit
- rekisterin
- säännelty
- säännellyillä teollisuudenaloilla
- luotettava
- poistamalla
- Raportit
- edellyttää
- tarvitaan
- vaatimukset
- resurssi
- Esittelymateriaalit
- vastaamisen
- vastuullinen
- uudelleenkäyttö
- ratsastaa
- Riski
- riskit
- Rooli
- roolit
- juuri
- Sääntö
- säännöt
- ajaa
- juoksu
- Ryan
- uhraa
- sagemaker
- SageMaker-putkistot
- sama
- skaalautuva
- Asteikko
- skaalaus
- tiede
- Tiedemies
- tutkijat
- Haku
- toissijainen
- Osa
- sektori
- turvallinen
- turvallisuus
- tietoturvatapahtumat
- Itsepalvelu
- vanhempi
- Sarjat
- palvelu
- Palvelut
- setti
- Setit
- asetus
- setup
- Jaa:
- yhteinen
- osakkeet
- jakaminen
- hän
- Lyhyt
- shouldnt
- esitetty
- Näytä
- Yksinkertainen
- koska
- single
- Koko
- pieni
- So
- ratkaisu
- Ratkaisumme
- SOLVE
- jonkin verran
- jotain
- Etelä
- Etelä-Floridassa
- asiantuntija
- erikoistunut
- erityinen
- menot
- Urheilu
- vaiheissa
- sidosryhmien
- sidosryhmien
- standardit
- Alkaa
- Osavaltio
- Vaihe
- Askeleet
- Yhä
- pysähtynyt
- Levytila
- verkkokaupasta
- varastot
- strategiat
- Strategia
- vahva
- rakenne
- rakenteet
- studio
- onnistunut
- niin
- Puku
- YHTEENVETO
- toimittaa
- toimitusketju
- toimitusketjun hallinta
- tuki
- Tukea
- varma
- Sveitsi
- järjestelmät
- taulukko
- Räätälöity
- vie
- ottaen
- Kohde
- joukkue-
- tiimit
- Tekninen
- Elektroniikka
- Teknologiastrategia
- sapluuna
- malleja
- testi
- Testaus
- että
- -
- Valtion
- heidän
- Niitä
- sitten
- Nämä
- ne
- asiat
- tätä
- ne
- Kautta
- kauttaaltaan
- aika
- että
- työkalut
- kohti
- Tower
- raita
- Seuranta
- perinteinen
- Juna
- muunnokset
- kauttakulku
- Matkustaminen
- VUORO
- tv
- tyypit
- varten
- ymmärtää
- epäoikeudenmukainen
- yksiköt
- yliopisto
- us
- Käyttö
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- Käyttäjät
- käyttötarkoituksiin
- käyttämällä
- käyttää
- validointi
- arvo
- lajike
- eri
- pystysuunnassa
- kautta
- rikkomukset
- näkyvyys
- visualisointi
- havainnollistaa
- kävellä
- haluta
- lämmin
- katsomassa
- we
- verkko
- verkkopalvelut
- HYVIN
- kun
- onko
- joka
- vaikka
- tulee
- with
- sisällä
- ilman
- Referenssit
- työskenteli
- työnkulkuja
- työskentely
- vuotta
- Voit
- Sinun
- zephyrnet