Ez a bejegyzés Jan Paul Assendorp, Thomas Lietzow, Christopher Masch, Alexander Meinert, Dr. Lars Palzer és Jan Schillemans, a SIGNAL IDUNA munkatársaival közösen írt.
A SIGNAL IDUNA-nál, egy nagy német biztosítónál jelenleg újra feltaláljuk magunkat a VISION2023 átalakítási programunkkal, hogy még jobban ügyfélorientáltabbak legyünk. Két szempont központi szerepet játszik ebben az átalakulásban: a munkaerő nagy részének átszervezése funkcionális és agilis csapatokká, valamint egy valóban adatvezérelt vállalattá válás. Itt a „You build it, you run it” mottó fontos követelmény egy többfunkciós csapat számára, amely adat- vagy gépi tanulási (ML) terméket épít. Ez szigorú korlátokat szab arra vonatkozóan, hogy a munkacsoport mennyit költhet egy termék előállítására és működtetésére.
Ez a bejegyzés bemutatja, hogy a SIGNAL IDUNA hogyan kezeli ezt a kihívást, és hogyan használja fel a AWS felhő lehetővé tenni a többfunkciós csapatok számára, hogy saját ML-termékeiket építsék és üzembe helyezhessék. Ennek érdekében először bemutatjuk az agilis csapatok szervezeti felépítését, amely központi követelményeket támaszt a termék fejlesztéséhez és futtatásához használt felhő infrastruktúrával szemben. Ezután bemutatjuk, hogy a SIGNAL IDUNA három központi csapata hogyan teszi lehetővé a többfunkciós csapatok számára, hogy minimális segítséggel adattermékeket építsenek az AWS Cloudban, megfelelő munkafolyamat és könnyen használható és adaptálható infrastrukturális megoldások biztosításával. Végül áttekintjük megközelítésünket, és összehasonlítjuk egy klasszikusabb megközelítéssel, ahol a fejlesztés és az üzemeltetés szigorúbban elkülönül.
Agile@SI – a Szervezeti Változás Alapítványa
2021 eleje óta a SIGNAL IDUNA megkezdte Agile@SI stratégiájának megvalósítását és agilis módszerek kidolgozását az ügyfélközpontú megoldások fejlesztésére az egész vállalatra kiterjedően [1]. A korábbi feladatokat és célokat ma már többfunkciós csapatok, ún osztagok. Ezek az osztagok agilis módszereket (például a Scrum keretrendszert) alkalmaznak, saját döntéseket hoznak, és ügyfélorientált termékeket készítenek. Az osztagok jellemzően üzleti részlegekben találhatók, mint például a marketing, és sokuk nagy hangsúlyt fektet az adatvezérelt és az ML-alapú termékek kiépítésére. Például a biztosításban a tipikus felhasználási esetek az ügyfelek lemorzsolódásának előrejelzése és a termékajánlás.
Az ML összetettsége miatt az ML megoldás egyetlen osztag általi létrehozása kihívást jelent, ezért különböző osztagok együttműködését igényli.
A SIGNAL IDUNA három alapvető csapattal rendelkezik, amelyek támogatják az ML megoldások létrehozását. Ez a három osztag veszi körül az ML megoldás fejlesztéséért és hosszú távú működéséért felelős csapatot. Ez a megközelítés az AWS megosztott felelősségi modelljét követi [2].
A fenti képen az összes osztag áttekintésben látható.
Felhő engedélyezése
A felhőalapú infrastruktúrát a teljes szervezet számára a Cloud Enablement csapat biztosítja. Az ő feladatuk, hogy lehetővé tegyék a csapatoknak, hogy önállóan is felhőtechnológiákra építsenek termékeket. Ez lerövidíti az új termékek, például az ML piacra dobásának idejét, és követi a „Te építed, te futtatod” elvet.
Data Office/Data Lake
Az adatok felhőbe helyezését, valamint a megfelelő adatkészlet megtalálását a Data Office/Data Lake csapat támogatja. Felállítanak egy adatkatalógust, amelyen keresztül lehet keresni és kiválasztani a szükséges adatkészleteket. Céljuk az adatok átláthatóságának és irányításának megteremtése. Ezenkívül felelősek egy Data Lake létrehozásáért és működtetéséért, amely segít a csapatoknak elérni és feldolgozni a releváns adatokat.
Adatelemzési platform
A Data Analytics Platform (DAP) csapatunk a SIGNAL IDUNA felhő- és ML-központú csapata, amely jártas az ML mérnöki, adatmérnöki és adattudományi területen. Infrastrukturális összetevők és ismeretek biztosításával lehetővé tesszük a belső csapatok nyilvános felhő használatát az ML-hez. Termékeinket és szolgáltatásainkat a következő részben mutatjuk be részletesen.
Több funkciójú csapatok számára lehetővé téve az ML megoldások kidolgozását
Ahhoz, hogy a SIGNAL IDUNA többfunkciós csapatai ML-megoldásokat hozhassanak létre, szükségünk van egy gyors és sokoldalú módra az újrafelhasználható felhő-infrastruktúra biztosítására, valamint egy hatékony munkafolyamatra a felhőalapú képességek kihasználásához.
Ennek érdekében szabványosított bevezetési és támogatási folyamatot hoztunk létre, és moduláris infrastruktúra-sablonokat biztosítottunk Infrastructure as Code (IaC) néven. Ezek a sablonok olyan infrastruktúra-összetevőket tartalmaznak, amelyeket az általános ML használati esetekre terveztek, és amelyek könnyen testreszabhatók egy adott használati eset követelményeihez.
Az ML megoldások kiépítésének munkafolyamata
Az ML-megoldások kiépítésében és üzemeltetésében három fő műszaki szerepkör van: az adattudós, az ML-mérnök és az adatmérnök. Mindegyik szerep a többfunkciós osztag része, és más-más felelősségi körük van. Az adattudós rendelkezik a szükséges területi ismeretekkel a használati eset funkcionális és műszaki követelményeiről. Az ML mérnök automatizált ML-megoldások kidolgozására és modellek telepítésére specializálódott. Az adatmérnök pedig gondoskodik arról, hogy az adatok a helyszínről és a felhőn belül folyjanak.
A platform biztosításának folyamata a következő:
Az adott használati eset infrastruktúrája az IaC-ben van definiálva, és egy központi projekttárban van verziószámítva. Ebbe beletartoznak a modellképzéshez és -telepítéshez szükséges folyamatok, valamint egyéb, adattudományhoz kapcsolódó kódtermékek is. Az adattudósok, az ML-mérnökök és az adatmérnökök hozzáférhetnek a projekttárhoz, és önállóan konfigurálhatják és frissíthetik az összes infrastruktúrakódot. Ez lehetővé teszi a csapat számára, hogy szükség esetén gyorsan módosítsa az infrastruktúrát. Az ML mérnök azonban mindig tud segíteni az infrastruktúra vagy az ML modellek fejlesztésében és frissítésében.
Újrafelhasználható és moduláris infrastruktúra-összetevők
A hierarchikus és moduláris IaC erőforrások implementálva vannak Terraform és infrastruktúrát tartalmaznak az általános adattudományi és ETL használati esetekhez. Ez lehetővé teszi számunkra, hogy újra felhasználjuk az infrastruktúra kódját, és érvényesítsük a szükséges biztonsági és megfelelőségi irányelveket, például a használatot AWS kulcskezelési szolgáltatás (KMS) az adatok titkosítása, valamint az infrastruktúra beágyazása Amazon Virtual Private Cloud (VPC) közvetlen internet-hozzáférés nélküli környezetekben.
Az IaC hierarchikus szerkezete a következő:
- Modulok az alapvető AWS-szolgáltatásokat a szükséges konfigurációval a biztonság és a hozzáférés-kezelés érdekében. Ez magában foglalja a legjobb gyakorlati konfigurációkat, például a nyilvános hozzáférés megakadályozását Amazon Simple Storage Service (S3) gyűjtőhelyekre, vagy az összes tárolt fájl titkosításának kényszerítésére.
- Bizonyos esetekben különféle szolgáltatásokra van szükség a folyamatok automatizálásához, például az ML-modellek különböző szakaszokban történő telepítéséhez. Ezért meghatároztuk Megoldások különböző modulokból álló kötegként közös konfigurációban különböző típusú feladatokhoz.
- Ezen kívül kínálunk komplett tervrajz amelyek kombinálják a megoldásokat a különböző környezetekben, hogy megfeleljenek a projekt számos lehetséges szükségletének. Az MLOps-tervünkben egy telepíthető infrastruktúrát definiálunk az AWS-fiókokba integrált és elosztott ML-modellek képzéséhez, kiépítéséhez és figyeléséhez. A további részleteket a következő részben tárgyaljuk.
Ezeknek a termékeknek a verzióját a DAP csapat egy központi adattárban végzi. Ez lehetővé teszi számunkra, hogy folyamatosan fejlesztjük IaC-ünket, és figyelembe vegyük az AWS új funkcióit, mint pl Amazon SageMaker Modell nyilvántartás. Mindegyik csapat hivatkozhat ezekre az erőforrásokra, szükség szerint paraméterezheti őket, és végül telepítheti őket saját AWS-fiókjaiban.
MLOps architektúra
Használatra kész tervrajzot biztosítunk speciális megoldásokkal, amelyek lefedik a teljes MLOps folyamatot. A terv négy AWS-fiókra osztott infrastruktúrát tartalmaz az ML-modellek felépítéséhez és telepítéséhez. Ez lehetővé teszi az erőforrások és a munkafolyamatok elkülönítését az MLOps folyamat különböző lépéseihez. A következő ábra a többfiókos architektúrát mutatja be, és leírjuk, hogy a folyamat egyes lépései feletti felelősség hogyan oszlik meg a különböző technikai szerepkörök között.
A modellezés fiók ML modellek fejlesztésére vonatkozó szolgáltatásokat tartalmaz. Először is, az adatmérnök egy ETL-folyamatot alkalmaz, hogy releváns adatokat biztosítson a SIGNAL IDUNA adattóból, amely az AWS felhő adatvezérelt munkafolyamatainak központosított átjárója. Ezt követően az adathalmazt az adatkutató felhasználhatja a modelljelöltek képzésére és értékelésére. Miután készen áll a kiterjedt kísérletekre, a modelljelöltet az ML mérnöke egy automatizált képzési folyamatba integrálja. Az Amazon SageMaker Pipelines segítségével automatizáljuk a képzést, a hiperparaméter-hangolást és a modellértékelést. Ez magában foglalja a modellek származását és a szabványos jóváhagyási mechanizmust is a gyártásba kerülő modellekhez. Az automatizált egységtesztek és kódelemzés biztosítják a kód minőségét és megbízhatóságát a folyamat minden egyes lépéséhez, például az adatok előfeldolgozásához, a modell betanításához és az értékeléshez. A modell értékelése és jóváhagyása után az Amazon SageMaker ModelPackages felületet használjuk a betanított modellhez és a releváns metaadatokhoz.
A szerszámok A fiók különböző szakaszokkal rendelkező automatizált CI/CD folyamatokat tartalmaz a betanított modellek teszteléséhez és üzembe helyezéséhez. A teszt szakaszban a modelleket telepítik a kiszolgáló-nem prod fiókot. Bár a modell minőségét a betanítási folyamatban értékelik a modell gyártásra kerülése előtt, itt teljesítmény- és integrációs teszteket futtatunk egy elszigetelt tesztelési környezetben. A tesztelési szakaszon áthaladva a modelleket a rendszerbe telepítik felszolgáló-termék fiókot integrálni kell a termelési munkafolyamatokba.
Az MLOps munkafolyamat szakaszainak különböző AWS-fiókokba való szétválasztása lehetővé teszi, hogy elkülönítsük a fejlesztést és a tesztelést a termeléstől. Ezért szigorú hozzáférési és biztonsági szabályzatot tudunk érvényesíteni. Ezenkívül a személyre szabott IAM-szerepek biztosítják, hogy az egyes szolgáltatások csak a hatóköréhez szükséges adatokhoz és egyéb szolgáltatásokhoz férhessenek hozzá, a következőt követően legkevesebb kiváltság elve. A kiszolgáló környezeteken belüli szolgáltatások emellett elérhetővé tehetők külső üzleti folyamatok számára is. Például egy üzleti folyamat lekérdezhet egy végpontot a kiszolgálási termékkörnyezetben a modell előrejelzéseihez.
Megközelítésünk előnyei
Ennek a folyamatnak számos előnye van ahhoz képest, hogy a fejlesztés és az üzemeltetés szigorú szétválasztása mind az ML modellek, mind a szükséges infrastruktúra esetében:
- Szigetelés: Minden csapat megkapja a saját AWS-fiókját, amely teljesen el van szigetelve a többi csapat környezetétől. Ez megkönnyíti a hozzáférési jogok kezelését, és az adatok bizalmas kezelését azok számára, akik arra jogosultak.
- Felhő engedélyezése: A felhő DevOps-ban kevés korábbi tapasztalattal rendelkező csapattagok (például sok adattudós) könnyedén figyelemmel kísérhetik az infrastruktúra tervezésének és kezelésének teljes folyamatát, mivel (szinte) semmi nincs elrejtve előttük egy központi szolgáltatás mögött. Ez lehetővé teszi az infrastruktúra jobb megértését, ami viszont segíthet nekik az adattudományi termékek hatékonyabb létrehozásában.
- A termék tulajdonjoga: Az előre konfigurált infrastrukturális megoldások és felügyelt szolgáltatások használata nagyon alacsonyan tartja az ML-termékek éles kezelésének akadályát. Ezért egy adattudós könnyen birtokba veheti a gyártásba kerülő modellt. Ez minimálisra csökkenti annak a jól ismert kockázatát, hogy a fejlesztés után nem sikerül egy modellt gyártásba helyezni.
- Innováció: Mivel az ML mérnököket már jóval azelőtt bevonják, hogy a modell készen állna a gyártásra, új felhasználási esetekre alkalmas infrastrukturális megoldásokat hozhatnak létre, miközben az adatkutatók ML modellt fejlesztenek.
- rugalmasság: Mivel a DAP által kifejlesztett IaC megoldások szabadon elérhetőek, bármelyik csapat könnyen adaptálhatja ezeket, hogy megfeleljenek az adott felhasználási esetnek.
- Nyílt forráskód: Minden új infrastrukturális megoldás könnyen elérhetővé tehető a központi DAP kódtáron keresztül, hogy más csapatok is használhassák. Idővel ez gazdag kódbázist hoz létre a különböző használati esetekre szabott infrastruktúra-összetevőkkel.
Összegzésként
Ebben a bejegyzésben bemutattuk, hogy a SIGNAL IDUNA többfunkciós csapatai hogyan építhetnek fel és futtathatnak ML-termékeket AWS-en. Megközelítésünk központi eleme az AWS-fiókok dedikált készletének használata minden csapat számára, testre szabott IaC tervrajzokkal és megoldásokkal kombinálva. Ez a két összetevő lehetővé teszi egy többfunkciós csapat számára, hogy termelési minőségi infrastruktúrát hozzon létre és üzemeltethessen. Ők viszont átvehetik az ML termékeik teljes körű tulajdonjogát.
Hivatkozni Amazon SageMaker modellépítő csővezetékek – Amazon SageMaker és tudjon meg többet!
További információ a ML az AWS-en hivatalos oldalunkon.
Referenciák
[1] https://www.handelsblatt.com/finanzen/versicherungsbranche-vorbild-spotify-signal-iduna-wird-von-einer-handwerker-versicherung-zum-agilen-konzern/27381902.html
[2] https://blog.crisp.se/wp-content/uploads/2012/11/SpotifyScaling.pdf
[3] https://aws.amazon.com/compliance/shared-responsibility-model/
A szerzőkről
Jan Paul Assendorp egy ML mérnök, aki erős adattudományi fókuszú. ML-modelleket épít, és automatizálja a modellképzést és a termelési környezetekben történő bevezetést.
Thomas Lietzow a csapat Data Analytics Platform Scrum mestere.
Christopher Masch az adatelemzési platform terméktulajdonosa, aki az adatmérnöki, adattudományi és ML mérnöki ismeretekkel rendelkezik.
Alexander Meinert a Data Analytics Platform csapat tagja, és ML mérnökként dolgozik. Statisztikával indult, adattudományi projekteken fejlődött, szenvedélyt talált az ML módszerek és az architektúra iránt.
Dr. Lars Palzer adattudós és a Data Analytics Platform csapat tagja. Miután segített az MLOps architektúra összetevőinek elkészítésében, most ML termékek készítésére használja őket.
Jan Schillemans ML mérnök szoftvermérnöki háttérrel. A legjobb szoftverfejlesztési gyakorlatok ML környezetekben (MLOps) való alkalmazására összpontosít.
- Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
- CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
- Forrás: https://aws.amazon.com/blogs/machine-learning/how-signal-iduna-operationalizes-machine-learning-projects-on-aws/
- "
- 100
- 2021
- hozzáférés
- Fiók
- át
- Akció
- előnyei
- agilis
- Minden termék
- Bár
- amazon
- elemzés
- analitika
- Alkalmazása
- megközelítés
- építészet
- Automatizált
- elérhető
- AWS
- hogy
- BEST
- legjobb gyakorlatok
- épít
- Épület
- Csomag
- üzleti
- képességek
- esetek
- kihívás
- felhő
- felhő infrastruktúra
- kód
- együttműködés
- kombináció
- Közös
- vállalat
- képest
- teljesítés
- Configuration
- tartalmaz
- létrehozása
- dátum
- Adatelemzés
- adat-tudomány
- adattudós
- elszánt
- telepíteni
- bevezetéséhez
- bevetés
- tervezés
- részlet
- Fejleszt
- fejlett
- fejlesztése
- Fejlesztés
- különböző
- megvitatni
- megosztott
- domain
- könnyen
- titkosítás
- Endpoint
- mérnök
- Mérnöki
- Mérnökök
- Környezet
- alapvető
- létrehozni
- példa
- tapasztalat
- GYORS
- Jellemzők
- Ábra
- Végül
- vezetéknév
- Összpontosít
- összpontosított
- következő
- talált
- Alapítvány
- Keretrendszer
- Tele
- Célok
- kormányzás
- segít
- segít
- itt
- Hogyan
- HTTPS
- kép
- végre
- fontos
- javul
- tartalmaz
- információ
- Infrastruktúra
- biztosítás
- integrált
- integráció
- Felület
- Internet
- részt
- IT
- Kulcs
- tudás
- nagy
- TANUL
- tanulás
- kis
- Hosszú
- gép
- gépi tanulás
- vezetés
- kezelése
- piacára
- Marketing
- Mérkőzés
- Partnerek
- meta
- ML
- modell
- modellek
- moduláris
- ellenőrzés
- Új funkciók
- új termékek
- ajánlat
- hivatalos
- Beszállás
- üzemeltetési
- szervezet
- Más
- tulajdonos
- teljesítmény
- emelvény
- Politikák
- politika
- előrejelzés
- Tippek
- Megelőzés
- magán
- folyamat
- Folyamatok
- Termékek
- Termelés
- Termékek
- Program
- program
- projektek
- ad
- nyilvános
- Nyilvános felhő
- világítás
- raktár
- kötelező
- követelmények
- Tudástár
- felelős
- Kritika
- Kockázat
- futás
- Skála
- Tudomány
- Tudós
- tudósok
- Keresés
- biztonság
- szolgáltatás
- Szolgáltatások
- szolgáló
- készlet
- megosztott
- Egyszerű
- szoftver
- szoftverfejlesztés
- Megoldások
- specializálódott
- költ
- Színpad
- kezdet
- kezdődött
- statisztika
- tárolás
- Stratégia
- erős
- Később
- támogatás
- Támogatott
- körülvett
- feladatok
- csapat
- Műszaki
- Technologies
- teszt
- Tesztelés
- tesztek
- idő
- Képzések
- Átalakítás
- Átláthatóság
- Frissítések
- us
- használ
- hasznosít
- Tényleges
- Nézz
- WHO
- belül
- nélkül
- Munka
- munkaerő
- művek