Kuinka Yara käyttää Amazon SageMakerin MLOps-ominaisuuksia energian optimoinnin skaalaamiseen ammoniakkitehtaissaan

Yara on maailman johtava kasvinravintoyhtiö ja ympäristö- ja maatalousratkaisujen toimittaja. Yaran tavoitteena on kasvattaa luontomyönteistä ruokatulevaisuutta, joka luo arvoa asiakkaille, osakkeenomistajille ja yhteiskunnalle kokonaisuudessaan ja tarjoaa kestävämmän ruoan arvoketjun. Yara tukee visiotamme maailmasta, jossa ei ole nälkää ja kunnioitettua planeettaa, ja se noudattaa kestävän arvonkasvun strategiaa, edistää ilmastoystävällistä viljelykasvien ravintoa ja päästöttömiä energiaratkaisuja. Yara on myös maailman suurin ammoniakin, nitraattien ja NPK lannoitteet. Heidän tuotantosegmenttinsä on siksi olennainen rakennuspalikka heidän tehtävänsä toteuttamisessa – selkeästi ilmaistuna tavoitteena on tulla maailman johtavaksi mittareissa, kuten turvallisuus, ympäristöjalanjälki, laatu ja tuotantokustannukset. Yaran pitkän aikavälin tavoite on "Tulevaisuuden tehdas", jossa on nollapäästöjä ja alhaiset kustannukset.

Vähäiseen muutokseen perustuen Yara keskittyy entistä enemmän digitaalisiin ratkaisuihin auttaakseen heitä saavuttamaan tavoitteensa. Tätä työtä johtamaan Yara perusti maailmanlaajuisen yksikön nimeltä Digital Production. Digitaalituotannon ja sen ratkaisujen menestys on Yaralle keskeinen prioriteetti, ja Yara lisäsi panostustaan ​​merkittävästi tällä alalla. Kriittinen painopistealue on hyödyntää osana toimintaansa tuotettua valtavaa datamäärää. Siksi Yara rakentaa tietopohjaisia ​​tuotteita, jotka auttavat heitä optimoimaan tuotantoa, parantamaan tuotteiden laatua, lisäämään tuotantolaitosten luotettavuutta, vähentämään päästöjä, lisäämään työntekijöiden turvallisuutta ja tuottavuutta, automatisoimaan manuaalisia prosesseja ja paljon muuta.

Energia on merkittävä kustannustekijä monille tuotantolaitoksille; näin ollen energiatehokkuudella on merkittävä vaikutus kannattavuuteen. Usein kuitenkin puuttuu kiinteitä viitteitä siitä, miltä hyvä suoritus näyttää ja miten siihen päästään. Yaran Energy Load Curve (ELC) on ratkaisu, joka käyttää parasta historiallista suorituskykyä energiankulutuksessa verrattuna nykyiseen suorituskykyyn. Jos nykyinen kulutus poikkeaa liikaa historiallisesta parhaasta, työkalu antaa suosituksia käyttäjille energiankulutuksen ohjaamiseksi.

Yaran täytyi rakentaa MLOps-alusta voidakseen ottaa ELC:n käyttöön tuotantolaitoksissa ja skaalata sen useisiin toimipisteisiin ympäri maailmaa. Tämä varmistaisi, että Yara kouluttaa, ottaa käyttöön ja ylläpitää malleja luotettavasti ja tehokkaasti. Lisäksi Yaran täytyi automatisoida käyttöönotto- ja ylläpitoprosessit skaalatakseen tämän useisiin toimipisteisiin. Tässä viestissä keskustelemme Yaran käytöstä Amazon Sage Maker ominaisuuksia, mukaan lukien mallirekisteri, Amazon SageMaker -mallimonitorija Amazon SageMaker -putkistot virtaviivaistaa koneoppimisen (ML) elinkaarta automatisoimalla ja standardoimalla MLOps-käytäntöjä. Tarjoamme yleiskatsauksen asennuksesta ja esittelemme ML-mallien rakentamis-, koulutus-, käyttöönotto- ja valvontaprosessia tehtaille ympäri maailmaa.

Katsaus ratkaisuun

ELC käyttää Internet of Things (IoT) -antureiden dataa tehtaalta. Nämä anturit mittaavat mittareita, kuten tuotannon suorituskykyä, ympäristöolosuhteita ja raaka-aineolosuhteita jne. Näitä tietoja käytetään energian ennustemallin kouluttamiseen, jota käytetään sitten tuntiennusteiden luomiseen. Laitosoperaattorit seuraavat todellista energiankulutusta ja vertaavat sitä ELC:n ennustamaan optimaaliseen kulutukseen. Jos nykyinen energiankulutus poikkeaa liikaa optimaalisesta pisteestä, ELC tarjoaa toiminnon sisäisten prosessimuuttujien säätämiseksi energiatehokkuuden optimoimiseksi analyyttisten mallien perusteella.

ELC isännöi pilvessä. Yara käyttää anturitietojen suoratoistamiseen tehtaalta reaaliajassa AWS IoT Vihreä ruoho kommunikoida turvallisesti AWS IoT -ydin ja viedä IoT-dataa AWS-pilveen. AWS IoT -sivusto on hallittu palvelu, joka voi kerätä, järjestää, etsiä ja kuluttaa laitetietoja teollisuuslaitteista suuressa mittakaavassa. Yara on rakentanut API:t käyttämällä Amazon API -yhdyskäytävä anturitietojen paljastamiseksi sovelluksille, kuten ELC.

ELC-sovellustaustaosa otetaan käyttöön Amazon ECS:n kautta, ja se toimii ELC-kojelaudoissa, joita laitoksen käyttäjät käyttävät. ELC-sovellus vastaa tuntikohtaisten ennakoivien energiankulutusmittareiden toimittamisesta laitosten käyttäjille. Jokainen laitos on varustettu omalla mallillaan, koska niiden energiankulutusominaisuudet vaihtelevat. Lisäksi tehtaat on ryhmitelty eri AWS-alueisiin sijaintinsa perusteella.

Seuraava kaavio kuvaa tätä arkkitehtuuria.

ELC:n rakentamiseen ja useiden laitosten skaalaamiseen tarvitsimme MLOps-ratkaisun, joka tukee seuraavia:

• skaalautuvuus – Se voi skaalata datamäärien mukaan. Jotkut kasvit tuottavat enemmän tietoa kuin toiset; jokainen tehdas voi tuottaa useita gigatavuja dataa päivässä.
• Laajennettavuus – Se voidaan ottaa käyttöön uusille alueille ja tileille.
• Toistettavuus – Siinä on yhteisiä malleja, joita voimme käyttää uuteen tehtaaseen.
• Joustavuus – Se voi muuttaa käyttöönottokokoonpanoa kunkin laitoksen tarpeiden mukaan.
• Luotettavuus ja seuranta – Se pystyy suorittamaan testejä ja sillä on selkeä näkyvyys kaikkien aktiivisten kasvien tilaan. Vian sattuessa se voi palata edelliseen vakaaseen tilaan.
• kunnossapito – Ratkaisun ylläpitokustannusten tulee olla alhaiset. Sen tulisi käyttää mahdollisuuksien mukaan palvelimettomia palveluita infrastruktuurin jalanjäljen pienentämiseksi.

ML:ssä Yara päätti käyttää SageMakeria. SageMaker on täysin hallittu palvelu, joka kattaa koko ML-työnkulun. Seuraavat ominaisuudet olivat kriittisiä SageMakerin valinnassa:

• SageMaker-kehyssäiliöt – Yara oli kouluttanut ELC-ennustusmalleja TensorFlow'lla, ja SageMaker-kehyskonteilla Yara pystyi nostamaan ja siirtämään näitä malleja minimaalisilla koodimuutoksilla SageMakeriin.
• SageMaker-putkistot – SageMaker Pipelines tarjoaa Python-rajapinnan datatieteilijöille ML-putkien kirjoittamiseen. Suuri osa ELC-koodista koostuu koulutuksesta ja päättelyputkista, jotka on määritelty Pythonissa.
• SageMaker-mallirekisteri – SageMaker-mallirekisteri mahdollistaa mallien luetteloinnin ja versionhallinnan. Lisäksi sen avulla on helppo hallita mallin metatietoja, kuten koulutusmittareita.
• SageMaker-mallimonitori – Yara halusi seurata saapuvan tiedon laatua ja jakautumista sekä ELC-mallin suorituskykyä. SageMaker Model Monitor -sovellusliittymät tarjoavat tietojen ja mallien laadun seurantaa.

Yara käyttää ML-putkien jatkuvan integroinnin ja jatkuvan toimituksen (CI/CD) hallintaan Amazon Deployment Framework (ADF). ADF on AWS:n kehittämä avoimen lähdekoodin kehys resurssien hallintaan ja käyttöönottoon useilla AWS-tileillä ja -alueilla AWS-organisaation sisällä. ADF mahdollistaa sovellusten tai resurssien vaiheittaisen, rinnakkaisen, usean tilin ja alueiden välisen käyttöönoton kohdassa määritellyn rakenteen avulla. AWS-organisaatiot, samalla kun hyödynnät palveluita, kuten AWS-koodiputki, AWS CodeBuild, AWS CodeCommitja AWS-pilven muodostuminen helpottaa raskaiden nostoa ja hallintaa verrattuna perinteiseen CI/CD-asetukseen.

Ratkaisun yleiskatsaus

Koko MLOps-alustan ratkaisu rakennettiin kahdessa kuukaudessa yhteistyössä AWS-asiantuntijapalvelut. Projektin parissa työskentelevä tiimi koostui datatieteilijöistä, tietoinsinööreistä ja DevOps-asiantuntijoista. Helpottaakseen nopeampaa kehitystä usean tiimin ympäristössä Yara päätti käyttää AWS Landing Zone ja organisaatiot voivat luoda, hallita ja hallita keskitetysti erilaisia ​​AWS-tilejä. Esimerkiksi Yaralla on keskitetty käyttöönottotili, ja se käyttää työmäärätilejä yrityssovellusten isännöintiin. ELC on prosessin optimoinnin käyttötapaus, ja sitä käytetään työkuormitustilien optimointiin. Yara Digital Production -tiimi työskentelee myös ML-käyttötapausten parissa muillakin alueilla kuin optimoinnissa. MLOps-kehys tukee käyttöönottoa kaikille työmäärätileille niin kauan kuin tilit luodaan organisaatioiden kautta.

Seuraava kaavio kuvaa tätä arkkitehtuuria.

Keskitetyn käyttöönottotilin avulla on helppo hallita yleisiä artefakteja ja CI/CD-putkia. Näiden yleisten artefaktien käyttöoikeuksien hallinnan ja turvallisuuden kannalta se on yksinkertaisempi rakenne, koska käyttöoikeusrajoja ja salausavaimia hallitaan keskitetysti yhdessä paikassa. Seuraavissa osioissa opastamme sinut läpi vaiheet, jotka vaaditaan uuteen käyttötapaukseen Yaran MLOps-alustalle.

Tilistrategian kannalta Yaralla on hiekkalaatikko-, DEV-, TEST- ja PROD-asetukset. Sandbox-tiliä käytetään kokeiluun ja uusien ideoiden kokeilemiseen. DEV-tili on CI/CD-putkien lähtökohta, ja kaikki kehitys alkaa tästä. Käyttöönottotili sisältää CI/CD-putken määritelmän, ja se voidaan ottaa käyttöön DEV-, TEST- ja PROD-tileille. Tämä tilin määritys on kuvattu seuraavassa kuvassa.

Uuden käyttötapauksen käyttöönotto

Tätä viestiä varten oletamme, että meillä on toimiva prototyyppi käyttötapauksesta, ja nyt haluamme ottaa sen käyttöön. Jos tämä käyttötapaus kuuluu uuteen tuotealueeseen, meidän on ensin luotava tilit Organisaatioiden avulla, mikä käynnistää automaattisesti ADF:n käynnistämään nämä tilit käyttöönottoa varten. Yara noudattaa DEV>TEST>PROD-tilistrategiaa; tämä kokoonpano ei kuitenkaan ole pakollinen. Datatilit paljastavat sovellusliittymiä datan käyttöä varten, ja uutta käyttötapausta varten on annettava tarvittavat roolit AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttöoikeudet, jotta he voivat käyttää Data API:ita.

Seuraavaksi meidän on määritettävä, mille tileille tämä käyttötapaus otetaan käyttöön. Tämä tehdään ADF:n käyttöönottokartan avulla. Käyttöönottokartta on määritystiedosto, joka sisältää putkilinjan vaiheiden ja kohteiden kartoituksen. Käyttöönottokartan suorittamiseen ADF käyttää CodePipelinea. ADF tarjoaa joustavuutta parametrien hallintaan kohdeympäristön mukaan, johon pino on asennettu. Tämä helpottaa käyttöönottojen hallintaa ja testausta pienemmillä instansseilla.

Luomme kaikkien artefaktien, kuten koodin, datan ja mallitiedostojen, salaamiseksi AWS-avainhallintapalvelu (AWS KMS) -avain. Voit myös käyttää palvelinpuolen salausta. Koska joitain luoduista artefakteista kuitenkin käytetään eri tileillä, meidän on luotava oma avaimemme ja hallinnoitava sen käyttöoikeuskäytäntöjä, jotta voimme myöntää tilien välisen käyttöoikeuden.

Lopuksi meidän on luotava mallipakettiryhmä mallin eri versioiden ryhmittelyä varten käyttämällä SageMaker-mallirekisteriä, joka on SageMaker-ominaisuus, jonka avulla voidaan seurata ja hallita malleja niiden liikkuessa ML-elinkaaren aikana.

Mallin koulutusputki

Luomme jokaiselle uudelle ELC:n käyttöön otettavalle tehtaalle uuden SageMaker-koulutusputken. Tämä putki koostuu tietojen esikäsittelystä ja mallin koulutusvaiheista. SageMaker-liukuhihnat sopivat hyvin Yaralle, koska ne tarjoavat Python-rajapinnan ML-työnkulun määrittämiseen. Lisäksi työnkulun eri vaiheet voidaan konfiguroida skaalautumaan eri tavalla. Voit esimerkiksi määrittää paljon suuremman esiintymän koulutukselle kuin mallin arviointivaiheelle. Liukuhihnan kunkin vaiheen tulo- ja lähtöparametrit tallennetaan, mikä tekee jokaisen ajon ja sen tulosten seurannan helpoksi. Koulutuksen työnkulun korkean tason pääpiirteet ovat seuraavat.

Osana mallin arviointivaihetta arviointitietojoukon avulla luodaan mittareita, kuten tarkkuus ja RMSE-poikkeama opetetussa mallissa. Nämä tiedot lisätään mallin metatietoihin ennen mallin rekisteröintiä mallirekisteriin. Tällä hetkellä mallit edistetään manuaalisesti korkeampiin ympäristöihin, ja mallin hyväksyjä voi tarkastella mallin mittareita varmistaakseen, että uusi versio toimii paremmin kuin nykyinen malli.

Mallit ovat versionhallinnassa mallirekisterin avulla, ja jokaisella tehtaalla on oma mallipakettiryhmänsä. Lisäksi voit käyttää mallirekisteriä seurataksesi, mitkä malliversiot on otettu käyttöön missäkin ympäristöissä. Malli voi olla a Hylätty, Odottaa manuaalista hyväksyntäätai Hyväksytty ja vain mallit, jotka ovat Hyväksytty tila voidaan ottaa käyttöön. Tämä tarjoaa myös suojan mallin hyväksymättömän version vahingossa käyttöönotolta.

Mallin päättely ja seurantaputki

Mallin käyttöönottoa ja mallin valvonnan määrittämistä varten määritimme toisen SageMaker-putkilinjan. ELC-sovellus tarjoaa laitosoperaattoreille ennusteita pyynnöstä, joten malleihin päästään ELC-taustasta tehtyjen API-kutsujen kautta. SageMaker-päätelmäpäätepisteet tarjoavat täysin hallitun mallin isännöintiratkaisun API-kerroksella; päätepisteet ottavat mallin syötteen hyötykuormana ja tuottoennusteena. Koska latenssi on myös ratkaiseva tekijä loppukäyttäjille, jotka eivät halua odottaa kauan ennen päivitettyjen ennusteiden saamista, Yara valitsi SageMakerin reaaliaikaiset päättelypäätepisteet, jotka sopivat erityisen hyvin työkuormille, joilla on erittäin alhaiset viivevaatimukset. Lopuksi, koska ELC-sovelluksella ei voi olla seisokkeja päivitettyjen mallien käyttöönoton aikana, se luottaa SageMakerin reaaliaikaisten päätepisteiden siniseen/vihreään käyttöönottokykyyn varmistaakseen, että vanhan mallin versio palvelee edelleen ennustetta, kunnes uusi versio otetaan käyttöön. .

Seuraava kaavio havainnollistaa käyttöönoton ja valvonnan asetuksia.

Mallin seurantaan Yara käyttää SageMakeria tiedon laatu, mallin laatuja mallin selitettävyys seurantaa. Tietojen laadunvalvonta tarkistaa johdonmukaisuuden ja tuottaa tiedon jakelutilastoja. Mallin laadunvalvonta tarkistaa mallin suorituskyvyn ja vertaa mallin tarkkuutta koulutusmittareihin. Mallin seurantaraportit luodaan tuntikohtaisesti. Näitä raportteja käytetään mallin suorituskyvyn seuraamiseen tuotannossa. Mallin selitettävyyden seurantaa käytetään ymmärtämään, mitkä ominaisuudet vaikuttavat eniten ennustamiseen.

Nämä mallin selitettävyyden tulokset jaetaan ELC-kojelautaan, jotta laitosten käyttäjät saavat enemmän tietoa siitä, mikä ohjaa energiankulutusta. Tämä tukee myös sisäisen prosessin säätötoimenpiteiden määrittämistä, jos energiankulutus poikkeaa optimaalisesta pisteestä.

CI/CD-virtaus

Koulutusputkien CI/CD-kulku alkaa DEV-tilistä. Yara noudattaa ominaisuuspohjaista kehitysmallia ja kun uutta ominaisuutta kehitetään, ominaisuushaara yhdistetään runkoon, mikä aloittaa käyttöönoton. ELC-mallit koulutetaan DEV-tilillä, ja mallin koulutuksen ja arvioinnin jälkeen se rekisteröidään mallirekisteriin. Mallin hyväksyjä suorittaa mielenterveystarkistuksia ennen mallin tilan päivittämistä Hyväksytty. Tämä toiminto luo tapahtuman, joka käynnistää mallin päättelyputken käyttöönoton. Mallin päättelyputki ottaa käyttöön uuden malliversion SageMaker-päätepisteeseen DEV:ssä.

Päätepisteen käyttöönoton jälkeen käynnistetään testit asennuksen toiminnan tarkistamiseksi. Yara käyttää testaukseen CodeBuild-testiraportit. Tämän ominaisuuden avulla kehittäjät voivat suorittaa yksikkötestejä, kokoonpanotestejä ja toimintatestejä ennen käyttöönottoa ja sen jälkeen. Tässä tapauksessa Yara suorittaa toimintatestejä välittämällä testihyötykuormat SageMaker-päätepisteille ja arvioimalla vastauksen. Kun nämä testit on läpäissyt, liukuhihna etenee ottamaan käyttöön SageMaker-päätepisteet TEST:ään. ELC-taustaosa on myös otettu käyttöön TESTissä, mikä tekee sovelluksen päästä päähän -testauksen mahdolliseksi tässä ympäristössä. Lisäksi Yara suorittaa käyttäjien hyväksyntätestauksen TESTissä. TEST-käyttöönoton laukaisu PROD-käyttöön on manuaalinen hyväksyntätoiminto. Kun uusi malliversio on läpäissyt sekä toiminnalliset että käyttäjähyväksyntätestit TESTissä, suunnittelutiimi hyväksyy mallin käyttöönoton PROD:lle.

Seuraava kuva havainnollistaa tätä työnkulkua.

Yleiset komponentit

ELC:ssä käytämme useita komponentteja, jotka ovat yhteisiä kaikissa käyttöönottovaiheissa (DEV, TEST, PROD) ja malleissa. Nämä komponentit sijaitsevat käyttöönottotilillämme, ja ne sisältävät malliversion hallinnan, säilön kuvavaraston, salausavaimen ja kauhan yleisten artefaktien tallentamiseen.

Yleisten esineiden käyttämisessä on useita etuja. Resursseja ei esimerkiksi tarvitse luoda jokaiselle tilille, mikä varmistaa tilien välisen yhteensopivuuden. Tämä tarkoittaa, että rakennamme säilökuvat kerran ja käytämme niitä uudelleen kaikilla kohdetileillä, mikä vähentää rakennusaikaa.

Tämä liukuhihna tallentaa eri malliversiot yleiseen mallirekisteriin käyttöönottotilillä. Tästä keskeisestä sijainnista mallit voidaan ottaa käyttöön kaikilla tileillä siirtämättä niitä. Vastaavasti keskitetysti tallennetun salausavaimen käyttö helpottaa avaimen ja tilien välisten käyttöoikeuksien hallintaa.

Yksi yleisten artefaktien käytön haittapuoli on, että uuden käyttötapauksen käyttöönottovaihe voi olla monimutkaisempi. Uuden käyttötapauksen ottamiseksi käyttöön on luotava uusi mallirekisteri ja tarvittaessa uusi konttikuvavarasto. Suosittelemme myös uuden salausavaimen luomista resurssien ja tallennettujen tietojen tiukasti erottamiseksi.

Yhteenveto

Tässä viestissä osoitimme, kuinka Yara käytti SageMakeria ja ADF:ää erittäin skaalautuvan MLOps-alustan rakentamiseen. ML on monialainen ominaisuus, ja tiimit ottavat käyttöön malleja eri liiketoimintayksiköiden tileille. Siksi ADF, joka tarjoaa alkuperäisen integraation organisaatioiden kanssa, tekee siitä ihanteellisen ehdokkaan käynnistää tilejä CI/CD-putkien määrittämiseksi. Toiminnallisesti ADF-putket kulkevat keskitetyssä käyttöönottotilissä, mikä helpottaa yleiskuvan saamisesta käyttöönotoista. Lopuksi ADF käyttää AWS-hallittuja palveluita, kuten CodeBuild, CodeDeploy, CodePipeline ja CloudFormation, mikä tekee sen määrittämisestä ja ylläpidosta helppoa.

SageMaker tarjoaa laajan kirjon ML-ominaisuuksia, joiden avulla tiimit voivat keskittyä enemmän yritysongelmien ratkaisemiseen ja vähemmän infrastruktuurin rakentamiseen ja ylläpitoon. Lisäksi SageMaker Pipelines tarjoaa runsaan joukon API-liittymiä ML-työnkulkujen luomiseen, päivittämiseen ja käyttöönottoon, joten se sopii erinomaisesti MLOps-käyttöön.

Lopuksi MLOps tarjoaa parhaat käytännöt ML-mallien käyttöönottamiseksi ja ylläpitämiseksi tuotannossa luotettavasti ja tehokkaasti. Se on kriittistä tiimeille, jotka luovat ja ottavat käyttöön laajassa mittakaavassa ML-ratkaisuja MLOps:ien toteuttamiseksi. Yaran tapauksessa MLOps vähentää merkittävästi vaivaa, joka tarvitaan uuden tehtaan rakentamiseen, ELC:n päivitysten käyttöönottoon ja mallien laadunvalvonnan varmistamiseen.

Lisätietoja sovellusten käyttöönotosta automaattisen asiakirjansyöttölaitteen avulla on kohdassa Esimerkit.

---

Tietoja kirjoittajista

Shaheer Mansoor on AWS:n datatieteilijä. Hän keskittyy rakentamaan koneoppimisalustoja, jotka voivat isännöidä tekoälyratkaisuja laajassa mittakaavassa. Hänen kiinnostuksen kohteitaan ovat MLOps, ominaisuuskaupat, mallien isännöinti ja mallien seuranta.

Tim Becker on Yara Internationalin vanhempi datatutkija. Digital Productionissa hän keskittyy ammoniakin ja typpihapon tuotannon prosessien optimointiin. Hän on koulutukseltaan tohtori termodynamiikasta ja on intohimoinen prosessitekniikan ja koneoppimisen yhdistämiseen.

Yongyos Kaewpitakkun on vanhempi datatutkija Yara Internationalin digitaalisen tuotannon tiimissä. Hänellä on tohtorintutkinto tekoälystä/koneoppimisesta ja useiden vuosien käytännön kokemus koneoppimisen, tietokonenäön ja luonnollisen kielen käsittelymallien hyödyntämisestä haastavien liiketoimintaongelmien ratkaisemiseksi.