Nopeutetaan aikaa oivallukseen MongoDB:n aikasarjakokoelmien ja Amazon SageMaker Canvasin avulla | Amazon Web Services

Tämä on vieraspostaus, joka on kirjoitettu yhdessä MongoDB:n Babu Srinivasanin kanssa.

Kun toimialat kehittyvät nykypäivän nopeatempoisessa liiketoimintaympäristössä, kyvyttömyys saada reaaliaikaisia ​​ennusteita asettaa merkittäviä haasteita toimialoille, jotka ovat vahvasti riippuvaisia ​​tarkoista ja oikea-aikaisista näkemyksistä. Reaaliaikaisten ennusteiden puuttuminen eri toimialoilla asettaa liiketoiminnalle kiireellisiä haasteita, jotka voivat vaikuttaa merkittävästi päätöksentekoon ja toiminnan tehokkuuteen. Ilman reaaliaikaisia ​​oivalluksia yritysten on vaikea sopeutua dynaamisiin markkinaolosuhteisiin, ennakoida tarkasti asiakkaiden kysyntää, optimoida varastotasot ja tehdä ennakoivia strategisia päätöksiä. Alat, kuten rahoitus, vähittäiskauppa, toimitusketjun hallinta ja logistiikka, kohtaavat riskin menettää tilaisuuksia, nostaa kustannuksia, tehostaa resurssien allokointia ja kyvyttömyyttä vastata asiakkaiden odotuksiin. Tutkimalla näitä haasteita organisaatiot voivat tunnistaa reaaliaikaisen ennustamisen tärkeyden ja etsiä innovatiivisia ratkaisuja näiden esteiden voittamiseksi, jotta ne voivat pysyä kilpailukykyisinä, tehdä tietoon perustuvia päätöksiä ja menestyä nykypäivän nopeatempoisessa liiketoimintaympäristössä.

Hyödyntämällä MongoDB:n alkuperäisen muuntautumispotentiaalia Aikasarja tietoominaisuuksia ja integroimalla sen tehoihin Amazon SageMaker Canvas, organisaatiot voivat voittaa nämä haasteet ja avata uusia ketteryyden tasoja. MongoDB:n vankka aikasarjatietojen hallinta mahdollistaa suurten aikasarjatietojen tallentamisen ja hakemisen reaaliajassa, kun taas edistyneet koneoppimisalgoritmit ja ennustusominaisuudet tarjoavat tarkkoja ja dynaamisia ennustemalleja SageMaker Canvasin avulla.

Tässä viestissä tutkimme mahdollisuuksia käyttää MongoDB:n aikasarjatietoja ja SageMaker Canvasia kokonaisvaltaisena ratkaisuna.

MongoDB Atlas

MongoDB Atlas on täysin hallittu kehittäjätietoalusta, joka yksinkertaistaa MongoDB-tietokantojen käyttöönottoa ja skaalausta pilvessä. Se on asiakirjapohjainen tallennustila, joka tarjoaa täysin hallitun tietokannan, jossa on sisäänrakennettu kokoteksti ja vektori Haku, tukea: lle Geospatial kyselyt, Kaaviot ja natiivi tuki tehokkaaseen Aikasarja tallennus- ja kyselyominaisuudet. MongoDB Atlas tarjoaa automaattisen jakamisen, vaakasuuntaisen skaalautuvuuden ja joustavan indeksoinnin suuria määriä varten. Kaikkien joukossa alkuperäiset aikasarjaominaisuudet ovat erottuva ominaisuus, mikä tekee siitä ihanteellisen suuren aikasarjadatan hallintaan, kuten liiketoimintakriittisten sovellustietojen, telemetrian, palvelinlokien ja muiden tietojen hallintaan. Tehokkaan kyselyn, yhdistämisen ja analytiikan avulla yritykset voivat poimia arvokkaita oivalluksia aikaleimatuista tiedoista. Näitä ominaisuuksia käyttämällä yritykset voivat tehokkaasti tallentaa, hallita ja analysoida aikasarjatietoja, mikä mahdollistaa tietopohjaiset päätökset ja saavuttaa kilpailuetua.

Amazon SageMaker Canvas

Amazon SageMaker Canvas on visuaalinen koneoppimispalvelu (ML), jonka avulla yritysanalyytikot ja datatieteilijät voivat rakentaa ja ottaa käyttöön mukautettuja ML-malleja ilman ML-kokemusta tai yhden koodirivin kirjoittamista. SageMaker Canvas tukee useita käyttötapauksia, mukaan lukien aikasarjaennuste, joka antaa yrityksille mahdollisuuden ennustaa tulevaa kysyntää, myyntiä, resurssivaatimuksia ja muita aikasarjatietoja tarkasti. Palvelu käyttää syväoppimistekniikoita monimutkaisten tietomallien käsittelyyn ja antaa yrityksille mahdollisuuden luoda tarkkoja ennusteita jopa minimaalisella historiallisella tiedolla. Käyttämällä Amazon SageMaker Canvas -ominaisuuksia yritykset voivat tehdä tietoisia päätöksiä, optimoida varastotasoja, parantaa toiminnan tehokkuutta ja parantaa asiakastyytyväisyyttä.

SageMaker Canvas -käyttöliittymän avulla voit integroida saumattomasti tietolähteitä pilvestä tai paikan päällä, yhdistää tietojoukkoja vaivattomasti, kouluttaa tarkkoja malleja ja tehdä ennusteita nousevan tiedon avulla – kaikki ilman koodausta. Jos tarvitset automaattisen työnkulun tai suoran ML-mallin integroinnin sovelluksiin, Canvas-ennustustoiminnot ovat käytettävissä API.

Ratkaisun yleiskatsaus

Käyttäjät säilyttävät tapahtuman aikasarjatietonsa MongoDB Atlasissa. Atlas Data Federationin kautta tiedot puretaan Amazon S3 -ämpäriin. Amazon SageMaker Canvas käyttää tietoja mallien ja ennusteiden luomiseksi. Ennusteen tulokset tallennetaan S3-ämpäriin. MongoDB Data Federation -palveluita käyttämällä ennusteet esitetään visuaalisesti MongoDB-kaavioiden kautta.

Seuraavassa kaaviossa esitetään ehdotettu ratkaisuarkkitehtuuri.

Edellytykset

Tässä ratkaisussa käytämme MongoDB Atlasta aikasarjatietojen tallentamiseen, Amazon SageMaker Canvaa mallin kouluttamiseen ja ennusteiden tuottamiseen ja Amazon S3:a MongoDB Atlasista poimittujen tietojen tallentamiseen.

Varmista, että sinulla on seuraavat edellytykset:

Määritä MongoDB Atlas -klusteri

Luo ilmainen MongoDB Atlas -klusteri noudattamalla ohjeita Luo klusteri. Asenna Pääsy tietokantaan ja Verkkoyhteys.

Täytä aikasarjakokoelma MongoDB Atlasissa

Tämän esittelyn tarkoituksiin voit käyttää esimerkkitietojoukkoa kohteesta Kaggle ja lataa sama MongoDB Atlasiin MongoDB:n kanssa työkalut , Edullisesti MongoDB kompassi.

Seuraava koodi näyttää esimerkkitietojoukon aikasarjakokoelmalle:

{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}

Seuraava kuvakaappaus näyttää näyteaikasarjatiedot MongoDB Atlasissa:

Luo S3-kauha

luoda S3-ämpäri AWS:ssä, johon aikasarjatiedot on tallennettava ja analysoitava. Huomaa, että meillä on kaksi kansiota. sales-train-data käytetään MongoDB Atlasista poimittujen tietojen tallentamiseen, kun taas sales-forecast-output sisältää ennusteita Canvasista.

Luo Data Federation

Asenna Data Federation Atlasissa ja rekisteröi aiemmin luotu S3-ämpäri osaksi tietolähdettä. Huomaa, että tietoliitossa luodaan kolme erilaista tietokantaa/kokoelmaa Atlas-klusteria varten, S3-säilö MongoDB Atlas -tiedoille ja S3-säilö Canvas-tulosten tallentamista varten.

Seuraavat kuvakaappaukset näyttävät tietojen liittämisen asetukset.

Määritä Atlas-sovelluspalvelu

Luo MongoDB-sovelluspalvelut ottaa käyttöön toiminnot tietojen siirtämiseksi MongoDB Atlas -klusterista S3-säihöön käyttämällä $out yhdistäminen.

Tarkista tietolähteen kokoonpano

Sovelluspalvelut luovat uuden Altas-palvelun nimen, jota tulee kutsua datapalveluiksi seuraavassa toiminnossa. Varmista, että Atlas-palvelun nimi on luotu, ja merkitse se muistiin myöhempää tarvetta varten.

Luo toiminto

Määritä Atlas-sovelluspalvelut luodaksesi liipaisin ja toiminnot. Triggerit on ajoitettava kirjoittamaan tiedot S3:een jaksotaajuudella, joka perustuu liiketoimintatarpeeseen mallien koulutusta varten.

Seuraava komentosarja näyttää toiminnon kirjoittaaksesi S3-säihöön:

exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};

Esimerkkitoiminto

Toiminto voidaan suorittaa Suorita-välilehden kautta ja virheet voidaan korjata sovelluspalveluiden lokiominaisuuksien avulla. Lisäksi virheet voidaan korjata vasemman ruudun Lokit-valikon avulla.

Seuraava kuvakaappaus näyttää toiminnon suorittamisen tulosteen kanssa:

Luo tietojoukko Amazon SageMaker Canvasissa

Seuraavissa vaiheissa oletetaan, että olet luonut SageMaker-toimialueen ja käyttäjäprofiilin. Jos et ole vielä tehnyt niin, varmista, että olet määrittänyt SageMaker-verkkotunnus ja käyttäjäprofiili. Päivitä käyttäjäprofiilissa S3-ämpärisi mukautettuksi ja anna ämpärisi nimi.

Kun olet valmis, siirry SageMaker Canvasiin, valitse verkkotunnuksesi ja profiilisi ja valitse Canvas.

Luo tietojoukko, joka toimittaa tietolähteen.

Valitse tietojoukon lähteeksi S3

Valitse tietosijainti S3-ämpäristä ja valitse Luo tietojoukko.

Tarkista malli ja napsauta Luo tietojoukko

Onnistuneen tuonnin jälkeen tietojoukko näkyy luettelossa seuraavan kuvakaappauksen mukaisesti.

Harjoittele mallia

Seuraavaksi käytämme Canvas-asennusta mallin kouluttamiseksi. Valitse tietojoukko ja napsauta Luo.

Luo mallin nimi, valitse Ennakoiva analyysi ja valitse Luo.

Valitse kohdesarake

Napsauta sitten Määritä aikasarjamalli ja valitse Item ID -sarakkeeksi item_id.

valita tm aikaleima-sarakkeelle

Valitse 8 viikkoa, jos haluat määrittää ajan, jonka haluat ennustaa.

Nyt olet valmis esikatselemaan mallia tai käynnistämään rakennusprosessin.

Kun esikatselet mallin tai käynnistät koontiversion, mallisi luodaan, ja siihen voi kulua jopa neljä tuntia. Voit poistua näytöltä ja palata katsomaan mallin harjoittelun tilaa.

Kun malli on valmis, valitse malli ja napsauta uusinta versiota

Tarkista mallin tiedot ja sarakkeiden vaikutus ja jos olet tyytyväinen mallin suorituskykyyn, napsauta Ennusta.

Valitse seuraavaksi Eräennustus ja napsauta Valitse tietojoukko.

Valitse tietojoukkosi ja napsauta Valitse tietojoukko.

Napsauta seuraavaksi Aloita ennusteet.

Tarkkaile luotua työtä tai tarkkaile työn edistymistä SageMakerissa kohdassa Päätelmä, Erämuunnostyöt.

Kun työ on valmis, valitse työ ja merkitse S3-polku, johon Canvas on tallentanut ennusteet.

Visualisoi ennustetiedot Atlas-kaavioissa

Jos haluat visualisoida ennustetietoja, luo MongoDB Atlas -kaaviot perustuu yhdistettyihin tietoihin (amazon-forecast-data) P10-, P50- ja P90-ennusteille seuraavan kaavion mukaisesti.

Puhdistaa

• Poista MongoDB Atlas -klusteri
• Poista Atlas Data Federation -kokoonpano
• Poista Atlas-sovelluspalvelusovellus
• Poista S3-ämpäri
• Poista Amazon SageMaker Canvas -tietojoukko ja mallit
• Poista atlaskaaviot
• Kirjaudu ulos Amazon SageMaker Canvasista

Yhteenveto

Tässä viestissä poimimme aikasarjatiedot MongoDB-aikasarjakokoelmasta. Tämä on erityinen kokoelma, joka on optimoitu aikasarjatietojen tallennus- ja kyselynopeuteen. Käytimme Amazon SageMaker Canvaa mallien kouluttamiseen ja ennusteiden luomiseen ja visualisoimme ennusteet Atlas Chartsissa.

Lisätietoja on seuraavissa resursseissa.

---

Tietoja kirjoittajista

Igor Alekseev on vanhempi kumppaniratkaisuarkkitehti AWS:ssä Data and Analytics -verkkotunnuksessa. Roolissaan Igor työskentelee strategisten kumppaneiden kanssa auttaen heitä rakentamaan monimutkaisia, AWS-optimoituja arkkitehtuureja. Ennen AWS:ään liittymistään hän toteutti Data/Solution Architectina monia Big Data -alueen projekteja, mukaan lukien useita datajärviä Hadoop-ekosysteemissä. Tietosuunnittelijana hän oli mukana AI/ML:n soveltamisessa petosten havaitsemiseen ja toimistoautomaatioon.

Babu Srinivasan on Senior Partner Solutions -arkkitehti MongoDB:ssä. Nykyisessä tehtävässään hän työskentelee AWS:n kanssa teknisten integraatioiden ja referenssiarkkitehtuurien rakentamiseksi AWS- ja MongoDB-ratkaisuille. Hänellä on yli kahden vuosikymmenen kokemus tietokanta- ja pilviteknologioista. Hän on intohimoinen teknisten ratkaisujen tarjoamisesta asiakkaille, jotka työskentelevät useiden maailmanlaajuisten järjestelmäintegraattoreiden (GSI) kanssa useilla maantieteellisillä alueilla.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/