Harjoittele koneoppimismalleja käyttämällä Amazon Keyspacesia tietolähteenä

Monet teollisuuden laitteiden huoltoon, kaupan seurantaan, kaluston hallintaan ja reittioptimointiin tarkoitetut sovellukset on rakennettu avoimen lähdekoodin Cassandra API:illa ja ohjaimilla datan käsittelyyn suurilla nopeuksilla ja alhaisella viiveellä. Cassandra-pöytien hallinta itse voi olla aikaa vievää ja kallista. Amazon Keyspaces (Apache Cassandralle) voit määrittää, suojata ja skaalata Cassandra-taulukoita AWS-pilvessä ilman lisäinfrastruktuurin hallintaa.

Tässä viestissä opastamme sinut AWS-palveluiden läpi, jotka liittyvät koneoppimismallien (ML) koulutukseen käyttämällä Amazon Keyspaces -tekniikkaa korkealla tasolla, ja annamme vaiheittaiset ohjeet tietojen siirtämiseen Amazon Keyspacesistä Amazon Sage Maker ja kouluttaa malli, jota voidaan käyttää tietyssä asiakassegmentoinnin käyttötapauksessa.

AWS:llä on useita palveluita, jotka auttavat yrityksiä toteuttamaan ML-prosesseja pilvessä.

AWS ML Stackissa on kolme kerrosta. Keskikerroksessa on SageMaker, joka tarjoaa kehittäjille, datatieteilijöille ja ML-insinööreille mahdollisuuden rakentaa, kouluttaa ja ottaa käyttöön ML-malleja mittakaavassa. Se poistaa monimutkaisuuden ML-työnkulun jokaisesta vaiheesta, jotta voit helpommin ottaa käyttöön ML-käyttötapauksiasi. Tämä sisältää kaiken ennakoivasta ylläpidosta tietokonenäköön asiakkaiden käyttäytymisen ennustamiseen. Asiakkaat saavuttavat jopa 10-kertaisen parannuksen datatieteilijöiden tuottavuudessa SageMakerin avulla.

Apache Cassandra on suosittu valinta vaativiin käyttötapauksiin, joissa on jäsentämätöntä tai puolistrukturoitua dataa. Esimerkiksi suosittu elintarvikkeiden toimitusyritys arvioi toimitusajan, ja vähittäisasiakas voi jatkuvasti käyttää tuoteluettelotietoja Apache Cassandra -tietokannassa. Amazon Keyspaces on skaalautuva, erittäin saatavilla oleva ja hallittu palvelimeton Apache Cassandra -yhteensopiva tietokantapalvelu. Sinun ei tarvitse valmistaa, korjata tai hallita palvelimia, eikä sinun tarvitse asentaa, ylläpitää tai käyttää ohjelmistoja. Taulukot voivat skaalata ylös ja alas automaattisesti, ja maksat vain käyttämistäsi resursseista. Amazon Keyspacesin avulla voit suorittaa Cassandra-työkuormituksiasi AWS:ssä käyttämällä samaa Cassandra-sovelluskoodia ja kehittäjätyökaluja, joita käytät nykyään.

SageMaker tarjoaa sarjan sisäänrakennetut algoritmit auttaa datatieteilijöitä ja ML-harjoittajia aloittamaan ML-mallien koulutuksen ja käyttöönoton nopeasti. Tässä postauksessa näytämme sinulle, kuinka vähittäisasiakas voi käyttää asiakasostohistoriaa Keyspaces-tietokannassa ja kohdistaa eri asiakassegmentteihin markkinointikampanjoita.

K-välineiden on valvomaton oppimisalgoritmi. Se yrittää löytää tiedosta diskreettejä ryhmittymiä, joissa ryhmän jäsenet ovat mahdollisimman samankaltaisia ​​keskenään ja mahdollisimman erilaisia ​​muiden ryhmien jäsenistä. Voit määrittää attribuutit, joita haluat algoritmin käyttävän samankaltaisuuden määrittämiseen. SageMaker käyttää muokattua versiota web-mittakaavassa k-means klusterointialgoritmi. Algoritmin alkuperäiseen versioon verrattuna SageMakerin käyttämä versio on tarkempi. Alkuperäisen algoritmin tavoin se kuitenkin skaalautuu massiivisiin tietokokonaisuuksiin ja parantaa harjoitusaikaa.

Ratkaisun yleiskatsaus

Ohjeissa oletetaan, että käytät SageMaker Studiota koodin suorittamiseen. Liittynyt koodi on jaettu AWS-näyte GitHub. Noudattamalla laboratorion ohjeita voit tehdä seuraavaa:

• Asenna tarvittavat riippuvuudet.
• Muodosta yhteys Amazon Keyspacesiin, luo taulukko ja ota näytetiedot.
• Rakenna luokittelu ML-malli Amazon Keyspaces -sovelluksen tietojen avulla.
• Tutustu mallin tuloksiin.
• Puhdista uudet resurssit.

Kun olet valmis, olet integroinut SageMakerin Amazon Keyspacesiin ML-mallien kouluttamiseksi seuraavan kuvan mukaisesti.

Nyt voit seurata vaiheittaiset ohjeet tässä viestissä nielemään raakadataa, joka on tallennettu Amazon Keyspacesiin SageMakerin avulla, ja näin haetut tiedot ML-käsittelyä varten.

Edellytykset

Siirry ensin SageMakeriin.

Seuraavaksi, jos käytät SageMakeria ensimmäistä kertaa, valitse Aloita.

Valitse sitten Määritä SageMaker-verkkotunnus.

Luo seuraavaksi uusi käyttäjäprofiili nimellä Nimi – sagemaker-käyttäjä, ja valitse Luo uusi rooli vuonna Oletussuoritusrooli alaosasto.

Valitse seuraavaksi avautuvassa näytössä mikä tahansa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri ja valitse Luo rooli.

Tätä roolia käytetään seuraavissa vaiheissa, jotta SageMaker voi käyttää avainvälitaulukkoa roolin väliaikaisilla tunnistetiedoilla. Tämä eliminoi käyttäjänimen ja salasanan tallentamisen muistikirjaan.

Hae seuraavaksi rooliin liittyvä rooli sagemaker-käyttäjä joka luotiin edellisessä vaiheessa yhteenveto-osiosta.

Siirry sitten kohtaan AWS-konsoli ja katso ylös AWS Identity and Access Management (IAM). Siirry IAM:ssa Rooleihin. Etsi Rooleista edellisessä vaiheessa tunnistettu suoritusrooli.

Valitse seuraavaksi edellisessä vaiheessa tunnistettu rooli ja valitse Lisää käyttöoikeudet. Valitse näkyviin tulevasta avattavasta valikosta Luo sisäinen käytäntö. SageMakerin avulla voit tarjota yksityiskohtaisen käyttöoikeustason, joka rajoittaa sitä, mitä toimintoja käyttäjä/sovellus voi suorittaa liiketoiminnan vaatimusten perusteella.

Valitse sitten JSON-välilehti ja kopioi käytäntö Githubin Huomautus-osiosta sivulla. Tämän käytännön avulla SageMaker-muistikirja voi muodostaa yhteyden Keyspacesiin ja hakea tietoja jatkokäsittelyä varten.

Valitse sitten Lisää käyttöoikeudet uudelleen ja pudotusvalikosta ja valitse Liitä käytäntö.

Etsi AmazonKeyspacesFullAccess-käytäntö, valitse vastaavan tuloksen vieressä oleva valintaruutu ja valitse Liitä käytännöt.

Varmista, että käyttöoikeuskäytännöt-osio sisältää AmazonS3FullAccess, AmazonSageMakerFullAccess, AmazonKeyspacesFullAccess, sekä äskettäin lisätty sisäinen käytäntö.

Siirry seuraavaksi SageMaker Studioon AWS-konsolin avulla ja valitse SageMaker Studio. Kun olet siellä, valitse Käynnistä sovellus ja valitse Studio.

Muistikirjan läpikäynti

Suosituin tapa muodostaa yhteys Keyspacesiin SageMaker Notebookista on käyttää AWS Signature Version 4 -prosessi (SigV4) perustua Väliaikaiset valtakirjat todennusta varten. Tässä skenaariossa meidän EI tarvitse luoda tai tallentaa Keyspaces-tunnistetietoja, ja voimme käyttää valtuustietoja todentamiseen SigV4-laajennuksella. Väliaikaiset suojaustunnukset koostuvat pääsyavaimen tunnuksesta ja salaisesta pääsyavaimesta. Ne sisältävät kuitenkin myös suojaustunnuksen, joka ilmoittaa, milloin valtuustiedot vanhenevat. Tässä viestissä luomme IAM-roolin ja luomme väliaikaiset suojaustunnukset.

Ensin asennamme ohjaimen (cassandra-sigv4). Tämän ohjaimen avulla voit lisätä todennustietoja API-pyyntöihisi käyttämällä AWS Signature Version 4 -prosessia (SigV4). Laajennuksella voit antaa käyttäjille ja sovelluksille lyhytaikaiset kirjautumistiedot Amazon Keyspaces -avaintiloihin (Apache Cassandralle) IAM-käyttäjiä ja rooleja käyttämällä. Tämän jälkeen tuot vaaditun varmenteen ja muita pakettiriippuvuuksia. Lopulta annat muistikirjan ottaa roolin puhua Keyspacesille.

# Install missing packages and import dependencies
# Installing Cassandra SigV4
%pip install cassandra-sigv4 # Get Security certificate
!curl https://certs.secureserver.net/repository/sf-class2-root.crt -O # Import
from sagemaker import get_execution_role
from cassandra.cluster import Cluster
from ssl import SSLContext, PROTOCOL_TLSv1_2, CERT_REQUIRED
from cassandra_sigv4.auth import SigV4AuthProvider
import boto3 import pandas as pd
from pandas import DataFrame import csv
from cassandra import ConsistencyLevel
from datetime import datetime
import time
from datetime import timedelta import pandas as pd
import datetime as dt
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import MinMaxScaler # Getting credentials from the role
client = boto3.client("sts") # Get notebook Role
role = get_execution_role()
role_info = {"RoleArn": role, "RoleSessionName": "session1"}
print(role_info) credentials = client.assume_role(**role_info)

Muodosta seuraavaksi yhteys Amazon Keyspacesiin ja lue järjestelmätiedot Keyspacesistä Pandas DataFrameen vahvistaaksesi yhteyden.

# Connect to Cassandra Database from SageMaker Notebook # using temporary credentials from the Role.
session = boto3.session.Session() ###
### You can also pass specific credentials to the session
###
#session = boto3.session.Session(
# aws_access_key_id=credentials["Credentials"]["AccessKeyId"],
# aws_secret_access_key=credentials["Credentials"]["SecretAccessKey"],
# aws_session_token=credentials["Credentials"]["SessionToken"],
#) region_name = session.region_name # Set Context
ssl_context = SSLContext(PROTOCOL_TLSv1_2)
ssl_context.load_verify_locations("sf-class2-root.crt")
ssl_context.verify_mode = CERT_REQUIRED auth_provider = SigV4AuthProvider(session)
keyspaces_host = "cassandra." + region_name + ".amazonaws.com" cluster = Cluster([keyspaces_host], ssl_context=ssl_context, auth_provider=auth_provider, port=9142)
session = cluster.connect() # Read data from Keyspaces system table. # Keyspaces is serverless DB so you don't have to create Keyspaces DB ahead of time.
r = session.execute("select * from system_schema.keyspaces") # Read Keyspaces row into Panda DataFrame
df = DataFrame(r)
print(df)

Valmistele seuraavaksi tiedot raakatietojoukon harjoittelua varten. Käytä tähän viestiin liittyvässä python-muistikirjassa vähittäismyyntitietojoukkoa, joka on ladattu osoitteesta tätäja käsittele se. Liiketoimintatavoitteemme tietojoukon perusteella on klusterioida asiakkaat tietyn metrikutsun RFM:n avulla. RFM-malli perustuu kolmeen kvantitatiiviseen tekijään:

• Viimeaikaisuus: kuinka äskettäin asiakas on tehnyt ostoksen.
• Toistuvuus: Kuinka usein asiakas tekee ostoksen.
• Rahallinen arvo: Kuinka paljon rahaa asiakas käyttää ostoksiin.

RFM-analyysi luokittelee asiakkaan numeerisesti kuhunkin näistä kolmesta kategoriasta, yleensä asteikolla 1-5 (mitä suurempi luku, sitä parempi tulos). "Paras" asiakas sai parhaan pistemäärän jokaisessa kategoriassa. Käytämme pandan kvantiilipohjaista diskretisointifunktiota (qcut). Se auttaa diskretisoimaan arvot samankokoisiin ryhmiin perustuen tai otoskvantiileihin perustuen.

# Prepare Data
r = session.execute("select * from " + keyspaces_schema + ".online_retail") df = DataFrame(r)
df.head(100) df.count()
df["description"].nunique()
df["totalprice"] = df["quantity"] * df["price"]
df.groupby("invoice").agg({"totalprice": "sum"}).head() df.groupby("description").agg({"price": "max"}).sort_values("price", ascending=False).head()
df.sort_values("price", ascending=False).head()
df["country"].value_counts().head()
df.groupby("country").agg({"totalprice": "sum"}).sort_values("totalprice", ascending=False).head() returned = df[df["invoice"].str.contains("C", na=False)]
returned.sort_values("quantity", ascending=True).head() df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.describe([0.05, 0.01, 0.25, 0.50, 0.75, 0.80, 0.90, 0.95, 0.99]).T
df.drop(df.loc[df["customer_id"] == ""].index, inplace=True) # Recency Metric
import datetime as dt today_date = dt.date(2011, 12, 9)
df["customer_id"] = df["customer_id"].astype(int) # create get the most recent invoice for each customer
temp_df = df.groupby("customer_id").agg({"invoice_date": "max"})
temp_df["invoice_date"] = temp_df["invoice_date"].astype(str)
temp_df["invoice_date"] = pd.to_datetime(temp_df["invoice_date"]).dt.date
temp_df["Recency"] = (today_date - temp_df["invoice_date"]).dt.days
recency_df = temp_df.drop(columns=["invoice_date"])
recency_df.head() # Frequency Metric
temp_df = df.groupby(["customer_id", "invoice"]).agg({"invoice": "count"})
freq_df = temp_df.groupby("customer_id").agg({"invoice": "count"})
freq_df.rename(columns={"invoice": "Frequency"}, inplace=True) # Monetary Metric
monetary_df = df.groupby("customer_id").agg({"totalprice": "sum"})
monetary_df.rename(columns={"totalprice": "Monetary"}, inplace=True)
rfm = pd.concat([recency_df, freq_df, monetary_df], axis=1) df = rfm
df["RecencyScore"] = pd.qcut(df["Recency"], 5, labels=[5, 4, 3, 2, 1])
df["FrequencyScore"] = pd.qcut(df["Frequency"].rank(method="first"), 5, labels=[1, 2, 3, 4, 5])
df["Monetary"] = df["Monetary"].astype(int)
df["MonetaryScore"] = pd.qcut(df["Monetary"], 5, labels=[1, 2, 3, 4, 5])
df["RFM_SCORE"] = ( df["RecencyScore"].astype(str) + df["FrequencyScore"].astype(str) + df["MonetaryScore"].astype(str)
)
seg_map = { r"[1-2][1-2]": "Hibernating", r"[1-2][3-4]": "At Risk", r"[1-2]5": "Can't Loose", r"3[1-2]": "About to Sleep", r"33": "Need Attention", r"[3-4][4-5]": "Loyal Customers", r"41": "Promising", r"51": "New Customers", r"[4-5][2-3]": "Potential Loyalists", r"5[4-5]": "Champions",
} df["Segment"] = df["RecencyScore"].astype(str) + rfm["FrequencyScore"].astype(str)
df["Segment"] = df["Segment"].replace(seg_map, regex=True)
df.head()
rfm = df.loc[:, "Recency":"Monetary"]
df.groupby("customer_id").agg({"Segment": "sum"}).head()

Tässä esimerkissä käytämme CQL:ää lukemaan tietueita Keyspace-taulukosta. Joissakin ML-käyttötapauksissa saatat joutua lukemaan samat tiedot samasta Keyspaces-taulukosta useita kertoja. Tässä tapauksessa suosittelemme, että tallennat tietosi Amazon S3 -ämpäriin, jotta vältyt ylimääräisiltä maksaalukee Amazon Keyspacesistä. Skenaariostasi riippuen voit myös käyttää Amazonin EMR että nielemään erittäin suuri Amazon S3 -tiedosto SageMakeriin.

## Optional Code to save Python DataFrame to S3
from io import StringIO # python3 (or BytesIO for python2) smclient = boto3.Session().client('sagemaker')
sess = sagemaker.Session()
bucket = sess.default_bucket() # Set a default S3 bucket
print(bucket) csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, ‘out/saved_online_retail.csv').put(Body=csv_buffer.getvalue())

Seuraavaksi harjoittelemme ML-mallia KMeans-algoritmilla ja varmistamme, että klusterit on luotu. Tässä skenaariossa näet, että luodut klusterit tulostetaan, mikä osoittaa, että raakatietojoukon asiakkaat on ryhmitelty yhteen tietojoukon eri attribuuttien perusteella. Näitä klusterin tietoja voidaan käyttää kohdistetuissa markkinointikampanjoissa.

# Training sc = MinMaxScaler((0, 1))
df = sc.fit_transform(rfm) # Clustering
kmeans = KMeans(n_clusters=6).fit(df) # Result
segment = kmeans.labels_ # Visualize the clusters
import matplotlib.pyplot as plt final_df = pd.DataFrame({"customer_id": rfm.index, "Segment": segment})
bucket_data = final_df.groupby("Segment").agg({"customer_id": "count"}).head()
index_data = final_df.groupby("Segment").agg({"Segment": "max"}).head()
index_data["Segment"] = index_data["Segment"].astype(int)
dataFrame = pd.DataFrame(data=bucket_data["customer_id"], index=index_data["Segment"])
dataFrame.rename(columns={"customer_id": "Total Customers"}).plot.bar( rot=70, title="RFM clustering"
)
# dataFrame.plot.bar(rot=70, title="RFM clustering");
plt.show(block=True);

(Valinnainen) Tallennamme seuraavaksi ML-mallin tunnistamat asiakassegmentit takaisin Amazon Keyspaces -taulukkoon kohdennettua markkinointia varten. Erätyö voisi lukea nämä tiedot ja suorittaa kohdistettuja kampanjoita tietyissä segmenteissä oleville asiakkaille.

# Create ml_clustering_results table to store results createTable = """CREATE TABLE IF NOT EXISTS %s.ml_clustering_results ( run_id text, segment int, total_customers int, run_date date, PRIMARY KEY (run_id, segment)); """
cr = session.execute(createTable % keyspaces_schema)
time.sleep(20)
print("Table 'ml_clustering_results' created") insert_ml = ( "INSERT INTO " + keyspaces_schema + '.ml_clustering_results' + '("run_id","segment","total_customers","run_date") ' + 'VALUES (?,?,?,?); '
) prepared = session.prepare(insert_ml)
prepared.consistency_level = ConsistencyLevel.LOCAL_QUORUM run_id = "101"
dt = datetime.now() for ind in dataFrame.index: print(ind, dataFrame['customer_id'][ind]) r = session.execute( prepared, ( run_id, ind, dataFrame['customer_id'][ind], dt, ), )

Viimeinkin me puhdistaa resurssit luotu tämän opetusohjelman aikana lisäkulujen välttämiseksi.

# Delete blog keyspace and tables
deleteKeyspace = "DROP KEYSPACE IF EXISTS blog"
dr = session.execute(deleteKeyspace) time.sleep(5)
print("Dropping %s keyspace. It may take a few seconds to a minute to complete deletion keyspace and table." % keyspaces_schema )

Avaintilan ja taulukoiden poistaminen saattaa kestää muutamasta sekunnista minuuttiin. Kun poistat avaintilan, avainavaruus ja kaikki sen taulukot poistetaan ja et enää kerää niistä kuluja.

Yhteenveto

Tämä viesti osoitti sinulle, kuinka voit siirtää asiakasdataa Amazon Keyspacesista SageMakeriin ja kouluttaa klusterimallin, jonka avulla voit segmentoida asiakkaita. Voit käyttää näitä tietoja kohdennettuun markkinointiin, mikä parantaa merkittävästi yrityksesi KPI:tä. Saat lisätietoja Amazon Keyspacesistä tutustumalla seuraaviin resursseihin:

• Harjoittele koneoppimismalleja käyttämällä tietolähteenä Amazon Keyspaces (SageMaker-muistikirja)
• Yhdistä Amazon Keyspacesiin työpöydältäsi käyttämällä IntelliJ-, PyCharm- tai DataGrip IDE:itä
• CQL-kieliviite Amazon Keyspacesille (Apache Cassandralle)
• Kuinka määrittää komentorivikäyttö Amazon Keyspacesille (Apache Cassandralle) käyttämällä uutta kehittäjän työkalupakkia Docker-kuvaa
• Identiteetti- ja käyttöoikeuksien hallinta Amazon Keyspacesille (Apache Cassandralle)
• Yhdistäminen Amazon Keyspacesiin SageMakerista käyttämällä palvelukohtaiset tunnistetiedot
• Äskettäisyys, toistuvuus, rahallinen arvo (RFM)
• Kaggle-koodin viite

Tietoja Tekijät

Vadim Lyakhovich on vanhempi ratkaisuarkkitehti AWS:ssä San Franciscon lahden alueella ja auttaa asiakkaita siirtymään AWS:ään. Hän työskentelee organisaatioiden kanssa suurista yrityksistä pieniin startupeihin tukeakseen niiden innovaatioita. Hän myös auttaa asiakkaita suunnittelemaan skaalautuvia, turvallisia ja kustannustehokkaita AWS-ratkaisuja.

Parth Patel on ratkaisuarkkitehti AWS:ssä San Franciscon lahden alueella. Parth opastaa asiakkaita nopeuttamaan matkaansa pilveen ja ottamaan AWS-pilven käyttöön onnistuneesti. Hän keskittyy ML:ään ja sovellusten modernisointiin.

Ram Pathangi on ratkaisuarkkitehti AWS:ssä San Franciscon lahden alueella. Hän on auttanut asiakkaita maatalouden, vakuutustoiminnan, pankkitoiminnan, vähittäiskaupan, terveydenhuollon ja biotieteiden, ravintola-alan ja korkean teknologian toimialoilla hoitamaan liiketoimintaansa menestyksekkäästi AWS-pilvessä. Hän on erikoistunut tietokantoihin, analytiikkaan ja ML:ään.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/train-machine-learning-models-using-amazon-keyspaces-as-a-data-source/