Veri kaynağı olarak Amazon Keyspaces'i kullanarak makine öğrenimi modellerini eğitin

Endüstriyel ekipman bakımı, ticari izleme, filo yönetimi ve rota optimizasyonu amaçlı birçok uygulama, verileri yüksek hızlarda ve düşük gecikmede işlemek için açık kaynaklı Cassandra API'leri ve sürücüleri kullanılarak oluşturulmuştur. Cassandra tablolarını kendiniz yönetmek zaman alıcı ve pahalı olabilir. Amazon Anahtar Alanları (Apache Cassandra için) AWS Cloud'da ek altyapıyı yönetmeden Cassandra tablolarını kurmanıza, güvenli hale getirmenize ve ölçeklendirmenize olanak tanır.

Bu gönderide, Amazon Keyspaces'i yüksek düzeyde kullanan makine öğrenimi (ML) modellerinin eğitimiyle ilgili AWS Hizmetlerinde size yol göstereceğiz ve Amazon Keyspaces'ten veri almak için adım adım talimatlar sağlayacağız. Amazon Adaçayı Yapıcı ve belirli bir müşteri segmentasyonu kullanım durumu için kullanılabilecek bir modelin eğitimi.

AWS, işletmelerin bulutta makine öğrenimi süreçlerini uygulamalarına yardımcı olacak birden çok hizmete sahiptir.

AWS ML Stack'in üç katmanı vardır. Orta katmanda ise SageMaker, geliştiricilere, veri bilimcilerine ve makine öğrenimi mühendislerine ML modellerini uygun ölçekte oluşturma, eğitme ve dağıtma becerisi sağlar. Makine öğrenimi kullanım senaryolarınızı daha kolay dağıtabilmeniz için makine öğrenimi iş akışının her adımındaki karmaşıklığı ortadan kaldırır. Bu, tahmine dayalı bakımdan bilgisayar vizyonuna ve müşteri davranışlarını tahmin etmeye kadar her şeyi içerir. Müşteriler, SageMaker ile veri bilimcilerinin üretkenliğinde 10 kata kadar iyileşme elde ediyor.

Apache Cassandra, yapılandırılmamış veya yarı yapılandırılmış verilere sahip okuma ağırlıklı kullanım durumları için popüler bir seçimdir. Örneğin, popüler bir gıda dağıtım şirketi teslimat süresini tahmin eder ve perakende müşterisi Apache Cassandra Veritabanındaki ürün katalog bilgilerini sık sık kullanmaya devam edebilir. Amazon Anahtar Alanları ölçeklenebilir, yüksek düzeyde kullanılabilir ve yönetilen sunucusuz Apache Cassandra uyumlu bir veritabanı hizmetidir. Sunucuları sağlamanız, düzeltme eki oluşturmanız veya yönetmeniz gerekmez ve yazılım yüklemeniz, bakımını yapmanız veya çalıştırmanız gerekmez. Tablolar otomatik olarak yukarı ve aşağı ölçeklenebilir ve yalnızca kullandığınız kaynaklar için ödeme yaparsınız. Amazon Keyspaces, bugün kullandığınız Cassandra uygulama kodunu ve geliştirici araçlarını kullanarak Cassandra iş yüklerinizi AWS'de çalıştırmanıza olanak tanır.

SageMaker bir paket sağlar yerleşik algoritmalar veri bilimcilerin ve makine öğrenimi uygulayıcılarının makine öğrenimi modellerini hızla eğitmeye ve dağıtmaya başlamalarına yardımcı olmak. Bu gönderide, bir perakende müşterinin Keyspaces Veritabanındaki müşteri satın alma geçmişini nasıl kullanabileceğini ve pazarlama kampanyaları için farklı müşteri segmentlerini nasıl hedefleyebileceğini göstereceğiz.

K-anlamı denetimsiz bir öğrenme algoritmasıdır. Bir grubun üyelerinin mümkün olduğunca birbirine benzer ve diğer grupların üyelerinden mümkün olduğunca farklı olduğu, veriler içinde ayrı gruplamalar bulmaya çalışır. Algoritmanın benzerliği belirlemek için kullanmasını istediğiniz nitelikleri tanımlarsınız. SageMaker, değiştirilmiş bir sürümünü kullanır. web ölçeğinde k-araç kümeleme algoritması. Algoritmanın orijinal sürümüyle karşılaştırıldığında, SageMaker tarafından kullanılan sürüm daha doğrudur. Ancak, orijinal algoritma gibi, çok büyük veri kümelerine ölçeklenir ve eğitim süresinde iyileştirmeler sağlar.

Çözüme genel bakış

Talimatlar, kodu çalıştırmak için SageMaker Studio'yu kullanacağınızı varsayar. İlişkili kod şurada paylaşıldı: AWS Örneği GitHub. Laboratuvardaki talimatları izleyerek aşağıdakileri yapabilirsiniz:

• Gerekli bağımlılıkları yükleyin.
• Amazon Keyspaces'e bağlanın, bir Tablo oluşturun ve örnek verileri alın.
• Amazon Keyspaces'teki verileri kullanarak bir sınıflandırma ML modeli oluşturun.
• Model sonuçlarını keşfedin.
• Yeni oluşturulan kaynakları temizleyin.

Tamamlandığında, aşağıdaki resimde gösterildiği gibi ML modellerini eğitmek için SageMaker'ı Amazon Keyspaces ile entegre edeceksiniz.

Şimdi takip edebilirsiniz adım adım talimatlar Bu gönderide, SageMaker kullanarak Amazon Keyspaces'te depolanan ham verileri ve böylece ML işleme için alınan verileri almak için.

Önkoşullar

İlk önce SageMaker'a gidin.

Ardından, SageMaker'ı ilk kez kullanıyorsanız, Şimdi Başlayın.

Sonra seçin SageMaker Etki Alanı Kurulumu.

Ardından, Ad ile yeni bir kullanıcı profili oluşturun – bilge kullanıcıSeçin ve Yeni Rol Oluştur içinde Varsayılan Yürütme Rolü alt bölüm.

Ardından, açılan ekranda herhangi birini seçin. Amazon Basit Depolama Hizmeti (Amazon S3) kova ve Rol oluştur'u seçin.

Bu rol, SageMaker'ın roldeki geçici kimlik bilgilerini kullanarak Keyspaces Tablosuna erişmesine izin vermek için aşağıdaki adımlarda kullanılacaktır. Bu, not defterinde bir kullanıcı adı ve parola saklama ihtiyacını ortadan kaldırır.

Ardından, ilgili rolü alın bilge kullanıcı Özet bölümünden önceki adımda oluşturulan.

Ardından, şuraya gidin: AWS Konsolu ve yukarı bak AWS Kimlik ve Erişim Yönetimi (IAM). IAM içinde Roller'e gidin. Roller içinde, önceki adımda tanımlanan yürütme rolünü arayın.

Ardından, önceki adımda tanımlanan rolü seçin ve İzin Ekle'yi seçin. Görüntülenen açılır menüde Satır İçi İlke Oluştur'u seçin. SageMaker, iş gereksinimlerine göre bir kullanıcının/uygulamanın gerçekleştirebileceği eylemleri kısıtlayan ayrıntılı bir erişim düzeyi sağlamanıza olanak tanır.

Ardından, JSON sekmesini seçin ve Github'un Not bölümünden politikayı kopyalayın. Kanal. Bu politika, SageMaker not defterinin Keyspaces'e bağlanmasına ve daha sonraki işlemler için veri almasına izin verir.

Ardından, tekrar ve açılır menüden İzin ekle'yi seçin ve İlke Ekle'yi seçin.

AmazonKeyspacesFullAccess ilkesini arayın ve eşleşen sonucun yanındaki onay kutusunu seçin ve İlkeleri Ekle'yi seçin.

İzin ilkeleri bölümünün şunları içerdiğini doğrulayın: AmazonS3FullAccess, AmazonSageMakerFullAccess, AmazonKeyspacesFullAccess, ayrıca yeni eklenen satır içi politika.

Ardından, AWS Konsolunu kullanarak SageMaker Studio'ya gidin ve SageMaker Studio'yu seçin. Bir kez orada, Uygulamayı Başlat'ı seçin ve Studio'yu seçin.

Dizüstü bilgisayar kılavuzu

SageMaker Notebook'tan Keyspaces'e bağlanmanın tercih edilen yolu, AWS Signature Sürüm 4 süreci (SigV4) merkezli Geçici Kimlik Bilgileri kimlik doğrulama için. Bu senaryoda, Keyspaces kimlik bilgilerini oluşturmamız veya saklamamız GEREKMEZ ve kimlik bilgilerini SigV4 eklentisi ile kimlik doğrulaması yapmak için kullanabiliriz. Geçici güvenlik kimlik bilgileri, bir erişim anahtarı kimliğinden ve bir gizli erişim anahtarından oluşur. Ancak, kimlik bilgilerinin ne zaman sona ereceğini gösteren bir güvenlik belirteci de içerirler. Bu gönderide, bir IAM rolü oluşturacağız ve geçici güvenlik kimlik bilgileri oluşturacağız.

İlk önce bir sürücü (cassandra-sigv4) kuruyoruz. Bu sürücü, AWS Signature Sürüm 4 İşlemini (SigV4) kullanarak API isteklerinize kimlik doğrulama bilgileri eklemenizi sağlar. Eklentiyi kullanarak, kullanıcılara ve uygulamalara IAM kullanıcıları ve rollerini kullanarak Amazon Keyspaces'e (Apache Cassandra için) erişmek için kısa vadeli kimlik bilgileri sağlayabilirsiniz. Bunu takiben, ek paket bağımlılıklarıyla birlikte gerekli bir sertifikayı içe aktaracaksınız. Sonunda, notebook'un Keyspaces ile konuşma rolünü üstlenmesine izin vereceksiniz.

# Install missing packages and import dependencies
# Installing Cassandra SigV4
%pip install cassandra-sigv4 # Get Security certificate
!curl https://certs.secureserver.net/repository/sf-class2-root.crt -O # Import
from sagemaker import get_execution_role
from cassandra.cluster import Cluster
from ssl import SSLContext, PROTOCOL_TLSv1_2, CERT_REQUIRED
from cassandra_sigv4.auth import SigV4AuthProvider
import boto3 import pandas as pd
from pandas import DataFrame import csv
from cassandra import ConsistencyLevel
from datetime import datetime
import time
from datetime import timedelta import pandas as pd
import datetime as dt
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import MinMaxScaler # Getting credentials from the role
client = boto3.client("sts") # Get notebook Role
role = get_execution_role()
role_info = {"RoleArn": role, "RoleSessionName": "session1"}
print(role_info) credentials = client.assume_role(**role_info)

Ardından, Amazon Keyspaces'e bağlanın ve bağlantıyı doğrulamak için Keyspaces'teki sistem verilerini Pandas DataFrame'e okuyun.

# Connect to Cassandra Database from SageMaker Notebook # using temporary credentials from the Role.
session = boto3.session.Session() ###
### You can also pass specific credentials to the session
###
#session = boto3.session.Session(
# aws_access_key_id=credentials["Credentials"]["AccessKeyId"],
# aws_secret_access_key=credentials["Credentials"]["SecretAccessKey"],
# aws_session_token=credentials["Credentials"]["SessionToken"],
#) region_name = session.region_name # Set Context
ssl_context = SSLContext(PROTOCOL_TLSv1_2)
ssl_context.load_verify_locations("sf-class2-root.crt")
ssl_context.verify_mode = CERT_REQUIRED auth_provider = SigV4AuthProvider(session)
keyspaces_host = "cassandra." + region_name + ".amazonaws.com" cluster = Cluster([keyspaces_host], ssl_context=ssl_context, auth_provider=auth_provider, port=9142)
session = cluster.connect() # Read data from Keyspaces system table. # Keyspaces is serverless DB so you don't have to create Keyspaces DB ahead of time.
r = session.execute("select * from system_schema.keyspaces") # Read Keyspaces row into Panda DataFrame
df = DataFrame(r)
print(df)

Ardından, ham veri setinde eğitim için verileri hazırlayın. Bu gönderiyle ilişkili python not defterinde, şu adresten indirilen bir perakende veri seti kullanın: okuyun, ve işleyin. Veri seti verilen iş hedefimiz, müşterileri belirli bir metrik çağrı RFM'si kullanarak kümelemektir. RFM modeli üç nicel faktöre dayanmaktadır:

• Yenilik: Bir müşterinin satın alma işlemini ne kadar yakın zamanda yaptığı.
• Sıklık: Bir müşterinin satın alma işlemini ne sıklıkta yaptığı.
• Parasal Değer: Bir müşterinin satın alma işlemlerine ne kadar para harcadığı.

RFM analizi, bir müşteriyi bu üç kategorinin her birinde, genellikle 1'den 5'e kadar bir ölçekte sayısal olarak sıralar (sayı ne kadar yüksekse, sonuç o kadar iyidir). "En iyi" müşteri, her kategoride en yüksek puanı alacaktır. Pandaların Nicelik tabanlı ayrıklaştırma işlevini (qcut) kullanacağız. Değerlerin, numune niceliklerine dayalı veya bunlara dayalı olarak eşit boyutlu kovalara ayrılmasına yardımcı olacaktır.

# Prepare Data
r = session.execute("select * from " + keyspaces_schema + ".online_retail") df = DataFrame(r)
df.head(100) df.count()
df["description"].nunique()
df["totalprice"] = df["quantity"] * df["price"]
df.groupby("invoice").agg({"totalprice": "sum"}).head() df.groupby("description").agg({"price": "max"}).sort_values("price", ascending=False).head()
df.sort_values("price", ascending=False).head()
df["country"].value_counts().head()
df.groupby("country").agg({"totalprice": "sum"}).sort_values("totalprice", ascending=False).head() returned = df[df["invoice"].str.contains("C", na=False)]
returned.sort_values("quantity", ascending=True).head() df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.describe([0.05, 0.01, 0.25, 0.50, 0.75, 0.80, 0.90, 0.95, 0.99]).T
df.drop(df.loc[df["customer_id"] == ""].index, inplace=True) # Recency Metric
import datetime as dt today_date = dt.date(2011, 12, 9)
df["customer_id"] = df["customer_id"].astype(int) # create get the most recent invoice for each customer
temp_df = df.groupby("customer_id").agg({"invoice_date": "max"})
temp_df["invoice_date"] = temp_df["invoice_date"].astype(str)
temp_df["invoice_date"] = pd.to_datetime(temp_df["invoice_date"]).dt.date
temp_df["Recency"] = (today_date - temp_df["invoice_date"]).dt.days
recency_df = temp_df.drop(columns=["invoice_date"])
recency_df.head() # Frequency Metric
temp_df = df.groupby(["customer_id", "invoice"]).agg({"invoice": "count"})
freq_df = temp_df.groupby("customer_id").agg({"invoice": "count"})
freq_df.rename(columns={"invoice": "Frequency"}, inplace=True) # Monetary Metric
monetary_df = df.groupby("customer_id").agg({"totalprice": "sum"})
monetary_df.rename(columns={"totalprice": "Monetary"}, inplace=True)
rfm = pd.concat([recency_df, freq_df, monetary_df], axis=1) df = rfm
df["RecencyScore"] = pd.qcut(df["Recency"], 5, labels=[5, 4, 3, 2, 1])
df["FrequencyScore"] = pd.qcut(df["Frequency"].rank(method="first"), 5, labels=[1, 2, 3, 4, 5])
df["Monetary"] = df["Monetary"].astype(int)
df["MonetaryScore"] = pd.qcut(df["Monetary"], 5, labels=[1, 2, 3, 4, 5])
df["RFM_SCORE"] = ( df["RecencyScore"].astype(str) + df["FrequencyScore"].astype(str) + df["MonetaryScore"].astype(str)
)
seg_map = { r"[1-2][1-2]": "Hibernating", r"[1-2][3-4]": "At Risk", r"[1-2]5": "Can't Loose", r"3[1-2]": "About to Sleep", r"33": "Need Attention", r"[3-4][4-5]": "Loyal Customers", r"41": "Promising", r"51": "New Customers", r"[4-5][2-3]": "Potential Loyalists", r"5[4-5]": "Champions",
} df["Segment"] = df["RecencyScore"].astype(str) + rfm["FrequencyScore"].astype(str)
df["Segment"] = df["Segment"].replace(seg_map, regex=True)
df.head()
rfm = df.loc[:, "Recency":"Monetary"]
df.groupby("customer_id").agg({"Segment": "sum"}).head()

Bu örnekte, Keyspace tablosundaki kayıtları okumak için CQL kullanıyoruz. Bazı makine öğrenimi kullanım durumlarında, aynı Keyspaces tablosundaki aynı verileri birden çok kez okumanız gerekebilir. Bu durumda, ek masraflardan kaçınmak için verilerinizi bir Amazon S3 klasörüne kaydetmenizi öneririz. maliyetAmazon Keyspaces'ten okuyor. Senaryonuza bağlı olarak, ayrıca kullanabilirsiniz Amazon EMR'si için yutmak çok büyük bir Amazon S3 dosyasını SageMaker'a aktarın.

## Optional Code to save Python DataFrame to S3
from io import StringIO # python3 (or BytesIO for python2) smclient = boto3.Session().client('sagemaker')
sess = sagemaker.Session()
bucket = sess.default_bucket() # Set a default S3 bucket
print(bucket) csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, ‘out/saved_online_retail.csv').put(Body=csv_buffer.getvalue())

Ardından, KMeans algoritmasını kullanarak bir ML modeli eğitiyor ve kümelerin oluşturulduğundan emin oluyoruz. Bu özel senaryoda, oluşturulan kümelerin yazdırıldığını ve ham veri kümesindeki müşterilerin veri kümesindeki çeşitli özniteliklere göre birlikte gruplandırıldığını gösterirsiniz. Bu küme bilgisi, hedeflenen pazarlama kampanyaları için kullanılabilir.

# Training sc = MinMaxScaler((0, 1))
df = sc.fit_transform(rfm) # Clustering
kmeans = KMeans(n_clusters=6).fit(df) # Result
segment = kmeans.labels_ # Visualize the clusters
import matplotlib.pyplot as plt final_df = pd.DataFrame({"customer_id": rfm.index, "Segment": segment})
bucket_data = final_df.groupby("Segment").agg({"customer_id": "count"}).head()
index_data = final_df.groupby("Segment").agg({"Segment": "max"}).head()
index_data["Segment"] = index_data["Segment"].astype(int)
dataFrame = pd.DataFrame(data=bucket_data["customer_id"], index=index_data["Segment"])
dataFrame.rename(columns={"customer_id": "Total Customers"}).plot.bar( rot=70, title="RFM clustering"
)
# dataFrame.plot.bar(rot=70, title="RFM clustering");
plt.show(block=True);

(İsteğe bağlı) Ardından, ML modeli tarafından tanımlanan müşteri segmentlerini hedeflenen pazarlama için bir Amazon Keyspaces tablosuna kaydederiz. Bir toplu iş, bu verileri okuyabilir ve belirli segmentlerdeki müşterilere hedefli kampanyalar yürütebilir.

# Create ml_clustering_results table to store results createTable = """CREATE TABLE IF NOT EXISTS %s.ml_clustering_results ( run_id text, segment int, total_customers int, run_date date, PRIMARY KEY (run_id, segment)); """
cr = session.execute(createTable % keyspaces_schema)
time.sleep(20)
print("Table 'ml_clustering_results' created") insert_ml = ( "INSERT INTO " + keyspaces_schema + '.ml_clustering_results' + '("run_id","segment","total_customers","run_date") ' + 'VALUES (?,?,?,?); '
) prepared = session.prepare(insert_ml)
prepared.consistency_level = ConsistencyLevel.LOCAL_QUORUM run_id = "101"
dt = datetime.now() for ind in dataFrame.index: print(ind, dataFrame['customer_id'][ind]) r = session.execute( prepared, ( run_id, ind, dataFrame['customer_id'][ind], dt, ), )

Sonunda biz kaynakları temizlemek ek ücret ödememek için bu eğitim sırasında oluşturulmuştur.

# Delete blog keyspace and tables
deleteKeyspace = "DROP KEYSPACE IF EXISTS blog"
dr = session.execute(deleteKeyspace) time.sleep(5)
print("Dropping %s keyspace. It may take a few seconds to a minute to complete deletion keyspace and table." % keyspaces_schema )

Anahtar alanı ve tabloların silinmesinin tamamlanması birkaç saniye ile bir dakika arasında sürebilir. Bir anahtar alanı sildiğinizde, anahtar alanı ve tüm tabloları silinir ve bunlardan ücret alınmasını durdurursunuz.

Sonuç

Bu gönderi, Amazon Keyspaces'teki müşteri verilerini SageMaker'a nasıl alacağınızı ve müşterileri segmentlere ayırmanıza olanak tanıyan bir kümeleme modelini nasıl eğiteceğinizi gösterdi. Bu bilgileri hedeflenen pazarlama için kullanabilir, böylece işletmenizin KPI'sını büyük ölçüde iyileştirebilirsiniz. Amazon Anahtar Alanları hakkında daha fazla bilgi edinmek için aşağıdaki kaynakları inceleyin:

• Veri Kaynağı Olarak Amazon Anahtar Alanlarını Kullanarak Makine Öğrenimi Modellerini Eğitin (SageMaker Not Defteri)
• IntelliJ, PyCharm veya DataGrip IDE'leri kullanarak masaüstünüzden Amazon Keyspaces'e bağlanın
• Amazon Keyspaces için CQL Dil Referansı (Apache Cassandra için)
• Yeni geliştirici araç seti Docker görüntüsünü kullanarak Amazon Keyspaces'e (Apache Cassandra için) komut satırı erişimi nasıl kurulur?
• Amazon Keyspaces için Kimlik ve Erişim Yönetimi (Apache Cassandra için)
• SageMaker ile Amazon Keyspaces'e Bağlanma hizmete özgü kimlik bilgileri
• Yenilik, Sıklık, Parasal Değer (RFM)
• Kaggle kod referansı

Yazarlar Hakkında

Vadim Lyakhovich San Francisco Körfez Bölgesi'ndeki AWS'de, müşterilerin AWS'ye geçişine yardımcı olan Kıdemli Çözüm Mimarıdır. Yeniliklerini desteklemek için büyük işletmelerden küçük girişimlere kadar çeşitli kuruluşlarla çalışıyor. Ayrıca müşterilerin AWS'de ölçeklenebilir, güvenli ve uygun maliyetli çözümler tasarlamasına yardımcı oluyor.

Parth Patel San Francisco Körfez Bölgesi'ndeki AWS'de Çözüm Mimarıdır. Parth, müşterilere bulut yolculuklarını hızlandırmaları için rehberlik eder ve AWS bulutunu başarılı bir şekilde benimsemelerine yardımcı olur. Makine Öğrenimi ve Uygulama Modernizasyonuna odaklanmaktadır.

Ram Patangi San Francisco Körfez Bölgesi'ndeki AWS'de Çözüm Mimarıdır. Tarım, Sigorta, Bankacılık, Perakende, Sağlık ve Yaşam Bilimleri, Otelcilik ve Yüksek Teknoloji sektörlerindeki müşterilerin işlerini AWS bulutunda başarılı bir şekilde yürütmelerine yardımcı oldu. Veritabanları, Analitikler ve Makine Öğrenimi konularında uzmanlaşmıştır.

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/train-machine-learning-models-using-amazon-keyspaces-as-a-data-source/