آموزش مدل های یادگیری ماشین با استفاده از Amazon Keyspace به عنوان منبع داده

بسیاری از برنامه‌های کاربردی برای نگهداری تجهیزات صنعتی، نظارت بر تجارت، مدیریت ناوگان و بهینه‌سازی مسیر با استفاده از APIهای منبع باز Cassandra و درایورها برای پردازش داده‌ها با سرعت بالا و تأخیر کم ساخته شده‌اند. مدیریت جداول کاساندرا می تواند زمان بر و پرهزینه باشد. Amazon Keyspaces (برای آپاچی کاساندرا) به شما امکان می دهد جداول Cassandra را در AWS Cloud بدون مدیریت زیرساخت اضافی تنظیم، ایمن و مقیاس بندی کنید.

در این پست، خدمات AWS مربوط به آموزش مدل‌های یادگیری ماشین (ML) را با استفاده از Amazon Keyspaces در سطح بالا راهنمایی می‌کنیم و دستورالعمل‌های گام به گام برای دریافت داده‌ها از Amazon Keyspaces به آن ارائه می‌کنیم. آمازون SageMaker و آموزش مدلی که می تواند برای یک مورد استفاده از تقسیم بندی مشتری خاص استفاده شود.

AWS خدمات متعددی برای کمک به کسب و کارها در پیاده سازی فرآیندهای ML در فضای ابری دارد.

AWS ML Stack دارای سه لایه است. در لایه میانی قرار دارد SageMakerکه به توسعه دهندگان، دانشمندان داده و مهندسان ML توانایی ساخت، آموزش و استقرار مدل های ML در مقیاس را می دهد. این پیچیدگی را از هر مرحله از گردش کار ML حذف می کند تا بتوانید موارد استفاده ML خود را راحت تر اجرا کنید. این شامل هر چیزی از تعمیر و نگهداری پیش‌بینی‌کننده گرفته تا بینایی کامپیوتری و پیش‌بینی رفتارهای مشتری است. مشتریان با SageMaker تا 10 برابر در بهره وری دانشمندان داده بهبود یافته اند.

آپاچی کاساندرا یک انتخاب محبوب برای موارد استفاده سنگین خواندنی با داده‌های بدون ساختار یا نیمه ساختار یافته است. به عنوان مثال، یک تجارت محبوب تحویل غذا زمان تحویل را تخمین می زند، و یک مشتری خرده فروشی می تواند مرتباً از اطلاعات کاتالوگ محصول در پایگاه داده آپاچی کاساندرا استفاده کند. Amazon Keyspaces یک سرویس پایگاه داده سازگار با آپاچی کاساندرا بدون سرور، مقیاس پذیر، بسیار در دسترس و مدیریت شده است. شما نیازی به تهیه، وصله یا مدیریت سرورها ندارید، و نیازی به نصب، نگهداری یا اجرای نرم افزار ندارید. جداول می توانند به صورت خودکار بزرگ و کم شوند و شما فقط برای منابعی که استفاده می کنید پرداخت می کنید. Amazon Keyspaces به شما امکان می دهد بارهای کاری Cassandra خود را در AWS با استفاده از همان کد برنامه Cassandra و ابزارهای توسعه دهنده ای که امروز استفاده می کنید اجرا کنید.

SageMaker مجموعه ای از الگوریتم های داخلی برای کمک به دانشمندان داده و پزشکان ML برای شروع سریع آموزش و استقرار مدل های ML. در این پست، ما به شما نشان خواهیم داد که چگونه یک مشتری خرده‌فروش می‌تواند از تاریخچه خرید مشتری در پایگاه داده Keyspaces استفاده کند و بخش‌های مختلف مشتریان را برای کمپین‌های بازاریابی هدف قرار دهد.

ک-یعنی یک الگوریتم یادگیری بدون نظارت است. تلاش می‌کند تا گروه‌های مجزا را در داده‌ها بیابد، جایی که اعضای یک گروه تا حد امکان شبیه به یکدیگر و تا حد امکان از اعضای گروه‌های دیگر متفاوت هستند. شما ویژگی هایی را تعریف می کنید که می خواهید الگوریتم از آنها برای تعیین شباهت استفاده کند. SageMaker از نسخه اصلاح شده استفاده می کند الگوریتم خوشه بندی در مقیاس وب k-means. در مقایسه با نسخه اصلی الگوریتم، نسخه استفاده شده توسط SageMaker دقیق تر است. با این حال، مانند الگوریتم اصلی، آن را به مجموعه داده های عظیم مقیاس می دهد و بهبودهایی را در زمان آموزش ارائه می دهد.

بررسی اجمالی راه حل

دستورالعمل ها فرض می کنند که از SageMaker Studio برای اجرای کد استفاده می کنید. کد مرتبط در به اشتراک گذاشته شده است AWS نمونه GitHub. با پیروی از دستورالعمل های آزمایشگاه، می توانید موارد زیر را انجام دهید:

• وابستگی های لازم را نصب کنید.
• به Amazon Keyspaces متصل شوید، یک جدول ایجاد کنید و داده های نمونه را دریافت کنید.
• یک مدل طبقه‌بندی ML با استفاده از داده‌های Amazon Keyspaces بسازید.
• نتایج مدل را کاوش کنید
• منابع تازه ایجاد شده را پاک کنید.

پس از تکمیل، SageMaker را با Amazon Keyspaces ادغام خواهید کرد تا مدل‌های ML را همانطور که در تصویر زیر نشان داده شده است آموزش دهید.

حالا شما می توانید از دستورالعمل های گام به گام در این پست داده‌های خام ذخیره‌شده در Amazon Keyspaces را با استفاده از SageMaker و داده‌هایی که برای پردازش ML بازیابی می‌شوند، دریافت کنید.

پیش نیازها

ابتدا به SageMaker بروید.

در مرحله بعد، اگر این اولین باری است که از SageMaker استفاده می کنید، انتخاب کنید شروع کنید.

بعد، انتخاب کنید دامنه SageMaker را راه اندازی کنید.

بعد، یک نمایه کاربری جدید با نام ایجاد کنید - حکیم ساز، و انتخاب کنید ایجاد نقش جدید در نقش اجرای پیش فرض بخش فرعی

بعد، در صفحه ای که ظاهر می شود، هر کدام را انتخاب کنید سرویس ذخیره سازی ساده آمازون (Amazon S3) سطل، و ایجاد نقش را انتخاب کنید.

این نقش در مراحل زیر استفاده می‌شود تا به SageMaker اجازه داده شود تا با استفاده از اعتبارنامه‌های موقت از نقش به جدول Keyspace دسترسی داشته باشد. با این کار نیازی به ذخیره نام کاربری و رمز عبور در نوت بوک نیست.

بعد، نقش مرتبط با را بازیابی کنید حکیم ساز که در مرحله قبل از قسمت خلاصه ایجاد شد.

سپس ، به کنسول AWS و به بالا نگاه کن مدیریت هویت و دسترسی AWS (IAM). در IAM، به Roles بروید. در Roles، نقش اجرایی مشخص شده در مرحله قبل را جستجو کنید.

در مرحله بعد نقش مشخص شده در مرحله قبل را انتخاب کرده و گزینه Add Permissions را انتخاب کنید. در منوی باز شده، Create Inline Policy را انتخاب کنید. SageMaker به شما این امکان را می دهد که یک سطح دقیق از دسترسی را فراهم کنید که اعمالی را که کاربر/برنامه کاربردی می تواند بر اساس الزامات تجاری انجام دهد، محدود می کند.

سپس، زبانه JSON را انتخاب کنید و خط مشی را از بخش Note Github کپی کنید با ما. این خط‌مشی به نوت‌بوک SageMaker اجازه می‌دهد به Keyspaceها متصل شود و داده‌ها را برای پردازش بیشتر بازیابی کند.

سپس مجدداً و از منوی بازشو گزینه Add permissions را انتخاب کرده و Attach Policy را انتخاب کنید.

خط مشی AmazonKeyspacesFullAccess را جستجو کنید و کادر کنار نتیجه مطابق را انتخاب کنید و گزینه Attach Policies را انتخاب کنید.

بررسی کنید که بخش خط‌مشی‌های مجوزها شامل باشد AmazonS3FullAccess, AmazonSageMakerFullAccess, AmazonKeyspacesFullAccessو همچنین خط مشی جدید اضافه شده است.

سپس با استفاده از کنسول AWS به SageMaker Studio بروید و SageMaker Studio را انتخاب کنید. پس از آن، Launch App را انتخاب کنید و Studio را انتخاب کنید.

راهنمای نوت بوک

روش ترجیحی برای اتصال به Keyspace از SageMaker Notebook استفاده از آن است فرآیند امضای AWS نسخه 4 (SigV4) مستقر اعتبارنامه موقت برای احراز هویت در این سناریو، ما نیازی به تولید یا ذخیره اعتبارات Keyspace نداریم و می‌توانیم از اعتبارنامه‌ها برای احراز هویت با افزونه SigV4 استفاده کنیم. اعتبارنامه امنیتی موقت از یک شناسه کلید دسترسی و یک کلید دسترسی مخفی تشکیل شده است. با این حال، آنها همچنین شامل یک نشانه امنیتی هستند که نشان می دهد که اعتبارنامه ها چه زمانی منقضی می شوند. در این پست، نقش IAM ایجاد می کنیم و اعتبارنامه امنیتی موقت ایجاد می کنیم.

ابتدا یک درایور (cassandra-sigv4) نصب می کنیم. این درایور شما را قادر می سازد تا با استفاده از فرآیند امضای نسخه 4 AWS (SigV4) اطلاعات احراز هویت را به درخواست های API خود اضافه کنید. با استفاده از این افزونه، می توانید به کاربران و برنامه ها اعتبارنامه های کوتاه مدت برای دسترسی به Amazon Keyspaces (برای آپاچی کاساندرا) با استفاده از کاربران و نقش های IAM ارائه دهید. پس از این، گواهی لازم را به همراه وابستگی های بسته اضافی وارد خواهید کرد. در پایان، به نوت‌بوک اجازه می‌دهید تا نقش صحبت با Keyspace را بر عهده بگیرد.

# Install missing packages and import dependencies
# Installing Cassandra SigV4
%pip install cassandra-sigv4 # Get Security certificate
!curl https://certs.secureserver.net/repository/sf-class2-root.crt -O # Import
from sagemaker import get_execution_role
from cassandra.cluster import Cluster
from ssl import SSLContext, PROTOCOL_TLSv1_2, CERT_REQUIRED
from cassandra_sigv4.auth import SigV4AuthProvider
import boto3 import pandas as pd
from pandas import DataFrame import csv
from cassandra import ConsistencyLevel
from datetime import datetime
import time
from datetime import timedelta import pandas as pd
import datetime as dt
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import MinMaxScaler # Getting credentials from the role
client = boto3.client("sts") # Get notebook Role
role = get_execution_role()
role_info = {"RoleArn": role, "RoleSessionName": "session1"}
print(role_info) credentials = client.assume_role(**role_info)

سپس به Amazon Keyspace متصل شوید و داده های سیستم را از Keyspace در Pandas DataFrame بخوانید تا اتصال را تأیید کنید.

# Connect to Cassandra Database from SageMaker Notebook # using temporary credentials from the Role.
session = boto3.session.Session() ###
### You can also pass specific credentials to the session
###
#session = boto3.session.Session(
# aws_access_key_id=credentials["Credentials"]["AccessKeyId"],
# aws_secret_access_key=credentials["Credentials"]["SecretAccessKey"],
# aws_session_token=credentials["Credentials"]["SessionToken"],
#) region_name = session.region_name # Set Context
ssl_context = SSLContext(PROTOCOL_TLSv1_2)
ssl_context.load_verify_locations("sf-class2-root.crt")
ssl_context.verify_mode = CERT_REQUIRED auth_provider = SigV4AuthProvider(session)
keyspaces_host = "cassandra." + region_name + ".amazonaws.com" cluster = Cluster([keyspaces_host], ssl_context=ssl_context, auth_provider=auth_provider, port=9142)
session = cluster.connect() # Read data from Keyspaces system table. # Keyspaces is serverless DB so you don't have to create Keyspaces DB ahead of time.
r = session.execute("select * from system_schema.keyspaces") # Read Keyspaces row into Panda DataFrame
df = DataFrame(r)
print(df)

سپس داده ها را برای آموزش روی مجموعه داده های خام آماده کنید. در نوت بوک پایتون مرتبط با این پست، از مجموعه داده های خرده فروشی دانلود شده از آن استفاده کنید اینجا کلیک نمایید، و آن را پردازش کنید. هدف کسب‌وکار ما با توجه به مجموعه داده، خوشه‌بندی مشتریان با استفاده از RFM تماس متریک خاص است. مدل RFM بر اساس سه عامل کمی است:

• تازگی: چند وقت پیش مشتری خریدی انجام داده است.
• فرکانس: هر چند وقت یکبار مشتری خرید می کند.
• ارزش پولی: مشتری چقدر برای خرید خرج می کند.

تجزیه و تحلیل RFM به صورت عددی یک مشتری را در هر یک از این سه دسته، به طور کلی در مقیاس 1 تا 5 رتبه بندی می کند (هر چه این عدد بیشتر باشد، نتیجه بهتر است). "بهترین" مشتری در هر دسته امتیاز برتر را دریافت می کند. ما از تابع گسسته سازی مبتنی بر Quantile (qcut) پانداها استفاده خواهیم کرد. این به گسسته کردن مقادیر در سطل های هم اندازه بر اساس یا بر اساس چندک های نمونه کمک می کند.

# Prepare Data
r = session.execute("select * from " + keyspaces_schema + ".online_retail") df = DataFrame(r)
df.head(100) df.count()
df["description"].nunique()
df["totalprice"] = df["quantity"] * df["price"]
df.groupby("invoice").agg({"totalprice": "sum"}).head() df.groupby("description").agg({"price": "max"}).sort_values("price", ascending=False).head()
df.sort_values("price", ascending=False).head()
df["country"].value_counts().head()
df.groupby("country").agg({"totalprice": "sum"}).sort_values("totalprice", ascending=False).head() returned = df[df["invoice"].str.contains("C", na=False)]
returned.sort_values("quantity", ascending=True).head() df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.describe([0.05, 0.01, 0.25, 0.50, 0.75, 0.80, 0.90, 0.95, 0.99]).T
df.drop(df.loc[df["customer_id"] == ""].index, inplace=True) # Recency Metric
import datetime as dt today_date = dt.date(2011, 12, 9)
df["customer_id"] = df["customer_id"].astype(int) # create get the most recent invoice for each customer
temp_df = df.groupby("customer_id").agg({"invoice_date": "max"})
temp_df["invoice_date"] = temp_df["invoice_date"].astype(str)
temp_df["invoice_date"] = pd.to_datetime(temp_df["invoice_date"]).dt.date
temp_df["Recency"] = (today_date - temp_df["invoice_date"]).dt.days
recency_df = temp_df.drop(columns=["invoice_date"])
recency_df.head() # Frequency Metric
temp_df = df.groupby(["customer_id", "invoice"]).agg({"invoice": "count"})
freq_df = temp_df.groupby("customer_id").agg({"invoice": "count"})
freq_df.rename(columns={"invoice": "Frequency"}, inplace=True) # Monetary Metric
monetary_df = df.groupby("customer_id").agg({"totalprice": "sum"})
monetary_df.rename(columns={"totalprice": "Monetary"}, inplace=True)
rfm = pd.concat([recency_df, freq_df, monetary_df], axis=1) df = rfm
df["RecencyScore"] = pd.qcut(df["Recency"], 5, labels=[5, 4, 3, 2, 1])
df["FrequencyScore"] = pd.qcut(df["Frequency"].rank(method="first"), 5, labels=[1, 2, 3, 4, 5])
df["Monetary"] = df["Monetary"].astype(int)
df["MonetaryScore"] = pd.qcut(df["Monetary"], 5, labels=[1, 2, 3, 4, 5])
df["RFM_SCORE"] = ( df["RecencyScore"].astype(str) + df["FrequencyScore"].astype(str) + df["MonetaryScore"].astype(str)
)
seg_map = { r"[1-2][1-2]": "Hibernating", r"[1-2][3-4]": "At Risk", r"[1-2]5": "Can't Loose", r"3[1-2]": "About to Sleep", r"33": "Need Attention", r"[3-4][4-5]": "Loyal Customers", r"41": "Promising", r"51": "New Customers", r"[4-5][2-3]": "Potential Loyalists", r"5[4-5]": "Champions",
} df["Segment"] = df["RecencyScore"].astype(str) + rfm["FrequencyScore"].astype(str)
df["Segment"] = df["Segment"].replace(seg_map, regex=True)
df.head()
rfm = df.loc[:, "Recency":"Monetary"]
df.groupby("customer_id").agg({"Segment": "sum"}).head()

در این مثال، ما از CQL برای خواندن رکوردها از جدول Keyspace استفاده می کنیم. در برخی موارد استفاده از ML، ممکن است لازم باشد چندین بار همان داده‌ها را از یک جدول Keyspace بخوانید. در این مورد، توصیه می کنیم که داده های خود را در یک سطل آمازون S3 ذخیره کنید تا از متحمل شدن موارد اضافی جلوگیری کنید هزینهدر حال خواندن از Amazon Keyspace. بسته به سناریوی خود، می توانید از آن نیز استفاده کنید آمازون EMR به مصرف یک فایل بسیار بزرگ آمازون S3 در SageMaker.

## Optional Code to save Python DataFrame to S3
from io import StringIO # python3 (or BytesIO for python2) smclient = boto3.Session().client('sagemaker')
sess = sagemaker.Session()
bucket = sess.default_bucket() # Set a default S3 bucket
print(bucket) csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, ‘out/saved_online_retail.csv').put(Body=csv_buffer.getvalue())

در مرحله بعد، یک مدل ML را با استفاده از الگوریتم KMeans آموزش می دهیم و مطمئن می شویم که خوشه ها ایجاد شده اند. در این سناریوی خاص، می‌بینید که خوشه‌های ایجاد شده چاپ می‌شوند و نشان می‌دهند که مشتریان در مجموعه داده‌های خام بر اساس ویژگی‌های مختلف در مجموعه داده با هم گروه‌بندی شده‌اند. این اطلاعات خوشه ای را می توان برای کمپین های بازاریابی هدفمند استفاده کرد.

# Training sc = MinMaxScaler((0, 1))
df = sc.fit_transform(rfm) # Clustering
kmeans = KMeans(n_clusters=6).fit(df) # Result
segment = kmeans.labels_ # Visualize the clusters
import matplotlib.pyplot as plt final_df = pd.DataFrame({"customer_id": rfm.index, "Segment": segment})
bucket_data = final_df.groupby("Segment").agg({"customer_id": "count"}).head()
index_data = final_df.groupby("Segment").agg({"Segment": "max"}).head()
index_data["Segment"] = index_data["Segment"].astype(int)
dataFrame = pd.DataFrame(data=bucket_data["customer_id"], index=index_data["Segment"])
dataFrame.rename(columns={"customer_id": "Total Customers"}).plot.bar( rot=70, title="RFM clustering"
)
# dataFrame.plot.bar(rot=70, title="RFM clustering");
plt.show(block=True);

(اختیاری) سپس، بخش‌های مشتری را که توسط مدل ML شناسایی شده‌اند، برای بازاریابی هدفمند در جدول Amazon Keyspaces ذخیره می‌کنیم. یک کار دسته‌ای می‌تواند این داده‌ها را بخواند و کمپین‌های هدفمند را برای مشتریان در بخش‌های خاص اجرا کند.

# Create ml_clustering_results table to store results createTable = """CREATE TABLE IF NOT EXISTS %s.ml_clustering_results ( run_id text, segment int, total_customers int, run_date date, PRIMARY KEY (run_id, segment)); """
cr = session.execute(createTable % keyspaces_schema)
time.sleep(20)
print("Table 'ml_clustering_results' created") insert_ml = ( "INSERT INTO " + keyspaces_schema + '.ml_clustering_results' + '("run_id","segment","total_customers","run_date") ' + 'VALUES (?,?,?,?); '
) prepared = session.prepare(insert_ml)
prepared.consistency_level = ConsistencyLevel.LOCAL_QUORUM run_id = "101"
dt = datetime.now() for ind in dataFrame.index: print(ind, dataFrame['customer_id'][ind]) r = session.execute( prepared, ( run_id, ind, dataFrame['customer_id'][ind], dt, ), )

سرانجام، ما منابع را پاکسازی کنید ایجاد شده در طول این آموزش برای جلوگیری از تحمیل هزینه های اضافی.

# Delete blog keyspace and tables
deleteKeyspace = "DROP KEYSPACE IF EXISTS blog"
dr = session.execute(deleteKeyspace) time.sleep(5)
print("Dropping %s keyspace. It may take a few seconds to a minute to complete deletion keyspace and table." % keyspaces_schema )

ممکن است چند ثانیه تا یک دقیقه طول بکشد تا حذف فضای کلید و جداول کامل شود. وقتی فضای کلیدی را حذف می‌کنید، فضای کلید و تمام جداول آن حذف می‌شود و دیگر هزینه‌هایی را از آنها دریافت نمی‌کنید.

نتیجه

این پست به شما نشان داد که چگونه داده های مشتری را از Amazon Keyspace در SageMaker وارد کنید و یک مدل خوشه بندی را آموزش دهید که به شما امکان می دهد مشتریان را تقسیم بندی کنید. شما می توانید از این اطلاعات برای بازاریابی هدفمند استفاده کنید، بنابراین KPI کسب و کار خود را تا حد زیادی بهبود می بخشید. برای کسب اطلاعات بیشتر در مورد Amazon Keyspaces، منابع زیر را مرور کنید:

• آموزش مدل های یادگیری ماشین با استفاده از Amazon Keyspaces به عنوان منبع داده (نوت بوک SageMaker)
• با استفاده از IntelliJ، PyCharm یا DataGrip IDE از دسکتاپ خود به Amazon Keyspaces متصل شوید.
• مرجع زبان CQL برای Amazon Keyspaces (برای Apache Cassandra)
• نحوه تنظیم دسترسی خط فرمان به Amazon Keyspaces (برای Apache Cassandra) با استفاده از جعبه ابزار توسعه دهنده جدید Docker image
• مدیریت هویت و دسترسی برای Amazon Keyspaces (برای Apache Cassandra)
• اتصال به Amazon Keyspace از SageMaker با اعتبار خدمات خاص
• تازگی، فرکانس، ارزش پولی (RFM)
• مرجع کد Kaggle

درباره نویسنده

وادیم لیاخوویچ یک معمار ارشد راه حل در AWS در منطقه خلیج سانفرانسیسکو است که به مشتریان کمک می کند تا به AWS مهاجرت کنند. او با سازمان هایی از شرکت های بزرگ گرفته تا استارت آپ های کوچک کار می کند تا از نوآوری های آنها حمایت کند. او همچنین به مشتریان کمک می کند تا راه حل های مقیاس پذیر، ایمن و مقرون به صرفه را در AWS معمار کنند.

پارت پاتل یک معمار راه حل در AWS در منطقه خلیج سانفرانسیسکو است. Parth مشتریان را راهنمایی می کند تا سفر خود به ابر را سرعت بخشند و به آنها کمک می کند تا با موفقیت AWS cloud را اتخاذ کنند. او بر ML و نوسازی اپلیکیشن تمرکز دارد.

رام پاتانگی یک معمار راه حل در AWS در منطقه خلیج سانفرانسیسکو است. او به مشتریان در بخش های کشاورزی، بیمه، بانکداری، خرده فروشی، مراقبت های بهداشتی و علوم زندگی، مهمان نوازی، و بخش های فناوری پیشرفته کمک کرده است تا کسب و کار خود را با موفقیت در ابر AWS اجرا کنند. او در پایگاه های داده، تجزیه و تحلیل و ML تخصص دارد.

• Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
• پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
• CryptoHawk. رادار آلت کوین امتحان رایگان.
• منبع: https://aws.amazon.com/blogs/machine-learning/train-machine-learning-models-using-amazon-keyspaces-as-a-data-source/