تدريب نماذج التعلم الآلي باستخدام Amazon Keyspaces كمصدر للبيانات

تم إنشاء العديد من التطبيقات المخصصة لصيانة المعدات الصناعية ، ومراقبة التجارة ، وإدارة الأسطول ، وتحسين المسار باستخدام واجهات برمجة تطبيقات Cassandra API مفتوحة المصدر وبرامج التشغيل لمعالجة البيانات بسرعات عالية وزمن انتقال منخفض. قد تكون إدارة طاولات Cassandra بنفسك مضيعة للوقت ومكلفة. Amazon Keyspaces (لـ Apache Cassandra) يتيح لك إعداد جداول Cassandra وتأمينها وتوسيع نطاقها في سحابة AWS دون إدارة البنية التحتية الإضافية.

في هذا المنشور ، سنوجهك عبر خدمات AWS المتعلقة بتدريب نماذج التعلم الآلي (ML) باستخدام Amazon Keyspaces على مستوى عالٍ ، ونقدم إرشادات خطوة بخطوة لاستيعاب البيانات من Amazon Keyspaces في الأمازون SageMaker وتدريب نموذج يمكن استخدامه لحالة استخدام محددة لتجزئة العملاء.

لدى AWS خدمات متعددة لمساعدة الشركات على تنفيذ عمليات ML في السحابة.

يحتوي AWS ML Stack على ثلاث طبقات. في الطبقة الوسطى SageMaker، والتي توفر للمطورين وعلماء البيانات ومهندسي تعلم الآلة القدرة على بناء نماذج تعلم الآلة وتدريبها ونشرها على نطاق واسع. إنه يزيل التعقيد من كل خطوة من خطوات سير عمل ML بحيث يمكنك بسهولة نشر حالات استخدام ML الخاصة بك. يتضمن ذلك أي شيء من الصيانة التنبؤية إلى رؤية الكمبيوتر للتنبؤ بسلوكيات العملاء. يحقق العملاء تحسنًا يصل إلى 10 أضعاف في إنتاجية علماء البيانات باستخدام SageMaker.

يعد Apache Cassandra خيارًا شائعًا لحالات الاستخدام الكثيفة القراءة مع البيانات غير المنظمة أو شبه المنظمة. على سبيل المثال ، تقدر شركة توصيل طعام شهيرة وقت التسليم ، ويمكن لعميل التجزئة الاستمرار في استخدام معلومات كتالوج المنتجات في قاعدة بيانات Apache Cassandra بشكل متكرر. أمازون كيزبيس هي خدمة قاعدة بيانات متوافقة مع Apache Cassandra قابلة للتطوير ومتاحة للغاية ومدارة بدون خوادم. لا تحتاج إلى توفير الخوادم أو تصحيحها أو إدارتها ، ولا تحتاج إلى تثبيت البرامج أو صيانتها أو تشغيلها. يمكن زيادة حجم الجداول وتصغيرها تلقائيًا ، ولا تدفع إلا مقابل الموارد التي تستخدمها. تتيح لك Amazon Keyspaces تشغيل أحمال عمل Cassandra الخاصة بك على AWS باستخدام نفس كود تطبيق Cassandra وأدوات المطور التي تستخدمها اليوم.

يوفر SageMaker مجموعة من ملفات خوارزميات مدمجة لمساعدة علماء البيانات وممارسي تعلم الآلة على البدء في التدريب ونشر نماذج تعلم الآلة بسرعة. في هذا المنشور ، سنوضح لك كيف يمكن لعميل التجزئة استخدام سجل شراء العميل في قاعدة بيانات Keyspaces واستهداف شرائح عملاء مختلفة للحملات التسويقية.

يعني K هي خوارزمية تعلم غير خاضعة للإشراف. يحاول العثور على مجموعات منفصلة داخل البيانات ، حيث يكون أعضاء المجموعة متشابهين قدر الإمكان مع بعضهم البعض ومختلفين قدر الإمكان عن أعضاء المجموعات الأخرى. أنت تحدد السمات التي تريد أن تستخدمها الخوارزمية لتحديد التشابه. يستخدم SageMaker نسخة معدلة من مقياس الويب k- يعني خوارزمية التجميع. بالمقارنة مع الإصدار الأصلي من الخوارزمية ، فإن الإصدار المستخدم بواسطة SageMaker أكثر دقة. ومع ذلك ، مثل الخوارزمية الأصلية ، فإنها تتسع لمجموعات بيانات ضخمة وتقدم تحسينات في وقت التدريب.

حل نظرة عامة

تفترض التعليمات أنك ستستخدم SageMaker Studio لتشغيل الكود. تمت مشاركة الكود المرتبط على نموذج GitHub من AWS. باتباع الإرشادات الموجودة في المعمل ، يمكنك القيام بما يلي:

• تثبيت التبعيات اللازمة.
• اتصل بـ Amazon Keyspaces ، وأنشئ جدولًا ، واستوعب بيانات نموذجية.
• قم ببناء نموذج ML للتصنيف باستخدام البيانات الموجودة في Amazon Keyspaces.
• اكتشف نتائج النموذج.
• تنظيف الموارد التي تم إنشاؤها حديثًا.

بمجرد الانتهاء ، ستقوم بدمج SageMaker مع Amazon Keyspaces لتدريب نماذج ML كما هو موضح في الصورة التالية.

الآن يمكنك متابعة تعليمات خطوه بخطوه في هذا المنشور لاستيعاب البيانات الأولية المخزنة في Amazon Keyspaces باستخدام SageMaker وبالتالي استرداد البيانات لمعالجة ML.

المتطلبات الأساسية المسبقة

أولاً ، انتقل إلى SageMaker.

بعد ذلك ، إذا كانت هذه هي المرة الأولى التي تستخدم فيها SageMaker ، فحدد البدء.

المقبل ، حدد قم بإعداد مجال SageMaker.

بعد ذلك ، قم بإنشاء ملف تعريف مستخدم جديد بالاسم - com.sagemakeruserوحدد إنشاء دور جديد في ال دور التنفيذ الافتراضي قسم فرعي.

بعد ذلك ، في الشاشة المنبثقة ، حدد أيًا منها خدمة Amazon Simple Storage (Amazon S3) دلو ، وحدد إنشاء دور.

سيتم استخدام هذا الدور في الخطوات التالية للسماح لـ SageMaker بالوصول إلى Keyspaces Table باستخدام بيانات اعتماد مؤقتة من الدور. هذا يلغي الحاجة إلى تخزين اسم مستخدم وكلمة مرور في الكمبيوتر المحمول.

بعد ذلك ، استرجع الدور المرتبط بامتداد com.sagemakeruser الذي تم إنشاؤه في الخطوة السابقة من قسم الملخص.

ثم انتقل إلى ملف وحدة تحكم AWS وابحث AWS لإدارة الهوية والوصول (IAM). داخل IAM ، انتقل إلى الأدوار. ضمن الأدوار ، ابحث عن دور التنفيذ المحدد في الخطوة السابقة.

بعد ذلك ، حدد الدور المحدد في الخطوة السابقة وحدد إضافة أذونات. في القائمة المنسدلة التي تظهر ، حدد إنشاء سياسة مضمنة. يتيح لك SageMaker توفير مستوى وصول دقيق يقيد الإجراءات التي يمكن للمستخدم / التطبيق تنفيذها بناءً على متطلبات العمل.

بعد ذلك ، حدد علامة التبويب JSON وانسخ السياسة من قسم الملاحظات في Github صفحة. تسمح هذه السياسة لجهاز الكمبيوتر المحمول SageMaker بالاتصال بالمفاتيح واسترداد البيانات لمزيد من المعالجة.

بعد ذلك ، حدد إضافة أذونات مرة أخرى ومن القائمة المنسدلة ، وحدد إرفاق السياسة.

ابحث عن سياسة AmazonKeyspacesFullAccess ، وحدد مربع الاختيار بجوار النتيجة المطابقة ، وحدد إرفاق السياسات.

تحقق من أن قسم سياسات الأذونات يتضمن AmazonS3FullAccess, AmazonSageMakerFullAccess, AmazonKeyspacesFullAccess، بالإضافة إلى السياسة المضمنة المضافة حديثًا.

بعد ذلك ، انتقل إلى SageMaker Studio باستخدام وحدة تحكم AWS وحدد SageMaker Studio. بمجرد الوصول إلى هناك ، حدد Launch App وحدد Studio.

تجول دفتر الملاحظات

الطريقة المفضلة للاتصال بـ Keyspaces من SageMaker Notebook هي باستخدام عملية الإصدار 4 من AWS Signature (SigV4) على أساس أوراق اعتماد مؤقتة للمصادقة. في هذا السيناريو ، لا نحتاج إلى إنشاء بيانات اعتماد Keyspaces أو تخزينها ويمكننا استخدام بيانات الاعتماد للمصادقة مع المكون الإضافي SigV4. تتكون بيانات اعتماد الأمان المؤقتة من معرف مفتاح الوصول ومفتاح الوصول السري. ومع ذلك ، فإنها تتضمن أيضًا رمز أمان يشير إلى وقت انتهاء صلاحية بيانات الاعتماد. في هذا المنشور ، سننشئ دور IAM وننشئ بيانات اعتماد أمنية مؤقتة.

أولاً ، نقوم بتثبيت برنامج تشغيل (cassandra-sigv4). يمكّنك برنامج التشغيل هذا من إضافة معلومات المصادقة إلى طلبات واجهة برمجة التطبيقات الخاصة بك باستخدام عملية الإصدار 4 من AWS Signature (SigV4). باستخدام المكون الإضافي ، يمكنك تزويد المستخدمين والتطبيقات ببيانات اعتماد قصيرة المدى للوصول إلى Amazon Keyspaces (لـ Apache Cassandra) باستخدام مستخدمي IAM وأدوارهم. بعد ذلك ، ستقوم باستيراد الشهادة المطلوبة مع تبعيات الحزمة الإضافية. في النهاية ، ستسمح للمفكرة بتولي دور التحدث إلى Keyspaces.

# Install missing packages and import dependencies
# Installing Cassandra SigV4
%pip install cassandra-sigv4 # Get Security certificate
!curl https://certs.secureserver.net/repository/sf-class2-root.crt -O # Import
from sagemaker import get_execution_role
from cassandra.cluster import Cluster
from ssl import SSLContext, PROTOCOL_TLSv1_2, CERT_REQUIRED
from cassandra_sigv4.auth import SigV4AuthProvider
import boto3 import pandas as pd
from pandas import DataFrame import csv
from cassandra import ConsistencyLevel
from datetime import datetime
import time
from datetime import timedelta import pandas as pd
import datetime as dt
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import MinMaxScaler # Getting credentials from the role
client = boto3.client("sts") # Get notebook Role
role = get_execution_role()
role_info = {"RoleArn": role, "RoleSessionName": "session1"}
print(role_info) credentials = client.assume_role(**role_info)

بعد ذلك ، اتصل بـ Amazon Keyspaces واقرأ بيانات الأنظمة من Keyspaces إلى Pandas DataFrame للتحقق من صحة الاتصال.

# Connect to Cassandra Database from SageMaker Notebook # using temporary credentials from the Role.
session = boto3.session.Session() ###
### You can also pass specific credentials to the session
###
#session = boto3.session.Session(
# aws_access_key_id=credentials["Credentials"]["AccessKeyId"],
# aws_secret_access_key=credentials["Credentials"]["SecretAccessKey"],
# aws_session_token=credentials["Credentials"]["SessionToken"],
#) region_name = session.region_name # Set Context
ssl_context = SSLContext(PROTOCOL_TLSv1_2)
ssl_context.load_verify_locations("sf-class2-root.crt")
ssl_context.verify_mode = CERT_REQUIRED auth_provider = SigV4AuthProvider(session)
keyspaces_host = "cassandra." + region_name + ".amazonaws.com" cluster = Cluster([keyspaces_host], ssl_context=ssl_context, auth_provider=auth_provider, port=9142)
session = cluster.connect() # Read data from Keyspaces system table. # Keyspaces is serverless DB so you don't have to create Keyspaces DB ahead of time.
r = session.execute("select * from system_schema.keyspaces") # Read Keyspaces row into Panda DataFrame
df = DataFrame(r)
print(df)

بعد ذلك ، قم بإعداد البيانات للتدريب على مجموعة البيانات الأولية. في دفتر ملاحظات python المرتبط بهذا المنشور ، استخدم مجموعة بيانات البيع بالتجزئة التي تم تنزيلها من هنا، ومعالجتها. يتمثل هدف أعمالنا في ضوء مجموعة البيانات في تجميع العملاء باستخدام مقياس معين لإجراء مكالمة RFM. يعتمد نموذج RFM على ثلاثة عوامل كمية:

• مدى الحداثة: كيف أجرى العميل عملية شراء مؤخرًا.
• التكرار: عدد المرات التي يقوم فيها العميل بإجراء عملية شراء.
• القيمة النقدية: مقدار الأموال التي ينفقها العميل على المشتريات.

يصنف تحليل RFM العميل عدديًا في كل فئة من هذه الفئات الثلاث ، بشكل عام على مقياس من 1 إلى 5 (كلما زاد الرقم ، كانت النتيجة أفضل). سيحصل العميل "الأفضل" على أعلى الدرجات في كل فئة. سنستخدم وظيفة التقدير الكمي للباندا (qcut). سيساعد على تحديد القيم في دلاء متساوية الحجم بناءً على مقادير العينة أو بناءً على عيناتها.

# Prepare Data
r = session.execute("select * from " + keyspaces_schema + ".online_retail") df = DataFrame(r)
df.head(100) df.count()
df["description"].nunique()
df["totalprice"] = df["quantity"] * df["price"]
df.groupby("invoice").agg({"totalprice": "sum"}).head() df.groupby("description").agg({"price": "max"}).sort_values("price", ascending=False).head()
df.sort_values("price", ascending=False).head()
df["country"].value_counts().head()
df.groupby("country").agg({"totalprice": "sum"}).sort_values("totalprice", ascending=False).head() returned = df[df["invoice"].str.contains("C", na=False)]
returned.sort_values("quantity", ascending=True).head() df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.describe([0.05, 0.01, 0.25, 0.50, 0.75, 0.80, 0.90, 0.95, 0.99]).T
df.drop(df.loc[df["customer_id"] == ""].index, inplace=True) # Recency Metric
import datetime as dt today_date = dt.date(2011, 12, 9)
df["customer_id"] = df["customer_id"].astype(int) # create get the most recent invoice for each customer
temp_df = df.groupby("customer_id").agg({"invoice_date": "max"})
temp_df["invoice_date"] = temp_df["invoice_date"].astype(str)
temp_df["invoice_date"] = pd.to_datetime(temp_df["invoice_date"]).dt.date
temp_df["Recency"] = (today_date - temp_df["invoice_date"]).dt.days
recency_df = temp_df.drop(columns=["invoice_date"])
recency_df.head() # Frequency Metric
temp_df = df.groupby(["customer_id", "invoice"]).agg({"invoice": "count"})
freq_df = temp_df.groupby("customer_id").agg({"invoice": "count"})
freq_df.rename(columns={"invoice": "Frequency"}, inplace=True) # Monetary Metric
monetary_df = df.groupby("customer_id").agg({"totalprice": "sum"})
monetary_df.rename(columns={"totalprice": "Monetary"}, inplace=True)
rfm = pd.concat([recency_df, freq_df, monetary_df], axis=1) df = rfm
df["RecencyScore"] = pd.qcut(df["Recency"], 5, labels=[5, 4, 3, 2, 1])
df["FrequencyScore"] = pd.qcut(df["Frequency"].rank(method="first"), 5, labels=[1, 2, 3, 4, 5])
df["Monetary"] = df["Monetary"].astype(int)
df["MonetaryScore"] = pd.qcut(df["Monetary"], 5, labels=[1, 2, 3, 4, 5])
df["RFM_SCORE"] = ( df["RecencyScore"].astype(str) + df["FrequencyScore"].astype(str) + df["MonetaryScore"].astype(str)
)
seg_map = { r"[1-2][1-2]": "Hibernating", r"[1-2][3-4]": "At Risk", r"[1-2]5": "Can't Loose", r"3[1-2]": "About to Sleep", r"33": "Need Attention", r"[3-4][4-5]": "Loyal Customers", r"41": "Promising", r"51": "New Customers", r"[4-5][2-3]": "Potential Loyalists", r"5[4-5]": "Champions",
} df["Segment"] = df["RecencyScore"].astype(str) + rfm["FrequencyScore"].astype(str)
df["Segment"] = df["Segment"].replace(seg_map, regex=True)
df.head()
rfm = df.loc[:, "Recency":"Monetary"]
df.groupby("customer_id").agg({"Segment": "sum"}).head()

في هذا المثال ، نستخدم CQL لقراءة السجلات من جدول Keyspace. في بعض حالات استخدام ML ، قد تحتاج إلى قراءة نفس البيانات من نفس جدول Keyspaces عدة مرات. في هذه الحالة ، نوصي بحفظ بياناتك في حاوية Amazon S3 لتجنب تكبد المزيد كلفقراءة من Amazon Keyspaces. اعتمادًا على السيناريو الخاص بك ، يمكنك أيضًا استخدام أمازون EMR إلى ابتلاع ملف Amazon S3 كبير جدًا في SageMaker.

## Optional Code to save Python DataFrame to S3
from io import StringIO # python3 (or BytesIO for python2) smclient = boto3.Session().client('sagemaker')
sess = sagemaker.Session()
bucket = sess.default_bucket() # Set a default S3 bucket
print(bucket) csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, ‘out/saved_online_retail.csv').put(Body=csv_buffer.getvalue())

بعد ذلك ، نقوم بتدريب نموذج ML باستخدام خوارزمية KMeans ونتأكد من إنشاء المجموعات. في هذا السيناريو المحدد ، سترى أن المجموعات التي تم إنشاؤها مطبوعة ، مما يوضح أن العملاء في مجموعة البيانات الأولية قد تم تجميعهم معًا بناءً على سمات مختلفة في مجموعة البيانات. يمكن استخدام معلومات المجموعة هذه للحملات التسويقية المستهدفة.

# Training sc = MinMaxScaler((0, 1))
df = sc.fit_transform(rfm) # Clustering
kmeans = KMeans(n_clusters=6).fit(df) # Result
segment = kmeans.labels_ # Visualize the clusters
import matplotlib.pyplot as plt final_df = pd.DataFrame({"customer_id": rfm.index, "Segment": segment})
bucket_data = final_df.groupby("Segment").agg({"customer_id": "count"}).head()
index_data = final_df.groupby("Segment").agg({"Segment": "max"}).head()
index_data["Segment"] = index_data["Segment"].astype(int)
dataFrame = pd.DataFrame(data=bucket_data["customer_id"], index=index_data["Segment"])
dataFrame.rename(columns={"customer_id": "Total Customers"}).plot.bar( rot=70, title="RFM clustering"
)
# dataFrame.plot.bar(rot=70, title="RFM clustering");
plt.show(block=True);

(اختياري) بعد ذلك ، نحفظ شرائح العملاء التي تم تحديدها بواسطة نموذج ML مرة أخرى إلى جدول Amazon Keyspaces للتسويق المستهدف. يمكن لوظيفة مجمعة قراءة هذه البيانات وتشغيل حملات مستهدفة للعملاء في قطاعات محددة.

# Create ml_clustering_results table to store results createTable = """CREATE TABLE IF NOT EXISTS %s.ml_clustering_results ( run_id text, segment int, total_customers int, run_date date, PRIMARY KEY (run_id, segment)); """
cr = session.execute(createTable % keyspaces_schema)
time.sleep(20)
print("Table 'ml_clustering_results' created") insert_ml = ( "INSERT INTO " + keyspaces_schema + '.ml_clustering_results' + '("run_id","segment","total_customers","run_date") ' + 'VALUES (?,?,?,?); '
) prepared = session.prepare(insert_ml)
prepared.consistency_level = ConsistencyLevel.LOCAL_QUORUM run_id = "101"
dt = datetime.now() for ind in dataFrame.index: print(ind, dataFrame['customer_id'][ind]) r = session.execute( prepared, ( run_id, ind, dataFrame['customer_id'][ind], dt, ), )

أخيرا نحن تنظيف الموارد تم إنشاؤه أثناء هذا البرنامج التعليمي لتجنب تكبد رسوم إضافية.

# Delete blog keyspace and tables
deleteKeyspace = "DROP KEYSPACE IF EXISTS blog"
dr = session.execute(deleteKeyspace) time.sleep(5)
print("Dropping %s keyspace. It may take a few seconds to a minute to complete deletion keyspace and table." % keyspaces_schema )

قد يستغرق الأمر من بضع ثوانٍ إلى دقيقة لإكمال حذف مسافة المفاتيح والجداول. عندما تحذف مسافة مفتاح ، تُحذف مسافة المفاتيح وجميع جداولها وتتوقف عن تحصيل الرسوم منها.

وفي الختام

أوضح لك هذا المنشور كيفية استيعاب بيانات العملاء من Amazon Keyspaces إلى SageMaker وتدريب نموذج التجميع الذي سمح لك بتقسيم العملاء. يمكنك استخدام هذه المعلومات للتسويق المستهدف ، وبالتالي تحسين KPI عملك بشكل كبير. لمعرفة المزيد حول Amazon Keyspaces ، راجع الموارد التالية:

• تدريب نماذج التعلم الآلي باستخدام Amazon Keyspaces كمصدر للبيانات (دفتر ملاحظات SageMaker)
• اتصل بـ Amazon Keyspaces من سطح المكتب لديك باستخدام IntelliJ أو PyCharm أو DataGrip IDEs
• مرجع لغة CQL لـ Amazon Keyspaces (لـ Apache Cassandra)
• كيفية إعداد الوصول إلى سطر الأوامر إلى Amazon Keyspaces (لـ Apache Cassandra) باستخدام مجموعة أدوات المطور الجديدة Docker image
• إدارة الهوية والوصول إلى Amazon Keyspaces (لـ Apache Cassandra)
• الاتصال بـ Amazon Keyspaces من SageMaker باستخدام بيانات الاعتماد الخاصة بالخدمة
• الحداثة والتكرار والقيمة النقدية (RFM)
• مرجع رمز Kaggle

حول المؤلف

فاديم لياكوفيتش هو كبير مهندسي الحلول في AWS في منطقة خليج سان فرانسيسكو لمساعدة العملاء على الانتقال إلى AWS. يعمل مع منظمات تتراوح من الشركات الكبيرة إلى الشركات الصغيرة الناشئة لدعم ابتكاراتها. كما أنه يساعد العملاء على تصميم حلول قابلة للتطوير وآمنة وفعالة من حيث التكلفة على AWS.

بارث باتيل مهندس حلول في AWS في منطقة خليج سان فرانسيسكو. يوجه Parth العملاء لتسريع رحلتهم إلى السحابة ومساعدتهم على تبني سحابة AWS بنجاح. يركز على ML وتحديث التطبيقات.

رام باتانجي مهندس حلول في AWS في منطقة خليج سان فرانسيسكو. لقد ساعد العملاء في قطاعات الزراعة والتأمين والمصارف وتجارة التجزئة والرعاية الصحية وعلوم الحياة والضيافة والتكنولوجيا الفائقة لإدارة أعمالهم بنجاح على سحابة AWS. وهو متخصص في قواعد البيانات والتحليلات وتعلم الآلة.

• كوينسمارت. أفضل بورصة للبيتكوين والعملات المشفرة في أوروبا.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. دخول مجاني.
• كريبتوهوك. الرادار. تجربة مجانية.
• المصدر: https://aws.amazon.com/blogs/machine-learning/train-machine-learning-models-using-amazon-keyspaces-as-a-data-source/