אימון מודלים של למידת מכונה באמצעות Amazon Keyspaces כמקור נתונים

יישומים רבים המיועדים לתחזוקת ציוד תעשייתי, ניטור סחר, ניהול צי ואופטימיזציה של מסלולים בנויים באמצעות קוד פתוח Cassandra APIs ומנהלי התקנים לעיבוד נתונים במהירויות גבוהות והשהייה נמוכה. ניהול טבלאות קסנדרה בעצמך עשוי להיות גוזל זמן ויקר. אמזון מפתחות (עבור Apache Cassandra) מאפשר לך להגדיר, לאבטח ולהתאים טבלאות Cassandra בענן AWS מבלי לנהל תשתית נוספת.

בפוסט זה, נדריך אותך דרך שירותי AWS הקשורים לאימון מודלים של למידת מכונה (ML) באמצעות Amazon Keyspaces ברמה גבוהה, ונספק הוראות שלב אחר שלב להטמעת נתונים מ-Amazon Keyspaces לתוך אמזון SageMaker והכשרת מודל שיכול לשמש למקרה שימוש ספציפי לפילוח לקוחות.

ל-AWS יש מספר שירותים כדי לעזור לעסקים ליישם תהליכי ML בענן.

ל-AWS ML Stack יש שלוש שכבות. בשכבה האמצעית נמצא SageMaker, המספקת למפתחים, מדעני נתונים ומהנדסי ML את היכולת לבנות, לאמן ולפרוס מודלים של ML בקנה מידה. זה מסיר את המורכבות מכל שלב בזרימת העבודה של ML, כך שתוכל לפרוס בקלות רבה יותר את מקרי השימוש שלך ב-ML. זה כולל כל דבר מתחזוקה חזויה ועד ראייה ממוחשבת לחיזוי התנהגויות לקוחות. לקוחות משיגים שיפור של עד פי 10 בפרודוקטיביות של מדעני נתונים עם SageMaker.

Apache Cassandra היא בחירה פופולרית עבור מקרי שימוש כבדים בקריאה עם נתונים לא מובנים או מובנים למחצה. לדוגמה, עסק פופולרי למשלוח מזון מעריך את זמן האספקה, ולקוח קמעונאי יכול להתמיד בשימוש תכוף במידע על קטלוג מוצרים במסד הנתונים של Apache Cassandra. אמזון מפתחות הוא שירות מסד נתונים תואם Apache Cassandra ללא שרתים שניתן להרחבה, זמין מאוד ומנוהל. אינך צריך להקצות, לתקן או לנהל שרתים, ואין צורך להתקין, לתחזק או להפעיל תוכנה. טבלאות יכולות להגדיל ולהקטין באופן אוטומטי, ואתה משלם רק עבור המשאבים שבהם אתה משתמש. Amazon Keyspaces מאפשרת לך להפעיל את עומסי העבודה של Cassandra ב-AWS באמצעות אותם קוד יישום Cassandra וכלי מפתח שבהם אתה משתמש היום.

SageMaker מספקת חבילה של אלגוריתמים מובנים לעזור למדעני נתונים ולעוסקים ב-ML להתחיל בהדרכה ובפריסה של מודלים של ML במהירות. בפוסט זה, נראה לך כיצד לקוח קמעונאי יכול להשתמש בהיסטוריית רכישות של לקוחות במסד הנתונים של Keyspaces ולמקד לפלחי לקוחות שונים לקמפיינים שיווקיים.

אמצעי K הוא אלגוריתם למידה ללא פיקוח. הוא מנסה למצוא קבוצות דיסקרטיות בתוך נתונים, כאשר חברי קבוצה דומים זה לזה ככל האפשר ושונים ככל האפשר מחברי קבוצות אחרות. אתה מגדיר את התכונות שבהן אתה רוצה שהאלגוריתם ישתמש כדי לקבוע דמיון. SageMaker משתמש בגרסה שונה של אלגוריתם צבירת קבצים בקנה מידה אינטרנט. בהשוואה לגרסה המקורית של האלגוריתם, הגרסה שבה משתמש SageMaker מדויקת יותר. עם זאת, כמו האלגוריתם המקורי, הוא מתרחב למערכי נתונים מסיביים ומספק שיפורים בזמן האימון.

סקירת פתרונות

ההוראות מניחות שתשתמש ב- SageMaker Studio כדי להפעיל את הקוד. הקוד המשויך שותף ב- AWS לדוגמה GitHub. לפי ההוראות במעבדה, אתה יכול לעשות את הפעולות הבאות:

• התקן תלות נחוצה.
• התחבר ל-Amazon Keyspaces, צור טבלה והטמע נתונים לדוגמה.
• בנו מודל ML לסיווג באמצעות הנתונים ב-Amazon Keyspaces.
• חקור את תוצאות המודל.
• נקה משאבים חדשים שנוצרו.

לאחר השלמתו, תשלב את SageMaker עם Amazon Keyspaces כדי לאמן דגמי ML כפי שמוצג בתמונה הבאה.

עכשיו אתה יכול לעקוב אחר ה- הוראות שלב אחר שלב בפוסט זה כדי להטמיע נתונים גולמיים המאוחסנים באמזון Keyspaces באמצעות SageMaker והנתונים שנשלפו כך לעיבוד ML.

תנאים מוקדמים

ראשית, נווט אל SageMaker.

לאחר מכן, אם זו הפעם הראשונה שאתה משתמש ב- SageMaker, בחר למלונות.

לאחר מכן, בחר הגדר את SageMaker Domain.

לאחר מכן, צור פרופיל משתמש חדש עם שם - saemakeruser, ובחר צור תפקיד חדש ב תפקיד ביצוע ברירת מחדל סעיף משנה.

לאחר מכן, במסך שצץ, בחר כל אחד שירות אחסון פשוט של אמזון (Amazon S3) דלי, ובחר צור תפקיד.

תפקיד זה ישמש בשלבים הבאים כדי לאפשר ל-SageMaker לגשת ל- Keyspaces Table באמצעות אישורים זמניים מהתפקיד. זה מבטל את הצורך לשמור שם משתמש וסיסמה במחברת.

לאחר מכן, אחזר את התפקיד המשויך ל- saemakeruser שנוצרה בשלב הקודם מקטע הסיכום.

לאחר מכן, נווט אל קונסולת AWS ותסתכל למעלה AWS ניהול זהות וגישה (IAM). בתוך IAM, נווט אל תפקידים. בתוך תפקידים, חפש את תפקיד הביצוע שזוהה בשלב הקודם.

לאחר מכן, בחר את התפקיד שזוהה בשלב הקודם ובחר הוסף הרשאות. בתפריט הנפתח שמופיע, בחר צור מדיניות מוטבעת. SageMaker מאפשר לך לספק רמת גישה מפורטת המגבילה את הפעולות שמשתמש/אפליקציה יכולים לבצע בהתבסס על הדרישות העסקיות.

לאחר מכן, בחר בכרטיסייה JSON והעתק את המדיניות מקטע הערה של Github עמוד. מדיניות זו מאפשרת למחברת SageMaker להתחבר למרווחי מפתח ולאחזר נתונים לעיבוד נוסף.

לאחר מכן, בחר הוסף הרשאות שוב ומהתפריט הנפתח, ובחר צרף מדיניות.

חפש את מדיניות AmazonKeyspacesFullAccess, וסמן את תיבת הסימון שליד התוצאה המתאימה, ובחר צרף מדיניות.

ודא שסעיף מדיניות ההרשאות כולל AmazonS3FullAccess, AmazonSageMakerFullAccess, AmazonKeyspacesFullAccess, כמו גם המדיניות המוטבעת החדשה שנוספה.

לאחר מכן, נווט אל SageMaker Studio באמצעות קונסולת AWS ובחר את SageMaker Studio. כששם, בחר הפעל אפליקציה ובחר סטודיו.

הדרכת מחברת

הדרך המועדפת להתחבר ל-Keyspaces מ-SageMaker Notebook היא באמצעות תהליך AWS Signature גרסה 4 (SigV4) מבוסס אישורים זמניים לצורך אימות. בתרחיש זה, איננו צריכים ליצור או לאחסן אישורים של Keyspaces ויכולים להשתמש באישורים כדי לאמת עם הפלאגין SigV4. אישורי אבטחה זמניים מורכבים ממפתח גישה ומפתח גישה סודי. עם זאת, הם כוללים גם אסימון אבטחה המציין מתי יפוג האישורים. בפוסט זה, ניצור תפקיד IAM וניצור אישורי אבטחה זמניים.

ראשית, אנו מתקינים מנהל התקן (cassandra-sigv4). מנהל התקן זה מאפשר לך להוסיף מידע אימות לבקשות ה-API שלך באמצעות תהליך ה-AWS Signature Version 4 (SigV4). באמצעות התוסף, אתה יכול לספק למשתמשים ולאפליקציות אישורים לטווח קצר כדי לגשת ל-Amazon Keyspaces (עבור Apache Cassandra) באמצעות משתמשי IAM ותפקידים. לאחר מכן, תייבא אישור נדרש יחד עם תלות נוספת בחבילה. בסופו של דבר, אתה תאפשר למחברת לקבל את התפקיד לדבר עם Keyspaces.

# Install missing packages and import dependencies
# Installing Cassandra SigV4
%pip install cassandra-sigv4 # Get Security certificate
!curl https://certs.secureserver.net/repository/sf-class2-root.crt -O # Import
from sagemaker import get_execution_role
from cassandra.cluster import Cluster
from ssl import SSLContext, PROTOCOL_TLSv1_2, CERT_REQUIRED
from cassandra_sigv4.auth import SigV4AuthProvider
import boto3 import pandas as pd
from pandas import DataFrame import csv
from cassandra import ConsistencyLevel
from datetime import datetime
import time
from datetime import timedelta import pandas as pd
import datetime as dt
import seaborn as sns
import matplotlib.pyplot as plt
from sklearn.cluster import KMeans
from sklearn.preprocessing import MinMaxScaler # Getting credentials from the role
client = boto3.client("sts") # Get notebook Role
role = get_execution_role()
role_info = {"RoleArn": role, "RoleSessionName": "session1"}
print(role_info) credentials = client.assume_role(**role_info)

לאחר מכן, התחבר לאמזון Keyspaces וקרא נתוני מערכות מ-Keyspaces לתוך Pandas DataFrame כדי לאמת את החיבור.

# Connect to Cassandra Database from SageMaker Notebook # using temporary credentials from the Role.
session = boto3.session.Session() ###
### You can also pass specific credentials to the session
###
#session = boto3.session.Session(
# aws_access_key_id=credentials["Credentials"]["AccessKeyId"],
# aws_secret_access_key=credentials["Credentials"]["SecretAccessKey"],
# aws_session_token=credentials["Credentials"]["SessionToken"],
#) region_name = session.region_name # Set Context
ssl_context = SSLContext(PROTOCOL_TLSv1_2)
ssl_context.load_verify_locations("sf-class2-root.crt")
ssl_context.verify_mode = CERT_REQUIRED auth_provider = SigV4AuthProvider(session)
keyspaces_host = "cassandra." + region_name + ".amazonaws.com" cluster = Cluster([keyspaces_host], ssl_context=ssl_context, auth_provider=auth_provider, port=9142)
session = cluster.connect() # Read data from Keyspaces system table. # Keyspaces is serverless DB so you don't have to create Keyspaces DB ahead of time.
r = session.execute("select * from system_schema.keyspaces") # Read Keyspaces row into Panda DataFrame
df = DataFrame(r)
print(df)

לאחר מכן, הכינו את הנתונים לאימון על מערך הנתונים הגולמי. במחברת python המשויכת לפוסט זה, השתמש בערכת נתונים קמעונאית שהורדה ממנה כאן, ולעבד אותו. המטרה העסקית שלנו בהתחשב במערך הנתונים היא לאסוף את הלקוחות באמצעות קריאה מטרית ספציפית RFM. מודל ה-RFM מבוסס על שלושה גורמים כמותיים:

• לאחרונה: כמה לאחרונה לקוח ביצע רכישה.
• תדירות: באיזו תדירות לקוח מבצע רכישה.
• ערך כספי: כמה כסף מוציא לקוח על רכישות.

ניתוח RFM מדרג מספרית לקוח בכל אחת משלוש הקטגוריות הללו, בדרך כלל בסולם של 1 עד 5 (ככל שהמספר גבוה יותר, כך התוצאה טובה יותר). הלקוח "הטוב ביותר" יקבל ציון עליון בכל קטגוריה. נשתמש בפונקציית הדיסקרטיזציה מבוססת ה-Quantile (qcut). זה יעזור להבדיל בין ערכים לדליים שווים בגודלם המבוססים או על סמך כמות דגימה.

# Prepare Data
r = session.execute("select * from " + keyspaces_schema + ".online_retail") df = DataFrame(r)
df.head(100) df.count()
df["description"].nunique()
df["totalprice"] = df["quantity"] * df["price"]
df.groupby("invoice").agg({"totalprice": "sum"}).head() df.groupby("description").agg({"price": "max"}).sort_values("price", ascending=False).head()
df.sort_values("price", ascending=False).head()
df["country"].value_counts().head()
df.groupby("country").agg({"totalprice": "sum"}).sort_values("totalprice", ascending=False).head() returned = df[df["invoice"].str.contains("C", na=False)]
returned.sort_values("quantity", ascending=True).head() df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.dropna(inplace=True)
df.isnull().sum()
df.describe([0.05, 0.01, 0.25, 0.50, 0.75, 0.80, 0.90, 0.95, 0.99]).T
df.drop(df.loc[df["customer_id"] == ""].index, inplace=True) # Recency Metric
import datetime as dt today_date = dt.date(2011, 12, 9)
df["customer_id"] = df["customer_id"].astype(int) # create get the most recent invoice for each customer
temp_df = df.groupby("customer_id").agg({"invoice_date": "max"})
temp_df["invoice_date"] = temp_df["invoice_date"].astype(str)
temp_df["invoice_date"] = pd.to_datetime(temp_df["invoice_date"]).dt.date
temp_df["Recency"] = (today_date - temp_df["invoice_date"]).dt.days
recency_df = temp_df.drop(columns=["invoice_date"])
recency_df.head() # Frequency Metric
temp_df = df.groupby(["customer_id", "invoice"]).agg({"invoice": "count"})
freq_df = temp_df.groupby("customer_id").agg({"invoice": "count"})
freq_df.rename(columns={"invoice": "Frequency"}, inplace=True) # Monetary Metric
monetary_df = df.groupby("customer_id").agg({"totalprice": "sum"})
monetary_df.rename(columns={"totalprice": "Monetary"}, inplace=True)
rfm = pd.concat([recency_df, freq_df, monetary_df], axis=1) df = rfm
df["RecencyScore"] = pd.qcut(df["Recency"], 5, labels=[5, 4, 3, 2, 1])
df["FrequencyScore"] = pd.qcut(df["Frequency"].rank(method="first"), 5, labels=[1, 2, 3, 4, 5])
df["Monetary"] = df["Monetary"].astype(int)
df["MonetaryScore"] = pd.qcut(df["Monetary"], 5, labels=[1, 2, 3, 4, 5])
df["RFM_SCORE"] = ( df["RecencyScore"].astype(str) + df["FrequencyScore"].astype(str) + df["MonetaryScore"].astype(str)
)
seg_map = { r"[1-2][1-2]": "Hibernating", r"[1-2][3-4]": "At Risk", r"[1-2]5": "Can't Loose", r"3[1-2]": "About to Sleep", r"33": "Need Attention", r"[3-4][4-5]": "Loyal Customers", r"41": "Promising", r"51": "New Customers", r"[4-5][2-3]": "Potential Loyalists", r"5[4-5]": "Champions",
} df["Segment"] = df["RecencyScore"].astype(str) + rfm["FrequencyScore"].astype(str)
df["Segment"] = df["Segment"].replace(seg_map, regex=True)
df.head()
rfm = df.loc[:, "Recency":"Monetary"]
df.groupby("customer_id").agg({"Segment": "sum"}).head()

בדוגמה זו, אנו משתמשים ב-CQL כדי לקרוא רשומות מטבלת Keyspace. במקרים מסוימים של שימוש ב-ML, ייתכן שיהיה עליך לקרוא את אותם נתונים מאותה טבלת Keyspaces מספר פעמים. במקרה זה, אנו ממליצים לשמור את הנתונים שלך בדלי של אמזון S3 כדי להימנע מצריכה נוספת עלותקריאה מאמזון Keyspaces. בהתאם לתרחיש שלך, אתה יכול גם להשתמש אמזון EMR ל לבלוע קובץ Amazon S3 גדול מאוד לתוך SageMaker.

## Optional Code to save Python DataFrame to S3
from io import StringIO # python3 (or BytesIO for python2) smclient = boto3.Session().client('sagemaker')
sess = sagemaker.Session()
bucket = sess.default_bucket() # Set a default S3 bucket
print(bucket) csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(bucket, ‘out/saved_online_retail.csv').put(Body=csv_buffer.getvalue())

לאחר מכן, אנו מאמנים מודל ML באמצעות אלגוריתם KMeans ומוודאים שהאשכולות נוצרו. בתרחיש הספציפי הזה, תראה שהאשכולות שנוצרו מודפסים, מה שמראה שהלקוחות במערך הנתונים הגולמי קובצו יחד על סמך תכונות שונות במערך הנתונים. ניתן להשתמש במידע על אשכול זה לקמפיינים שיווקיים ממוקדים.

# Training sc = MinMaxScaler((0, 1))
df = sc.fit_transform(rfm) # Clustering
kmeans = KMeans(n_clusters=6).fit(df) # Result
segment = kmeans.labels_ # Visualize the clusters
import matplotlib.pyplot as plt final_df = pd.DataFrame({"customer_id": rfm.index, "Segment": segment})
bucket_data = final_df.groupby("Segment").agg({"customer_id": "count"}).head()
index_data = final_df.groupby("Segment").agg({"Segment": "max"}).head()
index_data["Segment"] = index_data["Segment"].astype(int)
dataFrame = pd.DataFrame(data=bucket_data["customer_id"], index=index_data["Segment"])
dataFrame.rename(columns={"customer_id": "Total Customers"}).plot.bar( rot=70, title="RFM clustering"
)
# dataFrame.plot.bar(rot=70, title="RFM clustering");
plt.show(block=True);

(אופציונלי) לאחר מכן, אנו שומרים את מקטעי הלקוחות שזוהו על ידי מודל ה-ML בחזרה לטבלה של Amazon Keyspaces לשיווק ממוקד. עבודת אצווה יכולה לקרוא את הנתונים האלה ולהריץ מסעות פרסום ממוקדים ללקוחות בפלחים ספציפיים.

# Create ml_clustering_results table to store results createTable = """CREATE TABLE IF NOT EXISTS %s.ml_clustering_results ( run_id text, segment int, total_customers int, run_date date, PRIMARY KEY (run_id, segment)); """
cr = session.execute(createTable % keyspaces_schema)
time.sleep(20)
print("Table 'ml_clustering_results' created") insert_ml = ( "INSERT INTO " + keyspaces_schema + '.ml_clustering_results' + '("run_id","segment","total_customers","run_date") ' + 'VALUES (?,?,?,?); '
) prepared = session.prepare(insert_ml)
prepared.consistency_level = ConsistencyLevel.LOCAL_QUORUM run_id = "101"
dt = datetime.now() for ind in dataFrame.index: print(ind, dataFrame['customer_id'][ind]) r = session.execute( prepared, ( run_id, ind, dataFrame['customer_id'][ind], dt, ), )

לבסוף, אנחנו לנקות את המשאבים נוצר במהלך הדרכה זו כדי למנוע חיוב נוסף.

# Delete blog keyspace and tables
deleteKeyspace = "DROP KEYSPACE IF EXISTS blog"
dr = session.execute(deleteKeyspace) time.sleep(5)
print("Dropping %s keyspace. It may take a few seconds to a minute to complete deletion keyspace and table." % keyspaces_schema )

ייתכן שיחלפו מספר שניות עד דקה כדי להשלים את המחיקה של מרחב המקשים והטבלאות. כאשר אתה מוחק מרחב מקשים, מרחב המקשים וכל הטבלאות שלו נמחקים ואתה מפסיק לצבור חיובים מהם.

סיכום

פוסט זה הראה לך כיצד להטמיע נתוני לקוחות מאמזון Keyspaces לתוך SageMaker ולהכשיר מודל אשכולות שאפשר לך לפלח לקוחות. אתה יכול להשתמש במידע זה לשיווק ממוקד, ובכך לשפר מאוד את ה-KPI העסקי שלך. למידע נוסף על Amazon Keyspaces, עיין במשאבים הבאים:

• אימון מודלים של למידת מכונה באמצעות רווחי מפתחות של אמזון כמקור נתונים (מחברת SageMaker)
• התחבר ל-Amazon Keyspaces משולחן העבודה שלך באמצעות IntelliJ, PyCharm או DataGrip IDEs
• עזר לשפת CQL עבור רווחי מפתחות של אמזון (עבור Apache Cassandra)
• כיצד להגדיר גישת שורת פקודה ל-Amazon Keyspaces (עבור Apache Cassandra) באמצעות ערכת הכלים החדשה למפתחים Docker image
• ניהול זהות וגישה עבור מרחבי מפתחות של אמזון (עבור Apache Cassandra)
• מתחבר לאמזון Keyspaces מ- SageMaker עם אישורים ספציפיים לשירות
• עדכניות, תדירות, ערך כספי (RFM)
• הפניה לקוד Kaggle

על הכותבים

ואדים ליאכוביץ' הוא אדריכל פתרונות בכיר ב-AWS באזור מפרץ סן פרנסיסקו ועוזר ללקוחות לעבור ל-AWS. הוא עובד עם ארגונים החל מארגונים גדולים ועד סטארטאפים קטנים כדי לתמוך בחידושים שלהם. הוא גם עוזר ללקוחות לבנות פתרונות מדרגיים, מאובטחים וחסכוניים ב-AWS.

פרת 'פאטל הוא אדריכל פתרונות ב-AWS באזור מפרץ סן פרנסיסקו. Parth מנחה לקוחות להאיץ את המסע שלהם לענן ולעזור להם לאמץ את הענן של AWS בהצלחה. הוא מתמקד ב-ML ומודרניזציה של יישומים.

רם פאתנגי הוא אדריכל פתרונות ב-AWS באזור מפרץ סן פרנסיסקו. הוא עזר ללקוחות בענפי החקלאות, הביטוח, הבנקאות, הקמעונאות, הבריאות ומדעי החיים, האירוח וההיי-טק לנהל את העסק שלהם בהצלחה בענן AWS. הוא מתמחה בבסיסי נתונים, אנליטיקס ו-ML.

• Coinsmart. בורסת הביטקוין והקריפטו הטובה באירופה.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה חופשית.
• CryptoHawk. רדאר אלטקוין. ניסיון חינם.
• מקור: https://aws.amazon.com/blogs/machine-learning/train-machine-learning-models-using-amazon-keyspaces-as-a-data-source/