Amazon SageMaker پر Amazon Redshift اور RStudio کو جوڑنا

گزشتہ سال، ہم نے عام دستیابی کا اعلان کیا ایمیزون سیج میکر پر آر اسٹوڈیو، کلاؤڈ میں صنعت کا پہلا مکمل طور پر منظم RStudio Workbench مربوط ترقیاتی ماحول (IDE)۔ آپ واقف RStudio IDE کو تیزی سے لانچ کر سکتے ہیں اور اپنے کام میں خلل ڈالے بغیر بنیادی کمپیوٹ وسائل کو اوپر اور نیچے ڈائل کر سکتے ہیں، جس سے R میں مشین لرننگ (ML) اور تجزیاتی حل تیار کرنا آسان ہو جاتا ہے۔

SageMaker کے بہت سے RStudio کے صارفین بھی استعمال کرتے ہیں۔ ایمیزون ریڈ شفٹ، ایک مکمل طور پر منظم، پیٹا بائٹ پیمانے پر، ڈیٹا اسٹوریج اور تجزیاتی کام کے بوجھ کے لیے بڑے پیمانے پر متوازی ڈیٹا گودام۔ یہ معیاری SQL اور آپ کے موجودہ کاروباری ذہانت (BI) ٹولز کا استعمال کرتے ہوئے آپ کے تمام ڈیٹا کا تجزیہ کرنے کو تیز، آسان اور لاگت سے موثر بناتا ہے۔ صارفین ODBC، JDBC، یا Amazon Redshift Data API کے ساتھ ڈیٹا کے ساتھ بھی تعامل کر سکتے ہیں۔

SageMaker اور Amazon Redshift پر RStudio کا استعمال کلاؤڈ میں بڑے ڈیٹا سیٹس پر مؤثر طریقے سے تجزیہ کرنے کے لیے مددگار ثابت ہو سکتا ہے۔ تاہم، کلاؤڈ میں ڈیٹا کے ساتھ کام کرنا چیلنجز پیش کر سکتا ہے، جیسے کہ تنظیمی ڈیٹا سائلوز کو ہٹانے، حفاظت اور تعمیل کو برقرار رکھنے، اور ٹولنگ کو معیاری بنا کر پیچیدگی کو کم کرنے کی ضرورت۔ AWS ان چیلنجوں سے نمٹنے میں مدد کے لیے SageMaker اور Amazon Redshift پر RStudio جیسے ٹولز پیش کرتا ہے۔

اس بلاگ پوسٹ میں، ہم آپ کو دکھائیں گے کہ مذکورہ بالا چیلنجوں سے نمٹنے کے دوران کلاؤڈ میں بڑے ڈیٹا سیٹس پر مؤثر طریقے سے تجزیہ کرنے کے لیے ان دونوں سروسز کو ایک ساتھ کیسے استعمال کیا جائے۔ یہ بلاگ Amazon SageMaker زبان پر Rstudio پر توجہ مرکوز کرتا ہے، جس میں کاروباری تجزیہ کار، ڈیٹا انجینئرز، ڈیٹا سائنسدان، اور تمام ڈویلپرز جو R Language اور Amazon Redshift کو ہدف کے سامعین کے طور پر استعمال کرتے ہیں۔

اگر آپ Amazon Redshift کے ساتھ روایتی SageMaker اسٹوڈیو کا تجربہ استعمال کرنا چاہتے ہیں، تو رجوع کریں۔ Amazon SageMaker Jupyter نوٹ بک سے تعامل کرنے کے لیے Amazon Redshift Data API کا استعمال.

حل جائزہ

آج کے بلاگ میں، ہم درج ذیل اقدامات پر عمل کریں گے:

1. مطلوبہ پیکجوں کے ساتھ نمونے کے ذخیرے کی کلوننگ۔
2. محفوظ ODBC کنکشن کے ساتھ Amazon Redshift سے جڑنا (ODBC RStudio کے لیے ترجیحی پروٹوکول ہے۔).
3. SageMaker پر RStudio کے ذریعے Amazon Redshift Serverless کے اندر ڈیٹا پر سوالات اور SageMaker API ایکشنز چلانا

اس عمل کو مندرجہ ذیل حل کے فن تعمیر میں دکھایا گیا ہے:

حل واک تھرو

شرائط

شروع کرنے سے پہلے، یقینی بنائیں کہ آپ کے پاس Amazon SageMaker اور Amazon Redshift Serverless پر RStudio قائم کرنے کے لیے تمام تقاضے ہیں، جیسے:

ہم مطلوبہ انفراسٹرکچر بنانے کے لیے CloudFormation اسٹیک استعمال کریں گے۔

نوٹ: اگر آپ کے پاس پہلے سے ہی RStudio ڈومین اور Amazon Redshift کلسٹر ہے تو آپ اس قدم کو چھوڑ سکتے ہیں

اس اسٹیک کو شروع کرنے سے درج ذیل وسائل پیدا ہوتے ہیں:

• 3 پرائیویٹ سب نیٹس
• 1 پبلک سب نیٹ
• 1 NAT گیٹ وے
• انٹرنیٹ گیٹ وے
• ایمیزون ریڈ شفٹ سرور لیس کلسٹر
• RStudio کے ساتھ SageMaker ڈومین
• سیج میکر آر اسٹوڈیو صارف پروفائل
• SageMaker RStudio ڈومین کے عمل کے لیے IAM سروس رول
• SageMaker RStudio صارف پروفائل پر عمل درآمد کے لیے IAM سروس رول

یہ ٹیمپلیٹ کسی خطے میں کام کرنے کے لیے ڈیزائن کیا گیا ہے (مثال کے طور پر۔ us-east-1, us-west-2) تین دستیابی زونز کے ساتھ، سیج میکر پر RStudio، اور Amazon Redshift Serverless۔ یقینی بنائیں کہ آپ کے علاقے کو ان وسائل تک رسائی حاصل ہے، یا اس کے مطابق ٹیمپلیٹس میں ترمیم کریں۔

دبائیں اسٹیک لانچ کریں۔ اسٹیک بنانے کے لیے بٹن۔

1. پر اسٹیک بنائیں صفحہ، منتخب کریں اگلے.
2. پر اسٹیک کی تفصیلات بتائیں صفحہ، اپنے اسٹیک کے لیے ایک نام فراہم کریں اور بقیہ اختیارات کو بطور ڈیفالٹ چھوڑ دیں، پھر منتخب کریں۔ اگلے.
3. پر اسٹیک کے اختیارات کو ترتیب دیں۔ صفحہ، آپشنز کو بطور ڈیفالٹ چھوڑ دیں اور دبائیں۔ اگلے.
4. پر جائزہ صفحہ، منتخب

• میں تسلیم کرتا ہوں کہ AWS CloudFormation حسب ضرورت ناموں کے ساتھ IAM وسائل تخلیق کر سکتی ہے۔
• میں تسلیم کرتا ہوں کہ AWS CloudFormation کو درج ذیل صلاحیت کی ضرورت ہو سکتی ہے: CAPABILITY_AUTO_EXPANDچیک باکسز اور منتخب کریں۔ جمع کرائیں.

ٹیمپلیٹ پانچ اسٹیک تیار کرے گا۔

ایک بار جب اسٹیک کی حیثیت ہے۔ CREATE_COMPLETE، ایمیزون ریڈ شفٹ سرور لیس کنسول پر جائیں۔ یہ ایک نئی صلاحیت ہے جو کسی بھی پیمانے پر اعلیٰ کارکردگی کے ساتھ کلاؤڈ میں اینالیٹکس چلانا انتہائی آسان بناتی ہے۔ بس اپنا ڈیٹا لوڈ کریں اور استفسار شروع کریں۔ کلسٹرز کو ترتیب دینے اور ان کا انتظام کرنے کی ضرورت نہیں ہے۔

نوٹ: Amazon SageMaker پر Amazon Redshift اور RStudio کو یکجا کرنے والے اس بلاگ میں دکھایا گیا پیٹرن Amazon Redshift تعیناتی پیٹرن (سرور لیس یا روایتی کلسٹر) سے قطع نظر ایک جیسا ہوگا۔

Amazon Redshift Serverless میں ڈیٹا لوڈ ہو رہا ہے۔

کلاؤڈ فارمیشن اسکرپٹ نے ایک ڈیٹا بیس بنایا جسے کہا جاتا ہے۔ sagemaker. آئیے اس ڈیٹا بیس کو RStudio صارف کے استفسار کے لیے جدولوں کے ساتھ آباد کریں۔ ایس کیو ایل ایڈیٹر ٹیب بنائیں اور یقینی بنائیں sagemaker ڈیٹا بیس کا انتخاب کیا گیا ہے۔ ہم استعمال کریں گے مصنوعی کریڈٹ کارڈ کے لین دین کا ڈیٹا ہمارے ڈیٹا بیس میں ٹیبل بنانے کے لیے۔ یہ ڈیٹا SageMaker نمونہ ٹیبلر ڈیٹاسیٹس کا حصہ ہے۔ s3://sagemaker-sample-files/datasets/tabular/synthetic_credit_card_transactions.

ہم استفسار ایڈیٹر میں درج ذیل استفسار پر عمل کرنے جا رہے ہیں۔ یہ تین میزیں پیدا کرے گا، کارڈز، لین دین، اور صارفین.

CREATE SCHEMA IF NOT EXISTS synthetic;
DROP TABLE IF EXISTS synthetic.transactions;

CREATE TABLE synthetic.transactions(
    user_id INT,
    card_id INT,
    year INT,
    month INT,
    day INT,
    time_stamp TIME,
    amount VARCHAR(100),
    use_chip VARCHAR(100),
    merchant_name VARCHAR(100),
    merchant_city VARCHAR(100),
    merchant_state VARCHAR(100),
    merchant_zip_code VARCHAR(100),
    merchant_category_code INT,
    is_error VARCHAR(100),
    is_fraud VARCHAR(100)
);

COPY synthetic.transactions
FROM 's3://sagemaker-sample-files/datasets/tabular/synthetic_credit_card_transactions/credit_card_transactions-ibm_v2.csv'
IAM_ROLE default
REGION 'us-east-1' 
IGNOREHEADER 1 
CSV;

DROP TABLE IF EXISTS synthetic.cards;

CREATE TABLE synthetic.cards(
    user_id INT,
    card_id INT,
    card_brand VARCHAR(100),
    card_type VARCHAR(100),
    card_number VARCHAR(100),
    expire_date VARCHAR(100),
    cvv INT,
    has_chip VARCHAR(100),
    number_cards_issued INT,
    credit_limit VARCHAR(100),
    account_open_date VARCHAR(100),
    year_pin_last_changed VARCHAR(100),
    is_card_on_dark_web VARCHAR(100)
);

COPY synthetic.cards
FROM 's3://sagemaker-sample-files/datasets/tabular/synthetic_credit_card_transactions/sd254_cards.csv'
IAM_ROLE default
REGION 'us-east-1' 
IGNOREHEADER 1 
CSV;

DROP TABLE IF EXISTS synthetic.users;

CREATE TABLE synthetic.users(
    name VARCHAR(100),
    current_age INT,
    retirement_age INT,
    birth_year INT,
    birth_month INT,
    gender VARCHAR(100),
    address VARCHAR(100),
    apartment VARCHAR(100),
    city VARCHAR(100),
    state VARCHAR(100),
    zip_code INT,
    lattitude VARCHAR(100),
    longitude VARCHAR(100),
    per_capita_income_zip_code VARCHAR(100),
    yearly_income VARCHAR(100),
    total_debt VARCHAR(100),
    fico_score INT,
    number_credit_cards INT
);

COPY synthetic.users
FROM 's3://sagemaker-sample-files/datasets/tabular/synthetic_credit_card_transactions/sd254_users.csv'
IAM_ROLE default
REGION 'us-east-1' 
IGNOREHEADER 1 
CSV;

آپ استفسار کے ایڈیٹر کے بائیں ہاتھ کے پین میں تین ٹیبلز دیکھ کر اس بات کی توثیق کر سکتے ہیں کہ استفسار کامیابی کے ساتھ چلا۔

ایک بار جب تمام میزیں آباد ہو جائیں، SageMaker RStudio پر جائیں اور ml.m5.xlarge مثال پر RSession بیس امیج کے ساتھ ایک نیا سیشن شروع کریں۔

سیشن شروع ہونے کے بعد، ہم اپنے Amazon Redshift Serverless ڈیٹا بیس سے کنکشن بنانے کے لیے اس کوڈ کو چلائیں گے۔

library(DBI)
library(reticulate)
boto3 <- import('boto3')
client <- boto3$client('redshift-serverless')
workgroup <- unlist(client$list_workgroups())
namespace <- unlist(client$get_namespace(namespaceName=workgroup$workgroups.namespaceName))
creds <- client$get_credentials(dbName=namespace$namespace.dbName,
                                durationSeconds=3600L,
                                workgroupName=workgroup$workgroups.workgroupName)
con <- dbConnect(odbc::odbc(),
                 Driver='redshift',
                 Server=workgroup$workgroups.endpoint.address,
                 Port='5439',
                 Database=namespace$namespace.dbName,
                 UID=creds$dbUser,
                 PWD=creds$dbPassword)

مصنوعی اسکیما میں میزیں دیکھنے کے لیے، آپ کو استفسار ایڈیٹر کے ذریعے Amazon Redshift میں رسائی فراہم کرنے کی ضرورت ہوگی۔

GRANT ALL ON SCHEMA synthetic to "IAMR:SageMakerUserExecutionRole";
GRANT ALL ON ALL TABLES IN SCHEMA synthetic to "IAMR:SageMakerUserExecutionRole";

آر اسٹوڈیو کنکشن پین کو دکھانا چاہئے۔ sagemaker اسکیما مصنوعی اور ٹیبل کارڈز، لین دین، صارفین کے ساتھ ڈیٹا بیس۔

آپ 1,000 ریکارڈز دیکھنے کے لیے ٹیبل کے آگے ٹیبل آئیکن پر کلک کر سکتے ہیں۔

نوٹ: ہم نے پہلے سے تعمیر شدہ R مارک ڈاؤن فائل بنائی ہے جس میں پہلے سے بنائے گئے تمام کوڈ بلاکس ہیں جو پراجیکٹ میں مل سکتے ہیں۔ GitHub repo.

اب آئیے استعمال کرتے ہیں۔ DBI پیکیج کی تقریب dbListTables() موجودہ میزیں دیکھنے کے لیے۔

dbListTables(con)

ڈیٹا بیس میں SQL استفسار کو منتقل کرنے کے لیے dbGetQuery() کا استعمال کریں۔

dbGetQuery(con, "select * from synthetic.users limit 100")
dbGetQuery(con, "select * from synthetic.cards limit 100")
dbGetQuery(con, "select * from synthetic.transactions limit 100")

ہم بھی استعمال کر سکتے ہیں dbplyr اور dplyr ڈیٹا بیس میں سوالات کو انجام دینے کے لیے پیکجز۔ چلو count() لین دین کی میز میں کتنے لین دین ہیں۔ لیکن پہلے، ہمیں ان پیکجوں کو انسٹال کرنے کی ضرورت ہے۔

install.packages(c("dplyr", "dbplyr", "crayon"))

استعمال کریں tbl() اسکیما کی وضاحت کرتے وقت فنکشن۔

library(dplyr)
library(dbplyr)

users_tbl <- tbl(con, in_schema("synthetic", "users"))
cards_tbl <- tbl(con, in_schema("synthetic", "cards"))
transactions_tbl <- tbl(con, in_schema("synthetic", "transactions"))

آئیے ہر ٹیبل کے لیے قطاروں کی تعداد کی گنتی چلائیں۔

count(users_tbl)
count(cards_tbl)
count(transactions_tbl)

تو ہمارے پاس 2,000 صارفین ہیں۔ 6,146 کارڈز؛ اور 24,386,900 ٹرانزیکشنز۔ ہم کنسول میں میزیں بھی دیکھ سکتے ہیں۔

transactions_tbl

ہم یہ بھی دیکھ سکتے ہیں۔ dplyr فعل ہڈ کے نیچے کر رہے ہیں.

show_query(transactions_tbl)

آئیے سال کے لحاظ سے لین دین کی تعداد کو بصری طور پر دریافت کریں۔

transactions_by_year %
  count(year) %>%
  arrange(year) %>%
  collect()

transactions_by_year
install.packages(c('ggplot2', 'vctrs'))
library(ggplot2)
ggplot(transactions_by_year) +
  geom_col(aes(year, as.integer(n))) +
  ylab('transactions') 

ہم ڈیٹا بیس میں ڈیٹا کا خلاصہ بھی اس طرح کر سکتے ہیں:

transactions_tbl %>%
  group_by(is_fraud) %>%
  count()
transactions_tbl %>%
  group_by(merchant_category_code, is_fraud) %>%
  count() %>% 
  arrange(merchant_category_code)

فرض کریں کہ ہم کارڈ کی معلومات کا استعمال کرتے ہوئے فراڈ دیکھنا چاہتے ہیں۔ ہمیں صرف ٹیبلز میں شامل ہونے کی ضرورت ہے اور پھر ان کو انتساب کے مطابق گروپ کرنا ہے۔

cards_tbl %>%
  left_join(transactions_tbl, by = c("user_id", "card_id")) %>%
  group_by(card_brand, card_type, is_fraud) %>%
  count() %>% 
  arrange(card_brand)

اب آئیے ایک ڈیٹاسیٹ تیار کرتے ہیں جسے مشین لرننگ کے لیے استعمال کیا جا سکتا ہے۔ آئیے صرف کالموں کا سب سیٹ رکھتے ہوئے صرف Discover کریڈٹ کارڈز کو شامل کرنے کے لیے ٹرانزیکشن ڈیٹا کو فلٹر کریں۔

discover_tbl %
  filter(card_brand == 'Discover', card_type == 'Credit') %>%
  left_join(transactions_tbl, by = c("user_id", "card_id")) %>%
  select(user_id, is_fraud, merchant_category_code, use_chip, year, month, day, time_stamp, amount)

اور اب آئیے درج ذیل تبدیلیوں کا استعمال کرتے ہوئے کچھ صفائی کرتے ہیں:

• کنورٹ is_fraud بائنری وصف کو
• سے لین دین کی تار کو ہٹا دیں۔ use_chip اور اس کا نام تبدیل کر کے ٹائپ کریں۔
• سال، مہینے اور دن کو ڈیٹا آبجیکٹ میں یکجا کریں۔
• رقم سے $ کو ہٹا دیں اور عددی ڈیٹا کی قسم میں تبدیل کریں۔

discover_tbl %
  mutate(is_fraud = ifelse(is_fraud == 'Yes', 1, 0),
         type = str_remove(use_chip, 'Transaction'),
         type = str_trim(type),
         type = tolower(type),
         date = paste(year, month, day, sep = '-'),
         date = as.Date(date),
         amount = str_remove(amount, '[$]'),
         amount = as.numeric(amount)) %>%
  select(-use_chip, -year, -month, -day)

اب جب کہ ہم نے اپنے ڈیٹا سیٹ کو فلٹر اور صاف کر لیا ہے، ہم اس ڈیٹاسیٹ کو مقامی RAM میں جمع کرنے کے لیے تیار ہیں۔

discover <- collect(discover_tbl)
summary(discover)

اب ہمارے پاس فیچرز اور فٹنگ ماڈل بنانا شروع کرنے کے لیے ایک ورکنگ ڈیٹا سیٹ ہے۔ ہم اس بلاگ میں ان مراحل کا احاطہ نہیں کریں گے، لیکن اگر آپ SageMaker پر RStudio میں ماڈلز بنانے کے بارے میں مزید جاننا چاہتے ہیں تو اس سے رجوع کریں۔ ڈیٹا سائنسدانوں کے لیے Amazon SageMaker پر مکمل طور پر منظم RStudio کا اعلان.

صفائی

بار بار آنے والے اخراجات سے بچنے کے لیے کسی بھی وسائل کو صاف کرنے کے لیے، روٹ CloudFormation ٹیمپلیٹ کو حذف کریں۔ نیز بنائے گئے تمام EFS ماونٹس اور S3 بالٹیاں اور بنائی گئی اشیاء کو بھی حذف کر دیں۔

نتیجہ

کلاؤڈ میں بڑے ڈیٹا سیٹس کے ساتھ کام کرتے وقت ڈیٹا کا تجزیہ اور ماڈلنگ مشکل ہو سکتی ہے۔ Amazon Redshift ایک مقبول ڈیٹا گودام ہے جو صارفین کو ان کاموں کو انجام دینے میں مدد کر سکتا ہے۔ RStudio، ڈیٹا کے تجزیہ کے لیے سب سے زیادہ استعمال ہونے والے مربوط ترقیاتی ماحول (IDEs) میں سے ایک، اکثر R زبان کے ساتھ استعمال ہوتا ہے۔ اس بلاگ پوسٹ میں، ہم نے دکھایا کہ ایمیزون ریڈ شفٹ اور آر ایس اسٹوڈیو کو SageMaker پر ایک ساتھ استعمال کرنے کا طریقہ بڑے پیمانے پر ڈیٹا سیٹس پر مؤثر طریقے سے تجزیہ کرنے کے لیے۔ SageMaker پر RStudio کا استعمال کرتے ہوئے، صارفین SageMaker کے مکمل طور پر منظم انفراسٹرکچر، رسائی کنٹرول، نیٹ ورکنگ، اور سیکورٹی کی صلاحیتوں سے فائدہ اٹھا سکتے ہیں، جبکہ Amazon Redshift کے ساتھ انضمام کو بھی آسان بنا سکتے ہیں۔ اگر آپ ان دونوں ٹولز کو ایک ساتھ استعمال کرنے کے بارے میں مزید جاننا چاہتے ہیں تو ہماری دیگر بلاگ پوسٹس اور وسائل کو دیکھیں۔ آپ اپنے لیے SageMaker اور Amazon Redshift پر RStudio استعمال کرنے کی کوشش کر سکتے ہیں اور دیکھیں کہ وہ آپ کے ڈیٹا کے تجزیہ اور ماڈلنگ کے کاموں میں آپ کی کس طرح مدد کر سکتے ہیں۔

براہ کرم اس بلاگ میں اپنی رائے شامل کریں، یا پر ایک پل کی درخواست بنائیں GitHub کے.

مصنفین کے بارے میں

ریان گارنر AWS پروفیشنل سروسز کے ساتھ ڈیٹا سائنٹسٹ ہے۔ وہ AWS صارفین کی ڈیٹا سائنس اور مشین لرننگ کے مسائل کو حل کرنے کے لیے R کا استعمال کرنے میں مدد کرنے کے لیے پرجوش ہے۔

راج پاٹھک فنانشل سروسز (انشورنس، بینکنگ، کیپٹل مارکیٹس) اور مشین لرننگ میں مہارت رکھنے والے ایک سینئر سولیوشن آرکیٹیکٹ اور ٹیکنولوجسٹ ہیں۔ وہ نیچرل لینگویج پروسیسنگ (NLP)، لارج لینگویج ماڈلز (LLM) اور مشین لرننگ انفراسٹرکچر اور آپریشنز پروجیکٹس (MLOps) میں مہارت رکھتا ہے۔

ادیتی رجنیش واٹر لو یونیورسٹی میں سافٹ ویئر انجینئرنگ کے دوسرے سال کا طالب علم ہے۔ اس کی دلچسپیوں میں کمپیوٹر ویژن، نیچرل لینگویج پروسیسنگ اور ایج کمپیوٹنگ شامل ہیں۔ وہ کمیونٹی پر مبنی STEM آؤٹ ریچ اور وکالت کے بارے میں بھی پرجوش ہے۔ اپنے فارغ وقت میں، وہ راک چڑھنے، پیانو بجاتے، یا کامل اسکون کو بیک کرنے کا طریقہ سیکھتی ہوئی پائی جاتی ہے۔

سائتیجا پوڑی ڈلاس، Tx میں مقیم AWS میں ایک سولیوشن آرکیٹیکٹ ہے۔ وہ AWS کے ساتھ اب 3 سال سے زیادہ عرصے سے ہے، جو صارفین کو ان کے قابل اعتماد مشیر بن کر AWS کی حقیقی صلاحیت حاصل کرنے میں مدد کرتا ہے۔ وہ ایپلیکیشن ڈویلپمنٹ کے پس منظر سے آتا ہے، جو ڈیٹا سائنس اور مشین لرننگ میں دلچسپی رکھتا ہے۔