اپنے AWS ماحول پر RStudio کو لاگو کریں اور AWS لیک فارمیشن کی اجازتوں کا استعمال کرتے ہوئے اپنے ڈیٹا لیک تک رسائی حاصل کریں۔

R ایک مقبول تجزیاتی پروگرامنگ زبان ہے جو ڈیٹا سائنسدانوں اور تجزیہ کاروں کے ذریعے ڈیٹا پروسیسنگ کرنے، شماریاتی تجزیہ کرنے، ڈیٹا ویژولائزیشن بنانے، اور مشین لرننگ (ML) ماڈل بنانے کے لیے استعمال ہوتی ہے۔ RStudio، R کے لیے مربوط ترقیاتی ماحول، ٹیموں کے لیے اوپن سورس ٹولز اور انٹرپرائز کے لیے تیار پیشہ ورانہ سافٹ ویئر فراہم کرتا ہے تاکہ وہ اپنے کام کو اپنی تنظیم میں تیار کر سکیں، RStudio کی تعمیر، حفاظت، اسکیلنگ اور اسے برقرار رکھنا، تاہم، مشکل اور بوجھل ہے۔

AWS میں RStudio ماحول کو نافذ کرنے سے وہ لچک اور اسکیل ایبلٹی ملتی ہے جو آپ کے پاس آن پریم کی تعیناتی کے وقت نہیں ہوتی ہے، جس سے اس انفراسٹرکچر کو سنبھالنے کی ضرورت ختم ہو جاتی ہے۔ آپ پروسیسنگ کی ضروریات کی بنیاد پر مطلوبہ کمپیوٹ اور میموری کا انتخاب کر سکتے ہیں اور بغیر کسی پیشگی سرمایہ کاری کے مختلف سائز کے تجزیاتی اور ML ورک بوجھ کے ساتھ کام کرنے کے لیے اوپر یا نیچے کی پیمائش بھی کر سکتے ہیں۔ یہ آپ کو ڈیٹا کے نئے ذرائع اور کوڈ کے ساتھ تیزی سے تجربہ کرنے دیتا ہے، اور نئے تجزیاتی عمل اور ML ماڈلز کو باقی تنظیموں تک پہنچا سکتا ہے۔ آپ بغیر کسی رکاوٹ کے اپنے ڈیٹا لیک کے وسائل کو ڈویلپرز اور ڈیٹا سائنسدانوں کے لیے دستیاب کرنے کے لیے مربوط کر سکتے ہیں اور قطار کی سطح اور کالم سطح تک رسائی کے کنٹرولز کا استعمال کر کے ڈیٹا کو محفوظ بنا سکتے ہیں۔ AWS جھیل کی تشکیل.

یہ پوسٹ ڈیٹا لیک میں محفوظ ڈیٹا تک رسائی کے لیے AWS پر RStudio کو آسانی سے تعینات کرنے اور چلانے کے دو طریقے پیش کرتی ہے:

• مکمل طور پر منظم ایمیزون سیج میکر
• پر خود میزبان ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون ای سی 2)
  • آپ EC2 ہوسٹڈ اپروچ کا استعمال کرتے ہوئے RStudio کے اوپن سورس ورژن کو تعینات کرنے کا انتخاب کر سکتے ہیں جسے ہم اس پوسٹ میں بھی بیان کریں گے۔ سیلف ہوسٹڈ آپشن کے لیے ایڈمنسٹریٹر کو EC2 مثال بنانے اور RStudio کو دستی طور پر انسٹال کرنے کی ضرورت ہوتی ہے۔ AWS کلاؤڈ فارمیشن اس اختیار میں صارف تک رسائی کے کنٹرول کو لاگو کرنے کے لیے بھی کم لچک ہے کیونکہ اس قسم کے نفاذ میں تمام صارفین کی رسائی کی سطح یکساں ہے۔

ایمیزون سیج میکر پر آر اسٹوڈیو

آپ SageMaker سے ایک سادہ کلک کے ساتھ RStudio Workbench لانچ کر سکتے ہیں۔ SageMaker کے ساتھ صارفین کو RStudio کی تعمیر، تنصیب، حفاظت، اسکیلنگ اور دیکھ بھال کے آپریشنل اوور ہیڈ کو برداشت کرنے کی ضرورت نہیں ہے، انہیں مسلسل چلنے والے RStudio سرور کے لیے ادائیگی کرنے کی ضرورت نہیں ہے (اگر وہ t3.medium استعمال کر رہے ہیں) اور وہ صرف ادائیگی کرتے ہیں۔ RSession کمپیوٹ کے لیے جب وہ اسے استعمال کرتے ہیں۔ RStudio کے صارفین کے پاس اڑتے ہوئے مثالوں کو تبدیل کرکے متحرک طور پر کمپیوٹ کی پیمائش کرنے میں لچک ہوگی۔ SageMaker پر RStudio چلانے کے لیے منتظم کی ضرورت ہوتی ہے کہ وہ SageMaker ڈومین اور متعلقہ صارف پروفائلز قائم کرے۔ آپ کو ایک مناسب RStudio لائسنس کی بھی ضرورت ہے۔

SageMaker کے اندر، آپ مختلف اجازتوں کے ساتھ RStudio ایڈمنسٹریٹر اور RStudio صارف کی سطح پر رسائی فراہم کر سکتے ہیں۔ ان دو کرداروں میں سے صرف ایک صارف پروفائلز ہی SageMaker میں RStudio تک رسائی حاصل کر سکتے ہیں۔ سیج میکر پر RStudio ترتیب دینے کے لیے ایڈمنسٹریٹر کے کاموں کے بارے میں مزید معلومات کے لیے، رجوع کریں۔ Amazon SageMaker پر RStudio کے ساتھ شروعات کریں۔. وہ پوسٹ ہر سیشن کے لیے EC2 مثالوں کو منتخب کرنے کا عمل بھی دکھاتی ہے، اور ایڈمنسٹریٹر RStudio صارفین کے لیے EC2 مثال کے اختیارات کو کیسے محدود کر سکتا ہے۔

لیک فارمیشن قطار کی سطح اور کالم کی سطح کی حفاظتی رسائی کا استعمال کریں۔

اپنی ٹیم کو SageMaker پر RStudio سیشنز شروع کرنے کی اجازت دینے کے علاوہ، آپ Lake Formation سے row-level اور column-level access controls کا استعمال کر کے ڈیٹا لیک کو بھی محفوظ کر سکتے ہیں۔ مزید معلومات کے لیے رجوع کریں۔ AWS لیک فارمیشن کا استعمال کرتے ہوئے مؤثر ڈیٹا لیکس، حصہ 4: سیل لیول اور قطار کی سطح کی سیکیورٹی کو نافذ کرنا.

لیک فارمیشن سیکیورٹی کنٹرولز کے ذریعے، آپ اس بات کو یقینی بنا سکتے ہیں کہ ہر شخص کو ڈیٹا لیک میں موجود ڈیٹا تک صحیح رسائی حاصل ہے۔ SageMaker ڈومین میں مندرجہ ذیل دو صارف پروفائلز پر غور کریں، ہر ایک کا عمل مختلف کردار کے ساتھ:

مندرجہ ذیل اسکرین شاٹ دکھاتا ہے۔ rstudiouser-limitedaccess پروفائل کی تفصیلات

تصویر 2: rstudiouser-limitedaccess کے کردار کی پروفائل کی تفصیلات

مندرجہ ذیل اسکرین شاٹ دکھاتا ہے۔ rstudiouser-fullaccess پروفائل کی تفصیلات

تصویر 3: rstudiouser-fullaccess کے کردار کی پروفائل کی تفصیلات

اس پوسٹ کے لیے استعمال ہونے والا ڈیٹاسیٹ a ہے۔ COVID-19 عوامی ڈیٹاسیٹ. درج ذیل اسکرین شاٹ ڈیٹا کی ایک مثال دکھاتا ہے:

تصویر 4: COVID-19 پبلک ڈیٹاسیٹ

صارف کا پروفائل بنانے اور اسے مناسب کردار کے لیے تفویض کرنے کے بعد، آپ ڈیٹا کو کرال کرنے کے لیے لیک فارمیشن تک رسائی حاصل کر سکتے ہیں۔ AWS گلومیٹا ڈیٹا اور ٹیبل بنائیں، اور ٹیبل ڈیٹا تک رسائی فراہم کریں۔ کے لئے AmazonSageMaker-ExecutionRole-FullAccess کردار، آپ ٹیبل کے تمام کالموں تک رسائی فراہم کرتے ہیں، اور اس کے لیے AmazonSageMaker-ExecutionRole-LimitedAccess، آپ ڈیٹا فلٹر کا استعمال کرتے ہوئے رسائی فراہم کرتے ہیں۔ USA_Filter. ہم اس فلٹر کو قطار کی سطح اور سیل سطح کے کالم کی اجازت فراہم کرنے کے لیے استعمال کرتے ہیں (دیکھیں ریسورس مندرجہ ذیل اسکرین شاٹ میں کالم)۔

تصویر 5: AmazonSageMaker-ExecutionRole-Full/Limited Access رولز کے لیے AWS Lake Formation Permissions

جیسا کہ درج ذیل اسکرین شاٹ میں دکھایا گیا ہے، دوسرے کردار تک محدود رسائی ہے۔ اس کردار سے وابستہ صارفین صرف اس تک رسائی حاصل کرسکتے ہیں۔ continent, date, total_cases, total_deaths, new_cases, new_deaths، اور iso_codecolumns.

تصویر 6: AmazonSageMaker-ExecutionRole-Limited Access رول کے لیے AWS Lake Formation کالم لیول کی اجازت

ہر صارف کے پروفائل کے ساتھ منسلک کردار کی اجازتوں کے ساتھ، ہم دیکھ سکتے ہیں کہ کس طرح لیک فارمیشن مناسب قطار کی سطح اور کالم کی سطح کی اجازتوں کو نافذ کرتی ہے۔ آپ RStudio Workbench کو سے کھول سکتے ہیں۔ ایپ لانچ کریں۔ تیار کردہ صارف کی فہرست میں ڈراپ ڈاؤن مینو، اور منتخب کریں۔ آر اسٹوڈیو.

مندرجہ ذیل اسکرین شاٹ میں، ہم ایپ کو بطور لانچ کرتے ہیں۔ rstudiouser-limitedaccess user.

تصویر 7: ایمیزون سیج میکر کنسول سے rstudiouser-limitedaccess صارف کے لیے RStudio سیشن کا آغاز

آپ RStudio Workbench ہوم پیج اور سیشنز، پروجیکٹس، اور شائع شدہ مواد کی فہرست دیکھ سکتے ہیں۔

تصویر 8: rstudiouser-limitedaccess صارف کے لیے R سٹوڈیو ورک بینچ سیشن

سیج میکر میں سیشن شروع کرنے کے لیے سیشن کا نام منتخب کریں۔ Paws انسٹال کریں (اس پوسٹ میں پہلے رہنمائی دیکھیں) تاکہ آپ مناسب AWS سروسز تک رسائی حاصل کر سکیں۔ اب آپ ڈیٹاسیٹ کے ذریعے تمام فیلڈز کو کھینچنے کے لیے ایک سوال چلا سکتے ہیں۔ ایمیزون ایتیناکمانڈ کا استعمال کرتے ہوئے “SELECT * FROM "databasename.tablename"، اور استفسار آؤٹ پٹ کو ایک میں اسٹور کریں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی۔

تصویر 9: آر اسٹوڈیو سیشن میں ایتھینا کے استفسار پر عمل درآمد

مندرجہ ذیل اسکرین شاٹ S3 بالٹی میں آؤٹ پٹ فائلوں کو دکھاتا ہے۔

تصویر 10: ایمیزون ایس 3 بالٹی میں ایتھینا سوال پر عمل درآمد کا نتیجہ

مندرجہ ذیل اسکرین شاٹ ان آؤٹ پٹ فائلوں کا استعمال کرتے ہوئے ڈیٹا کو دکھاتا ہے۔ ایمیزون S3 سلیکٹ.

تصویر 11: Amazon S3 سلیکٹ کا استعمال کرتے ہوئے آؤٹ پٹ ڈیٹا کا جائزہ لینا

صرف USA ڈیٹا اور کالم براعظم، تاریخ، total_cases, total_deaths, new_cases, new_deaths، اور iso_code کے نتائج میں دکھایا گیا ہے۔ rstudiouser-limitedaccess صارف.

آئیے کے لیے وہی اقدامات دہرائیں۔ rstudiouser-fullaccess صارف.

تصویر 12: ایمیزون سیج میکر کنسول سے rstudiouser-fullaccess صارف کے لیے RStudio سیشن کا آغاز

آپ RStudio Workbench ہوم پیج اور سیشنز، پروجیکٹس، اور شائع شدہ مواد کی فہرست دیکھ سکتے ہیں۔

تصویر 13: rstudiouser-fullaccess صارف کے لیے R سٹوڈیو ورک بینچ سیشن

آئیے ایک ہی سوال چلاتے ہیں۔ “SELECT * FROM "databasename.tablename" ایتھینا کا استعمال کرتے ہوئے.

تصویر 14: آر اسٹوڈیو سیشن میں ایتھینا کے استفسار پر عمل درآمد

مندرجہ ذیل اسکرین شاٹ S3 بالٹی میں آؤٹ پٹ فائلوں کو دکھاتا ہے۔

تصویر 15: ایمیزون ایس 3 بالٹی میں ایتھینا سوال پر عمل درآمد کا نتیجہ

مندرجہ ذیل اسکرین شاٹ ان آؤٹ پٹ فائلوں کا استعمال کرتے ہوئے ڈیٹا کو دکھاتا ہے۔ ایمیزون S3 سلیکٹ.

تصویر 16: Amazon S3 سلیکٹ کا استعمال کرتے ہوئے آؤٹ پٹ ڈیٹا کا جائزہ لینا

جیسا کہ اس مثال میں دکھایا گیا ہے۔ rstudiouser-fullaccess صارف کو ڈیٹاسیٹ میں موجود تمام کالموں اور قطاروں تک رسائی حاصل ہے۔

Amazon EC2 پر خود میزبان

اگر آپ AWS پر RStudio کے اوپن سورس ورژن کے ساتھ تجربہ کرنا شروع کرنا چاہتے ہیں، تو آپ EC2 مثال پر Rstudio انسٹال کر سکتے ہیں۔ اس پوسٹ میں فراہم کردہ یہ CloudFormation ٹیمپلیٹ EC2 مثال فراہم کرتا ہے اور صارف ڈیٹا اسکرپٹ کا استعمال کرتے ہوئے RStudio کو انسٹال کرتا ہے۔ آپ ضرورت کے مطابق متعدد RStudio مثالوں کی فراہمی کے لیے ٹیمپلیٹ کو متعدد بار چلا سکتے ہیں، اور آپ اسے کسی بھی AWS ریجن میں استعمال کر سکتے ہیں۔ CloudFormation ٹیمپلیٹ کو تعینات کرنے کے بعد، یہ آپ کو ویب براؤزر سے RStudio تک رسائی کے لیے URL فراہم کرتا ہے۔ Amazon EC2 آپ کو ڈیٹا کے سائز میں تبدیلیوں اور آپ کے تجزیات کو چلانے کے لیے ضروری کمپیوٹ صلاحیت کو سنبھالنے کے لیے اوپر یا نیچے کرنے کے قابل بناتا ہے۔

محفوظ رسائی کے لیے کلیدی قدر کا جوڑا بنائیں

AWS آپ کے EC2 مثال کے لیے لاگ ان معلومات کو محفوظ بنانے کے لیے عوامی کلید کی خفیہ نگاری کا استعمال کرتا ہے۔ آپ کلیدی جوڑی کا نام میں بتاتے ہیں۔ KeyPair پیرامیٹر جب آپ CloudFormation ٹیمپلیٹ لانچ کرتے ہیں۔ پھر اگر ضرورت ہو تو آپ بعد میں فراہم کردہ EC2 مثال میں لاگ ان کرنے کے لیے اسی کلید کا استعمال کر سکتے ہیں۔

CloudFormation ٹیمپلیٹ چلانے سے پہلے، یقینی بنائیں کہ آپ کے پاس AWS اکاؤنٹ میں Amazon EC2 کلیدی جوڑا ہے جسے آپ استعمال کرنے کا ارادہ کر رہے ہیں۔ اگر نہیں تو رجوع کریں۔ Amazon EC2 کا استعمال کرتے ہوئے ایک کلیدی جوڑا بنائیں ایک بنانے کے لیے ہدایات کے لیے۔

CloudFormation ٹیمپلیٹ لانچ کریں CloudFormation کنسول میں سائن ان کریں us-east-1 علاقہ اور لانچ اسٹیک کا انتخاب کریں۔

آپ کو CloudFormation ٹیمپلیٹ میں کئی پیرامیٹرز درج کرنے چاہئیں:

• InitialUser اور InitialPassword - صارف کا نام اور پاس ورڈ جسے آپ RStudio سیشن میں لاگ ان کرنے کے لیے استعمال کرتے ہیں۔ پہلے سے طے شدہ اقدار ہیں۔ rstudio اور Rstudio@123بالترتیب.
• مثال کی قسم - EC2 مثال کی قسم جس پر RStudio سرور کو تعینات کرنا ہے۔ ٹیمپلیٹ فی الحال t2، m4، c4، r4، g2، p2، ​​اور g3 مثال کے خاندانوں میں تمام مثالوں کو قبول کرتا ہے، اور دیگر مثال کے خاندانوں کو آسانی سے شامل کر سکتا ہے۔ پہلے سے طے شدہ قدر t2.micro ہے۔
• کلیدی جوڑا - کلیدی جوڑی جسے آپ EC2 مثال میں لاگ ان کرنے کے لیے استعمال کرتے ہیں۔
• VpcId اور SubnetId - دی ایمیزون ورچوئل پرائیویٹ کلاؤڈ (ایمیزون وی پی سی) اور سب نیٹ جس میں مثال شروع کرنا ہے۔

ان پیرامیٹرز کو داخل کرنے کے بعد، CloudFormation ٹیمپلیٹ کو متعین کریں۔ جب یہ مکمل ہو جائے تو درج ذیل وسائل دستیاب ہوں گے:

• اس پر نصب RStudio کے ساتھ ایک EC2 مثال۔
• دیگر AWS خدمات سے جڑنے کے لیے ضروری اجازتوں کے ساتھ ایک IAM کردار۔
• RStudio سرور کے لیے پورٹ 8787 کھولنے کے قواعد کے ساتھ ایک سیکورٹی گروپ۔

RStudio میں لاگ ان کریں۔

اب آپ RStudio استعمال کرنے کے لیے تیار ہیں! پر جائیں۔ نتائج CloudFormation اسٹیک کے لیے ٹیب اور RStudio URL کی قدر کاپی کریں (یہ فارمیٹ میں ہے http://ec2-XX-XX-XXX-XX.compute-1.amazonaws.com:8787/)۔ وہ URL ویب براؤزر میں درج کریں۔ یہ آپ کا RStudio سیشن کھولتا ہے، جس میں آپ وہی صارف نام اور پاس ورڈ استعمال کر کے لاگ ان کر سکتے ہیں جو آپ نے CloudFormation ٹیمپلیٹ چلاتے ہوئے فراہم کیا تھا۔

RStudio سے AWS سروسز تک رسائی حاصل کریں۔

RStudio سیشن تک رسائی کے بعد، آپ کو AWS (Paws) کے لیے R پیکیج انسٹال کرنا چاہیے۔ یہ آپ کو کئی AWS سروسز سے منسلک کرنے دیتا ہے، بشمول آپ کی ڈیٹا لیک میں موجود خدمات اور وسائل۔ Paws انسٹال کرنے کے لیے درج ذیل R کوڈ درج کریں اور چلائیں:

install.packages("paws")

AWS سروس استعمال کرنے کے لیے، ایک کلائنٹ بنائیں اور اس کلائنٹ سے سروس کے آپریشنز تک رسائی حاصل کریں۔ AWS APIs تک رسائی حاصل کرتے وقت، آپ کو اپنی اسناد اور علاقہ فراہم کرنا ہوگا۔ Paws AWS تصدیقی سلسلہ کا استعمال کرتے ہوئے اسناد اور علاقے کی تلاش کرتا ہے:

• واضح طور پر فراہم کردہ رسائی کلید، خفیہ کلید، سیشن ٹوکن، پروفائل، یا علاقہ
• R ماحولیاتی متغیرات
• آپریٹنگ سسٹم کے ماحول کے متغیرات
• AWS نے اسناد اور کنفیگریشن فائلیں شیئر کیں۔ .aws/credentials اور .aws/config
• کنٹینر IAM کردار
• مثال کے طور پر IAM کردار

چونکہ آپ ایک منسلک IAM رول کے ساتھ EC2 مثال پر چل رہے ہیں، Paws خود بخود آپ کے IAM رول کی اسناد کو AWS API کی درخواستوں کی تصدیق کرنے کے لیے استعمال کرتا ہے۔

# To interact with an Amazon S3 service, first create an S3 client then list the objects within your bucket by invoking: rstudio-XXXXXXXXXX
s3 <- paws::s3(config = list(region = 'us-east-1'))s3$list_objects(Bucket = "rstudio-XXXXXXXXXX")
# Let’s see how we can interactively query data from your data lake using Amazon Athena.
athena <- paws::athena(config = list(region = 'us-east-1'))
athena$start_query_execution(QueryString = "SELECT * FROM "databasename.tablename" limit 10;",QueryExecutionContext = list(Database = "databasename", Catalog = "catalogname"),ResultConfiguration = list(OutputLocation = "S3 Bucket",EncryptionConfiguration = list(EncryptionOption = "SSE_S3")), WorkGroup = "workgroup name")
$QueryExecutionId[1] 
"17ccec8a-d196-4b4c-b31c-314fab8939f3"

پیداواری ماحول کے لیے، ہم اس میں بیان کردہ توسیع پذیر Rstudio سلوشن استعمال کرنے کی تجویز کرتے ہیں۔ یہ بلاگ.

نتیجہ

آپ نے AWS میں اپنے RStudio ماحول کو تعینات کرنے کا طریقہ سیکھا۔ ہم نے Amazon SageMaker پر RStudio استعمال کرنے کے فوائد اور آپ کیسے شروع کر سکتے ہیں ظاہر کیا۔ آپ نے یہ بھی سیکھا کہ ایمیزون EC2 کا استعمال کرتے ہوئے خود میزبان تنصیب کا استعمال کرتے ہوئے RStudio کے اوپن سورس ورژن کے ساتھ کس طرح تیزی سے تجربہ کرنا شروع کیا جائے۔ ہم نے یہ بھی دکھایا کہ RStudio کو آپ کے ڈیٹا لیک آرکیٹیکچرز میں کیسے ضم کیا جائے اور Lake Formation کی قطار-سطح اور سیل-سطح کی حفاظتی خصوصیت کا استعمال کرتے ہوئے ڈیٹا لیک ٹیبل پر عمدہ رسائی کنٹرول کو لاگو کیا جائے۔

ہماری اگلی پوسٹ میں، ہم R اسکرپٹس کو کنٹینرائز کرنے اور ان کا استعمال کرتے ہوئے چلانے کا طریقہ دکھائیں گے۔ او ڈبلیو ایس لامبڈا۔.

مصنفین کے بارے میں

وینکٹا کمپنا AWS ہیلتھ اینڈ ہیومن سروسز ٹیم میں ایک سینئر سولیوشن آرکیٹیکٹ ہے اور سیکرامنٹو، CA میں مقیم ہے۔ اس کردار میں، وہ عوامی شعبے کے صارفین کو AWS پر اچھی طرح سے تعمیر شدہ حل کے ساتھ اپنے مشن کے مقاصد کو حاصل کرنے میں مدد کرتا ہے۔

ڈاکٹر ڈان ہیسی-گرو ایمیزون ویب سروسز کی ریاستی اور مقامی حکومتی ٹیم کے لیے صحت عامہ کے تجزیاتی رہنما ہیں۔ اس کردار میں، وہ ریاستی اور مقامی صحت عامہ کی ایجنسیوں کو ان کے تجزیاتی چیلنجوں اور طویل مدتی اہداف کو حاصل کرنے کے بارے میں تخلیقی طور پر سوچنے میں مدد کرنے کی ذمہ دار ہے۔ اس نے اپنا کیریئر صحت عامہ کی نگرانی اور تحقیق میں مدد کے لیے موجودہ یا نئے ڈیٹا کو استعمال کرنے کے نئے طریقے تلاش کرنے میں گزارا ہے۔