Amazon SageMaker Data Wrangler میں Amazon Athena ڈیٹا کے ذرائع کے لیے اپنی مرضی کے مطابق Amazon S3 استفسار کے آؤٹ پٹ لوکیشن اور ڈیٹا برقرار رکھنے کی پالیسی کو ترتیب دیں۔

ایمیزون سیج میکر ڈیٹا رینگلر مشین لرننگ (ML) کے لیے ڈیٹا کو جمع کرنے اور تیار کرنے میں جو وقت لگتا ہے اسے ہفتوں سے منٹوں میں کم کرتا ہے۔ ایمیزون سیج میکر اسٹوڈیوML کے لیے پہلا مکمل طور پر مربوط ترقیاتی ماحول (IDE)۔ ڈیٹا رینگلر کے ساتھ، آپ ڈیٹا کی تیاری اور فیچر انجینئرنگ کے عمل کو آسان بنا سکتے ہیں، اور ڈیٹا کی تیاری کے ورک فلو کے ہر مرحلے کو مکمل کر سکتے ہیں، بشمول ڈیٹا کا انتخاب، کلینزنگ، ایکسپلوریشن، اور ویژولائزیشن، ایک ہی بصری انٹرفیس سے۔ آپ متعدد ڈیٹا ذرائع سے ڈیٹا درآمد کر سکتے ہیں جیسے ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)، ایمیزون ریڈ شفٹ, میں Snowflake، اور 26 فیڈریٹڈ استفسار ڈیٹا ذرائع کی طرف سے حمایت ایمیزون ایتینا.

آج سے، ایتھینا ڈیٹا کے ذرائع سے ڈیٹا درآمد کرتے وقت، آپ ڈیٹا رینگلر میں ڈیٹا درآمد کرنے کے لیے S3 استفسار کے آؤٹ پٹ لوکیشن اور ڈیٹا کو برقرار رکھنے کی مدت کو ترتیب دے سکتے ہیں تاکہ یہ کنٹرول کیا جا سکے کہ ایتھینا درمیانی ڈیٹا کو کہاں اور کتنی دیر تک ذخیرہ کرتی ہے۔ اس پوسٹ میں، ہم آپ کو اس نئی خصوصیت کے بارے میں بتاتے ہیں۔

حل جائزہ

ایتھینا ایک انٹرایکٹو استفسار کی خدمت ہے جو براؤز کرنا آسان بناتی ہے۔ AWS گلو ڈیٹا کیٹلاگ، اور معیاری SQL کا استعمال کرتے ہوئے Amazon S3 اور 26 فیڈریٹڈ استفسار ڈیٹا کے ذرائع میں ڈیٹا کا تجزیہ کریں۔ جب آپ ڈیٹا کو درآمد کرنے کے لیے ایتھینا کا استعمال کرتے ہیں، تو آپ ایتھینا کے استفسار کے آؤٹ پٹ کے لیے ڈیٹا رینگلر کا ڈیفالٹ S3 مقام استعمال کر سکتے ہیں، یا اپنی مرضی کے S3 مقام کو نافذ کرنے کے لیے ایتھینا ورک گروپ کی وضاحت کر سکتے ہیں۔ پہلے، آپ کو اس درمیانی ڈیٹا کو ہٹانے کے لیے کلین اپ ورک فلوز کو لاگو کرنا پڑتا تھا، یا اسٹوریج کی لاگت کو کنٹرول کرنے اور اپنی تنظیم کے ڈیٹا سیکیورٹی کی ضروریات کو پورا کرنے کے لیے S3 لائف سائیکل کنفیگریشن کو دستی طور پر ترتیب دینا پڑتا تھا۔ یہ ایک بڑا آپریشنل اوور ہیڈ ہے، اور قابل توسیع نہیں ہے۔

ڈیٹا رینگلر اب آپ کے ایتھینا کے استفسار کے آؤٹ پٹ کے لیے حسب ضرورت S3 مقامات اور ڈیٹا برقرار رکھنے کی مدت کو سپورٹ کرتا ہے۔ اس نئی خصوصیت کے ساتھ، آپ ایتھینا کے استفسار کے آؤٹ پٹ لوکیشن کو اپنی مرضی کے مطابق S3 بالٹی میں تبدیل کر سکتے ہیں۔ اب آپ کے پاس ایتھینا کے استفسار کے آؤٹ پٹ کے لیے 5 دنوں کی ڈیفالٹ ڈیٹا برقرار رکھنے کی پالیسی ہے، اور آپ اپنی تنظیم کے ڈیٹا سیکیورٹی کے تقاضوں کو پورا کرنے کے لیے اسے تبدیل کر سکتے ہیں۔ برقرار رکھنے کی مدت کی بنیاد پر، S3 بالٹی میں ایتھینا استفسار کا آؤٹ پٹ خود بخود صاف ہو جاتا ہے۔ ڈیٹا درآمد کرنے کے بعد، آپ اس ڈیٹاسیٹ پر ڈیٹا کا تجزیہ کر سکتے ہیں اور صاف ڈیٹا کو واپس Amazon S3 میں محفوظ کر سکتے ہیں۔

مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔

ہمارے استعمال کے معاملے کے لیے، ہم حل کے ذریعے چلنے کے لیے ایک نمونہ بینک ڈیٹاسیٹ استعمال کرتے ہیں۔ ورک فلو مندرجہ ذیل مراحل پر مشتمل ہے:

1. ڈاؤن لوڈ، اتارنا نمونہ ڈیٹاسیٹ اور اسے S3 بالٹی میں اپ لوڈ کریں۔
2. AWS گلو سیٹ اپ کریں۔ کرالر اسکیما کو کرال کرنے اور میٹا ڈیٹا اسکیما کو AWS Glue Data Catalog میں اسٹور کرنے کے لیے۔
3. S3 بالٹی سے ڈیٹا کے استفسار کے لیے ڈیٹا کیٹلاگ تک رسائی کے لیے ایتھینا کا استعمال کریں۔
4. ایتھینا سے جڑنے کے لیے ایک نیا ڈیٹا رینگلر فلو بنائیں۔
5. کنکشن بناتے وقت، ڈیٹاسیٹ کے لیے ریٹینشن TTL سیٹ کریں۔
6. اس کنکشن کو ورک فلو میں استعمال کریں اور صاف ڈیٹا کو دوسری S3 بالٹی میں اسٹور کریں۔

سادگی کے لیے، ہم فرض کرتے ہیں کہ آپ نے پہلے ہی ایتھینا ماحول قائم کر لیا ہے (مرحلہ 1–3)۔ ہم اس پوسٹ میں بعد کے مراحل کی تفصیل دیتے ہیں۔

شرائط

ایتھینا ماحول کو ترتیب دینے کے لیے، کا حوالہ دیں۔ صارف گائیڈ قدم بہ قدم ہدایات کے لیے، اور پچھلے سیکشن میں بیان کیے گئے مراحل 1–3 کو مکمل کریں۔

اپنا ڈیٹا ایتھینا سے ڈیٹا رینگلر میں درآمد کریں۔

اپنا ڈیٹا درآمد کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:

1. اسٹوڈیو کنسول پر، منتخب کریں۔ وسائل نیویگیشن پین میں آئیکن۔
2. میں سے انتخاب کریں ڈیٹا رینگلر ڈراپ ڈاؤن مینو پر۔
3. میں سے انتخاب کریں نیا بہاؤ.
   
4. پر درآمد کریں ٹیب، منتخب کریں ایمیزون ایتینا.
   
   ایک تفصیلی صفحہ کھلتا ہے جہاں آپ ایتھینا سے جڑ سکتے ہیں اور ڈیٹا بیس سے درآمد کرنے کے لیے SQL استفسار لکھ سکتے ہیں۔
5. اپنے کنکشن کے لیے ایک نام درج کریں۔
   
6. توسیع اعلی درجے کی ترتیب.
   ایتھینا سے منسلک ہونے پر، ڈیٹا رینگلر پوچھے گئے ڈیٹا کو مرحلہ وار کرنے کے لیے Amazon S3 کا استعمال کرتا ہے۔ پہلے سے طے شدہ طور پر، یہ ڈیٹا S3 مقام پر مرتب کیا جاتا ہے۔ s3://sagemaker-{region}-{account_id}/athena/ 5 دن کی برقراری کی مدت کے ساتھ۔
7. کے لئے استفسار کے نتائج کا Amazon S3 مقام، اپنا S3 مقام درج کریں۔
8. منتخب کریں ڈیٹا برقرار رکھنے کی مدت اور ڈیٹا برقرار رکھنے کی مدت مقرر کریں (اس پوسٹ کے لیے، 1 دن)۔
   اگر آپ اس اختیار کو غیر منتخب کرتے ہیں، تو ڈیٹا غیر معینہ مدت تک برقرار رہے گا۔پردے کے پیچھے، ڈیٹا رینگلر S3 لائف سائیکل کنفیگریشن پالیسی کو اس S3 مقام سے منسلک کرتا ہے تاکہ خود بخود صاف ہو جائے۔ مندرجہ ذیل مثال کی پالیسی دیکھیں:

    "Rules": [
           {
               "Expiration": {
                   "Days": 1
               },
               "ID": "sm-data-wrangler-retention-policy-xxxxxxx",
               "Filter": {
                   "Prefix": "athena/test"
               },
               "Status": "Enabled"
           }
       ]

   آپ کو ضرورت ہے s3:GetLifecycleConfiguration اور s3:PutLifecycleConfiguration لائف سائیکل کنفیگریشن پالیسیوں کو درست طریقے سے لاگو کرنے کے لیے آپ کے سیج میکر کے عمل درآمد کے کردار کے لیے۔ ان اجازتوں کے بغیر، جب آپ ڈیٹا درآمد کرنے کی کوشش کرتے ہیں تو آپ کو غلطی کے پیغامات ملتے ہیں۔

   درج ذیل غلطی کا پیغام غائب ہونے کی ایک مثال ہے۔ GetLifecycleConfiguration اجازت
   

   درج ذیل غلطی کا پیغام غائب ہونے کی ایک مثال ہے۔ PutLifecycleConfiguration اجازت

   

9. اختیاری طور پر، کے لیے ورک گروپ، آپ ایتھینا ورک گروپ کی وضاحت کر سکتے ہیں۔
   An Athena workgroup isolates users, teams, applications, or workloads into groups, each with its own permissions and configuration settings. When you specify a workgroup, Data Wrangler inherits the workgroup setting defined in Athena. For example, if a workgroup has an S3 location defined to store query results and enables Override client side settings, you can’t edit the S3 query result location.ڈیفالٹ کے طور پر، ڈیٹا رینگلر آپ کے لیے ایتھینا کنکشن بھی محفوظ کرتا ہے۔ یہ میں ایک نئی ایتھینا ٹائل کے طور پر ظاہر ہوتا ہے۔ درآمد کریں ٹیب آپ ہمیشہ اس کنکشن کو استفسار کے لیے دوبارہ کھول سکتے ہیں اور ڈیٹا رینگلر میں مختلف ڈیٹا لا سکتے ہیں۔
   
10. غیر منتخب کریں کنکشن محفوظ کریں۔ اگر آپ کنکشن کو محفوظ نہیں کرنا چاہتے۔
    
11. ایتھینا کنکشن کنفیگر کرنے کے لیے، منتخب کریں۔ کوئی بھی نہیں لیے سیمپلنگ پورے ڈیٹاسیٹ کو درآمد کرنے کے لیے۔
    
    بڑے ڈیٹا سیٹس کے لیے، ڈیٹا رینگلر آپ کو اپنے ڈیٹا کا سب سیٹ درآمد کرنے کی اجازت دیتا ہے تاکہ آپ اپنے ٹرانسفارمیشن ورک فلو کو تیار کر سکیں، اور جب آپ تیار ہوں تب ہی پورے ڈیٹا سیٹ پر کارروائی کریں۔ یہ تکرار سائیکل کو تیز کرتا ہے اور پروسیسنگ کے وقت اور لاگت کو بچاتا ہے۔ دستیاب ڈیٹا کے نمونے لینے کے مختلف اختیارات کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں۔ ایمیزون سیج میکر ڈیٹا رینگلر اب بے ترتیب نمونے لینے اور سطحی نمونے لینے کی حمایت کرتا ہے۔.
12. کے لئے ڈیٹا کیٹلاگمنتخب کریں AwsDataCatalog.
13. کے لئے ڈیٹا بیس، اپنا ڈیٹا بیس منتخب کریں۔
    
    ڈیٹا رینگلر دستیاب میزیں دکھاتا ہے۔ آپ اسکیما کو چیک کرنے اور ڈیٹا کا پیش نظارہ کرنے کے لیے ہر ٹیبل کا انتخاب کر سکتے ہیں۔
    
14. استفسار کے میدان میں درج ذیل کوڈ درج کریں:

    Select *
    From bank_additional_full

15. میں سے انتخاب کریں رن ڈیٹا کا جائزہ لینے کے لیے۔
16. اگر سب کچھ اچھا لگ رہا ہے، تو منتخب کریں درآمد کریں.
17. ڈیٹا سیٹ کا نام درج کریں اور منتخب کریں۔ شامل کریں ڈیٹا کو اپنے ڈیٹا رینگلر ورک اسپیس میں درآمد کرنے کے لیے۔
    

ڈیٹا رینگلر کے ساتھ ڈیٹا کا تجزیہ اور کارروائی کریں۔

ڈیٹا رینگلر میں ڈیٹا لوڈ کرنے کے بعد، آپ ایکسپلوریٹری ڈیٹا اینالیسس (EDA) کر سکتے ہیں اور مشین لرننگ کے لیے ڈیٹا تیار کر سکتے ہیں۔

1. کے آگے جمع کا نشان منتخب کریں۔ bank-data ڈیٹا کے بہاؤ میں ڈیٹاسیٹ، اور منتخب کریں۔ تجزیہ شامل کریں۔.
   ڈیٹا رینگلر بلٹ ان تجزیے فراہم کرتا ہے، بشمول ڈیٹا کوالٹی اور بصیرت کی رپورٹ، ڈیٹا کوریلیشن، ایک پری ٹریننگ تعصب کی رپورٹ، آپ کے ڈیٹاسیٹ کا خلاصہ، اور تصورات (جیسے ہسٹوگرام اور سکیٹر پلاٹ)۔ مزید برآں، آپ اپنی مرضی کے مطابق ویژولائزیشن بنا سکتے ہیں۔
   
2. کے لئے تجزیہ کی قسممنتخب کریں ڈیٹا کوالٹی اور بصیرت کی رپورٹ.
   یہ خود بخود تصورات پیدا کرتا ہے، ڈیٹا کے معیار کے مسائل کی نشاندہی کرنے کے لیے تجزیہ کرتا ہے، اور آپ کے ڈیٹا سیٹ کے لیے درکار درست تبدیلیوں کے لیے سفارشات تیار کرتا ہے۔
3. کے لئے ٹارگٹ کالممنتخب کریں Y.
4. کیونکہ یہ درجہ بندی کے مسئلے کا بیان ہے، کے لیے مسئلہ کی قسممنتخب کی درجہ بندی.
5. میں سے انتخاب کریں تخلیق کریں.
   
   ڈیٹا رینگلر آپ کے ڈیٹا سیٹ پر ایک تفصیلی رپورٹ بناتا ہے۔ آپ رپورٹ کو اپنی مقامی مشین پر بھی ڈاؤن لوڈ کر سکتے ہیں۔
   
6. ڈیٹا کی تیاری کے لیے، ڈیٹا فلو میں بینک ڈیٹا ڈیٹاسیٹ کے آگے جمع کا نشان منتخب کریں، اور منتخب کریں۔ تبدیلی شامل کریں۔.
7. میں سے انتخاب کریں قدم شامل کریں۔ اپنی تبدیلیوں کی تعمیر شروع کرنے کے لیے۔
   

اس تحریر کے وقت، ڈیٹا رینگلر 300 سے زیادہ بلٹ ان تبدیلیاں فراہم کرتا ہے۔ آپ Pandas یا PySpark کا استعمال کرتے ہوئے اپنی تبدیلیاں بھی لکھ سکتے ہیں۔

اب آپ اپنی کاروباری ضروریات کی بنیاد پر اپنی تبدیلیوں اور تجزیوں کی تعمیر شروع کر سکتے ہیں۔

صاف کرو

جاری اخراجات سے بچنے کے لیے، ڈیٹا رینگلر وسائل کو حذف کر دیں جب آپ کام مکمل کر لیں تو نیچے دیے گئے اقدامات کا استعمال کرتے ہوئے

1. رننگ انسٹینسز اور کرنل آئیکن کو منتخب کریں۔
2. رننگ ایپس کے تحت، کے آگے شٹ ڈاؤن آئیکن پر کلک کریں۔ sagemaker-data-wrangler-1.0 app.
3. تصدیق کے لیے شٹ ڈاؤن سب کو منتخب کریں۔

نتیجہ

اس پوسٹ میں، ہم نے آپ کے S3 مقام کو حسب ضرورت بنانے اور ایتھینا سے ڈیٹا رینگلر میں ڈیٹا درآمد کرنے کے لیے S3 لائف سائیکل کنفیگریشنز کو فعال کرنے کا ایک جائزہ فراہم کیا ہے۔ اس خصوصیت کے ساتھ، آپ درمیانی ڈیٹا کو ایک محفوظ S3 مقام پر اسٹور کر سکتے ہیں، اور ڈیٹا تک غیر مجاز رسائی کے خطرے کو کم کرنے کے لیے ڈیٹا کاپی کو برقرار رکھنے کی مدت کے بعد خود بخود ہٹا سکتے ہیں۔ ہم آپ کو اس نئی خصوصیت کو آزمانے کی ترغیب دیتے ہیں۔ مبارک عمارت!

ایتھینا اور سیج میکر کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں۔ ایتینا یوزر گائیڈ۔ اور ایمیزون سیج میکر دستاویزات.

---

مصنفین کے بارے میں

 میناکشی سندرم تھنڈاورائن AWS کے ساتھ ایک سینئر AI/ML ماہر ہے۔ وہ ان کے AI اور ML سفر میں ہائی ٹیک اسٹریٹجک اکاؤنٹس کی مدد کرتا ہے۔ وہ ڈیٹا سے چلنے والی AI کے بارے میں بہت پرجوش ہے۔

ہریش راجگوپالن ایمیزون ویب سروسز میں ایک سینئر حل آرکیٹیکٹ ہے۔ ہریش انٹرپرائز صارفین کے ساتھ کام کرتا ہے اور ان کے کلاؤڈ سفر میں ان کی مدد کرتا ہے۔

جیمز وو AWS میں ایک سینئر AI/ML ماہر حل آرکیٹیکٹ ہے۔ AI/ML سلوشنز کو ڈیزائن اور بنانے میں صارفین کی مدد کرنا۔ جیمز کا کام ایم ایل کے استعمال کے کیسز کی ایک وسیع رینج پر محیط ہے، جس میں کمپیوٹر ویژن، گہری سیکھنے، اور پورے انٹرپرائز میں ایم ایل کی پیمائش میں بنیادی دلچسپی ہے۔ AWS میں شامل ہونے سے پہلے، جیمز 10 سال سے زائد عرصے تک ایک معمار، ڈویلپر، اور ٹیکنالوجی لیڈر تھے، جس میں 6 سال انجینئرنگ اور 4 سال مارکیٹنگ اور اشتہاری صنعتوں میں شامل تھے۔