এই পোস্টে, আমরা দেখাই কিভাবে ব্যবহার করার জন্য একটি নতুন OAuth-ভিত্তিক প্রমাণীকরণ বৈশিষ্ট্য কনফিগার করতে হয় তুষারকণা in অ্যামাজন সেজমেকার ডেটা র্যাংলার. স্নোফ্লেক হল একটি ক্লাউড ডেটা প্ল্যাটফর্ম যা ডেটা সায়েন্সে ডেটা গুদামজাতকরণের জন্য ডেটা সমাধান সরবরাহ করে। তুষারকণা একটি AWS অংশীদার মেশিন লার্নিং (ML), খুচরা, এবং ডেটা এবং বিশ্লেষণে AWS দক্ষতা সহ একাধিক AWS স্বীকৃতি সহ।
ডেটা র্যাংলার ডেটা প্রস্তুতি এবং ফিচার ইঞ্জিনিয়ারিং প্রক্রিয়াকে সহজ করে, ডেটা বিজ্ঞানীদের জন্য ডেটা নির্বাচন এবং পরিষ্কার করতে, বৈশিষ্ট্য তৈরি করতে এবং ML ওয়ার্কফ্লোতে কোনও কোড না লিখে স্বয়ংক্রিয়ভাবে ডেটা প্রস্তুতির জন্য ডেটা বিজ্ঞানীদের জন্য একটি একক ভিজ্যুয়াল ইন্টারফেস প্রদান করে কয়েক সপ্তাহ থেকে মিনিটে যে সময় লাগে তা হ্রাস করে৷ আপনি একাধিক ডেটা উত্স থেকে ডেটা আমদানি করতে পারেন, যেমন আমাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3), অ্যামাজন অ্যাথেনা, আমাজন রেডশিফ্ট, আমাজন ইএমআর, এবং স্নোফ্লেক। এই নতুন বৈশিষ্ট্যের সাহায্যে, আপনি আপনার নিজস্ব পরিচয় প্রদানকারী (আইডিপি) যেমন ব্যবহার করতে পারেন Okta, অজোর এডি, বা পিং ফেডারেট ডেটা র্যাংলারের মাধ্যমে স্নোফ্লেকের সাথে সংযোগ করতে।
সমাধান ওভারভিউ
নিম্নলিখিত বিভাগে, আমরা আইডিপি, স্নোফ্লেক এবং স্টুডিও সেট আপ করার জন্য একজন প্রশাসকের জন্য পদক্ষেপগুলি প্রদান করি। ডেটা প্রবাহ কনফিগার করতে, ডেটার গুণমান বিশ্লেষণ করতে এবং ডেটা ট্রান্সফরমেশন যোগ করতে ডেটা বিজ্ঞানীরা যে পদক্ষেপগুলি নিতে পারেন আমরা তার বিস্তারিতও জানাই৷ অবশেষে, আমরা দেখাই কিভাবে ডেটা প্রবাহ রপ্তানি করা যায় এবং একটি মডেল ব্যবহার করে প্রশিক্ষণ দেওয়া যায় সেজমেকার অটোপাইলট.
পূর্বশর্ত
এই ওয়াকথ্রুটির জন্য, আপনার নিম্নলিখিত পূর্বশর্তগুলি থাকা উচিত:
- অ্যাডমিনের জন্য:
- স্নোফ্লেকে স্টোরেজ ইন্টিগ্রেশন এবং নিরাপত্তা ইন্টিগ্রেশন তৈরি করার অনুমতি সহ একজন স্নোফ্লেক ব্যবহারকারী।
- তৈরি করার অনুমতি সহ একটি AWS অ্যাকাউন্ট এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) নীতি এবং ভূমিকা।
- ডেটা র্যাংলার অ্যাপ্লিকেশন নিবন্ধন করতে এবং অনুমোদন সার্ভার বা API সেট আপ করতে IDP কনফিগার করার অ্যাক্সেস এবং অনুমতি।
- ডেটা সায়েন্টিস্টের জন্য:
প্রশাসক সেটআপ
আপনার ব্যবহারকারীদের ডাটা র্যাংলারে সরাসরি তাদের স্নোফ্লেক শংসাপত্র প্রবেশ করানোর পরিবর্তে, আপনি তাদের স্নোফ্লেক অ্যাক্সেস করতে একটি আইডিপি ব্যবহার করতে পারেন।
Snowflake-এ Data Wrangler OAuth অ্যাক্সেস সক্ষম করতে নিম্নলিখিত পদক্ষেপগুলি জড়িত:
- আইডিপি কনফিগার করুন।
- স্নোফ্লেক কনফিগার করুন।
- সেজমেকার স্টুডিও কনফিগার করুন।
আইডিপি কনফিগার করুন
আপনার আইডিপি সেট আপ করতে, আপনাকে অবশ্যই ডেটা র্যাংলার অ্যাপ্লিকেশন নিবন্ধন করতে হবে এবং আপনার অনুমোদন সার্ভার বা API সেট আপ করতে হবে।
আইডিপি-র মধ্যে ডেটা র্যাংলার অ্যাপ্লিকেশন নিবন্ধন করুন
ডেটা র্যাংলার সমর্থন করে এমন আইডিপিগুলির জন্য নিম্নলিখিত ডকুমেন্টেশনগুলি পড়ুন:
আপনার ডেটা র্যাংলার অ্যাপ্লিকেশন নিবন্ধন করতে আপনার আইডিপি দ্বারা প্রদত্ত ডকুমেন্টেশন ব্যবহার করুন। এই বিভাগের তথ্য এবং পদ্ধতিগুলি আপনাকে বুঝতে সাহায্য করে কিভাবে আপনার আইডিপি দ্বারা প্রদত্ত ডকুমেন্টেশন সঠিকভাবে ব্যবহার করতে হয়।
সংশ্লিষ্ট গাইডের ধাপগুলি ছাড়াও নির্দিষ্ট কাস্টমাইজেশনগুলিকে উপধারায় বলা হয়েছে।
- একটি অ্যাপ্লিকেশন হিসাবে ডেটা র্যাংলার নিবন্ধনের প্রক্রিয়া শুরু করে এমন কনফিগারেশন নির্বাচন করুন।
- ডেটা র্যাংলারে আইডিপি অ্যাক্সেসের মধ্যে ব্যবহারকারীদের প্রদান করুন।
- একটি সিক্রেটস ম্যানেজার সিক্রেট হিসাবে ক্লায়েন্ট শংসাপত্রগুলি সংরক্ষণ করে OAuth ক্লায়েন্ট প্রমাণীকরণ সক্ষম করুন৷
- নিম্নলিখিত বিন্যাস ব্যবহার করে একটি পুনঃনির্দেশ URL নির্দিষ্ট করুন:
https://domain-ID.studio.AWS Region.sagemaker.aws/jupyter/default/lab
.
আপনি SageMaker ডোমেন আইডি এবং AWS অঞ্চল নির্দিষ্ট করছেন যা আপনি ডেটা র্যাংলার চালানোর জন্য ব্যবহার করছেন। আপনি যেখানে ডেটা র্যাংলার চালাচ্ছেন সেই প্রতিটি ডোমেন এবং অঞ্চলের জন্য আপনাকে অবশ্যই একটি URL নিবন্ধন করতে হবে৷ একটি ডোমেন এবং অঞ্চলের ব্যবহারকারী যাদের জন্য রিডাইরেক্ট ইউআরএল সেট আপ করা নেই তারা স্নোফ্লেক সংযোগ অ্যাক্সেস করতে আইডিপি দিয়ে প্রমাণীকরণ করতে পারবে না।
- নিশ্চিত করুন যে অনুমোদন কোড এবং রিফ্রেশ টোকেন অনুদানের প্রকারগুলি আপনার ডেটা র্যাংলার অ্যাপ্লিকেশনের জন্য অনুমোদিত৷
IdP-এর মধ্যে অনুমোদন সার্ভার বা API সেট আপ করুন
আপনার আইডিপির মধ্যে, আপনাকে অবশ্যই একটি অনুমোদন সার্ভার বা একটি অ্যাপ্লিকেশন প্রোগ্রামিং ইন্টারফেস (API) সেট আপ করতে হবে৷ প্রতিটি ব্যবহারকারীর জন্য, অনুমোদন সার্ভার বা API দর্শক হিসাবে স্নোফ্লেক সহ ডেটা র্যাংলারকে টোকেন পাঠায়।
স্নোফ্লেক এর ধারণা ব্যবহার করে ভূমিকা যেগুলি AWS-এ ব্যবহৃত IAM ভূমিকা থেকে আলাদা৷ স্নোফ্লেক অ্যাকাউন্টের সাথে যুক্ত ডিফল্ট ভূমিকা ব্যবহার করার জন্য যেকোনও ভূমিকা ব্যবহার করতে আপনাকে অবশ্যই আইডিপি কনফিগার করতে হবে। উদাহরণস্বরূপ, যদি একজন ব্যবহারকারী থাকে systems administrator
তাদের স্নোফ্লেক প্রোফাইলে ডিফল্ট ভূমিকা হিসাবে, ডেটা র্যাংলার থেকে স্নোফ্লেকের সংযোগ ব্যবহার করে systems administrator
ভূমিকা হিসাবে।
আপনার আইডিপির মধ্যে অনুমোদন সার্ভার বা API সেট আপ করতে নিম্নলিখিত পদ্ধতি ব্যবহার করুন:
- আপনার আইডিপি থেকে, সার্ভার বা API সেট আপ করার প্রক্রিয়া শুরু করুন।
- অনুমোদন কোড ব্যবহার করতে অনুমোদন সার্ভার কনফিগার করুন এবং টোকেন অনুদান প্রকারগুলি রিফ্রেশ করুন৷
- অ্যাক্সেস টোকেনের জীবনকাল নির্দিষ্ট করুন।
- রিফ্রেশ টোকেন নিষ্ক্রিয় সময়সীমা সেট করুন।
নিষ্ক্রিয় টাইমআউট হল রিফ্রেশ টোকেন ব্যবহার না করা হলে মেয়াদ শেষ হয়ে যায়। আপনি যদি ডেটা র্যাংলারে কাজের সময়সূচী করে থাকেন, আমরা প্রস্তাব করি যে নিষ্ক্রিয় সময় শেষ হওয়ার সময়টিকে প্রক্রিয়াকরণ কাজের ফ্রিকোয়েন্সির চেয়ে বেশি করা। অন্যথায়, কিছু প্রক্রিয়াকরণ কাজ ব্যর্থ হতে পারে কারণ রিফ্রেশ টোকেন চালানোর আগেই মেয়াদ শেষ হয়ে গেছে। রিফ্রেশ টোকেনের মেয়াদ শেষ হলে, ব্যবহারকারীকে অবশ্যই ডেটা র্যাংলারের মাধ্যমে স্নোফ্লেকের সাথে করা সংযোগটি অ্যাক্সেস করে পুনরায় প্রমাণীকরণ করতে হবে।
মনে রাখবেন যে ডেটা র্যাংলার ঘোরানো রিফ্রেশ টোকেন সমর্থন করে না। ঘোরানো রিফ্রেশ টোকেন ব্যবহার করার ফলে অ্যাক্সেস ব্যর্থ হতে পারে বা ব্যবহারকারীদের ঘন ঘন লগ ইন করতে হবে।
রিফ্রেশ টোকেনের মেয়াদ শেষ হলে, আপনার ব্যবহারকারীদের অবশ্যই ডেটা র্যাংলারের মাধ্যমে স্নোফ্লেকের সাথে তৈরি করা সংযোগটি অ্যাক্সেস করে পুনরায় প্রমাণীকরণ করতে হবে।
- নির্দিষ্ট করুন
session:role-any
নতুন সুযোগ হিসাবে।
Azure AD-এর জন্য, আপনাকে অবশ্যই সুযোগের জন্য একটি অনন্য শনাক্তকারী নির্দিষ্ট করতে হবে।
আপনি OAuth প্রদানকারী সেট আপ করার পরে, আপনি ডেটা র্যাংলারকে প্রদানকারীর সাথে সংযোগ করার জন্য প্রয়োজনীয় তথ্য প্রদান করেন। আপনি নিম্নলিখিত ক্ষেত্রের মান পেতে আপনার আইডিপি থেকে ডকুমেন্টেশন ব্যবহার করতে পারেন:
- টোকেন URL – টোকেনের URL যা আইডিপি ডেটা র্যাংলারকে পাঠায়
- অনুমোদন URL - IdP এর অনুমোদন সার্ভারের URL
- ক্লায়েন্ট আইডি - আইডিপির আইডি
- ক্লায়েন্ট গোপন - গোপনীয়তা যা শুধুমাত্র অনুমোদন সার্ভার বা API স্বীকৃতি দেয়
- OAuth সুযোগ - এটি শুধুমাত্র Azure AD এর জন্য
স্নোফ্লেক কনফিগার করুন
স্নোফ্লেক কনফিগার করতে, নির্দেশাবলী সম্পূর্ণ করুন স্নোফ্লেক থেকে ডেটা আমদানি করুন.
Snowflake-এ একটি বাহ্যিক OAuth ইন্টিগ্রেশন সেট আপ করতে আপনার IdP-এর জন্য Snowflake ডকুমেন্টেশন ব্যবহার করুন। পূর্ববর্তী অধ্যায় দেখুন আইডিপি-র মধ্যে ডেটা র্যাংলার অ্যাপ্লিকেশন নিবন্ধন করুন কিভাবে একটি বাহ্যিক OAuth ইন্টিগ্রেশন সেট আপ করতে হয় সে সম্পর্কে আরও তথ্যের জন্য।
আপনি যখন স্নোফ্লেকে সুরক্ষা ইন্টিগ্রেশন সেট আপ করছেন, তখন নিশ্চিত করুন যে আপনি সক্রিয় করেছেন৷ external_oauth_any_role_mode
.
সেজমেকার স্টুডিও কনফিগার করুন
আপনি একটি সিক্রেটস ম্যানেজার গোপনে ক্ষেত্র এবং মানগুলি সঞ্চয় করেন এবং এটিকে স্টুডিও লাইফসাইকেল কনফিগারেশনে যুক্ত করেন যা আপনি ডেটা র্যাংলারের জন্য ব্যবহার করছেন। একটি লাইফসাইকেল কনফিগারেশন হল একটি শেল স্ক্রিপ্ট যা ব্যবহারকারী স্টুডিওতে লগ ইন করার সময় গোপনে সংরক্ষিত শংসাপত্রগুলি স্বয়ংক্রিয়ভাবে লোড করে। গোপনীয়তা তৈরি সম্পর্কে তথ্যের জন্য, দেখুন হার্ডকোড করা গোপনীয়তাগুলি AWS সিক্রেটস ম্যানেজারে সরান৷. স্টুডিওতে লাইফসাইকেল কনফিগারেশন ব্যবহার সম্পর্কে তথ্যের জন্য, দেখুন Amazon SageMaker স্টুডিওর সাথে লাইফসাইকেল কনফিগারেশন ব্যবহার করুন.
স্নোফ্লেক শংসাপত্রের জন্য একটি গোপন তৈরি করুন
স্নোফ্লেক শংসাপত্রের জন্য আপনার গোপনীয়তা তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সিক্রেটস ম্যানেজার কনসোলে, নির্বাচন করুন একটি নতুন গোপন সংরক্ষণ করুন.
- জন্য গোপন প্রকার, নির্বাচন করুন অন্য ধরনের গোপনীয়তা.
- কী-মান যুগল হিসাবে আপনার গোপনীয়তার বিশদটি উল্লেখ করুন।
কেস সংবেদনশীলতার কারণে মূল নামের ছোট হাতের অক্ষর প্রয়োজন। ডেটা র্যাংলার একটি সতর্কবার্তা দেয় যদি আপনি এর মধ্যে যেকোনও ভুলভাবে প্রবেশ করেন। গোপন মানগুলিকে কী-মান জোড়া হিসাবে ইনপুট করুন কী/মান যদি আপনি চান, বা ব্যবহার করুন৷ বাদ্য বিকল্প।
Okta জন্য ব্যবহৃত গোপন বিন্যাস নিম্নলিখিত. আপনি যদি Azure AD ব্যবহার করেন তবে আপনাকে যোগ করতে হবে datasource_oauth_scope
ক্ষেত্র।
- আপনার পছন্দের আইডিপি এবং আবেদন নিবন্ধনের পরে সংগৃহীত তথ্য সহ পূর্ববর্তী মানগুলি আপডেট করুন।
- বেছে নিন পরবর্তী.
- জন্য গোপন নাম, উপসর্গ যোগ করুন
AmazonSageMaker
(উদাহরণস্বরূপ, আমাদের গোপনীয়তা হ'ল)AmazonSageMaker-DataWranglerSnowflakeCreds
). - মধ্যে ট্যাগ বিভাগে, কী সহ একটি ট্যাগ যুক্ত করুন
SageMaker
এবং মানtrue
. - বেছে নিন পরবর্তী.
- বাকি ক্ষেত্রগুলি alচ্ছিক; পছন্দ করা পরবর্তী আপনার পছন্দ করার বিকল্প না হওয়া পর্যন্ত স্টোর গোপন সংরক্ষণ করতে।
আপনি গোপনীয়ত সংরক্ষণ করার পরে, আপনি সিক্রেটস ম্যানেজার কনসোলে ফিরে আসবেন।
- আপনার সদ্য তৈরি করা গোপনীয়তা চয়ন করুন, তারপরে গোপনীয় এএনএন পুনরুদ্ধার করুন।
- আপনি যখন ডেটা র্যাংলার ডেটা উৎস তৈরি করবেন তখন ব্যবহারের জন্য এটিকে আপনার পছন্দের পাঠ্য সম্পাদকে সংরক্ষণ করুন।
একটি স্টুডিও লাইফসাইকেল কনফিগারেশন তৈরি করুন
স্টুডিওতে একটি লাইফসাইকেল কনফিগারেশন তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার কনসোলে, নির্বাচন করুন জীবনচক্র কনফিগারেশন নেভিগেশন ফলকে।
- বেছে নিন কনফিগারেশন তৈরি করুন.
- বেছে নিন জুপিটার সার্ভার অ্যাপ.
- একটি নতুন জীবনচক্র কনফিগারেশন তৈরি করুন বা নিম্নলিখিত বিষয়বস্তুর সাথে বিদ্যমান একটি যুক্ত করুন:
কনফিগারেশন নামের সাথে একটি ফাইল তৈরি করে ".snowflake_identity_provider_oauth_config"
, ব্যবহারকারীর হোম ফোল্ডারে গোপন ধারণকারী.
- বেছে নিন কনফিগারেশন তৈরি করুন.
ডিফল্ট লাইফসাইকেল কনফিগারেশন সেট করুন
আপনি এইমাত্র ডিফল্ট হিসাবে তৈরি করা লাইফসাইকেল কনফিগারেশন সেট করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার কনসোলে, নির্বাচন করুন ডোমেইনের নেভিগেশন ফলকে।
- এই উদাহরণের জন্য আপনি যে স্টুডিও ডোমেনটি ব্যবহার করবেন সেটি বেছে নিন।
- উপরে পরিবেশ ট্যাব, মধ্যে ব্যক্তিগত স্টুডিও অ্যাপের জন্য লাইফসাইকেল কনফিগারেশন বিভাগ, চয়ন করুন জোড়া.
- জন্য উৎস, নির্বাচন করুন বিদ্যমান কনফিগারেশন.
- আপনার তৈরি করা কনফিগারেশন নির্বাচন করুন, তারপর নির্বাচন করুন ডোমেনে সংযুক্ত করুন.
- নতুন কনফিগারেশন নির্বাচন করুন এবং নির্বাচন করুন ডিফল্ট হিসাবে সেট করুন, তাহলে বেছে নাও ডিফল্ট হিসাবে সেট করুন আবার পপ-আপ বার্তায়।
আপনার নতুন সেটিংস এখন এর অধীনে দৃশ্যমান হওয়া উচিত ব্যক্তিগত স্টুডিও অ্যাপের জন্য লাইফসাইকেল কনফিগারেশন ডিফল্ট হিসাবে।
- স্টুডিও অ্যাপটি বন্ধ করুন এবং পরিবর্তনগুলি কার্যকর করার জন্য পুনরায় লঞ্চ করুন।
ডেটা সায়েন্টিস্টের অভিজ্ঞতা
এই বিভাগে, আমরা কভার করি যে কীভাবে ডেটা বিজ্ঞানীরা ডেটা র্যাংলারের ডেটা উত্স হিসাবে স্নোফ্লেকের সাথে সংযোগ করতে পারেন এবং এমএল-এর জন্য ডেটা প্রস্তুত করতে পারেন।
একটি নতুন ডেটা প্রবাহ তৈরি করুন
আপনার ডেটা প্রবাহ তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার কনসোলে, নির্বাচন করুন অ্যামাজন সেজমেকার স্টুডিও নেভিগেশন ফলকে।
- বেছে নিন ওপেন স্টুডিও.
- স্টুডিওতে হোম পৃষ্ঠা, চয়ন করুন চাক্ষুষরূপে ডেটা আমদানি এবং প্রস্তুত করুন. বিকল্পভাবে, উপর ফাইল ড্রপ ডাউন, চয়ন করুন নতুন, তাহলে বেছে নাও সেজমেকার ডেটা র্যাংলার ফ্লো.
একটি নতুন প্রবাহ তৈরি করতে কয়েক মিনিট সময় লাগতে পারে৷
- উপরে তথ্য আমদানি পৃষ্ঠা, চয়ন করুন সংযোগ তৈরি করুন.
- বেছে নিন তুষারকণা তথ্য উৎসের তালিকা থেকে।
- জন্য প্রমাণীকরণ পদ্ধতিনির্বাচন OAuth এর.
আপনি OAuth দেখতে না পেলে, পূর্ববর্তী লাইফসাইকেল কনফিগারেশন পদক্ষেপগুলি যাচাই করুন৷
- জন্য বিস্তারিত লিখুন স্নোফ্লেক অ্যাকাউন্টের নাম এবং স্টোরেজ ইন্টিগ্রেশন.
- একটি সংযোগ নাম লিখুন এবং নির্বাচন করুন সংযোগ করা.
আপনাকে একটি আইডিপি প্রমাণীকরণ পৃষ্ঠায় পুনঃনির্দেশিত করা হয়েছে৷ এই উদাহরণের জন্য, আমরা Okta ব্যবহার করছি।
- আপনার ব্যবহারকারীর নাম এবং পাসওয়ার্ড লিখুন, তারপর চয়ন করুন প্রবেশ কর.
প্রমাণীকরণ সফল হওয়ার পরে, আপনাকে স্টুডিও ডেটা ফ্লো পৃষ্ঠায় পুনঃনির্দেশিত করা হবে।
- উপরে স্নোফ্লেক থেকে ডেটা আমদানি করুন পৃষ্ঠা, ডাটাবেস অবজেক্ট ব্রাউজ করুন, বা লক্ষ্যযুক্ত ডেটার জন্য একটি ক্যোয়ারী চালান।
- ক্যোয়ারী সম্পাদকটিতে, একটি কোয়েরি লিখুন এবং ফলাফলগুলি পূর্বরূপ দেখুন।
নিম্নলিখিত উদাহরণে, আমরা লোড ঋণ ডেটা এবং 5,000 সারি থেকে সমস্ত কলাম পুনরুদ্ধার করুন।
- বেছে নিন আমদানি.
- একটি ডেটাসেটের নাম লিখুন (এই পোস্টের জন্য, আমরা ব্যবহার করি
snowflake_loan_dataset
) এবং চয়ন করুন বিজ্ঞাপন.
আপনি পুনঃনির্দেশিত করছি প্রস্তুত করা পৃষ্ঠা, যেখানে আপনি ডেটাতে রূপান্তর এবং বিশ্লেষণ যুক্ত করতে পারেন।
ডেটা র্যাংলার ডেটা গ্রহণ করা এবং ডেটা প্রস্তুতির কাজগুলি যেমন অনুসন্ধানমূলক ডেটা বিশ্লেষণ, বৈশিষ্ট্য নির্বাচন এবং বৈশিষ্ট্য প্রকৌশল সম্পাদন করা সহজ করে তোলে। আমরা ডেটা প্রস্তুতির এই পোস্টে ডেটা র্যাংলারের ক্ষমতার কয়েকটি কভার করেছি; আপনি একটি সহজ এবং স্বজ্ঞাত ব্যবহারকারী ইন্টারফেস ব্যবহার করে বৈশিষ্ট্যের গুরুত্ব, লক্ষ্য ফাঁস এবং মডেল ব্যাখ্যাযোগ্যতার মতো আরও উন্নত ডেটা বিশ্লেষণের জন্য ডেটা র্যাংলার ব্যবহার করতে পারেন।
ডেটা গুণমান বিশ্লেষণ করুন
ব্যবহার ডেটা গুণমান এবং অন্তর্দৃষ্টি রিপোর্ট ডেটা র্যাংলারে আপনি যে ডেটা আমদানি করেছেন তার বিশ্লেষণ করতে। ডেটা র্যাংলার নমুনাকৃত ডেটা থেকে রিপোর্ট তৈরি করে।
- ডেটা র্যাংলার ফ্লো পৃষ্ঠায়, পাশের প্লাস চিহ্নটি বেছে নিন তথ্যের ধরণ, তাহলে বেছে নাও ডেটা অন্তর্দৃষ্টি পান.
- বেছে নিন ডেটা গুণমান এবং অন্তর্দৃষ্টি রিপোর্ট উন্নত বিশ্লেষণের ধরণ.
- জন্য লক্ষ্য কলাম, আপনার লক্ষ্য কলাম নির্বাচন করুন.
- জন্য সমস্যার ধরণ, নির্বাচন করুন শ্রেণীবিন্যাস.
- বেছে নিন সৃষ্টি.
অন্তর্দৃষ্টি প্রতিবেদনে ডেটার একটি সংক্ষিপ্ত সারাংশ রয়েছে, যার মধ্যে সাধারণ তথ্য যেমন অনুপস্থিত মান, অবৈধ মান, বৈশিষ্ট্যের ধরন, আউটলিয়ার গণনা এবং আরও অনেক কিছু রয়েছে। আপনি প্রতিবেদনটি ডাউনলোড করতে পারেন অথবা অনলাইনে দেখতে পারেন।
ডেটাতে রূপান্তরগুলি যুক্ত করুন
ডেটা র্যাংলারের 300 টি বিল্ট-ইন রূপান্তর রয়েছে। এই বিভাগে, আমরা এমএল মডেলের ডেটাসেট প্রস্তুত করতে এই রূপান্তরগুলির কয়েকটি ব্যবহার করি।
- ডেটা র্যাংলার ফ্লো পৃষ্ঠায়, প্লাস চিহ্ন নির্বাচন করুন, তারপর নির্বাচন করুন রূপান্তর যোগ করুন.
আপনি যদি পোস্টের ধাপগুলি অনুসরণ করেন তবে আপনার ডেটাসেট যোগ করার পরে আপনাকে স্বয়ংক্রিয়ভাবে এখানে নির্দেশিত করা হবে৷
- কলামের ডাটা টাইপ যাচাই ও পরিবর্তন করুন।
কলামগুলি দেখে, আমরা এটি সনাক্ত করি MNTHS_SINCE_LAST_DELINQ
এবং MNTHS_SINCE_LAST_RECORD
সম্ভবত স্ট্রিংয়ের পরিবর্তে সংখ্যার ধরন হিসাবে উপস্থাপন করা উচিত।
- পরিবর্তনগুলি প্রয়োগ করার পরে এবং পদক্ষেপ যোগ করার পরে, আপনি যাচাই করতে পারেন কলাম ডেটা টাইপ ফ্লোটে পরিবর্তিত হয়েছে।
তথ্য মাধ্যমে অনুসন্ধান, আমরা ক্ষেত্র দেখতে পারেন EMP_TITLE
, URL
, DESCRIPTION
, এবং TITLE
সম্ভবত আমাদের ব্যবহারের ক্ষেত্রে আমাদের মডেলের মান প্রদান করবে না, তাই আমরা সেগুলি বাদ দিতে পারি।
- বেছে নিন পদক্ষেপ যুক্ত করুন, তাহলে বেছে নাও কলাম পরিচালনা করুন.
- জন্য রুপান্তরনির্বাচন কলাম ড্রপ করুন.
- জন্য কলাম ড্রপ, নির্দিষ্ট করুন
EMP_TITLE
,URL
,DESCRIPTION
, এবংTITLE
. - বেছে নিন প্রি এবং বিজ্ঞাপন.
এরপরে, আমরা আমাদের ডেটাসেটে শ্রেণিবদ্ধ ডেটা সন্ধান করতে চাই। অর্ডিনাল এবং এক-হট উভয় এনকোডিং ব্যবহার করে বিভাগীয় ডেটা এনকোড করার জন্য ডেটা র্যাংলারের একটি বিল্ট-ইন কার্যকারিতা রয়েছে। আমাদের ডেটাসেটের দিকে তাকিয়ে আমরা দেখতে পাচ্ছি TERM
, HOME_OWNERSHIP
, এবং PURPOSE
কলামগুলি সমস্ত প্রকৃতির শ্রেণীবদ্ধ বলে মনে হচ্ছে।
- আরেকটি ধাপ যোগ করুন এবং নির্বাচন করুন এনকোড শ্রেণিবদ্ধ.
- জন্য রুপান্তরনির্বাচন এক-গরম এনকোড.
- জন্য ইনপুট কলামনির্বাচন
TERM
. - জন্য আউটপুট শৈলীনির্বাচন কলাম.
- অন্যান্য সমস্ত সেটিংস ডিফল্ট হিসাবে ছেড়ে দিন, তারপর চয়ন করুন প্রি এবং বিজ্ঞাপন.
সার্জারির HOME_OWNERSHIP
কলামের চারটি সম্ভাব্য মান রয়েছে: RENT
, MORTGAGE
, OWN
, এবং অন্যান্য.
- এই মানগুলিতে এক-গরম এনকোডিং পদ্ধতির প্রয়োগ করতে পূর্ববর্তী পদক্ষেপগুলি পুনরাবৃত্তি করুন।
অবশেষে, এই PURPOSE
কলামের বেশ কয়েকটি সম্ভাব্য মান রয়েছে। এই ডেটার জন্য, আমরা একটি এক-হট এনকোডিং পদ্ধতিও ব্যবহার করি, তবে আমরা আউটপুটটি কলামের পরিবর্তে একটি ভেক্টরে সেট করি।
- জন্য রুপান্তরনির্বাচন এক-গরম এনকোড.
- জন্য ইনপুট কলামনির্বাচন
PURPOSE
. - জন্য আউটপুট শৈলীনির্বাচন ভেক্টর.
- জন্য আউটপুট কলাম, আমরা এই কলামটি কল
PURPOSE_VCTR
.
এটি আসল রাখে PURPOSE
কলাম, যদি আমরা পরে এটি ব্যবহার করার সিদ্ধান্ত নিই।
- অন্যান্য সমস্ত সেটিংস ডিফল্ট হিসাবে ছেড়ে দিন, তারপর চয়ন করুন প্রি এবং বিজ্ঞাপন.
ডেটা প্রবাহ রফতানি করুন
অবশেষে, আমরা এই পুরো ডেটা ফ্লোটিকে একটি SageMaker প্রসেসিং কাজের সাথে একটি বৈশিষ্ট্য স্টোরে রপ্তানি করি, যা পূর্ব-জনিত কোড সহ একটি Jupyter নোটবুক তৈরি করে।
- ডেটা ফ্লো পৃষ্ঠায়, প্লাস চিহ্ন এবং নির্বাচন করুন রপ্তানি করা.
- কোথায় রপ্তানি করতে হবে তা বেছে নিন। আমাদের ব্যবহারের ক্ষেত্রে, আমরা নির্বাচন করি সেজমেকার ফিচার স্টোর.
রপ্তানিকৃত নোটবুক এখন চালানোর জন্য প্রস্তুত।
ডেটা রপ্তানি করুন এবং অটোপাইলটের সাথে একটি মডেলকে প্রশিক্ষণ দিন
এখন আমরা মডেলটি ব্যবহার করে প্রশিক্ষণ দিতে পারি অ্যামাজন সেজমেকার অটোপাইলট.
- ডেটা প্রবাহ পৃষ্ঠায়, নির্বাচন করুন প্রশিক্ষণ ট্যাব।
- জন্য Amazon S3 অবস্থান, ডেটা সংরক্ষণ করার জন্য একটি অবস্থান লিখুন।
- বেছে নিন রপ্তানি এবং ট্রেন.
- সেটিংস উল্লেখ করুন লক্ষ্য এবং বৈশিষ্ট্য, প্রশিক্ষণ পদ্ধতি, স্থাপনা এবং অগ্রিম সেটিংস, এবং পর্যালোচনা করুন এবং তৈরি করুন বিভাগে।
- বেছে নিন পরীক্ষা তৈরি করুন আপনার সমস্যার জন্য সেরা মডেল খুঁজে পেতে.
পরিষ্কার কর
যদি ডেটা র্যাংলারের সাথে আপনার কাজ সম্পূর্ণ হয়, আপনার ডেটা র্যাংলার উদাহরণ বন্ধ করুন অতিরিক্ত ফি ব্যয় এড়াতে।
উপসংহার
এই পোস্টে, আমরা সংযোগ প্রদর্শন OAuth ব্যবহার করে Snowflake থেকে Data Wrangler, একটি ডেটাসেটকে রূপান্তরিত করা এবং বিশ্লেষণ করা এবং অবশেষে এটিকে ডেটা প্রবাহে রপ্তানি করা যাতে এটি একটি জুপিটার নোটবুকে ব্যবহার করা যেতে পারে। সবচেয়ে উল্লেখযোগ্যভাবে, আমরা কোনও কোড না লিখেই ডেটা প্রস্তুতির জন্য একটি পাইপলাইন তৈরি করেছি।
ডেটা র্যাংলার দিয়ে শুরু করতে, দেখুন অ্যামাজন সেজমেকার ডেটা র্যাংলার সহ এমএল ডেটা প্রস্তুত করুন.
লেখক সম্পর্কে
অজয় গোবিন্দরাম AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি কৌশলগত গ্রাহকদের সাথে কাজ করেন যারা জটিল ব্যবসায়িক সমস্যা সমাধানের জন্য AI/ML ব্যবহার করছেন। তার অভিজ্ঞতা প্রযুক্তিগত দিকনির্দেশ প্রদানের পাশাপাশি পরিমিত থেকে বৃহৎ-স্কেল এআই/এমএল অ্যাপ্লিকেশন স্থাপনার জন্য ডিজাইন সহায়তা প্রদানের মধ্যে রয়েছে। তার জ্ঞান অ্যাপ্লিকেশন আর্কিটেকচার থেকে বিগ ডেটা, অ্যানালিটিক্স এবং মেশিন লার্নিং পর্যন্ত। তিনি বিশ্রামের সময় গান শুনতে উপভোগ করেন, বাইরের অভিজ্ঞতা লাভ করেন এবং তার প্রিয়জনদের সাথে সময় কাটান।
বসকো আলবুকার্ক AWS-এর একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট এবং এন্টারপ্রাইজ ডাটাবেস বিক্রেতা এবং ক্লাউড প্রোভাইডারদের থেকে ডাটাবেস এবং অ্যানালিটিক্স পণ্যগুলির সাথে কাজ করার 20 বছরের বেশি অভিজ্ঞতা রয়েছে৷ তিনি বৃহৎ প্রযুক্তি কোম্পানিগুলিকে ডেটা অ্যানালিটিক্স সলিউশন ডিজাইন করতে সাহায্য করেছেন এবং ডেটা অ্যানালিটিক্স প্ল্যাটফর্ম এবং ডেটা প্রোডাক্ট ডিজাইন ও বাস্তবায়নে ইঞ্জিনিয়ারিং দলগুলির নেতৃত্ব দিয়েছেন৷
ম্যাট মার্জিলো স্নোফ্লেকের একজন সিনিয়র পার্টনার সেলস ইঞ্জিনিয়ার। পরামর্শ এবং শিল্প সংস্থাগুলির সাথে ডেটা সায়েন্স এবং মেশিন লার্নিং ভূমিকাতে তার 10 বছরের অভিজ্ঞতা রয়েছে। বিপণন, বিক্রয়, ক্রিয়াকলাপ, ক্লিনিকাল এবং ফিনান্সের পাশাপাশি পরামর্শমূলক ভূমিকাগুলিতে পরামর্শ দেওয়ার মতো বিভিন্ন সংস্থায় AI এবং ML মডেলগুলি বিকাশ ও স্থাপন করার অভিজ্ঞতা ম্যাটের রয়েছে।
হুং Nguyen AWS-এ Amazon SageMaker Data Wrangler-এর প্রোডাক্ট লিডার। এন্টারপ্রাইজ এবং ভোক্তা স্পেস উভয়ের জন্য গ্রাহক-আবিষ্ট এবং ডেটা-চালিত পণ্য তৈরি করার 15 বছরের অভিজ্ঞতা রয়েছে তার। তার অবসর সময়ে, তিনি অডিও বই, বাগান করা, হাইকিং এবং তার পরিবার এবং বন্ধুদের সাথে সময় কাটাতে উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/access-snowflake-data-using-oauth-based-authentication-in-amazon-sagemaker-data-wrangler/
- : হয়
- $ ইউপি
- 000
- 10
- 100
- 15 বছর
- 20 বছর
- 7
- 8
- 9
- a
- সক্ষম
- সম্পর্কে
- প্রবেশ
- ডেটাতে অ্যাক্সেস
- অ্যাক্সেস করা
- হিসাব
- দিয়ে
- Ad
- যোগ
- অতিরিক্ত
- অ্যাডমিন
- আগাম
- অগ্রসর
- পরামর্শ
- পর
- AI
- এআই / এমএল
- সব
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার ডেটা র্যাংলার
- বিশ্লেষণ
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- বিশ্লেষণ করা
- বিশ্লেষণ
- এবং
- অন্য
- API
- অ্যাপ্লিকেশন
- প্রদর্শিত
- আবেদন
- প্রয়োগ করা
- প্রয়োগ করা হচ্ছে
- অভিগমন
- অ্যাপস
- স্থাপত্য
- রয়েছি
- এলাকার
- AS
- সহায়তা
- যুক্ত
- At
- সংযুক্ত
- পাঠকবর্গ
- অডিও
- বিশুদ্ধতা প্রমাণ করা
- প্রমাণীকরণ
- অনুমোদন
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- স্বয়ংক্রিয়ভাবে
- ডেস্কটপ AWS
- নভোনীল
- BE
- কারণ
- আগে
- শুরু করা
- সর্বোত্তম
- বিশাল
- বড় ডেটা
- শরীর
- বই
- বিল্ট-ইন
- ব্যবসায়
- by
- কল
- নামক
- CAN
- ক্ষমতা
- কেস
- ক্যাট
- পরিবর্তন
- পছন্দ
- বেছে নিন
- মক্কেল
- রোগশয্যা
- মেঘ
- কোড
- স্তম্ভ
- কলাম
- কোম্পানি
- সম্পূর্ণ
- জটিল
- ধারণা
- কনফিগারেশন
- সংযোগ করা
- সংযোজক
- সংযোগ
- কনসোল
- পরামর্শকারী
- ভোক্তা
- বিষয়বস্তু
- পারা
- আবরণ
- আবৃত
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- পরিচয়পত্র
- গ্রাহকদের
- উপাত্ত
- তথ্য বিশ্লেষণ
- ডেটা বিশ্লেষণ
- ডেটা প্ল্যাটফর্ম
- ডেটা প্রস্তুতি
- তথ্য বিজ্ঞান
- তথ্য বিজ্ঞানী
- তথ্য চালিত
- ডেটাবেস
- সিদ্ধান্ত নেন
- ডিফল্ট
- প্রদর্শিত
- মোতায়েন
- স্থাপনার
- নকশা
- ফন্দিবাজ
- বিস্তারিত
- বিস্তারিত
- উন্নয়নশীল
- বিভিন্ন
- অভিমুখ
- সরাসরি
- স্বতন্ত্র
- ডকুমেন্টেশন
- না
- ডোমেইন
- Dont
- নিচে
- ডাউনলোড
- ড্রপ
- প্রতি
- সম্পাদক
- প্রভাব
- পারেন
- সক্ষম করা
- প্রকৌশলী
- প্রকৌশল
- প্রবেশ করান
- উদ্যোগ
- পরিবেশ
- উদাহরণ
- বিদ্যমান
- অভিজ্ঞতা
- সম্মুখীন
- অনুসন্ধানের ডেটা বিশ্লেষণ
- রপ্তানি
- বহিরাগত
- ব্যর্থ
- পরিবার
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ফি
- কয়েক
- ক্ষেত্র
- ক্ষেত্রসমূহ
- ফাইল
- পরিশেষে
- অর্থ
- আবিষ্কার
- ভাসা
- প্রবাহ
- অনুসরণ
- জন্য
- বিন্যাস
- ফ্রিকোয়েন্সি
- ঘনঘন
- বন্ধুদের
- থেকে
- কার্যকারিতা
- সাধারণ
- পাওয়া
- দেয়
- প্রদান
- বৃহত্তর
- নির্দেশিকা
- আছে
- জমিদারি
- সাহায্য
- সাহায্য
- এখানে
- হোম
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- ID
- আইডেন্টিফায়ার
- সনাক্ত করা
- পরিচয়
- অলস
- বাস্তবায়ন
- আমদানি
- গুরুত্ব
- in
- অন্তর্ভুক্ত
- সুদ্ধ
- ভুল
- শিল্প
- তথ্য
- ইনপুট
- সূক্ষ্মদৃষ্টি
- অর্ন্তদৃষ্টি
- নির্দেশাবলী
- ইন্টিগ্রেশন
- ঐক্যবদ্ধতার
- ইন্টারফেস
- স্বজ্ঞাত
- জড়িত
- IT
- কাজ
- জবস
- JPG
- চাবি
- জ্ঞান
- বড়
- বড় আকারের
- নেতা
- শিক্ষা
- বরফ
- মিথ্যা
- জীবনচক্র
- জীবনকাল
- মত
- সম্ভবত
- তালিকা
- শ্রবণ
- বোঝা
- লোড
- অবস্থান
- দেখুন
- খুঁজছি
- পছন্দ
- মেশিন
- মেশিন লার্নিং
- প্রণীত
- করা
- তৈরি করে
- মেকিং
- পরিচালক
- অনেক
- Marketing
- বার্তা
- হতে পারে
- মিনিট
- অনুপস্থিত
- ML
- মডেল
- মডেল
- পরিবর্তন
- অধিক
- সেতু
- বহু
- সঙ্গীত
- নাম
- নাম
- প্রকৃতি
- ন্যাভিগেশন
- প্রয়োজন
- প্রয়োজন
- চাহিদা
- নতুন
- পরবর্তী
- লক্ষণীয়ভাবে
- নোটবই
- সংখ্যা
- শপথ
- বস্তু
- of
- ওকেটিএ
- on
- ONE
- অনলাইন
- অপারেশনস
- পছন্দ
- সংগঠন
- মূল
- অন্যান্য
- অন্যভাবে
- বিদেশে
- আউটপুট
- নিজের
- পৃষ্ঠা
- জোড়া
- শার্সি
- হাসপাতাল
- পাসওয়ার্ড
- সম্পাদন করা
- অনুমতি
- ব্যক্তিগত
- পাইপলাইন
- মাচা
- প্ল্যাটফর্ম
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- যোগ
- নীতি
- পপ-আপ
- সম্ভব
- পোস্ট
- পছন্দের
- প্রস্তুত করা
- পূর্বশর্ত
- প্রি
- আগে
- সমস্যা
- সমস্যা
- পদ্ধতি
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- পণ্য
- পণ্য
- প্রোফাইল
- প্রোগ্রামিং
- সঠিকভাবে
- প্রদান
- প্রদত্ত
- প্রদানকারী
- প্রদানকারীর
- উপলব্ধ
- প্রদানের
- গুণ
- বরং
- প্রস্তুত
- সুপারিশ করা
- পুনর্নির্দেশ
- হ্রাস
- এলাকা
- খাতা
- নিবন্ধনের
- নিবন্ধন
- পুনঃলঞ্চ
- রিপোর্ট
- প্রতিনিধিত্ব
- প্রয়োজন
- নিজ নিজ
- বিশ্রাম
- ফল
- ফলাফল
- খুচরা
- ভূমিকা
- ভূমিকা
- চালান
- দৌড়
- ঋষি নির্মাতা
- বিক্রয়
- পূর্বপরিকল্পনা
- বিজ্ঞান
- বিজ্ঞানী
- বিজ্ঞানীরা
- সুযোগ
- গোপন
- অধ্যায়
- বিভাগে
- নিরাপত্তা
- নির্বাচন
- জ্যেষ্ঠ
- সংবেদনশীলতা
- সেট
- বিন্যাস
- সেটিংস
- বিভিন্ন
- খোল
- উচিত
- প্রদর্শনী
- চিহ্ন
- সহজ
- একক
- So
- সলিউশন
- সমাধান
- কিছু
- উৎস
- সোর্স
- শূণ্যস্থান
- খরচ
- শুরু
- শুরু
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- দোকান
- সঞ্চিত
- সংরক্ষণ
- কৌশলগত
- স্ট্রিং
- চিত্রশালা
- সফল
- এমন
- সংক্ষিপ্তসার
- সমর্থন
- সমর্থন
- TAG
- গ্রহণ করা
- লাগে
- লক্ষ্য
- লক্ষ্যবস্তু
- কাজ
- দল
- কারিগরী
- প্রযুক্তিঃ
- প্রযুক্তি সংস্থাগুলি
- যে
- সার্জারির
- তথ্য
- তাদের
- তাহাদিগকে
- এইগুলো
- দ্বারা
- সময়
- থেকে
- টোকেন
- টোকেন
- রেলগাড়ি
- রুপান্তর
- রূপান্তরের
- রূপান্তর
- ধরনের
- অধীনে
- বোঝা
- অনন্য
- আপডেট
- URL টি
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহারকারী
- ব্যবহারকারী ইন্টারফেস
- ব্যবহারকারী
- মূল্য
- মানগুলি
- বিক্রেতারা
- যাচাই
- মাধ্যমে
- চেক
- দৃশ্যমান
- , walkthrough
- সতর্কবার্তা
- সপ্তাহ
- আমরা একটি
- যে
- যখন
- হু
- সমগ্র
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কর্মপ্রবাহ
- কাজ
- কাজ
- লেখা
- লেখা
- বছর
- আপনি
- আপনার
- zephyrnet