অ্যামাজন সেজমেকার ডেটা র্যাংলার অ্যামাজন সেজমেকার স্টুডিওতে মেশিন লার্নিং (এমএল) এর জন্য ডেটা একত্রিত করতে এবং প্রস্তুত করতে কয়েক সপ্তাহ থেকে মিনিট পর্যন্ত সময় কমিয়ে দেয়। ডেটা র্যাংলার আপনাকে বিভিন্ন জনপ্রিয় উত্স থেকে ডেটা অ্যাক্সেস করতে সক্ষম করে (আমাজন S3, অ্যামাজন অ্যাথেনা, আমাজন রেডশিফ্ট, আমাজন ইএমআর এবং স্নোফ্লেক) এবং 40 টিরও বেশি অন্যান্য তৃতীয় পক্ষের উত্স। আজ থেকে, আপনি সংযোগ করতে পারেন আমাজন ইএমআর ML-এর জন্য বড় ডেটাসেট আনতে একটি বড় ডেটা কোয়েরি ইঞ্জিন হিসাবে হাইভ।
প্রচুর পরিমাণে ডেটা একত্রিত করা এবং প্রস্তুত করা ML কর্মপ্রবাহের একটি গুরুত্বপূর্ণ অংশ। ডেটা বিজ্ঞানী এবং ডেটা ইঞ্জিনিয়াররা বড় আকারের ডেটা প্রক্রিয়াকরণের জন্য অ্যামাজন EMR-এ চলমান Apache Spark, Apache Hive, এবং Presto ব্যবহার করেন। এই ব্লগ পোস্টটি কীভাবে ডেটা পেশাদাররা Hive এন্ডপয়েন্টের সাথে বিদ্যমান অ্যামাজন ইএমআর ক্লাস্টারগুলি সনাক্ত করতে এবং সংযোগ করতে সেজমেকার ডেটা র্যাংলারের ভিজ্যুয়াল ইন্টারফেস ব্যবহার করতে পারে তার মধ্য দিয়ে যাবে। মডেলিং বা রিপোর্টিংয়ের জন্য প্রস্তুত হওয়ার জন্য, তারা ML ডেটাসেট তৈরি করতে ডাটাবেস, টেবিল, স্কিমা এবং লেখক হাইভ প্রশ্নগুলি দৃশ্যত বিশ্লেষণ করতে পারে। তারপরে, তারা ডাটা র্যাংলার ভিজ্যুয়াল ইন্টারফেস ব্যবহার করে ডেটার গুণমান, অসঙ্গতি এবং অনুপস্থিত বা ভুল ডেটা মূল্যায়ন করতে দ্রুত ডেটা প্রোফাইল করতে পারে এবং কীভাবে এই সমস্যাগুলি মোকাবেলা করতে হয় সে সম্পর্কে পরামর্শ পেতে পারে। তারা আরও জনপ্রিয় এবং ML-চালিত অন্তর্নির্মিত বিশ্লেষণ এবং 300+ বিল্ট-ইন রূপান্তরগুলিকে স্পার্ক দ্বারা সমর্থিত বিশ্লেষণ, পরিষ্কার এবং প্রকৌশলী বৈশিষ্ট্যগুলিকে কোডের একটি লাইন না লিখেই ব্যবহার করতে পারে৷ অবশেষে, তারা প্রশিক্ষণ এবং মডেল স্থাপন করতে পারে সেজমেকার অটোপাইলট, কাজের সময়সূচী করুন, বা ডেটা র্যাংলারের ভিজ্যুয়াল ইন্টারফেস থেকে সেজমেকার পাইপলাইনে ডেটা প্রস্তুতি পরিচালনা করুন।
সমাধান ওভারভিউ
SageMaker স্টুডিও সেটআপের সাথে, ডেটা পেশাদাররা দ্রুত সনাক্ত করতে এবং বিদ্যমান EMR ক্লাস্টারগুলির সাথে সংযোগ করতে পারে। এছাড়াও, ডেটা পেশাদাররা এখান থেকে EMR ক্লাস্টার আবিষ্কার করতে পারেন পূর্বনির্ধারিত টেমপ্লেট ব্যবহার করে সেজমেকার স্টুডিও মাত্র কয়েক ক্লিকে চাহিদা অনুযায়ী। গ্রাহকরা সেজমেকার স্টুডিও ইউনিভার্সাল নোটবুক ব্যবহার করতে পারেন এবং কোড লিখতে পারেন আপা স্পার্ক, মধুচক্র, প্রবঁচনাময় or পাইস্পার্ক স্কেল এ তথ্য প্রস্তুতি সঞ্চালন. যাইহোক, সমস্ত ডেটা পেশাদাররা ডেটা প্রস্তুত করার জন্য স্পার্ক কোড লেখার সাথে পরিচিত নয় কারণ একটি খাড়া শেখার বক্ররেখা জড়িত। তারা এখন দ্রুত এবং সহজভাবে অ্যামাজন ইএমআর-এর সাথে সংযোগ করতে পারে কোডের একক লাইন না লিখে, ধন্যবাদ অ্যামাজন ইএমআর অ্যামাজন সেজমেকার ডেটা র্যাংলারের ডেটা উৎস।
নিম্নলিখিত চিত্রটি এই সমাধানে ব্যবহৃত বিভিন্ন উপাদানগুলিকে উপস্থাপন করে।
আমরা দুটি প্রমাণীকরণ বিকল্প প্রদর্শন করি যা EMR ক্লাস্টারের সাথে সংযোগ স্থাপন করতে ব্যবহার করা যেতে পারে। প্রতিটি বিকল্পের জন্য, আমরা একটি অনন্য স্ট্যাক স্থাপন করি এডাব্লুএস ক্লাউডফর্মেশন টেমপ্লেট।
ক্লাউডফর্মেশন টেমপ্লেট নিম্নলিখিত ক্রিয়াগুলি সম্পাদন করে যখন প্রতিটি বিকল্প নির্বাচন করা হয়:
- VPC-শুধুমাত্র মোডে একটি স্টুডিও ডোমেন তৈরি করে, সাথে একটি ব্যবহারকারী প্রোফাইল নামে
studio-user
. - উদাহরণগুলি সফলভাবে চালানোর জন্য ভিপিসি, এন্ডপয়েন্ট, সাবনেট, সিকিউরিটি গ্রুপ, ইএমআর ক্লাস্টার এবং অন্যান্য প্রয়োজনীয় সংস্থান সহ বিল্ডিং ব্লক তৈরি করে।
- EMR ক্লাস্টারের জন্য, EMR হাইভ এবং প্রেস্টোর জন্য মেটাস্টোর হিসাবে AWS আঠালো ডেটা ক্যাটালগ সংযোগ করে, EMR-এ একটি Hive টেবিল তৈরি করে এবং একটি থেকে ডেটা দিয়ে এটি পূরণ করে মার্কিন বিমানবন্দর ডেটাসেট.
- LDAP CloudFormation টেমপ্লেটের জন্য, একটি তৈরি করে অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) Hive এবং Presto LDAP ব্যবহারকারীকে প্রমাণীকরণ করতে LDAP সার্ভার হোস্ট করার উদাহরণ।
বিকল্প 1: লাইটওয়েট অ্যাক্সেস ডিরেক্টরি প্রোটোকল
LDAP প্রমাণীকরণ ক্লাউডফর্মেশন টেমপ্লেটের জন্য, আমরা একটি LDAP সার্ভারের সাথে একটি Amazon EC2 উদাহরণ প্রদান করি এবং প্রমাণীকরণের জন্য এই সার্ভারটি ব্যবহার করার জন্য EMR ক্লাস্টার কনফিগার করি। এটি TLS সক্ষম।
বিকল্প 2: No-Auth
নো-অথেন্টিকেশন ক্লাউডফর্মেশন টেমপ্লেটে, আমরা কোনো প্রমাণীকরণ সক্ষম না করে একটি আদর্শ EMR ক্লাস্টার ব্যবহার করি।
AWS ক্লাউডফর্মেশনের সাথে সংস্থানগুলি স্থাপন করুন
পরিবেশ স্থাপনের জন্য নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সাইন ইন করুন এডাব্লুএস ম্যানেজমেন্ট কনসোল হিসাবে একটি এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ব্যবহারকারী, বিশেষত একজন প্রশাসক ব্যবহারকারী।
- বেছে নিন স্ট্যাক চালু করুন উপযুক্ত প্রমাণীকরণ দৃশ্যের জন্য CloudFormation টেমপ্লেট চালু করতে। নিশ্চিত করুন যে ক্লাউডফর্মেশন স্ট্যাক স্থাপন করতে ব্যবহৃত অঞ্চলটিতে কোনও বিদ্যমান স্টুডিও ডোমেন নেই। আপনার যদি ইতিমধ্যে একটি অঞ্চলে একটি স্টুডিও ডোমেন থাকে তবে আপনি একটি ভিন্ন অঞ্চল বেছে নিতে পারেন।
দ্বারা LDAP কোন প্রমাণ নেই - বেছে নিন পরবর্তী.
- জন্য স্ট্যাকের নাম, স্ট্যাকের জন্য একটি নাম লিখুন (উদাহরণস্বরূপ,
dw-emr-hive-blog
). - ডিফল্ট হিসাবে অন্যান্য মান ছেড়ে দিন।
- চালিয়ে যেতে, বেছে নিন পরবর্তী স্ট্যাক বিবরণ পৃষ্ঠা এবং স্ট্যাক বিকল্প থেকে।
LDAP স্ট্যাক নিম্নলিখিত শংসাপত্র ব্যবহার করে।- ব্যবহারকারীর নাম:
david
- পাসওয়ার্ড:
welcome123
- ব্যবহারকারীর নাম:
- পর্যালোচনা পৃষ্ঠায়, AWS CloudFormation সম্পদ তৈরি করতে পারে তা নিশ্চিত করতে চেক বক্সটি নির্বাচন করুন৷
- বেছে নিন স্ট্যাক তৈরি করুন. স্ট্যাকের অবস্থা থেকে পরিবর্তন না হওয়া পর্যন্ত অপেক্ষা করুন
CREATE_IN_PROGRESS
থেকেCREATE_COMPLETE
. প্রক্রিয়াটি সাধারণত 10-15 মিনিট সময় নেয়।
ডেটা র্যাংলারে একটি ডেটা উত্স হিসাবে আমাজন EMR সেট আপ করুন৷
এই বিভাগে, আমরা ডেটা র্যাংলারের একটি ডেটা উত্স হিসাবে ক্লাউডফর্মেশন টেমপ্লেটের মাধ্যমে তৈরি বিদ্যমান অ্যামাজন EMR ক্লাস্টারের সাথে সংযোগ স্থাপন করি৷
একটি নতুন ডেটা প্রবাহ তৈরি করুন
আপনার ডেটা প্রবাহ তৈরি করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- সেজমেকার কনসোলে, ক্লিক করুন ডোমেইনের, তারপর ক্লিক করুন স্টুডিওডোমেন উপরে CloudFormation টেমপ্লেট চালানোর দ্বারা তৈরি করা হয়েছে।
- নির্বাচন করা স্টুডিও-ব্যবহারকারী ব্যবহারকারীর প্রোফাইল এবং স্টুডিও চালু করুন।
- বেছে নিন খোলা স্টুডিও.
- স্টুডিও হোম কনসোলে, নির্বাচন করুন চাক্ষুষরূপে ডেটা আমদানি এবং প্রস্তুত করুন. বিকল্পভাবে, উপর ফাইল ড্রপডাউন, নির্বাচন করুন নতুন, তাহলে বেছে নাও ডেটা র্যাংলার প্রবাহ.
- একটি নতুন প্রবাহ তৈরি করতে কয়েক মিনিট সময় লাগতে পারে৷ প্রবাহ তৈরি হওয়ার পরে, আপনি দেখতে পাবেন তথ্য আমদানি পাতা.
- ডেটা র্যাংলারে একটি ডেটা উত্স হিসাবে Amazon EMR যুক্ত করুন৷ উপরে ডেটা উত্স যুক্ত করুন মেনু, নির্বাচন করুন আমাজন ইএমআর.
আপনি সমস্ত EMR ক্লাস্টার ব্রাউজ করতে পারেন যেগুলি দেখার জন্য আপনার স্টুডিও এক্সিকিউশন ভূমিকার অনুমতি রয়েছে। একটি ক্লাস্টারে সংযোগ করার জন্য আপনার কাছে দুটি বিকল্প রয়েছে; একটি ইন্টারেক্টিভ UI এর মাধ্যমে, এবং অন্যটি প্রথমে AWS সিক্রেটস ম্যানেজার ব্যবহার করে একটি গোপনীয়তা তৈরি করুন JDBC URL সহ, EMR ক্লাস্টার তথ্য সহ, এবং তারপর Hive-এর সাথে সংযোগ করতে UI-তে সংরক্ষিত AWS গোপন ARN প্রদান করুন। এই ব্লগে, আমরা প্রথম বিকল্পটি অনুসরণ করি।
- নিম্নলিখিত ক্লাস্টারগুলির মধ্যে একটি নির্বাচন করুন যা আপনি ব্যবহার করতে চান। ক্লিক করুন পরবর্তী, এবং শেষ পয়েন্ট নির্বাচন করুন।
- নির্বাচন করা মৌচাক, Amazon EMR এর সাথে সংযোগ করুন, আপনার সংযোগ সনাক্ত করতে একটি নাম তৈরি করুন এবং ক্লিক করুন পরবর্তী.
- প্রমাণীকরণ প্রকার নির্বাচন করুন, হয় লাইটওয়েট ডিরেক্টরি অ্যাক্সেস প্রোটোকল (LDAP) or কোন প্রমাণীকরণ.
লাইটওয়েট ডিরেক্টরি অ্যাক্সেস প্রোটোকল (LDAP) এর জন্য, বিকল্পটি নির্বাচন করুন এবং ক্লিক করুন এরপরে, ক্লাস্টে লগইন করুনr, তারপর প্রমাণীকরণের জন্য ব্যবহারকারীর নাম এবং পাসওয়ার্ড প্রদান করুন এবং সংযোগ ক্লিক করুন।
কোন প্রমাণীকরণের জন্য, আপনি VPC-এর মধ্যে ব্যবহারকারীর শংসাপত্র প্রদান না করেই EMR Hive-এর সাথে সংযুক্ত থাকবেন। EMR এর জন্য Data Wrangler এর SQL এক্সপ্লোরার পৃষ্ঠা লিখুন।
- একবার সংযুক্ত হয়ে গেলে, আপনি ইন্টারেক্টিভভাবে একটি ডাটাবেস ট্রি এবং টেবিল প্রিভিউ বা স্কিমা দেখতে পারেন। আপনি ইএমআর থেকে ডেটা অনুসন্ধান, অনুসন্ধান এবং কল্পনা করতে পারেন। পূর্বরূপের জন্য, আপনি ডিফল্টরূপে 100টি রেকর্ডের সীমা দেখতে পাবেন। একবার আপনি ক্যোয়ারী এডিটর বক্সে একটি এসকিউএল স্টেটমেন্ট প্রদান করেন এবং ক্লিক করুন চালান বোতামে, ডেটার পূর্বরূপ দেখতে EMR-এর Hive ইঞ্জিনে প্রশ্নটি চালানো হবে।
সার্জারির প্রশ্ন বাতিল করুন বোতামটি চলমান প্রশ্নগুলিকে বাতিল করার অনুমতি দেয় যদি তারা অস্বাভাবিকভাবে দীর্ঘ সময় নেয়।
- শেষ ধাপটি আমদানি করা। আপনি একবার জিজ্ঞাসা করা ডেটার সাথে প্রস্তুত হয়ে গেলে, আপনার কাছে ডেটা র্যাংলারে ডেটা আমদানি করার জন্য নমুনার ধরন (FirstK, Random, বা Stratified) এবং নমুনা আকার অনুসারে ডেটা নির্বাচনের জন্য নমুনা সেটিংস আপডেট করার বিকল্প রয়েছে৷
ক্লিক আমদানি. প্রস্তুত পৃষ্ঠাটি লোড করা হবে, আপনাকে ডেটাসেটে বিভিন্ন রূপান্তর এবং প্রয়োজনীয় বিশ্লেষণ যোগ করার অনুমতি দেবে।
- নেভিগেট করুন তথ্য প্রবাহ উপরের স্ক্রীন থেকে এবং রূপান্তর এবং বিশ্লেষণের জন্য প্রয়োজন অনুযায়ী প্রবাহে আরও ধাপ যোগ করুন। আপনি একটি চালাতে পারেন তথ্য অন্তর্দৃষ্টি রিপোর্ট ডেটা মানের সমস্যাগুলি সনাক্ত করতে এবং সেই সমস্যাগুলি সমাধানের জন্য সুপারিশ পেতে৷ আসুন কিছু উদাহরণ রূপান্তর তাকান.
- মধ্যে তথ্য প্রবাহ দেখুন, আপনার দেখা উচিত যে আমরা Hive সংযোগকারী ব্যবহার করে ডেটা উত্স হিসাবে EMR ব্যবহার করছি।
- এর উপর ক্লিক করা যাক + ডানদিকে বোতাম তথ্যের ধরণ এবং নির্বাচন করুন রূপান্তর যোগ করুন. আপনি যখন এটি করবেন, আপনি ফিরে যাবেন উপাত্ত দৃশ্য।
এর ডেটা অন্বেষণ করা যাক. আমরা দেখতে যে এটি যেমন একাধিক বৈশিষ্ট্য আছে iata_code, বিমানবন্দর, শহর, অবস্থা, দেশ, অক্ষাংশ, এবং দ্রাঘিমা. আমরা দেখতে পাচ্ছি যে সমগ্র ডেটাসেটটি একটি দেশে অবস্থিত, যেটি মার্কিন যুক্তরাষ্ট্রে এবং সেখানে মান অনুপস্থিত রয়েছে অক্ষাংশ এবং দ্রাঘিমা. অনুপস্থিত ডেটা পরামিতিগুলির অনুমানে পক্ষপাত ঘটাতে পারে এবং এটি নমুনার প্রতিনিধিত্বকে হ্রাস করতে পারে, তাই আমাদের কিছু সম্পাদন করতে হবে অভিযুক্তি এবং আমাদের ডেটাসেটে অনুপস্থিত মানগুলি পরিচালনা করুন।
- এর উপর ক্লিক করা যাক পদক্ষেপ যুক্ত করুন ডানদিকে নেভিগেশন বারে বোতাম। নির্বাচন করুন হ্যান্ডেল অনুপস্থিত. নিম্নলিখিত স্ক্রিনশটগুলিতে কনফিগারেশনগুলি দেখা যাবে।
অধীনে রূপান্তর, নির্বাচন করা অভিযুক্ত করা। নির্বাচন করুন কলামের ধরন as সাংখ্যিক এবং ইনপুট কলাম নাম অক্ষাংশ এবং দ্রাঘিমাংশ আমরা একটি আনুমানিক মধ্যম মান ব্যবহার করে অনুপস্থিত মানগুলিকে গণনা করব।
প্রথমে ক্লিক করুন প্রি অনুপস্থিত মান দেখতে এবং তারপর রূপান্তর যোগ করতে আপডেটে ক্লিক করুন।
- আসুন এখন আরেকটি উদাহরণ রুপান্তর দেখি। একটি ML মডেল তৈরি করার সময়, কলামগুলি অপসারণ করা হয় যদি সেগুলি অপ্রয়োজনীয় হয় বা আপনার মডেলটিকে সাহায্য না করে৷ একটি কলাম অপসারণের সবচেয়ে সাধারণ উপায় হল এটি ফেলে দেওয়া। আমাদের ডেটাসেটে, বৈশিষ্ট্য দেশ বাদ দেওয়া যেতে পারে যেহেতু ডেটাসেটটি বিশেষভাবে ইউএস এয়ারপোর্ট ডেটার জন্য। কলাম পরিচালনা করতে, ক্লিক করুন ধাপ যোগ করুন ডানদিকে নেভিগেশন বারে বোতাম এবং নির্বাচন করুন কলাম পরিচালনা করুন. নিম্নলিখিত স্ক্রিনশটগুলিতে কনফিগারেশনগুলি দেখা যাবে। অধীন রুপান্তর, নির্বাচন করুন কলাম ড্রপ করুন, এবং অধীনে কলাম ড্রপ, নির্বাচন করুন দেশ.
- ক্লিক করুন প্রি এবং তারপর আপডেট কলাম ফেলে দিতে।
- ফিচার স্টোর হল ML মডেলগুলির জন্য বৈশিষ্ট্যগুলি সঞ্চয়, ভাগ এবং পরিচালনা করার জন্য একটি সংগ্রহস্থল৷ এর উপর ক্লিক করা যাক + ডানদিকে বোতাম কলাম ড্রপ করুন। নির্বাচন করা রপ্তানি করা এবং নির্বাচন করুন সেজমেকার ফিচার স্টোর (জুপিটার নোটবুকের মাধ্যমে).
- নির্বাচন করে সেজমেকার ফিচার স্টোর গন্তব্য হিসাবে, আপনি বৈশিষ্ট্যগুলিকে একটি বিদ্যমান বৈশিষ্ট্য গোষ্ঠীতে সংরক্ষণ করতে পারেন বা একটি নতুন তৈরি করতে পারেন৷
আমরা এখন ডেটা র্যাংলার দিয়ে বৈশিষ্ট্য তৈরি করেছি এবং সহজেই ফিচার স্টোরে সেই বৈশিষ্ট্যগুলি সংরক্ষণ করেছি। আমরা ডেটা র্যাংলার UI-তে বৈশিষ্ট্য প্রকৌশলের জন্য একটি উদাহরণ ওয়ার্কফ্লো দেখিয়েছি। তারপরে আমরা একটি নতুন বৈশিষ্ট্য গ্রুপ তৈরি করে ডেটা র্যাংলার থেকে সরাসরি ফিচার স্টোরে সেই বৈশিষ্ট্যগুলি সংরক্ষণ করেছি। অবশেষে, আমরা ফিচার স্টোরে সেই বৈশিষ্ট্যগুলিকে গ্রাস করার জন্য একটি প্রক্রিয়াকরণের কাজ চালিয়েছি। ডেটা র্যাংলার এবং ফিচার স্টোর একসাথে আমাদের ন্যূনতম কোডিং প্রয়োজনে আমাদের ডেটা প্রস্তুতির কাজগুলিকে স্ট্রিমলাইন করতে স্বয়ংক্রিয় এবং পুনরাবৃত্তিযোগ্য প্রক্রিয়া তৈরি করতে সাহায্য করেছে। ডেটা র্যাংলার আমাদের একই ডেটা প্রস্তুতির প্রবাহ স্বয়ংক্রিয় করার জন্য নমনীয়তা প্রদান করে নির্ধারিত কাজ. আমরা স্বয়ংক্রিয়ভাবেও করতে পারি সেজমেকার অটোপাইলট ব্যবহার করে মডেলগুলিকে ট্রেন এবং স্থাপন করুন ডেটা র্যাংলারের ভিজ্যুয়াল ইন্টারফেস থেকে, অথবা সেজমেকার পাইপলাইন (জুপিটার নোটবুকের মাধ্যমে) দিয়ে প্রশিক্ষণ বা ফিচার ইঞ্জিনিয়ারিং পাইপলাইন তৈরি করুন এবং সেজমেকার ইনফারেন্স পাইপলাইন (জুপিটার নোটবুকের মাধ্যমে) দিয়ে ইনফারেন্স এন্ডপয়েন্টে স্থাপন করুন।
পরিষ্কার কর
ডেটা র্যাংলারের সাথে আপনার কাজ সম্পূর্ণ হলে, নিম্নলিখিত পদক্ষেপগুলি আপনাকে অতিরিক্ত ফি খরচ এড়াতে তৈরি সংস্থানগুলি মুছে ফেলতে সহায়তা করবে।
- SageMaker স্টুডিও বন্ধ করুন।
সেজমেকার স্টুডিও থেকে, সমস্ত ট্যাব বন্ধ করুন, তারপর নির্বাচন করুন ফাইল তারপর শাট ডাউন. একবার প্রম্পট করলে সিলেক্ট করুন সব বন্ধ করুন.
ইনস্ট্যান্স প্রকারের উপর ভিত্তি করে শাটডাউন হতে কয়েক মিনিট সময় লাগতে পারে। ব্যবহারকারীর প্রোফাইলের সাথে যুক্ত সমস্ত অ্যাপ মুছে ফেলা হয়েছে তা নিশ্চিত করুন। যদি সেগুলি মোছা না হয় তবে ব্যবহারকারীর প্রোফাইলের অধীনে সংশ্লিষ্ট অ্যাপটি ম্যানুয়ালি মুছুন।
- ক্লাউডফরমেশন লঞ্চ থেকে তৈরি করা যেকোনো S3 বালতি খালি করুন।
AWS কনসোল অনুসন্ধানে S3 অনুসন্ধান করে Amazon S3 পৃষ্ঠাটি খুলুন। ক্লাস্টার প্রভিশন করার সময় তৈরি করা যেকোন S3 বালতি খালি করুন। বালতি বিন্যাস হবে dw-emr-hive-blog-
.
- সেজমেকার স্টুডিও ইএফএস মুছুন।
AWS কনসোল অনুসন্ধানে EFS অনুসন্ধান করে EFS পৃষ্ঠাটি খুলুন।
সেজমেকার দ্বারা তৈরি করা ফাইল সিস্টেমটি সনাক্ত করুন। আপনি ক্লিক করে এটি নিশ্চিত করতে পারেন ফাইল সিস্টেম আইডি এবং ট্যাগ নিশ্চিত করা ManagedByAmazonSageMakerResource
উপরে ট্যাগ ট্যাব।
- ক্লাউডফর্মেশন স্ট্যাকগুলি মুছুন। AWS কনসোল থেকে ক্লাউডফর্মেশন পরিষেবাটি অনুসন্ধান করে এবং খোলার মাধ্যমে ক্লাউডফরমেশন খুলুন।
দিয়ে শুরু টেমপ্লেট নির্বাচন করুন dw- নিচের স্ক্রিনে দেখানো হিসাবে এবং ক্লিক করে দেখানো স্ট্যাকটি মুছে ফেলুন মুছে ফেলা বোতাম.
এটি প্রত্যাশিত এবং আমরা এটিতে ফিরে আসব এবং পরবর্তী পদক্ষেপগুলিতে এটি পরিষ্কার করব৷
- CloudFormation স্ট্যাক সম্পূর্ণ করতে ব্যর্থ হওয়ার পরে VPC মুছুন। প্রথমে AWS কনসোল থেকে VPC খুলুন।
- এরপরে, শিরোনামযুক্ত সেজমেকার স্টুডিও ক্লাউডফর্মেশন দ্বারা তৈরি করা ভিপিসি সনাক্ত করুন
dw-emr-
, এবং তারপর VPC মুছে ফেলার জন্য প্রম্পটগুলি অনুসরণ করুন৷ - ক্লাউডফর্মেশন স্ট্যাক মুছুন।
CloudFormation-এ ফিরে যান এবং স্ট্যাক মুছে ফেলার জন্য পুনরায় চেষ্টা করুন dw-emr-hive-blog
.
সম্পূর্ণ! এই ব্লগ পোস্টে বর্ণিত CloudFormation টেমপ্লেট দ্বারা প্রবিধান করা সমস্ত সংস্থান এখন আপনার অ্যাকাউন্ট থেকে সরানো হবে।
উপসংহার
এই পোস্টে, আমরা কীভাবে ডেটা র্যাংলারে ডেটা উত্স হিসাবে অ্যামাজন ইএমআর সেট আপ করতে হয়, কীভাবে একটি ডেটাসেট রূপান্তর এবং বিশ্লেষণ করতে হয় এবং জুপিটার নোটবুকে ব্যবহারের জন্য ডেটা প্রবাহে ফলাফলগুলি কীভাবে রপ্তানি করতে হয় তা নিয়ে আলোচনা করেছি। ডেটা র্যাংলারের অন্তর্নির্মিত বিশ্লেষণাত্মক বৈশিষ্ট্যগুলি ব্যবহার করে আমাদের ডেটাসেটটি ভিজ্যুয়ালাইজ করার পরে, আমরা আমাদের ডেটা প্রবাহকে আরও উন্নত করেছি। কোডের একটি লাইন না লিখে আমরা যে ডেটা প্রস্তুতির পাইপলাইন তৈরি করেছি তা তাৎপর্যপূর্ণ।
ডেটা র্যাংলার দিয়ে শুরু করতে, দেখুন অ্যামাজন সেজমেকার ডেটা র্যাংলার সহ এমএল ডেটা প্রস্তুত করুন এবং সর্বশেষ তথ্য দেখুন ডেটা র্যাংলার পণ্য পৃষ্ঠা এবং AWS প্রযুক্তিগত নথি.
লেখক সম্পর্কে
অজয় গোবিন্দরাম AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি কৌশলগত গ্রাহকদের সাথে কাজ করেন যারা জটিল ব্যবসায়িক সমস্যা সমাধানের জন্য AI/ML ব্যবহার করছেন। তার অভিজ্ঞতা প্রযুক্তিগত দিকনির্দেশ প্রদানের পাশাপাশি পরিমিত থেকে বৃহৎ-স্কেল এআই/এমএল অ্যাপ্লিকেশন স্থাপনার জন্য ডিজাইন সহায়তা প্রদানের মধ্যে রয়েছে। তার জ্ঞান অ্যাপ্লিকেশন আর্কিটেকচার থেকে বিগ ডেটা, অ্যানালিটিক্স এবং মেশিন লার্নিং পর্যন্ত। তিনি বিশ্রামের সময় গান শুনতে উপভোগ করেন, বাইরের অভিজ্ঞতা লাভ করেন এবং তার প্রিয়জনদের সাথে সময় কাটান।
ইশার দুআ সান ফ্রান্সিসকো বে এরিয়াতে অবস্থিত একজন সিনিয়র সলিউশন আর্কিটেক্ট। তিনি AWS এন্টারপ্রাইজ গ্রাহকদের তাদের লক্ষ্য এবং চ্যালেঞ্জগুলি বোঝার মাধ্যমে বৃদ্ধি পেতে সহায়তা করেন এবং স্থিতিস্থাপকতা এবং মাপযোগ্যতা নিশ্চিত করার সাথে সাথে তারা কীভাবে তাদের অ্যাপ্লিকেশনগুলিকে ক্লাউড-নেটিভ পদ্ধতিতে আর্কিটেক্ট করতে পারেন সে সম্পর্কে তাদের গাইড করেন। তিনি মেশিন লার্নিং প্রযুক্তি এবং পরিবেশগত স্থায়িত্ব সম্পর্কে উত্সাহী।
বরুণ মেহতা AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি গ্রাহকদের এডব্লিউএস ক্লাউডে এন্টারপ্রাইজ-স্কেল ওয়েল-আর্কিটেক্টেড সলিউশন তৈরি করতে সহায়তা করার বিষয়ে উত্সাহী৷ তিনি কৌশলগত গ্রাহকদের সাথে কাজ করেন যারা জটিল ব্যবসায়িক সমস্যা সমাধানের জন্য AI/ML ব্যবহার করছেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/accelerate-time-to-insight-with-amazon-sagemaker-data-wrangler-and-the-power-of-apache-hive/
- : হয়
- $ ইউপি
- 1
- 10
- 100
- 11
- 7
- a
- সম্পর্কে
- দ্রুততর করা
- প্রবেশ
- অ্যাক্সেস প্রোটোকল
- অনুযায়ী
- হিসাব
- স্টক
- যোগ
- অতিরিক্ত
- অ্যাডমিন
- পরামর্শ
- পর
- এআই / এমএল
- বিমানবন্দর
- সব
- অনুমতি
- অনুমতি
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- আমাজন EC2
- আমাজন ইএমআর
- আমাজন সেজমেকার
- অ্যামাজন সেজমেকার ডেটা র্যাংলার
- অ্যামাজন সেজমেকার স্টুডিও
- পরিমাণে
- বিশ্লেষণ
- বিশ্লেষণ
- বিশ্লেষণাত্মক
- বৈশ্লেষিক ন্যায়
- বিশ্লেষণ করা
- এবং
- অন্য
- এ্যাপাচি
- অ্যাপ্লিকেশন
- আবেদন
- অ্যাপ্লিকেশন
- যথাযথ
- অ্যাপস
- স্থাপত্য
- রয়েছি
- এলাকায়
- AS
- সহায়তা
- যুক্ত
- At
- বিশুদ্ধতা প্রমাণ করা
- অনুমোদিত
- প্রমাণীকরণ
- লেখক
- স্বয়ংক্রিয় পদ্ধতি প্রয়োগ করা
- স্বয়ংক্রিয়
- স্বয়ংক্রিয়ভাবে
- ডেস্কটপ AWS
- এডাব্লুএস ক্লাউডফর্মেশন
- এডাব্লুএস আঠালো
- পিছনে
- বার
- ভিত্তি
- উপসাগর
- BE
- কারণ
- হচ্ছে
- পক্ষপাত
- বিশাল
- বড় ডেটা
- ব্লক
- ব্লগ
- বক্স
- আনা
- নির্মাণ করা
- ভবন
- বিল্ট-ইন
- ব্যবসায়
- বোতাম
- by
- CAN
- তালিকা
- কারণ
- চ্যালেঞ্জ
- পরিবর্তন
- চেক
- বেছে নিন
- ক্লিক
- ঘনিষ্ঠ
- মেঘ
- গুচ্ছ
- কোড
- কোডিং
- স্তম্ভ
- কলাম
- আসা
- সাধারণ
- সম্পূর্ণ
- জটিল
- উপাদান
- গনা
- নিশ্চিত করা
- সংযোগ করা
- সংযুক্ত
- সংযোজক
- সংযোগ
- সংযোগ স্থাপন করে
- কনসোল
- অবিরত
- দেশ
- আবরণ
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- পরিচয়পত্র
- সংকটপূর্ণ
- বাঁক
- গ্রাহকদের
- উপাত্ত
- ডেটা প্রস্তুতি
- তথ্য প্রক্রিয়াজাতকরণ
- ডেটাবেস
- ডেটাসেট
- লেনদেন
- ডিফল্ট
- চাহিদা
- প্রদর্শন
- স্থাপন
- স্থাপনার
- বর্ণিত
- নকশা
- গন্তব্য
- বিস্তারিত
- বিভিন্ন
- অভিমুখ
- সরাসরি
- আবিষ্কার করা
- ডোমেইন
- Dont
- নিচে
- ড্রপ
- বাদ
- প্রতি
- সহজে
- সম্পাদক
- পারেন
- সক্ষম করা
- সম্ভব
- শেষপ্রান্ত
- ইঞ্জিন
- প্রকৌশলী
- প্রকৌশল
- প্রকৌশলী
- উন্নত
- নিশ্চিত
- প্রবেশ করান
- উদ্যোগ
- সমগ্র
- পরিবেশ
- পরিবেশ
- অপরিহার্য
- স্থাপন করা
- মূল্যায়ন
- উদাহরণ
- উদাহরণ
- ফাঁসি
- বিদ্যমান
- প্রত্যাশিত
- অভিজ্ঞতা
- সম্মুখীন
- অন্বেষণ করুণ
- অনুসন্ধানকারী
- রপ্তানি
- ব্যর্থ
- পরিচিত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ফি
- কয়েক
- পরিশেষে
- প্রথম
- ঠিক করা
- প্রবাহ
- অনুসরণ করা
- অনুসরণ
- জন্য
- ফ্রান্সিসকো
- থেকে
- অধিকতর
- পাওয়া
- Go
- গোল
- গ্রুপ
- গ্রুপের
- হত্তয়া
- নির্দেশিকা
- হাতল
- আছে
- সাহায্য
- সাহায্য
- সাহায্য
- সাহায্য
- মধুচক্র
- হোম
- নিমন্ত্রণকর্তা
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- সনাক্ত করা
- পরিচয়
- আমদানি
- আমদানি
- in
- সুদ্ধ
- তথ্য
- সূক্ষ্মদৃষ্টি
- উদাহরণ
- ইন্টারেক্টিভ
- ইন্টারফেস
- জড়িত
- সমস্যা
- IT
- কাজ
- জবস
- JPG
- জ্ঞান
- বড়
- বড় আকারের
- গত
- সর্বশেষ
- শুরু করা
- শিক্ষা
- লেভারেজ
- মিথ্যা
- লাইটওয়েট
- LIMIT টি
- লাইন
- শ্রবণ
- দীর্ঘ
- অনেকক্ষণ
- দেখুন
- পছন্দ
- মেশিন
- মেশিন লার্নিং
- করা
- পরিচালনা করা
- ব্যবস্থাপনা
- পদ্ধতি
- ম্যানুয়ালি
- মেনু
- হতে পারে
- সর্বনিম্ন
- মিনিট
- অনুপস্থিত
- ML
- মোড
- মডেল
- মডেল
- অধিক
- সেতু
- বহু
- সঙ্গীত
- নাম
- নামে
- নাম
- ন্যাভিগেশন
- প্রয়োজন
- নতুন
- নোটবই
- of
- on
- ONE
- নিরন্তর
- খোলা
- উদ্বোধন
- পছন্দ
- অপশন সমূহ
- অন্যান্য
- বিদেশে
- পৃষ্ঠা
- পরামিতি
- অংশ
- কামুক
- পাসওয়ার্ড
- সম্পাদন করা
- সঞ্চালিত
- অনুমতি
- পাইপলাইন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- জনপ্রিয়
- পোস্ট
- ক্ষমতা
- প্রস্তুত করা
- প্রস্তুতি
- প্রি
- সমস্যা
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- পণ্য
- পেশাদার
- প্রোফাইল
- প্রোটোকল
- প্রদান
- উপলব্ধ
- প্রদানের
- বিধান
- গুণ
- দ্রুত
- এলোমেলো
- প্রস্তুত
- সুপারিশ
- রেকর্ড
- হ্রাস করা
- হ্রাস
- এলাকা
- অপসারণ
- অপসারিত
- পুনরাবৃত্তিযোগ্য
- প্রতিবেদন
- সংগ্রহস্থলের
- প্রতিনিধিত্ব করে
- প্রয়োজনীয়
- স্থিতিস্থাপকতা
- Resources
- ফলাফল
- এখানে ক্লিক করুন
- ভূমিকা
- চালান
- দৌড়
- ঋষি নির্মাতা
- সেজমেকার ইনফারেন্স
- সেজমেকার পাইপলাইন
- একই
- সান
- সানফ্রান্সিসকো
- সংরক্ষণ করুন
- স্কেলেবিলিটি
- স্কেল
- দৃশ্যকল্প
- তফসিল
- বিজ্ঞানীরা
- স্ক্রিন
- স্ক্রিনশট
- সার্চ
- অনুসন্ধানের
- গোপন
- অধ্যায়
- নিরাপত্তা
- নির্বাচিত
- নির্বাচন
- নির্বাচন
- জ্যেষ্ঠ
- সেবা
- সেট
- সেটিংস
- শেয়ার
- উচিত
- প্রদর্শিত
- গুরুত্বপূর্ণ
- কেবল
- থেকে
- একক
- আয়তন
- So
- সমাধান
- সলিউশন
- সমাধান
- কিছু
- উৎস
- সোর্স
- স্ফুলিঙ্গ
- বিশেষভাবে
- খরচ
- অকুস্থল
- গাদা
- স্ট্যাক
- মান
- শুরু
- শুরু হচ্ছে
- বিবৃতি
- পরিসংখ্যান
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- দোকান
- সঞ্চিত
- কৌশলগত
- স্ট্রিমলাইন
- চিত্রশালা
- সাবনেট
- পরবর্তী
- সফলভাবে
- এমন
- সমর্থিত
- সাস্টেনিবিলিটি
- পদ্ধতি
- টেবিল
- TAG
- গ্রহণ করা
- লাগে
- গ্রহণ
- কাজ
- কারিগরী
- প্রযুক্তি
- টেমপ্লেট
- টেমপ্লেট
- ধন্যবাদ
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- এইগুলো
- তৃতীয় পক্ষের
- দ্বারা
- সময়
- থেকে
- আজ
- একসঙ্গে
- শীর্ষ
- রেলগাড়ি
- প্রশিক্ষণ
- রুপান্তর
- রূপান্তরের
- ui
- অধীনে
- বোধশক্তি
- অনন্য
- সার্বজনীন
- আপডেট
- URL টি
- us
- ব্যবহার
- ব্যবহারকারী
- সাধারণত
- মূল্য
- মানগুলি
- বৈচিত্র্য
- বিভিন্ন
- মাধ্যমে
- চেক
- অপেক্ষা করুন
- উপায়..
- সপ্তাহ
- আমরা একটি
- যে
- যখন
- হু
- ব্যাপক
- উইকিপিডিয়া
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কাজ
- would
- লেখা
- কোড লিখুন
- লেখা
- ইয়ামল
- আপনি
- আপনার
- zephyrnet