অ্যামাজন পূর্বাভাস ব্যবহার করে স্নোফ্লেকে আপনার সময় সিরিজের পূর্বাভাস স্বয়ংক্রিয় করুন

এই পোস্টটি Andries Engelbrecht এবং Snowflake, Inc এর জেমস সান এর যৌথ সহযোগিতা।

ক্লাউড কম্পিউটিং বিপ্লব ব্যবসাগুলিকে ক্ষমতা পরিকল্পনা বা ডেটা ধরে রাখার সীমাবদ্ধতা ছাড়াই কর্পোরেট এবং সাংগঠনিক ডেটা ক্যাপচার এবং ধরে রাখতে সক্ষম করেছে। এখন, অনুদৈর্ঘ্য ডেটার বৈচিত্র্যময় এবং বিশাল মজুদ সহ, কোম্পানিগুলি স্বল্পমেয়াদী এবং দীর্ঘমেয়াদী পরিকল্পনার সিদ্ধান্ত নেওয়ার সময় আরও ভাল এবং জ্ঞাত সিদ্ধান্ত নেওয়ার জন্য তাদের ডিজিটাল সম্পদগুলি ব্যবহার করার জন্য ক্রমবর্ধমানভাবে অভিনব এবং প্রভাবশালী উপায়গুলি খুঁজে পেতে সক্ষম হচ্ছে৷ টাইম সিরিজের পূর্বাভাস একটি অনন্য এবং প্রয়োজনীয় বিজ্ঞান যা কোম্পানিগুলিকে সর্বোত্তম লাভের প্রায়শই প্রতিযোগিতামূলক লক্ষ্যগুলির বিরুদ্ধে গ্রাহক পরিষেবার স্তরের ভারসাম্য বজায় রাখতে সহায়তা করার জন্য অস্ত্রোপচারের পরিকল্পনার সিদ্ধান্ত নিতে দেয়।

AWS-এ, আমরা কখনও কখনও এমন গ্রাহকদের সাথে কাজ করি যারা আমাদের প্রযুক্তি অংশীদার নির্বাচন করেছেন তুষারকণা একটি ক্লাউড ডেটা প্ল্যাটফর্ম অভিজ্ঞতা প্রদান করতে। এমন একটি প্ল্যাটফর্ম থাকা যা বছরের পর বছর এবং বছরের ঐতিহাসিক ডেটা স্মরণ করতে পারে তা শক্তিশালী—কিন্তু আপনি কীভাবে এই ডেটা ব্যবহার করতে পারেন সামনের দিকে তাকাতে এবং আগামীকালের জন্য পরিকল্পনা করার জন্য গতকালের প্রমাণ ব্যবহার করতে পারেন? কল্পনা করুন যে স্নোফ্লেক-এ আপনার সত্যের একক সংস্করণ-এ যা ঘটেছে তা কেবল উপলব্ধই নয়, তবে নন-সিলোড ডেটার একটি সংলগ্ন সেটও যা ভবিষ্যতের দিন, সপ্তাহ বা মাসের জন্য একটি সম্ভাব্য পূর্বাভাস দেয়।

একটি সহযোগিতামূলক সরবরাহ শৃঙ্খলে, অংশীদারদের মধ্যে তথ্য ভাগ করে নেওয়া কর্মক্ষমতা উন্নত করতে পারে, প্রতিযোগিতা বাড়াতে পারে এবং সম্পদের অপচয় কমাতে পারে। আপনার ভবিষ্যত পূর্বাভাস শেয়ার করা সহজতর হতে পারে স্নোফ্লেক ডেটা শেয়ারিং, যা আপনাকে নির্বিঘ্নে আপনার ব্যবসায়িক অংশীদারদের সাথে নিরাপদে সহযোগিতা করতে এবং ব্যবসার অন্তর্দৃষ্টি সনাক্ত করতে সক্ষম করে। অনেক অংশীদার তাদের পূর্বাভাস শেয়ার করলে, এটি সংযুক্ত সাপ্লাই চেইনে বুলহুইপ প্রভাব নিয়ন্ত্রণ করতে সাহায্য করতে পারে। আপনি কার্যকরভাবে ব্যবহার করতে পারেন স্নোফ্লেক মার্কেটপ্লেস এ উত্পাদিত ডেটাসেট থেকে আপনার ভবিষ্যদ্বাণীমূলক বিশ্লেষণ নগদীকরণ করতে আমাজন পূর্বাভাস.

এই পোস্টে, আমরা আলোচনা করেছি কিভাবে স্নোফ্লেক এবং পূর্বাভাস ব্যবহার করে একটি স্বয়ংক্রিয় সময় সিরিজ পূর্বাভাস সমাধান বাস্তবায়ন করা যায়।

প্রয়োজনীয় AWS পরিষেবা যা এই সমাধানটি সক্ষম করে

পূর্বাভাস বিভিন্ন অত্যাধুনিক টাইম সিরিজ অ্যালগরিদম প্রদান করে এবং প্রায় যেকোনো কাজের চাপের প্রয়োজন মেটাতে পর্যাপ্ত বিতরণকৃত কম্পিউটিং ক্ষমতা বরাদ্দ পরিচালনা করে। পূর্বাভাসের সাথে, আপনি একটি মডেল পাবেন না; আপনি অনেক মডেলের শক্তি পাবেন যেগুলি সেটের প্রতিটি সময় সিরিজের জন্য একটি অনন্যভাবে ওজনযুক্ত মডেলে অপ্টিমাইজ করা হয়েছে। সংক্ষেপে, পরিষেবাটি সমস্ত বিজ্ঞান, ডেটা হ্যান্ডলিং এবং রিসোর্স ম্যানেজমেন্টকে একটি সাধারণ API কলে সরবরাহ করে।

এডাব্লুএস স্টেপ ফাংশন একটি প্রক্রিয়া অর্কেস্ট্রেশন প্রক্রিয়া প্রদান করে যা সামগ্রিক কর্মপ্রবাহ পরিচালনা করে। পরিষেবাটি API কলগুলিকে এনক্যাপসুলেট করে অ্যামাজন অ্যাথেনা, এডাব্লুএস ল্যাম্বদা, এবং পূর্বাভাস একটি স্বয়ংক্রিয় সমাধান তৈরি করতে যা স্নোফ্লেক থেকে ডেটা সংগ্রহ করে, পূর্বাভাস ব্যবহার করে ঐতিহাসিক ডেটাকে ভবিষ্যতের ভবিষ্যদ্বাণীতে রূপান্তর করতে এবং তারপরে স্নোফ্লেকের ভিতরে ডেটা তৈরি করে।

এথেনা ফেডারেটেড কোয়েরিগুলি সহ বিভিন্ন এন্টারপ্রাইজ ডেটা উত্সের সাথে সংযোগ করতে পারে আমাজন ডায়নামোডিবি, আমাজন রেডশিফ্ট, আমাজন ওপেন সার্চ সার্ভিস, MySQL, PostgreSQL, Redis, এবং অন্যান্য জনপ্রিয় তৃতীয় পক্ষের ডেটা স্টোর, যেমন Snowflake। ডেটা সংযোগকারীগুলি ল্যাম্বডা ফাংশন হিসাবে চালিত হয় - আপনি এই উত্স কোডটি চালু করতে সহায়তা করতে ব্যবহার করতে পারেন৷ অ্যামাজন অ্যাথেনা ল্যাম্বদা স্নোফ্লেক সংযোগকারী এবং সাথে সংযোগ করুন AWS প্রাইভেট লিঙ্ক অথবা NAT গেটওয়ের মাধ্যমে।

সমাধান ওভারভিউ

AWS-এ আমরা প্রায়শই যে কাজগুলি করি তার মধ্যে একটি হল গ্রাহকদের তাদের লক্ষ্যগুলি উপলব্ধি করতে সাহায্য করার পাশাপাশি অপরিবর্তিত ভারী উত্তোলনের বোঝা অপসারণ করা। এই মনের মধ্যে, আমরা নিম্নলিখিত প্রস্তাব সমাধান AWS এবং Snowflake গ্রাহকদের নিম্নলিখিত পদক্ষেপগুলি সম্পাদন করতে সহায়তা করতে:

1. স্নোফ্লেক থেকে ডেটা রপ্তানি করুন। একটি রেডি-টু-গো ওয়ার্কফ্লো দ্বারা চালিত প্রয়োজনীয় ঐতিহাসিক ডেটা আনলোড করতে আপনি নমনীয় মেটাডেটা ব্যবহার করতে পারেন।
2. পূর্বাভাসে ডেটা আমদানি করুন। ব্যবহারের ক্ষেত্রে, শিল্প বা স্কেল যাই হোক না কেন, প্রস্তুত ডেটা ইনপুট আমদানি করা সহজ এবং স্বয়ংক্রিয়।
3. একটি অত্যাধুনিক টাইম সিরিজ মডেলকে প্রশিক্ষণ দিন। আপনি অন্তর্নিহিত ডেটা বিজ্ঞান বা হার্ডওয়্যার বিধান পরিচালনা না করেই সময় সিরিজের পূর্বাভাস স্বয়ংক্রিয় করতে পারেন।
4. প্রশিক্ষিত মডেলের বিপরীতে অনুমান তৈরি করুন। পূর্বাভাস-উত্পাদিত আউটপুট যে কোনো উদ্দেশ্যে ব্যবহার করা সহজ। এগুলি সহজ CSV বা Parquet ফাইল হিসাবে উপলব্ধ আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)।
5. স্নোফ্লেকে সরাসরি ইতিহাস এবং ভবিষ্যতের ভবিষ্যদ্বাণী পাশাপাশি ব্যবহার করুন।

নিম্নলিখিত চিত্রটি ব্যাখ্যা করে যে কীভাবে একটি স্বয়ংক্রিয় ওয়ার্কফ্লো বাস্তবায়ন করা যায় যা স্নোফ্লেক গ্রাহকদের পূর্বাভাস, একটি AWS পরিচালিত পরিষেবা দ্বারা সমর্থিত অত্যন্ত সঠিক সময় সিরিজের পূর্বাভাস থেকে উপকৃত হতে সক্ষম করে। ব্যবহারের ক্ষেত্রে এবং শিল্পকে অতিক্রম করে, এখানে দেওয়া নকশাটি প্রথমে স্নোফ্লেক থেকে ঐতিহাসিক ডেটা বের করে। এর পরে, ওয়ার্কফ্লো টাইম সিরিজ গণনার জন্য প্রস্তুত ডেটা জমা দেয়। অবশেষে, ভবিষ্যতের সময়ের পূর্বাভাসগুলি স্থানীয়ভাবে Snowflake-এ উপলব্ধ, যৌথ AWS এবং Snowflake গ্রাহকদের জন্য একটি বিরামহীন ব্যবহারকারীর অভিজ্ঞতা তৈরি করে৷

যদিও এই স্থাপত্যটি শুধুমাত্র মূল প্রযুক্তিগত বিশদগুলিকে হাইলাইট করে, সমাধানটি একসাথে রাখা সহজ, কখনও কখনও 1-2 কার্যদিবসের মধ্যে। আমরা আপনাকে কাজের নমুনা কোড সরবরাহ করি যাতে একা এবং মাথার সূচনা ছাড়াই সমাধান তৈরির অভেদহীন ভারী উত্তোলন দূর করা যায়। আপনি একটি কাজের চাপের জন্য এই প্যাটার্নটি কীভাবে বাস্তবায়ন করবেন তা আবিষ্কার করার পরে, আপনি স্নোফ্লেকে থাকা যেকোনো ডেটার জন্য পূর্বাভাস প্রক্রিয়াটি পুনরাবৃত্তি করতে পারেন। অনুসরণ করা বিভাগগুলিতে, আমরা মূল পদক্ষেপগুলির রূপরেখা দিই যা আপনাকে একটি স্বয়ংক্রিয় পাইপলাইন তৈরি করতে সক্ষম করে।

স্নোফ্লেক থেকে ঐতিহাসিক তথ্য বের করুন

এই প্রথম ধাপে, আপনি কোন ডেটার পূর্বাভাস দিতে চান তা সংজ্ঞায়িত করতে আপনি SQL ব্যবহার করেন এবং একটি Athena Federated Query কে Snowflake-এর সাথে সংযোগ করতে দিন, আপনার কাস্টমাইজ করা SQL চালান এবং Amazon S3-এ সেট করা রেকর্ড বজায় রাখতে পারেন। পূর্বাভাসের জন্য অ্যামাজন এস৩-এ ইনজেশনের আগে ঐতিহাসিক প্রশিক্ষণের ডেটা পাওয়া প্রয়োজন; অতএব, Amazon S3 স্নোফ্লেক এবং পূর্বাভাসের মধ্যে একটি মধ্যবর্তী স্টোরেজ বাফার হিসাবে কাজ করে। স্নোফ্লেক এবং অন্যান্য ভিন্নধর্মী ডেটা উত্স সক্ষম করতে আমরা এই ডিজাইনে অ্যাথেনাকে বৈশিষ্ট্যযুক্ত করি। আপনি যদি পছন্দ করেন, আরেকটি পদ্ধতি হল স্নোফ্লেক কপি কমান্ড এবং স্টোরেজ ইন্টিগ্রেশন ব্যবহার করে অ্যামাজন S3-তে প্রশ্নের ফলাফল লিখতে।

ট্রান্সপোর্ট মেকানিজম ব্যবহার করা যাই হোক না কেন, আমরা এখন তথ্যের পূর্বাভাসের প্রয়োজনীয়তার রূপরেখা দিই এবং কীভাবে ডেটা সংজ্ঞায়িত, প্রস্তুত এবং বের করা হয়। নিম্নলিখিত বিভাগে, আমরা কীভাবে পূর্বাভাসে ডেটা আমদানি করতে হয় তা বর্ণনা করি।

নিম্নলিখিত স্ক্রিনশটটি চিত্রিত করে যে ডেটার একটি সেট তার নেটিভ স্নোফ্লেক স্কিমাতে কেমন হতে পারে।

যদিও এই স্ক্রিনশটটি দেখায় যে ডেটা তার স্বাভাবিক অবস্থায় কেমন দেখায়, পূর্বাভাসের জন্য ডেটাকে তিনটি ভিন্ন ডেটাসেটে আকার দিতে হবে:

• টার্গেট টাইম সিরিজ - এটি একটি প্রয়োজনীয় ডেটাসেট যার মধ্যে টার্গেট ভেরিয়েবল রয়েছে এবং এটি ভবিষ্যতের মানকে প্রশিক্ষণ ও ভবিষ্যদ্বাণী করতে ব্যবহৃত হয়। একা, এই ডেটাসেটটি একটি ভিন্ন ভিন্ন টাইম সিরিজ মডেল হিসেবে কাজ করে।
• সম্পর্কিত সময় সিরিজ - এটি একটি ঐচ্ছিক ডেটাসেট যাতে টেম্পোরাল ভেরিয়েবল থাকে যার টার্গেট ভেরিয়েবলের সাথে সম্পর্ক থাকা উচিত। উদাহরণগুলির মধ্যে রয়েছে পরিবর্তনশীল মূল্য, প্রচারমূলক প্রচেষ্টা, হাইপারলোকাল ইভেন্ট ট্র্যাফিক, অর্থনৈতিক দৃষ্টিভঙ্গি ডেটা—আপনি যা অনুভব করেন তা লক্ষ্য সময়ের সিরিজে বৈচিত্র ব্যাখ্যা করতে এবং একটি ভাল পূর্বাভাস তৈরি করতে সহায়তা করতে পারে। সম্পর্কিত টাইম সিরিজ ডেটাসেট সঠিকতা উন্নত করতে সাহায্য করতে আপনার ইউনিভেরিয়েট মডেলকে মাল্টিভেরিয়েটে পরিণত করে।
• আইটেম মেটাডেটা - এটি একটি ঐচ্ছিক ডেটাসেট যাতে পূর্বাভাসিত আইটেম সম্পর্কে স্পষ্ট তথ্য থাকে। আইটেম মেটাডেটা প্রায়ই নতুন লঞ্চ করা পণ্যগুলির কার্যক্ষমতা বৃদ্ধিতে সহায়তা করে, যাকে আমরা a শব্দ করি কোল্ড স্টার্ট.

পূর্বাভাস ডেটাসেটগুলির প্রতিটির পরিধি সংজ্ঞায়িত করে, আপনি স্নোফ্লেকে প্রশ্নগুলি লিখতে পারেন যা ডেটার পছন্দসই উপসেট পেতে সঠিক ফিল্টার সহ প্রয়োজনীয় উত্স টেবিল থেকে সঠিক ডেটা ক্ষেত্রগুলি উত্স করে৷ নিম্নলিখিত তিনটি উদাহরণ SQL কোয়েরি প্রতিটি ডেটাসেট তৈরি করতে ব্যবহৃত হয় যা পূর্বাভাস একটি নির্দিষ্ট খাদ্য চাহিদা পরিকল্পনা দৃশ্যের জন্য প্রয়োজন।

আমরা টার্গেট টাইম সিরিজ কোয়েরি দিয়ে শুরু করি:

select LOCATION_ID, ITEM_ID, 
DATE_DEMAND as TIMESTAMP, QTY_DEMAND as TARGET_VALUE 
from DEMO.FOOD_DEMAND

ঐচ্ছিক সম্পর্কিত টাইম সিরিজ কোয়েরি কোভেরিয়েটগুলিকে টেনে আনে যেমন দাম এবং প্রচারমূলক:

select LOCATION_ID,ITEM_ID, DATE_DEMAND as TIMESTAMP,
CHECKOUT_PRICE, BASE_PRICE,
EMAILER_FOR_PROMOTION, HOMEPAGE_FEATURED
from DEMO.FOOD_DEMAND

আইটেম মেটাডেটা ক্যোয়ারী স্বতন্ত্র শ্রেণীগত মান নিয়ে আসে যা মাত্রা দিতে এবং পূর্বাভাসিত আইটেমটিকে আরও সংজ্ঞায়িত করতে সহায়তা করে:

select DISTINCT ITEM_ID, FOOD_CATEGORY, FOOD_CUISINE
from DEMO.FOOD_DEMAND

উৎসের প্রশ্নগুলি সংজ্ঞায়িত করে, আমরা প্রশ্নগুলি জমা দিতে এবং পূর্বাভাস ব্যবহারের জন্য ফলস্বরূপ ডেটাসেটগুলি বজায় রাখতে একটি এথেনা ফেডারেটেড কোয়েরির মাধ্যমে স্নোফ্লেকের সাথে সংযোগ করতে পারি। আরো তথ্যের জন্য, পড়ুন অ্যাথেনা ফেডারেটেড ক্যোয়ারী ব্যবহার করে স্নোফ্লেক ক্যোয়ারী করুন এবং আপনার অ্যামাজন S3 ডেটা লেকে ডেটার সাথে যোগ দিন.

সার্জারির এথেনা স্নোফ্লেক সংযোগকারী গিটহাব রেপো স্নোফ্লেক সংযোগকারী ইনস্টল করতে সাহায্য করে। দ্য পূর্বাভাস MLOps GitHub রেপো এই পোস্টে সংজ্ঞায়িত সমস্ত ম্যাক্রো পদক্ষেপ অর্কেস্ট্রেট করতে সাহায্য করে এবং কোড না লিখেই তাদের পুনরাবৃত্তিযোগ্য করে তোলে।

পূর্বাভাসে ডেটা আমদানি করুন

আমরা পূর্ববর্তী ধাপটি সম্পূর্ণ করার পরে, একটি টার্গেট টাইম সিরিজ ডেটাসেট Amazon S3 এ রয়েছে এবং পূর্বাভাসে আমদানির জন্য প্রস্তুত৷ এছাড়াও, ঐচ্ছিক সম্পর্কিত টাইম সিরিজ এবং আইটেম মেটাডেটা ডেটাসেটগুলিও ইনজেশনের জন্য প্রস্তুত এবং প্রস্তুত হতে পারে। প্রদান করা সঙ্গে পূর্বাভাস MLOps সমাধান, আপনাকে এখানে যা করতে হবে তা হল ডেটা আমদানির জন্য দায়ী স্টেপ ফাংশন স্টেট মেশিন শুরু করুন—কোন কোডের প্রয়োজন নেই। পূর্বাভাস আপনার সরবরাহ করা প্রতিটি ডেটাসেটের জন্য একটি ক্লাস্টার চালু করে এবং এমএল মডেল বিল্ডিং এবং মডেল অনুমানের জন্য পরিষেবার জন্য ডেটা প্রস্তুত করে।

নির্ভুলতা পরিসংখ্যান সহ একটি টাইম সিরিজ এমএল মডেল তৈরি করুন

ডেটা আমদানি করার পরে, অত্যন্ত নির্ভুল সময় সিরিজ মডেলগুলি শুধুমাত্র একটি API কল করে তৈরি করা হয়। এই ধাপটি একটি স্টেপ ফাংশন স্টেট মেশিনের মধ্যে এনক্যাপসুলেট করা হয়েছে যা মডেল প্রশিক্ষণ শুরু করার জন্য পূর্বাভাস API শুরু করে। ভবিষ্যদ্বাণীকারী মডেলকে প্রশিক্ষিত করার পরে, রাষ্ট্রীয় যন্ত্রটি মডেল পরিসংখ্যান এবং ভবিষ্যদ্বাণীগুলি ব্যাকটেস্ট উইন্ডোতে Amazon S3 এ রপ্তানি করে৷ ব্যাকটেস্ট রপ্তানিগুলি স্নোফ্লেক দ্বারা একটি বাহ্যিক পর্যায় হিসাবে অনুসন্ধানযোগ্য, যেমনটি নিম্নলিখিত স্ক্রিনশটে দেখানো হয়েছে। আপনি যদি চান, আপনি একটি অভ্যন্তরীণ পর্যায়ে তথ্য সংরক্ষণ করতে পারেন. আপনার প্রদত্ত ডেটাসেটে টাইম সিরিজের পারফরম্যান্স স্প্রেড মূল্যায়ন করার জন্য ব্যাকটেস্ট মেট্রিক্স ব্যবহার করা।

ভবিষ্যতের পূর্বাভাস তৈরি করুন

পূর্ববর্তী ধাপ থেকে প্রশিক্ষিত মডেলের সাথে, একটি উদ্দেশ্য-নির্মিত স্টেপ ফাংশন স্টেট মেশিন ভবিষ্যত-তারিখের পূর্বাভাস তৈরি করতে Forecast API-কে কল করে। পূর্বাভাস অনুমান সম্পাদন করার জন্য একটি ক্লাস্টারের বিধান করে এবং পূর্ববর্তী ধাপে তৈরি একটি নামকৃত ভবিষ্যদ্বাণীকারী মডেলের মাধ্যমে আমদানি করা টার্গেট টাইম সিরিজ, সম্পর্কিত সময় সিরিজ এবং আইটেম মেটাডেটা ডেটাসেটগুলিকে টেনে আনে। ভবিষ্যদ্বাণীগুলি তৈরি হওয়ার পরে, রাষ্ট্রীয় যন্ত্র সেগুলিকে Amazon S3-তে লেখে, যেখানে আবার, সেগুলিকে স্নোফ্লেকের বাহ্যিক পর্যায় হিসাবে জায়গায় জিজ্ঞাসা করা যেতে পারে বা একটি অভ্যন্তরীণ পর্যায় হিসাবে স্নোফ্লেকে স্থানান্তরিত করা যেতে পারে।

স্নোফ্লেকে সরাসরি ভবিষ্যত তারিখের পূর্বাভাস ডেটা ব্যবহার করুন

AWS এই পদক্ষেপের জন্য একটি সম্পূর্ণ স্বয়ংক্রিয় সমাধান তৈরি করেনি; যাইহোক, এই পোস্টে সমাধানের সাথে, পূর্বাভাস দ্বারা পূর্ববর্তী দুটি ধাপে ডেটা ইতিমধ্যেই তৈরি করা হয়েছিল। আপনি আউটপুটগুলিকে কার্যযোগ্য ইভেন্ট হিসাবে বিবেচনা করতে পারেন বা ডেটাতে ব্যবসায়িক বুদ্ধিমত্তা ড্যাশবোর্ড তৈরি করতে পারেন। আপনি ভবিষ্যতের উত্পাদন পরিকল্পনা এবং ক্রয় আদেশ তৈরি করতে, ভবিষ্যতের রাজস্ব অনুমান করতে, স্টাফিং সংস্থান পরিকল্পনা তৈরি করতে এবং আরও অনেক কিছু করতে ডেটা ব্যবহার করতে পারেন। প্রতিটি ব্যবহারের ক্ষেত্রে ভিন্ন, কিন্তু এই পদক্ষেপের মূল বিষয় হল আপনার প্রতিষ্ঠানে বা এর বাইরে সঠিক ভোক্তা সিস্টেমে ভবিষ্যদ্বাণী প্রদান করা।

নিম্নলিখিত কোড স্নিপেটটি দেখায় কিভাবে স্নোফ্লেকের মধ্যে থেকে সরাসরি অ্যামাজন S3 ডেটা অনুসন্ধান করতে হয়:

CREATE or REPLACE FILE FORMAT mycsvformat
type = 'CSV'
field_delimiter = ','
empty_field_as_null = TRUE
ESCAPE_UNENCLOSED_FIELD = None
skip_header = 1;

CREATE or REPLACE STORAGE INTEGRATION amazon_forecast_integration
TYPE = EXTERNAL_STAGE
STORAGE_PROVIDER = S3
STORAGE_AWS_ROLE_ARN = 'arn:aws:iam::nnnnnnnnnn:role/snowflake-forecast-poc-role'
ENABLED = true
STORAGE_ALLOWED_LOCATIONS = (
's3://bucket/folder/forecast',
's3://bucket/folder/backtest-export/accuracy-metrics-values',
's3://bucket/folder/backtest-export/forecasted-values';

CREATE or REPLACE STAGE backtest_accuracy_metrics
storage_integration = amazon_forecast_integration
url = 's3://bucket/folder/backtest-export/accuracy-metrics-values'
file_format = mycsvformat;

CREATE or REPLACE EXTERNAL TABLE FOOD_DEMAND_BACKTEST_ACCURACY_METRICS (
ITEM_ID varchar AS (value:c1::varchar),
LOCATION_ID varchar AS (value:c2::varchar),
backtest_window varchar AS (value:c3::varchar),
backtestwindow_start_time varchar AS (value:c4::varchar),
backtestwindow_end_time varchar AS (value:c5::varchar),
wQL_10 varchar AS (value:c6::varchar),
wQL_30 varchar AS (value:c7::varchar),
wQL_50 varchar AS (value:c8::varchar),
wQL_70 varchar AS (value:c9::varchar),
wQL_90 varchar AS (value:c10::varchar),
AVG_wQL varchar AS (value:c11::varchar),
RMSE varchar AS (value:c12::varchar),
WAPE varchar AS (value:c13::varchar),
MAPE varchar AS (value:c14::varchar),
MASE varchar AS (value:c15::varchar)
)
with location = @backtest_accuracy_metrics
FILE_FORMAT = (TYPE = CSV FIELD_DELIMITER = ',' SKIP_HEADER = 1);

অনুমতি সেট আপ সম্পর্কে আরো তথ্যের জন্য, পড়ুন বিকল্প 1: Amazon S3 অ্যাক্সেস করতে একটি স্নোফ্লেক স্টোরেজ ইন্টিগ্রেশন কনফিগার করা. উপরন্তু, আপনি ব্যবহার করতে পারেন AWS পরিষেবা ক্যাটালগ Amazon S3 স্টোরেজ ইন্টিগ্রেশন কনফিগার করতে; আরো তথ্য পাওয়া যায় গিটহুব রেপো.

একটি সময়সূচী-ভিত্তিক বা ইভেন্ট-ভিত্তিক কর্মপ্রবাহ শুরু করুন

আপনি আপনার নির্দিষ্ট কাজের চাপের জন্য একটি সমাধান ইনস্টল করার পরে, আপনার চূড়ান্ত পদক্ষেপ হল একটি সময়সূচীতে প্রক্রিয়াটিকে স্বয়ংক্রিয় করা যা আপনার অনন্য প্রয়োজনীয়তা যেমন দৈনিক বা সাপ্তাহিক হিসাবে উপলব্ধি করে। প্রধান জিনিস কিভাবে প্রক্রিয়া শুরু করতে হয় সিদ্ধান্ত নিতে হয়। একটি পদ্ধতি হল স্নোফ্লেক ব্যবহার করে স্টেপ ফাংশন স্টেট মেশিন চালু করা এবং তারপরে ধাপগুলিকে ক্রমিকভাবে সাজানো। আরেকটি পদ্ধতি হল রাষ্ট্রীয় মেশিনগুলিকে একত্রে চেইন করা এবং একটি মাধ্যমে সামগ্রিকভাবে চালানো শুরু করা অ্যামাজন ইভেন্টব্রিজ নিয়ম, যা আপনি একটি ইভেন্ট বা নির্ধারিত কাজ থেকে চালানোর জন্য কনফিগার করতে পারেন—উদাহরণস্বরূপ, প্রতি রবিবার রাতে 9:00 PM GMT-8 এ।

উপসংহার

সর্বাধিক অভিজ্ঞতা সহ; সবচেয়ে নির্ভরযোগ্য, মাপযোগ্য, এবং নিরাপদ মেঘ; এবং পরিষেবা এবং সমাধানগুলির সর্বাধিক বিস্তৃত সেট, AWS হল আপনার ডেটা থেকে মান আনলক করার এবং এটিকে অন্তর্দৃষ্টিতে পরিণত করার সেরা জায়গা। এই পোস্টে, আমরা আপনাকে দেখিয়েছি কিভাবে একটি স্বয়ংক্রিয় সময়ের পূর্বাভাস ওয়ার্কফ্লো তৈরি করতে হয়। ভাল পূর্বাভাস উচ্চতর গ্রাহক পরিষেবা ফলাফল, কম অপচয়, কম নিষ্ক্রিয় তালিকা, এবং ব্যালেন্স শীটে আরও নগদ হতে পারে।

আপনি যদি স্বয়ংক্রিয় এবং পূর্বাভাস উন্নত করতে প্রস্তুত হন, আমরা আপনার যাত্রায় আপনাকে সহায়তা করতে এখানে আছি। আজই শুরু করতে আপনার AWS বা Snowflake অ্যাকাউন্ট টিমের সাথে যোগাযোগ করুন এবং আপনি আপনার ডেটা থেকে কী ধরনের মান আনলক করতে পারেন তা দেখতে একটি পূর্বাভাস কর্মশালার জন্য জিজ্ঞাসা করুন।

লেখক সম্পর্কে

বসকো আলবুকার্ক AWS-এর একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট এবং এন্টারপ্রাইজ ডাটাবেস বিক্রেতা এবং ক্লাউড প্রদানকারীদের থেকে ডাটাবেস এবং বিশ্লেষণ পণ্যগুলির সাথে কাজ করার 20 বছরের বেশি অভিজ্ঞতা রয়েছে৷ তিনি প্রযুক্তি সংস্থাগুলিকে ডেটা বিশ্লেষণ সমাধান এবং পণ্যগুলি ডিজাইন এবং প্রয়োগ করতে সহায়তা করেছেন।

ফ্রাঙ্ক ডালেজোট তিনি AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট এবং AWS-এ স্কেলযোগ্য অ্যাপ্লিকেশনগুলি ডিজাইন এবং তৈরি করতে স্বাধীন সফ্টওয়্যার বিক্রেতাদের সাথে কাজ করার বিষয়ে উত্সাহী৷ তার সফ্টওয়্যার তৈরি, বিল্ড পাইপলাইন বাস্তবায়ন এবং ক্লাউডে এই সমাধানগুলি স্থাপন করার অভিজ্ঞতা রয়েছে।

আন্দ্রিস এঙ্গেলব্রেখট স্নোফ্লেকের একজন প্রধান অংশীদার সলিউশন আর্কিটেক্ট এবং কৌশলগত অংশীদারদের সাথে কাজ করে। তিনি সক্রিয়ভাবে কৌশলগত অংশীদারদের সাথে নিযুক্ত আছেন যেমন AWS সমর্থনকারী পণ্য এবং পরিষেবা একীকরণের পাশাপাশি অংশীদারদের সাথে যৌথ সমাধানের বিকাশ। অ্যান্ড্রিজের ডেটা এবং বিশ্লেষণের ক্ষেত্রে 20 বছরেরও বেশি অভিজ্ঞতা রয়েছে।

চার্লস লাফলিন একজন প্রিন্সিপাল AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট এবং AWS-এ টাইম সিরিজ ML টিমে কাজ করেন। তিনি আমাজন পূর্বাভাস পরিষেবার রোডম্যাপ তৈরি করতে সাহায্য করেন এবং অত্যাধুনিক AWS প্রযুক্তি এবং চিন্তার নেতৃত্ব ব্যবহার করে তাদের ব্যবসায় রূপান্তরিত করতে বিভিন্ন AWS গ্রাহকদের সাথে প্রতিদিন সহযোগিতা করেন। চার্লস সাপ্লাই চেইন ম্যানেজমেন্টে এমএস ধারণ করেছেন এবং গত এক দশক ধরে ভোক্তা প্যাকেজড পণ্য শিল্পে কাজ করেছেন।

জেমস সান স্নোফ্লেকের একজন সিনিয়র পার্টনার সলিউশন আর্কিটেক্ট। জেমসের স্টোরেজ এবং ডেটা বিশ্লেষণে 20 বছরেরও বেশি অভিজ্ঞতা রয়েছে। স্নোফ্লেকের আগে, তিনি AWS এবং MapR-এ বেশ কয়েকটি সিনিয়র প্রযুক্তিগত পদে অধিষ্ঠিত ছিলেন। জেমস স্ট্যানফোর্ড বিশ্ববিদ্যালয় থেকে পিএইচডি করেছেন।