बिना किसी कोड के Amazon वैयक्तिकृत का उपयोग करके बैच अनुशंसा पाइपलाइन बनाएं

वैयक्तिकृत सामग्री के साथ ग्राहक जुड़ाव बढ़ाने की अधिक संभावना के साथ, व्यवसाय लगातार अपने ग्राहक की प्रोफ़ाइल और व्यवहार के आधार पर अनुरूप सामग्री प्रदान करना चाहते हैं। सिफारिश प्रणाली विशेष रूप से उस वरीयता का अनुमान लगाने की कोशिश करती है जो एक अंतिम उपयोगकर्ता किसी वस्तु को देगा। कुछ सामान्य उपयोग के मामलों में ऑनलाइन खुदरा स्टोर पर उत्पाद अनुशंसाएं, न्यूज़लेटर्स को वैयक्तिकृत करना, संगीत प्लेलिस्ट अनुशंसाएं उत्पन्न करना, या यहां तक ​​​​कि ऑनलाइन मीडिया सेवाओं पर समान सामग्री की खोज करना शामिल है।

हालांकि, मॉडल प्रशिक्षण, एल्गोरिथम चयन और मंच प्रबंधन में जटिलताओं के कारण एक प्रभावी सिफारिश प्रणाली बनाना चुनौतीपूर्ण हो सकता है। अमेज़न निजीकृत बिना मशीन लर्निंग (एमएल) विशेषज्ञता के वैयक्तिकृत उत्पाद और सामग्री अनुशंसाओं के माध्यम से डेवलपर्स को ग्राहक जुड़ाव में सुधार करने में सक्षम बनाता है। डेवलपर कैप्चर किए गए उपयोगकर्ता व्यवहार डेटा का उपयोग करके तुरंत ग्राहकों को शामिल करना शुरू कर सकते हैं। पर्दे के पीछे, अमेज़ॅन वैयक्तिकृत इस डेटा की जांच करता है, यह पहचानता है कि क्या सार्थक है, सही एल्गोरिदम का चयन करता है, आपके डेटा के लिए अनुकूलित एक वैयक्तिकरण मॉडल को प्रशिक्षित और अनुकूलित करता है, और एक एपीआई एंडपॉइंट के माध्यम से सिफारिशें प्रदान करता है।

हालांकि वास्तविक समय में सिफारिशें प्रदान करने से जुड़ाव और संतुष्टि को बढ़ावा देने में मदद मिल सकती है, कभी-कभी इसकी वास्तव में आवश्यकता नहीं हो सकती है, और इसे निर्धारित आधार पर बैच में प्रदर्शन करना अधिक लागत प्रभावी और प्रबंधनीय विकल्प हो सकता है।

यह पोस्ट आपको दिखाता है कि एडब्ल्यूएस सेवाओं का उपयोग न केवल अनुशंसाएं बनाने के लिए बल्कि बैच अनुशंसा पाइपलाइन को संचालित करने के लिए कैसे करें। हम कोड की एक भी पंक्ति के बिना एंड-टू-एंड समाधान के माध्यम से चलते हैं। हम दो विषयों पर विस्तार से चर्चा करते हैं:

समाधान अवलोकन

इस समाधान में, हम उपयोग करते हैं चलचित्र डाटासेट। इस डेटासेट में 86,000 उपयोगकर्ताओं की फिल्मों की 2,113 रेटिंग शामिल हैं। हम इनमें से प्रत्येक उपयोगकर्ता के लिए अनुशंसाएँ उत्पन्न करने के लिए इस डेटा का उपयोग करने का प्रयास करते हैं।

यह सुनिश्चित करने के लिए डेटा तैयार करना बहुत महत्वपूर्ण है कि हम ग्राहक व्यवहार डेटा को एक ऐसे प्रारूप में प्राप्त करें जो Amazon Personalize के लिए तैयार है। इस पोस्ट में वर्णित आर्किटेक्चर AWS ग्लू का उपयोग करता है, जो एक सर्वर रहित डेटा एकीकरण सेवा है, जो कच्चे डेटा को एक प्रारूप में बदलने के लिए है जो कि Amazon के उपभोग के लिए तैयार है। बैच अनुमान का उपयोग करके सभी उपयोगकर्ताओं के लिए बैच अनुशंसाएँ बनाने के लिए समाधान Amazon Personalize का उपयोग करता है। फिर हम एक स्टेप फंक्शन वर्कफ़्लो का उपयोग करते हैं ताकि स्वचालित वर्कफ़्लो को Amazon Personalize APIs को दोहराने योग्य तरीके से कॉल करके चलाया जा सके।

निम्नलिखित आरेख इस समाधान को प्रदर्शित करता है।

हम निम्नलिखित चरणों के साथ इस समाधान का निर्माण करेंगे:

1. AWS ग्लू का उपयोग करके हमारे कच्चे डेटा को बदलने के लिए डेटा ट्रांसफ़ॉर्मेशन जॉब बनाएँ।
2. रूपांतरित डेटासेट के साथ Amazon वैयक्तिकृत समाधान बनाएं।
3. बैच अनुमानों की पीढ़ी को व्यवस्थित करने के लिए एक चरण कार्य वर्कफ़्लो बनाएँ।

.. पूर्वापेक्षाएँ

इस पूर्वाभ्यास के लिए आपको निम्नलिखित की आवश्यकता है:

एडब्ल्यूएस गोंद के साथ कच्चे डेटा को बदलने के लिए डेटा परिवर्तन कार्य बनाएं

Amazon वैयक्तिकृत के साथ, इनपुट डेटा के लिए एक विशिष्ट स्कीमा और फ़ाइल स्वरूप होना आवश्यक है। उपयोगकर्ताओं और आइटम के बीच बातचीत से डेटा विशिष्ट कॉलम के साथ सीएसवी प्रारूप में होना चाहिए, जबकि जिन उपयोगकर्ताओं के लिए आप अनुशंसाएं उत्पन्न करना चाहते हैं उनकी सूची JSON प्रारूप में होनी चाहिए। इस खंड में, हम अमेज़ॅन वैयक्तिकृत के लिए कच्चे इनपुट डेटा को आवश्यक संरचनाओं और प्रारूप में बदलने के लिए एडब्ल्यूएस ग्लू स्टूडियो का उपयोग करते हैं।

एडब्ल्यूएस ग्लू स्टूडियो एक ग्राफिकल इंटरफ़ेस प्रदान करता है जिसे एक्सट्रेक्ट, ट्रांसफॉर्म और लोड (ईटीएल) नौकरियों के आसान निर्माण और चलाने के लिए डिज़ाइन किया गया है। आप साधारण ड्रैग-एंड-ड्रॉप ऑपरेशन के माध्यम से डेटा ट्रांसफ़ॉर्मेशन वर्कलोड को नेत्रहीन रूप से बना सकते हैं।

हम सबसे पहले अपना स्रोत डेटा तैयार करते हैं अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस 3), फिर हम बिना कोड के डेटा को रूपांतरित करते हैं।

1. Amazon S3 कंसोल पर, तीन फ़ोल्डरों के साथ एक S3 बकेट बनाएं: कच्चा, रूपांतरित और क्यूरेटेड।
2. डाउनलोड मूवीलेंस डेटासेट और अपरिष्कृत फ़ोल्डर के नीचे अपने बकेट में user_ratingmovies-timestamp.dat नाम की असम्पीडित फ़ाइल अपलोड करें।
3. एडब्ल्यूएस ग्लू स्टूडियो कंसोल पर, चुनें नौकरियां नेविगेशन फलक में
4. चुनते हैं स्रोत और लक्ष्य के साथ दृश्य, उसके बाद चुनो बनाएं.
   
5. नामक पहला नोड चुनें डेटा स्रोत - S3 बकेट. यह वह जगह है जहां हम अपना इनपुट डेटा निर्दिष्ट करते हैं।
6. पर डेटा स्रोत गुण टैब, चयन करें S3 स्थान और अपनी अपलोड की गई फ़ाइल को ब्राउज़ करें।
7. के लिए डेटा स्वरूप, चुनें CSVके लिए, और सीमान्तक, चुनें टैब.
   
8. हम यह सत्यापित करने के लिए आउटपुट स्कीमा टैब चुन सकते हैं कि स्कीमा ने कॉलम का सही अनुमान लगाया है।
9. यदि स्कीमा आपकी अपेक्षाओं से मेल नहीं खाती है, तो चुनें संपादित करें स्कीमा संपादित करने के लिए।
   

इसके बाद, हम Amazon वैयक्तिकृत के लिए स्कीमा आवश्यकताओं का पालन करने के लिए इस डेटा को रूपांतरित करते हैं।

10. चुनना रूपांतरण - मानचित्रण लागू करें नोड और, पर बदालना टैब, लक्ष्य कुंजी और डेटा प्रकारों को अपडेट करें।
    अमेज़ॅन वैयक्तिकृत, कम से कम, निम्न संरचना की अपेक्षा करता है इंटरैक्शन डेटासेट:

• • user_id (स्ट्रिंग)
  • item_id (स्ट्रिंग)
  • timestamp (लंबा, यूनिक्स युग समय प्रारूप में)
    

इस उदाहरण में, हम डेटासेट में खराब रेटिंग वाली फिल्मों को बाहर कर देते हैं।

11. ऐसा करने के लिए, S3 बकेट नामक अंतिम नोड को हटा दें और एक फ़िल्टर नोड जोड़ें बदालना टैब.
12. चुनें शर्त और डेटा को फ़िल्टर करें जहां रेटिंग <3.5 है।
    

अब हम आउटपुट को वापस Amazon S3 पर लिखते हैं।

13. इसका विस्तार करें लक्ष्य मेनू और चुनें अमेज़न S3.
14. के लिए S3 लक्ष्य स्थान, नाम का फोल्डर चुनें transformed.
15. चुनें CSV प्रारूप और प्रत्यय के रूप में लक्ष्य स्थान साथ में interactions/.

इसके बाद, हम उन उपयोगकर्ताओं की एक सूची तैयार करते हैं जिनके लिए हम अनुशंसाएँ प्राप्त करना चाहते हैं।

16. चुनना मैपिंग लागू करें नोड फिर से, और फिर विस्तृत करें बदालना मेनू और चुनें मैपिंग लागू करें.
17. को छोड़कर सभी फ़ील्ड छोड़ें user_id और उस फ़ील्ड का नाम बदलें userId. Amazon Personalize को उम्मीद है कि उस फ़ील्ड का नाम रखा जाएगा यूज़र आईडी.
18. इसका विस्तार करें लक्ष्य मेनू फिर से और चुनें अमेज़न S3.
19. इस बार चुनें JSON प्रारूप के रूप में, और फिर रूपांतरित S3 फ़ोल्डर चुनें और उसके साथ प्रत्यय लगाएं batch_users_input/.

यह a . पैदा करता है JSON Amazon वैयक्तिकृत के लिए इनपुट के रूप में उपयोगकर्ताओं की सूची। अब हमारे पास एक आरेख होना चाहिए जो निम्न जैसा दिखता है।

अब हम अपना ट्रांसफॉर्म जॉब चलाने के लिए तैयार हैं।

20. IAM कंसोल पर, ग्लू-सर्विस-रोल नामक भूमिका बनाएं और निम्न प्रबंधित नीतियां संलग्न करें:
    • AWSGlueServiceRole
    • AmazonS3FullAccess

IAM सेवा भूमिकाएँ बनाने के तरीके के बारे में अधिक जानकारी के लिए, देखें एडब्ल्यूएस सेवा को अनुमतियां सौंपने के लिए भूमिका बनाना.

21. अपने एडब्ल्यूएस ग्लू स्टूडियो जॉब पर वापस नेविगेट करें, और चुनें नौकरी विवरण टैब.
22. कार्य का नाम इस रूप में सेट करें batch-personalize-input-transform-job.
23. नव निर्मित IAM भूमिका चुनें।
24. बाकी सब चीजों के लिए डिफ़ॉल्ट मान रखें।
    
25. चुनें सहेजें.
26. जब आप तैयार हों, तब चुनें रन और में नौकरी की निगरानी करें रन टैब.
27. जब काम पूरा हो जाए, तो यह सत्यापित करने के लिए कि आपकी आउटपुट फ़ाइल सफलतापूर्वक बनाई गई है, Amazon S3 कंसोल पर नेविगेट करें।

हमने अब अपने डेटा को उस प्रारूप और संरचना में आकार दिया है जिसकी आवश्यकता Amazon Personalize को है। रूपांतरित डेटासेट में निम्नलिखित फ़ील्ड और प्रारूप होने चाहिए:

• सहभागिता डेटासेट - फ़ील्ड के साथ सीएसवी प्रारूप USER_ID, ITEM_ID, TIMESTAMP
• उपयोगकर्ता इनपुट डेटासेट - तत्व के साथ JSON प्रारूप userId

रूपांतरित डेटासेट के साथ Amazon वैयक्तिकृत समाधान बनाएं

हमारे इंटरैक्शन डेटासेट और उपयोगकर्ता इनपुट डेटा के साथ सही प्रारूप में, अब हम अपना अमेज़ॅन वैयक्तिकृत समाधान बना सकते हैं। इस खंड में, हम अपना डेटासेट समूह बनाते हैं, अपना डेटा आयात करते हैं, और फिर बैच अनुमान कार्य बनाते हैं। एक डेटासेट समूह Amazon वैयक्तिकृत घटकों के लिए संसाधनों को कंटेनरों में व्यवस्थित करता है।

1. Amazon Personalize कंसोल पर, चुनें बनाएं डेटा समूह.
2. के लिए डोमेन, चुनते हैं रिवाज.
3. चुनें डेटासेट समूह बनाएं और जारी रखें.
   

इसके बाद, इंटरैक्शन डेटासेट बनाएं।

4. डेटासेट नाम दर्ज करें और चुनें नया स्कीमा बनाएं.
5. चुनें डेटासेट बनाएं और जारी रखें.
   

अब हम उन इंटरैक्शन डेटा को आयात करते हैं जो हमने पहले बनाए थे।

6. S3 बकेट पर नेविगेट करें जिसमें हमने अपना इंटरैक्शन CSV डेटासेट बनाया है।
7. पर अनुमतियाँ टैब में, निम्न बकेट एक्सेस नीति जोड़ें ताकि Amazon Personalize की पहुंच हो। अपना बकेट नाम शामिल करने के लिए नीति अपडेट करें।

   {
      "Version":"2012-10-17",
      "Id":"PersonalizeS3BucketAccessPolicy",
      "Statement":[
         {
            "Sid":"PersonalizeS3BucketAccessPolicy",
            "Effect":"Allow",
            "Principal":{
               "Service":"personalize.amazonaws.com"
            },
            "Action":[
               "s3:GetObject",
               "s3:ListBucket",
               "s3:PutObject"
            ],
            "Resource":[
               "arn:aws:s3:::<your-bucket-name>",
               "arn:aws:s3:::<your-bucket-name> /*"
            ]
         }
      ]
   }

Amazon पर वापस नेविगेट करें वैयक्तिकृत करें और चुनें अपना डेटासेट आयात कार्य बनाएँ. हमारे इंटरैक्शन डेटासेट को अब Amazon वैयक्तिकृत में आयात किया जाना चाहिए। अगले चरण पर आगे बढ़ने से पहले सक्रिय की स्थिति के साथ आयात कार्य पूरा होने की प्रतीक्षा करें। इसमें लगभग 8 मिनट लगने चाहिए।

8. Amazon Personalize कंसोल पर, चुनें अवलोकन नेविगेशन फलक में और चुनें समाधान बनाएं.
   
9. समाधान का नाम दर्ज करें।
10. के लिए समाधान प्रकार, चुनें आइटम की सिफारिश.
11. के लिए नुस्खा, चुनना aws-user-personalization विधि।
12. चुनें समाधान बनाएं और प्रशिक्षित करें.
    

समाधान अब उपयोगकर्ता वैयक्तिकरण नुस्खा के साथ आयात किए गए इंटरैक्शन डेटासेट के विरुद्ध प्रशिक्षण देता है। के तहत इस प्रक्रिया की स्थिति की निगरानी करें समाधान संस्करण. आगे बढ़ने से पहले इसके पूरा होने की प्रतीक्षा करें। इसमें लगभग 20 मिनट लगने चाहिए।

अब हम अपना बैच इंफ़ेक्शन जॉब बनाते हैं, जो JSON इनपुट में मौजूद प्रत्येक उपयोगकर्ता के लिए अनुशंसाएँ उत्पन्न करता है।

13. नेविगेशन फलक में, के तहत कस्टम संसाधन, चुनें बैच अनुमान नौकरियां.
14. नौकरी का नाम दर्ज करें, और के लिए उपाय, पहले बनाया गया समाधान चुनें।
15. चुनें बैच इंट्रेंस जॉब बनाएं.
    
16. के लिए इनपुट डेटा कॉन्फ़िगरेशन, जहां का S3 पथ दर्ज करें batch_users_input फ़ाइल स्थित है।

यह JSON फ़ाइल है जिसमें शामिल है userId.

17. के लिए आउटपुट डेटा कॉन्फ़िगरेशन पथ, S3 में क्यूरेटेड पथ चुनें।
18. चुनें बैच इंट्रेंस जॉब बनाएं.

इस प्रक्रिया में लगभग 30 मिनट लगते हैं। जब कार्य समाप्त हो जाता है, तो उपयोगकर्ता इनपुट फ़ाइल में निर्दिष्ट प्रत्येक उपयोगकर्ता के लिए अनुशंसाएँ S3 आउटपुट स्थान में सहेजी जाती हैं।

हमने अपने सभी उपयोगकर्ताओं के लिए सिफारिशों का एक सेट सफलतापूर्वक तैयार किया है। हालाँकि, हमने अभी तक केवल कंसोल का उपयोग करके समाधान को लागू किया है। यह सुनिश्चित करने के लिए कि यह बैच अनुमान डेटा के नवीनतम सेट के साथ नियमित रूप से चलता है, हमें एक ऑर्केस्ट्रेशन वर्कफ़्लो बनाने की आवश्यकता है। अगले भाग में, हम आपको स्टेप फंक्शंस का उपयोग करके ऑर्केस्ट्रेशन वर्कफ़्लो बनाने का तरीका दिखाते हैं।

बैच इंट्रेंस वर्कफ़्लो को व्यवस्थित करने के लिए स्टेप फ़ंक्शंस वर्कफ़्लो बनाएँ

अपनी पाइपलाइन को व्यवस्थित करने के लिए, निम्न चरणों को पूरा करें:

1. स्टेप फंक्शंस कंसोल पर, चुनें स्टेट मशीन बनाएं.
2. चुनते हैं अपने वर्कफ़्लो को विज़ुअल रूप से डिज़ाइन करें, उसके बाद चुनो अगला.
   
3. खींचें CreateDatasetImportJob कैनवास पर बाईं ओर से नोड (आप इस नोड को खोज बॉक्स में खोज सकते हैं)।
4. नोड चुनें, और आपको दाईं ओर कॉन्फ़िगरेशन API पैरामीटर देखना चाहिए। एआरएन रिकॉर्ड करें।
5. में अपने स्वयं के मान दर्ज करें एपीआई पैरामीटर पाठ बॉक्स।

यह कॉल करता है क्रिएटडेटासेटइम्पोर्टजॉब आपके द्वारा निर्दिष्ट पैरामीटर मानों के साथ API.

6. खींचें CreateSolutionVersion कैनवास पर नोड।
7. आपके द्वारा नोट किए गए समाधान के एआरएन के साथ एपीआई पैरामीटर अपडेट करें।

यह कॉल करके नए आयातित डेटा के साथ एक नया समाधान संस्करण बनाता है समाधानसंस्करण बनाएं एपीआई।

8. खींचें CreateBatchInferenceJob कैनवास पर नोड और इसी तरह प्रासंगिक मूल्यों के साथ एपीआई मापदंडों को अपडेट करें।

सुनिश्चित करें कि आप का उपयोग करते हैं $.SolutionVersionArn पिछले चरण से समाधान संस्करण एआरएन पैरामीटर पुनर्प्राप्त करने के लिए वाक्यविन्यास। इन एपीआई पैरामीटर को पास किया जाता है CreateBatchInferenceJob एपीआई।

हमें यह सुनिश्चित करने के लिए कि कार्यप्रवाह पूरा होने से पहले अनुशंसा बैच अनुमान कार्य समाप्त हो जाए, हमें चरण कार्य वर्कफ़्लो में प्रतीक्षा तर्क बनाने की आवश्यकता है।

9. प्रतीक्षा नोड में खोजें और खींचें।
10. के लिए विन्यास में रुकिए, 300 सेकंड दर्ज करें।

यह एक मनमाना मूल्य है; आपको इस प्रतीक्षा समय को अपने विशिष्ट उपयोग मामले के अनुसार बदलना चाहिए।

11. चुनना CreateBatchInferenceJob फिर से नोड करें और नेविगेट करें गलती संभालना टैब.
12. के लिए कुश्ती त्रुटियों, दर्ज Personalize.ResourceInUseException.
13. के लिए फ़ॉलबैक अवस्था, चुनें रुकिए.

यह कदम हमें समय-समय पर कार्य की स्थिति की जांच करने में सक्षम बनाता है और कार्य पूरा होने पर ही यह लूप से बाहर निकलता है।

14. के लिए परिणामपथ, दर्ज $.errorMessage.

इसका प्रभावी अर्थ यह है कि जब "उपयोग में संसाधन" अपवाद प्राप्त होता है, तो कार्य उसी इनपुट के साथ फिर से प्रयास करने से पहले x सेकंड के लिए प्रतीक्षा करता है।

15. चुनें सहेजें, और उसके बाद चुनें निष्पादन शुरू करें.

हमने Amazon Personalize के लिए अपनी बैच अनुशंसा पाइपलाइन को सफलतापूर्वक व्यवस्थित किया है। एक वैकल्पिक कदम के रूप में, आप उपयोग कर सकते हैं अमेज़न EventBridge इस वर्कफ़्लो के ट्रिगर को नियमित आधार पर शेड्यूल करने के लिए। अधिक जानकारी के लिए देखें चरण कार्यों के निष्पादन की स्थिति में परिवर्तन के लिए EventBridge (CloudWatch Events).

क्लीन अप

भविष्य के शुल्कों से बचने के लिए, इस पूर्वाभ्यास के लिए आपके द्वारा बनाए गए संसाधनों को हटा दें।

निष्कर्ष

इस पोस्ट में, हमने दिखाया कि कोड या एमएल अनुभव की एक पंक्ति की आवश्यकता के बिना, एडब्ल्यूएस गोंद, अमेज़ॅन वैयक्तिकृत और चरण कार्यों के संयोजन का उपयोग करके बैच अनुशंसा पाइपलाइन कैसे बनाया जाए। हमने अपने डेटा को उस प्रारूप में तैयार करने के लिए AWS Glue का उपयोग किया, जिसकी Amazon को वैयक्तिकृत करने की आवश्यकता है। फिर हमने डेटा आयात करने, उपयोगकर्ता वैयक्तिकरण नुस्खा के साथ समाधान बनाने, और पिछले इंटरैक्शन के आधार पर प्रत्येक उपयोगकर्ता के लिए 25 अनुशंसाओं का डिफ़ॉल्ट जेनरेट करने वाला बैच अनुमान कार्य बनाने के लिए Amazon Personalize का उपयोग किया। फिर हमने स्टेप फ़ंक्शंस का उपयोग करके इन चरणों को व्यवस्थित किया ताकि हम इन नौकरियों को स्वचालित रूप से चला सकें।

अगले चरणों पर विचार करने के लिए, उपयोगकर्ता विभाजन अमेज़ॅन वैयक्तिकृत में नए व्यंजनों में से एक है, जिसे आप इनपुट डेटा की प्रत्येक पंक्ति के लिए उपयोगकर्ता सेगमेंट बनाने के लिए एक्सप्लोर करना चाहेंगे। अधिक जानकारी के लिए देखें बैच अनुशंसाएं और उपयोगकर्ता खंड प्राप्त करना.

---

लेखक के बारे में

मैक्सिन वी एडब्ल्यूएस डाटा लैब सॉल्यूशंस आर्किटेक्ट हैं। मैक्सिन ग्राहकों के साथ उनके उपयोग के मामलों पर काम करता है, उनकी व्यावसायिक समस्याओं को हल करने के लिए समाधान तैयार करता है, और स्केलेबल प्रोटोटाइप के निर्माण के माध्यम से उनका मार्गदर्शन करता है। AWS के साथ अपनी यात्रा से पहले, Maxine ने ग्राहकों को ऑस्ट्रेलिया में BI, डेटा वेयरहाउसिंग और डेटा लेक परियोजनाओं को लागू करने में मदद की।