अमेज़ॅन रिकॉग्निशन कस्टम लेबल्स और एडब्ल्यूएस स्टेप फ़ंक्शंस का उपयोग करके पुरीना के पेटफाइंडर एप्लिकेशन के लिए पालतू जानवरों की प्रोफाइल को अनुकूलित करें | अमेज़न वेब सेवाएँ

नेस्ले की सहायक कंपनी पुरीना यूएस का लोगों को पालतू जानवरों को अधिक आसानी से गोद लेने में सक्षम बनाने का एक लंबा इतिहास है पेटफाइंडर, पूरे अमेरिका, कनाडा और मैक्सिको में 11,000 से अधिक पशु आश्रयों और बचाव समूहों का एक डिजिटल बाज़ार। अग्रणी पालतू गोद लेने वाले मंच के रूप में, पेटफाइंडर ने लाखों पालतू जानवरों को उनके हमेशा के लिए घर ढूंढने में मदद की है।

पुरीना लगातार आश्रयों और बचाव समूहों और पालतू जानवरों को गोद लेने वालों दोनों के लिए पेटफाइंडर प्लेटफॉर्म को और भी बेहतर बनाने के तरीकों की तलाश करती है। उनके सामने एक चुनौती गोद लेने के लिए जानवरों की विशिष्ट नस्ल को पर्याप्त रूप से दर्शाने की थी। क्योंकि कई आश्रय वाले जानवर मिश्रित नस्ल के हैं, पालतू जानवरों की प्रोफ़ाइल में नस्लों और विशेषताओं की सही पहचान करने के लिए मैन्युअल प्रयास की आवश्यकता होती है, जिसमें समय लगता है। पुरीना ने बड़े पैमाने पर जानवरों की नस्ल का पता लगाने को स्वचालित करने के लिए कृत्रिम बुद्धिमत्ता (एआई) और मशीन लर्निंग (एमएल) का उपयोग किया।

इस पोस्ट में बताया गया है कि पुरीना ने इसका उपयोग कैसे किया अमेज़ॅन रेकग्निशन कस्टम लेबल, AWS स्टेप फ़ंक्शंस, और अन्य AWS सेवाएँ एक एमएल मॉडल बनाने के लिए जो अपलोड की गई छवि से पालतू जानवरों की नस्ल का पता लगाती है और फिर पालतू जानवरों की विशेषताओं को स्वचालित रूप से पॉप्युलेट करने के लिए भविष्यवाणी का उपयोग करती है। समाधान डेटा तैयारी, मॉडल प्रशिक्षण, मॉडल मूल्यांकन और मॉडल निगरानी के एआई/एमएल एप्लिकेशन वर्कफ़्लो को विकसित करने के बुनियादी सिद्धांतों पर केंद्रित है।

समाधान अवलोकन

किसी छवि से जानवरों की नस्लों का पूर्वानुमान लगाने के लिए कस्टम एमएल मॉडल की आवश्यकता होती है। छवियों का विश्लेषण करने के लिए एक कस्टम मॉडल विकसित करना एक महत्वपूर्ण उपक्रम है जिसके लिए समय, विशेषज्ञता और संसाधनों की आवश्यकता होती है, जिसे पूरा करने में अक्सर महीनों लग जाते हैं। इसके अतिरिक्त, मॉडल को सटीक निर्णय लेने के लिए पर्याप्त डेटा प्रदान करने के लिए अक्सर हजारों या दसियों हजार हाथ से लेबल वाली छवियों की आवश्यकता होती है। अपनी आवश्यकताओं के अनुपालन को मान्य करने के लिए ऑडिटिंग या मॉडल भविष्यवाणियों की समीक्षा के लिए वर्कफ़्लो स्थापित करना समग्र जटिलता को और बढ़ा सकता है।

रिकॉग्निशन कस्टम लेबल्स के साथ, जो की मौजूदा क्षमताओं पर बनाया गया है अमेज़ॅन रेकग्निशन, आप छवियों में उन वस्तुओं और दृश्यों की पहचान कर सकते हैं जो आपकी व्यावसायिक आवश्यकताओं के लिए विशिष्ट हैं। यह पहले से ही कई श्रेणियों में लाखों छवियों पर प्रशिक्षित है। हजारों छवियों के बजाय, आप प्रशिक्षण छवियों का एक छोटा सेट (आमतौर पर प्रति श्रेणी कुछ सौ छवियां या उससे कम) अपलोड कर सकते हैं जो आपके उपयोग के मामले के लिए विशिष्ट हैं।

समाधान निम्नलिखित सेवाओं का उपयोग करता है:

• अमेज़ॅन एपीआई गेटवे एक पूरी तरह से प्रबंधित सेवा है जो डेवलपर्स के लिए किसी भी पैमाने पर एपीआई को प्रकाशित करना, बनाए रखना, निगरानी करना और सुरक्षित करना आसान बनाती है।
• RSI AWS क्लाउड डेवलपमेंट किट (एडब्ल्यूएस सीडीके) आधुनिक प्रोग्रामिंग भाषाओं के साथ कोड के रूप में क्लाउड इंफ्रास्ट्रक्चर को परिभाषित करने और इसे तैनात करने के लिए एक ओपन-सोर्स सॉफ्टवेयर डेवलपमेंट फ्रेमवर्क है एडब्ल्यूएस CloudFormation.
• एडब्ल्यूएस कोडबिल्ड क्लाउड में पूर्णतः प्रबंधित सतत एकीकरण सेवा है। कोडबिल्ड स्रोत कोड संकलित करता है, परीक्षण चलाता है, और ऐसे पैकेज तैयार करता है जो तैनात करने के लिए तैयार हैं।
• अमेज़ॅन डायनेमोडीबी किसी भी पैमाने के लिए एक तेज़ और लचीली गैर-संबंधपरक डेटाबेस सेवा है।
• AWS लाम्बा एक इवेंट-संचालित कंप्यूट सेवा है जो आपको सर्वर का प्रावधान या प्रबंधन किए बिना वस्तुतः किसी भी प्रकार के एप्लिकेशन या बैकएंड सेवा के लिए कोड चलाने की सुविधा देती है।
• अमेज़ॅन रेकग्निशन आपकी छवियों और वीडियो से जानकारी और अंतर्दृष्टि निकालने के लिए पूर्व-प्रशिक्षित और अनुकूलन योग्य कंप्यूटर विज़न (सीवी) क्षमताएं प्रदान करता है। साथ अमेज़ॅन रेकग्निशन कस्टम लेबल, आप छवियों में उन वस्तुओं और दृश्यों की पहचान कर सकते हैं जो आपकी व्यावसायिक आवश्यकताओं के लिए विशिष्ट हैं।
• AWS स्टेप फ़ंक्शंस एक पूरी तरह से प्रबंधित सेवा है जो विज़ुअल वर्कफ़्लो का उपयोग करके वितरित अनुप्रयोगों और माइक्रोसर्विसेज के घटकों को समन्वयित करना आसान बनाती है।
• एडब्ल्यूएस सिस्टम मैनेजर AWS और मल्टीक्लाउड और हाइब्रिड वातावरण में संसाधनों के लिए एक सुरक्षित एंड-टू-एंड प्रबंधन समाधान है। पैरामीटर स्टोरसिस्टम मैनेजर की एक क्षमता, कॉन्फ़िगरेशन डेटा प्रबंधन और रहस्य प्रबंधन के लिए सुरक्षित, श्रेणीबद्ध भंडारण प्रदान करती है।

पुरीना का समाधान एक के रूप में तैनात किया गया है एपीआई गेटवे HTTP समापन बिंदु, जो पालतू विशेषताओं को प्राप्त करने के लिए अनुरोधों को रूट करता है। यह पालतू जानवर की नस्ल की भविष्यवाणी करने के लिए रिकॉग्निशन कस्टम लेबल का उपयोग करता है। एमएल मॉडल को पुरीना के डेटाबेस से खींची गई पालतू जानवरों की प्रोफाइल से प्रशिक्षित किया गया है, यह मानते हुए कि प्राथमिक नस्ल लेबल ही असली लेबल है। DynamoDB का उपयोग पालतू विशेषताओं को संग्रहीत करने के लिए किया जाता है। लैम्ब्डा का उपयोग एपीआई गेटवे, अमेज़ॅन रिकॉग्निशन और डायनेमोडीबी के बीच ऑर्केस्ट्रेटिंग द्वारा पालतू विशेषताओं के अनुरोध को संसाधित करने के लिए किया जाता है।

वास्तुकला निम्नानुसार कार्यान्वित की जाती है:

1. पेटफाइंडर एप्लिकेशन एपीआई गेटवे के माध्यम से पालतू विशेषताओं को प्राप्त करने के अनुरोध को रूट करता है।
2. एपीआई गेटवे पालतू विशेषताओं को प्राप्त करने के लिए लैम्ब्डा फ़ंक्शन को कॉल करता है।
3. लैम्ब्डा फ़ंक्शन पालतू नस्ल की भविष्यवाणी करने के लिए रिकॉग्निशन कस्टम लेबल अनुमान समापन बिंदु को कॉल करता है।
4. लैम्ब्डा फ़ंक्शन डायनेमोडीबी तालिका में पालतू जानवरों की विशेषताओं को देखने के लिए अनुमानित पालतू नस्ल की जानकारी का उपयोग करता है। यह पालतू जानवरों की विशेषताओं को एकत्र करता है और इसे पेटफाइंडर एप्लिकेशन पर वापस भेजता है।

निम्न आरेख समाधान वर्कफ़्लो दिखाता है।

पुरीना में पेटफाइंडर टीम एक स्वचालित समाधान चाहती है जिसे वे न्यूनतम रखरखाव के साथ तैनात कर सकें। इसे वितरित करने के लिए, हम एक स्टेट मशीन बनाने के लिए स्टेप फ़ंक्शंस का उपयोग करते हैं जो नवीनतम डेटा के साथ मॉडल को प्रशिक्षित करता है, बेंचमार्क सेट पर उनके प्रदर्शन की जांच करता है, और यदि मॉडल में सुधार हुआ है तो उन्हें फिर से तैनात करता है। प्रोफ़ाइल जानकारी सबमिट करने वाले उपयोगकर्ताओं द्वारा किए गए नस्ल सुधारों की संख्या से मॉडल पुनर्प्रशिक्षण शुरू हो जाता है।

मॉडल प्रशिक्षण

छवियों का विश्लेषण करने के लिए एक कस्टम मॉडल विकसित करना एक महत्वपूर्ण उपक्रम है जिसके लिए समय, विशेषज्ञता और संसाधनों की आवश्यकता होती है। इसके अतिरिक्त, मॉडल को सटीक निर्णय लेने के लिए पर्याप्त डेटा प्रदान करने के लिए अक्सर हजारों या दसियों हजार हाथ से लेबल वाली छवियों की आवश्यकता होती है। इस डेटा को तैयार करने में महीनों लग सकते हैं और मशीन लर्निंग में उपयोग के लिए इसे लेबल करने के लिए बड़े प्रयास की आवश्यकता होती है। एक तकनीक जिसे कहा जाता है सीखने का स्थानांतरण पूर्व-प्रशिक्षित मॉडल के मापदंडों को उधार लेकर उच्च-गुणवत्ता वाले मॉडल तैयार करने में मदद करता है, और मॉडलों को कम छवियों के साथ प्रशिक्षित करने की अनुमति देता है।

हमारी चुनौती यह है कि हमारा डेटा पूरी तरह से लेबल नहीं किया गया है: जो मनुष्य प्रोफ़ाइल डेटा दर्ज करते हैं वे गलतियाँ कर सकते हैं और करते भी हैं। हालाँकि, हमने पाया कि बड़े पर्याप्त डेटा नमूनों के लिए, गलत लेबल वाली छवियां पर्याप्त रूप से छोटे अंश के लिए जिम्मेदार थीं और सटीकता में मॉडल प्रदर्शन 2% से अधिक प्रभावित नहीं हुआ था।

एमएल वर्कफ़्लो और स्टेट मशीन

स्टेप फ़ंक्शंस स्टेट मशीन को अमेज़ॅन रिकॉग्निशन मॉडल के स्वचालित पुनर्प्रशिक्षण में सहायता के लिए विकसित किया गया है। प्रोफ़ाइल प्रविष्टि के दौरान फीडबैक एकत्र किया जाता है - हर बार जब किसी छवि से अनुमानित नस्ल को उपयोगकर्ता द्वारा एक अलग नस्ल में संशोधित किया जाता है, तो सुधार दर्ज किया जाता है। यह राज्य मशीन सुधारों की एक विन्यास योग्य सीमा संख्या और डेटा के अतिरिक्त टुकड़ों से चालू होती है।

समाधान बनाने के लिए राज्य मशीन कई चरणों से गुजरती है:

1. की सूची वाली ट्रेन और परीक्षण मेनिफेस्ट फ़ाइलें बनाएं अमेज़न सरल भंडारण सेवा (अमेज़ॅन एस3) छवि पथ और अमेज़ॅन रिकॉग्निशन द्वारा उपयोग के लिए उनके लेबल।
2. मेनिफेस्ट फ़ाइलों का उपयोग करके एक अमेज़ॅन रिकॉग्निशन डेटासेट बनाएं।
3. डेटासेट बनने के बाद अमेज़ॅन रिकॉग्निशन मॉडल संस्करण को प्रशिक्षित करें।
4. प्रशिक्षण पूरा होने पर मॉडल संस्करण प्रारंभ करें।
5. मॉडल का मूल्यांकन करें और प्रदर्शन मेट्रिक्स तैयार करें।
6. यदि प्रदर्शन मेट्रिक्स संतोषजनक हैं, तो पैरामीटर स्टोर में मॉडल संस्करण को अपडेट करें।
7. लैम्ब्डा फ़ंक्शंस (20 मिनट) में नए मॉडल संस्करण के प्रचारित होने की प्रतीक्षा करें, फिर पिछले मॉडल को रोकें।

मॉडल मूल्यांकन

हम अपने मॉडल को सत्यापित करने के लिए अपने डेटा नमूने से लिए गए यादृच्छिक 20% होल्डआउट सेट का उपयोग करते हैं। क्योंकि जिन नस्लों का हम पता लगाते हैं वे विन्यास योग्य हैं, हम प्रशिक्षण के दौरान सत्यापन के लिए एक निश्चित डेटासेट का उपयोग नहीं करते हैं, लेकिन हम एकीकरण परीक्षण के लिए मैन्युअल रूप से लेबल किए गए मूल्यांकन सेट का उपयोग करते हैं। मैन्युअल रूप से लेबल किए गए सेट और मॉडल की पता लगाने योग्य नस्लों के ओवरलैप का उपयोग मेट्रिक्स की गणना करने के लिए किया जाता है। यदि मॉडल की नस्ल का पता लगाने की सटीकता एक निर्दिष्ट सीमा से ऊपर है, तो हम एंडपॉइंट में उपयोग किए जाने वाले मॉडल को बढ़ावा देते हैं।

रिकॉग्निशन कस्टम लेबल्स से पालतू भविष्यवाणी वर्कफ़्लो के कुछ स्क्रीनशॉट निम्नलिखित हैं।

AWS CDK के साथ परिनियोजन

स्टेप फ़ंक्शंस राज्य मशीन और संबंधित बुनियादी ढांचे (लैम्ब्डा फ़ंक्शंस, कोडबिल्ड प्रोजेक्ट्स और सिस्टम मैनेजर पैरामीटर्स सहित) को पायथन का उपयोग करके एडब्ल्यूएस सीडीके के साथ तैनात किया गया है। AWS CDK कोड एक क्लाउडफॉर्मेशन टेम्पलेट को संश्लेषित करता है, जिसका उपयोग यह समाधान के लिए सभी बुनियादी ढांचे को तैनात करने के लिए करता है।

पेटफाइंडर एप्लिकेशन के साथ एकीकरण

पेटफाइंडर एप्लिकेशन एपीआई गेटवे एंडपॉइंट के माध्यम से छवि वर्गीकरण एंडपॉइंट तक पहुंचता है, जिसमें छवि के अमेज़ॅन एस 3 पथ के लिए फ़ील्ड और लौटाए जाने वाले परिणामों की संख्या के साथ JSON पेलोड वाले POST अनुरोध का उपयोग किया जाता है।

KPI पर असर पड़ेगा

छवि अनुमान समापन बिंदु को चलाने की अतिरिक्त लागत को उचित ठहराने के लिए, हमने पेटफाइंडर के लिए समापन बिंदु द्वारा जोड़े गए मूल्य को निर्धारित करने के लिए प्रयोग चलाए। समापन बिंदु का उपयोग दो मुख्य प्रकार के सुधार प्रदान करता है:

• पालतू आश्रयों के लिए कम प्रयास जो पालतू जानवरों की प्रोफाइल बना रहे हैं
• अधिक संपूर्ण पालतू पशु प्रोफ़ाइल, जिनसे खोज प्रासंगिकता में सुधार होने की उम्मीद है

प्रयास और प्रोफ़ाइल पूर्णता को मापने के लिए मेट्रिक्स में सही किए गए स्वत: भरे गए फ़ील्ड की संख्या, भरे गए फ़ील्ड की कुल संख्या और एक पालतू जानवर प्रोफ़ाइल अपलोड करने का समय शामिल है। खोज की प्रासंगिकता में सुधार अप्रत्यक्ष रूप से गोद लेने की दरों से संबंधित प्रमुख प्रदर्शन संकेतकों को मापने से अनुमान लगाया जाता है। पुरीना के अनुसार, समाधान लाइव होने के बाद, पेटफाइंडर एप्लिकेशन पर पालतू जानवर की प्रोफ़ाइल बनाने का औसत समय 7 मिनट से घटकर 4 मिनट हो गया। यह एक बहुत बड़ा सुधार और समय की बचत है क्योंकि 2022 में, 4 मिलियन पालतू जानवरों की प्रोफ़ाइल अपलोड की गईं।

सुरक्षा

आर्किटेक्चर आरेख के माध्यम से प्रवाहित होने वाला डेटा पारगमन और विश्राम के दौरान एन्क्रिप्ट किया जाता है AWS वेल-आर्किटेक्टेड सर्वोत्तम प्रथाएँ. सभी AWS संलग्नताओं के दौरान, एक सुरक्षा विशेषज्ञ सुरक्षित कार्यान्वयन सुनिश्चित करने के लिए समाधान की समीक्षा करता है।

निष्कर्ष

रिकॉग्निशन कस्टम लेबल्स पर आधारित अपने समाधान के साथ, पेटफाइंडर टीम पालतू आश्रयों के लिए पालतू जानवरों की प्रोफाइल के निर्माण में तेजी लाने में सक्षम है, जिससे आश्रय कर्मियों पर प्रशासनिक बोझ कम हो जाता है। AWS CDK पर आधारित परिनियोजन प्रशिक्षण और परिनियोजन प्रक्रिया को स्वचालित करने के लिए एक स्टेप फ़ंक्शंस वर्कफ़्लो को तैनात करता है। रिकॉग्निशन कस्टम लेबल का उपयोग शुरू करने के लिए, देखें Amazon Rekognition Custom Labels के साथ शुरुआत करना. आप भी देख सकते हैं कुछ चरण फ़ंक्शंस उदाहरण और AWS CDK के साथ आरंभ करें.

---

लेखक के बारे में

मेसन काहिल AWS व्यावसायिक सेवाओं के साथ एक वरिष्ठ DevOps सलाहकार हैं। उन्हें संगठनों को उनके व्यावसायिक लक्ष्यों को प्राप्त करने में मदद करने में आनंद आता है, और वह AWS क्लाउड पर स्वचालित समाधान बनाने और वितरित करने के बारे में भावुक हैं। काम के अलावा, वह अपने परिवार के साथ समय बिताना, लंबी पैदल यात्रा करना और फुटबॉल खेलना पसंद करते हैं।

मैथ्यू चेस अमेज़ॅन वेब सर्विसेज में डेटा साइंस सलाहकार हैं, जहां वह ग्राहकों को स्केलेबल मशीन लर्निंग समाधान बनाने में मदद करते हैं। मैथ्यू के पास गणित में पीएचडी है और वह अपने खाली समय में रॉक क्लाइंबिंग और संगीत का आनंद लेते हैं।

रुशिकेश जगताप AWS एनालिटिक्स सेवाओं में 5+ वर्षों के अनुभव के साथ एक सॉल्यूशन आर्किटेक्ट है। उन्हें डेटा से अंतर्दृष्टि प्राप्त करने के लिए स्केलेबल और आधुनिक डेटा एनालिटिक्स समाधान बनाने में ग्राहकों की मदद करने का शौक है। काम के अलावा, उन्हें फॉर्मूला1 देखना, बैडमिंटन खेलना और गो कार्ट्स रेसिंग करना पसंद है।

टायो ओलाजाइड वह एक अनुभवी क्लाउड डेटा इंजीनियरिंग जनरलिस्ट हैं, जिनके पास क्लाउड वातावरण में डेटा समाधानों को डिजाइन करने और लागू करने का एक दशक से अधिक का अनुभव है। कच्चे डेटा को मूल्यवान अंतर्दृष्टि में बदलने के जुनून के साथ, टायो ने वित्त, स्वास्थ्य देखभाल और ऑटो उद्योगों सहित विभिन्न उद्योगों के लिए डेटा पाइपलाइनों को डिजाइन और अनुकूलित करने में महत्वपूर्ण भूमिका निभाई है। क्षेत्र में एक विचारक नेता के रूप में, टायो का मानना ​​है कि डेटा की शक्ति सूचित निर्णय लेने की क्षमता में निहित है और व्यवसायों को क्लाउड युग में अपने डेटा की पूरी क्षमता का लाभ उठाने में मदद करने के लिए प्रतिबद्ध है। जब वह डेटा पाइपलाइन तैयार नहीं कर रहा होता है, तो आप टायो को प्रौद्योगिकी के नवीनतम रुझानों की खोज करते हुए, महान आउटडोर में लंबी पैदल यात्रा करते हुए, या गैजेटरी और सॉफ्टवेयर के साथ छेड़छाड़ करते हुए पा सकते हैं।

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/optimize-pet-profiles-for-purinas-petfinder-application-using-amazon-rekognition-custom-labels-and-aws-step-functions/