अमेज़न सेजमेकर ग्राउंड ट्रुथ प्लस डेटा लेबलिंग अनुप्रयोगों के निर्माण और लेबलिंग कार्यबल के प्रबंधन से जुड़े अविभाज्य भारी भारोत्तोलन को हटाकर आपको उच्च गुणवत्ता वाले प्रशिक्षण डेटासेट तैयार करने में मदद करता है। आप बस लेबलिंग आवश्यकताओं के साथ डेटा साझा करते हैं, और ग्राउंड ट्रुथ प्लस इन आवश्यकताओं के आधार पर आपके डेटा लेबलिंग वर्कफ़्लो को सेट और प्रबंधित करता है। वहां से, एक विशेषज्ञ कार्यबल जो विभिन्न प्रकार के मशीन लर्निंग (एमएल) कार्यों पर प्रशिक्षित होता है, आपके डेटा को लेबल करता है। ग्राउंड ट्रुथ प्लस का उपयोग करने के लिए आपको गहन एमएल विशेषज्ञता या वर्कफ़्लो डिज़ाइन और गुणवत्ता प्रबंधन के ज्ञान की भी आवश्यकता नहीं है। अब, ग्राउंड ट्रुथ प्लस उन ग्राहकों की सेवा कर रहा है जिन्हें जेनरेटिव एआई अनुप्रयोगों के लिए फ़ाइन-ट्यूनिंग फ़ाउंडेशन मॉडल के लिए डेटा लेबलिंग और मानव प्रतिक्रिया की आवश्यकता है।
इस पोस्ट में, आप सेजमेकर ग्राउंड ट्रुथ प्लस के माध्यम से उपलब्ध जेनेरिक एआई के लिए मानव प्रतिक्रिया में हाल की प्रगति के बारे में जानेंगे। इसमें पर्यवेक्षित फाइन-ट्यूनिंग में उपयोग किए जाने वाले प्रदर्शन डेटासेट तैयार करने के लिए उपलब्ध नए वर्कफ़्लो और उपयोगकर्ता इंटरफ़ेस (यूआई), जनरेटिव एआई फाउंडेशन मॉडल को मानव प्राथमिकताओं के साथ संरेखित करने के लिए प्राथमिकता डेटासेट बनाने के लिए उच्च गुणवत्ता वाली मानव प्रतिक्रिया एकत्र करना, साथ ही एप्लिकेशन बिल्डरों के लिए मॉडल को अनुकूलित करना शामिल है। 'शैली, सार और आवाज के लिए आवश्यकताएँ।
जेनेरिक एआई के साथ शुरुआत करने की चुनौतियाँ
दुनिया भर में जेनरेटिव एआई एप्लिकेशन कई अलग-अलग उपयोग के मामलों को हल करने के लिए सिंगल-मोड और मल्टी-मोडल फाउंडेशन मॉडल दोनों को शामिल करते हैं। उनमें से आम चैटबॉट, छवि जनरेटर और वीडियो जनरेटर हैं। बड़े भाषा मॉडल (एलएलएम) का उपयोग चैटबॉट्स में रचनात्मक गतिविधियों, शैक्षणिक और व्यक्तिगत सहायकों, व्यावसायिक खुफिया उपकरणों और उत्पादकता उपकरणों के लिए किया जा रहा है। आप अमूर्त या यथार्थवादी एआई कला और विपणन संपत्तियां उत्पन्न करने के लिए टेक्स्ट-टू-इमेज मॉडल का उपयोग कर सकते हैं। टेक्स्ट-टू-वीडियो मॉडल का उपयोग कला परियोजनाओं, अत्यधिक आकर्षक विज्ञापनों, वीडियो गेम विकास और यहां तक कि फिल्म विकास के लिए वीडियो बनाने के लिए किया जा रहा है।
फाउंडेशन मॉडल बनाने वाले मॉडल उत्पादकों और एप्लिकेशन बिल्डरों, जो अपने स्वयं के टूल और एप्लिकेशन बनाने के लिए मौजूदा जेनरेटिव फाउंडेशन मॉडल का उपयोग करते हैं, दोनों के लिए हल करने के लिए दो सबसे महत्वपूर्ण समस्याएं हैं:
- विशिष्ट कार्यों को करने में सक्षम होने के लिए इन फाउंडेशन मॉडलों को ठीक से ट्यून करना
- यह सुनिश्चित करने के लिए कि वे उपयोगी, सटीक और हानिरहित जानकारी प्रदान करें, उन्हें मानवीय प्राथमिकताओं के साथ संरेखित करना
फाउंडेशन मॉडल आमतौर पर बिना लेबल वाले डेटा के बड़े संग्रह पर पूर्व-प्रशिक्षित होते हैं, और इसलिए प्राकृतिक भाषा निर्देशों का पालन करते हुए अच्छा प्रदर्शन नहीं करते हैं। एलएलएम के लिए, इसका मतलब है कि वे सामान्य रूप से भाषा को पार्स करने और उत्पन्न करने में सक्षम हो सकते हैं, लेकिन वे प्रश्नों का सुसंगत उत्तर देने या उपयोगकर्ता की आवश्यक गुणवत्ता तक पाठ को सारांशित करने में सक्षम नहीं हो सकते हैं। उदाहरण के लिए, जब कोई उपयोगकर्ता प्रॉम्प्ट में किसी टेक्स्ट के सारांश का अनुरोध करता है, तो एक मॉडल जिसे टेक्स्ट को सारांशित करने के तरीके को ठीक से तैयार नहीं किया गया है, वह प्रॉम्प्ट टेक्स्ट को उपयोगकर्ता को वापस सुना सकता है या कुछ अप्रासंगिक के साथ प्रतिक्रिया दे सकता है। यदि कोई उपयोगकर्ता किसी विषय के बारे में कोई प्रश्न पूछता है, तो मॉडल की प्रतिक्रिया केवल प्रश्न का एक पाठ हो सकती है। मल्टी-मोडल मॉडल, जैसे टेक्स्ट-टू-इमेज या टेक्स्ट-टू-वीडियो मॉडल के लिए, मॉडल प्रॉम्प्ट से असंबंधित सामग्री को आउटपुट कर सकते हैं। उदाहरण के लिए, यदि कोई कॉर्पोरेट ग्राफ़िक डिज़ाइनर किसी विज्ञापन के लिए नया लोगो या छवि बनाने के लिए टेक्स्ट-टू-इमेज मॉडल को संकेत देता है, तो मॉडल संकेत से संबंधित प्रासंगिक ग्राफ़िक उत्पन्न नहीं कर सकता है यदि उसके पास छवि की केवल सामान्य अवधारणा है और एक छवि के तत्व। कुछ मामलों में, कोई मॉडल हानिकारक छवि या वीडियो आउटपुट कर सकता है, जिससे उपयोगकर्ता का विश्वास या कंपनी की प्रतिष्ठा खतरे में पड़ सकती है।
भले ही मॉडल विशिष्ट कार्यों को करने के लिए ठीक-ठाक हों, फिर भी वे अपने आउटपुट सामग्री के अर्थ, शैली या पदार्थ के संबंध में मानवीय प्राथमिकताओं के साथ संरेखित नहीं हो सकते हैं। एलएलएम में, यह स्वयं को मॉडल द्वारा उत्पन्न गलत या हानिकारक सामग्री के रूप में प्रकट कर सकता है। उदाहरण के लिए, एक मॉडल जो फाइन-ट्यूनिंग के माध्यम से मानवीय प्राथमिकताओं के साथ संरेखित नहीं है, उपयोगकर्ता द्वारा संकेत दिए जाने पर खतरनाक, अनैतिक या यहां तक कि अवैध निर्देश भी दे सकता है। यह सुनिश्चित करने के लिए कि यह सटीक, प्रासंगिक और उपयोगी होने के लिए मानवीय प्राथमिकताओं के साथ संरेखित है, मॉडल द्वारा उत्पन्न की जा रही सामग्री को सीमित करने में कोई सावधानी नहीं बरती जाएगी। यह गलत संरेखण उन कंपनियों के लिए एक समस्या हो सकती है जो चैटबॉट और मल्टीमीडिया निर्माण जैसे अपने अनुप्रयोगों के लिए जेनरेटिव एआई मॉडल पर भरोसा करती हैं। मल्टी-मोडल मॉडल के लिए, यह विषाक्त, खतरनाक, या अपमानजनक छवियों या वीडियो का रूप ले सकता है। यह एक जोखिम है जब संवेदनशील सामग्री उत्पन्न करने के इरादे के बिना मॉडल में संकेत इनपुट किए जाते हैं, और यह भी कि मॉडल निर्माता या एप्लिकेशन बिल्डर ने मॉडल को उस तरह की सामग्री उत्पन्न करने की अनुमति देने का इरादा नहीं किया था, लेकिन यह वैसे भी उत्पन्न किया गया था।
कार्य-विशिष्ट क्षमता के मुद्दों को हल करने और मानव प्राथमिकताओं के साथ जनरेटिव फाउंडेशन मॉडल को संरेखित करने के लिए, मॉडल उत्पादकों और एप्लिकेशन बिल्डरों को मानव-निर्देशित प्रदर्शनों और मॉडल आउटपुट की मानव प्रतिक्रिया का उपयोग करके डेटा के साथ मॉडल को ठीक करना होगा।
डेटा और प्रशिक्षण प्रकार
विभिन्न प्रकार के लेबल किए गए डेटा के साथ कई प्रकार की फ़ाइन-ट्यूनिंग विधियाँ हैं जिन्हें निर्देश ट्यूनिंग के रूप में वर्गीकृत किया गया है - या किसी मॉडल को निर्देशों का पालन करना सिखाना। इनमें प्रदर्शन डेटा का उपयोग करके पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी), और वरीयता डेटा का उपयोग करके मानव प्रतिक्रिया (आरएलएचएफ) से सुदृढीकरण सीखना शामिल है।
पर्यवेक्षित फ़ाइन-ट्यूनिंग के लिए प्रदर्शन डेटा
प्रश्नों का उत्तर देने या उच्च गुणवत्ता के साथ पाठ को सारांशित करने जैसे विशिष्ट कार्यों को करने के लिए फाउंडेशन मॉडल को ठीक करने के लिए, मॉडल प्रदर्शन डेटा के साथ एसएफटी से गुजरते हैं। प्रदर्शन डेटा का उद्देश्य मॉडल को मनुष्यों द्वारा किए जा रहे पूर्ण कार्यों के लेबल वाले उदाहरण (प्रदर्शन) प्रदान करके मार्गदर्शन करना है। उदाहरण के लिए, एक एलएलएम को सवालों के जवाब देने का तरीका सिखाने के लिए, एक मानव एनोटेटर मानव-जनित प्रश्न और उत्तर जोड़े का एक लेबल डेटासेट बनाएगा ताकि यह प्रदर्शित किया जा सके कि प्रश्न और उत्तर की बातचीत भाषाई रूप से कैसे काम करती है और सामग्री का शब्दार्थिक अर्थ क्या है। इस प्रकार का एसएफटी प्रदर्शन प्रशिक्षण डेटा में मनुष्यों द्वारा प्रदर्शित व्यवहार के पैटर्न को पहचानने के लिए मॉडल को प्रशिक्षित करता है। मॉडल निर्माताओं को यह दिखाने के लिए इस प्रकार की फाइन-ट्यूनिंग करने की आवश्यकता है कि उनके मॉडल डाउनस्ट्रीम अपनाने वालों के लिए ऐसे कार्य करने में सक्षम हैं। एप्लिकेशन बिल्डर जो अपने जेनेरिक एआई अनुप्रयोगों के लिए मौजूदा फाउंडेशन मॉडल का उपयोग करते हैं, उन्हें अपने अनुप्रयोगों की प्रासंगिकता और सटीकता में सुधार करने के लिए उद्योग-विशिष्ट या कंपनी-विशिष्ट डेटा के साथ इन कार्यों पर प्रदर्शन डेटा के साथ अपने मॉडल को ठीक करने की आवश्यकता हो सकती है।
आरएलएचएफ जैसे अनुदेश ट्यूनिंग के लिए प्राथमिकता डेटा
मानवीय प्राथमिकताओं के साथ फाउंडेशन मॉडल को और अधिक संरेखित करने के लिए, मॉडल उत्पादकों-और विशेष रूप से एप्लिकेशन बिल्डरों-को निर्देश ट्यूनिंग करने के लिए प्राथमिकता डेटासेट उत्पन्न करने की आवश्यकता होती है। निर्देश ट्यूनिंग के संदर्भ में वरीयता डेटा को लेबल किया गया डेटा है जो जेनरेटिव फाउंडेशन मॉडल द्वारा विकल्पों के आउटपुट के एक सेट के संबंध में मानव प्रतिक्रिया को कैप्चर करता है। इसमें आम तौर पर कुछ विशिष्ट विशेषताओं के अनुसार कई अनुमानों को रेटिंग देना या एक आधार मॉडल से दो अनुमानों की जोड़ीवार तुलना करना शामिल होता है। एलएलएम के लिए, ये विशेषताएँ सहायकता, सटीकता और हानिरहितता हो सकती हैं। टेक्स्ट-टू-इमेज मॉडल के लिए, यह एक सौंदर्य गुणवत्ता या टेक्स्ट-छवि संरेखण हो सकता है। मानव प्रतिक्रिया पर आधारित इस वरीयता डेटा का उपयोग विभिन्न अनुदेश ट्यूनिंग विधियों में किया जा सकता है - जिसमें आरएलएचएफ भी शामिल है - ताकि मानव प्राथमिकताओं के साथ संरेखित करने के लिए एक मॉडल को और बेहतर बनाया जा सके।
प्राथमिकता डेटा का उपयोग करके निर्देश ट्यूनिंग, फाउंडेशन मॉडल के वैयक्तिकरण और प्रभावशीलता को बढ़ाने में महत्वपूर्ण भूमिका निभाती है। यह पूर्व-प्रशिक्षित फाउंडेशन मॉडल के शीर्ष पर कस्टम एप्लिकेशन बनाने में एक महत्वपूर्ण कदम है और यह सुनिश्चित करने के लिए एक शक्तिशाली तरीका है कि मॉडल सहायक, सटीक और हानिरहित सामग्री उत्पन्न कर रहे हैं। निर्देश ट्यूनिंग का एक सामान्य उदाहरण एक चैटबॉट को एक प्रश्न के लिए तीन प्रतिक्रियाएं उत्पन्न करने का निर्देश देना है, और एक मानव को कुछ निर्दिष्ट आयामों, जैसे विषाक्तता, तथ्यात्मक सटीकता, या पठनीयता के अनुसार तीनों को पढ़ना और रैंक करना है। उदाहरण के लिए, कोई कंपनी अपने विपणन विभाग के लिए चैटबॉट का उपयोग कर सकती है और यह सुनिश्चित करना चाहती है कि सामग्री उसके ब्रांड संदेश के अनुरूप हो, पक्षपात प्रदर्शित न करे और स्पष्ट रूप से पढ़ने योग्य हो। कंपनी अनुदेश ट्यूनिंग के दौरान चैटबॉट को तीन उदाहरण तैयार करने के लिए प्रेरित करेगी, और अपने आंतरिक विशेषज्ञों से उन उदाहरणों का चयन करने को कहेगी जो उनके लक्ष्य से सबसे अधिक मेल खाते हों। समय के साथ, वे एक डेटासेट का निर्माण करते हैं जिसका उपयोग मॉडल को यह सिखाने के लिए किया जाता है कि सुदृढीकरण सीखने के माध्यम से मनुष्य किस शैली की सामग्री पसंद करते हैं। यह चैटबॉट एप्लिकेशन को अधिक प्रासंगिक, पठनीय और सुरक्षित सामग्री आउटपुट करने में सक्षम बनाता है।
सेजमेकर ग्राउंड ट्रुथ प्लस
ग्राउंड ट्रुथ प्लस आपको दोनों चुनौतियों का समाधान करने में मदद करता है - कार्य-विशिष्ट क्षमताओं के साथ प्रदर्शन डेटासेट तैयार करना, साथ ही मानव प्राथमिकताओं के साथ मॉडल को संरेखित करने के लिए मानव प्रतिक्रिया से वरीयता डेटासेट इकट्ठा करना। आप एलएलएम और मल्टी-मोडल मॉडल जैसे टेक्स्ट-टू-इमेज और टेक्स्ट-टू-वीडियो के लिए परियोजनाओं का अनुरोध कर सकते हैं। एलएलएम के लिए, प्रमुख प्रदर्शन डेटासेट में सामग्री मॉडरेशन, शैली परिवर्तन या लंबाई परिवर्तन के प्रयोजनों के लिए प्रश्न और उत्तर (क्यू एंड ए), पाठ सारांश, पाठ निर्माण और पाठ को फिर से तैयार करना शामिल है। प्रमुख एलएलएम वरीयता डेटासेट में टेक्स्ट आउटपुट की रैंकिंग और वर्गीकरण शामिल है। मल्टी-मोडल मॉडल के लिए, मुख्य कार्य प्रकारों में छवियों या वीडियो को कैप्शन देने के साथ-साथ वीडियो में घटनाओं के टाइमस्टैम्प को लॉग करना शामिल है। इसलिए, ग्राउंड ट्रुथ प्लस मॉडल उत्पादकों और एप्लिकेशन बिल्डरों दोनों को उनकी जेनरेटिव एआई यात्रा में मदद कर सकता है।
इस पोस्ट में, हम एलएलएम और मल्टी-मोडल मॉडल दोनों के लिए प्रदर्शन डेटा और वरीयता डेटा दोनों को कवर करने वाले चार मामलों पर मानव एनोटेटर और फीडबैक यात्रा में गहराई से उतरते हैं: एलएलएम के लिए प्रश्न और उत्तर जोड़ी पीढ़ी और टेक्स्ट रैंकिंग, साथ ही छवि कैप्शनिंग और मल्टी-मॉडल मॉडल के लिए वीडियो कैप्शनिंग।
बड़े भाषा मॉडल
इस अनुभाग में, हम एलएलएम के लिए प्रश्न और उत्तर जोड़े और टेक्स्ट रैंकिंग पर चर्चा करते हैं, साथ ही उन अनुकूलन पर भी चर्चा करते हैं जो आप अपने उपयोग के मामले में चाहते हैं।
प्रश्न और उत्तर युग्म
निम्नलिखित स्क्रीनशॉट एक लेबलिंग यूआई दिखाता है जिसमें एक मानव एनोटेटर एक पाठ मार्ग को पढ़ेगा और प्रश्नोत्तर प्रदर्शन डेटासेट बनाने की प्रक्रिया में प्रश्न और उत्तर दोनों उत्पन्न करेगा।
आइए एनोटेटर के स्थान पर यूआई के भ्रमण पर चलें। यूआई के बाईं ओर, नौकरी अनुरोधकर्ता के विशिष्ट निर्देश एनोटेटर को प्रस्तुत किए जाते हैं। इस मामले में, एनोटेटर को यूआई के केंद्र में प्रस्तुत पाठ के अंश को पढ़ना होगा और पाठ के आधार पर प्रश्न और उत्तर बनाना होगा। दाहिनी ओर, व्याख्याकार द्वारा लिखे गए प्रश्न और उत्तर दिखाए गए हैं। ग्राउंड ट्रुथ प्लस टीम के साथ प्रोजेक्ट सेटअप के दौरान नौकरी अनुरोधकर्ता द्वारा पाठ अंश के साथ-साथ प्रकार, लंबाई और प्रश्नों और उत्तरों की संख्या को अनुकूलित किया जा सकता है। इस मामले में, एनोटेटर ने एक प्रश्न बनाया है जिसका उत्तर देने के लिए पूरे पाठ्यांश को समझने की आवश्यकता है और इसे a से चिह्नित किया गया है संपूर्ण परिच्छेद का संदर्भ चेक बॉक्स. अन्य दो प्रश्न और उत्तर पाठ्यांश के विशिष्ट भागों पर आधारित हैं, जैसा कि एनोटेटर हाइलाइट्स द्वारा रंग-कोडित मिलान के साथ दिखाया गया है। वैकल्पिक रूप से, आप यह अनुरोध करना चाह सकते हैं कि प्रश्न और उत्तर दिए गए पाठ्य अंश के बिना तैयार किए जाएं, और मानव व्याख्याकारों के लिए अन्य दिशानिर्देश प्रदान करें - यह ग्राउंड ट्रुथ प्लस द्वारा भी समर्थित है।
प्रश्न और उत्तर सबमिट होने के बाद, वे एक वैकल्पिक गुणवत्ता नियंत्रण लूप वर्कफ़्लो में प्रवाहित हो सकते हैं जहां अन्य मानव समीक्षक पुष्टि करेंगे कि ग्राहक-परिभाषित वितरण और प्रश्न और उत्तर के प्रकार बनाए गए हैं। यदि ग्राहक की आवश्यकताओं और मानव एनोटेटर ने जो उत्पादन किया है, उसके बीच कोई मेल नहीं है, तो ग्राहक को वितरित करने के लिए डेटासेट के हिस्से के रूप में निर्यात करने से पहले कार्य को पुन: कार्य के लिए मानव में वापस भेज दिया जाएगा। जब डेटासेट आपको वापस भेज दिया जाता है, तो यह आपके विवेक पर पर्यवेक्षित फाइन-ट्यूनिंग वर्कफ़्लो में शामिल होने के लिए तैयार होता है।
पाठ रैंकिंग
निम्नलिखित स्क्रीनशॉट एक प्रॉम्प्ट के आधार पर एलएलएम से आउटपुट की रैंकिंग के लिए एक यूआई दिखाता है।
आप बस मानव समीक्षक के लिए निर्देश लिख सकते हैं, और काम शुरू करने के लिए ग्राउंड ट्रुथ प्लस प्रोजेक्ट टीम के लिए संकेत और पूर्व-निर्मित प्रतिक्रियाएं ला सकते हैं। इस मामले में, हमने एक मानव समीक्षक से लेखन स्पष्टता (पठनीयता) के आयाम पर एलएलएम से प्रति संकेत तीन प्रतिक्रियाओं को रैंक करने का अनुरोध किया है। पुनः, बायां फलक नौकरी अनुरोधकर्ता द्वारा समीक्षक को दिए गए निर्देश दिखाता है। केंद्र में, संकेत पृष्ठ के शीर्ष पर है, और तीन पूर्व-निर्मित प्रतिक्रियाएं उपयोग में आसानी के लिए मुख्य निकाय हैं। यूआई के दाईं ओर, मानव समीक्षक उन्हें सबसे कम से कम स्पष्ट लेखन के क्रम में रैंक करेगा।
इस प्रकार के वरीयता डेटासेट को उत्पन्न करने के इच्छुक ग्राहकों में मानव-जैसे चैटबॉट बनाने में रुचि रखने वाले एप्लिकेशन निर्माता शामिल हैं, और इसलिए वे अपने स्वयं के उपयोग के लिए निर्देशों को अनुकूलित करना चाहते हैं। संकेत की लंबाई, प्रतिक्रियाओं की संख्या और रैंकिंग आयाम सभी को अनुकूलित किया जा सकता है। उदाहरण के लिए, हो सकता है कि आप पाँच प्रतिक्रियाओं को ज़्यादा से ज़्यादा तथ्यात्मक रूप से सटीक, पक्षपाती, या विषाक्त के क्रम में रैंक करना चाहें या एक साथ कई आयामों को रैंक और वर्गीकृत करना चाहें। ये अनुकूलन ग्राउंड ट्रुथ प्लस में समर्थित हैं।
मल्टी-मोडल मॉडल
इस अनुभाग में, हम मल्टी-मोडल मॉडल जैसे टेक्स्ट-टू-इमेज और टेक्स्ट-टू-वीडियो मॉडल के प्रशिक्षण के लिए छवि और वीडियो कैप्शनिंग पर चर्चा करते हैं, साथ ही उन अनुकूलन पर भी चर्चा करते हैं जिन्हें आप अपने विशेष उपयोग के मामले में बनाना चाहते हैं।
चित्र कैप्शनिंग
निम्नलिखित स्क्रीनशॉट छवि कैप्शनिंग के लिए एक लेबलिंग यूआई दिखाता है। आप टेक्स्ट-टू-इमेज मॉडल या इमेज-टू-टेक्स्ट मॉडल को प्रशिक्षित करने के लिए डेटा इकट्ठा करने के लिए इमेज कैप्शनिंग वाले प्रोजेक्ट का अनुरोध कर सकते हैं।
इस मामले में, हमने टेक्स्ट-टू-इमेज मॉडल को प्रशिक्षित करने का अनुरोध किया है और लंबाई और विवरण के संदर्भ में कैप्शन पर विशिष्ट आवश्यकताएं निर्धारित की हैं। यूआई को सहायक और वर्णनात्मक उपकरणों के माध्यम से एक मानसिक ढांचा प्रदान करके समृद्ध कैप्शन उत्पन्न करने की संज्ञानात्मक प्रक्रिया के माध्यम से मानव एनोटेटर्स को चलाने के लिए डिज़ाइन किया गया है। हमने पाया है कि एनोटेटर्स के लिए यह मानसिक ढांचा प्रदान करने से अकेले संपादन योग्य टेक्स्ट बॉक्स प्रदान करने की तुलना में अधिक वर्णनात्मक और सटीक कैप्शन मिलते हैं।
फ्रेमवर्क में पहला कदम मानव एनोटेटर के लिए छवि में प्रमुख वस्तुओं की पहचान करना है। जब एनोटेटर छवि में किसी ऑब्जेक्ट को चुनता है, तो ऑब्जेक्ट पर एक रंग-कोडित बिंदु दिखाई देता है। इस मामले में, एनोटेटर ने यूआई के दाईं ओर दो संपादन योग्य फ़ील्ड बनाते हुए कुत्ते और बिल्ली दोनों को चुना है, जिसमें एनोटेटर प्रत्येक ऑब्जेक्ट के विस्तृत विवरण के साथ ऑब्जेक्ट-बिल्ली और कुत्ते-के नाम दर्ज करेगा। इसके बाद, एनोटेटर को छवि में सभी वस्तुओं के बीच सभी संबंधों की पहचान करने के लिए निर्देशित किया जाता है। ऐसे में बिल्ली कुत्ते के बगल में आराम कर रही है. इसके बाद, एनोटेटर को छवि के बारे में विशिष्ट विशेषताओं, जैसे सेटिंग, पृष्ठभूमि या वातावरण की पहचान करने के लिए कहा जाता है। अंत में, कैप्शन इनपुट टेक्स्ट बॉक्स में, एनोटेटर को निर्देश दिया जाता है कि उन्होंने ऑब्जेक्ट्स, रिश्तों और छवि सेटिंग फ़ील्ड में जो कुछ भी लिखा है उसे छवि के पूर्ण एकल वर्णनात्मक कैप्शन में संयोजित करें।
वैकल्पिक रूप से, आप इस छवि कैप्शन को विशिष्ट निर्देशों के साथ मानव-आधारित गुणवत्ता जांच लूप के माध्यम से पारित करने के लिए कॉन्फ़िगर कर सकते हैं ताकि यह सुनिश्चित हो सके कि कैप्शन आवश्यकताओं को पूरा करता है। यदि कोई समस्या पहचानी गई है, जैसे कि गुम हुई कुंजी वस्तु, तो उस कैप्शन को प्रशिक्षण डेटासेट के हिस्से के रूप में निर्यात करने से पहले समस्या को ठीक करने के लिए मानव के पास वापस भेजा जा सकता है।
वीडियो कैप्शनिंग
निम्नलिखित स्क्रीनशॉट टाइमस्टैम्प टैग के साथ समृद्ध वीडियो कैप्शन उत्पन्न करने के लिए एक वीडियो कैप्शनिंग यूआई दिखाता है। आप टेक्स्ट-टू-वीडियो या वीडियो-टू-टेक्स्ट मॉडल बनाने के लिए डेटा इकट्ठा करने के लिए वीडियो कैप्शन प्रोजेक्ट का अनुरोध कर सकते हैं।
इस लेबलिंग यूआई में, हमने उच्च गुणवत्ता वाले कैप्शन लिखे जाने को सुनिश्चित करने के लिए एक समान मानसिक ढांचा बनाया है। मानव एनोटेटर बाईं ओर के वीडियो को नियंत्रित कर सकता है और यूआई तत्वों के साथ दाईं ओर वीडियो में दिखाई गई प्रत्येक गतिविधि के लिए विवरण और टाइमस्टैम्प बना सकता है। छवि कैप्शनिंग यूआई के समान, एनोटेटर के लिए वीडियो सेटिंग, पृष्ठभूमि और पर्यावरण का विस्तृत विवरण लिखने के लिए एक जगह भी है। अंत में, एनोटेटर को सभी तत्वों को एक सुसंगत वीडियो कैप्शन में संयोजित करने का निर्देश दिया जाता है।
छवि कैप्शन मामले के समान, वीडियो कैप्शन वैकल्पिक रूप से मानव-आधारित गुणवत्ता नियंत्रण वर्कफ़्लो के माध्यम से प्रवाहित हो सकते हैं ताकि यह निर्धारित किया जा सके कि आपकी आवश्यकताएं पूरी हुई हैं या नहीं। यदि वीडियो कैप्शन के साथ कोई समस्या है, तो इसे मानव एनोटेटर कार्यबल द्वारा पुनः कार्य के लिए भेजा जाएगा।
निष्कर्ष
ग्राउंड ट्रुथ प्लस आपको सवालों के जवाब देने से लेकर चित्र और वीडियो बनाने तक, जेनेरिक एआई कार्यों के लिए फाउंडेशन मॉडल को बेहतर बनाने के लिए उच्च गुणवत्ता वाले डेटासेट तैयार करने में मदद कर सकता है। यह कुशल मानव कार्यबलों को मॉडल आउटपुट की समीक्षा करने की भी अनुमति देता है ताकि यह सुनिश्चित किया जा सके कि वे मानवीय प्राथमिकताओं के अनुरूप हैं। इसके अतिरिक्त, यह एप्लिकेशन बिल्डरों को अपने उद्योग या कंपनी डेटा का उपयोग करके मॉडल को अनुकूलित करने में सक्षम बनाता है ताकि यह सुनिश्चित हो सके कि उनका एप्लिकेशन उनकी पसंदीदा आवाज और शैली का प्रतिनिधित्व करता है। ये ग्राउंड ट्रुथ प्लस में कई नवाचारों में से पहला हैं, और अन्य विकास में हैं। भविष्य की पोस्ट के लिए बने रहें।
क्या आप अपने जेनेरिक एआई मॉडल और एप्लिकेशन को बनाने या सुधारने के लिए एक प्रोजेक्ट शुरू करने में रुचि रखते हैं? ग्राउंड ट्रुथ प्लस के साथ शुरुआत करें हमारी टीम से जुड़ रहे हैं आज।
लेखक के बारे में
जेसी मैंडर्स लूप सर्विसेज टीम में AWS AI/ML ह्यूमन में एक वरिष्ठ उत्पाद प्रबंधक हैं। वह हमारी जरूरतों को पूरा करने के लिए एआई/एमएल उत्पादों और सेवाओं को बनाने और सुधारने के लक्ष्य के साथ एआई और मानव संपर्क के चौराहे पर काम करता है। इससे पहले, जेसी ने Apple और Lumileds में इंजीनियरिंग में नेतृत्वकारी भूमिकाएँ निभाई थीं, और सिलिकॉन वैली स्टार्टअप में एक वरिष्ठ वैज्ञानिक थे। उनके पास एमएस और पीएचडी है। फ्लोरिडा विश्वविद्यालय से, और कैलिफोर्निया विश्वविद्यालय, बर्कले, हास स्कूल ऑफ बिजनेस से एमबीए।
रोमी दत्ता वह अमेज़ॅन सेजमेकर टीम में उत्पाद प्रबंधन के एक वरिष्ठ प्रबंधक हैं जो ह्यूमन इन द लूप सेवाओं के लिए जिम्मेदार हैं। वह 4 वर्षों से अधिक समय से AWS में हैं और सेजमेकर, S3 और IoT में कई उत्पाद प्रबंधन नेतृत्व भूमिकाएँ निभा रहे हैं। एडब्ल्यूएस से पहले उन्होंने आईबीएम, टेक्सास इंस्ट्रूमेंट्स और एनवीडिया में विभिन्न उत्पाद प्रबंधन, इंजीनियरिंग और परिचालन नेतृत्व भूमिकाओं में काम किया। उनके पास एमएस और पीएचडी है। ऑस्टिन में टेक्सास विश्वविद्यालय से इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग में, और शिकागो विश्वविद्यालय बूथ स्कूल ऑफ बिजनेस से एमबीए।
जोनाथन बकी Amazon Web Services में एक सॉफ्टवेयर इंजीनियर है जो मशीन लर्निंग और डिस्ट्रीब्यूटेड सिस्टम्स के इंटरसेक्शन पर काम करता है। उनके काम में मशीन लर्निंग मॉडल का उत्पादन करना और ग्राहकों के हाथों में नवीनतम क्षमताओं को रखने के लिए मशीन लर्निंग द्वारा संचालित उपन्यास सॉफ्टवेयर एप्लिकेशन विकसित करना शामिल है।
एलेक्स विलियम्स AWS AI में ह्यूमन-इन-द-लूप साइंस टीम में एक व्यावहारिक वैज्ञानिक हैं, जहां वह ह्यूमन-कंप्यूटर इंटरेक्शन (HCI) और मशीन लर्निंग के इंटरसेक्शन पर इंटरैक्टिव सिस्टम रिसर्च करते हैं। अमेज़ॅन में शामिल होने से पहले, वह टेनेसी विश्वविद्यालय में इलेक्ट्रिकल इंजीनियरिंग और कंप्यूटर विज्ञान विभाग में प्रोफेसर थे, जहां उन्होंने पीपल, एजेंट्स, इंटरैक्शन और सिस्टम्स (पीएआईआरएस) अनुसंधान प्रयोगशाला का सह-निर्देशन किया था। उन्होंने माइक्रोसॉफ्ट रिसर्च, मोज़िला रिसर्च और ऑक्सफोर्ड विश्वविद्यालय में अनुसंधान पदों पर भी काम किया है। वह नियमित रूप से एचसीआई के प्रमुख प्रकाशन स्थलों, जैसे सीएचआई, सीएससीडब्ल्यू और यूआईएसटी पर अपना काम प्रकाशित करते हैं। उन्होंने वाटरलू विश्वविद्यालय से पीएचडी की उपाधि प्राप्त की है।
सारा गाओ अमेज़ॅन सेजमेकर ह्यूमन इन द लूप (एचआईएल) में एक सॉफ्टवेयर डेवलपमेंट मैनेजर है जो एमएल आधारित लेबलिंग प्लेटफॉर्म के निर्माण के लिए जिम्मेदार है। सारा 4 वर्षों से अधिक समय से AWS में हैं और उन्होंने EC2 सुरक्षा और सेजमेकर में कई सॉफ्टवेयर प्रबंधन नेतृत्व भूमिकाएँ निभाई हैं। AWS से पहले उन्होंने Oracle और Sun Microsystem में विभिन्न इंजीनियरिंग प्रबंधन भूमिकाओं में काम किया।
एरान ली ह्यूमन-इन-द-लूप सर्विसेज, AWS AI, Amazon में एप्लाइड साइंस मैनेजर हैं। उनकी अनुसंधान रुचियां 3डी गहन शिक्षण, और दृष्टि और भाषा प्रतिनिधित्व सीखना हैं। पहले वह एलेक्सा एआई में एक वरिष्ठ वैज्ञानिक, स्केल एआई में मशीन लर्निंग के प्रमुख और पोनी.एआई में मुख्य वैज्ञानिक थे। इससे पहले, वह उबर एटीजी में धारणा टीम और उबर में मशीन लर्निंग प्लेटफॉर्म टीम के साथ स्वायत्त ड्राइविंग, मशीन लर्निंग सिस्टम और एआई की रणनीतिक पहल के लिए मशीन लर्निंग पर काम कर रहे थे। उन्होंने बेल लैब्स में अपना करियर शुरू किया और कोलंबिया विश्वविद्यालय में सहायक प्रोफेसर थे। उन्होंने ICML'17 और ICCV'19 में सह-ट्यूटोरियल पढ़ाया, और स्वायत्त ड्राइविंग, 3D विज़न और रोबोटिक्स, मशीन लर्निंग सिस्टम और एडवरसैरियल मशीन लर्निंग के लिए मशीन लर्निंग पर NeurIPS, ICML, CVPR, ICCV में कई कार्यशालाओं का सह-आयोजन किया। उन्होंने कॉर्नेल विश्वविद्यालय से कंप्यूटर विज्ञान में पीएचडी की है। वह एसीएम फेलो और आईईईई फेलो हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
- PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/high-quality-human-feedback-for-your-generative-ai-applications-from-amazon-sagemaker-ground-truth-plus/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 100
- 3d
- 7
- a
- योग्य
- About
- अमूर्त
- शैक्षिक
- अनुसार
- शुद्धता
- सही
- एसीएम
- गतिविधि
- इसके अतिरिक्त
- पता
- ग्रहण करने वालों
- प्रगति
- विरोधात्मक
- विज्ञापन
- फिर
- एजेंटों
- AI
- ai कला
- ऐ / एमएल
- एलेक्सा
- संरेखित करें
- गठबंधन
- संरेखण
- सब
- अनुमति देना
- की अनुमति देता है
- अकेला
- साथ में
- भी
- वीरांगना
- अमेज़न SageMaker
- अमेज़ॅन सैजमेकर ग्राउंड ट्रुथ
- अमेज़ॅन वेब सेवा
- के बीच में
- an
- और
- जवाब
- जवाब
- प्रकट होता है
- Apple
- आवेदन
- अनुप्रयोगों
- लागू
- हैं
- चारों ओर
- कला
- AS
- संपत्ति
- सहायकों
- जुड़े
- At
- विशेषताओं
- ऑस्टिन
- स्वायत्त
- उपलब्ध
- एडब्ल्यूएस
- वापस
- पृष्ठभूमि
- आधारित
- BE
- किया गया
- से पहले
- जा रहा है
- घंटी
- बर्कले
- के बीच
- झुका हुआ
- पूर्वाग्रहों
- परिवर्तन
- के छात्रों
- मुक्केबाज़ी
- ब्रांड
- लाना
- निर्माण
- निर्माता
- बिल्डरों
- इमारत
- बनाया गया
- व्यापार
- व्यापारिक सूचना
- लेकिन
- by
- कैलिफ़ोर्निया
- कर सकते हैं
- क्षमताओं
- सक्षम
- कैप्शन
- कब्जा
- कौन
- कैरियर
- मामला
- मामलों
- कैट
- केंद्र
- परिवर्तन
- chatbot
- chatbots
- चेक
- शिकागो
- प्रमुख
- करने के लिए चुना
- स्पष्टता
- वर्गीकृत
- स्पष्ट
- स्पष्ट रूप से
- संज्ञानात्मक
- सुसंगत
- कोलंबिया
- गठबंधन
- सामान्य
- कंपनियों
- कंपनी
- की तुलना
- पूरा
- पूरा
- कंप्यूटर
- कंप्यूटर इंजीनियरिंग
- कम्प्यूटर साइंस
- संकल्पना
- आयोजित
- आत्मविश्वास
- पुष्टि करें
- सामग्री
- प्रसंग
- नियंत्रण
- कॉर्नेल
- कॉर्पोरेट
- सही
- सका
- कवर
- बनाना
- बनाया
- बनाना
- निर्माण
- क्रिएटिव
- महत्वपूर्ण
- रिवाज
- ग्राहक
- ग्राहक
- अनुकूलित
- अनुकूलित
- खतरनाक
- तिथि
- डेटासेट
- गहरा
- ध्यान लगा के पढ़ना या सीखना
- और गहरा
- उद्धार
- दिया गया
- दिखाना
- साबित
- विभाग
- विवरण
- डिज़ाइन
- बनाया गया
- डिजाइनर
- विस्तार
- विस्तृत
- निर्धारित करना
- विकासशील
- विकास
- विभिन्न
- आयाम
- आयाम
- विवेक
- चर्चा करना
- वितरित
- वितरित प्रणाली
- वितरण
- do
- नहीं करता है
- कुत्ता
- किया
- dont
- DOT
- ड्राइविंग
- दौरान
- से प्रत्येक
- आराम
- उपयोग में आसानी
- प्रभावशीलता
- तत्व
- सक्षम बनाता है
- मनोहन
- इंजीनियर
- अभियांत्रिकी
- बढ़ाने
- सुनिश्चित
- दर्ज
- संपूर्ण
- वातावरण
- विशेष रूप से
- और भी
- घटनाओं
- उदाहरण
- उदाहरण
- एक्ज़िबिट
- मौजूदा
- विशेषज्ञ
- विशेषज्ञता
- विशेषज्ञों
- प्रतिक्रिया
- साथी
- फ़ील्ड
- फ़िल्म
- अंत में
- प्रथम
- फ्लोरिडा
- प्रवाह
- का पालन करें
- निम्नलिखित
- के लिए
- प्रपत्र
- पाया
- बुनियाद
- चार
- ढांचा
- से
- आगे
- भविष्य
- खेल
- खेल का विकास
- गाओ
- इकट्ठा
- सभा
- सामान्य जानकारी
- उत्पन्न
- उत्पन्न
- सृजन
- पीढ़ी
- उत्पादक
- जनरेटिव एआई
- जनरेटर
- मिल
- मिल रहा
- दी
- लक्ष्य
- ग्राफ़िक
- जमीन
- गाइड
- दिशा निर्देशों
- था
- हाथ
- हानिकारक
- है
- एचसीआई
- he
- सिर
- mmmmm
- भार उठाना
- धारित
- मदद
- सहायक
- मदद करता है
- हाई
- उच्च गुणवत्ता
- हाइलाइट
- अत्यधिक
- उसके
- पकड़े
- रखती है
- कैसे
- How To
- एचटीएमएल
- HTTPS
- मानव
- मनुष्य
- आईबीएम
- पहचान
- पहचान करना
- आईईईई
- if
- अवैध
- की छवि
- छवियों
- महत्वपूर्ण
- में सुधार
- में सुधार लाने
- in
- ग़लत
- शामिल
- शामिल
- सम्मिलित
- उद्योग
- उद्योग विशेष
- पहल
- नवाचारों
- निवेश
- निर्देश
- यंत्र
- बुद्धि
- इरादा
- इरादा
- बातचीत
- बातचीत
- इंटरैक्टिव
- रुचि
- रुचियों
- इंटरफेस
- आंतरिक
- प्रतिच्छेदन
- में
- IOT
- मुद्दा
- मुद्दों
- IT
- आईटी इस
- खुद
- काम
- शामिल होने
- यात्रा
- जेपीजी
- केवल
- कुंजी
- बच्चा
- ज्ञान
- लेबलिंग
- लेबल
- प्रयोगशाला
- लैब्स
- भाषा
- बड़ा
- ताज़ा
- नेतृत्व
- जानें
- सीख रहा हूँ
- कम से कम
- बाएं
- लंबाई
- उत्तोलक
- सीमा
- एलएलएम
- लॉगिंग
- प्रतीक चिन्ह
- मशीन
- यंत्र अधिगम
- मुख्य
- बनाना
- प्रबंध
- प्रबंधक
- प्रबंधन करता है
- प्रबंध
- बहुत
- चिह्नित
- विपणन (मार्केटिंग)
- मिलान
- मई..
- अर्थ
- साधन
- मिलना
- की बैठक
- मानसिक
- message
- तरीका
- तरीकों
- माइक्रोसॉफ्ट
- लापता
- ML
- आदर्श
- मॉडल
- संयम
- अधिक
- अधिकांश
- मोज़िला
- मल्टीमीडिया
- विभिन्न
- चाहिए
- नामों
- प्राकृतिक
- आवश्यकता
- की जरूरत है
- नया
- अगला
- नहीं
- उपन्यास
- अभी
- संख्या
- Nvidia
- वस्तु
- वस्तुओं
- of
- on
- लोगों
- केवल
- परिचालन
- ऑप्शंस
- or
- पेशीनगोई
- आदेश
- अन्य
- हमारी
- उत्पादन
- के ऊपर
- अपना
- ऑक्सफोर्ड
- पृष्ठ
- जोड़ा
- जोड़े
- फलक
- भाग
- विशेष
- भागों
- पारित कर दिया
- पैटर्न उपयोग करें
- स्टाफ़
- धारणा
- निष्पादन
- प्रदर्शन
- स्टाफ़
- निजीकरण
- जगह
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- निभाता
- प्लस
- पदों
- पद
- पोस्ट
- संचालित
- शक्तिशाली
- पसंद करते हैं
- वरीयताओं
- वरीय
- प्रधानमंत्री
- तैयार करना
- तैयारी
- प्रस्तुत
- पहले से
- पूर्व
- मुसीबत
- समस्याओं
- प्रक्रिया
- उत्पादन
- प्रस्तुत
- उत्पादक
- प्रोड्यूसर्स
- एस्ट्रो मॉल
- उत्पाद प्रबंधन
- उत्पादन प्रबंधक
- उत्पादकता
- उत्पाद
- प्रोफेसर
- परियोजना
- परियोजनाओं
- प्रदान करना
- बशर्ते
- प्रदान कर
- प्रकाशन
- प्रकाशित करती है
- उद्देश्य
- प्रयोजनों
- रखना
- क्यू एंड ए
- गुणवत्ता
- प्रश्न
- प्रशन
- रैंकिंग
- दर्ज़ा
- पढ़ना
- तैयार
- यथार्थवादी
- हाल
- पहचान
- नियमित तौर पर
- सम्बंधित
- रिश्ते
- प्रासंगिक
- भरोसा करना
- हटाने
- प्रतिनिधित्व
- का प्रतिनिधित्व करता है
- ख्याति
- का अनुरोध
- अनुरोधों
- अपेक्षित
- आवश्यकताएँ
- की आवश्यकता होती है
- अनुसंधान
- सम्मान
- प्रतिक्रिया
- प्रतिक्रिया
- प्रतिक्रियाएं
- जिम्मेदार
- परिणाम
- की समीक्षा
- धनी
- सही
- जोखिम
- खतरे में डालकर
- रोबोटिक्स
- भूमिका
- भूमिकाओं
- s
- सुरक्षित
- sagemaker
- स्केल
- स्केल एआई
- स्कूल के साथ
- विज्ञान
- वैज्ञानिक
- अनुभाग
- सुरक्षा
- वरिष्ठ
- संवेदनशील
- भेजा
- सेवाएँ
- सेवारत
- सेट
- सेट
- की स्थापना
- व्यवस्था
- कई
- Share
- वह
- दिखाना
- दिखाया
- दिखाता है
- पक्ष
- सिलिकॉन
- सिलिकॉन वैली
- समान
- केवल
- एक साथ
- एक
- कुशल
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- सॉफ्टवेयर इंजीनियर
- हल
- कुछ
- कुछ
- विशिष्ट
- विनिर्दिष्ट
- प्रारंभ
- शुरू
- शुरुआत में
- स्टार्टअप
- रहना
- कदम
- सामरिक
- अंदाज
- प्रस्तुत
- पदार्थ
- ऐसा
- संक्षेप में प्रस्तुत करना
- सारांश
- रवि
- समर्थित
- माना
- सिस्टम
- लेना
- लिया
- कार्य
- कार्य
- शिक्षण
- टीम
- टेनेसी
- शर्तों
- टेक्सास
- से
- कि
- RSI
- दुनिया
- लेकिन हाल ही
- उन
- फिर
- वहाँ।
- इसलिये
- इन
- वे
- इसका
- तीन
- यहाँ
- पहर
- टाइमस्टैम्प
- सेवा मेरे
- आज
- उपकरण
- ऊपर का
- विषय
- दौरा
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- गाड़ियों
- सच
- ट्यूटोरियल
- दो
- टाइप
- प्रकार
- आम तौर पर
- Uber
- ui
- समझ
- विश्वविद्यालय
- यूनिवर्सिटी ऑफ कैलिफोर्निया
- शिकागो विश्वविद्यालय
- यूनिवर्सिटी ऑफ ओक्सफोर्ड
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग
- घाटी
- विविधता
- विभिन्न
- स्थानों
- वीडियो
- वीडियो खेल
- वीडियो
- दृष्टि
- आवाज़
- करना चाहते हैं
- चाहने
- चाहता है
- था
- we
- वेब
- वेब सेवाओं
- कुंआ
- क्या
- कब
- कौन कौन से
- कौन
- पूरा का पूरा
- मर्जी
- साथ में
- बिना
- काम
- काम किया
- वर्कफ़्लो
- workflows
- कार्यबल
- काम कर रहे
- कार्य
- कार्यशालाओं
- विश्व
- होगा
- लिखना
- लिख रहे हैं
- लिखा हुआ
- साल
- आप
- आपका
- जेफिरनेट