डेटाब्रिक्स का दावा है कि उसका ओपन सोर्स एलएलएम जीपीटी-3.5 से बेहतर है

एनालिटिक्स प्लेटफॉर्म डेटाब्रिक्स ने एक ओपन सोर्स फाउंडेशनल लार्ज लैंग्वेज मॉडल लॉन्च किया है, उम्मीद है कि उद्यम एलएलएम बैंडवैगन पर कूदने के लिए अपने टूल का उपयोग करने का विकल्प चुनेंगे।

अपाचे स्पार्क के आसपास स्थापित बिज़ ने अपने सामान्य प्रयोजन एलएलएम - जिसे डीबीआरएक्स कहा जाता है - का दावा करते हुए कई बेंचमार्क प्रकाशित किए - भाषा समझ, प्रोग्रामिंग और गणित पर ओपन सोर्स प्रतिद्वंद्वियों को हराया। डेवलपर ने यह भी दावा किया कि उसने समान माप में OpenAI के स्वामित्व वाले GPT-3.5 को हरा दिया है।

DBRX को मोज़ेक AI द्वारा विकसित किया गया था, जो डेटाब्रिक्स का अधिग्रहण किया गया $1.3 बिलियन में, और एनवीडिया डीजीएक्स क्लाउड पर प्रशिक्षित किया गया। डेटाब्रिक्स का दावा है कि उसने डीबीआरएक्स को दक्षता के लिए अनुकूलित किया है, जिसे वह विशेषज्ञों का मिश्रण (एमओई) आर्किटेक्चर कहता है - जहां कई विशेषज्ञ नेटवर्क या शिक्षार्थी एक समस्या को विभाजित करते हैं।

डेटाब्रिक्स ने बताया कि मॉडल में 132 बिलियन पैरामीटर हैं, लेकिन किसी एक इनपुट पर केवल 36 बिलियन ही सक्रिय हैं।

डेटाब्रिक्स के मार्केटिंग उपाध्यक्ष जोएल मिन्निक ने बताया रजिस्टर: “यही एक बड़ा कारण है कि मॉडल न केवल उतनी ही कुशलता से चलने में सक्षम है, बल्कि बहुत तेज़ गति से भी चलता है। व्यावहारिक रूप से, यदि आप किसी भी प्रकार के प्रमुख चैटबॉट का उपयोग करते हैं जो आज उपलब्ध हैं, तो आप संभवतः प्रतीक्षा करने और उत्तर उत्पन्न होते देखने के आदी हैं। डीबीआरएक्स के साथ यह लगभग तात्कालिक है।"

लेकिन डेटाब्रिक्स के लिए मॉडल का प्रदर्शन ही मायने नहीं रखता। आख़िरकार, व्यवसाय डीबीआरएक्स को उपलब्ध कराना है गिटहब पर मुफ्त और गले लगना.

डेटाब्रिक्स उम्मीद कर रहा है कि ग्राहक इस मॉडल को अपने एलएलएम के लिए आधार के रूप में उपयोग करेंगे। यदि ऐसा होता है तो यह ग्राहक चैटबॉट या आंतरिक प्रश्न उत्तर में सुधार कर सकता है, साथ ही यह भी दिखाएगा कि डेटाब्रिक्स के मालिकाना टूल का उपयोग करके डीबीआरएक्स कैसे बनाया गया था।

डेटाब्रिक्स ने डेटा प्रोसेसिंग के लिए अपाचे स्पार्क और डेटाब्रिक्स नोटबुक, डेटा प्रबंधन और प्रशासन के लिए यूनिटी कैटलॉग और प्रयोग ट्रैकिंग के लिए एमएलफ्लो का उपयोग करके डेटासेट को एक साथ रखा, जिससे डीबीआरएक्स विकसित किया गया था।

मिन्निक ने खुलासा किया कि तीसरे पक्ष के स्वामित्व और शासन पर आशंकाओं के कारण एलएलएम में उद्यम निवेश में देरी हुई। उन्होंने समझाया, "डेटा को तीसरे पक्ष को स्थानांतरित करना, मॉडल भार पर स्वामित्व न होना, डेटा के प्रशासन को शुरू से अंत तक पूरी तरह से नियंत्रित करने में सक्षम नहीं होना - ये ऐसी चीजें हैं जो उन्हें धीमा कर देती हैं।"

"हमने जो निर्माण करने की योजना बनाई थी वह एक अत्यंत कुशल मॉडल था जिसका उपयोग उद्यम अपने स्वयं के विशिष्ट उपयोग के मामलों के लिए अपने स्वयं के अनुप्रयोगों में जाने और लाने के लिए कर सकते हैं।"

अमलगम इनसाइट्स के सीईओ और मुख्य विश्लेषक ह्युन पार्क ने कहा कि डीबीआरएक्स का महत्व यह है कि डेटाब्रिक्स यह दिखा सकता है कि मॉडल कैसे बनाया गया था, चरण-दर-चरण, अन्य उद्यमों के लिए अनुसरण करने और ठीक करने की प्रक्रिया के रूप में।

"एंड-टू-एंड मॉडल ट्यूनिंग, परीक्षण और संचालन में वंशावली, दृश्यता, दोहराव और मॉडल स्वामित्व का संयोजन महत्वपूर्ण है।"

पार्क ने कहा कि वह समझते हैं कि डेटाब्रिक्स ने पहले ही ग्राहकों के लिए 50,000 से अधिक कस्टम मॉडल बनाए हैं। "यह मॉडल निर्माण अनुभव और सर्वोत्तम निजी और खुले स्रोत प्रयासों के बराबर उच्च प्रदर्शन वाले मॉडल के साथ इसे करने की क्षमता का संयोजन है जो इस घोषणा को उद्यम आईटी परिप्रेक्ष्य से मेरे लिए उल्लेखनीय बनाता है।"

डीबीआरएक्स समाचार डेटाब्रिक्स के लिए बदलती प्रतिस्पर्धी पृष्ठभूमि के खिलाफ सामने आता है। बिज़ की माइक्रोसॉफ्ट के साथ दीर्घकालिक रणनीतिक साझेदारी है, जिसके परिणामस्वरूप एज़्योर डेटाब्रिक्स - जिसमें उपयोगकर्ताओं को रेडमंड दिग्गज के क्लाउड प्लेटफ़ॉर्म से निकटता से जुड़ी एकीकृत डेटा सेवाओं का वादा किया जाता है।

लेकिन 2017 में लॉन्च किए गए ऑफर के बाद से, माइक्रोसॉफ्ट डेटाब्रिक्स के लेकहाउस मार्केट में चला गया है - जहां उपयोगकर्ताओं को एक ही वातावरण में डेटा वेयरहाउसिंग और डेटा लेक की पेशकश की जाती है - और उपयोगकर्ताओं को एंटरप्राइज़-ग्रेड एलएलएम का वादा करता है यह 10 अरब डॉलर है ओपनएआई साझेदारी। इसके फैब्रिक वातावरण में, माइक्रोसॉफ्ट भी दे सकता है ऑफर अपने ट्रांसेक्शनल डेटाबेस सिस्टम Azure Cosmos DB और Azure SQL DB से "मिररिंग", डेटा को स्थानांतरित किए बिना एनालिटिक्स सेवाओं तक पहुंच प्रदान करता है।

डेटाब्रिक्स और माइक्रोसॉफ्ट दोनों की रणनीतियों पर एक खुला प्रश्न लटका हुआ है कि एलएलएम प्रौद्योगिकियों में अपेक्षित निवेश की बाढ़ कब आने वाली है। जनवरी में, गार्टनर ने भविष्यवाणी की प्रौद्योगिकी पर उद्यम व्यय इस वर्ष नहीं आएगा, और अन्य आईटी निवेश पर इसका बहुत कम प्रभाव पड़ेगा। ®

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/03/28/databricks_dbrx_llm/