फॉर्च्यूना का परिचय: अनिश्चितता मात्रा का ठहराव के लिए एक पुस्तकालय

महत्वपूर्ण निर्णयों को शामिल करने वाले अनुप्रयोगों में भविष्यवाणिय अनिश्चितता का उचित अनुमान मौलिक है। अनिश्चितता का उपयोग मॉडल भविष्यवाणियों की विश्वसनीयता का आकलन करने, मानव हस्तक्षेप को ट्रिगर करने, या यह तय करने के लिए किया जा सकता है कि जंगली में मॉडल को सुरक्षित रूप से तैनात किया जा सकता है या नहीं।

हम परिचय कराते हैं भाग्य, अनिश्चितता मात्रा का ठहराव के लिए एक ओपन-सोर्स लाइब्रेरी। फोर्टुना अंशांकन विधियों को प्रदान करता है, जैसे अनुरूप भविष्यवाणी, जिसे कैलिब्रेटेड अनिश्चितता अनुमान प्राप्त करने के लिए किसी भी प्रशिक्षित तंत्रिका नेटवर्क पर लागू किया जा सकता है। पुस्तकालय आगे कई बायेसियन अनुमान विधियों का समर्थन करता है जिन्हें गहरे तंत्रिका नेटवर्क में लिखा जा सकता है सन. पुस्तकालय बेंचमार्क चलाना आसान बनाता है और उन्नत अनिश्चितता मात्राकरण तकनीकों का लाभ उठाकर चिकित्सकों को मजबूत और विश्वसनीय एआई समाधान बनाने में सक्षम बनाता है।

गहरी शिक्षा में अति आत्मविश्वास की समस्या

यदि आपने कभी किसी प्रशिक्षित डीप न्यूरल नेटवर्क क्लासिफायर द्वारा लौटाई गई कक्षा की संभावनाओं को देखा है, तो आपने देखा होगा कि एक वर्ग की संभावना दूसरों की तुलना में बहुत बड़ी थी। ऐसा कुछ, उदाहरण के लिए:

पी = [0.0001, 0.0002, …, 0.9991, 0.0003, …, 0.0001]

यदि यह अधिकांश भविष्यवाणियों के मामले में है, तो आपका मॉडल अति आत्मविश्वासी हो सकता है। क्लासिफायर द्वारा लौटाई गई संभावनाओं की वैधता का मूल्यांकन करने के लिए, हम उनकी तुलना होल्डआउट डेटा सेट पर प्राप्त वास्तविक सटीकता से कर सकते हैं। वास्तव में, यह मान लेना स्वाभाविक है कि सही ढंग से वर्गीकृत डेटा बिंदुओं का अनुपात अनुमानित वर्ग की अनुमानित संभाव्यता से लगभग मेल खाना चाहिए। इस अवधारणा के रूप में जाना जाता है अंशांकन [गुओ सी। एट अल।, 2017].

दुर्भाग्य से, कई प्रशिक्षित गहरे तंत्रिका नेटवर्क गलत हैं, जिसका अर्थ है कि अनुमानित वर्ग की अनुमानित संभावना सही ढंग से वर्गीकृत इनपुट डेटा बिंदुओं के अनुपात से बहुत अधिक है। दूसरे शब्दों में, वर्गीकारक अति आत्मविश्वासी है।

व्यवहार में अति आत्मविश्वास से परेशानी हो सकती है। एक एआई द्वारा निर्मित एक अति आत्मविश्वास से स्वस्थ निदान के परिणामस्वरूप एक डॉक्टर प्रासंगिक अतिरिक्त परीक्षणों का आदेश नहीं दे सकता है। एक सेल्फ-ड्राइविंग कार ब्रेक न लगाने का फैसला कर सकती है क्योंकि यह आत्मविश्वास से आकलन करती है कि सामने की वस्तु एक व्यक्ति नहीं थी। एक गवर्नर एक कस्बे को खाली करने का निर्णय ले सकता है क्योंकि एआई द्वारा अनुमानित एक प्रमुख प्राकृतिक आपदा की संभावना बहुत अधिक है। इन और कई अन्य अनुप्रयोगों में, कैलिब्रेटेड अनिश्चितता अनुमान मॉडल भविष्यवाणियों की विश्वसनीयता का आकलन करने, मानव निर्णयकर्ता के पास वापस आने या यह तय करने के लिए महत्वपूर्ण हैं कि मॉडल को सुरक्षित रूप से तैनात किया जा सकता है या नहीं।

Fortuna: अनिश्चितता परिमाणीकरण के लिए एक पुस्तकालय

भविष्यवाणियों की अनिश्चितता का अनुमान लगाने या अंशांकन करने के लिए कई प्रकाशित तकनीकें हैं, उदाहरण के लिए, बायेसियन अनुमान [विल्सन एजी, 2020], तापमान स्केलिंग [गुओ सी। एट अल।, 2017], और अनुरूप भविष्यवाणी [एंजेलोपोलोस एएन एट अल।, 2022] तरीके। हालांकि, अनिश्चितता परिमाणीकरण के लिए मौजूदा उपकरण और पुस्तकालयों का एक संकीर्ण दायरा है और एक ही स्थान पर तकनीकों की चौड़ाई प्रदान नहीं करते हैं। इसके परिणामस्वरूप एक महत्वपूर्ण उपरिव्यय होता है, जो उत्पादन प्रणालियों में अनिश्चितता को अपनाने में बाधा डालता है।

इस अंतर को भरने के लिए, हमने फोर्टुना लॉन्च किया, जो अनिश्चितता के परिमाणीकरण के लिए एक पुस्तकालय है, जो साहित्य में प्रमुख तरीकों को एक साथ लाता है और उन्हें एक मानकीकृत और सहज ज्ञान युक्त इंटरफ़ेस के साथ उपयोगकर्ताओं के लिए उपलब्ध कराता है।

एक उदाहरण के रूप में, मान लें कि आपके पास प्रशिक्षण, अंशांकन और परीक्षण डेटा लोडर हैं tensorflow.Tensor प्रारूप, अर्थात् train_data_loader, calib_data_loader और test_data_loader. इसके अलावा, आपके पास एक गहन शिक्षण मॉडल लिखा हुआ है सन, अर्थात् मॉडल। तब आप फोर्टुना का उपयोग कर सकते हैं:

1. एक पश्च वितरण फिट;
2. मॉडल आउटपुट को कैलिब्रेट करें;
3. अंशांकित भविष्यवाणियां करें;
4. अनिश्चितता अनुमानों का अनुमान;
5. मूल्यांकन मेट्रिक्स की गणना करें।

निम्नलिखित कोड आपके लिए यह सब करता है।

from fortuna.data import DataLoader
from fortuna.prob_model.classification import ProbClassifier
from fortuna.metric.classification import expected_calibration_error

# convert data loaders
train_data_loader = DataLoader.from_tensorflow_data_loader(train_data_loader)
calib_data_loader = DataLoader.from_tensorflow_data_loader(calib_data_loader)
test_data_loader = DataLoader.from_tensorflow_data_loader(test_data_loader)

# define and train a probabilistic model
prob_model = ProbClassifier(model=model)
train_status = prob_model.train(train_data_loader=train_data_loader, calib_data_loader=calib_data_loader)

# make predictions and estimate uncertainty
test_inputs_loader = test_data_loader.to_inputs_loader()
test_means = prob_model.predictive.mean(inputs_loader=test_inputs_loader)
test_modes = prob_model.predictive.mode(inputs_loader=test_inputs_loader, means=test_means)

# compute the expected calibration error and plot a reliability diagram
test_targets = test_data_loader.to_array_targets()
ece = expected_calibration_error(preds=test_modes, probs=test_means, targets=test_targets)

ऊपर दिया गया कोड SWAG सहित कई डिफ़ॉल्ट विकल्पों का उपयोग करता है [मैडॉक्स डब्ल्यूजे एट अल।, 2019] पश्च निष्कर्ष विधि के रूप में, तापमान स्केलिंग [गुओ सी। एट अल।, 2017] मॉडल आउटपुट को कैलिब्रेट करने के लिए, और एक मानक गॉसियन पूर्व वितरण, साथ ही पश्च फिटिंग और अंशांकन प्रक्रियाओं का विन्यास। आप इन सभी घटकों को आसानी से कॉन्फ़िगर कर सकते हैं, और यदि आप एक विशिष्ट कॉन्फ़िगरेशन की तलाश कर रहे हैं या यदि आप कई लोगों की तुलना करना चाहते हैं तो आपको ऐसा करने के लिए अत्यधिक प्रोत्साहित किया जाता है।

उपयोग मोड

फ़ोर्टुना उपयोग के तीन तरीके प्रदान करता है: 1/ फ्लैक्स मॉडल से शुरू, 2 / मॉडल आउटपुट से शुरू, और 3/ अनिश्चितता के अनुमानों से शुरू. उनकी पाइपलाइनों को निम्नलिखित आकृति में दर्शाया गया है, प्रत्येक एक हरे पैनल से शुरू होती है। ऊपर दिया गया कोड स्निपेट फ्लैक्स मॉडल से शुरू होने वाले फोर्टुना का उपयोग करने का एक उदाहरण है, जो बायेसियन इंट्रेंस प्रक्रियाओं का उपयोग करके एक मॉडल को प्रशिक्षित करने की अनुमति देता है। वैकल्पिक रूप से, आप या तो मॉडल आउटपुट से या सीधे अपने अनिश्चितता अनुमानों से शुरू कर सकते हैं। ये दोनों बाद वाले मोड हैं ढांचा स्वतंत्र और आपको एक से शुरू होने वाले कैलिब्रेटेड अनिश्चितता अनुमान प्राप्त करने में मदद करता है प्रशिक्षित मॉडल.

1/अनिश्चितता के अनुमानों से शुरू

अनिश्चितता के अनुमानों से शुरू करने के लिए न्यूनतम अनुकूलता की आवश्यकता होती है, और यह पुस्तकालय के साथ बातचीत का सबसे तेज स्तर है। यह उपयोग मोड वर्गीकरण और प्रतिगमन दोनों के लिए अनुरूप भविष्यवाणी पद्धति प्रदान करता है। ये अनिश्चितता का अनुमान लगाते हैं numpy.ndarray प्रायिकता के उपयोगकर्ता द्वारा दिए गए स्तर को बनाए रखने वाले भविष्यवाणियों के कठोर सेट को प्रारूपित करना और वापस करना। एक आयामी प्रतिगमन कार्यों में, अनुरूप सेट को विश्वास या विश्वसनीय अंतराल के कैलिब्रेटेड संस्करण के रूप में माना जा सकता है।

ध्यान रखें कि यदि अनिश्चितता का अनुमान है कि आप इनपुट में प्रदान करते हैं गलत हैं, अनुरूप सेट बड़े और अनुपयोगी हो सकते हैं। इस कारण से, यदि आपका आवेदन इसकी अनुमति देता है, तो कृपया इस पर विचार करें मॉडल आउटपुट से शुरू और फ्लैक्स मॉडल से शुरू उपयोग मोड नीचे विस्तृत।

2/मॉडल आउटपुट से शुरू

यह मोड मानता है कि आप पहले से ही कुछ ढांचे में एक मॉडल को प्रशिक्षित कर चुके हैं और मॉडल आउटपुट के साथ फोर्टुना में पहुंचें numpy.ndarray प्रत्येक इनपुट डेटा बिंदु के लिए प्रारूप। यह उपयोग मोड आपको अपने मॉडल आउटपुट को कैलिब्रेट करने, अनिश्चितता का अनुमान लगाने, मेट्रिक्स की गणना करने और अनुरूप सेट प्राप्त करने की अनुमति देता है।

की तुलना में अनिश्चितता के अनुमानों से शुरू उपयोग मोड, मॉडल आउटपुट से शुरू बेहतर नियंत्रण प्रदान करता है, क्योंकि यह सुनिश्चित कर सकता है कि अनिश्चितता के अनुमानों को उचित रूप से कैलिब्रेट किया गया है। हालांकि, यदि मॉडल को शास्त्रीय तरीकों से प्रशिक्षित किया गया था, तो मॉडल (उर्फ महामारी) अनिश्चितता का परिणामी परिमाणीकरण खराब हो सकता है। इस समस्या को कम करने के लिए, कृपया विचार करें फ्लैक्स मॉडल से शुरू उपयोग मोड।

3/फ्लेक्स मॉडल से शुरू

फ्लैक्स मॉडल की तुलना में उच्च संगतता आवश्यकताएं हैं अनिश्चितता के अनुमानों से शुरू और मॉडल आउटपुट से शुरू उपयोग मोड, क्योंकि इसमें गहरे शिक्षण मॉडल की आवश्यकता होती है सन. हालाँकि, यह आपको मानक मॉडल प्रशिक्षण को स्केलेबल बायेसियन अनुमान प्रक्रियाओं के साथ बदलने में सक्षम बनाता है, जो भविष्य कहनेवाला अनिश्चितता की मात्रा में काफी सुधार कर सकता है।

मॉडल पैरामीटर पर अनिश्चितता के माध्यम से बायेसियन विधियां अनिश्चितता का प्रतिनिधित्व करके काम करती हैं, जो समाधान सही है, सीमित जानकारी दी गई है। इस प्रकार की अनिश्चितता को "महामारी" अनिश्चितता कहा जाता है। क्योंकि तंत्रिका नेटवर्क कई अलग-अलग समाधानों का प्रतिनिधित्व कर सकते हैं, उनके मापदंडों की विभिन्न सेटिंग्स के अनुरूप, बायेसियन तरीके विशेष रूप से गहन सीखने में प्रभावशाली हो सकते हैं। हम कई स्केलेबल बायेसियन इंट्रेंस प्रक्रियाएं प्रदान करते हैं, जिनका उपयोग अक्सर अनिश्चितता के अनुमानों के साथ-साथ बेहतर सटीकता और अंशांकन प्रदान करने के लिए किया जा सकता है, जिसमें अनिवार्य रूप से कोई प्रशिक्षण-समय ओवरहेड नहीं होता है।

निष्कर्ष

हमने फोर्टुना की सामान्य उपलब्धता की घोषणा की, जो गहरी शिक्षा में अनिश्चितता की मात्रा का ठहराव के लिए एक पुस्तकालय है। फोर्टुना साहित्य में प्रमुख तरीकों को एक साथ लाता है, उदाहरण के लिए, अनुरूप तरीके, तापमान स्केलिंग, और बायेसियन इंट्रेंस, और उन्हें एक मानकीकृत और सहज ज्ञान युक्त इंटरफ़ेस के साथ उपयोगकर्ताओं के लिए उपलब्ध कराता है। फोर्टुना के साथ आरंभ करने के लिए, आप निम्नलिखित संसाधनों से परामर्श कर सकते हैं:

Fortuna को आज़माएं, और हमें बताएं कि आप क्या सोचते हैं! आपको पुस्तकालय में योगदान करने या अपने सुझाव और योगदान देने के लिए प्रोत्साहित किया जाता है - बस एक मुद्दा या एक खोलें अनुरोध निवेदन करें. हमारी ओर से, हम फॉर्च्यून में सुधार करना जारी रखेंगे, अनिश्चितता परिमाणीकरण विधियों के अपने कवरेज को बढ़ाएंगे और आगे के उदाहरण जोड़ेंगे जो कई परिदृश्यों में इसकी उपयोगिता प्रदर्शित करते हैं।

लेखक के बारे में

 

जियानलुका डेटोमासो AWS में एप्लाइड साइंटिस्ट हैं। वह वर्तमान में गहन शिक्षा में अनिश्चितता मात्रा का ठहराव पर काम करता है। अपने खाली समय में जियानलुका को खेलों का अभ्यास करना, अच्छा खाना खाना और नए कौशल सीखना पसंद है।

अल्बर्टो गैस्पारिन जुलाई 2021 से Amazon कम्युनिटी शॉपिंग में एप्लाइड साइंटिस्ट हैं। उनकी रुचियों में प्राकृतिक भाषा प्रसंस्करण, सूचना पुनर्प्राप्ति और अनिश्चितता मात्रा का ठहराव शामिल है। वह खाने और शराब के शौकीन हैं।

मिशेल डोनिनी एडब्ल्यूएस में सीनियर एप्लाइड साइंटिस्ट हैं। वह जिम्मेदार एआई पर काम कर रहे वैज्ञानिकों की एक टीम का नेतृत्व करते हैं और उनके शोध के हित एल्गोरिदमिक निष्पक्षता और व्याख्या करने योग्य मशीन लर्निंग हैं।

मथायस सीगर एडब्ल्यूएस में प्रिंसिपल एप्लाइड साइंटिस्ट हैं।

सेड्रिक आर्कमब्यू एडब्ल्यूएस में प्रिंसिपल एप्लाइड साइंटिस्ट और लर्निंग एंड इंटेलिजेंट सिस्टम के लिए यूरोपीय लैब के फेलो हैं।

एंड्रयू गॉर्डन विल्सन न्यू यॉर्क यूनिवर्सिटी में कोर्टेंट इंस्टीट्यूट ऑफ मैथमेटिकल साइंसेज एंड सेंटर फॉर डेटा साइंस में एसोसिएट प्रोफेसर हैं और एडब्ल्यूएस में अमेजन विजिटिंग एकेडमिक हैं। वह विशेष रूप से बायेसियन और प्रोबेबिलिस्टिक डीप लर्निंग, स्केलेबल गॉसियन प्रोसेस, बायेसियन ऑप्टिमाइज़ेशन और भौतिकी-प्रेरित मशीन लर्निंग के लिए निर्माण विधियों में लगे हुए हैं।