यह पोस्ट जस्टिन माइल्स, लिव डी'अलिबर्टी और लीडोस के जो कोवबा के साथ सह-लिखित है।
लीडोस एक फॉर्च्यून 500 विज्ञान और प्रौद्योगिकी समाधान नेता है जो रक्षा, खुफिया, मातृभूमि सुरक्षा, नागरिक और स्वास्थ्य देखभाल बाजारों में दुनिया की कुछ सबसे कठिन चुनौतियों का समाधान करने के लिए काम कर रहा है। इस पोस्ट में, हम चर्चा करते हैं कि लीडोस ने गोपनीयता-संरक्षण बड़े भाषा मॉडल (एलएलएम) अनुमान के लिए एक दृष्टिकोण विकसित करने के लिए एडब्ल्यूएस के साथ कैसे काम किया एडब्ल्यूएस नाइट्रो एन्क्लेव.
एलएलएम को मानव जैसी भाषा को समझने और उत्पन्न करने के लिए डिज़ाइन किया गया है, और इसका उपयोग सरकार, स्वास्थ्य देखभाल, वित्तीय और बौद्धिक संपदा सहित कई उद्योगों में किया जाता है। एलएलएम में व्यापक प्रयोज्यता है, जिसमें चैटबॉट, सामग्री निर्माण, भाषा अनुवाद, भावना विश्लेषण, प्रश्न उत्तर प्रणाली, खोज इंजन और कोड पीढ़ी शामिल हैं। किसी सिस्टम में एलएलएम-आधारित अनुमान पेश करने से मॉडल घुसपैठ, डेटा गोपनीयता उल्लंघन और अनपेक्षित एलएलएम-आधारित सेवा हेरफेर सहित गोपनीयता खतरों को पेश करने की भी संभावना है। यह सुनिश्चित करने के लिए तकनीकी आर्किटेक्चर को लागू करने की आवश्यकता है कि एलएलएम अनुमान के दौरान संवेदनशील जानकारी को उजागर न करें।
यह पोस्ट चर्चा करती है कि कैसे नाइट्रो एन्क्लेव एलएलएम मॉडल परिनियोजन की सुरक्षा में मदद कर सकता है, विशेष रूप से वे जो व्यक्तिगत रूप से पहचान योग्य जानकारी (पीआईआई) या संरक्षित स्वास्थ्य जानकारी (पीएचआई) का उपयोग करते हैं। यह पोस्ट केवल शैक्षिक उद्देश्यों के लिए है और अतिरिक्त नियंत्रण के बिना उत्पादन वातावरण में इसका उपयोग नहीं किया जाना चाहिए।
एलएलएम और नाइट्रो एन्क्लेव का अवलोकन
एक संभावित उपयोग का मामला एक एलएलएम-आधारित संवेदनशील क्वेरी चैटबॉट है जिसे पीआईआई और पीएचआई युक्त प्रश्न और उत्तर सेवा प्रदान करने के लिए डिज़ाइन किया गया है। अधिकांश वर्तमान एलएलएम चैटबॉट समाधान उपयोगकर्ताओं को स्पष्ट रूप से सूचित करते हैं कि सुरक्षा चिंताओं के कारण प्रश्न इनपुट करते समय उन्हें पीआईआई या पीएचआई शामिल नहीं करना चाहिए। इन चिंताओं को कम करने और ग्राहक डेटा की सुरक्षा के लिए, सेवा मालिक मुख्य रूप से निम्नलिखित जैसे उपयोगकर्ता सुरक्षा पर भरोसा करते हैं:
- संपादकीय विभाग - दस्तावेज़ों, ग्रंथों या सामग्री के अन्य रूपों में पीआईआई जैसी संवेदनशील जानकारी को पहचानने और अस्पष्ट करने की प्रक्रिया। इसे मॉडल या एलएलएम में भेजे जाने से पहले इनपुट डेटा के साथ पूरा किया जा सकता है ताकि उनकी प्रतिक्रियाओं को स्वचालित रूप से संशोधित किया जा सके।
- बहु कारक प्रमाणीकरण - एक सुरक्षा प्रक्रिया जिसके लिए उपयोगकर्ताओं को एलएलएम तक पहुंच प्राप्त करने के लिए अपनी पहचान सत्यापित करने के लिए कई प्रमाणीकरण विधियां प्रदान करने की आवश्यकता होती है।
- ट्राँस्पोर्ट लेयर सुरक्षा (TLS) - एक क्रिप्टोग्राफ़िक प्रोटोकॉल जो सुरक्षित संचार प्रदान करता है जो उपयोगकर्ताओं और एलएलएम सेवा के बीच पारगमन में डेटा गोपनीयता को बढ़ाता है।
हालाँकि ये प्रथाएँ सेवा की सुरक्षा स्थिति को बढ़ाती हैं, लेकिन वे सभी संवेदनशील उपयोगकर्ता जानकारी और अन्य संवेदनशील जानकारी को सुरक्षित रखने के लिए पर्याप्त नहीं हैं जो उपयोगकर्ता की जानकारी के बिना बनी रह सकती हैं।
हमारे उदाहरण उपयोग के मामले में, एलएलएम सेवा को कर्मचारी स्वास्थ्य देखभाल लाभ प्रश्नों का उत्तर देने या व्यक्तिगत सेवानिवृत्ति योजना प्रदान करने के लिए डिज़ाइन किया गया है। आइए निम्नलिखित नमूना वास्तुकला का विश्लेषण करें और डेटा गोपनीयता जोखिम क्षेत्रों की पहचान करें।
संभावित जोखिम क्षेत्र इस प्रकार हैं:
- विशेषाधिकार प्राप्त उपयोगकर्ताओं के पास उस इंस्टेंस तक पहुंच होती है जिसमें सर्वर होता है। सेवा में अनजाने या अनधिकृत परिवर्तनों के परिणामस्वरूप संवेदनशील डेटा अनपेक्षित तरीकों से उजागर हो सकता है।
- उपयोगकर्ताओं को भरोसा रखना चाहिए कि सेवा एप्लिकेशन लॉग में संवेदनशील जानकारी को उजागर या बनाए नहीं रखेगी।
- एप्लिकेशन पैकेज में परिवर्तन से सेवा में परिवर्तन हो सकता है, जिसके परिणामस्वरूप संवेदनशील डेटा उजागर हो सकता है।
- उदाहरण तक पहुंच वाले विशेषाधिकार प्राप्त उपयोगकर्ताओं के पास सेवा द्वारा उपयोग किए जाने वाले एलएलएम तक अप्रतिबंधित पहुंच है। परिवर्तनों के कारण उपयोगकर्ताओं को गलत या गलत जानकारी वापस मिल सकती है।
नाइट्रो एन्क्लेव आपके लिए अतिरिक्त अलगाव प्रदान करता है अमेज़ॅन इलास्टिक कम्प्यूट क्लाउड (अमेज़ॅन EC2) उदाहरण, व्यवस्थापक स्तर के उपयोगकर्ताओं सहित अनधिकृत पहुंच से उपयोग में आने वाले डेटा की सुरक्षा करता है। पूर्ववर्ती आर्किटेक्चर में, अनजाने परिवर्तन के परिणामस्वरूप संवेदनशील डेटा प्लेनटेक्स्ट में बना रहना संभव है और गलती से ऐसे उपयोगकर्ता के सामने आ जाता है, जिसे उस डेटा तक पहुंचने की आवश्यकता नहीं होती है। नाइट्रो एन्क्लेव के साथ, आप अपने EC2 इंस्टेंस से एक पृथक वातावरण बनाते हैं, जो आपको एन्क्लेव में सीपीयू और मेमोरी संसाधनों को आवंटित करने की अनुमति देता है। यह एन्क्लेव एक अत्यधिक प्रतिबंधात्मक वर्चुअल मशीन है। एन्क्लेव के भीतर संवेदनशील डेटा को संभालने वाले कोड को चलाने से, माता-पिता की कोई भी प्रक्रिया एन्क्लेव डेटा को देखने में सक्षम नहीं होगी।
नाइट्रो एन्क्लेव निम्नलिखित लाभ प्रदान करता है:
- मेमोरी और सीपीयू अलगाव - यह मूल उदाहरण पर उपयोगकर्ताओं, एप्लिकेशन और लाइब्रेरी से एन्क्लेव के सीपीयू और मेमोरी को अलग करने के लिए नाइट्रो हाइपरवाइजर पर निर्भर करता है। यह सुविधा एन्क्लेव और आपके सॉफ़्टवेयर को अलग करने में मदद करती है, और अनपेक्षित घटनाओं के लिए सतह क्षेत्र को काफी कम कर देती है।
- अलग वर्चुअल मशीन - एन्क्लेव अत्यधिक संवेदनशील डेटा को सुरक्षित और सुरक्षित रूप से संसाधित करने के लिए EC2 इंस्टेंस से जुड़ी अलग-अलग वर्चुअल मशीनें हैं।
- कोई इंटरैक्टिव पहुंच नहीं - एन्क्लेव अपने मूल उदाहरण के साथ केवल सुरक्षित स्थानीय सॉकेट कनेक्टिविटी प्रदान करते हैं। उनके पास कोई सतत भंडारण, इंटरैक्टिव एक्सेस या बाहरी नेटवर्किंग नहीं है।
- क्रिप्टोग्राफ़िक सत्यापन - नाइट्रो एन्क्लेव ऑफर क्रिप्टोग्राफ़िक सत्यापन, एक प्रक्रिया जिसका उपयोग किसी एन्क्लेव की पहचान साबित करने और यह सत्यापित करने के लिए किया जाता है कि आपके एन्क्लेव में केवल अधिकृत कोड ही चल रहा है।
- एडब्लूएस एकीकरण - नाइट्रो एन्क्लेव के साथ एकीकृत है AWS प्रमुख प्रबंधन सेवा (AWS KMS), आपको एन्क्लेव के अंदर AWS KMS का उपयोग करके एन्क्रिप्ट की गई फ़ाइलों को डिक्रिप्ट करने की अनुमति देता है। AWS प्रमाणपत्र प्रबंधक नाइट्रो एन्क्लेव के लिए (एसीएम) आपको नाइट्रो एन्क्लेव के साथ ईसी2 इंस्टेंस पर चलने वाले अपने वेब एप्लिकेशन और सर्वर के साथ सार्वजनिक और निजी एसएसएल/टीएलएस प्रमाणपत्रों का उपयोग करने की अनुमति देता है।
आप पीआईआई और पीएचआई डेटा से जुड़े जोखिमों को कम करने में मदद के लिए नाइट्रो एन्क्लेव द्वारा प्रदान की गई इन सुविधाओं का उपयोग कर सकते हैं। संवेदनशील उपयोगकर्ता डेटा को संभालते समय हम एलएलएम सेवा में नाइट्रो एन्क्लेव को शामिल करने की सलाह देते हैं।
समाधान अवलोकन
आइए उदाहरण सेवा की वास्तुकला की जांच करें, जिसमें अब नाइट्रो एन्क्लेव भी शामिल है। नाइट्रो एन्क्लेव को शामिल करके, जैसा कि निम्नलिखित आंकड़े में दिखाया गया है, एलएलएम पीएचआई या पीआईआई डेटा को संभालने के लिए एक अधिक सुरक्षित चैटबॉट बन जाता है।
जब एप्लिकेशन को किसी एन्क्लेव में होस्ट किया जाता है, तो पीआईआई, पीएचआई और प्रश्नों सहित उपयोगकर्ता डेटा, अनुरोध-प्रतिक्रिया प्रक्रिया के दौरान एन्क्रिप्टेड रहता है। अनुमान के दौरान उठाए गए कदम इस प्रकार हैं:
- चैटबॉट ऐप अस्थायी AWS क्रेडेंशियल उत्पन्न करता है और उपयोगकर्ता से एक प्रश्न इनपुट करने के लिए कहता है। प्रश्न, जिसमें PII या PHI हो सकता है, को AWS KMS के माध्यम से एन्क्रिप्ट किया जाता है। एन्क्रिप्टेड अनुरोध बनाने के लिए एन्क्रिप्टेड उपयोगकर्ता इनपुट को अस्थायी क्रेडेंशियल्स के साथ जोड़ा जाता है।
- एन्क्रिप्टेड डेटा को POST अनुरोध के रूप में फ्लास्क द्वारा होस्ट किए गए HTTP सर्वर पर भेजा जाता है। संवेदनशील डेटा स्वीकार करने से पहले, इस समापन बिंदु को HTTPs के लिए कॉन्फ़िगर किया जाना चाहिए।
- क्लाइंट ऐप POST अनुरोध प्राप्त करता है और इसे एक सुरक्षित स्थानीय चैनल (उदाहरण के लिए, vsock) के माध्यम से नाइट्रो एन्क्लेव के अंदर चल रहे सर्वर ऐप पर अग्रेषित करता है।
- नाइट्रो एन्क्लेव सर्वर ऐप अनुरोध को डिक्रिप्ट करने, एलएलएम पर सवाल उठाने और प्रतिक्रिया उत्पन्न करने के लिए अस्थायी क्रेडेंशियल्स का उपयोग करता है। मॉडल-विशिष्ट सेटिंग्स को एन्क्लेव के भीतर संग्रहीत किया जाता है और क्रिप्टोग्राफ़िक सत्यापन के साथ संरक्षित किया जाता है।
- प्रतिक्रिया को एन्क्रिप्ट करने के लिए सर्वर ऐप समान अस्थायी क्रेडेंशियल्स का उपयोग करता है।
- एन्क्रिप्टेड प्रतिक्रिया POST अनुरोध की प्रतिक्रिया के रूप में क्लाइंट ऐप के माध्यम से चैटबॉट ऐप पर वापस लौटा दी जाती है।
- चैटबॉट ऐप अपनी KMS कुंजी का उपयोग करके प्रतिक्रिया को डिक्रिप्ट करता है और उपयोगकर्ता को प्लेनटेक्स्ट प्रदर्शित करता है।
.. पूर्वापेक्षाएँ
आरंभ करने से पहले, समाधान को तैनात करने के लिए आपको निम्नलिखित पूर्वापेक्षाओं की आवश्यकता होगी:
EC2 इंस्टेंस कॉन्फ़िगर करें
EC2 इंस्टेंस को कॉन्फ़िगर करने के लिए निम्नलिखित चरणों को पूरा करें:
- लॉन्च करें r5.8xबड़ा EC2 उदाहरण का उपयोग करते हुए amzn2-ami-kernel-5.10-hvm-2.0.20230628.0-x86_64-gp2 AMI नाइट्रो एन्क्लेव सक्षम होने के साथ।
- नाइट्रो एन्क्लेव एप्लिकेशन बनाने और चलाने के लिए नाइट्रो एन्क्लेव सीएलआई स्थापित करें:
sudo amazon-linux-extras install aws-nitro-enclaves-cli -y
sudo yum install aws-nitro-enclaves-cli-devel -y
- नाइट्रो एन्क्लेव सीएलआई की स्थापना सत्यापित करें:
nitro-cli –version
- इस पोस्ट में प्रयुक्त संस्करण 1.2.2 है
- डॉकर छवियां बनाने और गिटहब से एप्लिकेशन डाउनलोड करने के लिए गिट और डॉकर इंस्टॉल करें। अपने इंस्टेंस उपयोगकर्ता को डॉकर समूह में जोड़ें ( क्या आपका IAM इंस्टेंस उपयोगकर्ता है):
sudo yum install git -y
sudo usermod -aG ne <USER>
sudo usermod -aG docker <USER>
sudo systemctl start docker && sudo systemctl enable docker
- नाइट्रो एन्क्लेव एलोकेटर और वीएसॉक प्रॉक्सी सेवाओं को प्रारंभ और सक्षम करें:
sudo systemctl start nitro-enclaves-allocator.service && sudo systemctl enable nitro-enclaves-allocator.service
sudo systemctl start nitro-enclaves-vsock-proxy.service && sudo systemctl enable nitro-enclaves-vsock-proxy.service
नाइट्रो एन्क्लेव पैरेंट इंस्टेंस और एन्क्लेव के बीच एक सुरक्षित चैनल बनाने के लिए vsock नामक एक स्थानीय सॉकेट कनेक्शन का उपयोग करता है।
सभी सेवाएँ प्रारंभ और सक्षम होने के बाद, यह सत्यापित करने के लिए इंस्टेंस को पुनरारंभ करें कि सभी उपयोगकर्ता समूह और सेवाएँ सही ढंग से चल रही हैं:
sudo shutdown -r now
नाइट्रो एन्क्लेव आवंटनकर्ता सेवा कॉन्फ़िगर करें
नाइट्रो एन्क्लेव एक पृथक वातावरण है जो एन्क्लेव को चलाने के लिए इंस्टेंस सीपीयू और मेमोरी के एक हिस्से को निर्दिष्ट करता है। नाइट्रो एन्क्लेव एलोकेटर सेवा के साथ, आप संकेत कर सकते हैं कि एन्क्लेव को चलाने के लिए मूल उदाहरण से कितने सीपीयू और कितनी मेमोरी ली जाएगी।
टेक्स्ट एडिटर का उपयोग करके एन्क्लेव के आरक्षित संसाधनों को संशोधित करें (हमारे समाधान के लिए, हम पर्याप्त संसाधन प्रदान करने के लिए 8 सीपीयू और 70,000 एमआईबी मेमोरी आवंटित करते हैं):
vi /etc/nitro_enclaves/allocatory.yaml
प्रोजेक्ट क्लोन करें
EC2 इंस्टेंस को कॉन्फ़िगर करने के बाद, आप नाइट्रो एन्क्लेव के अंदर एलएलएम के साथ संवेदनशील चैटबॉट चलाने के लिए कोड डाउनलोड कर सकते हैं।
आपको अद्यतन करने की आवश्यकता है server.py
उपयुक्त KMS कुंजी आईडी के साथ फ़ाइल करें जिसे आपने एलएलएम प्रतिक्रिया को एन्क्रिप्ट करने के लिए शुरुआत में बनाया था।
- GitHub प्रोजेक्ट को क्लोन करें:
cd ~/ && git clone https://<THE_REPO.git>
- बनाने के लिए प्रोजेक्ट फ़ोल्डर पर नेविगेट करें
enclave_base
डॉकर छवि जिसमें शामिल है नाइट्रो एन्क्लेव सॉफ्टवेयर डेवलपमेंट किट (एसडीके) नाइट्रो हाइपरवाइज़र से क्रिप्टोग्राफ़िक सत्यापन दस्तावेज़ों के लिए (इस चरण में 15 मिनट तक का समय लग सकता है):cd /nitro_llm/enclave_base
docker build ./ -t “enclave_base”
एलएलएम को EC2 इंस्टेंस में सहेजें
हम प्रतिक्रियाएं उत्पन्न करने के लिए प्राकृतिक भाषा प्रसंस्करण के लिए ओपन-सोर्स ब्लूम 560m एलएलएम का उपयोग कर रहे हैं। यह मॉडल पीआईआई और पीएचआई के अनुरूप नहीं है, लेकिन यह दर्शाता है कि एक एलएलएम एक एन्क्लेव के अंदर कैसे रह सकता है। मॉडल को मूल उदाहरण पर भी सहेजने की आवश्यकता है ताकि इसे डॉकरफ़ाइल के माध्यम से एन्क्लेव में कॉपी किया जा सके।
- प्रोजेक्ट पर नेविगेट करें:
cd /nitro_llm
- मॉडल को स्थानीय रूप से सहेजने के लिए आवश्यक आवश्यकताएँ स्थापित करें:
pip3 install requirements.txt
- चलाएं
save_model.py
मॉडल को सहेजने के लिए ऐप/nitro_llm/enclave/bloom
निर्देशिका:python3 save_model.py
नाइट्रो एन्क्लेव छवि बनाएं और चलाएं
नाइट्रो एन्क्लेव चलाने के लिए, आपको अपने एप्लिकेशन की डॉकर छवि से एक एन्क्लेव छवि फ़ाइल (ईआईएफ) बनाने की आवश्यकता है। एन्क्लेव निर्देशिका में स्थित डॉकरफ़ाइल में फ़ाइलें, कोड और एलएलएम शामिल हैं जो एन्क्लेव के अंदर चलेंगे।
एन्क्लेव का निर्माण और संचालन पूरा होने में कई मिनट लगेंगे।
- प्रोजेक्ट के मूल पर नेविगेट करें:
cd /nitro_llm
- एन्क्लेव छवि फ़ाइल को इस प्रकार बनाएँ
enclave.eif
:nitro-cli build-enclave --docker-uri enclave:latest --output-file enclave.eif
जब एन्क्लेव बनाया जाएगा, तो अद्वितीय हैश और प्लेटफ़ॉर्म कॉन्फ़िगरेशन रजिस्टर (पीसीआर) की एक श्रृंखला बनाई जाएगी। पीसीआर हार्डवेयर और एप्लिकेशन की पहचान साबित करने के लिए एक सतत माप है। ये पीसीआर क्रिप्टोग्राफ़िक सत्यापन के लिए आवश्यक होंगे और केएमएस कुंजी नीति अद्यतन चरण के दौरान उपयोग किए जाएंगे।
- के संसाधनों से एन्क्लेव चलाएँ
allocator.service
(जोड़ रहा हूँ--attach-console
अंत में तर्क एन्क्लेव को डिबग मोड में चलाएगा):nitro-cli run-enclave --cpu-count 8 --memory 70000 --enclave-cid 16 --eif-path enclave.eif
आपको ईआईएफ फ़ाइल आकार का कम से कम चार गुना आवंटित करने की आवश्यकता है। इसमें संशोधन किया जा सकता है allocator.service
पिछले चरणों से.
- सत्यापित करें कि एन्क्लेव निम्न आदेश के साथ चल रहा है:
nitro-cli describe-enclaves
KMS कुंजी नीति अद्यतन करें
अपनी KMS कुंजी नीति को अद्यतन करने के लिए निम्नलिखित चरणों को पूरा करें:
- AWS KMS कंसोल पर, चुनें ग्राहक द्वारा प्रबंधित कुंजियाँ नेविगेशन फलक में
- उस कुंजी को खोजें जिसे आपने पूर्वावश्यकता के रूप में उत्पन्न किया था।
- चुनें संपादित करें प्रमुख नीति पर.
- निम्नलिखित जानकारी के साथ मुख्य नीति को अद्यतन करें:
- आपका खाता आईडी
- आपका IAM उपयोगकर्ता नाम
- अद्यतन Cloud9 पर्यावरण उदाहरण भूमिका
- क्रियाएँ
kms:Encrypt
औरkms:Decrypt
- पीसीआर (उदाहरण के लिए, पीसीआर0, पीसीआर1, पीसीआर2) को एक शर्त विवरण के साथ अपनी प्रमुख पॉलिसी में संलग्न करें
निम्नलिखित प्रमुख नीति कोड देखें:
चैटबॉट ऐप सेव करें
AWS खाते के बाहर मौजूद एक संवेदनशील क्वेरी चैटबॉट एप्लिकेशन की नकल करने के लिए, आपको इसे सहेजना होगा chatbot.py
ऐप बनाएं और इसे Cloud9 परिवेश के अंदर चलाएं। आपका Cloud9 वातावरण एन्क्लेव चलाने वाले EC2 से अनुमतियों को अलग करने के लिए अस्थायी क्रेडेंशियल्स के लिए अपनी इंस्टेंस भूमिका का उपयोग करेगा। निम्नलिखित चरणों को पूरा करें:
- Cloud9 कंसोल पर, आपके द्वारा बनाया गया वातावरण खोलें।
- निम्नलिखित कोड को एक नई फ़ाइल में कॉपी करें
chatbot.py
मुख्य निर्देशिका में. - आवश्यक मॉड्यूल स्थापित करें:
pip install boto3
Pip install requests
- Amazon EC2 कंसोल पर, अपने नाइट्रो एन्क्लेव इंस्टेंस से जुड़े आईपी को नोट करें।
- यूआरएल वेरिएबल को अपडेट करें
http://<ec2instanceIP>:5001
.
- चैटबॉट एप्लिकेशन चलाएँ:
-
python3 chat.py
जब यह चल रहा होगा, तो टर्मिनल उपयोगकर्ता से इनपुट मांगेगा और एक सुरक्षित प्रतिक्रिया उत्पन्न करने के लिए पहले के आर्किटेक्चरल आरेख का पालन करेगा।
निजी प्रश्न और उत्तर चैटबॉट चलाएँ
अब जबकि नाइट्रो एन्क्लेव EC2 इंस्टेंस पर चल रहा है, आप अपने चैटबॉट PHI और PII प्रश्न अधिक सुरक्षित रूप से पूछ सकते हैं। आइए एक उदाहरण देखें.
Cloud9 परिवेश में, हम अपने चैटबॉट से एक प्रश्न पूछते हैं और अपना उपयोगकर्ता नाम प्रदान करते हैं।
AWS KMS प्रश्न को एन्क्रिप्ट करता है, जो निम्न स्क्रीनशॉट जैसा दिखता है।
फिर इसे एन्क्लेव में भेजा जाता है और सुरक्षित एलएलएम से पूछा जाता है। एलएलएम का प्रश्न और प्रतिक्रिया निम्नलिखित स्क्रीनशॉट की तरह दिखेगी (परिणाम और एन्क्रिप्टेड प्रतिक्रिया केवल डिबग मोड में एन्क्लेव के अंदर दिखाई देती है)।
फिर परिणाम को AWS KMS का उपयोग करके एन्क्रिप्ट किया जाता है और डिक्रिप्ट होने के लिए Cloud9 वातावरण में वापस कर दिया जाता है।
क्लीन अप
अपने संसाधनों को साफ करने के लिए निम्नलिखित चरणों को पूरा करें:
- अपने एन्क्लेव को रखने के लिए बनाए गए EC2 उदाहरण को रोकें।
- Cloud9 परिवेश हटाएँ.
- KMS कुंजी हटाएँ.
- EC2 इंस्टेंस भूमिका और IAM उपयोगकर्ता अनुमतियाँ हटाएँ।
निष्कर्ष
इस पोस्ट में, हमने दिखाया कि एलएलएम प्रश्न और उत्तर सेवा को तैनात करने के लिए नाइट्रो एन्क्लेव का उपयोग कैसे करें जो अधिक सुरक्षित रूप से पीआईआई और पीएचआई जानकारी भेजता और प्राप्त करता है। इसे अमेज़ॅन EC2 पर तैनात किया गया था, और एन्क्लेव को AWS KMS के साथ एकीकृत किया गया है, जो KMS कुंजी तक पहुंच को प्रतिबंधित करता है, इसलिए केवल नाइट्रो एन्क्लेव और अंतिम-उपयोगकर्ता को कुंजी का उपयोग करने और प्रश्न को डिक्रिप्ट करने की अनुमति है।
यदि आप बड़े कार्यभार का समर्थन करने के लिए इस आर्किटेक्चर को स्केल करने की योजना बना रहे हैं, तो सुनिश्चित करें कि मॉडल चयन प्रक्रिया EC2 संसाधनों के साथ आपकी मॉडल आवश्यकताओं से मेल खाती है। इसके अतिरिक्त, आपको अधिकतम अनुरोध आकार पर विचार करना चाहिए और इसका HTTP सर्वर और मॉडल के विरुद्ध अनुमान समय पर क्या प्रभाव पड़ेगा। इनमें से कई पैरामीटर मॉडल और HTTP सर्वर सेटिंग्स के माध्यम से अनुकूलन योग्य हैं।
आपके कार्यभार के लिए विशिष्ट सेटिंग्स और आवश्यकताओं को निर्धारित करने का सबसे अच्छा तरीका एक बेहतर एलएलएम के साथ परीक्षण करना है। हालाँकि इस पोस्ट में केवल संवेदनशील डेटा की प्राकृतिक भाषा प्रसंस्करण शामिल है, आप ऑडियो, कंप्यूटर विज़न, या बहु-तौर-तरीकों का समर्थन करने वाले वैकल्पिक एलएलएम का समर्थन करने के लिए इस आर्किटेक्चर को संशोधित कर सकते हैं। यहां हाइलाइट किए गए समान सुरक्षा सिद्धांत किसी भी प्रारूप में डेटा पर लागू किए जा सकते हैं। इस पोस्ट को बनाने के लिए उपयोग किए गए संसाधन यहां उपलब्ध हैं गीथहब रेपो.
टिप्पणी अनुभाग में साझा करें कि आप इस समाधान को अपने परिवेश के लिए कैसे अनुकूलित करने जा रहे हैं।
लेखक के बारे में
जस्टिन माइल्स प्रौद्योगिकी कार्यालय के अंतर्गत लीडोस डिजिटल आधुनिकीकरण क्षेत्र में एक क्लाउड इंजीनियर है। अपने खाली समय में वह गोल्फ खेलना और यात्रा करना पसंद करते हैं।
लिव डी एलिबर्टी प्रौद्योगिकी कार्यालय के अंतर्गत लीडोस एआई/एमएल एक्सेलेरेटर में एक शोधकर्ता है। उनका शोध गोपनीयता-संरक्षण मशीन लर्निंग पर केंद्रित है।
क्रिस रेन्ज़ो AWS रक्षा और एयरोस्पेस संगठन के भीतर एक वरिष्ठ समाधान वास्तुकार हैं। काम के अलावा, वह गर्म मौसम और यात्रा के बीच संतुलन का आनंद लेते हैं।
जो कोवबा लीडोस डिजिटल आधुनिकीकरण क्षेत्र के उपाध्यक्ष हैं। अपने खाली समय में, वह फुटबॉल खेल में रेफरी बनना और सॉफ्टबॉल खेलना पसंद करते हैं।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://aws.amazon.com/blogs/machine-learning/large-language-model-inference-over-confidential-data-using-aws-nitro-enclaves/
- :हैस
- :है
- :नहीं
- $यूपी
- 000
- 1
- 15% तक
- 16
- 24
- 29
- 32
- 36
- 500
- 67
- 7
- 70
- 8
- 9
- a
- योग्य
- त्वरक
- को स्वीकार
- पहुँच
- पूरा
- लेखा
- एसीएम
- कार्य
- अनुकूलन
- जोड़ना
- जोड़ने
- अतिरिक्त
- इसके अतिरिक्त
- पता
- एयरोस्पेस
- के खिलाफ
- ऐ / एमएल
- सब
- आवंटित
- अनुमति देना
- की अनुमति दी
- की अनुमति दे
- की अनुमति देता है
- भी
- हालांकि
- वीरांगना
- अमेज़ॅन EC2
- अमेज़ॅन वेब सेवा
- an
- विश्लेषण
- विश्लेषण करें
- और
- जवाब
- जवाब दे
- कोई
- अनुप्रयोग
- आवेदन
- अनुप्रयोगों
- लागू
- दृष्टिकोण
- उपयुक्त
- वास्तु
- स्थापत्य
- आर्किटेक्चर
- हैं
- क्षेत्र
- क्षेत्रों के बारे में जानकारी का उपयोग करके ट्रेडिंग कर सकते हैं।
- तर्क
- AS
- पूछना
- पूछ
- सहायता
- जुड़े
- At
- ऑडियो
- प्रमाणीकरण
- अधिकृत
- स्वतः
- उपलब्ध
- एडब्ल्यूएस
- वापस
- शेष
- बुनियादी
- BE
- हो जाता है
- किया गया
- से पहले
- शुरू
- जा रहा है
- लाभ
- लाभ
- BEST
- के बीच
- फूल का खिलना
- बीओटी
- विस्तृत
- निर्माण
- बनाया गया
- लेकिन
- by
- बुलाया
- कर सकते हैं
- किया
- ले जाना
- मामला
- कारण
- प्रमाण पत्र
- प्रमाण पत्र
- चुनौतियों
- परिवर्तन
- परिवर्तन
- चैनल
- बातचीत
- chatbot
- chatbots
- चुनें
- नागरिक
- स्वच्छ
- CLI
- ग्राहक
- बादल
- Cloud9
- कोड
- इकट्ठा
- संयुक्त
- टिप्पणियाँ
- संचार
- संचार
- पूरा
- गणना करना
- कंप्यूटर
- Computer Vision
- चिंताओं
- शर्त
- गोपनीय
- विन्यास
- कॉन्फ़िगर किया गया
- संबंध
- कनेक्टिविटी
- विचार करना
- कंसोल
- शामिल
- शामिल हैं
- सामग्री
- सामग्री पीढ़ी
- नियंत्रण
- ठीक प्रकार से
- सका
- बनाना
- बनाया
- क्रेडेंशियल
- साख
- क्रिप्टोग्राफिक
- वर्तमान
- ग्राहक
- ग्राहक डेटा
- अनुकूलन
- तिथि
- गोपनीय आँकड़ा
- डिक्रिप्ट
- रक्षा
- दर्शाता
- तैनात
- तैनात
- तैनाती
- वर्णन
- बनाया गया
- निर्धारित करना
- विकसित करना
- विकास
- आरेख
- डिजिटल
- डायरेक्टरी
- चर्चा करना
- चर्चा
- प्रदर्शित करता है
- डाक में काम करनेवाला मज़दूर
- दस्तावेज़
- दस्तावेजों
- dont
- डाउनलोड
- दो
- दौरान
- पूर्व
- संपादक
- शैक्षिक
- प्रभाव
- EIF
- कर्मचारी
- सक्षम
- सक्षम
- एन्क्लेव
- एन्क्रिप्ट
- एन्क्रिप्टेड
- समाप्त
- endpoint
- इंजीनियर
- इंजन
- बढ़ाना
- बढ़ाता है
- पर्याप्त
- वातावरण
- वातावरण
- घटनाओं
- की जांच
- उदाहरण
- सिवाय
- एक्सफ़िलिएशन
- स्पष्ट रूप से
- उजागर
- अनावरण
- बाहरी
- विफल रहे
- Feature
- विशेषताएं
- आकृति
- पट्टिका
- फ़ाइलें
- अंतिम
- वित्तीय
- केंद्रित
- का पालन करें
- निम्नलिखित
- इस प्रकार है
- फ़ुटबॉल सबसे लोकप्रिय एंव
- के लिए
- प्रारूप
- रूपों
- धन
- चार
- मुक्त
- से
- समारोह
- आगे
- लाभ
- Games
- उत्पन्न
- उत्पन्न
- उत्पन्न करता है
- पीढ़ी
- मिल
- जाना
- GitHub
- जा
- सरकार
- समूह
- समूह की
- हैंडल
- हैंडलिंग
- हार्डवेयर
- है
- he
- स्वास्थ्य
- स्वास्थ्य जानकारी
- स्वास्थ्य सेवा
- मदद
- मदद करता है
- यहाँ उत्पन्न करें
- हाइलाइट
- अत्यधिक
- उसके
- मातृभूमि
- होमलैंड सुरक्षा
- मेजबान
- मेजबानी
- मकान
- घरों
- कैसे
- How To
- एचटीएमएल
- http
- HTTPS
- i
- ID
- पहचाने जाने योग्य
- पहचान करना
- पहचान
- पहचान
- if
- की छवि
- छवियों
- प्रभाव
- कार्यान्वित
- आयात
- in
- ग़लत
- शामिल
- शामिल
- सहित
- शामिल
- गलत
- संकेत मिलता है
- उद्योगों
- सूचित करना
- करें-
- निवेश
- inputting
- अंदर
- स्थापित
- स्थापना
- उदाहरण
- एकीकृत
- एकीकरण
- बौद्धिक
- बौद्धिक संपदा
- बुद्धि
- इंटरैक्टिव
- में
- परिचय कराना
- शुरू करने
- IP
- पृथक
- अलगाव
- IT
- आईटी इस
- JOE
- JSON
- जस्टिन
- कुंजी
- ज्ञान
- भाषा
- बड़ा
- बड़ा
- ताज़ा
- परत
- नेता
- सीख रहा हूँ
- कम से कम
- पुस्तकालयों
- पसंद
- LIV
- जीना
- लाइव्स
- एलएलएम
- स्थानीय
- स्थानीय स्तर पर
- स्थित
- देखिए
- हमशक्ल
- लग रहा है
- मशीन
- यंत्र अधिगम
- मशीनें
- मुख्य
- बनाना
- कामयाब
- प्रबंध
- जोड़ - तोड़
- बहुत
- Markets
- मैच
- अधिकतम
- मई..
- माप
- याद
- मेटाडाटा
- तरीकों
- मिनटों
- कम करना
- मोड
- आदर्श
- संशोधित
- संशोधित
- मॉड्यूल
- अधिक
- अधिकांश
- बहुत
- विभिन्न
- चाहिए
- नाम
- प्राकृतिक
- प्राकृतिक भाषा संसाधन
- पथ प्रदर्शन
- ne
- आवश्यक
- आवश्यकता
- की जरूरत है
- शुद्ध कार्यशील
- नया
- निट्रो
- नहीं
- कोई नहीं
- नोट
- अभी
- of
- ऑफर
- Office
- on
- केवल
- खुला
- खुला स्रोत
- or
- आदेश
- संगठन
- अन्य
- हमारी
- आउट
- बाहर
- के ऊपर
- सिंहावलोकन
- मालिकों
- संकुल
- फलक
- पैरामीटर
- अनुमतियाँ
- स्टाफ़
- व्यक्तिगत रूप से
- योजना
- की योजना बना
- मंच
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- खेल
- नीति
- हिस्सा
- संभव
- पद
- संभावित
- प्रथाओं
- पूर्ववर्ती
- शर्त
- आवश्यक शर्तें
- अध्यक्ष
- पिछला
- मुख्यत
- प्रिंसिपल
- सिद्धांतों
- एकांत
- गोपनीयता की धमकी
- निजी
- प्रक्रिया
- प्रक्रियाओं
- प्रसंस्करण
- उत्पादन
- परियोजना
- संपत्ति
- रक्षा करना
- संरक्षित
- प्रोटोकॉल
- साबित करना
- प्रदान करना
- बशर्ते
- प्रदान करता है
- प्रतिनिधि
- सार्वजनिक
- प्रयोजनों
- प्रश्नों
- सवाल
- प्रश्न
- प्रशन
- प्राप्त
- की सिफारिश
- कम कर देता है
- क्षेत्र
- रजिस्टरों
- निर्भर करता है
- भरोसा करना
- बाकी है
- का अनुरोध
- अनुरोधों
- अपेक्षित
- आवश्यकताएँ
- की आवश्यकता होती है
- अनुसंधान
- शोधकर्ता
- आरक्षित
- संसाधन
- उपयुक्त संसाधन चुनें
- प्रतिक्रिया
- प्रतिक्रियाएं
- सीमित
- प्रतिबंधक
- परिणाम
- जिसके परिणामस्वरूप
- बनाए रखने के
- निवृत्ति
- वापसी
- प्रकट
- जोखिम
- जोखिम
- भूमिका
- जड़
- रन
- दौड़ना
- रक्षा
- सुरक्षा
- वही
- नमूना
- सहेजें
- बचाया
- स्केल
- विज्ञान
- विज्ञान और प्रौद्योगिकी
- एसडीके
- Search
- खोज इंजन
- अनुभाग
- सेक्टर
- सुरक्षित
- सिक्योर्ड
- सुरक्षित रूप से
- सुरक्षा
- चयन
- भेजता
- संवेदनशील
- भेजा
- भावुकता
- कई
- सर्वर
- सर्वर
- सेवा
- सेवाएँ
- सेट
- सेटिंग्स
- चाहिए
- प्रदर्शन
- दिखाया
- शटडाउन
- काफी
- आकार
- So
- सॉफ्टवेयर
- सॉफ्टवेयर विकास
- समाधान
- समाधान ढूंढे
- कुछ
- विशिष्ट
- विशेष रूप से
- प्रारंभ
- शुरू
- कथन
- कदम
- कदम
- भंडारण
- संग्रहित
- ऐसा
- पर्याप्त
- समर्थन
- सहायक
- निश्चित
- सतह
- प्रणाली
- सिस्टम
- लेना
- लिया
- तकनीकी
- टेक्नोलॉजी
- अस्थायी
- अंतिम
- परीक्षण
- टेक्स्ट
- कि
- RSI
- लेकिन हाल ही
- फिर
- इन
- वे
- इसका
- उन
- धमकी
- यहाँ
- भर
- पहर
- बार
- सेवा मेरे
- टोकन
- प्रशिक्षित
- पारगमन
- अनुवाद करें
- यात्रा का
- ट्रस्ट
- कोशिश
- अनधिकृत
- के अंतर्गत
- समझना
- अद्वितीय
- अप्रतिबंधित
- अपडेट
- अद्यतन
- यूआरएल
- उपयोग
- उदाहरण
- प्रयुक्त
- उपयोगकर्ता
- उपयोगकर्ताओं
- का उपयोग करता है
- का उपयोग
- परिवर्तनशील
- सत्यापित
- संस्करण
- के माध्यम से
- उपाध्यक्ष
- वाइस राष्ट्रपति
- देखें
- उल्लंघन
- वास्तविक
- आभासी मशीन
- दिखाई
- दृष्टि
- गर्म
- था
- मार्ग..
- तरीके
- we
- मौसम
- वेब
- वेब अनुप्रयोग
- वेब सेवाओं
- क्या
- कब
- कौन कौन से
- कौन
- मर्जी
- साथ में
- अंदर
- बिना
- काम
- काम किया
- काम कर रहे
- दुनिया की
- X
- आप
- आपका
- जेफिरनेट