یہ پوسٹ جسٹن مائلز، لیو ڈی ایلبرٹی، اور لیڈوس سے جو کوبا کے ساتھ مل کر لکھی گئی ہے۔
Leidos ایک Fortune 500 سائنس اور ٹیکنالوجی کے حل کا رہنما ہے جو دفاع، انٹیلی جنس، ہوم لینڈ سیکیورٹی، سول اور ہیلتھ کیئر مارکیٹس میں دنیا کے کچھ مشکل ترین چیلنجوں سے نمٹنے کے لیے کام کر رہا ہے۔ اس پوسٹ میں، ہم اس بات پر تبادلہ خیال کرتے ہیں کہ کس طرح Leidos نے AWS کے ساتھ مل کر رازداری کے تحفظ کے بڑے لینگویج ماڈل (LLM) کا استعمال کرتے ہوئے ایک نقطہ نظر تیار کیا۔ AWS نائٹرو انکلیو.
LLMs کو انسان جیسی زبان کو سمجھنے اور تخلیق کرنے کے لیے ڈیزائن کیا گیا ہے، اور حکومت، صحت کی دیکھ بھال، مالیاتی اور دانشورانہ املاک سمیت بہت سی صنعتوں میں استعمال کیا جاتا ہے۔ LLMs میں وسیع اطلاق ہوتا ہے، بشمول چیٹ بوٹس، مواد کی تخلیق، زبان کا ترجمہ، جذبات کا تجزیہ، سوال جواب دینے کے نظام، سرچ انجن، اور کوڈ جنریشن۔ کسی سسٹم میں LLM پر مبنی تخمینہ متعارف کروانے میں بھی رازداری کے خطرات کو متعارف کرانے کی صلاحیت ہے، بشمول ماڈل کی افزائش، ڈیٹا پرائیویسی کی خلاف ورزیاں، اور LLM پر مبنی سروس ہیرا پھیری۔ تکنیکی فن تعمیرات کو لاگو کرنے کی ضرورت ہے تاکہ یہ یقینی بنایا جا سکے کہ LLMs تخمینہ کے دوران حساس معلومات کو ظاہر نہ کریں۔
اس پوسٹ میں بحث کی گئی ہے کہ نائٹرو انکلیو کس طرح ایل ایل ایم ماڈل کی تعیناتیوں کی حفاظت میں مدد کر سکتے ہیں، خاص طور پر وہ جو ذاتی طور پر قابل شناخت معلومات (PII) یا محفوظ شدہ صحت کی معلومات (PHI) استعمال کرتے ہیں۔ یہ پوسٹ صرف تعلیمی مقاصد کے لیے ہے اور اضافی کنٹرول کے بغیر پیداواری ماحول میں استعمال نہیں ہونا چاہیے۔
LLMs اور Nitro Enclaves کا جائزہ
ممکنہ استعمال کا معاملہ LLM پر مبنی حساس استفسار چیٹ بوٹ ہے جو PII اور PHI پر مشتمل سوال اور جواب دینے کی خدمت کو انجام دینے کے لیے ڈیزائن کیا گیا ہے۔ زیادہ تر موجودہ LLM چیٹ بوٹ حل صارفین کو واضح طور پر مطلع کرتے ہیں کہ سیکیورٹی خدشات کی وجہ سے سوالات داخل کرتے وقت انہیں PII یا PHI شامل نہیں کرنا چاہیے۔ ان خدشات کو کم کرنے اور کسٹمر ڈیٹا کی حفاظت کے لیے، سروس مالکان بنیادی طور پر صارف کے تحفظات پر انحصار کرتے ہیں جیسے کہ درج ذیل:
- رد عمل - دستاویزات، متن، یا مواد کی دیگر شکلوں میں PII جیسی حساس معلومات کی شناخت اور پردہ پوشی کا عمل۔ یہ کسی ماڈل یا ایل ایل ایم کو بھیجے جانے سے پہلے ان پٹ ڈیٹا کے ساتھ مکمل کیا جا سکتا ہے جو ان کے جوابات کو خود بخود تبدیل کرنے کے لیے تربیت یافتہ ہے۔
- ملٹی فیکٹر کی توثیق - ایک حفاظتی عمل جس میں صارفین کو LLM تک رسائی حاصل کرنے کے لیے اپنی شناخت کی تصدیق کے لیے متعدد تصدیقی طریقے فراہم کرنے کی ضرورت ہوتی ہے۔
- ٹرانسپورٹ لیئر سیکیورٹی (TLS) - ایک کرپٹوگرافک پروٹوکول جو محفوظ مواصلات فراہم کرتا ہے جو صارفین اور LLM سروس کے درمیان ٹرانزٹ میں ڈیٹا کی رازداری کو بڑھاتا ہے۔
اگرچہ یہ طرز عمل سروس کی حفاظتی پوزیشن کو بڑھاتے ہیں، لیکن یہ صارف کی تمام حساس معلومات اور دیگر حساس معلومات کی حفاظت کے لیے کافی نہیں ہیں جو صارف کے علم کے بغیر برقرار رہ سکتی ہیں۔
ہمارے مثال کے طور پر استعمال کے معاملے میں، ایک LLM سروس ملازمین کی صحت کی دیکھ بھال کے فوائد کے سوالات کے جواب دینے یا ذاتی ریٹائرمنٹ پلان فراہم کرنے کے لیے بنائی گئی ہے۔ آئیے درج ذیل نمونے کے فن تعمیر کا تجزیہ کریں اور ڈیٹا پرائیویسی کے خطرے والے علاقوں کی نشاندہی کریں۔
ممکنہ خطرے کے علاقے درج ذیل ہیں:
- مراعات یافتہ صارفین کو اس مثال تک رسائی حاصل ہے جس میں سرور موجود ہے۔ سروس میں غیر ارادی یا غیر مجاز تبدیلیوں کے نتیجے میں حساس ڈیٹا غیر ارادی طریقوں سے سامنے آ سکتا ہے۔
- صارفین کو بھروسہ کرنا چاہیے کہ سروس ایپلیکیشن لاگز میں حساس معلومات کو ظاہر یا برقرار نہیں رکھے گی۔
- ایپلیکیشن پیکجز میں تبدیلی سروس میں تبدیلیوں کا سبب بن سکتی ہے، جس کے نتیجے میں حساس ڈیٹا کی نمائش ہوتی ہے۔
- مثال تک رسائی کے حامل مراعات یافتہ صارفین کے پاس سروس کے ذریعے استعمال ہونے والے LLM تک غیر محدود رسائی ہے۔ تبدیلیاں غلط یا غلط معلومات صارفین کو واپس کرنے کا سبب بن سکتی ہیں۔
نائٹرو انکلیو آپ کو اضافی تنہائی فراہم کرتا ہے۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون EC2) مثال کے طور پر، غیر مجاز رسائی سے استعمال میں ڈیٹا کی حفاظت کرنا، بشمول ایڈمن کی سطح کے صارفین۔ پچھلے فن تعمیر میں، یہ ممکن ہے کہ کسی غیر ارادی تبدیلی کے نتیجے میں حساس ڈیٹا سادہ متن میں برقرار رہے اور اتفاقی طور پر کسی ایسے صارف کے سامنے آ جائے جسے اس ڈیٹا تک رسائی کی ضرورت نہ ہو۔ نائٹرو انکلیو کے ساتھ، آپ اپنے EC2 مثال سے الگ تھلگ ماحول بناتے ہیں، جس سے آپ کو انکلیو میں CPU اور میموری کے وسائل مختص کرنے کی اجازت ملتی ہے۔ یہ انکلیو ایک انتہائی پابندی والی ورچوئل مشین ہے۔ انکلیو کے اندر حساس ڈیٹا کو ہینڈل کرنے والے کوڈ کو چلانے سے، والدین کا کوئی بھی عمل انکلیو ڈیٹا کو نہیں دیکھ سکے گا۔
Nitro Enclaves مندرجہ ذیل فوائد پیش کرتا ہے:
- میموری اور سی پی یو تنہائی - یہ پیرنٹ مثال پر صارفین، ایپلیکیشنز اور لائبریریوں سے CPU اور انکلیو کی میموری کو الگ کرنے کے لیے Nitro Hypervisor پر انحصار کرتا ہے۔ یہ فیچر انکلیو اور آپ کے سافٹ ویئر کو الگ کرنے میں مدد کرتا ہے، اور غیر ارادی واقعات کے لیے سطح کے رقبے کو نمایاں طور پر کم کرتا ہے۔
- ورچوئل مشین کو الگ کریں۔ - انکلیو کو الگ الگ ورچوئل مشینیں ہیں جو EC2 مثال سے منسلک ہیں تاکہ انتہائی حساس ڈیٹا کو مزید محفوظ اور محفوظ طریقے سے پروسیس کیا جا سکے۔
- کوئی انٹرایکٹو رسائی نہیں ہے۔ - انکلیو اپنے والدین کی مثال کے ساتھ صرف محفوظ مقامی ساکٹ کنیکٹیویٹی فراہم کرتے ہیں۔ ان کے پاس مستقل اسٹوریج، انٹرایکٹو رسائی، یا بیرونی نیٹ ورکنگ نہیں ہے۔
- کرپٹوگرافک تصدیق - نائٹرو انکلیو آفرز کرپٹوگرافک تصدیق، ایک عمل جو کسی انکلیو کی شناخت ثابت کرنے اور اس بات کی تصدیق کرنے کے لیے استعمال کیا جاتا ہے کہ آپ کے انکلیو میں صرف مجاز کوڈ چل رہا ہے۔
- AWS انضمام - نائٹرو انکلیو کے ساتھ مربوط ہے۔ AWS کلیدی انتظام کی خدمت (AWS KMS)، آپ کو ان فائلوں کو ڈکرپٹ کرنے کی اجازت دیتا ہے جو انکلیو کے اندر AWS KMS کا استعمال کرتے ہوئے انکرپٹ کی گئی ہیں۔ AWS سرٹیفکیٹ مینیجر Nitro Enclaves کے لیے (ACM) آپ کو اپنی ویب ایپلیکیشنز اور سرورز کے ساتھ پبلک اور پرائیویٹ SSL/TLS سرٹیفکیٹ استعمال کرنے کی اجازت دیتا ہے جو Nitro Enclaves کے ساتھ EC2 مثالوں پر چل رہے ہیں۔
آپ PII اور PHI ڈیٹا سے وابستہ خطرات کو کم کرنے میں مدد کے لیے Nitro Enclaves کی فراہم کردہ ان خصوصیات کو استعمال کر سکتے ہیں۔ ہم تجویز کرتے ہیں کہ صارف کے حساس ڈیٹا کو سنبھالتے وقت LLM سروس میں Nitro Enclaves کو شامل کریں۔
حل جائزہ
آئیے مثال کی خدمت کے فن تعمیر کا جائزہ لیتے ہیں، جس میں اب نائٹرو انکلیو بھی شامل ہیں۔ نائٹرو انکلیو کو شامل کرنے سے، جیسا کہ مندرجہ ذیل تصویر میں دکھایا گیا ہے، LLM PHI یا PII ڈیٹا کو سنبھالنے کے لیے زیادہ محفوظ چیٹ بوٹ بن جاتا ہے۔
صارف کا ڈیٹا، بشمول PII، PHI، اور سوالات، درخواست کے جواب کے پورے عمل کے دوران انکرپٹڈ رہتا ہے جب ایپلیکیشن کسی انکلیو میں ہوسٹ کی جاتی ہے۔ قیاس کے دوران کئے گئے اقدامات درج ذیل ہیں:
- چیٹ بوٹ ایپ عارضی AWS اسناد تیار کرتی ہے اور صارف سے سوال داخل کرنے کو کہتی ہے۔ سوال، جس میں PII یا PHI شامل ہو سکتا ہے، پھر AWS KMS کے ذریعے مرموز کیا جاتا ہے۔ خفیہ کردہ صارف کے ان پٹ کو عارضی اسناد کے ساتھ ملا کر خفیہ کردہ درخواست تیار کی جاتی ہے۔
- خفیہ کردہ ڈیٹا کو ایک HTTP سرور کو بھیجا جاتا ہے جس کی میزبانی Flask کے ذریعے بطور POST درخواست کی جاتی ہے۔ حساس ڈیٹا کو قبول کرنے سے پہلے، اس اختتامی نقطہ کو HTTPs کے لیے کنفیگر کیا جانا چاہیے۔
- کلائنٹ ایپ POST کی درخواست وصول کرتی ہے اور اسے ایک محفوظ مقامی چینل (مثال کے طور پر vsock) کے ذریعے Nitro Enclaves کے اندر چلنے والی سرور ایپ کو بھیجتی ہے۔
- Nitro Enclaves سرور ایپ درخواست کو ڈکرپٹ کرنے، LLM سے استفسار کرنے اور جواب پیدا کرنے کے لیے عارضی اسناد کا استعمال کرتی ہے۔ ماڈل کے لیے مخصوص سیٹنگز کو انکلیو میں محفوظ کیا جاتا ہے اور کرپٹوگرافک تصدیق کے ساتھ محفوظ کیا جاتا ہے۔
- سرور ایپ جواب کو خفیہ کرنے کے لیے وہی عارضی اسناد استعمال کرتی ہے۔
- مرموز جواب POST درخواست کے جواب کے طور پر کلائنٹ ایپ کے ذریعے چیٹ بوٹ ایپ کو واپس کر دیا جاتا ہے۔
- چیٹ بوٹ ایپ اپنی KMS کلید کا استعمال کرتے ہوئے جواب کو ڈکرپٹ کرتی ہے اور صارف کو سادہ متن دکھاتی ہے۔
شرائط
اس سے پہلے کہ ہم شروع کریں، حل کو تعینات کرنے کے لیے آپ کو درج ذیل شرائط کی ضرورت ہے:
EC2 مثال کو ترتیب دیں۔
EC2 مثال کو ترتیب دینے کے لیے درج ذیل مراحل کو مکمل کریں:
- لانچ کرنا an r5.8x بڑا EC2 مثال کا استعمال کرتے ہوئے amzn2-ami-kernel-5.10-hvm-2.0.20230628.0-x86_64-gp2 AMI نائٹرو انکلیو کے ساتھ فعال ہے۔
- Nitro Enclaves ایپلی کیشنز بنانے اور چلانے کے لیے Nitro Enclaves CLI انسٹال کریں:
sudo amazon-linux-extras install aws-nitro-enclaves-cli -y
sudo yum install aws-nitro-enclaves-cli-devel -y
- نائٹرو انکلیو CLI کی تنصیب کی تصدیق کریں:
nitro-cli –version
- اس پوسٹ میں استعمال شدہ ورژن 1.2.2 ہے۔
- ڈوکر امیجز بنانے کے لیے گٹ اور ڈوکر انسٹال کریں اور گٹ ہب سے ایپلیکیشن ڈاؤن لوڈ کریں۔ اپنے مثال کے صارف کو ڈوکر گروپ میں شامل کریں ( کیا آپ کا IAM مثال صارف ہے):
sudo yum install git -y
sudo usermod -aG ne <USER>
sudo usermod -aG docker <USER>
sudo systemctl start docker && sudo systemctl enable docker
- نائٹرو انکلیو ایلوکیٹر اور وی ساک پراکسی سروسز کو شروع اور فعال کریں:
sudo systemctl start nitro-enclaves-allocator.service && sudo systemctl enable nitro-enclaves-allocator.service
sudo systemctl start nitro-enclaves-vsock-proxy.service && sudo systemctl enable nitro-enclaves-vsock-proxy.service
Nitro Enclaves والدین کی مثال اور انکلیو کے درمیان ایک محفوظ چینل بنانے کے لیے ایک مقامی ساکٹ کنکشن کا استعمال کرتا ہے جسے vsock کہتے ہیں۔
تمام سروسز کے شروع اور فعال ہونے کے بعد، اس بات کی تصدیق کرنے کے لیے مثال کو دوبارہ شروع کریں کہ تمام صارف گروپ اور خدمات صحیح طریقے سے چل رہی ہیں:
sudo shutdown -r now
نائٹرو انکلیو ایلوکیٹر سروس کو کنفیگر کریں۔
نائٹرو انکلیو ایک الگ تھلگ ماحول ہے جو انکلیو کو چلانے کے لیے مثال کے طور پر CPU اور میموری کے ایک حصے کو نامزد کرتا ہے۔ نائٹرو انکلیو ایلوکیٹر سروس کے ساتھ، آپ یہ بتا سکتے ہیں کہ انکلیو کو چلانے کے لیے پیرنٹ مثال سے کتنے CPUs اور کتنی میموری لی جائے گی۔
ٹیکسٹ ایڈیٹر کا استعمال کرتے ہوئے انکلیو کے محفوظ وسائل میں ترمیم کریں (ہمارے حل کے لیے، ہم کافی وسائل فراہم کرنے کے لیے 8 CPU اور 70,000 MiB میموری مختص کرتے ہیں):
vi /etc/nitro_enclaves/allocatory.yaml
پروجیکٹ کو کلون کریں۔
EC2 مثال کو ترتیب دینے کے بعد، آپ نائٹرو انکلیو کے اندر موجود LLM کے ساتھ حساس چیٹ بوٹ کو چلانے کے لیے کوڈ ڈاؤن لوڈ کر سکتے ہیں۔
آپ کو اپ ڈیٹ کرنے کی ضرورت ہے۔ server.py
مناسب KMS کلیدی ID کے ساتھ فائل جو آپ نے شروع میں LLM جواب کو خفیہ کرنے کے لیے بنائی تھی۔
- GitHub پروجیکٹ کو کلون کریں:
cd ~/ && git clone https://<THE_REPO.git>
- بنانے کے لیے پروجیکٹ فولڈر پر جائیں۔
enclave_base
ڈوکر امیج جس میں شامل ہے۔ نائٹرو انکلیو سافٹ ویئر ڈویلپمنٹ کٹ (SDK) نائٹرو ہائپر وائزر سے کرپٹوگرافک تصدیقی دستاویزات کے لیے (اس مرحلے میں 15 منٹ تک کا وقت لگ سکتا ہے):cd /nitro_llm/enclave_base
docker build ./ -t “enclave_base”
ایل ایل ایم کو EC2 مثال میں محفوظ کریں۔
ہم ردعمل پیدا کرنے کے لیے قدرتی زبان کی پروسیسنگ کے لیے اوپن سورس بلوم 560m LLM استعمال کر رہے ہیں۔ یہ ماڈل پی آئی آئی اور پی ایچ آئی کے مطابق نہیں ہے، لیکن یہ ظاہر کرتا ہے کہ ایل ایل ایم ایک انکلیو کے اندر کیسے رہ سکتا ہے۔ ماڈل کو پیرنٹ مثال پر بھی محفوظ کرنے کی ضرورت ہے تاکہ اسے ڈاکر فائل کے ذریعے انکلیو میں کاپی کیا جاسکے۔
- پروجیکٹ پر جائیں:
cd /nitro_llm
- ماڈل کو مقامی طور پر محفوظ کرنے کے لیے ضروری تقاضے انسٹال کریں:
pip3 install requirements.txt
- چلائیں
save_model.py
کے اندر ماڈل کو بچانے کے لیے ایپ/nitro_llm/enclave/bloom
ڈائریکٹری:python3 save_model.py
نائٹرو انکلیو امیج بنائیں اور چلائیں۔
نائٹرو انکلیو کو چلانے کے لیے، آپ کو اپنی ایپلیکیشن کی ڈوکر امیج سے ایک انکلیو امیج فائل (EIF) بنانے کی ضرورت ہے۔ انکلیو ڈائرکٹری میں واقع Dockerfile فائلوں، کوڈ اور LLM پر مشتمل ہے جو انکلیو کے اندر چلیں گی۔
انکلیو کی تعمیر اور اسے چلانے میں کئی منٹ لگیں گے۔
- منصوبے کی جڑ پر جائیں:
cd /nitro_llm
- انکلیو امیج فائل کو اس طرح بنائیں
enclave.eif
:nitro-cli build-enclave --docker-uri enclave:latest --output-file enclave.eif
جب انکلیو بنایا جائے گا، منفرد ہیشز اور پلیٹ فارم کنفیگریشن رجسٹر (PCRs) کی ایک سیریز بنائی جائے گی۔ پی سی آر ہارڈ ویئر اور ایپلیکیشن کی شناخت کو ثابت کرنے کے لیے ایک مربوط پیمائش ہے۔ یہ پی سی آر کرپٹوگرافک تصدیق کے لیے درکار ہوں گے اور KMS کلیدی پالیسی اپ ڈیٹ کے مرحلے کے دوران استعمال کیے جائیں گے۔
- کے وسائل سے انکلیو چلائیں۔
allocator.service
(شامل کرنا--attach-console
آخر میں دلیل انکلیو کو ڈیبگ موڈ میں چلائے گی):nitro-cli run-enclave --cpu-count 8 --memory 70000 --enclave-cid 16 --eif-path enclave.eif
آپ کو EIF فائل کے سائز سے کم از کم چار گنا مختص کرنے کی ضرورت ہے۔ اس میں ترمیم کی جا سکتی ہے۔ allocator.service
پچھلے مراحل سے۔
- تصدیق کریں کہ انکلیو درج ذیل کمانڈ کے ساتھ چل رہا ہے:
nitro-cli describe-enclaves
KMS کلیدی پالیسی کو اپ ڈیٹ کریں۔
اپنی KMS کلیدی پالیسی کو اپ ڈیٹ کرنے کے لیے درج ذیل مراحل کو مکمل کریں:
- AWS KMS کنسول پر، منتخب کریں۔ گاہک کے زیر انتظام کلیدیں۔ نیوی گیشن پین میں.
- اس کلید کو تلاش کریں جو آپ نے شرط کے طور پر تیار کی ہے۔
- میں سے انتخاب کریں ترمیم کریں کلیدی پالیسی پر۔
- درج ذیل معلومات کے ساتھ کلیدی پالیسی کو اپ ڈیٹ کریں:
- آپ کے اکاؤنٹ کی شناخت
- آپ کا IAM صارف نام
- اپ ڈیٹ کردہ Cloud9 ماحولیاتی مثال کا کردار
- عوامل
kms:Encrypt
اورkms:Decrypt
- کنڈیشن اسٹیٹمنٹ کے ساتھ اپنی کلیدی پالیسی میں PCRs (مثال کے طور پر PCR0, PCR1, PCR2) کو انکلیو کریں
درج ذیل کلیدی پالیسی کوڈ دیکھیں:
چیٹ بوٹ ایپ کو محفوظ کریں۔
ایک حساس استفسار چیٹ بوٹ ایپلیکیشن کی نقل کرنے کے لیے جو AWS اکاؤنٹ سے باہر رہتی ہے، آپ کو محفوظ کرنے کی ضرورت ہے chatbot.py
ایپ بنائیں اور اسے Cloud9 ماحول کے اندر چلائیں۔ آپ کا Cloud9 ماحول انکلیو چلانے والے EC2 سے اجازتوں کو الگ کرنے کے لیے عارضی اسناد کے لیے اپنے مثالی کردار کا استعمال کرے گا۔ درج ذیل مراحل کو مکمل کریں:
- Cloud9 کنسول پر، اپنے بنائے ہوئے ماحول کو کھولیں۔
- درج ذیل کوڈ کو ایک نئی فائل میں کاپی کریں جیسے
chatbot.py
مین ڈائرکٹری میں۔ - مطلوبہ ماڈیولز انسٹال کریں:
pip install boto3
Pip install requests
- Amazon EC2 کنسول پر، اپنے Nitro Enclaves مثال سے وابستہ IP کو نوٹ کریں۔
- میں URL متغیر کو اپ ڈیٹ کریں۔
http://<ec2instanceIP>:5001
.
- چیٹ بوٹ ایپلیکیشن چلائیں:
-
python3 chat.py
جب یہ چل رہا ہو گا، ٹرمینل صارف سے ان پٹ مانگے گا اور محفوظ جواب پیدا کرنے کے لیے پہلے سے آرکیٹیکچرل ڈایاگرام کی پیروی کرے گا۔
نجی سوال چلائیں اور چیٹ بوٹ کا جواب دیں۔
اب چونکہ Nitro Enclaves تیار ہے اور EC2 مثال پر چل رہا ہے، آپ زیادہ محفوظ طریقے سے اپنے چیٹ بوٹ PHI اور PII سوالات پوچھ سکتے ہیں۔ آئیے ایک مثال دیکھتے ہیں۔
Cloud9 ماحول کے اندر، ہم اپنے چیٹ بوٹ سے ایک سوال پوچھتے ہیں اور اپنا صارف نام فراہم کرتے ہیں۔
AWS KMS سوال کو خفیہ کرتا ہے، جو درج ذیل اسکرین شاٹ کی طرح لگتا ہے۔
اس کے بعد اسے انکلیو بھیجا جاتا ہے اور محفوظ شدہ ایل ایل ایم سے پوچھا جاتا ہے۔ LLM کا سوال اور جواب درج ذیل اسکرین شاٹ کی طرح نظر آئے گا (نتیجہ اور انکرپٹڈ جواب صرف ڈیبگ موڈ میں انکلیو کے اندر نظر آتا ہے)۔
اس کے بعد نتیجہ کو AWS KMS کا استعمال کرتے ہوئے انکرپٹ کیا جاتا ہے اور ڈیکرپٹ ہونے کے لیے Cloud9 ماحول میں واپس آ جاتا ہے۔
صاف کرو
اپنے وسائل کو صاف کرنے کے لیے درج ذیل اقدامات کو مکمل کریں:
- اپنے انکلیو کو گھر بنانے کے لیے بنائے گئے EC2 مثال کو روکیں۔
- Cloud9 ماحول کو حذف کریں۔
- KMS کلید کو حذف کریں۔
- EC2 مثال کے کردار اور IAM صارف کی اجازتوں کو ہٹا دیں۔
نتیجہ
اس پوسٹ میں، ہم نے دکھایا کہ Nitro Enclaves کو LLM سوال اور جواب دینے والی سروس کو تعینات کرنے کے لیے کیسے استعمال کیا جائے جو زیادہ محفوظ طریقے سے PII اور PHI معلومات بھیجتی اور وصول کرتی ہے۔ یہ Amazon EC2 پر تعینات کیا گیا تھا، اور انکلیو کو AWS KMS کے ساتھ مربوط کیا گیا ہے جس کی رسائی KMS کلید تک محدود ہے، اس لیے صرف Nitro Enclaves اور end-user کو کلید استعمال کرنے اور سوال کو ڈکرپٹ کرنے کی اجازت ہے۔
اگر آپ بڑے کام کے بوجھ کو سپورٹ کرنے کے لیے اس فن تعمیر کو پیمانہ کرنے کا منصوبہ بنا رہے ہیں، تو یقینی بنائیں کہ ماڈل کے انتخاب کا عمل EC2 وسائل کے ساتھ آپ کے ماڈل کی ضروریات سے میل کھاتا ہے۔ مزید برآں، آپ کو درخواست کے زیادہ سے زیادہ سائز پر غور کرنا چاہیے اور اس کا HTTP سرور پر کیا اثر پڑے گا اور ماڈل کے خلاف تخمینہ وقت۔ ان میں سے بہت سے پیرامیٹرز ماڈل اور HTTP سرور کی ترتیبات کے ذریعے حسب ضرورت ہیں۔
اپنے کام کے بوجھ کے لیے مخصوص سیٹنگز اور تقاضوں کا تعین کرنے کا بہترین طریقہ یہ ہے کہ ایک باریک ٹیونڈ LLM کے ساتھ ٹیسٹ کریں۔ اگرچہ اس پوسٹ میں صرف حساس ڈیٹا کی قدرتی لینگویج پروسیسنگ شامل ہے، لیکن آپ آڈیو، کمپیوٹر ویژن، یا ملٹی موڈیلیٹیز کو سپورٹ کرنے والے متبادل ایل ایل ایم کو سپورٹ کرنے کے لیے اس فن تعمیر میں ترمیم کر سکتے ہیں۔ یہاں پر روشنی ڈالی گئی حفاظتی اصولوں کو کسی بھی شکل میں ڈیٹا پر لاگو کیا جا سکتا ہے۔ اس پوسٹ کو بنانے کے لیے استعمال ہونے والے وسائل پر دستیاب ہیں۔ GitHub repo.
تبصرے کے سیکشن میں بتائیں کہ آپ اس حل کو اپنے ماحول کے لیے کس طرح ڈھالنے جا رہے ہیں۔
مصنفین کے بارے میں
جسٹن میلز آفس آف ٹیکنالوجی کے تحت لیڈوس ڈیجیٹل ماڈرنائزیشن سیکٹر میں کلاؤڈ انجینئر ہے۔ اپنے فارغ وقت میں، وہ گالف اور سفر سے لطف اندوز ہوتا ہے۔
Liv d'Aliberti آفس آف ٹکنالوجی کے تحت Leidos AI/ML ایکسلریٹر کے اندر ایک محقق ہے۔ ان کی تحقیق پرائیویسی کو محفوظ رکھنے والی مشین لرننگ پر مرکوز ہے۔
کرس رینزو اے ڈبلیو ایس ڈیفنس اور ایرو اسپیس تنظیم کے اندر ایک سینئر حل آرکیٹیکٹ ہے۔ کام سے باہر، وہ گرم موسم اور سفر کے توازن سے لطف اندوز ہوتا ہے۔
جو کوبا لیڈوس ڈیجیٹل ماڈرنائزیشن سیکٹر کے نائب صدر ہیں۔ اپنے فارغ وقت میں، وہ فٹ بال کے کھیلوں کو ریفری کرنے اور سافٹ بال کھیلنے سے لطف اندوز ہوتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/large-language-model-inference-over-confidential-data-using-aws-nitro-enclaves/
- : ہے
- : ہے
- : نہیں
- $UP
- 000
- 1
- 15٪
- 16
- 24
- 29
- 32
- 36
- 500
- 67
- 7
- 70
- 8
- 9
- a
- قابلیت
- مسرع
- قبول کرنا
- تک رسائی حاصل
- کامیاب
- اکاؤنٹ
- ACM
- عمل
- اپنانے
- شامل کریں
- انہوں نے مزید کہا
- ایڈیشنل
- اس کے علاوہ
- پتہ
- ایرواسپیس
- کے خلاف
- AI / ML
- تمام
- مختص
- کی اجازت
- کی اجازت
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- بھی
- اگرچہ
- ایمیزون
- ایمیزون EC2
- ایمیزون ویب سروسز
- an
- تجزیہ
- تجزیے
- اور
- جواب
- جواب
- کوئی بھی
- اپلی کیشن
- درخواست
- ایپلی کیشنز
- اطلاقی
- نقطہ نظر
- مناسب
- ارکیٹیکچرل
- فن تعمیر
- آرکیٹیکچرز
- کیا
- رقبہ
- علاقوں
- دلیل
- AS
- پوچھنا
- سے پوچھ
- مدد
- منسلک
- At
- آڈیو
- کی توثیق
- مجاز
- خود کار طریقے سے
- دستیاب
- AWS
- واپس
- متوازن
- بنیادی
- BE
- ہو جاتا ہے
- رہا
- اس سے پہلے
- شروع
- کیا جا رہا ہے
- فائدہ
- فوائد
- BEST
- کے درمیان
- بلوم
- بوٹ
- وسیع
- تعمیر
- تعمیر
- لیکن
- by
- کہا جاتا ہے
- کر سکتے ہیں
- کیا ہوا
- لے جانے کے
- کیس
- کیونکہ
- سرٹیفکیٹ
- سرٹیفکیٹ
- چیلنجوں
- تبدیل
- تبدیلیاں
- چینل
- چیٹ
- چیٹ بٹ
- چیٹ بٹس
- میں سے انتخاب کریں
- سول
- صاف
- cli
- کلائنٹ
- بادل
- Cloud9
- کوڈ
- جمع
- مل کر
- تبصروں
- مواصلات
- کموینیکیشن
- مکمل
- کمپیوٹنگ
- کمپیوٹر
- کمپیوٹر ویژن
- اندراج
- شرط
- خفیہ
- ترتیب
- تشکیل شدہ
- کنکشن
- رابطہ
- غور کریں
- کنسول
- پر مشتمل ہے
- پر مشتمل ہے
- مواد
- مواد پیدا کرنا
- کنٹرول
- صحیح طریقے سے
- سکتا ہے
- تخلیق
- بنائی
- کریڈینٹل
- اسناد
- cryptographic
- موجودہ
- گاہک
- کسٹمر کا ڈیٹا
- مرضی کے مطابق
- اعداد و شمار
- ڈیٹا کی رازداری
- خرابی
- دفاع
- ثبوت
- تعیناتی
- تعینات
- تعینات
- بیان
- ڈیزائن
- اس بات کا تعین
- ترقی
- ترقی
- آریھ
- ڈیجیٹل
- ڈائرکٹری
- بات چیت
- بحث
- دکھاتا ہے
- میں Docker
- دستاویز
- دستاویزات
- نہیں
- ڈاؤن لوڈ، اتارنا
- دو
- کے دوران
- اس سے قبل
- ایڈیٹر
- تعلیمی
- اثر
- eif
- ملازم
- کو چالو کرنے کے
- چالو حالت میں
- علاقے
- خفیہ
- خفیہ کردہ
- آخر
- اختتام پوائنٹ
- انجینئر
- انجن
- بڑھانے کے
- بڑھاتا ہے
- کافی
- ماحولیات
- ماحول
- واقعات
- جانچ پڑتال
- مثال کے طور پر
- اس کے علاوہ
- exfiltration
- واضح طور پر
- ظاہر
- نمائش
- بیرونی
- ناکام
- نمایاں کریں
- خصوصیات
- اعداد و شمار
- فائل
- فائلوں
- فائنل
- مالی
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- مندرجہ ذیل ہے
- فٹ بال کے
- کے لئے
- فارمیٹ
- فارم
- فارچیون
- چار
- مفت
- سے
- تقریب
- مزید
- حاصل کرنا
- کھیل
- پیدا
- پیدا
- پیدا ہوتا ہے
- نسل
- حاصل
- جاؤ
- GitHub کے
- جا
- حکومت
- گروپ
- گروپ کا
- ہینڈل
- ہینڈلنگ
- ہارڈ ویئر
- ہے
- he
- صحت
- صحت سے متعلق معلومات
- صحت کی دیکھ بھال
- مدد
- مدد کرتا ہے
- یہاں
- روشنی ڈالی گئی
- انتہائی
- ان
- وطن
- ہوم لینڈ سیکورٹی
- میزبان
- میزبانی کی
- ہاؤس
- مکانات
- کس طرح
- کیسے
- HTML
- HTTP
- HTTPS
- i
- ID
- قابل شناخت
- شناخت
- کی نشاندہی
- شناختی
- if
- تصویر
- تصاویر
- اثر
- عملدرآمد
- درآمد
- in
- غلط
- شامل
- شامل
- سمیت
- شامل کرنا
- غلط
- اشارہ کرتے ہیں
- صنعتوں
- مطلع
- معلومات
- ان پٹ
- داخل کرنا
- کے اندر
- انسٹال
- تنصیب
- مثال کے طور پر
- ضم
- انضمام
- دانشورانہ
- املاک دانش
- انٹیلی جنس
- انٹرایکٹو
- میں
- متعارف کرانے
- متعارف کرانے
- IP
- الگ الگ
- تنہائی
- IT
- میں
- JOE
- JSON
- جسٹن
- کلیدی
- علم
- زبان
- بڑے
- بڑے
- تازہ ترین
- پرت
- رہنما
- سیکھنے
- کم سے کم
- لائبریریوں
- کی طرح
- LIV
- رہتے ہیں
- زندگی
- ایل ایل ایم
- مقامی
- مقامی طور پر
- واقع ہے
- دیکھو
- کی طرح دیکھو
- دیکھنا
- مشین
- مشین لرننگ
- مشینیں
- مین
- بنا
- میں کامیاب
- انتظام
- ہیرا پھیری
- بہت سے
- Markets
- میچ
- زیادہ سے زیادہ
- مئی..
- پیمائش
- یاد داشت
- میٹا ڈیٹا
- طریقوں
- منٹ
- تخفیف کریں
- موڈ
- ماڈل
- نظر ثانی کی
- نظر ثانی کرنے
- ماڈیولز
- زیادہ
- سب سے زیادہ
- بہت
- ایک سے زیادہ
- ضروری
- نام
- قدرتی
- قدرتی زبان عملیات
- سمت شناسی
- ne
- ضروری
- ضرورت ہے
- ضروریات
- نیٹ ورکنگ
- نئی
- Nitro
- نہیں
- کوئی بھی نہیں
- براہ مہربانی نوٹ کریں
- اب
- of
- تجویز
- دفتر
- on
- صرف
- کھول
- اوپن سورس
- or
- حکم
- تنظیم
- دیگر
- ہمارے
- باہر
- باہر
- پر
- مجموعی جائزہ
- مالکان
- پیکجوں کے
- پین
- پیرامیٹرز
- اجازتیں
- ذاتی
- ذاتی طور پر
- منصوبہ
- منصوبہ بندی
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- کھیل
- پالیسی
- حصہ
- ممکن
- پوسٹ
- ممکنہ
- طریقوں
- پہلے
- شرط
- ضروریات
- صدر
- پچھلا
- بنیادی طور پر
- پرنسپل
- اصولوں پر
- کی رازداری
- رازداری کی دھمکیاں
- نجی
- عمل
- عمل
- پروسیسنگ
- پیداوار
- منصوبے
- جائیداد
- حفاظت
- محفوظ
- پروٹوکول
- ثابت کریں
- فراہم
- فراہم
- فراہم کرتا ہے
- پراکسی
- عوامی
- مقاصد
- سوالات
- استفسار میں
- سوال
- سوالات
- موصول
- سفارش
- کم
- خطے
- رجسٹر
- انحصار کرتا ہے
- انحصار کرو
- باقی
- درخواست
- درخواستوں
- ضرورت
- ضروریات
- کی ضرورت ہے
- تحقیق
- محقق
- محفوظ
- وسائل
- وسائل
- جواب
- جوابات
- پابندی لگانا
- پابندی
- نتیجہ
- نتیجے
- برقرار رکھنے
- ریٹائرمنٹ
- واپسی
- انکشاف
- رسک
- خطرات
- کردار
- جڑ
- رن
- چل رہا ہے
- حفاظت
- حفاظت کرنا
- اسی
- نمونہ
- محفوظ کریں
- محفوظ
- پیمانے
- سائنس
- سائنس اور ٹیکنالوجی
- sdk
- تلاش کریں
- تلاش کے انجن
- سیکشن
- شعبے
- محفوظ بنانے
- محفوظ
- محفوظ طریقے سے
- سیکورٹی
- انتخاب
- بھیجتا ہے
- حساس
- بھیجا
- جذبات
- سیریز
- سرور
- سرورز
- سروس
- سروسز
- مقرر
- ترتیبات
- ہونا چاہئے
- ظاہر ہوا
- دکھایا گیا
- شٹ ڈاؤن
- نمایاں طور پر
- سائز
- So
- سافٹ ویئر کی
- سوفٹ ویئر کی نشوونما
- حل
- حل
- کچھ
- مخصوص
- خاص طور پر
- شروع کریں
- شروع
- بیان
- مرحلہ
- مراحل
- ذخیرہ
- ذخیرہ
- اس طرح
- کافی
- حمایت
- امدادی
- اس بات کا یقین
- سطح
- کے نظام
- سسٹمز
- لے لو
- لیا
- ٹیکنیکل
- ٹیکنالوجی
- عارضی
- ٹرمنل
- ٹیسٹنگ
- متن
- کہ
- ۔
- ان
- تو
- یہ
- وہ
- اس
- ان
- خطرات
- کے ذریعے
- بھر میں
- وقت
- اوقات
- کرنے کے لئے
- ٹوکن
- تربیت یافتہ
- ٹرانزٹ
- ترجمہ
- سفر
- بھروسہ رکھو
- کوشش
- غیر مجاز
- کے تحت
- سمجھ
- منفرد
- غیر محدود
- اپ ڈیٹ کریں
- اپ ڈیٹ
- URL
- استعمال کی شرائط
- استعمال کیس
- استعمال کیا جاتا ہے
- رکن کا
- صارفین
- استعمال
- کا استعمال کرتے ہوئے
- متغیر
- اس بات کی تصدیق
- ورژن
- کی طرف سے
- وائس
- نائب صدر
- لنک
- خلاف ورزی
- مجازی
- مجازی مشین
- نظر
- نقطہ نظر
- گرم
- تھا
- راستہ..
- طریقوں
- we
- موسم
- ویب
- ویب ایپلی کیشنز
- ویب خدمات
- کیا
- جب
- جس
- ڈبلیو
- گے
- ساتھ
- کے اندر
- بغیر
- کام
- کام کیا
- کام کر
- دنیا کی
- X
- تم
- اور
- زیفیرنیٹ