এই পোস্টটি লেইডোস থেকে জাস্টিন মাইলস, লিভ ডি'আলিবার্টি এবং জো কোভবার সাথে সহ-লেখা হয়েছে।
Leidos একজন Fortune 500 বিজ্ঞান ও প্রযুক্তি সমাধানের নেতা যিনি প্রতিরক্ষা, বুদ্ধিমত্তা, হোমল্যান্ড সিকিউরিটি, সিভিল এবং হেলথ কেয়ার মার্কেটে বিশ্বের কিছু কঠিন চ্যালেঞ্জ মোকাবেলার জন্য কাজ করছেন। এই পোস্টে, আমরা আলোচনা করেছি কিভাবে Leidos ব্যবহার করে গোপনীয়তা-সংরক্ষণকারী বড় ভাষা মডেল (LLM) অনুমানের জন্য একটি পদ্ধতির বিকাশ করতে AWS-এর সাথে কাজ করেছে। AWS নাইট্রো এনক্লেভস.
এলএলএমগুলি মানুষের মতো ভাষা বোঝা এবং তৈরি করার জন্য ডিজাইন করা হয়েছে এবং সরকার, স্বাস্থ্যসেবা, আর্থিক এবং বুদ্ধিবৃত্তিক সম্পত্তি সহ অনেক শিল্পে ব্যবহৃত হয়। LLM-এর ব্যাপক প্রযোজ্যতা রয়েছে, যার মধ্যে চ্যাটবট, বিষয়বস্তু তৈরি, ভাষা অনুবাদ, অনুভূতি বিশ্লেষণ, প্রশ্নের উত্তর দেওয়ার সিস্টেম, সার্চ ইঞ্জিন এবং কোড জেনারেশন রয়েছে। একটি সিস্টেমে এলএলএম-ভিত্তিক অনুমান প্রবর্তন করার ফলে মডেল এক্সফিল্টেশন, ডেটা গোপনীয়তা লঙ্ঘন এবং অনিচ্ছাকৃত এলএলএম-ভিত্তিক পরিষেবা ম্যানিপুলেশন সহ গোপনীয়তা হুমকি প্রবর্তনের সম্ভাবনা রয়েছে। এলএলএমগুলি যাতে অনুমান করার সময় সংবেদনশীল তথ্য প্রকাশ না করে তা নিশ্চিত করার জন্য প্রযুক্তিগত আর্কিটেকচারগুলি প্রয়োগ করা দরকার।
এই পোস্টে আলোচনা করা হয়েছে যে কীভাবে নাইট্রো এনক্লেভগুলি এলএলএম মডেল স্থাপনাগুলিকে রক্ষা করতে সাহায্য করতে পারে, বিশেষ করে যেগুলি ব্যক্তিগতভাবে সনাক্তযোগ্য তথ্য (PII) বা সুরক্ষিত স্বাস্থ্য তথ্য (PHI) ব্যবহার করে৷ এই পোস্টটি শুধুমাত্র শিক্ষাগত উদ্দেশ্যে এবং অতিরিক্ত নিয়ন্ত্রণ ছাড়া উৎপাদন পরিবেশে ব্যবহার করা উচিত নয়।
এলএলএম এবং নাইট্রো এনক্লেভের সংক্ষিপ্ত বিবরণ
একটি সম্ভাব্য ব্যবহারের ক্ষেত্রে হল একটি LLM-ভিত্তিক সংবেদনশীল ক্যোয়ারী চ্যাটবট যা PII এবং PHI সমন্বিত একটি প্রশ্ন ও উত্তর দেওয়ার পরিষেবা চালানোর জন্য ডিজাইন করা হয়েছে। বেশিরভাগ বর্তমান LLM চ্যাটবট সমাধানগুলি স্পষ্টভাবে ব্যবহারকারীদের জানায় যে নিরাপত্তা উদ্বেগের কারণে প্রশ্নগুলি ইনপুট করার সময় তাদের PII বা PHI অন্তর্ভুক্ত করা উচিত নয়। এই উদ্বেগগুলি প্রশমিত করতে এবং গ্রাহকের ডেটা সুরক্ষিত করতে, পরিষেবা মালিকরা প্রাথমিকভাবে নিম্নলিখিতগুলির মতো ব্যবহারকারীর সুরক্ষার উপর নির্ভর করে:
- সম্পাদন - নথি, পাঠ্য বা অন্যান্য ধরণের সামগ্রীতে PII-এর মতো সংবেদনশীল তথ্য সনাক্তকরণ এবং অস্পষ্ট করার প্রক্রিয়া। এটি একটি মডেলের কাছে পাঠানোর আগে ইনপুট ডেটা দিয়ে সম্পন্ন করা যেতে পারে বা তাদের প্রতিক্রিয়াগুলি স্বয়ংক্রিয়ভাবে সংশোধন করার জন্য প্রশিক্ষিত একটি এলএলএম।
- মাল্টি-ফ্যাক্টর প্রমাণীকরণ - একটি নিরাপত্তা প্রক্রিয়া যার জন্য ব্যবহারকারীদের LLM-এ অ্যাক্সেস পেতে তাদের পরিচয় যাচাই করার জন্য একাধিক প্রমাণীকরণ পদ্ধতি প্রদান করতে হবে।
- পরিবহন স্তর সুরক্ষা (টিএলএস) - একটি ক্রিপ্টোগ্রাফিক প্রোটোকল যা নিরাপদ যোগাযোগ প্রদান করে যা ব্যবহারকারীদের এবং LLM পরিষেবার মধ্যে ট্রানজিটের ডেটা গোপনীয়তা বাড়ায়।
যদিও এই অভ্যাসগুলি পরিষেবার নিরাপত্তা ভঙ্গীকে উন্নত করে, তবে ব্যবহারকারীর অজান্তেই টিকে থাকতে পারে এমন সমস্ত সংবেদনশীল ব্যবহারকারীর তথ্য এবং অন্যান্য সংবেদনশীল তথ্য রক্ষা করার জন্য এগুলি যথেষ্ট নয়৷
আমাদের উদাহরণ ব্যবহারের ক্ষেত্রে, একটি LLM পরিষেবা কর্মীদের স্বাস্থ্যসেবা সুবিধার প্রশ্নের উত্তর দিতে বা একটি ব্যক্তিগত অবসর পরিকল্পনা প্রদান করার জন্য ডিজাইন করা হয়েছে। আসুন নিম্নলিখিত নমুনা আর্কিটেকচার বিশ্লেষণ করি এবং ডেটা গোপনীয়তার ঝুঁকির ক্ষেত্রগুলি সনাক্ত করি।
সম্ভাব্য ঝুঁকির ক্ষেত্রগুলি নিম্নরূপ:
- বিশেষাধিকারপ্রাপ্ত ব্যবহারকারীদের সার্ভারে থাকা উদাহরণে অ্যাক্সেস রয়েছে। পরিষেবাতে অনিচ্ছাকৃত বা অননুমোদিত পরিবর্তনের ফলে সংবেদনশীল ডেটা অনাকাঙ্ক্ষিত উপায়ে প্রকাশিত হতে পারে।
- ব্যবহারকারীদের অবশ্যই বিশ্বাস করতে হবে যে পরিষেবাটি অ্যাপ্লিকেশন লগগুলিতে সংবেদনশীল তথ্য প্রকাশ করবে না বা ধরে রাখবে না।
- অ্যাপ্লিকেশন প্যাকেজ পরিবর্তনের ফলে পরিষেবাতে পরিবর্তন হতে পারে, যার ফলে সংবেদনশীল তথ্য প্রকাশ পায়।
- দৃষ্টান্তে অ্যাক্সেস সহ সুবিধাপ্রাপ্ত ব্যবহারকারীদের পরিষেবা দ্বারা ব্যবহৃত LLM-এ সীমাহীন অ্যাক্সেস রয়েছে। পরিবর্তনের ফলে ব্যবহারকারীদের কাছে ভুল বা ভুল তথ্য ফেরত হতে পারে।
নাইট্রো এনক্লেভস আপনার জন্য অতিরিক্ত বিচ্ছিন্নতা প্রদান করে অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) উদাহরণ, অ্যাডমিন-লেভেল ব্যবহারকারীদের সহ অননুমোদিত অ্যাক্সেস থেকে ব্যবহার করা ডেটাকে সুরক্ষিত করা। পূর্ববর্তী আর্কিটেকচারে, একটি অনিচ্ছাকৃত পরিবর্তনের ফলে সংবেদনশীল ডেটা প্লেইনটেক্সটে টিকে থাকতে পারে এবং দুর্ঘটনাবশত একজন ব্যবহারকারীর কাছে প্রকাশ পেতে পারে যার সেই ডেটা অ্যাক্সেস করার প্রয়োজন নেই। নাইট্রো এনক্লেভের সাথে, আপনি আপনার EC2 উদাহরণ থেকে একটি বিচ্ছিন্ন পরিবেশ তৈরি করেন, আপনাকে ছিটমহলে CPU এবং মেমরি সংস্থান বরাদ্দ করার অনুমতি দেয়। এই ছিটমহল একটি অত্যন্ত সীমাবদ্ধ ভার্চুয়াল মেশিন। ছিটমহলের মধ্যে সংবেদনশীল ডেটা পরিচালনা করে এমন কোড চালানোর মাধ্যমে, পিতামাতার কোনো প্রক্রিয়াই ছিটমহল ডেটা দেখতে সক্ষম হবে না।
নাইট্রো এনক্লেভস নিম্নলিখিত সুবিধাগুলি অফার করে:
- মেমরি এবং সিপিইউ আইসোলেশন - এটি প্যারেন্ট ইনস্ট্যান্সে ব্যবহারকারী, অ্যাপ্লিকেশন এবং লাইব্রেরি থেকে CPU এবং ছিটমহলের মেমরি বিচ্ছিন্ন করতে নাইট্রো হাইপারভাইজারের উপর নির্ভর করে। এই বৈশিষ্ট্যটি ছিটমহল এবং আপনার সফ্টওয়্যারকে বিচ্ছিন্ন করতে সহায়তা করে এবং অনিচ্ছাকৃত ঘটনাগুলির জন্য পৃষ্ঠের ক্ষেত্রফলকে উল্লেখযোগ্যভাবে হ্রাস করে।
- আলাদা ভার্চুয়াল মেশিন - ছিটমহলগুলি হল পৃথক ভার্চুয়াল মেশিনগুলিকে একটি EC2 দৃষ্টান্তের সাথে সংযুক্ত করা হয় যাতে অত্যন্ত সংবেদনশীল ডেটা আরও সুরক্ষিত এবং নিরাপদে প্রক্রিয়া করা হয়।
- কোনো ইন্টারেক্টিভ অ্যাক্সেস নেই - ছিটমহলগুলি তাদের মূল উদাহরণের সাথে শুধুমাত্র নিরাপদ স্থানীয় সকেট সংযোগ প্রদান করে। তাদের কোন অবিরাম স্টোরেজ, ইন্টারেক্টিভ অ্যাক্সেস, বা বাহ্যিক নেটওয়ার্কিং নেই।
- ক্রিপ্টোগ্রাফিক প্রত্যয়ন - নাইট্রো এনক্লেভ অফার ক্রিপ্টোগ্রাফিক প্রত্যয়ন, একটি প্রক্রিয়া যা একটি ছিটমহলের পরিচয় প্রমাণ করতে এবং আপনার ছিটমহলে শুধুমাত্র অনুমোদিত কোড চলছে তা যাচাই করতে ব্যবহৃত হয়।
- AWS ইন্টিগ্রেশন - নাইট্রো এনক্লেভস এর সাথে একীভূত AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS), ছিটমহলের ভিতরে AWS KMS ব্যবহার করে এনক্রিপ্ট করা ফাইলগুলিকে ডিক্রিপ্ট করার অনুমতি দেয়। AWS সার্টিফিকেট ম্যানেজার নাইট্রো এনক্লেভের জন্য (ACM) আপনাকে Nitro Enclaves-এর সাথে EC2 দৃষ্টান্তে চলমান আপনার ওয়েব অ্যাপ্লিকেশন এবং সার্ভারগুলির সাথে পাবলিক এবং প্রাইভেট SSL/TLS সার্টিফিকেট ব্যবহার করতে দেয়।
আপনি PII এবং PHI ডেটার সাথে যুক্ত ঝুঁকি কমাতে সাহায্য করতে Nitro Enclaves দ্বারা প্রদত্ত এই বৈশিষ্ট্যগুলি ব্যবহার করতে পারেন। সংবেদনশীল ব্যবহারকারীর ডেটা পরিচালনা করার সময় আমরা একটি এলএলএম পরিষেবাতে নাইট্রো এনক্লেভস অন্তর্ভুক্ত করার পরামর্শ দিই।
সমাধান ওভারভিউ
এখন নাইট্রো এনক্লেভ সহ উদাহরণ পরিষেবার আর্কিটেকচার পরীক্ষা করা যাক। নাইট্রো এনক্লেভগুলিকে অন্তর্ভুক্ত করার মাধ্যমে, নিম্নলিখিত চিত্রে দেখানো হয়েছে, LLM PHI বা PII ডেটা পরিচালনার জন্য আরও নিরাপদ চ্যাটবট হয়ে ওঠে।
PII, PHI, এবং প্রশ্ন সহ ব্যবহারকারীর ডেটা, অনুরোধ-প্রতিক্রিয়া প্রক্রিয়া জুড়ে এনক্রিপ্ট করা থাকে যখন অ্যাপ্লিকেশনটি একটি ছিটমহলের মধ্যে হোস্ট করা হয়। অনুমানের সময় সম্পাদিত পদক্ষেপগুলি নিম্নরূপ:
- চ্যাটবট অ্যাপটি অস্থায়ী AWS শংসাপত্র তৈরি করে এবং ব্যবহারকারীকে একটি প্রশ্ন ইনপুট করতে বলে। প্রশ্ন, যাতে PII বা PHI থাকতে পারে, তারপর AWS KMS এর মাধ্যমে এনক্রিপ্ট করা হয়। এনক্রিপ্ট করা অনুরোধ তৈরি করতে এনক্রিপ্ট করা ব্যবহারকারীর ইনপুট অস্থায়ী শংসাপত্রের সাথে মিলিত হয়।
- এনক্রিপ্ট করা ডেটা একটি POST অনুরোধ হিসাবে Flask দ্বারা হোস্ট করা একটি HTTP সার্ভারে পাঠানো হয়। সংবেদনশীল ডেটা গ্রহণ করার আগে, এই শেষ পয়েন্টটি HTTP-এর জন্য কনফিগার করা উচিত।
- ক্লায়েন্ট অ্যাপটি POST অনুরোধ গ্রহণ করে এবং এটিকে একটি নিরাপদ স্থানীয় চ্যানেলের (উদাহরণস্বরূপ, vsock) মাধ্যমে Nitro Enclaves-এর মধ্যে চলমান সার্ভার অ্যাপে ফরোয়ার্ড করে।
- Nitro Enclaves সার্ভার অ্যাপ অনুরোধটি ডিক্রিপ্ট করতে, LLM-কে প্রশ্ন করতে এবং প্রতিক্রিয়া তৈরি করতে অস্থায়ী শংসাপত্র ব্যবহার করে। মডেল-নির্দিষ্ট সেটিংস ছিটমহলের মধ্যে সংরক্ষণ করা হয় এবং ক্রিপ্টোগ্রাফিক প্রত্যয়ন দ্বারা সুরক্ষিত।
- সার্ভার অ্যাপ প্রতিক্রিয়া এনক্রিপ্ট করতে একই অস্থায়ী শংসাপত্র ব্যবহার করে।
- এনক্রিপ্ট করা প্রতিক্রিয়া POST অনুরোধের প্রতিক্রিয়া হিসাবে ক্লায়েন্ট অ্যাপের মাধ্যমে চ্যাটবট অ্যাপে ফেরত দেওয়া হয়।
- চ্যাটবট অ্যাপটি তাদের KMS কী ব্যবহার করে প্রতিক্রিয়া ডিক্রিপ্ট করে এবং ব্যবহারকারীকে প্লেইনটেক্সট প্রদর্শন করে।
পূর্বশর্ত
আমরা শুরু করার আগে, সমাধানটি স্থাপন করার জন্য আপনাকে নিম্নলিখিত পূর্বশর্তগুলির প্রয়োজন:
একটি EC2 উদাহরণ কনফিগার করুন
একটি EC2 উদাহরণ কনফিগার করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- চালু করুন একটি r5.8x বড় EC2 উদাহরণ ব্যবহার করে amzn2-ami-kernel-5.10-hvm-2.0.20230628.0-x86_64-gp2 AMI নাইট্রো এনক্লেভস সক্রিয় সহ।
- নাইট্রো এনক্লেভস অ্যাপ্লিকেশন তৈরি এবং চালানোর জন্য নাইট্রো এনক্লেভস সিএলআই ইনস্টল করুন:
sudo amazon-linux-extras install aws-nitro-enclaves-cli -y
sudo yum install aws-nitro-enclaves-cli-devel -y
- নাইট্রো এনক্লেভস CLI এর ইনস্টলেশন যাচাই করুন:
nitro-cli –version
- এই পোস্টে ব্যবহৃত সংস্করণ হল 1.2.2
- ডকার ইমেজ তৈরি করতে গিট এবং ডকার ইনস্টল করুন এবং গিটহাব থেকে অ্যাপ্লিকেশনটি ডাউনলোড করুন। আপনার উদাহরণ ব্যবহারকারীকে ডকার গ্রুপে যুক্ত করুন ( আপনার IAM উদাহরণ ব্যবহারকারী):
sudo yum install git -y
sudo usermod -aG ne <USER>
sudo usermod -aG docker <USER>
sudo systemctl start docker && sudo systemctl enable docker
- নাইট্রো এনক্লেভ বরাদ্দকারী এবং ভিসক প্রক্সি পরিষেবাগুলি শুরু এবং সক্ষম করুন:
sudo systemctl start nitro-enclaves-allocator.service && sudo systemctl enable nitro-enclaves-allocator.service
sudo systemctl start nitro-enclaves-vsock-proxy.service && sudo systemctl enable nitro-enclaves-vsock-proxy.service
নাইট্রো এনক্লেভস প্যারেন্ট ইনস্ট্যান্স এবং এনক্লেভের মধ্যে একটি সুরক্ষিত চ্যানেল তৈরি করতে vsock নামক একটি স্থানীয় সকেট সংযোগ ব্যবহার করে।
সমস্ত পরিষেবা চালু এবং সক্ষম হওয়ার পরে, সমস্ত ব্যবহারকারী গ্রুপ এবং পরিষেবাগুলি সঠিকভাবে চলছে কিনা তা যাচাই করতে উদাহরণটি পুনরায় চালু করুন:
sudo shutdown -r now
নাইট্রো এনক্লেভস বরাদ্দকারী পরিষেবা কনফিগার করুন
নাইট্রো এনক্লেভস হল একটি বিচ্ছিন্ন পরিবেশ যা ছিটমহল চালানোর জন্য সিপিইউ এবং মেমরির একটি অংশকে মনোনীত করে। নাইট্রো এনক্লেভ বরাদ্দকারী পরিষেবার সাহায্যে, আপনি নির্দেশ করতে পারেন কতগুলি সিপিইউ এবং কত মেমরি ছিটমহল চালানোর জন্য প্যারেন্ট ইনস্ট্যান্স থেকে নেওয়া হবে।
টেক্সট এডিটর ব্যবহার করে ছিটমহলের সংরক্ষিত সংস্থানগুলি পরিবর্তন করুন (আমাদের সমাধানের জন্য, আমরা পর্যাপ্ত সংস্থান সরবরাহ করতে 8 CPU এবং 70,000 MiB মেমরি বরাদ্দ করি):
vi /etc/nitro_enclaves/allocatory.yaml
প্রকল্পটি ক্লোন করুন
আপনি EC2 ইন্সট্যান্স কনফিগার করার পরে, আপনি নাইট্রো এনক্লেভের ভিতরে একটি LLM সহ সংবেদনশীল চ্যাটবট চালানোর জন্য কোডটি ডাউনলোড করতে পারেন।
আপনাকে আপডেট করতে হবে server.py
উপযুক্ত KMS কী আইডি সহ ফাইল যা আপনি শুরুতে LLM প্রতিক্রিয়া এনক্রিপ্ট করতে তৈরি করেছিলেন।
- GitHub প্রকল্প ক্লোন করুন:
cd ~/ && git clone https://<THE_REPO.git>
- নির্মাণ করতে প্রকল্প ফোল্ডারে নেভিগেট করুন
enclave_base
ডকার ইমেজ যা রয়েছে নাইট্রো এনক্লেভস সফটওয়্যার ডেভেলপমেন্ট কিট (SDK) নাইট্রো হাইপারভাইজার থেকে ক্রিপ্টোগ্রাফিক প্রত্যয়ন নথির জন্য (এই পদক্ষেপটি 15 মিনিট পর্যন্ত সময় নিতে পারে):cd /nitro_llm/enclave_base
docker build ./ -t “enclave_base”
EC2 উদাহরণে LLM সংরক্ষণ করুন
আমরা প্রতিক্রিয়া তৈরি করতে প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য ওপেন-সোর্স ব্লুম 560m LLM ব্যবহার করছি। এই মডেলটি পিআইআই এবং পিএইচআই-এর সাথে সূক্ষ্ম-সুরক্ষিত নয়, তবে একটি এলএলএম কীভাবে একটি ছিটমহলের ভিতরে থাকতে পারে তা প্রদর্শন করে। মডেলটিকেও প্যারেন্ট ইনস্ট্যান্সে সংরক্ষণ করা দরকার যাতে এটি ডকারফাইলের মাধ্যমে ছিটমহলে কপি করা যায়।
- প্রকল্পে নেভিগেট করুন:
cd /nitro_llm
- মডেলটিকে স্থানীয়ভাবে সংরক্ষণ করতে প্রয়োজনীয় প্রয়োজনীয়তাগুলি ইনস্টল করুন:
pip3 install requirements.txt
- চালান
save_model.py
অ্যাপের মধ্যে মডেলটি সংরক্ষণ করতে/nitro_llm/enclave/bloom
ডিরেক্টরি:python3 save_model.py
নাইট্রো এনক্লেভস ইমেজ তৈরি করুন এবং চালান
নাইট্রো এনক্লেভ চালানোর জন্য, আপনাকে আপনার অ্যাপ্লিকেশনের একটি ডকার ইমেজ থেকে একটি এনক্লেভ ইমেজ ফাইল (EIF) তৈরি করতে হবে। এনক্লেভ ডিরেক্টরিতে অবস্থিত ডকারফাইলে ফাইল, কোড এবং এলএলএম রয়েছে যা ছিটমহলের ভিতরে চলবে।
ছিটমহল তৈরি এবং চালানোর কাজ সম্পূর্ণ হতে একাধিক মিনিট সময় লাগবে।
- প্রকল্পের মূলে নেভিগেট করুন:
cd /nitro_llm
- হিসাবে ছিটমহল ইমেজ ফাইল তৈরি করুন
enclave.eif
:nitro-cli build-enclave --docker-uri enclave:latest --output-file enclave.eif
যখন ছিটমহল নির্মিত হবে, একটি অনন্য হ্যাশ এবং প্ল্যাটফর্ম কনফিগারেশন রেজিস্টার (পিসিআর) তৈরি করা হবে। পিসিআরগুলি হার্ডওয়্যার এবং অ্যাপ্লিকেশনের পরিচয় প্রমাণ করার জন্য একটি সংলগ্ন পরিমাপ। এই পিসিআরগুলি ক্রিপ্টোগ্রাফিক সত্যায়নের জন্য প্রয়োজন হবে এবং KMS কী নীতি আপডেট পদক্ষেপের সময় ব্যবহার করা হবে।
- থেকে সম্পদ নিয়ে ছিটমহল চালান
allocator.service
(যোগ করা হচ্ছে--attach-console
শেষে আর্গুমেন্ট ডিবাগ মোডে এনক্লেভ চালাবে):nitro-cli run-enclave --cpu-count 8 --memory 70000 --enclave-cid 16 --eif-path enclave.eif
আপনাকে EIF ফাইলের আকারের অন্তত চার গুণ বরাদ্দ করতে হবে। এটি সংশোধন করা যেতে পারে allocator.service
পূর্ববর্তী পদক্ষেপ থেকে।
- নিম্নলিখিত কমান্ড দিয়ে এনক্লেভ চলছে তা যাচাই করুন:
nitro-cli describe-enclaves
KMS কী নীতি আপডেট করুন
আপনার KMS কী নীতি আপডেট করতে নিম্নলিখিত ধাপগুলি সম্পূর্ণ করুন:
- AWS KMS কনসোলে, বেছে নিন গ্রাহক পরিচালিত কী নেভিগেশন ফলকে।
- পূর্বশর্ত হিসাবে আপনি যে কী তৈরি করেছেন তা অনুসন্ধান করুন।
- বেছে নিন সম্পাদন করা মূল নীতির উপর।
- নিম্নলিখিত তথ্য সহ মূল নীতি আপডেট করুন:
- আপনার অ্যাকাউন্ট আইডি
- আপনার IAM ব্যবহারকারীর নাম
- আপডেট করা Cloud9 পরিবেশ দৃষ্টান্ত ভূমিকা
- কার্যপ্রণালী
kms:Encrypt
এবংkms:Decrypt
- একটি শর্ত বিবৃতি সহ আপনার মূল নীতিতে PCRs (উদাহরণস্বরূপ, PCR0, PCR1, PCR2) ছিটমহল
নিম্নলিখিত মূল নীতি কোড দেখুন:
চ্যাটবট অ্যাপটি সংরক্ষণ করুন
একটি সংবেদনশীল ক্যোয়ারী চ্যাটবট অ্যাপ্লিকেশন অনুকরণ করতে যা AWS অ্যাকাউন্টের বাইরে থাকে, আপনাকে সংরক্ষণ করতে হবে chatbot.py
অ্যাপ্লিকেশন এবং Cloud9 পরিবেশের ভিতরে এটি চালান। আপনার Cloud9 এনভায়রনমেন্ট অস্থায়ী শংসাপত্রের জন্য তার উদাহরণ ভূমিকা ব্যবহার করবে এনক্লেভ চলমান EC2 থেকে অনুমতিগুলি বিচ্ছিন্ন করতে। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- Cloud9 কনসোলে, আপনার তৈরি করা পরিবেশ খুলুন।
- নিম্নলিখিত কোডটি একটি নতুন ফাইলে অনুলিপি করুন
chatbot.py
প্রধান ডিরেক্টরিতে। - প্রয়োজনীয় মডিউল ইনস্টল করুন:
pip install boto3
Pip install requests
- Amazon EC2 কনসোলে, আপনার নাইট্রো এনক্লেভস ইন্সট্যান্সের সাথে সম্পর্কিত আইপি নোট করুন।
- মধ্যে URL ভেরিয়েবল আপডেট করুন
http://<ec2instanceIP>:5001
.
- চ্যাটবট অ্যাপ্লিকেশনটি চালান:
-
python3 chat.py
এটি চলমান হলে, টার্মিনাল ব্যবহারকারীর ইনপুট চাইবে এবং সুরক্ষিত প্রতিক্রিয়া তৈরি করতে আগের থেকে আর্কিটেকচারাল ডায়াগ্রাম অনুসরণ করবে।
ব্যক্তিগত প্রশ্ন এবং উত্তর চ্যাটবট চালান
এখন যেহেতু নাইট্রো এনক্লেভস EC2 ইন্সট্যান্সে চালু এবং চলছে, আপনি আরও নিরাপদে আপনার চ্যাটবট PHI এবং PII প্রশ্ন জিজ্ঞাসা করতে পারেন। এর একটি উদাহরণ তাকান.
Cloud9 পরিবেশের মধ্যে, আমরা আমাদের চ্যাটবটকে একটি প্রশ্ন জিজ্ঞাসা করি এবং আমাদের ব্যবহারকারীর নাম প্রদান করি।
AWS KMS প্রশ্নটি এনক্রিপ্ট করে, যা নিচের স্ক্রিনশটের মত দেখায়।
তারপর এটি ছিটমহলে পাঠানো হয় এবং সুরক্ষিত এলএলএম সম্পর্কে জিজ্ঞাসা করা হয়। LLM-এর প্রশ্ন এবং উত্তর নিচের স্ক্রিনশটের মত দেখাবে (ফলাফল এবং এনক্রিপ্ট করা প্রতিক্রিয়া শুধুমাত্র ডিবাগ মোডে এনক্লেভের ভিতরে দৃশ্যমান)।
ফলাফলটি তারপর AWS KMS ব্যবহার করে এনক্রিপ্ট করা হয় এবং ডিক্রিপ্ট করার জন্য Cloud9 পরিবেশে ফিরে আসে।
পরিষ্কার কর
আপনার সংস্থানগুলি পরিষ্কার করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- আপনার ছিটমহল রাখার জন্য তৈরি করা EC2 উদাহরণ বন্ধ করুন।
- Cloud9 পরিবেশ মুছুন।
- KMS কী মুছুন।
- EC2 ইনস্ট্যান্স ভূমিকা এবং IAM ব্যবহারকারীর অনুমতিগুলি সরান৷
উপসংহার
এই পোস্টে, আমরা একটি এলএলএম প্রশ্ন ও উত্তর দেওয়ার পরিষেবা স্থাপন করতে কীভাবে নাইট্রো এনক্লেভগুলি ব্যবহার করতে হয় তা প্রদর্শন করেছি যা আরও নিরাপদে PII এবং PHI তথ্য পাঠায় এবং গ্রহণ করে। এটি Amazon EC2-তে স্থাপন করা হয়েছিল, এবং ছিটমহলগুলি AWS KMS-এর সাথে একত্রিত করা হয়েছে যা একটি KMS কী-তে অ্যাক্সেস সীমাবদ্ধ করে, তাই শুধুমাত্র নাইট্রো এনক্লেভস এবং শেষ-ব্যবহারকারীরা কী ব্যবহার করতে এবং প্রশ্নটি ডিক্রিপ্ট করতে পারবেন।
আপনি যদি বৃহত্তর কাজের চাপকে সমর্থন করার জন্য এই আর্কিটেকচারটি স্কেল করার পরিকল্পনা করছেন, তবে নিশ্চিত করুন যে মডেল নির্বাচন প্রক্রিয়াটি EC2 সংস্থানগুলির সাথে আপনার মডেলের প্রয়োজনীয়তার সাথে মেলে। অতিরিক্তভাবে, আপনাকে অবশ্যই সর্বোচ্চ অনুরোধের আকার এবং HTTP সার্ভারে কী প্রভাব ফেলবে এবং মডেলের বিপরীতে অনুমান সময় বিবেচনা করতে হবে। এই প্যারামিটারগুলির অনেকগুলি মডেল এবং HTTP সার্ভার সেটিংসের মাধ্যমে কাস্টমাইজযোগ্য।
আপনার কাজের চাপের জন্য নির্দিষ্ট সেটিংস এবং প্রয়োজনীয়তা নির্ধারণ করার সর্বোত্তম উপায় হল একটি সূক্ষ্ম-টিউনড এলএলএম-এর মাধ্যমে পরীক্ষার মাধ্যমে। যদিও এই পোস্টে শুধুমাত্র সংবেদনশীল ডেটার প্রাকৃতিক ভাষা প্রক্রিয়াকরণ অন্তর্ভুক্ত করা হয়েছে, আপনি অডিও, কম্পিউটার ভিশন বা মাল্টি-মডালিটি সমর্থনকারী বিকল্প এলএলএম সমর্থন করতে এই আর্কিটেকচারটি পরিবর্তন করতে পারেন। এখানে হাইলাইট করা একই সুরক্ষা নীতিগুলি যে কোনও বিন্যাসে ডেটাতে প্রয়োগ করা যেতে পারে। এই পোস্টটি তৈরি করতে ব্যবহৃত সংস্থানগুলি পাওয়া যায় গিটহুব রেপো.
আপনি মন্তব্য বিভাগে আপনার পরিবেশের জন্য এই সমাধানটি কীভাবে মানিয়ে নিতে যাচ্ছেন তা ভাগ করুন।
লেখক সম্পর্কে
জাস্টিন মাইলস অফিস অফ টেকনোলজির অধীনে লেইডোস ডিজিটাল আধুনিকীকরণ সেক্টরের একজন ক্লাউড ইঞ্জিনিয়ার। তার অবসর সময়ে, তিনি গল্ফ এবং ভ্রমণ উপভোগ করেন।
লিভ ডি'আলিবার্টি অফিস অফ টেকনোলজির অধীনে Leidos AI/ML অ্যাক্সিলারেটরের মধ্যে একজন গবেষক৷ তাদের গবেষণা গোপনীয়তা-সংরক্ষণ মেশিন লার্নিং উপর দৃষ্টি নিবদ্ধ করে।
ক্রিস রেঞ্জো AWS প্রতিরক্ষা এবং মহাকাশ সংস্থার মধ্যে একজন সিনিয়র সলিউশন আর্কিটেক্ট। কাজের বাইরে, তিনি উষ্ণ আবহাওয়া এবং ভ্রমণের ভারসাম্য উপভোগ করেন।
জো কভবা লেইডোস ডিজিটাল আধুনিকায়ন সেক্টরের একজন ভাইস প্রেসিডেন্ট। তার অবসর সময়ে, তিনি ফুটবল খেলায় রেফারি করা এবং সফটবল খেলা উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/large-language-model-inference-over-confidential-data-using-aws-nitro-enclaves/
- : আছে
- : হয়
- :না
- $ ইউপি
- 000
- 1
- 15%
- 16
- 24
- 29
- 32
- 36
- 500
- 67
- 7
- 70
- 8
- 9
- a
- সক্ষম
- বেগবর্ধক ব্যক্তি
- গ্রহণ
- প্রবেশ
- সম্পন্ন
- হিসাব
- এসিএম
- কর্ম
- খাপ খাওয়ানো
- যোগ
- যোগ
- অতিরিক্ত
- উপরন্তু
- ঠিকানা
- মহাকাশ
- বিরুদ্ধে
- এআই / এমএল
- সব
- বরাদ্দ করা
- অনুমতি
- অনুমতি
- অনুমতি
- অনুমতি
- এছাড়াও
- যদিও
- মর্দানী স্ত্রীলোক
- আমাজন EC2
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষণ
- বিশ্লেষণ করা
- এবং
- উত্তর
- উত্তর
- কোন
- অ্যাপ্লিকেশন
- আবেদন
- অ্যাপ্লিকেশন
- ফলিত
- অভিগমন
- যথাযথ
- স্থাপত্য
- স্থাপত্য
- আর্কিটেকচারের
- রয়েছি
- এলাকায়
- এলাকার
- যুক্তি
- AS
- জিজ্ঞাসা করা
- জিজ্ঞাসা
- সাহায্য
- যুক্ত
- At
- অডিও
- প্রমাণীকরণ
- অনুমোদিত
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- ডেস্কটপ AWS
- পিছনে
- ভারসাম্য
- মৌলিক
- BE
- হয়ে
- হয়েছে
- আগে
- শুরু
- হচ্ছে
- সুবিধা
- সুবিধা
- সর্বোত্তম
- মধ্যে
- পুষ্প
- বট
- প্রশস্ত
- নির্মাণ করা
- নির্মিত
- কিন্তু
- by
- নামক
- CAN
- বাহিত
- বহন
- কেস
- কারণ
- শংসাপত্র
- সার্টিফিকেট
- চ্যালেঞ্জ
- পরিবর্তন
- পরিবর্তন
- চ্যানেল
- চ্যাট
- chatbot
- chatbots
- বেছে নিন
- বেসামরিক
- পরিষ্কার
- CLI
- মক্কেল
- মেঘ
- Cloud9
- কোড
- সংগ্রহ করা
- মিলিত
- মন্তব্য
- যোগাযোগ
- যোগাযোগমন্ত্রী
- সম্পূর্ণ
- গনা
- কম্পিউটার
- কম্পিউটার ভিশন
- উদ্বেগ
- শর্ত
- গোপনীয়
- কনফিগারেশন
- কনফিগার
- সংযোগ
- কানেক্টিভিটি
- বিবেচনা
- কনসোল
- ধারণ করা
- ধারণ
- বিষয়বস্তু
- কন্টেন্ট জেনারেশন
- নিয়ন্ত্রণগুলি
- সঠিকভাবে
- পারা
- সৃষ্টি
- নির্মিত
- ক্রেডিটেনটিয়াল
- পরিচয়পত্র
- ক্রিপ্টোগ্রাফিক
- বর্তমান
- ক্রেতা
- গ্রাহক তথ্য
- স্বনির্ধারিত
- উপাত্ত
- তথ্য গোপনীয়তা
- ডিক্রিপ্ট করুন
- প্রতিরক্ষা
- প্রমান
- স্থাপন
- মোতায়েন
- স্থাপনার
- বর্ণনা করা
- পরিকল্পিত
- নির্ধারণ
- বিকাশ
- উন্নয়ন
- নকশা
- ডিজিটাল
- ডিরেক্টরি
- আলোচনা করা
- আলোচনা
- প্রদর্শন
- ডকশ্রমিক
- দলিল
- কাগজপত্র
- Dont
- ডাউনলোড
- কারণে
- সময়
- পূর্বে
- সম্পাদক
- শিক্ষাবিষয়ক
- প্রভাব
- eif
- কর্মচারী
- সক্ষম করা
- সক্ষম করা
- ছিটমহল
- সঙ্কেতায়িত করুন
- এনক্রিপ্ট করা
- শেষ
- শেষপ্রান্ত
- প্রকৌশলী
- ইঞ্জিন
- উন্নত করা
- বাড়ায়
- যথেষ্ট
- পরিবেশ
- পরিবেশের
- ঘটনাবলী
- পরীক্ষক
- উদাহরণ
- ছাড়া
- বহিষ্কার
- স্পষ্টভাবে
- উদ্ভাসিত
- প্রকাশ
- বহিরাগত
- ব্যর্থ
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ব্যক্তিত্ব
- ফাইল
- নথি পত্র
- চূড়ান্ত
- আর্থিক
- গুরুত্ত্ব
- অনুসরণ করা
- অনুসরণ
- অনুসরণ
- ফুটবল
- জন্য
- বিন্যাস
- ফর্ম
- ভাগ্য
- চার
- বিনামূল্যে
- থেকে
- ক্রিয়া
- অধিকতর
- লাভ করা
- গেম
- উত্পাদন করা
- উত্পন্ন
- উত্পন্ন
- প্রজন্ম
- পাওয়া
- git
- GitHub
- চালু
- সরকার
- গ্রুপ
- গ্রুপের
- হ্যান্ডলগুলি
- হ্যান্ডলিং
- হার্ডওয়্যারের
- আছে
- he
- স্বাস্থ্য
- স্বাস্থ্য তথ্য
- স্বাস্থ্যসেবা
- সাহায্য
- সাহায্য
- এখানে
- হাইলাইট করা
- অত্যন্ত
- তার
- স্বদেশ
- মাতৃভুমির নিরাপত্তা
- নিমন্ত্রণকর্তা
- হোস্ট
- ঘর
- ঘর
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- i
- ID
- শনাক্তযোগ্য
- সনাক্ত করা
- চিহ্নিতকরণের
- পরিচয়
- if
- ভাবমূর্তি
- চিত্র
- প্রভাব
- বাস্তবায়িত
- আমদানি
- in
- বেঠিক
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- সুদ্ধ
- একত্রিত
- ত্রুটিপূর্ণ
- ইঙ্গিত
- শিল্প
- জানান
- তথ্য
- ইনপুট
- ইনপুট করা
- ভিতরে
- ইনস্টল
- স্থাপন
- উদাহরণ
- সংহত
- ইন্টিগ্রেশন
- বুদ্ধিজীবী
- বুদ্ধিজীবী সম্পত্তি
- বুদ্ধিমত্তা
- ইন্টারেক্টিভ
- মধ্যে
- প্রবর্তন করা
- উপস্থাপক
- IP
- ভিন্ন
- বিচ্ছিন্নতা
- IT
- এর
- JOE
- JSON
- জাস্টিন
- চাবি
- জ্ঞান
- ভাষা
- বড়
- বৃহত্তর
- সর্বশেষ
- স্তর
- নেতা
- শিক্ষা
- অন্তত
- লাইব্রেরি
- মত
- Liv
- জীবিত
- লাইভস
- LLM
- স্থানীয়
- স্থানীয়ভাবে
- অবস্থিত
- দেখুন
- মত চেহারা
- সৌন্দর্য
- মেশিন
- মেশিন লার্নিং
- মেশিন
- প্রধান
- করা
- পরিচালিত
- ব্যবস্থাপনা
- দক্ষতা সহকারে হস্তচালন
- অনেক
- বাজার
- ম্যাচ
- সর্বাধিক
- মে..
- মাপা
- স্মৃতি
- মেটাডাটা
- পদ্ধতি
- মিনিট
- প্রশমিত করা
- মোড
- মডেল
- পরিবর্তিত
- পরিবর্তন
- মডিউল
- অধিক
- সেতু
- অনেক
- বহু
- অবশ্যই
- নাম
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- ন্যাভিগেশন
- ne
- প্রয়োজনীয়
- প্রয়োজন
- চাহিদা
- নেটওয়ার্কিং
- নতুন
- নিত্র
- না।
- না
- বিঃদ্রঃ
- এখন
- of
- অফার
- দপ্তর
- on
- কেবল
- খোলা
- ওপেন সোর্স
- or
- ক্রম
- সংগঠন
- অন্যান্য
- আমাদের
- বাইরে
- বাহিরে
- শেষ
- ওভারভিউ
- মালিকদের
- প্যাকেজ
- শার্সি
- পরামিতি
- অনুমতি
- ব্যক্তিগত
- ব্যক্তিগতভাবে
- পরিকল্পনা
- পরিকল্পনা
- মাচা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- কেলি
- নীতি
- অংশ
- সম্ভব
- পোস্ট
- সম্ভাব্য
- চর্চা
- পূর্ববর্তী
- পূর্বশর্ত
- পূর্বশর্ত
- সভাপতি
- আগে
- প্রাথমিকভাবে
- অধ্যক্ষ
- নীতিগুলো
- গোপনীয়তা
- গোপনীয়তা হুমকি
- ব্যক্তিগত
- প্রক্রিয়া
- প্রসেস
- প্রক্রিয়াজাতকরণ
- উত্পাদনের
- প্রকল্প
- সম্পত্তি
- রক্ষা করা
- রক্ষিত
- প্রোটোকল
- প্রমাণ করা
- প্রদান
- প্রদত্ত
- উপলব্ধ
- প্রক্সি
- প্রকাশ্য
- উদ্দেশ্য
- প্রশ্নের
- প্রশ্ন
- প্রশ্ন
- প্রশ্ন
- পায়
- সুপারিশ করা
- হ্রাস
- এলাকা
- খাতাপত্র
- নির্ভর
- নির্ভর করা
- দেহাবশেষ
- অনুরোধ
- অনুরোধ
- প্রয়োজনীয়
- আবশ্যকতা
- প্রয়োজন
- গবেষণা
- গবেষক
- সংরক্ষিত
- সংস্থান
- Resources
- প্রতিক্রিয়া
- প্রতিক্রিয়া
- সীমাবদ্ধ
- সীমাবদ্ধ
- ফল
- ফলে এবং
- রাখা
- অবসর গ্রহণ
- প্রত্যাবর্তন
- প্রকাশিত
- ঝুঁকি
- ঝুঁকি
- ভূমিকা
- শিকড়
- চালান
- দৌড়
- রক্ষা
- সুরক্ষা
- একই
- প্রসঙ্গ
- সংরক্ষণ করুন
- সংরক্ষিত
- স্কেল
- বিজ্ঞান
- বিজ্ঞান ও প্রযুক্তি
- SDK
- সার্চ
- সার্চ ইঞ্জিন
- অধ্যায়
- সেক্টর
- নিরাপদ
- সুরক্ষিত
- নিরাপদে
- নিরাপত্তা
- নির্বাচন
- পাঠায়
- সংবেদনশীল
- প্রেরিত
- অনুভূতি
- ক্রম
- সার্ভার
- সার্ভারের
- সেবা
- সেবা
- সেট
- সেটিংস
- উচিত
- শোকেস
- প্রদর্শিত
- শাটডাউন
- উল্লেখযোগ্যভাবে
- আয়তন
- So
- সফটওয়্যার
- সফটওয়্যার উন্নয়ন
- সমাধান
- সলিউশন
- কিছু
- নির্দিষ্ট
- বিশেষভাবে
- শুরু
- শুরু
- বিবৃতি
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- সঞ্চিত
- এমন
- যথেষ্ট
- সমর্থন
- সমর্থক
- নিশ্চিত
- পৃষ্ঠতল
- পদ্ধতি
- সিস্টেম
- গ্রহণ করা
- ধরা
- কারিগরী
- প্রযুক্তিঃ
- অস্থায়ী
- প্রান্তিক
- পরীক্ষামূলক
- পাঠ
- যে
- সার্জারির
- তাদের
- তারপর
- এইগুলো
- তারা
- এই
- সেগুলো
- হুমকি
- দ্বারা
- সর্বত্র
- সময়
- বার
- থেকে
- টোকেন
- প্রশিক্ষিত
- পরিবহন
- অনুবাদ
- ভ্রমণ
- আস্থা
- চেষ্টা
- অনধিকার
- অধীনে
- বোঝা
- অনন্য
- অবাধ
- আপডেট
- আপডেট
- URL টি
- ব্যবহার
- ব্যবহার ক্ষেত্রে
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- পরিবর্তনশীল
- যাচাই
- সংস্করণ
- মাধ্যমে
- ভাইস
- উপরাষ্ট্রপতি
- চেক
- অমান্যকারীদের
- ভার্চুয়াল
- ভার্চুয়াল মেশিন
- দৃশ্যমান
- দৃষ্টি
- উষ্ণ
- ছিল
- উপায়..
- উপায়
- we
- আবহাওয়া
- ওয়েব
- ওয়েব অ্যাপ্লিকেশন
- ওয়েব সার্ভিস
- কি
- কখন
- যে
- হু
- ইচ্ছা
- সঙ্গে
- মধ্যে
- ছাড়া
- হয়া যাই ?
- কাজ করছে
- কাজ
- বিশ্বের
- X
- আপনি
- আপনার
- zephyrnet