AWS এর সাথে জেনারেটিভ এআই-এর একটি নিরাপদ পদ্ধতি আমাজন ওয়েব সার্ভিসেস

AWS এর সাথে জেনারেটিভ এআই-এর একটি নিরাপদ পদ্ধতি আমাজন ওয়েব সার্ভিসেস

AWS এর সাথে জেনারেটিভ এআই-এর একটি নিরাপদ পদ্ধতি আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

জেনারেটিভ কৃত্রিম বুদ্ধিমত্তা (AI) বিশ্বজুড়ে শিল্পে গ্রাহকের অভিজ্ঞতাকে রূপান্তরিত করছে। গ্রাহকরা বড় ভাষা মডেল (LLMs) এবং অন্যান্য ফাউন্ডেশন মডেল (FMs) ব্যবহার করে জেনারেটিভ এআই অ্যাপ্লিকেশন তৈরি করছে, যা গ্রাহকদের অভিজ্ঞতা বাড়ায়, অপারেশনগুলিকে রূপান্তরিত করে, কর্মচারীদের উত্পাদনশীলতা উন্নত করে এবং নতুন রাজস্ব চ্যানেল তৈরি করে।

FM এবং তাদের চারপাশে নির্মিত অ্যাপ্লিকেশনগুলি আমাদের গ্রাহকদের জন্য অত্যন্ত মূল্যবান বিনিয়োগের প্রতিনিধিত্ব করে। মডেলের আউটপুট অপ্টিমাইজ করার জন্য তারা প্রায়ই ব্যক্তিগত ডেটা, কমপ্লায়েন্স ডেটা, অপারেশনাল ডেটা এবং আর্থিক তথ্যের মতো অত্যন্ত সংবেদনশীল ব্যবসায়িক ডেটার সাথে ব্যবহার করা হয়। গ্রাহকরা যখন জেনারেটিভ এআই-এর সুবিধাগুলি অন্বেষণ করেন তখন আমরা সবচেয়ে বড় উদ্বেগের কথা শুনি যে কীভাবে তাদের অত্যন্ত সংবেদনশীল ডেটা এবং বিনিয়োগগুলিকে রক্ষা করা যায়। যেহেতু তাদের ডেটা এবং মডেলের ওজনগুলি অবিশ্বাস্যভাবে মূল্যবান, গ্রাহকরা তাদের সুরক্ষিত, সুরক্ষিত এবং ব্যক্তিগত থাকতে চান, তা তাদের নিজস্ব প্রশাসকের অ্যাকাউন্ট থেকে হোক না কেন, তাদের গ্রাহকদের, তাদের নিজস্ব পরিবেশে চলমান সফ্টওয়্যারের দুর্বলতা, এমনকি তাদের ক্লাউড পরিষেবা প্রদানকারী থেকেও। অ্যাক্সেস

AWS-এ, আমাদের সর্বোচ্চ অগ্রাধিকার হল আমাদের গ্রাহকদের কাজের চাপের নিরাপত্তা এবং গোপনীয়তা রক্ষা করা। আমরা আমাদের জেনারেটিভ এআই স্ট্যাকের তিনটি স্তর জুড়ে নিরাপত্তা সম্পর্কে চিন্তা করি:

  • সর্বনিম্ন স্তর - এলএলএম এবং অন্যান্য এফএম তৈরি এবং প্রশিক্ষণের জন্য সরঞ্জাম সরবরাহ করে
  • মধ্য স্তর - জেনারেটিভ এআই অ্যাপ্লিকেশনগুলি তৈরি এবং স্কেল করার জন্য আপনার প্রয়োজনীয় সরঞ্জামগুলির সাথে সমস্ত মডেলগুলিতে অ্যাক্সেস সরবরাহ করে
  • উপরের স্তর - কোড লেখা এবং ডিবাগিং, বিষয়বস্তু তৈরি করা, অন্তর্দৃষ্টি অর্জন এবং পদক্ষেপ নেওয়ার মাধ্যমে কাজের চাপমুক্ত করতে LLM এবং অন্যান্য FM ব্যবহার করে এমন অ্যাপ্লিকেশন অন্তর্ভুক্ত করে

প্রতিটি স্তর জেনারেটিভ এআইকে ব্যাপক এবং রূপান্তরকারী করার জন্য গুরুত্বপূর্ণ।

সঙ্গে সঙ্গে এডাব্লুএস নাইট্রো সিস্টেম, আমরা আমাদের গ্রাহকদের পক্ষ থেকে একটি প্রথম ধরনের উদ্ভাবন প্রদান করেছি। নাইট্রো সিস্টেম হল AWS-এর জন্য একটি অতুলনীয় কম্পিউটিং ব্যাকবোন, যার মূলে নিরাপত্তা এবং কর্মক্ষমতা রয়েছে। এর বিশেষায়িত হার্ডওয়্যার এবং সংশ্লিষ্ট ফার্মওয়্যার বিধিনিষেধ প্রয়োগ করার জন্য ডিজাইন করা হয়েছে যাতে AWS-এর যে কেউ সহ, কেউ আপনার কাজের চাপ বা ডেটা অ্যাক্সেস করতে না পারে অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) উদাহরণ। 2 সাল থেকে সমস্ত নাইট্রো-ভিত্তিক EC2017 দৃষ্টান্তগুলিতে AWS অপারেটরদের কাছ থেকে এই গোপনীয়তা এবং বিচ্ছিন্নতা থেকে গ্রাহকরা উপকৃত হয়েছেন।

ডিজাইন অনুসারে, কোনো অ্যামাজন কর্মচারীর কাছে নাইট্রো EC2 ইন্সট্যান্স অ্যাক্সেস করার কোনো ব্যবস্থা নেই যা গ্রাহকরা তাদের কাজের চাপ চালানোর জন্য ব্যবহার করে, অথবা গ্রাহকরা মেশিন লার্নিং (ML) এক্সিলারেটর বা GPU-এ পাঠানো ডেটা অ্যাক্সেস করতে ব্যবহার করে। এই সুরক্ষা সমস্ত নাইট্রো-ভিত্তিক দৃষ্টান্তের ক্ষেত্রে প্রযোজ্য, যেমন ML অ্যাক্সিলারেটর সহ দৃষ্টান্ত সহ এডাব্লুএস ইনফেরেন্টিয়া এবং এডব্লিউএস ট্রেনিয়াম, এবং P4, P5, G5, এবং G6 এর মত GPU সহ উদাহরণ।

নাইট্রো সিস্টেম সক্ষম করে ইলাস্টিক ফ্যাব্রিক অ্যাডাপ্টার (EFA), যা ক্লাউড-স্কেল ইলাস্টিক এবং বৃহৎ-স্কেল বিতরণ প্রশিক্ষণের জন্য AWS-নির্মিত AWS স্কেলেবল রিলায়েবল ডেটাগ্রাম (SRD) যোগাযোগ প্রোটোকল ব্যবহার করে, শুধুমাত্র সর্বদা-এনক্রিপ্ট করা রিমোট ডাইরেক্ট মেমরি অ্যাক্সেস (RDMA) সক্ষম নেটওয়ার্ক সক্ষম করে। EFA মাধ্যমে সমস্ত যোগাযোগ এনক্রিপ্ট করা হয় ভিপিসি এনক্রিপশন কোনো পারফরম্যান্স পেনাল্টি ছাড়াই।

নাইট্রো সিস্টেমের ডিজাইন করা হয়েছে NCC গ্রুপ দ্বারা বৈধ, একটি স্বাধীন সাইবার নিরাপত্তা সংস্থা। AWS গ্রাহকের কাজের চাপের জন্য একটি উচ্চ স্তরের সুরক্ষা প্রদান করে এবং আমরা বিশ্বাস করি যে এটি নিরাপত্তা এবং গোপনীয়তার স্তর যা গ্রাহকদের তাদের ক্লাউড প্রদানকারীর কাছ থেকে আশা করা উচিত। সুরক্ষার এই স্তরটি এতটাই গুরুত্বপূর্ণ যে আমরা এটিকে আমাদের মধ্যে যুক্ত করেছি৷ AWS পরিষেবার শর্তাবলী আমাদের সমস্ত গ্রাহকদের একটি অতিরিক্ত আশ্বাস প্রদান করতে।

AWS শিল্প-নেতৃস্থানীয় নিরাপত্তা ক্ষমতা ব্যবহার করে নিরাপদ জেনারেটিভ এআই ওয়ার্কলোড উদ্ভাবন করা

প্রথম দিন থেকে, AWS AI পরিকাঠামো এবং পরিষেবাগুলিতে অন্তর্নির্মিত সুরক্ষা এবং গোপনীয়তা বৈশিষ্ট্য রয়েছে যা আপনাকে আপনার ডেটার উপর নিয়ন্ত্রণ দিতে পারে। যেহেতু গ্রাহকরা তাদের প্রতিষ্ঠানে জেনারেটিভ এআই বাস্তবায়নের জন্য দ্রুত অগ্রসর হয়, আপনাকে জানতে হবে যে ডেটা প্রস্তুতি, প্রশিক্ষণ এবং অনুমান সহ AI জীবনচক্র জুড়ে আপনার ডেটা নিরাপদে পরিচালনা করা হচ্ছে। মডেল ওজনের নিরাপত্তা—প্রশিক্ষণের সময় মডেল যে পরামিতিগুলি শিখে যা ভবিষ্যদ্বাণী করার ক্ষমতার জন্য গুরুত্বপূর্ণ—আপনার ডেটা রক্ষা এবং মডেলের অখণ্ডতা বজায় রাখার জন্য সর্বোত্তম।

এই কারণেই জেনারেটিভ AI স্ট্যাকের প্রতিটি স্তর জুড়ে নিরাপত্তার উপর বাধা বাড়াতে আমাদের গ্রাহকদের পক্ষে উদ্ভাবন চালিয়ে যাওয়া AWS-এর জন্য গুরুত্বপূর্ণ। এটি করার জন্য, আমরা বিশ্বাস করি যে জেনারেটিভ AI স্ট্যাকের প্রতিটি স্তর জুড়ে আপনার অবশ্যই নিরাপত্তা এবং গোপনীয়তা থাকতে হবে। আপনাকে LLM এবং অন্যান্য FM প্রশিক্ষণের জন্য পরিকাঠামো সুরক্ষিত করতে সক্ষম হতে হবে, LLM এবং অন্যান্য FM চালানোর জন্য সরঞ্জামগুলির সাহায্যে সুরক্ষিতভাবে তৈরি করতে হবে এবং এমন অ্যাপ্লিকেশনগুলি চালাতে হবে যা বিল্ট-ইন সুরক্ষা এবং গোপনীয়তার সাথে FM ব্যবহার করে যা আপনি বিশ্বাস করতে পারেন৷

AWS-এ, AI পরিকাঠামো সুরক্ষিত করা বলতে বোঝায় সংবেদনশীল AI ডেটাতে শূন্য অ্যাক্সেস, যেমন AI মডেলের ওজন এবং সেই মডেলগুলির সাথে প্রসেস করা ডেটা, যে কোনও অননুমোদিত ব্যক্তি, হয় অবকাঠামো অপারেটর বা গ্রাহকের দ্বারা। এটি তিনটি মূল নীতি নিয়ে গঠিত:

  1. পরিকাঠামো অপারেটর থেকে AI ডেটা সম্পূর্ণ বিচ্ছিন্ন করা - অবকাঠামো অপারেটরের অবশ্যই গ্রাহক সামগ্রী এবং এআই ডেটা অ্যাক্সেস করার কোনও ক্ষমতা থাকতে হবে না, যেমন এআই মডেলের ওজন এবং মডেলগুলির সাথে প্রক্রিয়া করা ডেটা।
  2. গ্রাহকদের নিজেদের থেকে AI ডেটা আলাদা করার ক্ষমতা - গ্রাহকদের নিজস্ব ব্যবহারকারী এবং সফ্টওয়্যার থেকে বিচ্ছিন্ন এবং অ্যাক্সেসযোগ্য না থাকা অবস্থায় পরিকাঠামোকে অবশ্যই এমন একটি ব্যবস্থা প্রদান করতে হবে যাতে মডেলের ওজন এবং ডেটা হার্ডওয়্যারে লোড করা যায়।
  3. সুরক্ষিত অবকাঠামো যোগাযোগ - ML এক্সিলারেটর অবকাঠামোতে ডিভাইসগুলির মধ্যে যোগাযোগ অবশ্যই সুরক্ষিত থাকতে হবে। ডিভাইসগুলির মধ্যে সমস্ত বাহ্যিকভাবে অ্যাক্সেসযোগ্য লিঙ্কগুলি এনক্রিপ্ট করা আবশ্যক৷

নাইট্রো সিস্টেম AWS অপারেটরদের থেকে আপনার AI ডেটা আলাদা করে সিকিউর এআই ইনফ্রাস্ট্রাকচারের প্রথম নীতি পূরণ করে। দ্বিতীয় নীতিটি আপনাকে আপনার এআই ডেটাতে আপনার নিজস্ব ব্যবহারকারী এবং সফ্টওয়্যারগুলির প্রশাসনিক অ্যাক্সেস অপসারণের উপায় প্রদান করে। AWS শুধুমাত্র আপনাকে এটি অর্জনের একটি উপায়ই দেয় না, কিন্তু আমরা এর মধ্যে একটি সমন্বিত সমাধান তৈরিতে বিনিয়োগ করে এটিকে সহজবোধ্য এবং ব্যবহারিক করে তুলেছি AWS নাইট্রো এনক্লেভস এবং AWS কী ব্যবস্থাপনা পরিষেবা (AWS KMS)। নাইট্রো এনক্লেভস এবং এডব্লিউএস কেএমএস-এর সাহায্যে, আপনি আপনার মালিকানাধীন এবং নিয়ন্ত্রণ করা কীগুলি ব্যবহার করে আপনার সংবেদনশীল AI ডেটা এনক্রিপ্ট করতে পারেন, সেই ডেটা আপনার পছন্দের জায়গায় সংরক্ষণ করতে পারেন এবং অনুমান করার জন্য এনক্রিপ্ট করা ডেটা নিরাপদে একটি বিচ্ছিন্ন গণনা পরিবেশে স্থানান্তর করতে পারেন৷ এই পুরো প্রক্রিয়া জুড়ে, সংবেদনশীল AI ডেটা এনক্রিপ্ট করা হয় এবং আপনার EC2 দৃষ্টান্তে আপনার নিজস্ব ব্যবহারকারী এবং সফ্টওয়্যার থেকে আলাদা করা হয় এবং AWS অপারেটররা এই ডেটা অ্যাক্সেস করতে পারে না। এই ফ্লো থেকে উপকৃত হয়েছে এমন ক্ষেত্রে ব্যবহার করুন চলমান অন্তর্ভুক্ত এলএলএম ইনফারেন্সিং একটি ছিটমহলে। আজ অবধি, নাইট্রো এনক্লেভগুলি শুধুমাত্র সিপিইউতে কাজ করে, বড় জেনারেটিভ এআই মডেল এবং আরও জটিল প্রক্রিয়াকরণের সম্ভাবনা সীমিত করে।

আমরা তৃতীয় নীতি পূরণ করে, এমএল এক্সিলারেটর এবং জিপিইউ-এর সাথে প্রথম-শ্রেণীর ইন্টিগ্রেশন অন্তর্ভুক্ত করার জন্য এই নাইট্রো এন্ড-টু-এন্ড এনক্রিপ্টেড ফ্লো প্রসারিত করার আমাদের পরিকল্পনা ঘোষণা করেছি। আপনি আপনার নিজস্ব অপারেটরদের থেকে বিচ্ছিন্নতা প্রদান করার সময় এবং এআই ডেটা প্রক্রিয়াকরণের জন্য ব্যবহৃত অ্যাপ্লিকেশনটির সত্যতা যাচাই করার সময় প্রক্রিয়াকরণের জন্য একটি এমএল অ্যাক্সিলারেটরে সংবেদনশীল এআই ডেটা ডিক্রিপ্ট এবং লোড করতে সক্ষম হবেন। নাইট্রো সিস্টেমের মাধ্যমে, আপনি ক্রিপ্টোগ্রাফিকভাবে আপনার অ্যাপ্লিকেশনগুলিকে AWS KMS-এ যাচাই করতে পারবেন এবং প্রয়োজনীয় চেক পাস হলেই ডেটা ডিক্রিপ্ট করতে পারবেন। এই বর্ধিতকরণটি AWS কে আপনার ডেটার জন্য এন্ড-টু-এন্ড এনক্রিপশন অফার করার অনুমতি দেয় কারণ এটি জেনারেটিভ AI ওয়ার্কলোডের মধ্য দিয়ে প্রবাহিত হয়।

আমরা আসন্ন AWS-পরিকল্পিত এই এন্ড-টু-এন্ড এনক্রিপ্টেড ফ্লো অফার করার পরিকল্পনা করছি ট্রেনিয়াম2 পাশাপাশি NVIDIA-এর আসন্ন ব্ল্যাকওয়েল আর্কিটেকচারের উপর ভিত্তি করে GPU দৃষ্টান্ত, যা উভয় ডিভাইসের মধ্যে নিরাপদ যোগাযোগের অফার করে, সিকিউর এআই ইনফ্রাস্ট্রাকচারের তৃতীয় নীতি। AWS এবং NVIDIA বাজারে একটি যৌথ সমাধান আনতে ঘনিষ্ঠভাবে সহযোগিতা করছে, যার মধ্যে রয়েছে NVIDIA-এর নতুন NVIDIA Blackwell GPU 21 প্ল্যাটফর্ম, যা NVIDIA-এর GB200 NVL72 সলিউশনকে নাইট্রো সিস্টেম এবং EFA প্রযুক্তির সাথে সংযুক্ত করে নিরাপদে নির্মাণ এবং পরবর্তী স্থাপনার জন্য একটি শিল্প-নেতৃস্থানীয় সমাধান প্রদান করে। প্রজন্মের জেনারেটিভ এআই অ্যাপ্লিকেশন।

জেনারেটিভ এআই নিরাপত্তার ভবিষ্যৎ অগ্রসর করা

আজ, হাজার হাজার গ্রাহক AWS ব্যবহার করছেন পরীক্ষা এবং রূপান্তরকারী জেনারেটিভ এআই অ্যাপ্লিকেশনগুলিকে উৎপাদনে নিয়ে যাওয়ার জন্য। জেনারেটিভ এআই ওয়ার্কলোডগুলিতে অত্যন্ত মূল্যবান এবং সংবেদনশীল ডেটা থাকে যা আপনার নিজের অপারেটর এবং ক্লাউড পরিষেবা প্রদানকারীর থেকে সুরক্ষার স্তরের প্রয়োজন। AWS নাইট্রো-ভিত্তিক EC2 দৃষ্টান্ত ব্যবহারকারী গ্রাহকরা 2017 সাল থেকে AWS অপারেটরদের কাছ থেকে এই স্তরের সুরক্ষা এবং বিচ্ছিন্নতা পেয়েছেন, যখন আমরা আমাদের উদ্ভাবনী নাইট্রো সিস্টেম চালু করেছি।

AWS-এ, আমরা সেই উদ্ভাবনটি চালিয়ে যাচ্ছি কারণ আমরা কার্যকরী এবং অ্যাক্সেসযোগ্য ক্ষমতা তৈরিতে বিনিয়োগ করি যাতে আমাদের গ্রাহকদের জেনারেটিভ AI স্ট্যাকের তিনটি স্তর জুড়ে তাদের জেনারেটিভ AI ওয়ার্কলোডগুলি সুরক্ষিত করতে ব্যবহারিক করে তোলে, যাতে আপনি যা করেন তার উপর ফোকাস করতে পারেন। সর্বোত্তম: আরও এলাকায় জেনারেটিভ এআই-এর ব্যবহার তৈরি এবং প্রসারিত করা। আরও জানুন এখানে.


লেখক সম্পর্কে

AWS এর সাথে জেনারেটিভ এআই-এর একটি নিরাপদ পদ্ধতি আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.Anthony Liguori একজন AWS VP এবং EC2 এর বিশিষ্ট প্রকৌশলী

AWS এর সাথে জেনারেটিভ এআই-এর একটি নিরাপদ পদ্ধতি আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.Colm MacCarthaigh একজন AWS ভিপি এবং EC2 এর বিশিষ্ট প্রকৌশলী

সময় স্ট্যাম্প:

থেকে আরো এডাব্লুএস মেশিন লার্নিং

অ্যামাজন সেজমেকার স্বয়ংক্রিয় মডেল টিউনিং এখন হাইপারব্যান্ডের সাথে তিনগুণ দ্রুত হাইপারপ্যারামিটার টিউনিং সরবরাহ করে

উত্স নোড: 1667957
সময় স্ট্যাম্প: সেপ্টেম্বর 16, 2022

ডায়ালগ আজিয়াটা কীভাবে এআই ফ্যাক্টরির সাথে উৎপাদনে এমএল মডেল স্কেল করার জন্য অ্যামাজন সেজমেকার ব্যবহার করেছে এবং 3 মাসের মধ্যে গ্রাহক কমিয়েছে | আমাজন ওয়েব সার্ভিসেস

উত্স নোড: 1972201
সময় স্ট্যাম্প: 8 পারে, 2024

অ্যামাজন সেজমেকার মাল্টি-মডেল এন্ডপয়েন্ট ব্যবহার করে ভেরিফ কিভাবে স্থাপনার সময় 80% কমিয়েছে | আমাজন ওয়েব সার্ভিসেস

উত্স নোড: 1902575
সময় স্ট্যাম্প: অক্টোবর 16, 2023

রিয়েল এস্টেট ব্রোকারেজ ফার্ম জন এল. স্কট আমাজন টেক্সট্র্যাক্ট ব্যবহার করে বাড়ির মালিকদের সম্পত্তির কাজ থেকে জাতিগতভাবে সীমাবদ্ধ ভাষা স্ট্রাইক করে

উত্স নোড: 1725296
সময় স্ট্যাম্প: অক্টোবর 17, 2022

অ্যামাজন সেজমেকার জাম্পস্টার্টে ফাউন্ডেশন মডেল সহ পুনরুদ্ধার অগমেন্টেড জেনারেশন ব্যবহার করে প্রশ্নের উত্তর দেওয়া

উত্স নোড: 1831500
সময় স্ট্যাম্প: 2 পারে, 2023