প্রোটোপিয়া AI এর সাথে এন্টারপ্রাইজ এলএলএম ত্বরণের জন্য ভিত্তিগত ডেটা সুরক্ষা | আমাজন ওয়েব সার্ভিসেস

এই পোস্টটি প্রোটোপিয়া এআই থেকে বালাজি চন্দ্রশেকারন, জেনিফার কোয়াগেনবার্গ এবং অ্যান্ড্রু সানসম এবং ইমান ইব্রাহিমির সহযোগিতায় লেখা হয়েছে।

নতুন এবং শক্তিশালী বৃহৎ ভাষা মডেল (LLMs) ব্যবসাগুলিকে দ্রুত পরিবর্তন করছে, বিভিন্ন এন্টারপ্রাইজ ব্যবহারের ক্ষেত্রে দক্ষতা এবং কার্যকারিতা উন্নত করছে। গতি সারাংশ, এবং এলএলএম প্রযুক্তি গ্রহণ করা ব্যবসার প্রতিযোগিতামূলক সুবিধা তৈরি বা ভাঙতে পারে। এডব্লিউএস বিশেষ করে এন্টারপ্রাইজগুলিকে গুরুত্বপূর্ণ সিদ্ধান্ত গ্রহণকে সক্ষম করার জন্য স্কেলে এলএলএম স্থাপনের জন্য প্রয়োজনীয় সরঞ্জাম সরবরাহ করার জন্য উপযুক্ত।

তাদের জেনারেটিভ এআই প্রযুক্তির বাস্তবায়নে, এন্টারপ্রাইজগুলির ডেটা এক্সপোজার এবং গোপনীয় তথ্যের মালিকানা সম্পর্কে প্রকৃত উদ্বেগ রয়েছে যা এলএলএম-কে পাঠানো হতে পারে। গোপনীয়তা এবং ডেটা সুরক্ষার এই উদ্বেগগুলি প্রতিষ্ঠানে LLM-এর ব্যবহারকে ধীর বা সীমিত করতে পারে। এন্টারপ্রাইজগুলিকে মডেলগুলিতে সংবেদনশীল তথ্য পাঠানোর জন্য একটি দায়িত্বশীল এবং নিরাপদ উপায় প্রয়োজন অন-প্রিমিসেস DevOps-এর প্রায়শই নিষেধমূলকভাবে উচ্চ ওভারহেড গ্রহণ করার প্রয়োজন ছাড়াই।

পোস্টটি বর্ণনা করে যে কীভাবে আপনি আপনার ডেটা সুরক্ষিত রাখতে প্রোটোপিয়া এআই-এর স্টেইনড গ্লাস ট্রান্সফর্ম স্থাপন করে LLM ব্যবহার করার সময় ডেটার মালিকানা বজায় রাখা এবং ডেটা গোপনীয়তা সংরক্ষণের চ্যালেঞ্জগুলি কাটিয়ে উঠতে পারেন৷ প্রোটোপিয়া এআই জেনারেটিভ এআই-এর নিরাপদ এবং দক্ষ উদ্যোগ গ্রহণের জন্য ডেটা সুরক্ষা এবং মালিকানার গুরুত্বপূর্ণ উপাদান সরবরাহ করতে AWS-এর সাথে অংশীদারিত্ব করেছে। এই পোস্টটি সমাধানের রূপরেখা দেয় এবং প্রদর্শন করে যে এটি কীভাবে জনপ্রিয় এন্টারপ্রাইজ ব্যবহারের ক্ষেত্রে AWS-তে ব্যবহার করা যেতে পারে যেমন পুনরুদ্ধার অগমেন্টেড জেনারেশন (RAG) এবং অত্যাধুনিক এলএলএম সহ লামা 2.

স্টেইনড গ্লাস ট্রান্সফর্ম ওভারভিউ

সংস্থাগুলি তাদের সংবেদনশীল এন্টারপ্রাইজ ডেটার সম্পূর্ণ মালিকানা এবং নিয়ন্ত্রণ বজায় রাখতে চায়। এটি দায়িত্বশীল AI এর একটি স্তম্ভ এবং LLM প্রদানকারীদের মৌলিক নিরাপত্তা এবং আইনি গ্যারান্টিগুলির উপরে এবং তার বাইরে একটি উদীয়মান ডেটা সুরক্ষা এবং গোপনীয়তার প্রয়োজনীয়তা।

যদিও এন্টারপ্রাইজ ব্যবসায়িক ইউনিটগুলি বিভিন্ন কাজের জন্য এলএলএম ব্যবহার করতে চায়, তারা এই মডেলগুলিতে পাঠানো ডেটার মাধ্যমে বাণিজ্য গোপনীয়তা, মেধা সম্পত্তি এবং অন্যান্য মালিকানা তথ্য ফাঁস সম্পর্কেও উদ্বিগ্ন। একই সময়ে, এন্টারপ্রাইজ নিরাপত্তা, সম্মতি, ডেটা ম্যানেজমেন্ট, এবং তথ্য অফিসগুলি এন্টারপ্রাইজের বাইরে প্লেইন টেক্সট গ্রাহকের তথ্য বা অন্যান্য নিয়ন্ত্রিত ডেটা প্রকাশ বা ফাঁস করার বিষয়ে শঙ্কিত৷ AWS এবং Protopia AI এই সাধারণ এন্টারপ্রাইজ গ্রাহকের প্রয়োজনের সমাধান করে এমন গুরুত্বপূর্ণ উপাদান সরবরাহ করতে অংশীদারিত্ব করছে।

প্রোটোপিয়া AI এর স্টেইনড গ্লাস ট্রান্সফর্ম (SGT) অরক্ষিত এন্টারপ্রাইজ ডেটাকে র্যান্ডমাইজড রি-রিপ্রেজেন্টেশনে রূপান্তর করে এই চ্যালেঞ্জগুলি সমাধান করে, যাকে RmoRed ডেটা হিসাবে উল্লেখ করা হয়েছে, যা নিম্নলিখিত চিত্রে দেখানো হয়েছে। এই উপস্থাপনা হল মূল ডেটার একটি স্টোকাস্টিক এম্বেডিং, সংবেদনশীল প্রম্পট বা প্রশ্ন, প্রসঙ্গ, বা ফাইন-টিউনিং ডেটা প্রকাশ না করে টার্গেট এলএলএম-এর কাজ করার জন্য প্রয়োজনীয় তথ্য সংরক্ষণ করে। এই পুনঃপ্রতিনিধিত্ব হল একটি একমুখী রূপান্তর যা বিপরীত করা যাবে না, এন্টারপ্রাইজ ডেটার সামগ্রিক গোপনীয়তা নিশ্চিত করে এবং LLM-তে প্লেইন টেক্সট সংবেদনশীল তথ্য ফাঁস করার বিরুদ্ধে সুরক্ষা নিশ্চিত করে৷ SGT-এর প্রযোজ্যতা শুধুমাত্র ভাষার মডেলের মধ্যে সীমাবদ্ধ নয়। ভিজ্যুয়াল এবং স্ট্রাকচার্ড ডেটার জন্য র্যান্ডমাইজড রি-প্রেজেন্টেশনও তৈরি করা যেতে পারে। স্টেইনড গ্লাস ট্রান্সফর্ম নামটি ভিজ্যুয়াল ডেটার র্যান্ডমাইজড রি-প্রেজেন্টেশনের ভিজ্যুয়াল চেহারার মধ্যে নিহিত যা দাগযুক্ত কাচের মাধ্যমে ডেটা দেখার অনুরূপ হতে পারে, যেমন এতে প্রদর্শিত হয়েছে মার্কিন নৌবাহিনীর ব্যবহার কেস.

SGT অত্যাধুনিক LLM যেমন Llama 2 এর সাথে কাজ করে। নিম্নলিখিত চিত্রটি নির্দেশনার জন্য একটি Llama 2 মডেলে SGT প্রয়োগ করার উদাহরণ দেখায় যখন নির্দেশ এবং প্রসঙ্গে সুরক্ষার একটি স্তর যোগ করে। চিত্রের বাম দিকে প্রসঙ্গ হিসাবে একটি আর্থিক নথির একটি উদাহরণ দেখায়, নির্দেশনাটি মডেলকে নথিটির সংক্ষিপ্ত বিবরণ দিতে বলে। নীচে বাম দিকে, কাঁচা প্রম্পটে কাজ করার সময় Llama 2 দ্বারা উত্পন্ন প্রতিক্রিয়া দেখানো হয়েছে৷ এসজিটি ব্যবহার করার সময়, এই প্রম্পটের সাথে যুক্ত এম্বেডিংগুলি ক্লায়েন্টের দিকে স্টকাস্টিক এম্বেডিং-এ রূপান্তরিত হয়, যা এই পোস্টে পরে আরও বিশদে বর্ণনা করা হয়েছে। নীচের ডানদিকে দেখায় যে Llama 2 এখনও একটি সঠিক প্রতিক্রিয়া তৈরি করতে পারে যদি RmoRed ডেটা (পোস্ট-ট্রান্সফর্মেশন এমবেডিং) অরক্ষিত এম্বেডিংয়ের পরিবর্তে পাঠানো হয়। উপরের ডানদিকে দেখায় যে RmoRed ডেটা ফাঁস হলে, মূল প্রম্পটের পুনর্গঠনের ফলে পাঠ্য দুর্বোধ্য হবে।

Llama 2 এর মতো একটি প্রদত্ত মডেলের জন্য একটি SGT তৈরি করতে, Protopia AI স্টেইনড গ্লাস SDK নামে একটি হালকা লাইব্রেরি প্রদান করে, যা পাইটর্চের একটি এক্সটেনশন। নিম্নলিখিত চিত্রে দেখানো হয়েছে, একটি SGT তৈরি হওয়ার পরে, এটি একাধিক উপায়ে স্থাপনার পাইপলাইনে একত্রিত করা যেতে পারে। SDK থেকে তৈরি করা রূপান্তর স্থানীয়ভাবে, একটি হাইব্রিড সেটআপে বা সম্পূর্ণরূপে ক্লাউডে স্থাপন করা যেতে পারে। এটি সম্ভব কারণ SGT একটি হালকা প্রক্রিয়া হিসাবে ডিজাইন করা হয়েছে যার জন্য খুব কম কম্পিউট রিসোর্স প্রয়োজন এবং যেমন অনুমান সমালোচনামূলক পথে ন্যূনতম প্রভাব ফেলে। আরেকটি মূল মূল্যায়ন হল পুনরায় উপস্থাপিত ডেটা ব্যবহার করে মডেলের নির্ভুলতা বজায় রাখা। আমরা লক্ষ্য করি যে বিভিন্ন ডেটা প্রকার এবং মডেলের ভিন্নতা জুড়ে, পুনরায় উপস্থাপন করা ডেটা ব্যবহার করার সময় সঠিকতা কাঙ্খিত সহনশীলতার সীমার মধ্যে ধরে রাখা হয়।

স্থাপনা এবং নির্ভুলতা বজায় রাখার জন্য এই বিকল্পগুলি একটি এন্টারপ্রাইজ সংস্থার মধ্যে সমস্ত স্টেকহোল্ডারদের দ্বারা SGT আত্মবিশ্বাসী গ্রহণের অনুমতি দেয়। এলএলএম-এর আউটপুটকে আরও সুরক্ষিত করার জন্য, প্রোটোপিয়া এআই কোয়েরি আউটপুটগুলিকে একটি উপস্থাপনায় এনকোড করতে পারে যার ডিকোডার শুধুমাত্র এন্টারপ্রাইজ ডেটা মালিকের কাছে উপলব্ধ।

সমাধান ওভারভিউ

পূর্ববর্তী বিভাগে বর্ণনা করা হয়েছে কিভাবে আপনি বিভিন্ন ধরণের আর্কিটেকচারে স্টেইনড গ্লাস ট্রান্সফর্ম ব্যবহার করতে পারেন। নিম্নলিখিত চিত্রে LLM-এর জন্য SGT তৈরি, স্থাপন এবং ব্যবহারে জড়িত পদক্ষেপগুলির বিবরণ দেওয়া হয়েছে:

• SGT সৃষ্টি – যে দল বেসলাইন LLM ফাউন্ডেশন মডেলকে প্রশিক্ষণ দেয় (মালিকানা LLM প্রদানকারী, ক্লাউড পরিষেবা প্রদানকারী, অথবা এন্টারপ্রাইজ ML দলগুলি তাদের নিজস্ব LLM তৈরি করে) প্রশিক্ষণের জন্য তাদের বিদ্যমান অনুশীলনগুলি পরিবর্তন না করেই প্রোটোপিয়া AI এর স্টেইনড গ্লাস SDK সফ্টওয়্যার চালায় এবং LLM স্থাপন করে৷ ফাউন্ডেশন মডেল প্রশিক্ষণ সম্পূর্ণ হওয়ার পরে, SDK SGT গণনা করার জন্য ভাষা মডেলের উপর অপ্টিমাইজেশন পাস হিসাবে চলে। এই অপ্টিমাইজেশান পাসটি পাইটর্চে একটি এক্সটেনশনের মাধ্যমে বিতরণ করা হয়। SDK ফাউন্ডেশন মডেলটি মুড়ে দেয় এবং গাণিতিকভাবে সেই LLM-এর জন্য একটি অনন্য স্টেইনড গ্লাস ট্রান্সফর্ম আবিষ্কার করে। অন্তর্নিহিত গণিতের আরও বিশদ বিবরণ পাওয়া যাবে সহগামী সাদা কাগজ. উল্লেখ্য যে LLM-কে প্রশিক্ষণ দেওয়া দলটি নিজেই স্টেইনড গ্লাস SDK চালাচ্ছে, তাই এই ধাপটি সম্পূর্ণ করার জন্য প্রয়োজনীয় মডেল ওজনের কোন এক্সপোজার বা পাঠানো নেই।
• SGT রিলিজ এবং স্থাপনা - পূর্ববর্তী অপ্টিমাইজেশান ধাপ থেকে আউটপুট SGT ডাটা পাইপলাইনের অংশ হিসাবে স্থাপন করা হয় যা প্রশিক্ষিত এলএলএমকে ফিড করে। পূর্ববর্তী বিভাগে বর্ণিত হিসাবে, SGT এন্টারপ্রাইজ ক্লায়েন্টের দিকে বসে।
• SGT ব্যবহার - SGT এন্টারপ্রাইজ দ্বারা তৈরি প্রম্পটগুলিতে চলে এবং সুরক্ষিত প্রম্পট তৈরি করে, যেগুলি স্থাপন করা LLM-এ পাঠানো হয়। এটি এন্টারপ্রাইজকে তাদের সংবেদনশীল প্রশ্ন এবং প্রসঙ্গের মালিকানা ধরে রাখতে সক্ষম করে। প্রোটোপিয়া এআই স্টেইনড গ্লাস ব্যবহার করে, অরক্ষিত সংবেদনশীল ডেটা এন্টারপ্রাইজের সাইট বা বিশ্বাস অঞ্চল ছেড়ে যায় না।

আপনি একাধিক উপায়ে একটি SGT তৈরি করতে স্টেইনড গ্লাস SDK ব্যবহার করতে পারেন। উদাহরণস্বরূপ, আপনি স্ব-পরিচালিত মেশিন লার্নিং (ML) পরিবেশে স্টেইনড গ্লাস SDK ব্যবহার করতে পারেন অ্যামাজন ইলাস্টিক কুবারনেটস পরিষেবা (Amazon EKS) প্রশিক্ষণ এবং অনুমান বা ভিতরের জন্য অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) সরাসরি। আরেকটি বিকল্প হল এটি ভিতরে চলতে পারে আমাজন সেজমেকার একটি প্রদত্ত প্রশিক্ষিত মডেলের জন্য একটি SGT তৈরি করতে। ক্লায়েন্ট থেকে অনুমান করার সময় স্থাপনার জন্য ইনপুট পরিবর্তন করা নির্বাচিত স্থাপনা বাস্তবায়নের থেকে স্বাধীন।

নিম্নলিখিত চিত্রটি একটি স্ব-পরিচালিত এমএল পরিবেশে একটি সম্ভাব্য বাস্তবায়নকে চিত্রিত করে যেখানে অ্যামাজন ইকেএস-এ স্টেইনড গ্লাস ট্রান্সফর্ম প্রশিক্ষণ দেওয়া হয়।

এই ওয়ার্কফ্লোতে, স্টেইনড গ্লাস SDK ব্যবহার করে একটি ধারক তৈরি করা হয় এবং এতে স্থাপন করা হয় অ্যামাজন ইলাস্টিক কনটেইনার রেজিস্ট্রি (আমাজন ইসিআর)। এই কন্টেইনারটি তখন অ্যামাজন ইকেএস-এ একটি এসজিটি প্রশিক্ষণের জন্য স্থাপন করা হয় যা সংরক্ষণ করা হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)। আপনি যদি Amazon EC2 ব্যবহার করেন, তাহলে আপনি আপনার ML সেটআপের অংশ হিসাবে সরাসরি আপনার উদাহরণে একটি রূপান্তর প্রশিক্ষণ দিতে পারেন। স্টেইনড গ্লাস SDK আপনার বেস LLM প্রয়োজনীয়তার উপর ভিত্তি করে Amazon P5, P4, বা G5 ইন্সট্যান্স ফ্যামিলি সহ বিভিন্ন ধরনের ইন্সট্যান্সে চলতে পারে। LLM অনুমানের জন্য ব্যবহার করার জন্য স্থাপন করার পরে, ক্লায়েন্ট অ্যাপ্লিকেশন তৈরি করা SGT ব্যবহার করে, যা একটি লাইটওয়েট অপারেশন, LLM-এ পাঠানোর আগে প্রম্পট এবং প্রসঙ্গ পরিবর্তন করতে। এটি করার মাধ্যমে, শুধুমাত্র রূপান্তরিত ডেটা এলএলএম-এর কাছে উন্মোচিত হয় এবং মূল ইনপুটের মালিকানা ক্লায়েন্টের পক্ষে বজায় থাকে।

নিচের চিত্রটি দেখায় কিভাবে আপনি SageMaker-এ একটি রূপান্তর এবং অনুমান চালানোর প্রশিক্ষণ দিতে পারেন।

SGT তৈরি করা Amazon EKS সেটআপের মতো একই পথ অনুসরণ করে অ্যামাজন S3 থেকে প্রশিক্ষণের ডেটা গ্রহণ করে, একটি কন্টেইনারে একটি SGT-কে প্রশিক্ষণ দিয়ে এবং অ্যামাজন S3-তে সংরক্ষণ করে। আপনি আপনার বিদ্যমান সেজমেকার সেটআপে স্টেইনড গ্লাস SDK ব্যবহার করতে পারেন অ্যামাজন সেজমেকার স্টুডিও, সেজমেকার নোটবুক, এবং একটি সেজমেকার প্রশিক্ষণের কাজ. এলএলএম একটি সেজমেকার এন্ডপয়েন্ট হিসাবে হোস্ট করা হয়েছে যা ক্লায়েন্ট অ্যাপ্লিকেশন দ্বারা অ্যাক্সেসযোগ্য। ক্লায়েন্ট অ্যাপ্লিকেশনের জন্য অনুমানটিও অ্যামাজন ইকেএস সেটআপের সাথে অভিন্ন, মডেলটি পরিবেশন করা ছাড়া।

এলএলএম প্রম্পট এবং ফাইন-টিউনিং ডেটা সুরক্ষার জন্য এলোমেলোভাবে পুনরায় উপস্থাপনা

এই বিভাগটি বিভিন্ন ব্যবহারের ক্ষেত্রে কভার করে যা প্রদর্শন করে যে কীভাবে এলোমেলোভাবে পুনরায় উপস্থাপনা এলএলএম প্রম্পটকে রক্ষা করে। উদাহরণগুলি এন্টারপ্রাইজ জেনারেটিভ এআই প্রচেষ্টার জন্য প্রধান প্রভাবগুলি তুলে ধরে: এআই ব্যবহারের ক্ষেত্রে নতুন দরজা খোলা, এন্টারপ্রাইজ ডেটা সঠিকভাবে সুরক্ষিত করার সময় বাজারে গতি ত্বরান্বিত করা এবং এলএলএম প্রম্পটে ব্যবহারের জন্য প্রয়োজনীয় সংবেদনশীল ডেটার মালিকানা বজায় রাখা।

RAG ব্যবহারের ক্ষেত্রে

এলএলএম-এর জন্য একটি জনপ্রিয় এন্টারপ্রাইজ ব্যবহারের ক্ষেত্রে হল রিট্রিভাল অগমেন্টেড জেনারেশন (RAG)। নিচের চিত্রটি একটি দৃষ্টান্তমূলক উদাহরণ দেখায় যেখানে প্রম্পট এবং উত্সগুলি স্টেইনড গ্লাস ব্যবহার করে সুরক্ষিত থাকে। চিত্রের বাম দিকে অরক্ষিত প্রম্পট এবং উৎস তথ্য দেখায়। RAG-এর একটি এন্টারপ্রাইজ বাস্তবায়নে, উত্সগুলি সংবেদনশীল তথ্য যেমন এন্টারপ্রাইজ বাণিজ্য গোপনীয়তা, বুদ্ধিবৃত্তিক সম্পত্তি বা আর্থিক তথ্য অন্তর্ভুক্ত করতে পারে। ডান দিকটি SGT দ্বারা তৈরি RmoRed প্রম্পট থেকে মানুষের পাঠযোগ্য পাঠ্যের সর্বোত্তম সম্ভাব্য পুনর্গঠন দেখায়।

আমরা লক্ষ্য করতে পারি যে সম্ভাব্য সর্বোত্তম পুনর্গঠনের মধ্যেও, তথ্য সম্পূর্ণরূপে অস্পষ্ট। যাইহোক, রূপান্তর সহ এবং ছাড়া মডেলের প্রতিক্রিয়া একই, মূল উত্স নথিতে পয়েন্টার সহ, যার ফলে এই জনপ্রিয় এন্টারপ্রাইজ ব্যবহারের ক্ষেত্রে সম্পাদন করার সময় প্রশ্ন এবং উত্স নথি উভয়ের যথার্থতা সংরক্ষণ করা হয়।

এলএলএম এবং ভাষা জুড়ে বিস্তৃত প্রযোজ্যতা

স্টেইনড গ্লাস SDK-এর হাইলাইটগুলির মধ্যে একটি হল যে এটি মডেলের অগ্রগতির জন্য অত্যন্ত স্থিতিস্থাপক এবং অত্যাধুনিক মডেলগুলির সাথে মানিয়ে নিতে পারে যেমন লামা 2. নিম্নলিখিত চিত্রটি একটি SGT দেখায় যা একটি Llama 2 LLM-এ তৈরি করা হয়েছিল যা পূর্বে জাপানি পাঠ্যের সাথে কাজ করার জন্য সূক্ষ্ম-টিউন করা হয়েছিল। এই উদাহরণটি আরও ব্যাখ্যা করে যে SGTs তৈরি করা যেতে পারে এবং যে কোনও ভাষার জন্য প্রয়োগ করা যেতে পারে এবং এমনকি সূক্ষ্ম সুর করা মডেলগুলির জন্য ইনপুটগুলিও রূপান্তরিত হতে পারে। SGT-এর সাধারণ প্রযোজ্যতা স্টেইনড গ্লাস SDK-এর মজবুত ভিত্তির দ্বারা চালিত হয় মডেল- এবং ডেটা-অজ্ঞেয়বাদী।

সূক্ষ্ম-টিউনিং ডেটার পাশাপাশি প্রম্পট রক্ষা করা

স্টেইনড গ্লাস ট্রান্সফর্ম শুধুমাত্র অনুমান সময়ে ডেটা সুরক্ষিত করার জন্য সীমাবদ্ধ নয়; এটি একটি ফাউন্ডেশন মডেলকে সূক্ষ্ম-টিউন করতে ব্যবহৃত ডেটাকেও রক্ষা করতে পারে। ফাইন-টিউনিং ডেটাসেটগুলির জন্য রূপান্তর তৈরির প্রক্রিয়াটি এই পোস্টে আগে সমাধান আর্কিটেকচার বিভাগে ব্যাখ্যা করার মতোই। ফাইন-টিউনিং ডেটা অ্যাক্সেস না করে ফাউন্ডেশন মডেলকে সূক্ষ্ম-টিউন করার জন্য রূপান্তরটি তৈরি করা হয়েছে। ফাউন্ডেশন মডেলের জন্য SGT তৈরি এবং প্রশিক্ষিত হওয়ার পরে, ফাইন-টিউনিং ডেটাসেটটি র্যান্ডমাইজড রি-রিপ্রেজেন্টেশনে রূপান্তরিত হয় যা তারপর ফাউন্ডেশন মডেলকে সূক্ষ্ম-সুর করতে ব্যবহার করা হবে। এই প্রক্রিয়াটি আরও বিস্তারিতভাবে ব্যাখ্যা করা হয়েছে সহগামী সাদা কাগজ.

নিম্নলিখিত উদাহরণে, একটি এন্টারপ্রাইজ গ্রাহককে নেটওয়ার্ক লগ অসঙ্গতি সনাক্তকরণের জন্য একটি বিদ্যমান মডেলকে সূক্ষ্ম-টিউন করতে হবে৷ তারা সংবেদনশীল ফাইন-টিউনিং ডেটাসেটকে এলোমেলোভাবে এমবেডিংয়ে রূপান্তর করতে স্টেইনড গ্লাস ব্যবহার করেছে, যা তাদের ফাউন্ডেশন মডেলকে ফাইন-টিউন করতে ব্যবহৃত হয়েছিল। তারা দেখতে পেয়েছে যে সনাক্তকরণ মডেল যা রূপান্তরিত উপস্থাপনাগুলির উপর সূক্ষ্ম-টিউন করা হয়েছিল তা অরক্ষিত সূক্ষ্ম-টিউনিং ডেটাসেটে ভিত্তি মডেলটিকে সূক্ষ্ম-টিউন করার অনুমানমূলক দৃশ্যের তুলনায় প্রায় অভিন্ন নির্ভুলতার সাথে সঞ্চালিত হয়েছিল। নিম্নলিখিত টেবিলটি ফাইন-টিউনিং ডেটাসেট থেকে প্লেইন টেক্সট ডেটা রেকর্ডের দুটি উদাহরণ এবং ফাইন-টিউনিং ডেটাসেট থেকে সেই একই ডেটা রেকর্ডগুলির পাঠ্যের পুনর্গঠন দেখায়।

LLM-এর জন্য স্টেইনড গ্লাস ট্রান্সফর্মের হুডের নিচে

কম্পিউটার ভিশনে প্রয়োগ করা হলে, SGT ইনপুট পিক্সেল বৈশিষ্ট্যের উপর কাজ করে এবং LLM-এর জন্য, এটি এমবেডিং স্তরে কাজ করে। স্টেইনড গ্লাস ট্রান্সফর্ম কীভাবে কাজ করে তা হাইলাইট করতে, প্রম্পট এম্বেডিংগুলিকে একটি ম্যাট্রিক্স হিসাবে কল্পনা করুন, যেমনটি নীচের চিত্রের বাম দিকে চিত্রিত হয়েছে। প্রতিটি এন্ট্রিতে, একটি নির্ধারক মান আছে। অরক্ষিত প্রম্পট প্রকাশ করে এই মানটিকে মূল ডেটাতে ম্যাপ করা যেতে পারে। স্টেইনড গ্লাস ট্রান্সফর্ম এই নির্ধারক মানের ম্যাট্রিক্সকে একটি ম্যাট্রিক্সে রূপান্তর করে যার উপাদানগুলি সম্ভাবনার মেঘ।

রূপান্তরিত প্রম্পটটি SGT দ্বারা সংজ্ঞায়িত সম্ভাব্যতা বন্টন থেকে স্যাম্পলিং নয়েজ এবং নির্ধারক এম্বেডিংগুলিতে নমুনাযুক্ত শব্দ যোগ করে রেন্ডার করা হয়, যা মূল প্রম্পট মানগুলিকে অপরিবর্তনীয়ভাবে এলোমেলো করে দেয়। মডেলটি এখনও গাণিতিক স্তরে র্যান্ডমাইজড রি-প্রেজেন্টেড প্রম্পট বোঝে এবং তার কাজটি সঠিকভাবে সম্পাদন করতে পারে।

উপসংহার

এই পোস্টে আলোচনা করা হয়েছে যে কীভাবে প্রোটোপিয়া এআই-এর স্টেনড গ্লাস ট্রান্সফর্ম কাঁচা ডেটার মালিকানা এবং এমএল অপারেশন প্রক্রিয়া থেকে সুরক্ষা ডিকপল করে, এন্টারপ্রাইজগুলিকে মালিকানা বজায় রাখতে এবং LLM প্রম্পট এবং ফাইন-টিউনিং ডেটাতে সংবেদনশীল তথ্যের গোপনীয়তা বজায় রাখতে সক্ষম করে। LLM ব্যবহারের জন্য এই অত্যাধুনিক ডেটা সুরক্ষা ব্যবহার করে, এন্টারপ্রাইজগুলি সংবেদনশীল তথ্যের প্রকাশের বিষয়ে কম উদ্বিগ্ন হয়ে ভিত্তি মডেল এবং LLM গ্রহণকে ত্বরান্বিত করতে পারে। প্রকৃত এন্টারপ্রাইজ ডেটাতে মানটি নিরাপদে আনলক করার মাধ্যমে, সংস্থাগুলি প্রতিশ্রুত দক্ষতা এবং LLM-এর ব্যবসায়িক ফলাফল আরও দক্ষতার সাথে এবং দ্রুত সক্ষম করতে পারে। এই প্রযুক্তি সম্পর্কে আরও জানতে, আপনি আরও পড়তে পারেন সহগামী সাদা কাগজ এবং Protopia AI এর সাথে সংযোগ করুন অ্যাক্সেস পেতে এবং আপনার এন্টারপ্রাইজ ডেটাতে এটি চেষ্টা করতে।

প্রোটোপিয়া এআই সম্পর্কে

প্রোটোপিয়া AI হল অস্টিন, টেক্সাসে ভিত্তিক তথ্য সুরক্ষা এবং গোপনীয়তা-সংরক্ষণকারী AI/ML প্রযুক্তির একজন নেতা এবং AI অ্যালগরিদম এবং সফ্টওয়্যার প্ল্যাটফর্মগুলিকে প্লেইন টেক্সট তথ্য অ্যাক্সেস করার প্রয়োজন ছাড়াই কাজ করতে সক্ষম করে তোলার ক্ষেত্রে বিশেষজ্ঞ। বিগত 2 বছরে, প্রোটোপিয়া AI সফলভাবে মার্কিন নৌবাহিনী, নেতৃস্থানীয় আর্থিক পরিষেবা এবং বিশ্বব্যাপী প্রযুক্তি প্রদানকারীদের সাথে বিভিন্ন ধরণের এমএল ব্যবহারের ক্ষেত্রে এবং ডেটা প্রকার জুড়ে তার ফ্ল্যাগশিপ স্টেইনড গ্লাস ট্রান্সফর্ম পণ্য প্রদর্শন করেছে।

প্রোটোপিয়া AI এন্টারপ্রাইজ, জেনারেটিভ এআই এবং এলএলএম প্রদানকারী এবং ক্লাউড সার্ভিস প্রোভাইডার (সিএসপি) এর সাথে কাজ করে যাতে এআই/এমএল সমাধান ব্যবহার করার সময় এন্টারপ্রাইজ ডেটার মালিকানা এবং গোপনীয়তা বজায় রাখা যায়। প্রোটোপিয়া AI AWS এর সাথে অংশীদারিত্ব করেছে ডেটা সুরক্ষা এবং মালিকানার একটি গুরুত্বপূর্ণ উপাদান প্রদান করার জন্য এন্টারপ্রাইজ গ্রহণের জন্য জেনারেটিভ এআই, এবং উদ্বোধনের জন্য নির্বাচিত 21টি স্টার্টআপের মধ্যে একটি ছিল 2023 সালে AWS জেনারেটিভ এআই অ্যাক্সিলারেটর.

---

লেখক সম্পর্কে

বালাজি চন্দ্রশেখরন প্রোটোপিয়া AI-তে Go-to-Market এবং গ্রাহক সক্ষমতার জন্য VP, ডেটা সুরক্ষা এবং গোপনীয়তাকে অগ্রাধিকার দেওয়ার সময় তাদের ব্যবসায় AI সুবিধা পেতে ক্লায়েন্টদের সাথে ঘনিষ্ঠভাবে কাজ করে। প্রোটোপিয়া এআই-এর আগে, বালাজি ইনফোর-এ AI সলিউশনের প্রোডাক্ট লিড ছিলেন, বিভিন্ন শিল্প জুড়ে এন্টারপ্রাইজ গ্রাহকদের জন্য বিশ্বস্ত অংশীদার হিসাবে কাজ করার সময় মূল্য-কেন্দ্রিক পণ্যগুলি বিকাশ করেছিলেন। কাজের বাইরে, তিনি সঙ্গীত, হাইকিং এবং পরিবারের সাথে ভ্রমণ উপভোগ করেন।

জেনিফার কোয়াগেনবার্গ প্রোটোপিয়া AI-তে ইঞ্জিনিয়ারিং টিমকে নেতৃত্ব দেয় এবং স্টেইনড গ্লাস প্রযুক্তি তাদের গ্রাহকদের ডেটা সুরক্ষিত রাখতে তাদের চাহিদা পূরণ করে তা নিশ্চিত করার জন্য কাজ করে। জেনিফারের টয়োটাতে তাদের প্রোডাক্ট সাইবারসিকিউরিটি গ্রুপে নিরাপত্তা নিয়ে কাজ করার পূর্ব অভিজ্ঞতা রয়েছে, N-able এ ক্লাউড ওয়ার্কলোড পরিচালনা করা এবং Match.com-এ ডেটার জন্য দায়ী।

অ্যান্ড্রু সানসম প্রোটোপিয়া এআই-এর একজন এআই সলিউশন ইঞ্জিনিয়ার যেখানে তিনি এন্টারপ্রাইজগুলিকে তাদের ডেটাতে ব্যক্তিগত এবং সংবেদনশীল তথ্য সংরক্ষণ করার সময় এআই ব্যবহার করতে সহায়তা করেন। প্রোটোপিয়া এআই-এর আগে, তিনি অর্থ, উৎপাদন, স্বাস্থ্যসেবা এবং শিক্ষা সহ অনেক শিল্পে ক্লায়েন্টদের জন্য AI সমাধান সক্ষম করার উপর দৃষ্টি নিবদ্ধ করে একজন প্রযুক্তিগত পরামর্শদাতা হিসাবে কাজ করেছিলেন। তিনি উচ্চ বিদ্যালয়, বিশ্ববিদ্যালয় এবং পেশাদার ছাত্রদের কম্পিউটার বিজ্ঞান এবং গণিত শেখান।

ইমান ইব্রাহিমি, পিএইচডি, প্রোটোপিয়া এআই-এর একজন সহ-প্রতিষ্ঠাতা এবং প্রধান নির্বাহী কর্মকর্তা। ডাঃ ইব্রাহিমি বিভিন্ন সামাজিক এবং শিল্পের উল্লম্ব জুড়ে মানুষের অভিজ্ঞতাকে সমৃদ্ধ করতে AI সক্ষম করার বিষয়ে উত্সাহী। প্রোটোপিয়া AI হল লেন্স বাড়ানোর জন্য একটি দৃষ্টিভঙ্গি যার মাধ্যমে AI সংবেদনশীল তথ্যের সুরক্ষার জন্য অভিনব ক্ষমতা তৈরি করার সময় প্রয়োজনীয় এবং মানসম্পন্ন ডেটা পর্যবেক্ষণ করে। প্রোটোপিয়া এআই-এর আগে, তিনি 9 বছর ধরে NVIDIA-এর একজন সিনিয়র গবেষণা বিজ্ঞানী ছিলেন। NVIDIA গবেষণায় তার কাজ ML/AI-তে বিশাল ডেটাসেট অ্যাক্সেস করার সমস্যার সমাধান করা। তিনি সহ-লেখক সহ-লেখক-পর্যালোচনা প্রকাশনাগুলিকে কীভাবে হাজার হাজার GPU-এর শক্তি ব্যবহার করে বৃহৎ ভাষার মডেলের প্রশিক্ষণকে সম্ভবপর করতে পারেন।

রোহিত তালুরি আমাজন ওয়েব সার্ভিসেস (AWS) এর জেনারেটিভ এআই জিটিএম বিশেষজ্ঞ। তিনি AWS-এ পরবর্তী প্রজন্মের কৃত্রিম বুদ্ধিমত্তা, মেশিন লার্নিং এবং ত্বরিত কম্পিউটিং সক্ষম করতে শীর্ষ জেনারেটিভ AI মডেল নির্মাতা, কৌশলগত গ্রাহক, মূল AI/ML অংশীদার এবং AWS পরিষেবা টিমের সাথে অংশীদারিত্ব করছেন। তিনি পূর্বে একজন এন্টারপ্রাইজ সলিউশন আর্কিটেক্ট ছিলেন এবং AWS মার্জার এবং অধিগ্রহণ উপদেষ্টার জন্য গ্লোবাল সলিউশন লিড ছিলেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/foundational-data-protection-for-enterprise-llm-acceleration-with-protopia-ai/