Upstage থেকে সৌর মডেলগুলি এখন Amazon SageMaker JumpStart | এ উপলব্ধ৷ আমাজন ওয়েব সার্ভিসেস

এই ব্লগ পোস্টটি আপস্টেজে হাওয়ালসুক লির সাথে সহ-লেখা হয়েছে।

আজ, আমরা ঘোষণা করতে পেরে আনন্দিত যে সৌর Upstage দ্বারা উন্নত ভিত্তি মডেল এখন গ্রাহকদের জন্য উপলব্ধ আমাজন সেজমেকার জাম্পস্টার্ট. সৌর একটি বড় ভাষা মডেল (LLM) 100% প্রাক-প্রশিক্ষিত আমাজন সেজমেকার যা এর কমপ্যাক্ট আকার এবং শক্তিশালী ট্র্যাক রেকর্ড ব্যবহার করে উদ্দেশ্য-প্রশিক্ষণে বিশেষীকরণ করে, এটিকে ভাষা, ডোমেন এবং কাজ জুড়ে বহুমুখী করে তোলে।

আপনি এখন ব্যবহার করতে পারেন সোলার মিনি চ্যাট এবং সোলার মিনি চ্যাট – কোয়ান্ট সেজমেকার জাম্পস্টার্টের মধ্যে পূর্বপ্রশিক্ষিত মডেল। SageMaker JumpStart হল SageMaker-এর মেশিন লার্নিং (ML) হাব যা আপনাকে ML-এর সাথে দ্রুত শুরু করতে সাহায্য করার জন্য বিল্ট-ইন অ্যালগরিদম ছাড়াও ফাউন্ডেশন মডেলগুলিতে অ্যাক্সেস প্রদান করে।

এই পোস্টে, আমরা কীভাবে সেজমেকার জাম্পস্টার্টের মাধ্যমে সৌর মডেলটি আবিষ্কার এবং স্থাপন করতে হয় তার মধ্য দিয়ে চলেছি।

সৌর মডেল কি?

সৌর ইংরেজি এবং কোরিয়ান ভাষার জন্য একটি কম্প্যাক্ট এবং শক্তিশালী মডেল। এটি মাল্টি-টার্ন চ্যাটের উদ্দেশ্যে বিশেষভাবে সূক্ষ্ম-টিউন করা হয়েছে, প্রাকৃতিক ভাষা প্রক্রিয়াকরণের বিস্তৃত পরিসরে উন্নত কর্মক্ষমতা প্রদর্শন করে।

সোলার মিনি চ্যাট মডেলের উপর ভিত্তি করে সৌর 10.7B, একটি 32-স্তর সহ লামা 2 গঠন, এবং প্রাক-প্রশিক্ষিত ওজনের সাথে শুরু করা হয়েছে মিস্ট্রাল 7 বি লামা 2 আর্কিটেকচারের সাথে সামঞ্জস্যপূর্ণ। এই সূক্ষ্ম-টিউনিং এটিকে বর্ধিত কথোপকথনগুলিকে আরও কার্যকরভাবে পরিচালনা করার ক্ষমতা দিয়ে সজ্জিত করে, এটিকে ইন্টারেক্টিভ অ্যাপ্লিকেশনগুলির জন্য বিশেষভাবে পারদর্শী করে তোলে। এটি নামক স্কেলিং পদ্ধতি ব্যবহার করে গভীরতা আপ-স্কেলিং (DUS), যা গভীরতা-ভিত্তিক স্কেলিং এবং অবিরত প্রাক-প্রশিক্ষণ নিয়ে গঠিত। DUS অন্যান্য স্কেলিং পদ্ধতির তুলনায় ছোট মডেলের অনেক বেশি সহজবোধ্য এবং কার্যকরী বৃদ্ধির অনুমতি দেয় যেমন বিশেষজ্ঞদের মিশ্রণ (MoE)।

2023 সালের ডিসেম্বরে, সোলার 10.7B মডেলটি তরঙ্গ তৈরি করেছিল এলএলএম লিডারবোর্ড খুলুন আলিঙ্গন মুখ উল্লেখযোগ্যভাবে কম প্যারামিটার ব্যবহার করে, Solar 10.7B GPT-3.5 এর সাথে তুলনীয় প্রতিক্রিয়া প্রদান করে, কিন্তু 2.5 গুণ দ্রুত। ওপেন LLM লিডারবোর্ডে শীর্ষে থাকার পাশাপাশি, Solar 10.7B নির্দিষ্ট ডোমেন এবং টাস্কগুলিতে উদ্দেশ্য-প্রশিক্ষিত মডেলগুলির সাথে GPT-4-কে ছাড়িয়ে যায়৷

নিম্নলিখিত চিত্রটি এই মেট্রিক্সগুলির কিছু চিত্রিত করে:

SageMaker JumpStart এর সাথে, আপনি Solar 10.7B ভিত্তিক প্রাক-প্রশিক্ষিত মডেলগুলি স্থাপন করতে পারেন: Solar Mini Chat এবং Solar Mini Chat-এর একটি কোয়ান্টাইজড সংস্করণ, ইংরেজি এবং কোরিয়ান ভাষায় চ্যাট অ্যাপ্লিকেশনের জন্য অপ্টিমাইজ করা হয়েছে৷ সোলার মিনি চ্যাট মডেল কোরিয়ান ভাষার সূক্ষ্মতাগুলির একটি উন্নত উপলব্ধি প্রদান করে, যা চ্যাট পরিবেশে ব্যবহারকারীর মিথস্ক্রিয়াকে উল্লেখযোগ্যভাবে উন্নত করে। এটি ব্যবহারকারীর ইনপুটগুলিতে সুনির্দিষ্ট প্রতিক্রিয়া প্রদান করে, স্পষ্ট যোগাযোগ নিশ্চিত করে এবং ইংরেজি এবং কোরিয়ান চ্যাট অ্যাপ্লিকেশনগুলিতে আরও দক্ষ সমস্যা সমাধান নিশ্চিত করে।

SageMaker JumpStart-এ সৌর মডেলের সাথে শুরু করুন

সোলার মডেলগুলির সাথে শুরু করার জন্য, আপনি সেজমেকার জাম্পস্টার্ট ব্যবহার করতে পারেন, একটি সম্পূর্ণরূপে পরিচালিত ML হাব পরিষেবা যা পূর্ব-নির্মিত ML মডেলগুলিকে একটি উত্পাদন-প্রস্তুত হোস্ট করা পরিবেশে স্থাপন করতে পারে৷ আপনি সেজমেকার জাম্পস্টার্ট ইন এর মাধ্যমে সোলার মডেলগুলি অ্যাক্সেস করতে পারেন অ্যামাজন সেজমেকার স্টুডিও, একটি ওয়েব-ভিত্তিক ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) যেখানে আপনি ডেটা প্রস্তুত করা থেকে শুরু করে আপনার ML মডেলগুলি তৈরি, প্রশিক্ষণ এবং স্থাপন পর্যন্ত সমস্ত ML উন্নয়ন পদক্ষেপগুলি সম্পাদন করতে উদ্দেশ্য-নির্মিত সরঞ্জামগুলি অ্যাক্সেস করতে পারেন৷

সেজমেকার স্টুডিও কনসোলে, নির্বাচন করুন লাফ শুরু নেভিগেশন ফলকে। আপস্টেজের সৌর মডেলগুলি খুঁজতে আপনি অনুসন্ধান বারে "সৌর" লিখতে পারেন।

আসুন সোলার মিনি চ্যাট – কোয়ান্ট মডেল স্থাপন করি। মডেলের বিবরণ যেমন লাইসেন্স, প্রশিক্ষণের জন্য ব্যবহৃত ডেটা এবং মডেলটি কীভাবে ব্যবহার করবেন তা দেখতে মডেল কার্ডটি বেছে নিন। আপনি একটি খুঁজে পাবেন স্থাপন করুন বিকল্প, যা আপনাকে একটি ল্যান্ডিং পৃষ্ঠায় নিয়ে যায় যেখানে আপনি একটি উদাহরণ পেলোড দিয়ে অনুমান পরীক্ষা করতে পারেন।

এই মডেল একটি প্রয়োজন AWS মার্কেটপ্লেস সদস্যতা আপনি যদি ইতিমধ্যে এই মডেলটিতে সদস্যতা নিয়ে থাকেন, এবং পণ্যটি ব্যবহার করার জন্য অনুমোদিত হয়ে থাকেন, আপনি সরাসরি মডেলটি স্থাপন করতে পারেন৷

আপনি যদি এই মডেলটিতে সদস্যতা না করে থাকেন তবে নির্বাচন করুন সাবস্ক্রাইব, AWS মার্কেটপ্লেসে যান, মূল্যের শর্তাবলী এবং শেষ ব্যবহারকারী লাইসেন্স চুক্তি (EULA) পর্যালোচনা করুন এবং বেছে নিন প্রস্তাব গ্রহণ.

আপনি মডেলটিতে সদস্যতা নেওয়ার পরে, আপনি স্থাপনার সংস্থানগুলি নির্বাচন করে আপনার মডেলটিকে সেজমেকার এন্ডপয়েন্টে স্থাপন করতে পারেন, যেমন উদাহরণের ধরন এবং প্রাথমিক উদাহরণ গণনা৷ পছন্দ করা স্থাপন করুন এবং মডেল অনুমানের জন্য একটি শেষ বিন্দু তৈরি করার জন্য অপেক্ষা করুন। আপনি একটি নির্বাচন করতে পারেন ml.g5.2xlarge সৌর মডেলের সাথে অনুমানের জন্য একটি সস্তা বিকল্প হিসাবে উদাহরণ।

যখন আপনার সেজমেকার এন্ডপয়েন্ট সফলভাবে তৈরি করা হয়, আপনি বিভিন্ন সেজমেকার অ্যাপ্লিকেশন পরিবেশের মাধ্যমে এটি পরীক্ষা করতে পারেন।

SageMaker স্টুডিও JupyterLab-এ সোলার মডেলের জন্য আপনার কোড চালান

সেজমেকার স্টুডিও জুপিটারল্যাব সহ বিভিন্ন অ্যাপ্লিকেশন ডেভেলপমেন্ট এনভায়রনমেন্টকে সমর্থন করে, যা সম্পূর্ণরূপে পরিচালিত নোটবুক অফারকে বৃদ্ধি করে এমন ক্ষমতার একটি সেট। এতে সেকেন্ডে শুরু হওয়া কার্নেল, জনপ্রিয় ডেটা বিজ্ঞান, ML ফ্রেমওয়ার্ক এবং উচ্চ-কর্মক্ষমতা ব্যক্তিগত ব্লক স্টোরেজ সহ একটি পূর্ব-কনফিগার করা রানটাইম অন্তর্ভুক্ত রয়েছে। আরও তথ্যের জন্য, দেখুন সেজমেকার জুপিটারল্যাব.

SageMaker স্টুডিওর মধ্যে একটি JupyterLab স্পেস তৈরি করুন যা JupyterLab অ্যাপ্লিকেশন চালানোর জন্য প্রয়োজনীয় স্টোরেজ এবং গণনা সংস্থানগুলি পরিচালনা করে।

আপনি সেজমেকার জাম্পস্টার্টে সোলার মডেলের স্থাপনা দেখানো কোডটি খুঁজে পেতে পারেন এবং কীভাবে স্থাপন করা মডেলটি ব্যবহার করতে হয় তার একটি উদাহরণ গিটহুব রেপো. আপনি এখন সেজমেকার জাম্পস্টার্ট ব্যবহার করে মডেলটি স্থাপন করতে পারেন। নিম্নলিখিত কোডটি সোলার মিনি চ্যাটের জন্য ডিফল্ট উদাহরণ ml.g5.2xlarge ব্যবহার করে – কোয়ান্ট মডেল ইনফারেন্স এন্ডপয়েন্ট।

সৌর মডেলগুলি OpenAI এর চ্যাট সমাপ্তির শেষ পয়েন্টের সাথে সামঞ্জস্যপূর্ণ একটি অনুরোধ/প্রতিক্রিয়া পেলোড সমর্থন করে। আপনি পাইথনের সাথে একক-টার্ন বা মাল্টি-টার্ন চ্যাট উদাহরণ পরীক্ষা করতে পারেন।

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

আপনি সোলার মিনি চ্যাট মডেলের সাথে একটি বাস্তব সময়ের অনুমান সফলভাবে সম্পাদন করেছেন।

পরিষ্কার কর

আপনি এন্ডপয়েন্টটি পরীক্ষা করার পরে, সেজমেকার ইনফারেন্স এন্ডপয়েন্ট মুছুন এবং চার্জ এড়াতে মডেলটি মুছুন।

আপনি সেজমেকার স্টুডিও জুপিটারল্যাবের নোটবুকে এন্ডপয়েন্ট এবং মোড মুছতে নিম্নলিখিত কোডটিও চালাতে পারেন:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

আরও তথ্যের জন্য, দেখুন এন্ডপয়েন্ট এবং রিসোর্স মুছুন. উপরন্তু, আপনি পারেন SageMaker স্টুডিও সংস্থান বন্ধ করুন যেগুলোর আর প্রয়োজন নেই।

উপসংহার

এই পোস্টে, আমরা আপনাকে দেখিয়েছি কিভাবে সেজমেকার স্টুডিওতে আপস্টেজের সোলার মডেলগুলি দিয়ে শুরু করা যায় এবং অনুমানের জন্য মডেলটি স্থাপন করা যায়। আমরা আপনাকে দেখিয়েছি কিভাবে আপনি সেজমেকার স্টুডিও জুপিটারল্যাবে আপনার পাইথন নমুনা কোড চালাতে পারেন।

যেহেতু সৌর মডেলগুলি ইতিমধ্যেই প্রাক-প্রশিক্ষিত, তারা প্রশিক্ষণ এবং অবকাঠামোর খরচ কমাতে সাহায্য করতে পারে এবং আপনার জেনারেটিভ এআই অ্যাপ্লিকেশনগুলির জন্য কাস্টমাইজেশন সক্ষম করতে পারে।

এটি ব্যবহার করে দেখুন সেজমেকার জাম্পস্টার্ট কনসোল or সেজমেকার স্টুডিও কনসোল! আপনি নিচের ভিডিওটিও দেখতে পারেন, Amazon SageMaker এর সাথে 'সোলার' ব্যবহার করে দেখুন.

এই নির্দেশিকা শুধুমাত্র তথ্যের উদ্দেশ্যে। আপনি এখনও আপনার নিজের স্বাধীন মূল্যায়ন সম্পাদন করতে হবে, এবং আপনি আপনার নিজস্ব নির্দিষ্ট মান নিয়ন্ত্রণ অনুশীলন এবং মান, এবং স্থানীয় নিয়ম, আইন, প্রবিধান, লাইসেন্স, এবং ব্যবহারের শর্তাবলী যা আপনার জন্য প্রযোজ্য, আপনার সামগ্রী, এবং তৃতীয় পক্ষের মডেল এই নির্দেশিকাতে উল্লেখ করা হয়েছে। এই নির্দেশিকায় উল্লেখ করা তৃতীয়-পক্ষের মডেলের উপর AWS-এর কোনো নিয়ন্ত্রণ বা কর্তৃত্ব নেই, এবং তৃতীয় পক্ষের মডেল নিরাপদ, ভাইরাস-মুক্ত, কর্মক্ষম, বা আপনার উৎপাদন পরিবেশ এবং মানগুলির সাথে সামঞ্জস্যপূর্ণ এমন কোনো উপস্থাপনা বা ওয়ারেন্টি দেয় না। AWS কোনো উপস্থাপনা, ওয়্যারেন্টি বা গ্যারান্টি দেয় না যে এই নির্দেশিকাতে থাকা কোনো তথ্য একটি নির্দিষ্ট ফলাফল বা ফলাফলে পরিণত হবে।

---

লেখক সম্পর্কে

চ্যানি ইউন তিনি AWS-এর একজন প্রধান ডেভেলপার অ্যাডভোকেট, এবং ডেভেলপারদের সর্বশেষ AWS পরিষেবাগুলিতে আধুনিক অ্যাপ্লিকেশন তৈরি করতে সাহায্য করার বিষয়ে উত্সাহী৷ তিনি একজন বাস্তববাদী বিকাশকারী এবং হৃদয়ে ব্লগার, এবং তিনি সম্প্রদায়-চালিত শিক্ষা এবং প্রযুক্তির ভাগাভাগি পছন্দ করেন।

হাওয়ালসুক লি আপস্টেজে চিফ টেকনোলজি অফিসার (সিটিও)। তিনি AI গবেষক হিসেবে Samsung Techwin, NCSOFT এবং Naver-এর জন্য কাজ করেছেন। তিনি কোরিয়া অ্যাডভান্সড ইনস্টিটিউট অফ সায়েন্স অ্যান্ড টেকনোলজিতে (কেএআইএসটি) কম্পিউটার এবং ইলেকট্রিক্যাল ইঞ্জিনিয়ারিংয়ে পিএইচডি করছেন।

ব্র্যান্ডন লি তিনি AWS-এর একজন সিনিয়র সলিউশন আর্কিটেক্ট, এবং প্রাথমিকভাবে পাবলিক সেক্টরে বড় শিক্ষাগত প্রযুক্তি গ্রাহকদের সাহায্য করে। গ্লোবাল কোম্পানি এবং বড় কর্পোরেশনে অ্যাপ্লিকেশন ডেভেলপমেন্টে নেতৃত্ব দেওয়ার 20 বছরেরও বেশি অভিজ্ঞতা রয়েছে তার।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/