কোড Llama 70B এখন Amazon SageMaker JumpStart এ উপলব্ধ আমাজন ওয়েব সার্ভিসেস

আজ, আমরা ঘোষণা করতে পেরে আনন্দিত যে মেটা দ্বারা তৈরি কোড লামা ফাউন্ডেশন মডেলগুলি গ্রাহকদের জন্য উপলব্ধ আমাজন সেজমেকার জাম্পস্টার্ট চলমান অনুমানের জন্য এক ক্লিকে স্থাপন করতে। কোড লামা হল একটি অত্যাধুনিক বড় ভাষা মডেল (LLM) যা কোড এবং প্রাকৃতিক ভাষা প্রম্পট উভয় থেকে কোড সম্পর্কে কোড এবং প্রাকৃতিক ভাষা তৈরি করতে সক্ষম। আপনি SageMaker JumpStart এর সাথে এই মডেলটি ব্যবহার করে দেখতে পারেন, একটি মেশিন লার্নিং (ML) হাব যা অ্যালগরিদম, মডেল এবং ML সমাধানগুলিতে অ্যাক্সেস প্রদান করে যাতে আপনি দ্রুত ML এর সাথে শুরু করতে পারেন৷ এই পোস্টে, আমরা সেজমেকার জাম্পস্টার্টের মাধ্যমে কোড লামা মডেলটি কীভাবে আবিষ্কার এবং স্থাপন করতে হয় তা নিয়ে চলছি।

কোড লামা

কোড লামা দ্বারা প্রকাশিত একটি মডেল মেটা যেটি লামা 2-এর উপরে তৈরি করা হয়েছে। এই অত্যাধুনিক মডেলটি ডেভেলপারদের উচ্চ-মানের, ভাল-ডকুমেন্টেড কোড তৈরি করতে সাহায্য করে তাদের জন্য প্রোগ্রামিং কাজগুলির জন্য উত্পাদনশীলতা উন্নত করার জন্য ডিজাইন করা হয়েছে। মডেলগুলি Python, C++, Java, PHP, C#, TypeScript এবং Bash-এ এক্সেল এবং ডেভেলপারদের সময় বাঁচাতে এবং সফ্টওয়্যার কর্মপ্রবাহকে আরও দক্ষ করে তোলার সম্ভাবনা রয়েছে।

এটি তিনটি ভেরিয়েন্টে আসে, বিভিন্ন ধরনের অ্যাপ্লিকেশন কভার করার জন্য ইঞ্জিনিয়ার করা হয়েছে: ফাউন্ডেশনাল মডেল (কোড লামা), একটি পাইথন বিশেষায়িত মডেল (কোড লামা পাইথন), এবং প্রাকৃতিক ভাষার নির্দেশাবলী বোঝার জন্য একটি নির্দেশ অনুসরণকারী মডেল (কোড লামা নির্দেশ)। সমস্ত কোড লামা ভেরিয়েন্ট চারটি আকারে আসে: 7B, 13B, 34B এবং 70B প্যারামিটার৷ 7B এবং 13B বেস এবং ইন্সট্রাক্ট ভেরিয়েন্টগুলি আশেপাশের বিষয়বস্তুর উপর ভিত্তি করে ইনফিলিং সমর্থন করে, কোড সহকারী অ্যাপ্লিকেশনগুলির জন্য তাদের আদর্শ করে তোলে। মডেলগুলিকে বেস হিসাবে লামা 2 ব্যবহার করে ডিজাইন করা হয়েছিল এবং তারপরে 500 বিলিয়ন টোকেন কোড ডেটার উপর প্রশিক্ষণ দেওয়া হয়েছিল, পাইথন বিশেষায়িত সংস্করণটি বর্ধিত 100 বিলিয়ন টোকেনগুলিতে প্রশিক্ষিত। কোড লামা মডেলগুলি 100,000 টোকেন অব কনটেক্সট সহ স্থিতিশীল প্রজন্ম প্রদান করে। সমস্ত মডেল 16,000 টোকেনের অনুক্রমের উপর প্রশিক্ষিত এবং 100,000 টোকেন পর্যন্ত ইনপুটগুলিতে উন্নতি দেখায়।

মডেল একই অধীনে উপলব্ধ করা হয় লামা 2 হিসাবে সম্প্রদায় লাইসেন্স।

সেজমেকারে ফাউন্ডেশন মডেল

সেজমেকার জাম্পস্টার্ট জনপ্রিয় মডেল হাব থেকে বিভিন্ন মডেলে অ্যাক্সেস প্রদান করে, যার মধ্যে রয়েছে Hugging Face, PyTorch Hub, এবং TensorFlow Hub, যা আপনি SageMaker-এ আপনার ML ডেভেলপমেন্ট ওয়ার্কফ্লোতে ব্যবহার করতে পারেন। ML-এর সাম্প্রতিক অগ্রগতিগুলি একটি নতুন শ্রেণীর মডেলের জন্ম দিয়েছে যা নামে পরিচিত ভিত্তি মডেল, যা সাধারণত কোটি কোটি প্যারামিটারের উপর প্রশিক্ষিত হয় এবং টেক্সট সংক্ষিপ্তকরণ, ডিজিটাল আর্ট জেনারেশন এবং ভাষা অনুবাদের মতো বিস্তৃত ব্যবহারের ক্ষেত্রে অভিযোজিত হয়। যেহেতু এই মডেলগুলি প্রশিক্ষণের জন্য ব্যয়বহুল, গ্রাহকরা এই মডেলগুলিকে নিজেরাই প্রশিক্ষিত করার পরিবর্তে বিদ্যমান প্রাক-প্রশিক্ষিত ফাউন্ডেশন মডেলগুলি ব্যবহার করতে চান এবং প্রয়োজন অনুসারে সেগুলিকে সূক্ষ্ম সুর করতে চান৷ সেজমেকার মডেলগুলির একটি কিউরেটেড তালিকা সরবরাহ করে যা আপনি সেজমেকার কনসোলে বেছে নিতে পারেন।

আপনি SageMaker JumpStart-এর মধ্যে বিভিন্ন মডেল প্রদানকারীর কাছ থেকে ফাউন্ডেশন মডেলগুলি খুঁজে পেতে পারেন, যা আপনাকে দ্রুত ফাউন্ডেশন মডেলগুলির সাথে শুরু করতে সক্ষম করে৷ আপনি বিভিন্ন কাজ বা মডেল প্রদানকারীদের উপর ভিত্তি করে ভিত্তি মডেল খুঁজে পেতে পারেন এবং সহজেই মডেলের বৈশিষ্ট্য এবং ব্যবহারের শর্তাবলী পর্যালোচনা করতে পারেন। আপনি একটি পরীক্ষা UI উইজেট ব্যবহার করে এই মডেলগুলি ব্যবহার করে দেখতে পারেন। আপনি যখন স্কেলে একটি ফাউন্ডেশন মডেল ব্যবহার করতে চান, আপনি মডেল প্রদানকারীদের থেকে পূর্ব-নির্মিত নোটবুকগুলি ব্যবহার করে SageMaker ছেড়ে না দিয়ে তা করতে পারেন। যেহেতু মডেলগুলি হোস্ট করা হয়েছে এবং AWS-এ স্থাপন করা হয়েছে, আপনি নিশ্চিত থাকতে পারেন যে আপনার ডেটা, মডেলটিকে মূল্যায়নের জন্য ব্যবহার করা হোক বা স্কেলে ব্যবহার করা হোক না কেন, তৃতীয় পক্ষের সাথে ভাগ করা হয় না।

SageMaker JumpStart-এ কোড লামা মডেল আবিষ্কার করুন

কোড Llama 70B মডেল স্থাপন করতে, নিম্নলিখিত ধাপগুলি সম্পূর্ণ করুন অ্যামাজন সেজমেকার স্টুডিও:

1. সেজমেকার স্টুডিও হোম পেজে, নির্বাচন করুন লাফ শুরু নেভিগেশন ফলকে।

   

2. কোড লামা মডেলের জন্য অনুসন্ধান করুন এবং দেখানো মডেলের তালিকা থেকে কোড লামা 70B মডেলটি বেছে নিন।

   

   আপনি কোড Llama 70B মডেল কার্ডে মডেল সম্পর্কে আরও তথ্য পেতে পারেন।

   

   নিম্নলিখিত স্ক্রিনশটটি শেষ পয়েন্ট সেটিংস দেখায়। আপনি বিকল্পগুলি পরিবর্তন করতে পারেন বা ডিফল্টগুলি ব্যবহার করতে পারেন৷

3. শেষ ব্যবহারকারী লাইসেন্স চুক্তি (EULA) গ্রহণ করুন এবং চয়ন করুন স্থাপন করুন.
   

   নিম্নলিখিত স্ক্রিনশটে দেখানো হিসাবে এটি শেষ পয়েন্ট স্থাপন প্রক্রিয়া শুরু করবে।

   

SageMaker Python SDK দিয়ে মডেলটি স্থাপন করুন

বিকল্পভাবে, আপনি বেছে নিয়ে উদাহরণ নোটবুকের মাধ্যমে স্থাপন করতে পারেন নোটবুক খুলুন ক্লাসিক স্টুডিওর মডেলের বিস্তারিত পৃষ্ঠার মধ্যে। উদাহরণ নোটবুকটি অনুমানের জন্য মডেলটি কীভাবে স্থাপন করতে হয় এবং সংস্থানগুলি পরিষ্কার করতে হয় সে সম্পর্কে শেষ থেকে শেষ নির্দেশিকা প্রদান করে।

নোটবুক ব্যবহার করে স্থাপন করতে, আমরা একটি উপযুক্ত মডেল নির্বাচন করে শুরু করি, যা দ্বারা নির্দিষ্ট করা হয়েছে model_id. আপনি নিম্নলিখিত কোড সহ সেজমেকারে নির্বাচিত মডেলগুলির যে কোনও স্থাপন করতে পারেন:

from sagemaker.jumpstart.model import JumpStartModel model = JumpStartModel(model_id="meta-textgeneration-llama-codellama-70b")
predictor = model.deploy(accept_eula=False) # Change EULA acceptance to True

এটি ডিফল্ট ইনস্ট্যান্স টাইপ এবং ডিফল্ট VPC কনফিগারেশন সহ ডিফল্ট কনফিগারেশন সহ SageMaker-এ মডেল স্থাপন করে। আপনি নন-ডিফল্ট মান উল্লেখ করে এই কনফিগারেশনগুলি পরিবর্তন করতে পারেন জাম্পস্টার্ট মডেল. মনে রাখবেন যে ডিফল্টরূপে, accept_eula তৈরি False. আপনাকে সেট করতে হবে accept_eula=True শেষবিন্দু সফলভাবে স্থাপন করতে। এটি করার মাধ্যমে, আপনি আগে উল্লেখ করা ব্যবহারকারী লাইসেন্স চুক্তি এবং গ্রহণযোগ্য ব্যবহারের নীতি গ্রহণ করেন। আপনি এটিও করতে পারেন ডাউনলোড লাইসেন্স চুক্তি।

একটি সেজমেকার এন্ডপয়েন্ট আহ্বান করুন

এন্ডপয়েন্ট মোতায়েন করার পরে, আপনি Boto3 বা SageMaker Python SDK ব্যবহার করে অনুমান করতে পারেন। নিম্নলিখিত কোডে, আমরা অনুমানের জন্য মডেলটিকে কল করতে এবং প্রতিক্রিয়া প্রিন্ট করতে সেজমেকার পাইথন SDK ব্যবহার করি:

def print_response(payload, response): print(payload["inputs"]) print(f"> {response[0]['generated_text']}") print("n==================================n")

কাজ print_response পেলোড এবং মডেল প্রতিক্রিয়া সমন্বিত একটি পেলোড নেয় এবং আউটপুট প্রিন্ট করে। অনুমান সম্পাদন করার সময় কোড লামা অনেক পরামিতি সমর্থন করে:

• সর্বোচ্চ দৈর্ঘ্য - আউটপুট দৈর্ঘ্য (যা ইনপুট প্রসঙ্গ দৈর্ঘ্য অন্তর্ভুক্ত) না পৌঁছানো পর্যন্ত মডেলটি পাঠ্য তৈরি করে max_length. নির্দিষ্ট করা হলে, এটি একটি ধনাত্মক পূর্ণসংখ্যা হতে হবে।
• সর্বোচ্চ_নতুন_টোকেন - আউটপুট দৈর্ঘ্য (ইনপুট প্রসঙ্গের দৈর্ঘ্য ব্যতীত) পৌঁছানো পর্যন্ত মডেলটি পাঠ্য তৈরি করে max_new_tokens. নির্দিষ্ট করা হলে, এটি একটি ধনাত্মক পূর্ণসংখ্যা হতে হবে।
• সংখ্যা_বিম - এটি লোভী অনুসন্ধানে ব্যবহৃত বিমের সংখ্যা নির্দিষ্ট করে। নির্দিষ্ট করা হলে, এটি অবশ্যই এর থেকে বড় বা সমান একটি পূর্ণসংখ্যা হতে হবে num_return_sequences.
• no_repeat_ngram_size – মডেল নিশ্চিত করে যে শব্দের একটি ক্রম no_repeat_ngram_size আউটপুট ক্রম পুনরাবৃত্তি হয় না. নির্দিষ্ট করা হলে, এটি অবশ্যই 1-এর থেকে বড় একটি ধনাত্মক পূর্ণসংখ্যা হতে হবে।
• তাপমাত্রা - এটি আউটপুটে এলোমেলোতা নিয়ন্ত্রণ করে। ঊর্ধ্বতন temperature কম-সম্ভাব্যতা শব্দ সহ একটি আউটপুট অনুক্রমের ফলাফল, এবং কম temperature উচ্চ-সম্ভাব্য শব্দ সহ একটি আউটপুট অনুক্রমের ফলাফল। যদি temperature 0, এটি লোভী ডিকোডিং এর ফলাফল। নির্দিষ্ট করা হলে, এটি একটি ইতিবাচক ফ্লোট হতে হবে।
• তাড়াতাড়ি_স্টপিং - যদি True, টেক্সট জেনারেশন শেষ হয় যখন সমস্ত বীম হাইপোথিসিস বাক্যের টোকেনের শেষে পৌঁছায়। নির্দিষ্ট করা হলে, এটি বুলিয়ান হতে হবে।
• do_sample - যদি True, মডেল সম্ভাব্যতা অনুযায়ী পরবর্তী শব্দের নমুনা দেয়। নির্দিষ্ট করা হলে, এটি বুলিয়ান হতে হবে।
• শীর্ষ_কে – টেক্সট প্রজন্মের প্রতিটি ধাপে, শুধুমাত্র থেকে মডেল নমুনা top_k সম্ভবত শব্দ। নির্দিষ্ট করা হলে, এটি একটি ধনাত্মক পূর্ণসংখ্যা হতে হবে।
• শীর্ষ_পি - টেক্সট তৈরির প্রতিটি ধাপে, ক্রমবর্ধমান সম্ভাব্যতা সহ শব্দের ক্ষুদ্রতম সম্ভাব্য সেট থেকে মডেল নমুনা top_p. নির্দিষ্ট করা হলে, এটি অবশ্যই 0 এবং 1 এর মধ্যে একটি ফ্লোট হতে হবে।
• ফেরত_পূর্ণ_পাঠ - যদি True, ইনপুট পাঠ্য আউটপুট উত্পন্ন পাঠ্যের অংশ হবে। নির্দিষ্ট করা হলে, এটি বুলিয়ান হতে হবে। এটির জন্য ডিফল্ট মান False.
• বন্ধ করা - নির্দিষ্ট করা থাকলে, এটি অবশ্যই স্ট্রিংয়ের একটি তালিকা হতে হবে। টেক্সট জেনারেশন বন্ধ হয়ে যায় যদি নির্দিষ্ট স্ট্রিংগুলির যেকোন একটি জেনারেট করা হয়।

একটি এন্ডপয়েন্ট আহ্বান করার সময় আপনি এই পরামিতিগুলির যেকোনো উপসেট নির্দিষ্ট করতে পারেন। এর পরে, আমরা এই আর্গুমেন্টগুলির সাথে একটি শেষ বিন্দুকে কীভাবে আহ্বান করতে হয় তার একটি উদাহরণ দেখাই।

কোড সমাপ্তি

নিম্নলিখিত উদাহরণগুলি দেখায় যে কীভাবে কোড সমাপ্তি সম্পাদন করতে হয় যেখানে প্রত্যাশিত শেষ পয়েন্ট প্রতিক্রিয়া হল প্রম্পটের স্বাভাবিক ধারাবাহিকতা।

আমরা প্রথমে নিম্নলিখিত কোড চালাই:

prompt = """
import socket def ping_exponential_backoff(host: str): """ payload = { "inputs": prompt, "parameters": {"max_new_tokens": 256, "temperature": 0.2, "top_p": 0.9},
}
response = predictor.predict(payload)
print_response(payload, response)

আমরা নিম্নলিখিত আউটপুট পেতে:

""" Pings the given host with exponential backoff. """ timeout = 1 while True: try: socket.create_connection((host, 80), timeout=timeout) return except socket.error: timeout *= 2

আমাদের পরবর্তী উদাহরণের জন্য, আমরা নিম্নলিখিত কোডটি চালাই:

prompt = """
import argparse
def main(string: str): print(string) print(string[::-1])
if __name__ == "__main__": """ payload = { "inputs": prompt, "parameters": {"max_new_tokens": 256, "temperature": 0.2, "top_p": 0.9},
}
predictor.predict(payload)

আমরা নিম্নলিখিত আউটপুট পেতে:

parser = argparse.ArgumentParser(description='Reverse a string') parser.add_argument('string', type=str, help='String to reverse') args = parser.parse_args() main(args.string)

কোড জেনারেশন

নিম্নলিখিত উদাহরণগুলি কোড লামা ব্যবহার করে পাইথন কোড জেনারেশন দেখায়।

আমরা প্রথমে নিম্নলিখিত কোড চালাই:

prompt = """
Write a python function to traverse a list in reverse. """ payload = { "inputs": prompt, "parameters": {"max_new_tokens": 256, "temperature": 0.2, "top_p": 0.9},
}
response = predictor.predict(payload)
print_response(payload, response)

আমরা নিম্নলিখিত আউটপুট পেতে:

def reverse(list1): for i in range(len(list1)-1,-1,-1): print(list1[i]) list1 = [1,2,3,4,5]
reverse(list1)

আমাদের পরবর্তী উদাহরণের জন্য, আমরা নিম্নলিখিত কোডটি চালাই:

prompt = """
Write a python function to to carry out bubble sort. """ payload = { "inputs": prompt, "parameters": {"max_new_tokens": 256, "temperature": 0.1, "top_p": 0.9},
}
response = predictor.predict(payload)
print_response(payload, response)

আমরা নিম্নলিখিত আউটপুট পেতে:

def bubble_sort(arr): n = len(arr) for i in range(n): for j in range(0, n-i-1): if arr[j] > arr[j+1]: arr[j], arr[j+1] = arr[j+1], arr[j] return arr arr = [64, 34, 25, 12, 22, 11, 90]
print(bubble_sort(arr))

এই কোড Llama 70B ব্যবহার করে কোড-সম্পর্কিত কাজের কিছু উদাহরণ। আপনি আরও জটিল কোড তৈরি করতে মডেলটি ব্যবহার করতে পারেন। আমরা আপনাকে আপনার নিজের কোড-সম্পর্কিত ব্যবহারের ক্ষেত্রে এবং উদাহরণ ব্যবহার করে এটি চেষ্টা করার জন্য উত্সাহিত করি!

পরিষ্কার কর

আপনি শেষ পয়েন্টগুলি পরীক্ষা করার পরে, চার্জ এড়াতে সেজমেকার ইনফারেন্স এন্ডপয়েন্ট এবং মডেলটি মুছে ফেলেছেন তা নিশ্চিত করুন। নিম্নলিখিত কোড ব্যবহার করুন:

predictor.delete_endpoint()

উপসংহার

এই পোস্টে, আমরা সেজমেকার জাম্পস্টার্টে কোড লামা 70B প্রবর্তন করেছি। কোড Llama 70B হল একটি অত্যাধুনিক মডেল যা প্রাকৃতিক ভাষার প্রম্পট এবং কোড থেকে কোড তৈরি করার জন্য। আপনি সেজমেকার জাম্পস্টার্টে কয়েকটি সহজ পদক্ষেপের সাথে মডেলটি স্থাপন করতে পারেন এবং তারপর কোড-সম্পর্কিত কাজগুলি যেমন কোড জেনারেশন এবং কোড ইনফিলিং করার জন্য এটি ব্যবহার করতে পারেন। পরবর্তী পদক্ষেপ হিসাবে, আপনার নিজের কোড-সম্পর্কিত ব্যবহারের ক্ষেত্রে এবং ডেটা সহ মডেলটি ব্যবহার করার চেষ্টা করুন।

লেখক সম্পর্কে

ডাঃ কাইল উলরিচ অ্যামাজন সেজমেকার জাম্পস্টার্ট দলের একজন ফলিত বিজ্ঞানী। তার গবেষণার আগ্রহের মধ্যে রয়েছে স্কেলেবল মেশিন লার্নিং অ্যালগরিদম, কম্পিউটার ভিশন, টাইম সিরিজ, বায়েসিয়ান নন-প্যারামেট্রিক্স এবং গাউসিয়ান প্রসেস। তার পিএইচডি ডিউক বিশ্ববিদ্যালয় থেকে এবং তিনি নিউরিআইপিএস, সেল এবং নিউরনে গবেষণাপত্র প্রকাশ করেছেন।

ফারুক সাবির ডা AWS-এর একজন সিনিয়র আর্টিফিশিয়াল ইন্টেলিজেন্স এবং মেশিন লার্নিং স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি অস্টিনের টেক্সাস বিশ্ববিদ্যালয় থেকে ইলেকট্রিক্যাল ইঞ্জিনিয়ারিংয়ে পিএইচডি এবং এমএস ডিগ্রি এবং জর্জিয়া ইনস্টিটিউট অফ টেকনোলজি থেকে কম্পিউটার সায়েন্সে এমএস ডিগ্রি অর্জন করেছেন। তার 15 বছরেরও বেশি কাজের অভিজ্ঞতা রয়েছে এবং তিনি কলেজের শিক্ষার্থীদের পড়াতে ও পরামর্শ দিতে পছন্দ করেন। AWS-এ, তিনি গ্রাহকদের ডেটা সায়েন্স, মেশিন লার্নিং, কম্পিউটার ভিশন, কৃত্রিম বুদ্ধিমত্তা, সংখ্যাসূচক অপ্টিমাইজেশান এবং সম্পর্কিত ডোমেনে তাদের ব্যবসায়িক সমস্যাগুলি তৈরি করতে এবং সমাধান করতে সহায়তা করেন৷ ডালাস, টেক্সাসে অবস্থিত, তিনি এবং তার পরিবার ভ্রমণ করতে এবং দীর্ঘ সড়ক ভ্রমণে যেতে পছন্দ করেন।

জুন জিতেছে সেজমেকার জাম্পস্টার্টের একজন পণ্য ব্যবস্থাপক। তিনি গ্রাহকদের জেনারেটিভ এআই অ্যাপ্লিকেশন তৈরি করতে সাহায্য করার জন্য ফাউন্ডেশন মডেলগুলিকে সহজে আবিষ্কারযোগ্য এবং ব্যবহারযোগ্য করার দিকে মনোনিবেশ করেন। অ্যামাজনে তার অভিজ্ঞতার মধ্যে রয়েছে মোবাইল শপিং অ্যাপ্লিকেশন এবং লাস্ট মাইল ডেলিভারি।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/code-llama-70b-is-now-available-in-amazon-sagemaker-jumpstart/