AlexaTM 20B এখন Amazon SageMaker JumpStart-এ উপলব্ধ

আজ, আমরা অ্যামাজনের অত্যাধুনিক-এর সর্বজনীন উপলব্ধতা ঘোষণা করছি৷ 20 বিলিয়ন প্যারামিটার সহ আলেক্সা শিক্ষক মডেল  (AlexaTM 20B) এর মাধ্যমে আমাজন সেজমেকার জাম্পস্টার্ট, SageMaker এর মেশিন লার্নিং হাব। AlexaTM 20B হল একটি বহুভাষিক বড়-স্কেল সিকোয়েন্স-টু-সিকোয়েন্স (seq2seq) ভাষা মডেল যা Amazon দ্বারা তৈরি করা হয়েছে। আপনি অ্যালেক্সাটিএম 20B ব্যবহার করতে পারেন বিস্তৃত শিল্প ব্যবহারের ক্ষেত্রে, আর্থিক প্রতিবেদনের সংক্ষিপ্তকরণ থেকে গ্রাহক পরিষেবা চ্যাটবটগুলির জন্য প্রশ্নের উত্তর দেওয়া পর্যন্ত। এটি প্রয়োগ করা যেতে পারে এমনকি যখন শুধুমাত্র কয়েকটি উপলব্ধ প্রশিক্ষণের উদাহরণ থাকে, এমনকি কোনোটিই নয়। AlexaTM 20B তূলনায় একটি 175 বিলিয়ন GPT-3 মডেল শূন্য-শট শেখার কাজগুলিতে যেমন SuperGLUE এবং XNLI-এর মতো বহুভাষিক জিরো-শট কাজগুলির জন্য অত্যাধুনিক কর্মক্ষমতা দেখায়।

এই পোস্টে, আমরা কীভাবে অ্যালেক্সাটিএম 20B মডেলের সাথে জাম্পস্টার্ট এপিআই-এর মাধ্যমে প্রোগ্রাম্যাটিকভাবে অনুমান স্থাপন এবং চালাতে হয় তার একটি ওভারভিউ প্রদান করি, যা এখানে উপলব্ধ সেজমেকার পাইথন এসডিকে. আমরা উদাহরণ দিই কিভাবে আপনি একাধিক ভাষার মধ্যে অনুবাদ করতে এই মডেলটি ব্যবহার করতে পারেন, দীর্ঘ-ফর্মের পাঠ্যের সংক্ষিপ্ত বিবরণ দিতে পারেন, একটি প্রদত্ত প্রসঙ্গের উপর ভিত্তি করে প্রশ্নের উত্তর দিতে পারেন এবং পাঠ্য তৈরি করতে পারেন যা মানব-লিখিত পাঠ্য থেকে আলাদা বলে মনে হয়।

AlexaTM 20B এবং ইন-কনটেক্সট লার্নিং

অ্যামাজন অ্যালেক্সা এআই-এর অ্যালেক্সা টিচার মডেল (আলেক্সাটিএম) প্রোগ্রামটি বড় আকারের, বহুভাষিক গভীর শিক্ষার মডেলগুলি (প্রাথমিকভাবে ট্রান্সফরমার-ভিত্তিক) তৈরি করার জন্য ডিজাইন করা হয়েছে, যার লক্ষ্য সাধারণীকরণ উন্নত করা এবং ডাটা ঘাটতি মোকাবেলা করা ডাউনস্ট্রিম কাজগুলির জন্য। বড় আকারের প্রাক-প্রশিক্ষণের মাধ্যমে, শিক্ষক মডেলগুলি বিক্ষিপ্ত ডেটা থেকে নতুন কাজগুলি শিখতে ভালভাবে সাধারণীকরণ করতে পারে এবং ডেভেলপারদের ডাউনস্ট্রিম কাজগুলিতে কর্মক্ষমতা উন্নত করতে সহায়তা করে। AlexaTM 20B দেখিয়েছে প্রতিযোগিতামূলক কর্মক্ষমতা কমন ন্যাচারাল ল্যাঙ্গুয়েজ প্রসেসিং (এনএলপি) বেঞ্চমার্ক এবং কাজগুলি, যেমন মেশিন অনুবাদ, ডেটা জেনারেশন এবং সারসংক্ষেপ।

AlexaTM 20B-এর মতো ফাউন্ডেশন মডেলগুলি ব্যবহার করা ব্যয়বহুল মডেল প্রাক-প্রশিক্ষণের প্রয়োজনীয়তা হ্রাস করে এবং কম পরিশ্রম এবং কম টাস্ক-নির্দিষ্ট প্রশিক্ষণ ডেটা সহ টাস্ক মডেলগুলি বিকাশের জন্য একটি অত্যাধুনিক সূচনা পয়েন্ট প্রদান করে। ফাউন্ডেশন মডেলগুলির একটি মূল ক্ষমতা হল যে আমরা একটি মডেলকে বিভিন্ন ভাষায় প্রশ্ন এবং উত্তর দেওয়ার মতো নতুন কাজগুলি সম্পাদন করতে শেখাতে পারি, খুব অল্প পরিমাণে ইনপুট উদাহরণ সহ এবং কোনও ফাইন-টিউনিং বা গ্রেডিয়েন্ট আপডেটের প্রয়োজন নেই৷ এই হিসাবে পরিচিত হয় প্রেক্ষাপটে শিক্ষা. অনুমানের জন্য প্রেক্ষাপট হিসাবে দেওয়া একটি নতুন কাজের মাত্র কয়েকটি উদাহরণ সহ, AlexaTM 20B মডেলটি বৃহৎ আকারের প্রাক-প্রশিক্ষণের সময় যা শেখা হয়েছে তা থেকে জ্ঞান স্থানান্তর করতে পারে, এমনকি ভাষা জুড়ে। এই বলা হয় কয়েক শট শেখার. কিছু ক্ষেত্রে, মডেলটি কোনও প্রশিক্ষণের ডেটা ছাড়াই ভাল পারফর্ম করতে পারে, শুধুমাত্র কী ভবিষ্যদ্বাণী করা উচিত তার ব্যাখ্যা দিয়ে। এই বলা হয় শূন্য-শট শিক্ষা. উদাহরণস্বরূপ, ধরা যাক আমরা এক-শট প্রাকৃতিক ভাষা তৈরির জন্য AlexaTM 20B ব্যবহার করছি। মডেলে পাস করা ইনপুটটি তার সংশ্লিষ্ট আউটপুট পাঠ্য বিবরণ সহ বৈশিষ্ট্য-মান জোড়া আকারে প্রশিক্ষণের উদাহরণ। তারপরে পরীক্ষার উদাহরণটি সম্পূর্ণ ইনপুট প্রম্পট তৈরি করতে যুক্ত করা হয়, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে।

মডেল সম্পর্কে আরো জানতে, চেক আউট 20B-প্যারামিটার আলেক্সা মডেল কয়েকটি শট শেখার ক্ষেত্রে নতুন চিহ্ন সেট করে বা মূল কাগজ.

AlexaTM 20B এর ব্যবহার অ-বাণিজ্যিক ব্যবহারের জন্য উপলব্ধ করা হয়েছে এবং এর আওতায় রয়েছে আলেক্সা শিক্ষক মডেল লাইসেন্স চুক্তি.

সমাধান ওভারভিউ

নিম্নলিখিত বিভাগগুলি একটি ধাপে ধাপে ডেমো প্রদান করে যে কিভাবে মডেল স্থাপন করতে হয়, অনুমান চালাতে হয় এবং কয়েকটি শট শেখার কাজগুলি সমাধান করার জন্য ইন-কনটেক্সট-লার্নিং করতে হয়।

নোট করুন যে নিম্নলিখিত বিভাগে কোড স্নিপেট রয়েছে; এই ডেমোর সমস্ত ধাপ সহ সম্পূর্ণ কোডটি সহগামী নোটবুকে উপলব্ধ: সেজমেকার জাম্পস্টার্টে AlexaTM 20B-এর সাথে প্রসঙ্গ-শিক্ষা.

মডেল মোতায়েন করুন

SageMaker-এ একটি বৃহৎ ভাষার মডেল ব্যবহার করার জন্য, আপনাকে মডেলের জন্য নির্দিষ্ট একটি অনুমানকারী স্ক্রিপ্টের প্রয়োজন, যাতে মডেল লোডিং, সমান্তরালকরণ এবং আরও অনেক কিছুর মতো পদক্ষেপ অন্তর্ভুক্ত থাকে। তিনটিই একসাথে কাজ করতে পারে তা যাচাই করার জন্য আপনাকে স্ক্রিপ্ট, মডেল এবং পছন্দসই দৃষ্টান্তের প্রকারের জন্য এন্ড-টু-এন্ড পরীক্ষাও তৈরি করতে হবে। জাম্পস্টার্ট ব্যবহার করার জন্য প্রস্তুত স্ক্রিপ্টগুলি সরবরাহ করে এই প্রচেষ্টাটি সরিয়ে দেয় যা শক্তভাবে পরীক্ষা করা হয়েছে।

সেজমেকার আপনাকে প্রশিক্ষণ এবং অনুমান করার জন্য ব্যাপকভাবে ডকার কন্টেইনার চালানোর ক্ষমতা দেয়। জাম্পস্টার্ট এই উপলব্ধ ফ্রেমওয়ার্ক-নির্দিষ্ট ব্যবহার করে সেজমেকার গভীর শিক্ষার পাত্রে (DLCs)। আমরা অপ্টিমাইজ করা DLC নিয়ে শুরু করি (deploy_image_uri) ব্যবহার করে model_id. তারপর আমরা আনয়ন model_uri অনুমান পরিচালনার স্ক্রিপ্ট এবং কোনো সংশ্লিষ্ট নির্ভরতা সহ মডেল পরামিতি ধারণ করে। পরবর্তী, আমরা একটি তৈরি করি মডেল উদাহরণ সেজমেকারে এবং এটিকে একটি রিয়েল-টাইম এন্ডপয়েন্টে স্থাপন করুন। নিম্নলিখিত কোড দেখুন:

# model_version="*" fetches the latest version of the model
model_id, model_version = "pytorch-textgeneration1-alexa20b", "*"

instance_type = "ml.g4dn.12xlarge"

# Retrieve the inference docker container uri
deploy_image_uri = image_uris.retrieve(
    region=None,
    framework=None,  # automatically inferred from model_id
    image_scope="inference",
    model_id=model_id,
    model_version=model_version,
    instance_type=inference_instance_type,
)

# Retrieve the model uri. This includes the model parameters, all dependencies and scripts for model loading, inference handling etc.
 model_uri = model_uris.retrieve(
 model_id=model_id, 
 model_version=model_version, 
 model_scope="inference")

AlexaTM 20B স্থাপনের জন্য কমপক্ষে 50 GB CPU মেমরি এবং কমপক্ষে 42 GB GPU মেমরি সহ একটি GPU-সমর্থিত উদাহরণ প্রয়োজন৷ সেজমেকার এমন অনেক উদাহরণ প্রদান করে যা রিয়েল-টাইম ইনফারেন্সকে সমর্থন করে। আমরা তিনটি উদাহরণে এই সমাধানটি পরীক্ষা করেছি: ml.g4dn.12xlarge, ml.p3.8xlarge, ml.p3.16xlarge৷ নিম্নলিখিত কোড দেখুন:

env = {
        "SAGEMAKER_MODEL_SERVER_TIMEOUT": str(3600),
        "MODEL_CACHE_ROOT": "/opt/ml/model",
        "SAGEMAKER_ENV": "1",
        "SAGEMAKER_SUBMIT_DIRECTORY":"/opt/ml/model/code/",
        "SAGEMAKER_PROGRAM": "inference.py",
        "SAGEMAKER_MODEL_SERVER_WORKERS": "1", # One worker for the endpoint rather than one worker per GPU by default
        "TS_DEFAULT_WORKERS_PER_MODEL":"1" # 1 TS worker which allocates all memory to the single master worker.
    }
    
#Create the SageMaker model instance. Note that we need to pass Predictor class when we deploy model through Model class,
#for being able to run inference through the sagemaker API.
model = Model(
    image_uri=deploy_image_uri,
    model_data=model_uri,
    role=aws_role,
    predictor_cls=Predictor,
    name=endpoint_name,
    env=env
)

এর পরে, আমরা মডেলটিকে সেজমেকার রিয়েল-টাইম এন্ডপয়েন্টে স্থাপন করি:

# deploy the Model.
model_predictor = model.deploy(
    initial_instance_count=1,
    instance_type=instance_type,
    endpoint_name=endpoint_name,
    volume_size= volume_size, # Specify the size of the Amazon EBS volume in GBs.
    model_data_download_timeout = 3600, # Specify the model download timeout in seconds.
    container_startup_health_check_timeout = 3600, # Specify the health checkup timeout in seconds
)

AlexaTM 20B-এর জন্য ইনফারেন্স কন্টেইনারে 40 GB ডিস্ক স্পেস প্রয়োজন। একটি ml.g4dn.12x বড় উদাহরণ এই প্রয়োজনীয়তা পূরণ করে। উদাহরণস্বরূপ ml.p3.8xlarge এবং ml.p3.16xlarge ধরনের, আমরা একটি সংযুক্ত করি আমাজন ইলাস্টিক ব্লক স্টোর (Amazon EBS) ভলিউম বড় মডেল আকার হ্যান্ডেল. অতএব, আমরা সেট volume_size = None ml.g4dn.12xlarge এ স্থাপন করার সময় এবং volume_size=256 ml.p3.8xlarge বা ml.p3.16xlarge-এ স্থাপন করার সময়।

মডেল স্থাপনে 10 মিনিট পর্যন্ত সময় লাগতে পারে৷ মডেলটি স্থাপন করার পরে, আমরা বাস্তব সময়ে এটি থেকে ভবিষ্যদ্বাণী পেতে পারি!

অনুমান চালান

AlexaTM 20B হল একটি টেক্সট জেনারেশন মডেল যা একটি আংশিক সিকোয়েন্স (একটি বাক্য বা টেক্সটের টুকরো) দেওয়া হলে, শব্দের পরবর্তী সেট তৈরি করে। নিম্নোক্ত কোড স্নিপেট আপনাকে একটি আভাস দেয় যে কিভাবে আমরা মোতায়েন করা শেষ পয়েন্টটি অনুসন্ধান করতে হয় এবং স্বয়ংক্রিয়-সম্পূর্ণ কাজের জন্য আউটপুটগুলিকে পার্স করি। একটি স্থাপন করা মডেলে অনুরোধ পাঠাতে, আমরা UTF-8 ফর্ম্যাটে এনকোড করা একটি JSON অভিধান ব্যবহার করি। এন্ডপয়েন্ট রেসপন্স হল একটি JSON অবজেক্ট যাতে জেনারেট করা টেক্সটের একটি তালিকা থাকে।

def query(model_predictor, text, kwargs = None):
    """Query the model predictor."""

    payload = {"text_inputs": text}
    if kwargs is not None:
        payload.update(kwargs)
        
    encoded_inp = json.dumps(payload).encode("utf-8")

    query_response = model_predictor.predict(
        encoded_inp,
        {
            "ContentType": "application/json",
            "Accept": "application/json",
        },
    )
    return query_response
 
def parse_response(query_response):
    """Parse response and return the generated texts."""

    model_predictions = json.loads(query_response)
    generated_texts = model_predictions["generated_texts"]
    return generated_texts

এরপরে, আমরা এন্ডপয়েন্টটি জিজ্ঞাসা করি এবং একটি নমুনা ইনপুট পাঠ্যে প্রতিক্রিয়াটি পার্স করি:

# text can be a single string or a list of strings
text = “[CLM]My name is Lewis and I like to"
kwargs = {"num_beams": 5, "no_repeat_ngram_size": 2, “max_length”: 50}
query_response = query_endpoint(model_predictor, text, kwargs)
generated_texts = parse_response(query_response)

Generated_texts: “travel and meet new people. I have been to many countries and I like to meet people from all over the world. If you are interested in meeting me, please feel free to send me a message and we can arrange a meeting.”

AlexaTM 20B বর্তমানে অনুমানের সময় 10 টেক্সট জেনারেশন প্যারামিটার সমর্থন করে: max_length, num_return_sequences, num_beams, no_repeat_ngram_size, temperature, early_stopping, do_sample, top_k, top_p, এবং seed. প্রতিটি প্যারামিটারের বৈধ মান এবং আউটপুটে তাদের প্রভাব সম্পর্কে বিস্তারিত তথ্যের জন্য, সহগামী নোটবুকটি দেখুন: সেজমেকার জাম্পস্টার্টে AlexaTM 20B-এর সাথে প্রসঙ্গ-শিক্ষা.

প্রেক্ষাপটে শিক্ষা

ইন-প্রেক্ষাপটে শিক্ষা নিম্নলিখিতগুলিকে বোঝায়: আমরা একটি প্রম্পট সহ ভাষা মডেল প্রদান করি, যা প্রশিক্ষণ ইনপুট-আউটপুট জোড়া নিয়ে গঠিত যা কার্য প্রদর্শন করে। আমরা প্রম্পটে একটি টেস্ট ইনপুট যুক্ত করি এবং ভাষা মডেলকে প্রম্পটে কন্ডিশনিং করে এবং পরবর্তী টোকেন বা শব্দগুলির পূর্বাভাস দিয়ে ভবিষ্যদ্বাণী করার অনুমতি দিই। কয়েকটি শট-লার্নিং সমস্যা সমাধানের জন্য এটি একটি অত্যন্ত কার্যকরী কৌশল, যেখানে আমরা কয়েকটি প্রশিক্ষণের নমুনা থেকে একটি কাজ শিখি।

পরবর্তীতে, আমরা দেখাই যে আপনি কীভাবে আলেক্সাটিএম 20B ব্যবহার করতে পারেন 1-শট এবং জিরো-শট কাজের জন্য ইন-কনটেক্সট শেখার মাধ্যমে। পূর্বের সিকোয়েন্স-টু-সিকোয়েন্স মডেলের বিপরীতে, অ্যালেক্সাটিএম 20B-কে ডিনোইসিং ছাড়াও কার্যকারণ ভাষা মডেলিংয়ের প্রশিক্ষণ দেওয়া হয়েছিল, যা এটিকে প্রসঙ্গ শিক্ষার জন্য একটি ভাল মডেল করে তোলে।

1-শট টেক্সট সারসংক্ষেপ

পাঠ্য সংক্ষিপ্তকরণ হল ডেটা সংক্ষিপ্ত করা এবং একটি সারাংশ তৈরি করা যা মূল পাঠ্যে উপস্থিত সবচেয়ে গুরুত্বপূর্ণ তথ্য উপস্থাপন করে। 1-শট টেক্সট সারসংক্ষেপ সেটিংকে বোঝায় যেখানে আমরা একটি একক প্রশিক্ষণ নমুনার উপর ভিত্তি করে পাঠ্যের সংক্ষিপ্তসার করতে শিখি। নিম্নলিখিত কোড থেকে একটি পাঠ্য সংক্ষিপ্তকরণ নমুনা XSUM ডেটাসেট:

train_article = "The announcement ends months of uncertainty for Cornish Language Partnership staff whose contracts had been due to end. Local government minister Andrew Stunnell said the three-year funding package for the service would help make sure the language survived. But he warned that long term funding should come from Cornwall. He said it was "important to make sure the Cornish were given the opportunity to put down sound foundations." "In the longer term support for the Cornish language is going to be something which is going to have to be based in Cornwall and will not come from London," he added. The Cornish Language Partnership's, Jennifer Lowe, said: "We can now plan for the future thanks to the funding." The United Nations recently upgraded the status of the Cornish language from "extinct" to "critically endangered". It is thought fewer than 500 people worldwide are fluent in the language.""
                
train_summary = "The government is spending nearly £400,000 to help save the Cornish language."

test_article = "Torrents of water brought down a suspended ceiling and damaged stock "
                "in the Victoria Centre store at about 22:40 BST on Tuesday. Managers "
                "had hoped for a weekend reopening but it is now closed "until "
                "further notice". Staff have been helping with the clean-up "
                "operation. Water poured through from a rooftop room, leaving the "
                "top floor under three inches of water and stock "significantly" "
                "damaged. A spokeswoman said: "Our teams are working around the "
                "clock to get the shop open as quickly as possible and we're sorry "
                "for the inconvenience this has caused to our customers.""

শুধুমাত্র একটি প্রশিক্ষণ নমুনা প্রদান করা হলে আমরা সংক্ষিপ্তকরণের জন্য নিম্নলিখিত প্রম্পট ব্যবহার করি। মডেল থেকে তৈরি করা পাঠ্যকে পরীক্ষা নিবন্ধের পূর্বাভাসিত সারাংশ হিসাবে ব্যাখ্যা করা হয়।

আউটপুট নিম্নরূপ:

AlexaTM 20B output: 'The top floor of a London department store has been flooded.'

1-শট প্রাকৃতিক ভাষা প্রজন্ম

ইনপুট টেক্সট দেওয়া টেক্সট ন্যারেটিভ তৈরি করার কাজ হল প্রাকৃতিক ভাষা প্রজন্ম। নিম্নলিখিত নমুনা থেকে একটি প্রশিক্ষণ নমুনা দেখায় E2E ডেটাসেট:

train_inp = "name[The Punter], food[Indian], priceRange[cheap]"
train_out = "The Punter provides Indian food in the cheap price range."

test_inp = "name[Blue Spice], eatType[coffee shop], area"

শুধুমাত্র একটি প্রশিক্ষণ নমুনা (1-শট) প্রদান করা হলে আমরা প্রাকৃতিক ভাষা তৈরির জন্য নিম্নলিখিত প্রম্পট ব্যবহার করি। মডেল থেকে উত্পন্ন পাঠ্যকে পরীক্ষার ইনপুটের জন্য পূর্বাভাসিত পাঠ্য বর্ণনা হিসাবে ব্যাখ্যা করা হয় (test_inp).

আউটপুট নিম্নরূপ:

AlexaTM 20B output: 'Blue Spice is a coffee shop in the city centre. '

1-শট মেশিন অনুবাদ

মেশিন ট্রান্সলেশন হল পাঠ্যকে এক ভাষা থেকে অন্য ভাষায় অনুবাদ করার কাজ। নিম্নলিখিত উদাহরণ থেকে একটি প্রশিক্ষণ নমুনা দেখায় WMT19 ডেটাসেট যেখানে আমাদের জার্মান থেকে ইংরেজিতে অনুবাদ করতে হবে:

train_inp = "Das Parlament erhebt sich zu einer Schweigeminute."
train_out = "The House rose and observed a minute' s silence"

test_inp = "Kleingärtner bewirtschaften den einstigen Grund von Bauern."

যখন শুধুমাত্র একটি প্রশিক্ষণ নমুনা (1-শট) প্রদান করা হয় তখন আমরা মেশিন অনুবাদের জন্য নিম্নলিখিত প্রম্পট ব্যবহার করি। মডেল থেকে জেনারেট করা পাঠ্যকে পরীক্ষা ইনপুটের অনুবাদ হিসাবে ব্যাখ্যা করা হয় (test_inp).

আউটপুট নিম্নরূপ:

AlexaTM 20B translation: 'Gardeners cultivate the former land of farmers.'

জিরো-শট নিষ্কাশনমূলক প্রশ্নের উত্তর

Extractive question answering হল প্রসঙ্গ অনুচ্ছেদ থেকে একটি প্রশ্নের উত্তর খোঁজার কাজ। নিম্নলিখিত একটি প্রসঙ্গ এবং থেকে একটি প্রশ্নের একটি উদাহরণ Squad v2 ডেটাসেট:

test_context = "The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) were the people who in the 10th and 11th centuries gave their name to Normandy, a region in France. They were descended from Norse ("Norman" comes from "Norseman") raiders and pirates from Denmark, Iceland and Norway who, under their leader Rollo, agreed to swear fealty to King Charles III of West Francia. Through generations of assimilation and mixing with the native Frankish and Roman-Gaulish populations, their descendants would gradually merge with the Carolingian-based cultures of West Francia. The distinct cultural and ethnic identity of the Normans emerged initially in the first half of the 10th century, and it continued to evolve over the succeeding centuries."
test_question = "In what country is Normandy located?"

মনে রাখবেন যে আমাদের কাজের জন্য আমাদের কাছে কোনো প্রশিক্ষণের নমুনা নেই। পরিবর্তে, আমরা প্রম্পটে শেষ শব্দটি সম্পর্কে একটি ডামি প্রশ্ন তৈরি করি, এর উপর ভিত্তি করে test_context (ডামি-শট)। অতএব, আমরা আসলে জিরো-শট এক্সট্রাক্টিভ প্রশ্নের উত্তর করছি।

যখন কোন প্রশিক্ষণ নমুনা প্রদান করা হয় না তখন আমরা উত্তোলনমূলক প্রশ্নের উত্তরের জন্য নিম্নলিখিত প্রম্পট ব্যবহার করি। মডেল থেকে উত্পন্ন পাঠ্য পরীক্ষার প্রশ্নের উত্তর হিসাবে ব্যাখ্যা করা হয়।

আউটপুট নিম্নরূপ:

AlexaTM 20B output: 'France'

প্রম্পট ইঞ্জিনিয়ারিং

প্রম্পট ইঞ্জিনিয়ারিং কখনও কখনও একটি শিল্প হতে পারে। এমনকি প্রম্পট টেমপ্লেটে ছোট পরিবর্তনের ফলে একটি নির্দিষ্ট টাস্কে মডেলের পারফরম্যান্সে উল্লেখযোগ্য পরিবর্তন হতে পারে। ভাল প্রম্পট টেমপ্লেট লেখার জন্য নীচে কয়েকটি উপদেশ দেওয়া হল। প্রথমত, এটা মনে রাখা গুরুত্বপূর্ণ যে মডেলটিকে বাস্তব বাক্যের গঠন (কারণমূলক ভাষা মডেলিং) শেখার জন্য প্রশিক্ষণ দেওয়া হয়েছিল। যেমন, আপনার প্রম্পট টেমপ্লেটটি স্বাভাবিক ভাষায় ব্যাকরণগত এবং কাঠামোগতভাবে সঠিক কিনা তা নিশ্চিত করা সর্বোত্তম। দ্বিতীয়ত, এই বিশেষ মডেলটি ডামি শটগুলি থেকে উপকৃত হয় যাতে এটিকে উত্তরে প্রত্যাশিত কাঠামো শেখাতে সাহায্য করে, যেমনটি উপরে প্রদর্শিত হয়েছে। তৃতীয়ত, বিভিন্ন প্রার্থীর প্রম্পট টেমপ্লেটের মাধ্যমে টাস্ক পারফরম্যান্স পরীক্ষা করার পরামর্শ দেওয়া হয়। প্রম্পটসোর্স এবং প্রাকৃতিক নির্দেশাবলী প্রম্পট টেমপ্লেট মানক করার জন্য দুটি ওপেন-সোর্স ফ্রেমওয়ার্ক, এবং তারা বিদ্যমান মডেলিং কাজের জন্য ব্যবহৃত বিভিন্ন উদাহরণ প্রম্পট প্রদান করে। উপরন্তু, এর পরিশিষ্ট বি AlexaTM 20B কাগজ কাগজে উপস্থাপিত ফলাফল তৈরি করতে ব্যবহৃত প্রম্পট টেমপ্লেট সরবরাহ করে। একটি ক্রমবর্ধমান উপ-ক্ষেত্র রয়েছে যা স্বয়ংক্রিয়ভাবে তৈরি করা এবং একটি কাজের জন্য সর্বোত্তম প্রম্পট শেখার জন্য নিবেদিত, যার মধ্যে রয়েছে প্রাকৃতিক ভাষা এবং অবিচ্ছিন্ন প্রম্পট। এটি এই টিউটোরিয়ালের সুযোগের বাইরে।

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে একটি SageMaker এন্ডপয়েন্টে AlexaTM 20B মডেল স্থাপন করা যায় এবং অনুমান চালানো যায়। আপনি আলেক্সাটিএম 20B মডেলটি ব্যবহার করতে পারেন ইন-কনটেক্সট-লার্নিং-এর জন্য বিভিন্ন শট শেখার কাজের জন্য। AlexaTM 20B সম্পর্কে আরও জানতে, পড়ুন 20B-প্যারামিটার আলেক্সা মডেল কয়েকটি শট শেখার ক্ষেত্রে নতুন চিহ্ন সেট করে বা মূল কাগজ.

লেখকরা এই প্রবর্তনকে সম্ভব করার জন্য ম্যাকিয়েজ রুদনিকি, জ্যাকব ডেবস্কি, আশিস খেতান, আনাস্তাসিয়া দুবিনিনা, ভিটালি কোরোলেভ, কার্ল আলবার্টসেন, সালেহ সোলতান এবং মারিউস মোমোটকোর প্রযুক্তিগত অবদানকে স্বীকার করতে চান।

জাম্পস্টার্ট সম্পর্কে

জাম্পস্টার্ট হল Amazon SageMaker-এর মেশিন লার্নিং (ML) হাব যেটি 350 টিরও বেশি প্রাক-প্রশিক্ষিত মডেল, অন্তর্নির্মিত অ্যালগরিদম এবং প্রি-বিল্ট সলিউশন টেমপ্লেট অফার করে যাতে আপনাকে দ্রুত ML-এর সাথে শুরু করতে সাহায্য করে। জাম্পস্টার্ট জনপ্রিয় মডেল হাব যেমন TensorFlow, PyTorch, Hugging Face, এবং MXNet থেকে অত্যাধুনিক মডেলগুলি হোস্ট করে, যেগুলি জনপ্রিয় ML কাজগুলি যেমন অবজেক্ট সনাক্তকরণ, পাঠ্য শ্রেণিবিন্যাস এবং পাঠ্য তৈরিকে সমর্থন করে। এমএল গবেষণা সম্প্রদায় সাম্প্রতিক বিকশিত বেশিরভাগ মডেলকে সর্বজনীনভাবে ব্যবহারের জন্য উপলব্ধ করার জন্য প্রচুর পরিমাণে প্রচেষ্টা চালিয়েছে। জাম্পস্টার্টের লক্ষ্য হল আপনাকে সঠিক ML মডেল এবং অ্যালগরিদম খুঁজে পেতে এবং অবিলম্বে মডেল তৈরি করা শুরু করা। বিশেষত, জাম্পস্টার্ট নিম্নলিখিত সুবিধাগুলি প্রদান করে:

• UI এবং SDK-এর সাথে সহজ অ্যাক্সেস - আপনি SageMaker Python SDK ব্যবহার করে বা Amazon SageMaker স্টুডিওতে JumpStart UI এর মাধ্যমে জাম্প স্টার্ট প্রোগ্রামে মডেল এবং অ্যালগরিদম অ্যাক্সেস করতে পারেন। বর্তমানে, AlexaTM 20B শুধুমাত্র SageMaker Python SDK-এর মাধ্যমে অ্যাক্সেসযোগ্য।
• সেজমেকার বিল্ট-ইন অ্যালগরিদম – জাম্পস্টার্ট 350টিরও বেশি বিল্ট-ইন অ্যালগরিদম এবং প্রাক-প্রশিক্ষিত মডেলের সাথে সংশ্লিষ্ট প্রশিক্ষণ স্ক্রিপ্ট (যদি সমর্থিত হয়), অনুমানকারী স্ক্রিপ্ট এবং উদাহরণ নোটবুক প্রদান করে। স্ক্রিপ্টগুলি প্রতিটি কাঠামো এবং কাজের জন্য অপ্টিমাইজ করা হয় এবং GPU সমর্থন, স্বয়ংক্রিয় মডেল টিউনিং এবং ক্রমবর্ধমান প্রশিক্ষণের মতো বৈশিষ্ট্যগুলি সরবরাহ করে। SageMaker দৃষ্টান্ত এবং বৈশিষ্ট্যগুলির বিরুদ্ধেও স্ক্রিপ্টগুলি পরীক্ষা করা হয় যাতে আপনি সামঞ্জস্যের সমস্যায় না পড়েন।
• পূর্ব-নির্মিত সমাধান - জাম্পস্টার্ট সাধারণ ML ব্যবহারের ক্ষেত্রে 23টি সমাধানের একটি সেট প্রদান করে, যেমন চাহিদা পূর্বাভাস এবং শিল্প ও আর্থিক অ্যাপ্লিকেশন, যা আপনি মাত্র কয়েকটি ক্লিকে স্থাপন করতে পারেন। সমাধান হল এন্ড-টু-এন্ড এমএল অ্যাপ্লিকেশন যা একটি নির্দিষ্ট ব্যবসায়িক ব্যবহারের ক্ষেত্রে সমাধান করতে বিভিন্ন AWS পরিষেবাকে একত্রিত করে। তারা দ্রুত স্থাপনার জন্য AWS ক্লাউডফর্মেশন টেমপ্লেট এবং রেফারেন্স আর্কিটেকচার ব্যবহার করে, যার মানে তারা সম্পূর্ণরূপে কাস্টমাইজযোগ্য।
• সমর্থন – SageMaker বিভিন্ন ধরনের সহায়তা প্রদান করে, যেমন SageMaker-এর নতুন বৈশিষ্ট্য বা ডিপ লার্নিং কন্টেইনার সংস্করণ প্রকাশিত হলে আপ-টু-ডেট সংস্করণ বজায় রাখা, এবং SageMaker পরিবেশে জাম্পস্টার্ট বিষয়বস্তু কীভাবে ব্যবহার করা যায় সে সম্পর্কে ডকুমেন্টেশন তৈরি করা।

জাম্পস্টার্ট সম্পর্কে আরও জানতে এবং আপনি কীভাবে ওপেন-সোর্স প্রাক-প্রশিক্ষিত মডেলগুলিকে অন্যান্য বিভিন্ন এমএল কাজের জন্য ব্যবহার করতে পারেন, নিম্নলিখিতগুলি দেখুন AWS re: উদ্ভাবন 2020 ভিডিও.

লেখক সম্পর্কে

বিবেক মদন ড অ্যামাজন সেজমেকার জাম্পস্টার্ট দলের একজন ফলিত বিজ্ঞানী। তিনি আরবানা-চ্যাম্পেইনের ইলিনয় বিশ্ববিদ্যালয় থেকে তার পিএইচডি পেয়েছিলেন এবং জর্জিয়া টেকের পোস্ট ডক্টরাল গবেষক ছিলেন। তিনি মেশিন লার্নিং এবং অ্যালগরিদম ডিজাইনের একজন সক্রিয় গবেষক এবং EMNLP, ICLR, COLT, FOCS এবং SODA কনফারেন্সে গবেষণাপত্র প্রকাশ করেছেন।

জ্যাক ফিটজজেরাল্ড আলেক্সা এআই-এর একজন সিনিয়র ফলিত বিজ্ঞানী, যেখানে তিনি বর্তমানে বৃহৎ ভাষা মডেলিং, বহুভাষিক পাঠ্য মডেলিং এবং মেশিন লার্নিং অপারেশনগুলিতে মনোনিবেশ করেন।

জোয়াও মৌরা অ্যামাজন ওয়েব সার্ভিসেসের একজন এআই/এমএল বিশেষজ্ঞ সলিউশন আর্কিটেক্ট। তিনি বেশিরভাগ ক্ষেত্রে এনএলপি ব্যবহারের ক্ষেত্রে এবং গ্রাহকদের গভীর শিক্ষার মডেল প্রশিক্ষণ এবং স্থাপনাকে অপ্টিমাইজ করতে সহায়তা করে। তিনি লো-কোড এমএল সমাধান এবং এমএল-বিশেষ হার্ডওয়্যারের সক্রিয় প্রবক্তা।

জুন জিতেছে সেজমেকার জাম্পস্টার্ট এবং বিল্ট-ইন অ্যালগরিদম সহ একজন পণ্য ব্যবস্থাপক। তিনি সেজমেকার গ্রাহকদের জন্য এমএল বিষয়বস্তু সহজে আবিষ্কারযোগ্য এবং ব্যবহারযোগ্য করার দিকে মনোনিবেশ করেন।

পুলকিত কাপুর আলেক্সা এআই-এর সাথে আলেক্সা টিচার মডেল প্রোগ্রামের প্রোডাক্ট লিড, অ্যালেক্সার মাল্টিটাস্ক মাল্টিমডাল ফাউন্ডেশন মডেলগুলির সাধারণ বুদ্ধিমত্তা এবং অ্যাপ্লিকেশনের উপর ফোকাস করে।