ব্যয়-দক্ষ, উচ্চ-পারফরম্যান্স AI অনুমানের জন্য Amazon EC2 DL2q উদাহরণ এখন সাধারণভাবে উপলব্ধ | আমাজন ওয়েব সার্ভিসেস

এটি Qualcomm AI থেকে AK রায়ের একটি অতিথি পোস্ট।

আমাজন ইলাস্টিক কম্পিউট ক্লাউড (অ্যামাজন EC2) Qualcomm AI 2 স্ট্যান্ডার্ড এক্সিলারেটর দ্বারা চালিত DL100q দৃষ্টান্তগুলি, ক্লাউডে ডিপ লার্নিং (DL) কাজের চাপগুলিকে সাশ্রয়ীভাবে স্থাপন করতে ব্যবহার করা যেতে পারে। এগুলি কোয়ালকম ডিভাইসগুলিতে স্থাপন করা ডিএল ওয়ার্কলোডগুলির কার্যক্ষমতা এবং নির্ভুলতা বিকাশ এবং যাচাই করতেও ব্যবহার করা যেতে পারে। কোয়ালকমের কৃত্রিম বুদ্ধিমত্তা (AI) প্রযুক্তিকে ক্লাউডে আনার প্রথম দৃষ্টান্ত হল DL2q দৃষ্টান্ত।

আটটি Qualcomm AI 100 স্ট্যান্ডার্ড এক্সিলারেটর এবং মোট এক্সিলারেটর মেমরির 128 GiB সহ, গ্রাহকরা জনপ্রিয় জেনারেটিভ AI অ্যাপ্লিকেশন, যেমন বিষয়বস্তু তৈরি, পাঠ্য সংক্ষিপ্তকরণ এবং ভার্চুয়াল সহকারীর পাশাপাশি প্রাকৃতিক ভাষা প্রক্রিয়াকরণের জন্য ক্লাসিক AI অ্যাপ্লিকেশনগুলি চালানোর জন্য DL2q দৃষ্টান্ত ব্যবহার করতে পারেন। এবং কম্পিউটার দৃষ্টি। উপরন্তু, Qualcomm AI 100 অ্যাক্সিলারেটর স্মার্টফোন, স্বায়ত্তশাসিত ড্রাইভিং, ব্যক্তিগত কম্পিউটার এবং বর্ধিত রিয়েলিটি হেডসেট জুড়ে ব্যবহৃত একই AI প্রযুক্তি বৈশিষ্ট্যযুক্ত, তাই DL2q দৃষ্টান্তগুলি স্থাপনের আগে এই AI ওয়ার্কলোডগুলি বিকাশ এবং যাচাই করতে ব্যবহার করা যেতে পারে।

নতুন DL2q উদাহরণ হাইলাইট

প্রতিটি DL2q ইন্সট্যান্সে আটটি কোয়ালকম ক্লাউড AI100 এক্সিলারেটর অন্তর্ভুক্ত করা হয়েছে, যার একটি সমষ্টিগত পারফরম্যান্সের 2.8টির বেশি PetaOps Int8 ইনফারেন্স পারফরম্যান্স এবং 1.4 PetaFlops FP16 ইনফারেন্স পারফরম্যান্স। উদাহরণটিতে AI কোরগুলির একটি মোট 112, এক্সিলারেটর মেমরির ক্ষমতা 128 GB এবং মেমরি ব্যান্ডউইথ 1.1 TB প্রতি সেকেন্ডে রয়েছে।

প্রতিটি DL2q ইন্সট্যান্সে 96টি vCPU আছে, একটি সিস্টেম মেমরির ক্ষমতা 768 GB এবং নেটওয়ার্কিং ব্যান্ডউইথ 100 Gbps সমর্থন করে। আমাজন ইলাস্টিক ব্লক স্টোর (আমাজন ইবিএস) 19 জিবিপিএস স্টোরেজ।

Qualcomm Cloud AI100 এক্সিলারেটর উদ্ভাবন

ক্লাউড AI100 অ্যাক্সিলারেটর সিস্টেম-অন-চিপ (SoC) হল একটি উদ্দেশ্য-নির্মিত, মাপযোগ্য মাল্টি-কোর আর্কিটেকচার, যা ডেটাসেন্টার থেকে প্রান্ত পর্যন্ত বিস্তৃত গভীর-শিক্ষার ব্যবহার-কেসগুলির একটি বিস্তৃত পরিসরকে সমর্থন করে। SoC 126 MB এর একটি শিল্প-নেতৃস্থানীয় অন-ডাই SRAM ক্ষমতা সহ স্কেলার, ভেক্টর এবং টেনসর কম্পিউট কোর নিয়োগ করে। কোরগুলি একটি উচ্চ-ব্যান্ডউইথ কম-ল্যাটেন্সি নেটওয়ার্ক-অন-চিপ (NoC) জালের সাথে আন্তঃসংযুক্ত।

AI100 অ্যাক্সিলারেটর মডেল এবং ব্যবহারের ক্ষেত্রে বিস্তৃত এবং ব্যাপক পরিসর সমর্থন করে। নীচের টেবিলটি মডেল সমর্থনের পরিসর হাইলাইট করে।

* বেশিরভাগ স্বয়ংচালিত নেটওয়ার্কগুলি পৃথক নেটওয়ার্কগুলির সংমিশ্রণ নিয়ে গঠিত যৌগিক নেটওয়ার্ক।

DL2q এক্সিলারেটরের বড় অন-ডাই এসআরএএম উন্নত কর্মক্ষমতা কৌশল যেমন ওজন সংরক্ষণের জন্য MX6 মাইক্রো-এক্সপোনেন্ট নির্ভুলতা এবং এক্সিলারেটর-টু-অ্যাক্সিলারেটর যোগাযোগের জন্য MX9 মাইক্রো-এক্সপোনেন্ট নির্ভুলতার দক্ষ বাস্তবায়ন সক্ষম করে। মাইক্রো-এক্সপোনেন্ট প্রযুক্তি নিম্নলিখিত ওপেন কম্পিউট প্রজেক্ট (ওসিপি) শিল্প ঘোষণায় বর্ণিত হয়েছে: এএমডি, আর্ম, ইন্টেল, মেটা, মাইক্রোসফ্ট, এনভিআইডিএ এবং কোয়ালকম স্ট্যান্ডার্ডাইজ নেক্সট-জেনারেশন ন্যারো প্রিসিশন ডেটা ফরম্যাট AI এর জন্য » ওপেন কম্পিউট প্রজেক্ট.

উদাহরণ ব্যবহারকারী পারফরম্যান্স-প্রতি-খরচকে সর্বাধিক করার জন্য নিম্নলিখিত কৌশলটি ব্যবহার করতে পারেন:

• অন-অ্যাক্সিলারেটর DDR মেমরিতে MX6 মাইক্রো-এক্সপোনেন্ট নির্ভুলতা ব্যবহার করে ওজন সংরক্ষণ করুন। MX6 নির্ভুলতা ব্যবহার করে উপলব্ধ মেমরির ক্ষমতা এবং মেমরি-ব্যান্ডউইথের সর্বোচ্চ ব্যবহার করে সেরা-শ্রেণীর থ্রুপুট এবং লেটেন্সি প্রদান করতে।
• কার্ডে উচ্চতর অন-চিপ SRAM এবং অতিরিক্ত TOP ব্যবহার করার সময়, উচ্চ-কার্যক্ষমতা কম-বিলম্বিত MX16 থেকে FP6 কার্নেলগুলি বাস্তবায়নের জন্য প্রয়োজনীয় ব্যবহারের ক্ষেত্রে সঠিকতা প্রদান করতে FP16-এ গণনা করুন।
• একটি অপ্টিমাইজ করা ব্যাচিং কৌশল এবং উচ্চতর ব্যাচ-আকার ব্যবহার করে ওজনের পুনঃব্যবহার সর্বাধিক করার জন্য উপলব্ধ বৃহৎ অন-চিপ SRAM ব্যবহার করে, অন-চিপ অ্যাক্টিভেশনগুলিকে যতটা সম্ভব সম্ভব ধরে রেখে।

DL2q AI স্ট্যাক এবং টুলচেইন

DL2q দৃষ্টান্তের সাথে Qualcomm AI স্ট্যাক রয়েছে যা ক্লাউড এবং অন্যান্য Qualcomm পণ্যগুলিতে Qualcomm AI জুড়ে একটি সামঞ্জস্যপূর্ণ বিকাশকারী অভিজ্ঞতা প্রদান করে। একই Qualcomm AI স্ট্যাক এবং বেস AI প্রযুক্তি DL2q দৃষ্টান্ত এবং Qualcomm এজ ডিভাইসে চলে, যা গ্রাহকদের তাদের ক্লাউড, স্বয়ংচালিত, ব্যক্তিগত কম্পিউটার, বর্ধিত বাস্তবতা এবং স্মার্টফোন ডেভেলপমেন্ট এনভায়রনমেন্ট জুড়ে একীভূত API সহ একটি ধারাবাহিক বিকাশকারী অভিজ্ঞতা প্রদান করে।

টুলচেইন ইনস্ট্যান্স ব্যবহারকারীকে পূর্বে প্রশিক্ষিত মডেলকে দ্রুত জাহাজে আনতে, উদাহরণের ক্ষমতার জন্য মডেলটিকে কম্পাইল এবং অপ্টিমাইজ করতে এবং পরবর্তীতে নিম্নলিখিত চিত্রে দেখানো তিনটি ধাপে উৎপাদন অনুমান ব্যবহারের ক্ষেত্রে সংকলিত মডেলগুলি স্থাপন করতে সক্ষম করে।

একটি মডেলের কর্মক্ষমতা টিউনিং সম্পর্কে আরও জানতে, দেখুন Cloud AI 100 কী পারফরম্যান্স প্যারামিটার নথিপত্র।

DL2q দৃষ্টান্ত দিয়ে শুরু করুন

এই উদাহরণে, আপনি একটি প্রাক-প্রশিক্ষিত কম্পাইল এবং স্থাপন করুন BERT মডেল থেকে আলিঙ্গন মুখ একটি EC2 DL2q দৃষ্টান্তে একটি পূর্ব-নির্মিত উপলব্ধ DL2q AMI ব্যবহার করে, চারটি ধাপে।

আপনি হয় একটি পূর্ব-নির্মিত ব্যবহার করতে পারেন কোয়ালকম ডিএলএএমআই উদাহরণে বা একটি Amazon Linux2 AMI দিয়ে শুরু করুন এবং এতে উপলব্ধ Cloud AI 2 প্ল্যাটফর্ম এবং Apps SDK সহ আপনার নিজস্ব DL100q AMI তৈরি করুন অ্যামাজন সিম্পল স্টোরেজ সার্ভিস (অ্যামাজন এস 3) বালতি: s3://ec2-linux-qualcomm-ai100-sdks/latest/.

যে পদক্ষেপগুলি অনুসরণ করে তা পূর্ব-নির্মিত DL2q AMI ব্যবহার করে, কোয়ালকম বেস AL2 DLAMI.

Qualcomm Base AL2 DLAMI AMI-এর সাথে আপনার DL2q ইন্সট্যান্স অ্যাক্সেস করতে SSH ব্যবহার করুন এবং ধাপ 1 থেকে 4 অনুসরণ করুন।

ধাপ 1. পরিবেশ সেট আপ করুন এবং প্রয়োজনীয় প্যাকেজ ইনস্টল করুন

1. পাইথন 3.8 ইনস্টল করুন।

   sudo amazon-linux-extras install python3.8

2. Python 3.8 ভার্চুয়াল পরিবেশ সেট আপ করুন।

   python3.8 -m venv /home/ec2-user/userA/pyenv

3. Python 3.8 ভার্চুয়াল পরিবেশ সক্রিয় করুন।

   source /home/ec2-user/userA/pyenv/bin/activate

4. প্রয়োজনীয় প্যাকেজ ইনস্টল করুন, দেখানো হয়েছে requirements.txt নথি Qualcomm পাবলিক Github সাইটে উপলব্ধ।

   pip3 install -r requirements.txt

5. প্রয়োজনীয় লাইব্রেরি আমদানি করুন।

   import transformers from transformers import AutoTokenizer, AutoModelForMaskedLM
   import sys
   import qaic
   import os
   import torch
   import onnx
   from onnxsim import simplify
   import argparse
   import numpy as np

ধাপ 2. মডেল আমদানি করুন

1. মডেলটি আমদানি করুন এবং টোকেনাইজ করুন।

   model_card = 'bert-base-cased'
   model = AutoModelForMaskedLM.from_pretrained(model_card)
   tokenizer = AutoTokenizer.from_pretrained(model_card)

2. একটি নমুনা ইনপুট সংজ্ঞায়িত করুন এবং নিষ্কাশন করুন inputIds এবং attentionMask.

   sentence = "The dog [MASK] on the mat."
   encodings = tokenizer(sentence, max_length=128, truncation=True, padding="max_length", return_tensors='pt')
   inputIds = encodings["input_ids"]
   attentionMask = encodings["attention_mask"]

3. মডেলটিকে ONNX-এ রূপান্তর করুন, যা তারপর কম্পাইলারের কাছে পাঠানো যেতে পারে।

   # Set dynamic dims and axes.
   dynamic_dims = {0: 'batch', 1 : 'sequence'}
   dynamic_axes = { "input_ids" : dynamic_dims, "attention_mask" : dynamic_dims, "logits" : dynamic_dims
   }
   input_names = ["input_ids", "attention_mask"]
   inputList = [inputIds, attentionMask] torch.onnx.export( model, args=tuple(inputList), f=f"{gen_models_path}/{model_base_name}.onnx", verbose=False, input_names=input_names, output_names=["logits"], dynamic_axes=dynamic_axes, opset_version=11,
   )

4. আপনি মডেলটি FP16 নির্ভুলতায় চালাবেন। সুতরাং, আপনাকে পরীক্ষা করতে হবে যে মডেলটিতে FP16 সীমার বাইরে কোনো ধ্রুবক রয়েছে কিনা। মডেল পাস fix_onnx_fp16 প্রয়োজনীয় সংশোধন সহ নতুন ONNX ফাইল তৈরি করতে ফাংশন।

   from onnx import numpy_helper def fix_onnx_fp16( gen_models_path: str, model_base_name: str,
   ) -> str: finfo = np.finfo(np.float16) fp16_max = finfo.max fp16_min = finfo.min model = onnx.load(f"{gen_models_path}/{model_base_name}.onnx") fp16_fix = False for tensor in onnx.external_data_helper._get_all_tensors(model): nptensor = numpy_helper.to_array(tensor, gen_models_path) if nptensor.dtype == np.float32 and ( np.any(nptensor > fp16_max) or np.any(nptensor < fp16_min) ): # print(f'tensor value : {nptensor} above {fp16_max} or below {fp16_min}') nptensor = np.clip(nptensor, fp16_min, fp16_max) new_tensor = numpy_helper.from_array(nptensor, tensor.name) tensor.CopyFrom(new_tensor) fp16_fix = True if fp16_fix: # Save FP16 model print("Found constants out of FP16 range, clipped to FP16 range") model_base_name += "_fix_outofrange_fp16" onnx.save(model, f=f"{gen_models_path}/{model_base_name}.onnx") print(f"Saving modified onnx file at {gen_models_path}/{model_base_name}.onnx") return model_base_name fp16_model_name = fix_onnx_fp16(gen_models_path=gen_models_path, model_base_name=model_base_name)

ধাপ 3. মডেল কম্পাইল

সার্জারির qaic-exec কমান্ড লাইন ইন্টারফেস (CLI) কম্পাইলার টুল মডেল কম্পাইল করতে ব্যবহার করা হয়। এই কম্পাইলারের ইনপুট হল ONNX ফাইলটি ধাপ 2-এ উত্পন্ন। কম্পাইলার একটি বাইনারি ফাইল তৈরি করে (যাকে বলা হয় QPCজন্য কোয়ালকম প্রোগ্রাম কন্টেইনার) দ্বারা সংজ্ঞায়িত পথে -aic-binary-dir যুক্তি.

নীচের কম্পাইল কমান্ডে, আপনি মডেলটি কম্পাইল করতে চারটি এআই কম্পিউট কোর এবং একটি ব্যাচের আকার ব্যবহার করেন।

/opt/qti-aic/exec/qaic-exec -m=bert-base-cased/generatedModels/bert-base-cased_fix_outofrange_fp16.onnx -aic-num-cores=4 -convert-to-fp16 -onnx-define-symbol=batch,1 -onnx-define-symbol=sequence,128 -aic-binary-dir=bert-base-cased/generatedModels/bert-base-cased_fix_outofrange_fp16_qpc -aic-hw -aic-hw-version=2.0 -compile-only

কিউপিসি তৈরি হয় bert-base-cased/generatedModels/bert-base-cased_fix_outofrange_fp16_qpc ফোল্ডার.

ধাপ 4. মডেল চালান

DL100q দৃষ্টান্তে একটি Cloud AI2 Qualcomm অ্যাক্সিলারেটরে অনুমান চালানোর জন্য একটি সেশন সেট আপ করুন৷

Qualcomm qaic Python লাইব্রেরি হল API-এর একটি সেট যা Cloud AI100 অ্যাক্সিলারেটরে অনুমান চালানোর জন্য সমর্থন প্রদান করে।

1. সেশনের একটি উদাহরণ তৈরি করতে সেশন API কল ব্যবহার করুন। সেশন এপিআই কল হল qaic পাইথন লাইব্রেরি ব্যবহার করার এন্ট্রি পয়েন্ট।

   qpcPath = 'bert-base-cased/generatedModels/bert-base-cased_fix_outofrange_fp16_qpc' bert_sess = qaic.Session(model_path= qpcPath+'/programqpc.bin', num_activations=1) bert_sess.setup() # Loads the network to the device. # Here we are reading out all the input and output shapes/types
   input_shape, input_type = bert_sess.model_input_shape_dict['input_ids']
   attn_shape, attn_type = bert_sess.model_input_shape_dict['attention_mask']
   output_shape, output_type = bert_sess.model_output_shape_dict['logits'] #create the input dictionary for given input sentence
   input_dict = {"input_ids": inputIds.numpy().astype(input_type), "attention_mask" : attentionMask.numpy().astype(attn_type)} #run inference on Cloud AI 100
   output = bert_sess.run(input_dict)

2. এর সাথে আউটপুট বাফার থেকে ডেটা পুনর্গঠন করুন output_shape এবং output_type.

   token_logits = np.frombuffer(output['logits'], dtype=output_type).reshape(output_shape)

3. উত্পাদিত আউটপুট ডিকোড করুন।

   mask_token_logits = torch.from_numpy(token_logits[0, mask_token_index, :]).unsqueeze(0)
   top_5_results = torch.topk(mask_token_logits, 5, dim=1)
   print("Model output (top5) from Qualcomm Cloud AI 100:")
   for i in range(5): idx = top_5_results.indices[0].tolist()[i] val = top_5_results.values[0].tolist()[i] word = tokenizer.decode([idx]) print(f"{i+1} :(word={word}, index={idx}, logit={round(val,2)})")

এখানে ইনপুট বাক্যটির আউটপুট রয়েছে "মাদুরের উপর কুকুর [মাস্ক]।"

1 :(word=sat, index=2068, logit=11.46)
2 :(word=landed, index=4860, logit=11.11)
3 :(word=spat, index=15732, logit=10.95)
4 :(word=settled, index=3035, logit=10.84)
5 :(word=was, index=1108, logit=10.75)

এটাই. মাত্র কয়েকটি ধাপে, আপনি একটি Amazon EC2 DL2q দৃষ্টান্তে একটি PyTorch মডেল কম্পাইল এবং চালান৷ DL2q দৃষ্টান্তে অনবোর্ডিং এবং কম্পাইলিং মডেল সম্পর্কে আরও জানতে, দেখুন Cloud AI100 টিউটোরিয়াল ডকুমেন্টেশন।

কোন DL মডেল আর্কিটেকচারগুলি AWS DL2q দৃষ্টান্ত এবং বর্তমান মডেল সমর্থন ম্যাট্রিক্সের জন্য উপযুক্ত সে সম্পর্কে আরও জানতে, দেখুন Qualcomm Cloud AI100 ডকুমেন্টেশন.

এখন পর্যাপ্ত

আপনি US পশ্চিম (ওরেগন) এবং ইউরোপ (ফ্রাঙ্কফুর্ট) AWS অঞ্চলে আজ DL2q দৃষ্টান্ত চালু করতে পারেন চাহিদা সাপেক্ষে, সংরক্ষিত, এবং দাগ দৃষ্টান্ত, অথবা একটি অংশ হিসাবে সঞ্চয় পরিকল্পনা. Amazon EC2 এর সাথে যথারীতি, আপনি যা ব্যবহার করেন তার জন্যই আপনি অর্থ প্রদান করেন। আরও তথ্যের জন্য, দেখুন Amazon EC2 মূল্য.

DL2q উদাহরণ ব্যবহার করে স্থাপন করা যেতে পারে AWS ডিপ লার্নিং AMIs (DLAMI), এবং কন্টেইনার ছবি যেমন পরিচালিত পরিষেবার মাধ্যমে উপলব্ধ আমাজন সেজমেকার, আমাজন ইলাস্টিক কুবারনেটস সার্ভিস (অ্যামাজন ইকেএস), আমাজন ইলাস্টিক কন্টেইনার সার্ভিস (অ্যামাজন ইসিএস), এবং AWS সমান্তরাল ক্লাস্টার.

আরও জানতে, দেখুন Amazon EC2 DL2q উদাহরণ পৃষ্ঠা, এবং প্রতিক্রিয়া পাঠান AWS re:EC2 এর জন্য পোস্ট অথবা আপনার সাধারণ AWS সহায়তা পরিচিতির মাধ্যমে।

লেখক সম্পর্কে

এ কে রায় ক্লাউড এবং ডেটাসেন্টার এআই পণ্য এবং সমাধানগুলির জন্য কোয়ালকমের পণ্য ব্যবস্থাপনার একজন পরিচালক। পণ্যের কৌশল এবং উন্নয়নে তার 20 বছরেরও বেশি অভিজ্ঞতা রয়েছে, যার বর্তমান ফোকাস সর্বোত্তম-শ্রেণীর পারফরম্যান্স এবং পারফরম্যান্স/$ এন্ড-টু-এন্ড সমাধানের জন্য ক্লাউডে AI অনুমানের জন্য, ব্যবহারের ক্ষেত্রে বিস্তৃত পরিসরের জন্য, GenAI, LLMs, Auto এবং Hybrid AI সহ।

জিয়ানিং ল্যাং AWS ওয়ার্ল্ডওয়াইড স্পেশালিস্ট অর্গানাইজেশনের (WWSO) একজন প্রধান সমাধান স্থপতি। HPC এবং AI ক্ষেত্রে তার 15 বছরের বেশি কাজের অভিজ্ঞতা রয়েছে। AWS-এ, তিনি গ্রাহকদের ত্বরিত কম্পিউটিং দৃষ্টান্তগুলিতে তাদের AI/ML কাজের চাপ স্থাপন, অপ্টিমাইজ এবং স্কেল করতে সহায়তা করার উপর ফোকাস করেন। তিনি HPC এবং AI ক্ষেত্রের কৌশলগুলিকে একত্রিত করার বিষয়ে উত্সাহী। জিয়ানিং বোল্ডারের কলোরাডো বিশ্ববিদ্যালয় থেকে কম্পিউটেশনাল ফিজিক্সে পিএইচডি ডিগ্রি অর্জন করেছেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/amazon-ec2-dl2q-instance-for-cost-efficient-high-performance-ai-inference-is-now-generally-available/