مدل‌های تولید کد Code Llama از Meta اکنون از طریق Amazon SageMaker JumpStart | در دسترس هستند خدمات وب آمازون

امروز، ما با هیجان اعلام می کنیم که مدل های پایه Code Llama، توسعه یافته توسط Meta، برای مشتریان در دسترس هستند. Amazon SageMaker JumpStart برای استقرار با یک کلیک برای اجرای استنتاج. Code Llama یک مدل زبان بزرگ پیشرفته (LLM) است که قادر به تولید کد و زبان طبیعی در مورد کد از هر دو درخواست کد و زبان طبیعی است. کد لاما برای تحقیقات و استفاده تجاری رایگان است. می‌توانید این مدل را با SageMaker JumpStart امتحان کنید، یک مرکز یادگیری ماشین (ML) که دسترسی به الگوریتم‌ها، مدل‌ها و راه‌حل‌های ML را فراهم می‌کند تا بتوانید به سرعت با ML شروع کنید. در این پست، نحوه کشف و استقرار مدل Code Llama از طریق SageMaker JumpStart را بررسی می کنیم.

کد لاما چیست؟

Code Llama مدلی است که توسط متا که در بالای Llama 2 ساخته شده است و یک مدل پیشرفته است که برای بهبود بهره وری برای کارهای برنامه نویسی برای توسعه دهندگان با کمک به آنها در ایجاد کد با کیفیت بالا و مستند طراحی شده است. این مدل‌ها عملکرد پیشرفته‌ای را در Python، C++، Java، PHP، C#، TypeScript و Bash نشان می‌دهند و این پتانسیل را دارند که در زمان توسعه‌دهندگان صرفه‌جویی کنند و گردش کار نرم‌افزار را کارآمدتر کنند. این در سه نوع ارائه می شود که برای پوشش طیف گسترده ای از کاربردها مهندسی شده است: مدل پایه (Code Llama)، یک مدل تخصصی پایتون (Code Llama-Python) و یک مدل مطابق دستورالعمل برای درک دستورالعمل های زبان طبیعی (Code Llama-Instruct). ). همه انواع Code Llama در سه اندازه ارائه می شوند: پارامترهای 7B، 13B و 34B. انواع پایه و دستورالعمل 7B و 13B از پر کردن بر اساس محتوای اطراف پشتیبانی می کنند و آنها را برای برنامه های دستیار کد ایده آل می کند.

این مدل‌ها با استفاده از Llama 2 به‌عنوان پایه طراحی شدند و سپس بر روی 500 میلیارد توکن داده‌های کد آموزش دیدند، با نسخه تخصصی پایتون که با افزایش 100 میلیارد توکن آموزش داده شد. مدل‌های Code Llama نسل‌های پایداری را با حداکثر 100,000 توکن زمینه ارائه می‌کنند. همه مدل‌ها بر روی دنباله‌های 16,000 توکن آموزش داده شده‌اند و بهبودهایی را در ورودی‌ها با حداکثر 100,000 توکن نشان می‌دهند.

مدل تحت همین موجود در دسترس است مجوز انجمن به عنوان Llama 2.

SageMaker JumpStart چیست؟

با SageMaker JumpStart، پزشکان ML می‌توانند از بین فهرست رو به رشدی از بهترین مدل‌های فونداسیون انتخاب کنند. پزشکان ML می توانند مدل های پایه را به صورت اختصاصی به کار گیرند آمازون SageMaker نمونه هایی در یک محیط ایزوله شبکه و سفارشی کردن مدل ها با استفاده از SageMaker برای آموزش و استقرار مدل.

اکنون می‌توانید مدل‌های Code Llama را با چند کلیک کشف و اجرا کنید Amazon SageMaker Studio یا به صورت برنامه نویسی از طریق SageMaker Python SDK، به شما امکان می دهد عملکرد مدل و کنترل های MLOps را با ویژگی های SageMaker مانند خطوط لوله آمازون SageMaker, دیباگر Amazon SageMaker، یا سیاهههای مربوط به کانتینر. این مدل در یک محیط امن AWS و تحت کنترل های VPC شما مستقر شده است و به اطمینان از امنیت داده ها کمک می کند. مدل های کد لاما قابل کشف هستند و می توانند در مناطق شرقی ایالات متحده (شمال ویرجینیا)، غرب ایالات متحده (اورگان) و اروپا (ایرلند) مستقر شوند.

مشتریان برای استقرار مدل ویزا SageMaker SDK باید EULA را بپذیرند.

مدل ها را کشف کنید

می توانید از طریق SageMaker JumpStart در SageMaker Studio UI و SageMaker Python SDK به مدل های بنیاد Code Llama دسترسی پیدا کنید. در این بخش به نحوه کشف مدل ها در SageMaker Studio می پردازیم.

SageMaker Studio یک محیط توسعه یکپارچه (IDE) است که یک رابط بصری مبتنی بر وب را فراهم می کند که در آن می توانید به ابزارهای ساخته شده برای انجام تمام مراحل توسعه ML، از آماده سازی داده ها تا ساخت، آموزش، و استقرار مدل های ML خود دسترسی داشته باشید. برای جزئیات بیشتر در مورد نحوه شروع و راه اندازی SageMaker Studio، مراجعه کنید Amazon SageMaker Studio.

در SageMaker Studio، می‌توانید به SageMaker JumpStart دسترسی داشته باشید که شامل مدل‌های از پیش آموزش‌دیده، نوت‌بوک‌ها و راه‌حل‌های از پیش ساخته شده است. راه حل های از پیش ساخته شده و خودکار.

در صفحه فرود SageMaker JumpStart، می توانید راه حل ها، مدل ها، نوت بوک ها و منابع دیگر را جستجو کنید. می توانید مدل های Code Llama را در قسمت پیدا کنید مدل های بنیاد: تولید متن چرخ فلک.

شما همچنین می توانید مدل های دیگر را با انتخاب پیدا کنید تمام مدل های تولید متن را کاوش کنید یا جستجوی کد لاما.

می‌توانید کارت مدل را برای مشاهده جزئیات مدل مانند مجوز، داده‌های مورد استفاده برای آموزش و نحوه استفاده انتخاب کنید. همچنین دو دکمه پیدا خواهید کرد، گسترش و نوت بوک را باز کنید، که به شما در استفاده از مدل کمک می کند.

گسترش

وقتی انتخاب کردید گسترش و با پذیرش شرایط، استقرار آغاز خواهد شد. از طرف دیگر، می توانید با انتخاب از طریق دفترچه یادداشت نمونه مستقر شوید نوت بوک را باز کنید. دفترچه یادداشت نمونه ای که راهنمایی سرتاسری در مورد نحوه استقرار مدل برای استنتاج و پاکسازی منابع ارائه می دهد.

برای استقرار با استفاده از نوت بوک، با انتخاب یک مدل مناسب شروع می کنیم، مشخص شده توسط model_id. می توانید هر یک از مدل های انتخاب شده را با کد زیر در SageMaker مستقر کنید:

from sagemaker.jumpstart.model import JumpStartModel model = JumpStartModel(model_id="meta-textgeneration-llama-codellama-7b")
predictor = model.deploy()

این مدل را در SageMaker با تنظیمات پیش‌فرض، از جمله نوع نمونه پیش‌فرض و تنظیمات پیش‌فرض VPC، مستقر می‌کند. شما می توانید این تنظیمات را با تعیین مقادیر غیر پیش فرض در آن تغییر دهید JumpStartModel. پس از استقرار، می توانید استنتاج را در برابر نقطه پایانی مستقر شده از طریق پیش بینی SageMaker اجرا کنید:

payload = { "inputs": "<s>[INST] How do I deploy a model on Amazon SageMaker? [/INST]", "parameters": {"max_new_tokens": 512, "temperature": 0.2, "top_p": 0.9}
}
predictor.predict(payload, custom_attributes="accept_eula=true")

توجه داشته باشید که به طور پیش فرض، accept_eula تنظیم شده است false. باید تنظیم کنید accept_eula=true برای فراخوانی موفقیت آمیز نقطه پایانی با انجام این کار، موافقت نامه مجوز کاربر و خط مشی استفاده قابل قبول را همانطور که قبلا ذکر شد می پذیرید. شما همچنین می توانید دانلود قرارداد مجوز

Custom_attributes برای عبور EULA جفت های کلید/مقدار استفاده می شود. کلید و مقدار با = و جفت ها با ; از هم جدا می شوند. اگر کاربر یک کلید را بیش از یک بار ارسال کند، آخرین مقدار نگه داشته شده و به کنترل کننده اسکریپت ارسال می شود (در این مورد، برای منطق شرطی استفاده می شود). به عنوان مثال، اگر accept_eula=false; accept_eula=true سپس به سرور ارسال می شود accept_eula=true نگه داشته می شود و به کنترل کننده اسکریپت منتقل می شود.

پارامترهای استنتاج فرآیند تولید متن را در نقطه پایانی کنترل می کنند. حداکثر کنترل توکن های جدید به اندازه خروجی تولید شده توسط مدل اشاره دارد. توجه داشته باشید که این عدد با تعداد کلمات یکسان نیست زیرا واژگان مدل با واژگان زبان انگلیسی یکسان نیست و هر نشانه ممکن است یک کلمه زبان انگلیسی نباشد. دما تصادفی بودن خروجی را کنترل می کند. دمای بالاتر منجر به خروجی‌های خلاقانه‌تر و توهم‌آمیزتر می‌شود. تمام پارامترهای استنتاج اختیاری هستند.

جدول زیر تمام مدل‌های Code Llama موجود در SageMaker JumpStart را به همراه شناسه‌های مدل، انواع نمونه‌های پیش‌فرض و حداکثر توکن‌های پشتیبانی شده (مجموع تعداد نشانه‌های ورودی و تعداد توکن‌های تولید شده برای همه درخواست‌های همزمان) ارائه می‌کند. این مدل ها

در حالی که مدل‌های Code Llama بر روی طول زمینه 16,000 توکن آموزش داده شده‌اند، مدل‌ها عملکرد خوبی را در پنجره‌های زمینه بزرگ‌تر گزارش کرده‌اند. حداکثر ستون نشانه های پشتیبانی شده در جدول قبل، حد بالایی در پنجره زمینه پشتیبانی شده در نوع نمونه پیش فرض است. از آنجایی که مدل Code Llama 7B تنها می‌تواند از 10,000 توکن در نمونه ml.g5.2xlarge پشتیبانی کند، توصیه می‌کنیم در صورتی که زمینه‌های بزرگ‌تری برای برنامه شما نیاز است، نسخه مدل 13B یا 34B را اجرا کنید.

به طور پیش فرض، همه مدل ها برای وظایف تولید کد کار می کنند. مدل پایه و دستورالعمل هر دو به وظایف تکمیلی پاسخ می دهند، اگرچه مدل پایه خروجی با کیفیت بهتری برای اکثر پرس و جوهای نمونه داشت. در نهایت، فقط مدل‌های دستورالعمل روی وظایف دستور کار می‌کنند. جدول زیر نشان می‌دهد که کدام مدل‌ها عملکرد خوب (خوب) و عملکرد متوسط ​​(متوسط) را در پرس‌و‌جوهای نمونه در نوت‌بوک‌های آزمایشی داشتند.

تولید کد

نمونه‌های زیر بر روی مدل CodeLlama-34b-Instruct با پارامترهای بارگذاری اجرا شدند "parameters": {"max_new_tokens": 256, "temperature": 0.2, "top_p": 0.9}:

Input
import socket def ping_exponential_backoff(host: str): Output """ Ping a host using exponential backoff. """ for i in range(1, 10): try: socket.gethostbyname(host) return True except socket.gaierror: time.sleep(2 ** i) return False Input
import argparse def main(string: str): print(string) print(string[::-1]) if __name__ == "__main__": Output parser = argparse.ArgumentParser() parser.add_argument("string", help="String to be printed") args = parser.parse_args() main(args.string)

پر کردن کد

پر کردن کد شامل برگرداندن کد تولید شده با توجه به زمینه اطراف است. این با وظیفه تولید کد متفاوت است زیرا، علاوه بر یک بخش کد پیشوند، مدل با پسوند قطعه کد نیز ارائه می شود. در هنگام تنظیم دقیق از نشانه های ویژه برای علامت گذاری ابتدای پیشوند استفاده شد (<PRE>، ابتدای پسوند (<SUF>و ابتدای وسط (<MID>). دنباله های ورودی به مدل باید در یکی از قالب های زیر باشد:

• پیشوند-پسوند-وسط - <PRE> {prefix} <SUF>{suffix} <MID>
• پسوند-پیشوند-وسط - <PRE> <SUF>{suffix} <MID> {prefix}

نمونه‌های زیر از فرمت پیشوند-پسوند-وسط در مدل CodeLlama-7b با بار استفاده می‌کنند. parameters {"max_new_tokens": 256, "temperature": 0.05, "top_p": 0.9}:

Input
<PRE> def remove_non_ascii(s: str) -> str: """ <SUF> return result <MID> Output Remove non-ASCII characters from a string. :param s: The string to remove non-ASCII characters from. :return: The string with non-ASCII characters removed. """ result = "" for c in s: if ord(c) < 128: result += c Input
# Installation instructions: ```bash
<FILL> ```
This downloads the LLaMA inference code and installs the repository as a local pip package. Output git clone https://github.com/LLaMA-AI/LLaMA-inference.git cd LLaMA-inference pip install -e . Input
class InterfaceManagerFactory(AbstractManagerFactory): def __init__(<FILL>
def main(): factory = InterfaceManagerFactory(start=datetime.now()) managers = [] for i in range(10): managers.append(factory.build(id=i)) Output
self, start=None): self.start = start def build(self, id): return InterfaceManager(id, self.start) Input
/-- A quasi-prefunctoid is 1-connected iff all its etalisations are 1-connected. -/
theorem connected_iff_etalisation [C D : precategoroid] (P : quasi_prefunctoid C D) : π₁ P = 0 ↔ <FILL> = 0 :=
begin split, { intros h f, rw pi_1_etalisation at h, simp [h], refl }, { intro h, have := @quasi_adjoint C D P, simp [←pi_1_etalisation, this, h], refl }
end Output
∀ f : C ⟶ D, π₁ (P.etalise f)

دستورالعمل کد

متا همچنین یک نوع تنظیم شده با دستورالعمل Code Llama را ارائه کرد. پرس و جوهای نمونه در این بخش فقط می توانند برای این مدل های Code Llama تنظیم شده توسط دستورالعمل اعمال شوند، که مدل هایی با پسوند دستورالعمل ID مدل هستند. فرمت Code Llama برای دستورالعمل ها مانند قالب درخواست Llama-2-chat است که در ادامه به تفصیل آن می پردازیم. مدل های فونداسیون Llama 2 اکنون در SageMaker JumpStart در دسترس هستند

یک فرمان ساده کاربر ممکن است به شکل زیر باشد:

<s>[INST] {user_prompt} [/INST]

همچنین می توانید یک دستور سیستم با دستور زیر اضافه کنید:

<s>[INST] <<SYS>>
{system_prompt}
<</SYS>> {user_prompt} [/INST]

در نهایت، می‌توانید با قرار دادن تمام درخواست‌های قبلی کاربر و پاسخ‌های دستیار در ورودی، با مدل تعامل مکالمه‌ای داشته باشید:

<s>[INST] <<SYS>>
{system_prompt}
<</SYS>> {user_prompt_1} [/INST] {assistant_response_1} </s><s>[INST] {user_prompt_1} [/INST]

این نمونه‌ها بر روی مدل CodeLlama-13b-Instruct با پارامترهای بارگذاری «پارامترها» اجرا شدند: {"max_new_tokens": 512, "temperature": 0.2, "top_p": 0.9}:

Input
<s>[INST] In Bash, how do I list all text files in the current directory (excluding subdirectories) that have been modified in the last month? [/INST] Output You can use the `find` command in Bash to list all text files in the current directory (excluding subdirectories) that have been modified in the last month. Here's an example command:
```
find . -type f -name "*.txt" -mtime -30
```
Here's a breakdown of the command: * `find .`: This tells `find` to search the current directory and all its subdirectories.
* `-type f`: This tells `find` to only search for files (not directories).
* `-name "*.txt"`: This tells `find` to only search for files with the `.txt` extension.
* `-mtime -30`: This tells `find` to only search for files that have been modified in the last 30 days (2,592,000 seconds). The output of the command will be a list of all text files in the current directory (excluding subdirectories) that have been modified in the last month. Input
<s>[INST] What is the difference between inorder and preorder traversal? Give an example in Python. [/INST] Output Inorder and preorder traversal are two different ways of traversing a binary tree. Inorder traversal is a way of visiting the nodes of a binary tree in a specific order. In an inorder traversal, the left subtree is visited first, then the current node, and finally the right subtree is visited. This means that the nodes are visited in a left-to-right, top-to-bottom order. Preorder traversal, on the other hand, is a way of visiting the nodes of a binary tree in a different order. In a preorder traversal, the current node is visited first, followed by the left subtree, and finally the right subtree. This means that the nodes are visited in a top-down, left-to-right order. Here is an example of an inorder traversal of a binary tree in Python:
```
def inorder_traversal(root): if root is None: return [] return inorder_traversal(root.left) + [root.val] + inorder_traversal(root.right)
```
And here is an example of a preorder traversal of a binary tree in Python:
```
def preorder_traversal(root): if root is None: return [] return [root.val] + preorder_traversal(root.left) + preorder_traversal(root.right)
```
In this example, the `inorder_traversal` function returns a list of the values in the tree in the order of the keys, from smallest to largest. The `preorder_traversal` function returns a list of the values in the tree in the order of the keys, but with the current node visited before its children. Input
<s>[INST] <<SYS>>
Provide answers in JavaScript
<</SYS>> Write a function that computes the set of sums of all contiguous sublists of a given list. [/INST] Output function contiguousSublistSums(list) { let sums = []; for (let i = 0; i < list.length; i++) { let sum = 0; for (let j = i; j < list.length; j++) { sum += list[j]; sums.push(sum); } } return sums;
} console.log(contiguousSublistSums([1, 2, 3, 4, 5])); // [1, 3, 6, 10, 15]
console.log(contiguousSublistSums([1, 2, 3, 4, 5, 6])); // [1, 3, 6, 10, 15, 21]
console.log(contiguousSublistSums([1, 2, 3, 4, 5, 6, 7])); // [1, 3, 6, 10, 15, 21, 28]
console.log(contiguousSublistSums([1, 2, 3, 4, 5, 6, 7, 8])); // [1, 3, 6, 10, 15, 21, 28, 36]
console.log(contiguousSublistSums([1, 2, 3, 4, 5, 6, 7, 8, 9])); // [1, 3, 6, 10, 15, 21, 28, 36, 45]

پاک کردن

پس از اتمام اجرای نوت بوک، مطمئن شوید که تمام منابعی را که در این فرآیند ایجاد کرده اید حذف کرده اید تا صورتحساب شما متوقف شود. از کد زیر استفاده کنید:

predictor.delete_model()
predictor.delete_endpoint()

نتیجه

در این پست، ما به شما نشان دادیم که چگونه با مدل‌های Code Llama در SageMaker Studio شروع کنید و مدلی را برای تولید کد و زبان طبیعی در مورد کد از هر دو درخواست کد و زبان طبیعی به کار بگیرید. از آنجایی که مدل های فونداسیون از قبل آموزش دیده اند، می توانند به کاهش هزینه های آموزش و زیرساخت کمک کنند و سفارشی سازی را برای موارد استفاده شما امکان پذیر کنند. اکنون برای شروع به SageMaker JumpStart در SageMaker Studio مراجعه کنید.

منابع

درباره نویسندگان

گابریل سینایو یک مدیر تحقیقاتی در تیم تحقیقات هوش مصنوعی فیس بوک (FAIR) در متا است. قبل از متا، گابریل در تیم Emmanuel Dupoux در École Normale Supérieure در پاریس عضو فوق دکترا بود و بر روی مهندسی معکوس یادگیری زبان در نوزادان کار می کرد. گابریل دکترای خود را در مدل سازی بیزی که برای بازی های استراتژیک بلادرنگ استفاده می شود، از دانشگاه گرنوبل دریافت کرد.

عیسی جمیل یک مهندس شریک RL، هوش مصنوعی مولد در متا است.

دکتر کایل اولریش یک دانشمند کاربردی با تیم آمازون SageMaker JumpStart است. علایق تحقیقاتی او شامل الگوریتم های یادگیری ماشین مقیاس پذیر، بینایی کامپیوتر، سری های زمانی، ناپارامتریک های بیزی و فرآیندهای گاوسی است. دکترای او از دانشگاه دوک است و مقالاتی در NeurIPS، Cell و Neuron منتشر کرده است.

دکتر آشیش ختان یک دانشمند ارشد کاربردی با Amazon SageMaker JumpStart است و به توسعه الگوریتم های یادگیری ماشین کمک می کند. او دکترای خود را از دانشگاه ایلینویز Urbana-Champaign گرفت. او یک محقق فعال در یادگیری ماشین و استنتاج آماری است و مقالات زیادی در کنفرانس های NeurIPS، ICML، ICLR، JMLR، ACL و EMNLP منتشر کرده است.

ویوک سینگ یک مدیر محصول با SageMaker JumpStart است. او بر روی توانمند ساختن مشتریان به SageMaker JumpStart تمرکز می کند تا سفر ML خود را برای ساختن برنامه های کاربردی هوش مصنوعی ساده و تسریع کنند.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/code-llama-code-generation-models-from-meta-are-now-available-via-amazon-sagemaker-jumpstart/