अमेज़ॅन सेजमेकर जम्पस्टार्ट | पर टेक्स्ट जेनरेशन के लिए लामा 2 को फाइन-ट्यून करें अमेज़न वेब सेवाएँ

आज, हम मेटा का उपयोग करके लामा 2 मॉडलों को फाइन-ट्यून करने की क्षमता की घोषणा करते हुए उत्साहित हैं अमेज़न SageMaker जम्पस्टार्ट. बड़े भाषा मॉडल (एलएलएम) का लामा 2 परिवार 7 अरब से 70 अरब मापदंडों के पैमाने पर पूर्व-प्रशिक्षित और ठीक-ठीक जेनरेटिव टेक्स्ट मॉडल का एक संग्रह है। फाइन-ट्यून किए गए एलएलएम, जिन्हें लामा-2-चैट कहा जाता है, संवाद उपयोग के मामलों के लिए अनुकूलित हैं। आप इन मॉडलों को आसानी से आज़मा सकते हैं और सेजमेकर जंपस्टार्ट के साथ उनका उपयोग कर सकते हैं, जो एक मशीन लर्निंग (एमएल) हब है जो एल्गोरिदम, मॉडल और एमएल समाधान तक पहुंच प्रदान करता है ताकि आप जल्दी से एमएल के साथ शुरुआत कर सकें। अब आप सेजमेकर जम्पस्टार्ट पर 7 बिलियन, 13 बिलियन और 70 बिलियन पैरामीटर लामा 2 टेक्स्ट जेनरेशन मॉडल को फाइन-ट्यून भी कर सकते हैं। अमेज़ॅन सैजमेकर स्टूडियो कुछ क्लिक के साथ या सेजमेकर पायथन एसडीके का उपयोग करके यूआई।

जेनेरेटिव एआई फाउंडेशन मॉडल पिछले एक साल से अधिक समय से अधिकांश एमएल और कृत्रिम बुद्धिमत्ता अनुसंधान और उपयोग के मामलों पर ध्यान केंद्रित कर रहे हैं। ये फाउंडेशन मॉडल अपने बड़े आकार के कारण और कई बड़े डेटासेट और सैकड़ों कार्यों पर प्रशिक्षित होने के कारण, टेक्स्ट जेनरेशन, सारांशीकरण, प्रश्न उत्तर, छवि और वीडियो जेनरेशन और अन्य जैसे जेनेरिक कार्यों के साथ बहुत अच्छा प्रदर्शन करते हैं। इन मॉडलों की महान सामान्यीकरण क्षमताओं के बावजूद, अक्सर ऐसे उपयोग के मामले होते हैं जिनमें बहुत विशिष्ट डोमेन डेटा (जैसे स्वास्थ्य देखभाल या वित्तीय सेवाएं) होते हैं, जिसके कारण ये मॉडल इन उपयोग मामलों के लिए अच्छे परिणाम प्रदान करने में सक्षम नहीं हो सकते हैं। इसके परिणामस्वरूप उपयोग के मामले-विशिष्ट और डोमेन-विशिष्ट डेटा पर इन जेनरेटिव एआई मॉडल को और बेहतर बनाने की आवश्यकता है।

इस पोस्ट में, हम सेजमेकर जम्पस्टार्ट के माध्यम से लामा 2 पूर्व-प्रशिक्षित टेक्स्ट जेनरेशन मॉडल को फाइन-ट्यून करने के तरीके के बारे में जानेंगे।

लामा 2 क्या है?

लामा 2 एक ऑटो-रिग्रेसिव भाषा मॉडल है जो एक अनुकूलित ट्रांसफार्मर आर्किटेक्चर का उपयोग करता है। लामा 2 अंग्रेजी में व्यावसायिक और अनुसंधान उपयोग के लिए है। यह पैरामीटर आकारों की श्रेणी में आता है - 7 अरब, 13 अरब, और 70 अरब - साथ ही पूर्व-प्रशिक्षित और सुव्यवस्थित विविधताएं। मेटा के अनुसार, ट्यून किए गए संस्करण सहायता और सुरक्षा के लिए मानवीय प्राथमिकताओं को संरेखित करने के लिए पर्यवेक्षित फाइन-ट्यूनिंग (एसएफटी) और मानव प्रतिक्रिया (आरएलएचएफ) के साथ सुदृढीकरण सीखने का उपयोग करते हैं। लामा 2 को सार्वजनिक रूप से उपलब्ध स्रोतों से 2 ट्रिलियन टोकन डेटा पर पूर्व-प्रशिक्षित किया गया था। ट्यून किए गए मॉडल सहायक-जैसी चैट के लिए अभिप्रेत हैं, जबकि पूर्व-प्रशिक्षित मॉडल को विभिन्न प्राकृतिक भाषा निर्माण कार्यों के लिए अनुकूलित किया जा सकता है। इस बात पर ध्यान दिए बिना कि डेवलपर मॉडल के किस संस्करण का उपयोग करता है मेटा से जिम्मेदार उपयोग मार्गदर्शिका अतिरिक्त फ़ाइन-ट्यूनिंग का मार्गदर्शन करने में सहायता कर सकता है जो उचित सुरक्षा शमन के साथ मॉडलों को अनुकूलित और अनुकूलित करने के लिए आवश्यक हो सकता है।

वर्तमान में, लामा 2 निम्नलिखित क्षेत्रों में उपलब्ध है:

• उपलब्ध पूर्व-प्रशिक्षित मॉडल तैनात करें: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• फाइन-ट्यून करें और फाइन-ट्यून किए गए मॉडल को तैनात करें: “us-east-1”, “us-west-2”,“eu-west-1”

सेजमेकर जम्पस्टार्ट क्या है?

सेजमेकर जम्पस्टार्ट के साथ, एमएल व्यवसायी सार्वजनिक रूप से उपलब्ध फाउंडेशन मॉडल के व्यापक चयन में से चुन सकते हैं। एमएल प्रैक्टिशनर फाउंडेशन मॉडल को समर्पित करने के लिए तैनात कर सकते हैं अमेज़न SageMaker नेटवर्क पृथक वातावरण से उदाहरण और मॉडल प्रशिक्षण और तैनाती के लिए सेजमेकर का उपयोग करके मॉडल को अनुकूलित करें। अब आप सेजमेकर स्टूडियो में कुछ क्लिक के साथ या सेजमेकर पायथन एसडीके के माध्यम से प्रोग्रामेटिक रूप से लामा 2 को खोज और तैनात कर सकते हैं, जिससे आप सेजमेकर सुविधाओं के साथ मॉडल प्रदर्शन और एमएलओपीएस नियंत्रण प्राप्त कर सकते हैं। अमेज़न SageMaker पाइपलाइन, अमेज़न SageMaker डिबगर, या कंटेनर लॉग। मॉडल को AWS सुरक्षित वातावरण में और आपके VPC नियंत्रण में तैनात किया गया है, जिससे डेटा सुरक्षा सुनिश्चित करने में मदद मिलती है। इसके अलावा, आप SageMaker जम्पस्टार्ट के माध्यम से Llama2 7B, 13B और 70B पूर्व-प्रशिक्षित टेक्स्ट जेनरेशन मॉडल को फाइन-ट्यून कर सकते हैं।

Llama2 मॉडल को फाइन-ट्यून करें

आप सेजमेकर स्टूडियो यूआई या सेजमेकर पायथन एसडीके का उपयोग करके मॉडल को फाइन-ट्यून कर सकते हैं। हम इस अनुभाग में दोनों विधियों पर चर्चा करते हैं।

सेजमेकर स्टूडियो यूआई के माध्यम से नो-कोड फाइन-ट्यूनिंग

सेजमेकर स्टूडियो में, आप सेजमेकर जम्पस्टार्ट के माध्यम से लामा 2 मॉडल तक पहुंच सकते हैं मॉडल, नोटबुक और समाधान, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

यदि आपको लामा 2 मॉडल दिखाई नहीं देते हैं, तो बंद करके और पुनः आरंभ करके अपने सेजमेकर स्टूडियो संस्करण को अपडेट करें। संस्करण अपडेट के बारे में अधिक जानकारी के लिए देखें स्टूडियो ऐप्स बंद करें और अपडेट करें.

आप चुनकर अन्य चार मॉडल वेरिएंट भी पा सकते हैं सभी टेक्स्ट जेनरेशन मॉडल का अन्वेषण करें या खोज बॉक्स में लामा खोज रहे हैं।

इस पृष्ठ पर, आप इंगित कर सकते हैं अमेज़न सरल भंडारण सेवा (अमेज़ॅन S3) बकेट जिसमें फ़ाइन-ट्यूनिंग के लिए प्रशिक्षण और सत्यापन डेटासेट शामिल हैं। इसके अलावा, आप फ़ाइन-ट्यूनिंग के लिए परिनियोजन कॉन्फ़िगरेशन, हाइपरपैरामीटर और सुरक्षा सेटिंग्स कॉन्फ़िगर कर सकते हैं। फिर आप चुन सकते हैं रेलगाड़ी सेजमेकर एमएल इंस्टेंस पर प्रशिक्षण कार्य शुरू करने के लिए। पिछला स्क्रीनशॉट लामा-2 7बी मॉडल के लिए फ़ाइन-ट्यूनिंग पृष्ठ दिखाता है; हालाँकि, आप 13बी और 70बी लामा 2 टेक्स्ट जेनरेशन मॉडल को उनके संबंधित मॉडल पेजों का उपयोग करके ठीक-ठीक ट्यून कर सकते हैं। लामा 2 मॉडल का उपयोग करने के लिए, आपको अंतिम उपयोगकर्ता लाइसेंस अनुबंध (ईयूएलए) को स्वीकार करना होगा। जब आप चुनेंगे तो यह दिखाई देगा रेलगाड़ी, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है। चुनना मैंने EULA और AUP को पढ़ लिया है और स्वीकार कर लिया है फाइन-ट्यूनिंग कार्य शुरू करने के लिए।

मॉडल तैनात करें

मॉडल को ठीक करने के बाद, आप इसे सेजमेकर जम्पस्टार्ट पर मॉडल पेज का उपयोग करके तैनात कर सकते हैं। फाइन-ट्यून किए गए मॉडल को तैनात करने का विकल्प फाइन-ट्यूनिंग समाप्त होने पर दिखाई देगा, जैसा कि निम्नलिखित स्क्रीनशॉट में दिखाया गया है।

सेजमेकर पायथन एसडीके के माध्यम से फाइन-ट्यून करें

आप सेजमेकर पायथन एसडीके का उपयोग करके लामा 2 मॉडल को भी फाइन-ट्यून कर सकते हैं। आपके डेटासेट पर लामा 2 7बी को फाइन-ट्यून करने के लिए एक नमूना कोड निम्नलिखित है:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

आप अनुमानक से सीधे सुव्यवस्थित मॉडल को तैनात कर सकते हैं:

finetuned_predictor = estimator.deploy()

आप इसमें कोड भी पा सकते हैं सेजमेकर जम्पस्टार्ट पर LLaMA 2 मॉडल को फाइन-ट्यून करें. इसमें डेटासेट तैयार करना, आपके कस्टम डेटासेट पर प्रशिक्षण और फाइन-ट्यून मॉडल को तैनात करना शामिल है। यह सारांश कार्य के उदाहरणों के साथ डॉली डेटासेट के सबसेट पर फ़ाइन-ट्यूनिंग प्रदर्शित करता है। ज़मीनी सच्चाई की प्रतिक्रिया के साथ-साथ सुव्यवस्थित और गैर-सुशिक्षित लोगों की प्रतिक्रियाओं के साथ उदाहरण इनपुट निम्नलिखित है:

मॉडल में इनपुट:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

जमीनी सच्चाई प्रतिक्रिया:

Felix Luna died on November 5th, 2009

गैर सुव्यवस्थित मॉडल से प्रतिक्रिया:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

सुव्यवस्थित मॉडल से प्रतिक्रिया:

Félix Luna died on November 5th, 2009.nn

डॉली और डायलॉग्सम डेटासेट पर विभिन्न मॉडलों के प्रदर्शन बेंचमार्किंग के लिए, देखें प्रदर्शन बेंचमार्किंग इस पोस्ट के अंत में परिशिष्ट में अनुभाग।

फाइन-ट्यूनिंग तकनीक

लामा जैसे भाषा मॉडल का आकार 10 जीबी या 100 जीबी से भी अधिक है। ऐसे बड़े मॉडलों को फाइन-ट्यूनिंग करने के लिए काफी उच्च CUDA मेमोरी वाले इंस्टेंस की आवश्यकता होती है। इसके अलावा, मॉडल के आकार के कारण इन मॉडलों का प्रशिक्षण बहुत धीमा हो सकता है। इसलिए, कुशल फ़ाइन-ट्यूनिंग के लिए, हम निम्नलिखित अनुकूलन का उपयोग करते हैं:

• निम्न-रैंक अनुकूलन (LoRA) - यह बड़े मॉडलों की कुशल फाइन-ट्यूनिंग के लिए एक प्रकार का पैरामीटर कुशल फाइन-ट्यूनिंग (पीईएफटी) है। इसमें, हम पूरे मॉडल को फ्रीज कर देते हैं और मॉडल में केवल समायोज्य पैरामीटर या परतों का एक छोटा सेट जोड़ते हैं। उदाहरण के लिए, लामा 7 2बी के लिए सभी 7 अरब मापदंडों को प्रशिक्षित करने के बजाय, हम 1% से भी कम मापदंडों को ठीक कर सकते हैं। यह मेमोरी आवश्यकता को महत्वपूर्ण रूप से कम करने में मदद करता है क्योंकि हमें केवल 1% मापदंडों के लिए ग्रेडिएंट्स, ऑप्टिमाइज़र स्टेट्स और अन्य प्रशिक्षण-संबंधित जानकारी संग्रहीत करने की आवश्यकता होती है। इसके अलावा, इससे प्रशिक्षण के समय के साथ-साथ लागत भी कम करने में मदद मिलती है। इस विधि के बारे में अधिक जानकारी के लिए देखें लोरा: बड़े भाषा मॉडल का निम्न-रैंक अनुकूलन.
• Int8 परिमाणीकरण - LoRA जैसे अनुकूलन के साथ भी, Llama 70B जैसे मॉडल अभी भी प्रशिक्षित करने के लिए बहुत बड़े हैं। प्रशिक्षण के दौरान मेमोरी फ़ुटप्रिंट को कम करने के लिए, हम प्रशिक्षण के दौरान Int8 परिमाणीकरण का उपयोग कर सकते हैं। परिमाणीकरण आम तौर पर फ़्लोटिंग पॉइंट डेटा प्रकारों की सटीकता को कम कर देता है। हालाँकि इससे मॉडल भार को संग्रहीत करने के लिए आवश्यक मेमोरी कम हो जाती है, लेकिन यह जानकारी के नुकसान के कारण प्रदर्शन को ख़राब कर देता है। Int8 परिमाणीकरण केवल एक चौथाई परिशुद्धता का उपयोग करता है लेकिन प्रदर्शन में गिरावट नहीं लाता है क्योंकि यह केवल बिट्स को नहीं गिराता है। यह डेटा को एक प्रकार से दूसरे प्रकार में राउंड करता है। Int8 परिमाणीकरण के बारे में जानने के लिए, देखें LLM.int8(): स्केल पर ट्रांसफार्मर के लिए 8-बिट मैट्रिक्स गुणन.
• पूरी तरह से साझा डेटा समानांतर (एफएसडीपी) - यह एक प्रकार का डेटा-समानांतर प्रशिक्षण एल्गोरिदम है जो डेटा समानांतर श्रमिकों में मॉडल के मापदंडों को विभाजित करता है और वैकल्पिक रूप से प्रशिक्षण गणना के हिस्से को सीपीयू में लोड कर सकता है। हालाँकि पैरामीटर अलग-अलग GPU में विभाजित हैं, प्रत्येक माइक्रोबैच की गणना GPU कार्यकर्ता के लिए स्थानीय है। यह मापदंडों को अधिक समान रूप से विभाजित करता है और प्रशिक्षण के दौरान संचार और गणना ओवरलैपिंग के माध्यम से अनुकूलित प्रदर्शन प्राप्त करता है।

निम्न तालिका तीन लामा 2 मॉडल के साथ विभिन्न तरीकों की तुलना करती है।

ध्यान दें कि लामा मॉडल की फ़ाइन-ट्यूनिंग निम्नलिखित द्वारा प्रदान की गई स्क्रिप्ट पर आधारित है गीथहब रेपो.

प्रशिक्षण डेटासेट प्रारूप

सेजमेकर जम्पस्टार्ट वर्तमान में डोमेन अनुकूलन प्रारूप और निर्देश ट्यूनिंग प्रारूप दोनों में डेटासेट का समर्थन करता है। इस अनुभाग में, हम दोनों प्रारूपों में एक उदाहरण डेटासेट निर्दिष्ट करते हैं। अधिक जानकारी के लिए, देखें डेटासेट फ़ॉर्मेटिंग परिशिष्ट में अनुभाग.

डोमेन अनुकूलन प्रारूप

टेक्स्ट जनरेशन लामा 2 मॉडल को किसी भी डोमेन-विशिष्ट डेटासेट पर ठीक किया जा सकता है। डोमेन-विशिष्ट डेटासेट पर इसे ठीक करने के बाद, मॉडल से डोमेन-विशिष्ट टेक्स्ट उत्पन्न करने और कुछ-शॉट प्रॉम्प्टिंग के साथ उस विशिष्ट डोमेन में विभिन्न एनएलपी कार्यों को हल करने की उम्मीद की जाती है। इस डेटासेट के साथ, इनपुट में एक CSV, JSON, या TXT फ़ाइल होती है। उदाहरण के लिए, इनपुट डेटा टेक्स्ट फ़ाइल के रूप में अमेज़ॅन की एसईसी फाइलिंग हो सकता है:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

अनुदेश ट्यूनिंग प्रारूप

निर्देश फाइन-ट्यूनिंग में, मॉडल को निर्देशों का उपयोग करके वर्णित प्राकृतिक भाषा प्रसंस्करण (एनएलपी) कार्यों के एक सेट के लिए ठीक-ठीक किया जाता है। यह शून्य-शॉट संकेतों के साथ अनदेखे कार्यों के लिए मॉडल के प्रदर्शन को बेहतर बनाने में मदद करता है। निर्देश ट्यूनिंग डेटासेट प्रारूप में, आप निर्दिष्ट करते हैं template.json इनपुट और आउटपुट स्वरूपों का वर्णन करने वाली फ़ाइल। उदाहरण के लिए, फ़ाइल की प्रत्येक पंक्ति train.jsonl निम्नलिखित जैसा दिखता है:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

अतिरिक्त फ़ाइल template.json निम्नलिखित जैसा दिखता है:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

प्रशिक्षण के लिए समर्थित हाइपरपैरामीटर

लामा 2 फाइन-ट्यूनिंग कई हाइपरपैरामीटर का समर्थन करता है, जिनमें से प्रत्येक फाइन-ट्यून किए गए मॉडल की मेमोरी आवश्यकता, प्रशिक्षण गति और प्रदर्शन को प्रभावित कर सकता है:

• युग - फ़ाइन-ट्यूनिंग एल्गोरिदम द्वारा प्रशिक्षण डेटासेट के माध्यम से लिए जाने वाले पासों की संख्या। 1 से बड़ा पूर्णांक होना चाहिए। डिफ़ॉल्ट 5 है।
• सीखने की दर - वह दर जिस पर प्रशिक्षण उदाहरणों के प्रत्येक बैच के माध्यम से काम करने के बाद मॉडल वजन अपडेट किया जाता है। एक सकारात्मक फ्लोट 0 से अधिक होना चाहिए। डिफ़ॉल्ट 1e-4 है।
• अनुदेश_ट्यून किया गया - मॉडल को निर्देश-प्रशिक्षित करना है या नहीं। होना चाहिए 'True''False'. डिफ़ॉल्ट है 'False'.
• प्रति_डिवाइस_ट्रेन_बैच_आकार - प्रशिक्षण के लिए प्रति जीपीयू कोर/सीपीयू बैच आकार। एक धनात्मक पूर्णांक होना चाहिए. डिफ़ॉल्ट 4 है.
• प्रति_डिवाइस_eval_बैच_आकार - मूल्यांकन के लिए प्रति जीपीयू कोर/सीपीयू बैच आकार। एक धनात्मक पूर्णांक होना चाहिए. डिफ़ॉल्ट 1 है.
• अधिकतम_ट्रेन_नमूने - डिबगिंग उद्देश्यों या त्वरित प्रशिक्षण के लिए, प्रशिक्षण उदाहरणों की संख्या को इस मान तक छोटा करें। मान -1 का अर्थ है सभी प्रशिक्षण नमूनों का उपयोग करना। एक धनात्मक पूर्णांक या -1 होना चाहिए. डिफ़ॉल्ट -1 है.
• max_val_samples - डिबगिंग उद्देश्यों या त्वरित प्रशिक्षण के लिए, सत्यापन उदाहरणों की संख्या को इस मान तक छोटा करें। मान -1 का अर्थ है सभी सत्यापन नमूनों का उपयोग करना। एक धनात्मक पूर्णांक या -1 होना चाहिए. डिफ़ॉल्ट -1 है.
• अधिकतम_इनपुट_लंबाई - टोकननाइजेशन के बाद अधिकतम कुल इनपुट अनुक्रम लंबाई। इससे अधिक लंबे अनुक्रमों को छोटा कर दिया जाएगा. यदि -1, max_input_length न्यूनतम 1024 और टोकननाइज़र द्वारा परिभाषित अधिकतम मॉडल लंबाई पर सेट है। यदि सकारात्मक मान पर सेट किया जाए, max_input_length प्रदान किए गए मान के न्यूनतम पर सेट किया गया है और model_max_length टोकननाइज़र द्वारा परिभाषित। एक धनात्मक पूर्णांक या -1 होना चाहिए. डिफ़ॉल्ट -1 है.
• सत्यापन_विभाजन_अनुपात – यदि सत्यापन चैनल है none, ट्रेन डेटा से ट्रेन-सत्यापन विभाजन का अनुपात 0-1 के बीच होना चाहिए। डिफ़ॉल्ट 0.2 है.
• ट्रेन_डेटा_विभाजित_बीज - यदि सत्यापन डेटा मौजूद नहीं है, तो यह एल्गोरिदम द्वारा उपयोग किए जाने वाले प्रशिक्षण और सत्यापन डेटा में इनपुट प्रशिक्षण डेटा के यादृच्छिक विभाजन को ठीक करता है। पूर्णांक होना चाहिए। डिफ़ॉल्ट 0 है.
• प्रीप्रोसेसिंग_नम_वर्कर्स - प्रीप्रोसेसिंग के लिए उपयोग की जाने वाली प्रक्रियाओं की संख्या। अगर None, मुख्य प्रक्रिया का उपयोग प्रीप्रोसेसिंग के लिए किया जाता है। डिफ़ॉल्ट है None.
• लोरा_आर – लोरा आर. एक धनात्मक पूर्णांक होना चाहिए. डिफ़ॉल्ट 8 है.
• lora_alpha -लोरा अल्फ़ा. एक धनात्मक पूर्णांक होना चाहिए. डिफ़ॉल्ट 32 है
• लोरा_ड्रॉपआउट - लोरा ड्रॉपआउट। 0 और 1 के बीच एक सकारात्मक फ़्लोट होना चाहिए। डिफ़ॉल्ट 0.05 है।
• int8_मात्राकरण - अगर True, मॉडल को प्रशिक्षण के लिए 8-बिट परिशुद्धता के साथ लोड किया गया है। 7बी और 13बी के लिए डिफ़ॉल्ट है False. 70B के लिए डिफ़ॉल्ट है True.
• Enable_fsdp - अगर True, प्रशिक्षण एफएसडीपी का उपयोग करता है। 7बी और 13बी के लिए डिफ़ॉल्ट है True. 70B के लिए डिफ़ॉल्ट है False। ध्यान दें कि int8_quantization एफएसडीपी के साथ समर्थित नहीं है.

इंस्टेंस प्रकार और संगत हाइपरपैरामीटर

फ़ाइन-ट्यूनिंग के दौरान मेमोरी की आवश्यकता कई कारकों के आधार पर भिन्न हो सकती है:

• मॉडल प्रकार - 7बी मॉडल में सबसे कम जीपीयू मेमोरी आवश्यकता है और 70बी में सबसे बड़ी मेमोरी आवश्यकता है
• अधिकतम इनपुट लंबाई - इनपुट लंबाई का उच्च मान एक समय में अधिक टोकन संसाधित करने की ओर ले जाता है और इस तरह अधिक CUDA मेमोरी की आवश्यकता होती है
• बैच का आकार - बड़े बैच आकार के लिए बड़ी CUDA मेमोरी की आवश्यकता होती है और इसलिए बड़े इंस्टेंस प्रकारों की आवश्यकता होती है
• Int8 परिमाणीकरण - यदि Int8 परिमाणीकरण का उपयोग किया जाता है, तो मॉडल को कम परिशुद्धता में लोड किया जाता है और इसलिए कम CUDA मेमोरी की आवश्यकता होती है

आरंभ करने में आपकी सहायता के लिए, हम विभिन्न इंस्टेंस प्रकार, हाइपरपैरामीटर और मॉडल प्रकारों के संयोजन का एक सेट प्रदान करते हैं जिन्हें सफलतापूर्वक ठीक किया जा सकता है। आप अपनी आवश्यकताओं और इंस्टेंस प्रकारों की उपलब्धता के अनुसार कॉन्फ़िगरेशन का चयन कर सकते हैं। हम सारांश उदाहरणों के साथ डॉली डेटासेट के सबसेट पर तीन युगों के साथ विभिन्न सेटिंग्स पर सभी तीन मॉडलों को ठीक करते हैं।

7बी मॉडल

निम्न तालिका 7बी मॉडल पर फ़ाइन-ट्यूनिंग विकल्पों का सारांश प्रस्तुत करती है।

13B

निम्न तालिका 13बी मॉडल पर फ़ाइन-ट्यूनिंग विकल्पों का सारांश प्रस्तुत करती है।

70B

निम्न तालिका 70बी मॉडल पर फ़ाइन-ट्यूनिंग विकल्पों का सारांश प्रस्तुत करती है।

इंस्टेंस प्रकार और हाइपरपैरामीटर पर सिफ़ारिशें

मॉडल की सटीकता को ठीक करते समय, निम्नलिखित को ध्यान में रखें:

• 70B जैसे बड़े मॉडल 7B की तुलना में बेहतर प्रदर्शन प्रदान करते हैं
• Int8 परिमाणीकरण के बिना प्रदर्शन, INT8 परिमाणीकरण के प्रदर्शन से बेहतर है

निम्नलिखित प्रशिक्षण समय और CUDA मेमोरी आवश्यकताओं पर ध्यान दें:

• की स्थापना int8_quantization=True स्मृति की आवश्यकता कम हो जाती है और प्रशिक्षण तेज़ हो जाता है।
• घटाना per_device_train_batch_size और max_input_length मेमोरी की आवश्यकता कम हो जाती है और इसलिए इसे छोटे इंस्टेंस पर चलाया जा सकता है। हालाँकि, बहुत कम मान सेट करने से प्रशिक्षण का समय बढ़ सकता है।
• यदि आप Int8 परिमाणीकरण का उपयोग नहीं कर रहे हैं (int8_quantization=False), एफएसडीपी का उपयोग करें (enable_fsdp=True) तेज और कुशल प्रशिक्षण के लिए।

इंस्टेंस प्रकार चुनते समय, निम्नलिखित पर विचार करें:

• G5 इंस्टेंस समर्थित इंस्टेंस प्रकारों के बीच सबसे कुशल प्रशिक्षण प्रदान करते हैं। इसलिए, यदि आपके पास G5 इंस्टेंस उपलब्ध हैं, तो आपको उनका उपयोग करना चाहिए।
• प्रशिक्षण का समय काफी हद तक उपलब्ध GPU और CUDA मेमोरी की मात्रा पर निर्भर करता है। इसलिए, समान संख्या में GPU (उदाहरण के लिए, ml.g5.2xlarge और ml.g5.4xlarge) वाले उदाहरणों पर प्रशिक्षण लगभग समान है। इसलिए, आप प्रशिक्षण के लिए सस्ते उदाहरण (ml.g5.2xlarge) का उपयोग कर सकते हैं।
• पी3 इंस्टेंसेस का उपयोग करते समय, प्रशिक्षण 32-बिट परिशुद्धता के साथ किया जाएगा क्योंकि इन इंस्टेंसेस पर bfloat16 समर्थित नहीं है। इसलिए, प्रशिक्षण कार्य में g3 उदाहरणों की तुलना में p5 उदाहरणों पर प्रशिक्षण करते समय CUDA मेमोरी की दोगुनी मात्रा की खपत होगी।

प्रति उदाहरण प्रशिक्षण की लागत के बारे में जानने के लिए, देखें अमेज़ॅन EC2 G5 उदाहरण.

यदि डेटासेट अनुदेश ट्यूनिंग प्रारूप में है और इनपुट+समापन अनुक्रम छोटे हैं (जैसे 50-100 शब्द), तो इसका उच्च मान max_input_length बहुत ख़राब प्रदर्शन की ओर ले जाता है. इस पैरामीटर का डिफ़ॉल्ट मान -1 है, जो इससे मेल खाता है max_input_length लामा मॉडल के लिए 2048 का। इसलिए, हम अनुशंसा करते हैं कि यदि आपके डेटासेट में छोटे नमूने हैं, तो इसके लिए छोटे मान का उपयोग करें max_input_length (जैसे 200-400)।

अंत में, G5 उदाहरणों की उच्च मांग के कारण, आप त्रुटि के साथ अपने क्षेत्र में इन उदाहरणों की अनुपलब्धता का अनुभव कर सकते हैं “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” यदि आप इस त्रुटि का अनुभव करते हैं, तो प्रशिक्षण कार्य पुनः प्रयास करें या किसी भिन्न क्षेत्र का प्रयास करें।

बहुत बड़े मॉडलों को फ़ाइन-ट्यूनिंग करते समय समस्याएँ

इस अनुभाग में, हम बहुत बड़े मॉडलों को ठीक करते समय दो मुद्दों पर चर्चा करते हैं।

आउटपुट संपीड़न अक्षम करें

डिफ़ॉल्ट रूप से, प्रशिक्षण कार्य का आउटपुट एक प्रशिक्षित मॉडल होता है जिसे Amazon S3 पर अपलोड करने से पहले .tar.gz प्रारूप में संपीड़ित किया जाता है। हालाँकि, मॉडल के बड़े आकार के कारण, इस चरण में लंबा समय लग सकता है। उदाहरण के लिए, 70B मॉडल को कंप्रेस और अपलोड करने में 4 घंटे से अधिक समय लग सकता है। इस समस्या से बचने के लिए, आप सेजमेकर प्रशिक्षण प्लेटफ़ॉर्म द्वारा समर्थित अक्षम आउटपुट संपीड़न सुविधा का उपयोग कर सकते हैं। इस मामले में, मॉडल को बिना किसी संपीड़न के अपलोड किया जाता है, जिसे आगे तैनाती के लिए उपयोग किया जाता है:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

सेजमेकर स्टूडियो कर्नेल टाइमआउट समस्या

लामा 70बी मॉडल के आकार के कारण, प्रशिक्षण कार्य में कई घंटे लग सकते हैं और प्रशिक्षण चरण के दौरान सेजमेकर स्टूडियो कर्नेल समाप्त हो सकता है। हालाँकि, इस दौरान, सेजमेकर में प्रशिक्षण अभी भी चल रहा है। यदि ऐसा होता है, तो आप अभी भी निम्नलिखित कोड के साथ प्रशिक्षण कार्य नाम का उपयोग करके समापन बिंदु को तैनात कर सकते हैं:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

प्रशिक्षण कार्य का नाम खोजने के लिए, सेजमेकर कंसोल और उसके अंतर्गत नेविगेट करें प्रशिक्षण नेविगेशन फलक में, चुनें प्रशिक्षण कार्य. प्रशिक्षण कार्य का नाम पहचानें और उसे पूर्ववर्ती कोड में प्रतिस्थापित करें।

निष्कर्ष

इस पोस्ट में, हमने सेजमेकर जम्पस्टार्ट का उपयोग करके मेटा के लामा 2 मॉडल को ठीक करने पर चर्चा की। हमने दिखाया कि आप इन मॉडलों को ठीक करने और तैनात करने के लिए सेजमेकर स्टूडियो या सेजमेकर पायथन एसडीके में सेजमेकर जम्पस्टार्ट कंसोल का उपयोग कर सकते हैं। हमने फ़ाइन-ट्यूनिंग तकनीक, इंस्टेंस प्रकार और समर्थित हाइपरपैरामीटर पर भी चर्चा की। इसके अलावा, हमने अपने द्वारा किए गए विभिन्न परीक्षणों के आधार पर अनुकूलित प्रशिक्षण के लिए सिफारिशों की रूपरेखा तैयार की। दो डेटासेट पर तीन मॉडलों को ठीक करने के परिणाम इस पोस्ट के अंत में परिशिष्ट में दिखाए गए हैं। जैसा कि हम इन परिणामों से देख सकते हैं, फाइन-ट्यूनिंग गैर-फाइन-ट्यून किए गए मॉडल की तुलना में संक्षेपण में सुधार करती है। अगले चरण के रूप में, आप अपने उपयोग के मामलों के परिणामों का परीक्षण और बेंचमार्क करने के लिए GitHub रिपॉजिटरी में दिए गए कोड का उपयोग करके अपने स्वयं के डेटासेट पर इन मॉडलों को ठीक करने का प्रयास कर सकते हैं।

लेखक क्रिस्टोफर व्हिटेन, शिन हुआंग, काइल उलरिच, सिफेई ली, एमी यू, एडम कोज़ड्रोविक्ज़, इवान क्रावित्ज़, बेंजामिन क्रैबट्री, हाओटियन एन, मनन शाह, टोनी क्रूज़, अर्नेव शर्मा, जोनाथन गुइनेगने और जून के तकनीकी योगदान को स्वीकार करना चाहेंगे। जीत गया।

लेखक के बारे में

डॉ विवेक मदनी अमेज़ॅन सेजमेकर जम्पस्टार्ट टीम के साथ एक अनुप्रयुक्त वैज्ञानिक है। उन्होंने अर्बाना-शैंपेन में इलिनोइस विश्वविद्यालय से पीएचडी प्राप्त की और जॉर्जिया टेक में पोस्ट डॉक्टरेट शोधकर्ता थे। वह मशीन लर्निंग और एल्गोरिथम डिज़ाइन में एक सक्रिय शोधकर्ता हैं और उन्होंने EMNLP, ICLR, COLT, FOCS और SODA सम्मेलनों में पेपर प्रकाशित किए हैं।

डॉ फारूक साबिर AWS में एक वरिष्ठ आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग स्पेशलिस्ट सॉल्यूशंस आर्किटेक्ट हैं। उनके पास ऑस्टिन में टेक्सास विश्वविद्यालय से इलेक्ट्रिकल इंजीनियरिंग में पीएचडी और एमएस की डिग्री है और जॉर्जिया इंस्टीट्यूट ऑफ टेक्नोलॉजी से कंप्यूटर साइंस में एमएस है। उनके पास 15 साल से अधिक का कार्य अनुभव है और वह कॉलेज के छात्रों को पढ़ाना और सलाह देना भी पसंद करते हैं। AWS में, वह ग्राहकों को डेटा साइंस, मशीन लर्निंग, कंप्यूटर विज़न, आर्टिफिशियल इंटेलिजेंस, न्यूमेरिकल ऑप्टिमाइज़ेशन और संबंधित डोमेन में उनकी व्यावसायिक समस्याओं को तैयार करने और हल करने में मदद करता है। डलास, टेक्सास में स्थित, वह और उसका परिवार यात्रा करना और लंबी सड़क यात्राओं पर जाना पसंद करते हैं।

डॉ आशीष खेतानी अमेज़ॅन सेजमेकर जम्पस्टार्ट के साथ एक वरिष्ठ एप्लाइड वैज्ञानिक हैं और मशीन लर्निंग एल्गोरिदम विकसित करने में मदद करते हैं। उन्होंने इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन से पीएचडी की उपाधि प्राप्त की। वह मशीन लर्निंग और सांख्यिकीय अनुमान में एक सक्रिय शोधकर्ता हैं, और उन्होंने न्यूरिप्स, आईसीएमएल, आईसीएलआर, जेएमएलआर, एसीएल और ईएमएनएलपी सम्मेलनों में कई पत्र प्रकाशित किए हैं।

परिशिष्ट

यह परिशिष्ट प्रदर्शन बेंचमार्किंग और डेटासेट फ़ॉर्मेटिंग के बारे में अतिरिक्त जानकारी प्रदान करता है।

प्रदर्शन बेंचमार्किंग

इस अनुभाग में, हम दो अलग-अलग डेटासेट पर तीन लामा 2 मॉडल (7बी, 13बी, और 70बी) को ठीक करने के लिए परिणाम प्रदान करते हैं: नादान और डायलॉगसम. डॉली डेटासेट के लिए, हमारा कार्य पाठ के एक पैराग्राफ को सारांशित करना है, जबकि डायलॉगसम के लिए, हम दो लोगों के बीच चर्चा को सारांशित करने के लिए मॉडल को ठीक कर रहे हैं। निम्नलिखित तालिकाओं में, हम मॉडल के लिए इनपुट (संकेत और निर्देश), जमीनी सच्चाई (सारांश), पूर्व-प्रशिक्षित लामा 2 मॉडल से प्रतिक्रिया, और तीन लामाओं में से प्रत्येक के लिए सुव्यवस्थित लामा 2 मॉडल से प्रतिक्रिया दिखाते हैं। 2 मॉडल. हम पांच डेटा बिंदुओं के लिए अनुमान परिणाम दिखाते हैं। आप निम्न तालिकाओं से देख सकते हैं कि जब हम मॉडल को ठीक करते हैं तो दोनों डेटासेट के लिए सारांश में सुधार होता है।

• डॉली डेटासेट पर लामा 2 7बी टेक्स्ट जेनरेशन मॉडल को ठीक करने के परिणाम:

• डॉली डेटासेट पर लामा 2 13बी टेक्स्ट जेनरेशन मॉडल को ठीक करने के परिणाम:

• डॉली डेटासेट पर लामा 2 70बी टेक्स्ट जेनरेशन मॉडल को ठीक करने के परिणाम:

• डायलॉगसम डेटासेट पर लामा 2 7बी टेक्स्ट जेनरेशन मॉडल को ठीक करने के परिणाम:

• डायलॉगसम डेटासेट पर लामा-2 13बी मॉडल को फाइन-ट्यूनिंग करने के परिणाम:

• डायलॉगसम डेटासेट पर लामा 2 70बी मॉडल को फाइन-ट्यूनिंग करने के परिणाम:

डेटासेट फ़ॉर्मेटिंग

वर्तमान में हम दो प्रकार की फाइन-ट्यूनिंग प्रदान करते हैं: निर्देश फाइन-ट्यूनिंग और डोमेन अनुकूलन फाइन-ट्यूनिंग। आप पैरामीटर निर्दिष्ट करके आसानी से किसी एक प्रशिक्षण विधि पर स्विच कर सकते हैं instruction_tuned जैसा 'True''False'.

डोमेन अनुकूलन प्रारूप

टेक्स्ट जनरेशन मॉडल को किसी डोमेन-विशिष्ट डेटासेट पर भी ठीक किया जा सकता है। डोमेन-विशिष्ट डेटासेट पर इसे ठीक करने के बाद, मॉडल से डोमेन-विशिष्ट टेक्स्ट उत्पन्न करने और कुछ-शॉट प्रॉम्प्टिंग के साथ उस विशिष्ट डोमेन में विभिन्न एनएलपी कार्यों को हल करने की उम्मीद की जाती है।

मॉडल में इनपुट के लिए, एक प्रशिक्षण और वैकल्पिक सत्यापन निर्देशिका का उपयोग करें। प्रत्येक निर्देशिका में एक CSV, JSON, या TXT फ़ाइल होती है। CSV और JSON फ़ाइलों के लिए, ट्रेन या सत्यापन डेटा का उपयोग टेक्स्ट नामक कॉलम से या यदि कोई कॉलम नहीं कहा जाता है तो पहले कॉलम से किया जाता है text पाया जाता है। ट्रेन और सत्यापन के अंतर्गत फ़ाइलों की संख्या (यदि प्रदान की गई है) क्रमशः 1 के बराबर होनी चाहिए।

आउटपुट एक प्रशिक्षित मॉडल है जिसे अनुमान के लिए तैनात किया जा सकता है।

टेक्स्ट जनरेशन मॉडल को फाइन-ट्यून करने के लिए TXT फ़ाइल का एक उदाहरण निम्नलिखित है। TXT फ़ाइल 2021-2022 तक अमेज़न की SEC फाइलिंग है:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

अनुदेश फाइन-ट्यूनिंग

टेक्स्ट जनरेशन मॉडल को किसी भी टेक्स्ट डेटा पर निर्देश-ट्यून किया जा सकता है, बशर्ते कि डेटा अपेक्षित प्रारूप में हो। अनुदेश-ट्यूनेड मॉडल को अनुमान के लिए आगे तैनात किया जा सकता है।

इनपुट के लिए, एक प्रशिक्षण और वैकल्पिक सत्यापन निर्देशिका का उपयोग करें। ट्रेन और सत्यापन निर्देशिकाओं में एक या एकाधिक JSON लाइनें (.jsonl) स्वरूपित फ़ाइलें होनी चाहिए। विशेष रूप से, ट्रेन निर्देशिका में इनपुट और आउटपुट स्वरूपों का वर्णन करने वाली एक वैकल्पिक *.json फ़ाइल भी हो सकती है।

प्रत्येक युग के अंत में गणना की गई सत्यापन हानि के अनुसार सर्वोत्तम मॉडल का चयन किया जाता है। यदि कोई सत्यापन सेट नहीं दिया गया है, तो प्रशिक्षण डेटा का एक (समायोज्य) प्रतिशत स्वचालित रूप से विभाजित हो जाता है और सत्यापन के लिए उपयोग किया जाता है।

प्रशिक्षण डेटा को JSON लाइन (.jsonl) प्रारूप में स्वरूपित किया जाना चाहिए, जहां प्रत्येक पंक्ति एकल डेटा नमूने का प्रतिनिधित्व करने वाला एक शब्दकोश है। सभी प्रशिक्षण डेटा एक ही फ़ोल्डर में होना चाहिए; हालाँकि, इसे एकाधिक .jsonl फ़ाइलों में सहेजा जा सकता है। .jsonl फ़ाइल एक्सटेंशन अनिवार्य है. प्रशिक्षण फ़ोल्डर में एक भी हो सकता है template.json इनपुट और आउटपुट स्वरूपों का वर्णन करने वाली फ़ाइल। यदि कोई टेम्प्लेट फ़ाइल नहीं दी गई है, तो निम्नलिखित टेम्प्लेट का उपयोग किया जाएगा:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

इस स्थिति में, JSON लाइन प्रविष्टियों में डेटा शामिल होना चाहिए prompt और completion खेत। यदि कोई कस्टम टेम्पलेट प्रदान किया गया है, तो उसका भी उपयोग करना चाहिए prompt और completion इनपुट और आउटपुट टेम्प्लेट को परिभाषित करने के लिए कुंजियाँ। निम्नलिखित एक नमूना कस्टम टेम्पलेट है:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

यहां, JSON लाइन प्रविष्टियों में डेटा शामिल होना चाहिए question, context, तथा answer क्षेत्रों.

आउटपुट एक प्रशिक्षित मॉडल है जिसे अनुमान के लिए तैनात किया जा सकता है।

हम अमेज़ॅन के एसईसी फाइलिंग डेटा का एक सबसेट प्रदान करते हैं। इसे सार्वजनिक रूप से उपलब्ध से डाउनलोड किया गया है एडगर. डेटा तक पहुँचने के निर्देशों के लिए, देखें EDGAR डेटा तक पहुँचना.

लाइसेंस: क्रिएटिव कॉमन्स एट्रिब्यूशन-शेयरअलाइक लाइसेंस (CC BY-SA 4.0)

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. ऑटोमोटिव/ईवीएस, कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• चार्टप्राइम. चार्टप्राइम के साथ अपने ट्रेडिंग गेम को उन्नत करें। यहां पहुंचें।
• BlockOffsets. पर्यावरणीय ऑफसेट स्वामित्व का आधुनिकीकरण। यहां पहुंचें।
• स्रोत: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/