Βελτιστοποιήστε το Llama 2 για δημιουργία κειμένου στο Amazon SageMaker JumpStart | Υπηρεσίες Ιστού της Amazon

Σήμερα, είμαστε ενθουσιασμένοι που ανακοινώνουμε τη δυνατότητα να τελειοποιήσουμε τα μοντέλα Llama 2 από τη Meta χρησιμοποιώντας Amazon SageMaker JumpStart. Η οικογένεια Llama 2 μεγάλων γλωσσικών μοντέλων (LLMs) είναι μια συλλογή προεκπαιδευμένων και βελτιστοποιημένων μοντέλων δημιουργίας κειμένου που κυμαίνονται σε κλίμακα από 7 δισεκατομμύρια έως 70 δισεκατομμύρια παραμέτρους. Τα τελειοποιημένα LLM, που ονομάζονται Llama-2-chat, είναι βελτιστοποιημένα για περιπτώσεις χρήσης διαλόγου. Μπορείτε εύκολα να δοκιμάσετε αυτά τα μοντέλα και να τα χρησιμοποιήσετε με το SageMaker JumpStart, το οποίο είναι ένας κόμβος μηχανικής εκμάθησης (ML) που παρέχει πρόσβαση σε αλγόριθμους, μοντέλα και λύσεις ML, ώστε να μπορείτε να ξεκινήσετε γρήγορα με την ML. Τώρα μπορείτε επίσης να ρυθμίσετε 7 δισεκατομμύρια, 13 δισεκατομμύρια και 70 δισεκατομμύρια παραμέτρους μοντέλα δημιουργίας κειμένου Llama 2 στο SageMaker JumpStart χρησιμοποιώντας το Στούντιο Amazon SageMaker UI με μερικά κλικ ή χρησιμοποιώντας το SageMaker Python SDK.

Τα γενετικά μοντέλα θεμελίωσης τεχνητής νοημοσύνης βρίσκονται στο επίκεντρο των περισσότερων ερευνών και υποθέσεων χρήσης ML και τεχνητής νοημοσύνης για περισσότερο από ένα χρόνο τώρα. Αυτά τα βασικά μοντέλα αποδίδουν πολύ καλά με παραγωγικές εργασίες, όπως δημιουργία κειμένου, σύνοψη, απάντηση ερωτήσεων, δημιουργία εικόνων και βίντεο και πολλά άλλα, λόγω του μεγάλου μεγέθους τους και επίσης επειδή εκπαιδεύονται σε πολλά μεγάλα σύνολα δεδομένων και εκατοντάδες εργασίες. Παρά τις μεγάλες δυνατότητες γενίκευσης αυτών των μοντέλων, υπάρχουν συχνά περιπτώσεις χρήσης που έχουν πολύ συγκεκριμένα δεδομένα τομέα (όπως υγειονομική περίθαλψη ή χρηματοοικονομικές υπηρεσίες), εξαιτίας των οποίων αυτά τα μοντέλα ενδέχεται να μην είναι σε θέση να παρέχουν καλά αποτελέσματα για αυτές τις περιπτώσεις χρήσης. Αυτό έχει ως αποτέλεσμα την ανάγκη περαιτέρω λεπτομέρειας αυτών των μοντέλων τεχνητής νοημοσύνης που δημιουργούνται σε σχέση με τα δεδομένα για συγκεκριμένη περίπτωση χρήσης και δεδομένα για συγκεκριμένο τομέα.

Σε αυτήν την ανάρτηση, περιγράφουμε πώς να τελειοποιήσετε τα προεκπαιδευμένα μοντέλα δημιουργίας κειμένου Llama 2 μέσω του SageMaker JumpStart.

Τι είναι το Llama 2

Το Llama 2 είναι ένα μοντέλο γλώσσας αυτόματης παλινδρόμησης που χρησιμοποιεί μια βελτιστοποιημένη αρχιτεκτονική μετασχηματιστή. Το Llama 2 προορίζεται για εμπορική και ερευνητική χρήση στα αγγλικά. Διατίθεται σε μια σειρά μεγεθών παραμέτρων—7 δισεκατομμύρια, 13 δισεκατομμύρια και 70 δισεκατομμύρια—καθώς και σε προεκπαιδευμένες και βελτιωμένες παραλλαγές. Σύμφωνα με το Meta, οι συντονισμένες εκδόσεις χρησιμοποιούν εποπτευόμενη λεπτομέρεια (SFT) και ενισχυτική μάθηση με ανθρώπινη ανάδραση (RLHF) για να ευθυγραμμιστούν με τις ανθρώπινες προτιμήσεις για εξυπηρετικότητα και ασφάλεια. Το Llama 2 ήταν προεκπαιδευμένο σε 2 τρισεκατομμύρια μάρκες δεδομένων από δημόσια διαθέσιμες πηγές. Τα συντονισμένα μοντέλα προορίζονται για συνομιλία τύπου βοηθού, ενώ τα προεκπαιδευμένα μοντέλα μπορούν να προσαρμοστούν για μια ποικιλία εργασιών δημιουργίας φυσικής γλώσσας. Ανεξάρτητα από την έκδοση του μοντέλου που χρησιμοποιεί ένας προγραμματιστής, το οδηγός υπεύθυνης χρήσης από το Meta μπορεί να βοηθήσει στην καθοδήγηση πρόσθετων λεπτομερειών που μπορεί να είναι απαραίτητες για την προσαρμογή και τη βελτιστοποίηση των μοντέλων με κατάλληλους μετριασμούς ασφαλείας.

Επί του παρόντος, το Llama 2 είναι διαθέσιμο στις ακόλουθες περιοχές:

• Ανάπτυξη προεκπαιδευμένου μοντέλου διαθέσιμο: "us-west-2", "us-east-1", "us-east-2", "eu-west-1", "ap-southeast-1", "ap-southeast-2"
• Βελτιστοποιήστε και αναπτύξτε το βελτιστοποιημένο μοντέλο: “us-east-1”, “us-west-2”,“eu-west-1”

Τι είναι το SageMaker JumpStart

Με το SageMaker JumpStart, οι επαγγελματίες ML μπορούν να επιλέξουν από μια ευρεία γκάμα διαθέσιμων στο κοινό μοντέλων βάσης. Οι επαγγελματίες ML μπορούν να αναπτύξουν μοντέλα θεμελίωσης σε αποκλειστική χρήση Amazon Sage Maker στιγμιότυπα από ένα απομονωμένο περιβάλλον δικτύου και προσαρμόστε μοντέλα χρησιμοποιώντας το SageMaker για εκπαίδευση και ανάπτυξη μοντέλων. Τώρα μπορείτε να ανακαλύψετε και να αναπτύξετε το Llama 2 με μερικά κλικ στο SageMaker Studio ή μέσω προγραμματισμού μέσω του SageMaker Python SDK, επιτρέποντάς σας να αντλήσετε στοιχεία ελέγχου απόδοσης μοντέλου και MLOps με λειτουργίες του SageMaker, όπως π.χ. Αγωγοί Amazon SageMaker, Debugger Amazon SageMaker, ή αρχεία καταγραφής κοντέινερ. Το μοντέλο αναπτύσσεται σε ένα ασφαλές περιβάλλον AWS και υπό τους ελέγχους VPC σας, συμβάλλοντας στη διασφάλιση της ασφάλειας των δεδομένων. Επιπλέον, μπορείτε να ρυθμίσετε τα προεκπαιδευμένα μοντέλα δημιουργίας κειμένου Llama2 7B, 13B και 70B μέσω του SageMaker JumpStart.

Βελτιώστε τα μοντέλα Llama2

Μπορείτε να ρυθμίσετε τα μοντέλα χρησιμοποιώντας είτε το SageMaker Studio UI είτε το SageMaker Python SDK. Συζητάμε και τις δύο μεθόδους σε αυτή την ενότητα.

Βελτιστοποίηση χωρίς κώδικα μέσω της διεπαφής χρήστη του SageMaker Studio

Στο SageMaker Studio, μπορείτε να αποκτήσετε πρόσβαση στα μοντέλα Llama 2 μέσω του SageMaker JumpStart στο Μοντέλα, σημειωματάρια και λύσεις, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Εάν δεν βλέπετε μοντέλα Llama 2, ενημερώστε την έκδοση του SageMaker Studio τερματίζοντας και επανεκκινώντας. Για περισσότερες πληροφορίες σχετικά με τις ενημερώσεις έκδοσης, ανατρέξτε στο Τερματισμός και ενημέρωση εφαρμογών Studio.

Μπορείτε επίσης να βρείτε άλλες τέσσερις παραλλαγές μοντέλων επιλέγοντας Εξερευνήστε όλα τα μοντέλα δημιουργίας κειμένου ή αναζήτηση για λάμα στο πλαίσιο αναζήτησης.

Σε αυτή τη σελίδα, μπορείτε να υποδείξετε το Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος που περιέχει τα σύνολα δεδομένων εκπαίδευσης και επικύρωσης για τελειοποίηση. Επιπλέον, μπορείτε να διαμορφώσετε τις ρυθμίσεις παραμέτρων ανάπτυξης, τις υπερπαραμέτρους και τις ρυθμίσεις ασφαλείας για μικροσυντονισμό. Στη συνέχεια, μπορείτε να επιλέξετε Τρένο για να ξεκινήσετε την εργασία εκπαίδευσης σε μια παρουσία του SageMaker ML. Το προηγούμενο στιγμιότυπο οθόνης δείχνει τη σελίδα λεπτομέρειας για το μοντέλο Llama-2 7B. Ωστόσο, μπορείτε να ρυθμίσετε τα μοντέλα δημιουργίας κειμένου 13B και 70B Llama 2 χρησιμοποιώντας τις αντίστοιχες σελίδες μοντέλων τους με παρόμοιο τρόπο. Για να χρησιμοποιήσετε μοντέλα Llama 2, πρέπει να αποδεχτείτε την Άδεια Χρήσης Τελικού Χρήστη (EULA). Θα εμφανιστεί όταν το επιλέξετε Τρένο, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης. Επιλέγω Έχω διαβάσει και αποδέχομαι EULA και AUP για να ξεκινήσετε τη δουλειά μικρορύθμισης.

Αναπτύξτε το μοντέλο

Αφού τελειοποιήσετε το μοντέλο, μπορείτε να το αναπτύξετε χρησιμοποιώντας τη σελίδα μοντέλου στο SageMaker JumpStart. Η επιλογή ανάπτυξης του μικροσυντονισμένου μοντέλου θα εμφανιστεί όταν ολοκληρωθεί η μικροσυντονισμός, όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.

Βελτιστοποιήστε μέσω του SageMaker Python SDK

Μπορείτε επίσης να ρυθμίσετε τα μοντέλα Llama 2 χρησιμοποιώντας το SageMaker Python SDK. Το παρακάτω είναι ένα δείγμα κώδικα για να ρυθμίσετε με ακρίβεια το Llama 2 7B στο σύνολο δεδομένων σας:

import os
import boto3
from sagemaker.session import Session
from sagemaker.jumpstart.estimator import JumpStartEstimator # To fine-tune the 13B/70B model, please change model_id to `meta-textgeneration-llama-2-13b`/`meta-textgeneration-llama-2-70b`.
model_id = "meta-textgeneration-llama-2-7b" estimator = JumpStartEstimator( model_id=model_id, environment={"accept_eula": "true"}
)
# By default, instruction tuning is set to false. Thus, to use instruction tuning dataset you use
estimator.set_hyperparameters(instruction_tuned="True", epoch="5")
estimator.fit({"training": train_data_location})

Μπορείτε να αναπτύξετε το τελειοποιημένο μοντέλο απευθείας από τον εκτιμητή:

finetuned_predictor = estimator.deploy()

Μπορείτε επίσης να βρείτε τον κωδικό στο Βελτιστοποιήστε τα μοντέλα LLaMA 2 στο SageMaker JumpStart. Περιλαμβάνει προετοιμασία δεδομένων, εκπαίδευση στο προσαρμοσμένο σύνολο δεδομένων σας και ανάπτυξη του βελτιστοποιημένου μοντέλου. Δείχνει τη λεπτομερή ρύθμιση σε ένα υποσύνολο του συνόλου δεδομένων Dolly με παραδείγματα από την εργασία σύνοψης. Ακολουθεί το παράδειγμα εισαγωγής με απαντήσεις από λεπτομέρεια και μη λεπτομέρεια μαζί με την απόκριση αληθούς βάσης:

Εισαγωγή στο μοντέλο:

Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:nWhen did Felix Luna die?nn### Input:nFélix César Luna (30 September 1925 – 5 November 2009) was an Argentine writer, lyricist and historian.nnnn### Response:n

Απόκριση βασικής αλήθειας:

Felix Luna died on November 5th, 2009

Απάντηση από το μη προσαρμοσμένο μοντέλο:

Félix César Luna (30 September 1925 – 5 November 2009) was an ArgentinennWhen did Luna die?nnn### Explanation:nWe answer the question with the input's date of birth and the date of death.nnn### Solution: 1102n

Απάντηση από το τελειοποιημένο μοντέλο:

Félix Luna died on November 5th, 2009.nn

Για συγκριτική αξιολόγηση απόδοσης διαφορετικών μοντέλων στο σύνολο δεδομένων Dolly και Dialogsum, ανατρέξτε στο Συγκριτική αξιολόγηση απόδοσης ενότητα στο παράρτημα στο τέλος αυτής της ανάρτησης.

Τεχνική μικρορύθμισης

Τα μοντέλα γλώσσας όπως το Llama έχουν μέγεθος μεγαλύτερο από 10 GB ή ακόμα και 100 GB. Η τελειοποίηση τέτοιων μεγάλων μοντέλων απαιτεί περιπτώσεις με σημαντικά υψηλή μνήμη CUDA. Επιπλέον, η εκπαίδευση αυτών των μοντέλων μπορεί να είναι πολύ αργή λόγω του μεγέθους του μοντέλου. Επομένως, για αποτελεσματική μικρορύθμιση, χρησιμοποιούμε τις ακόλουθες βελτιστοποιήσεις:

• Προσαρμογή χαμηλής κατάταξης (LoRA) – Αυτός είναι ένας τύπος παραμέτρου αποδοτικής μικρορύθμισης (PEFT) για αποτελεσματική μικρορύθμιση μεγάλων μοντέλων. Σε αυτό, παγώνουμε ολόκληρο το μοντέλο και προσθέτουμε μόνο ένα μικρό σύνολο ρυθμιζόμενων παραμέτρων ή επιπέδων στο μοντέλο. Για παράδειγμα, αντί να εκπαιδεύσουμε και τις 7 δισεκατομμύρια παραμέτρους για το Llama 2 7B, μπορούμε να ρυθμίσουμε με ακρίβεια λιγότερο από το 1% των παραμέτρων. Αυτό βοηθά στη σημαντική μείωση της απαίτησης μνήμης, επειδή χρειάζεται να αποθηκεύουμε μόνο διαβαθμίσεις, καταστάσεις βελτιστοποίησης και άλλες πληροφορίες που σχετίζονται με την εκπαίδευση μόνο για το 1% των παραμέτρων. Επιπλέον, αυτό βοηθά στη μείωση του χρόνου προπόνησης καθώς και του κόστους. Για περισσότερες λεπτομέρειες σχετικά με αυτήν τη μέθοδο, ανατρέξτε στο LoRA: Προσαρμογή χαμηλού βαθμού μεγάλων γλωσσικών μοντέλων.
• Κβαντισμός Int8 – Ακόμη και με βελτιστοποιήσεις όπως το LoRA, μοντέλα όπως το Llama 70B εξακολουθούν να είναι πολύ μεγάλα για εκπαίδευση. Για να μειώσουμε το αποτύπωμα μνήμης κατά τη διάρκεια της προπόνησης, μπορούμε να χρησιμοποιήσουμε την κβαντοποίηση Int8 κατά τη διάρκεια της προπόνησης. Η κβαντοποίηση τυπικά μειώνει την ακρίβεια των τύπων δεδομένων κινητής υποδιαστολής. Αν και αυτό μειώνει τη μνήμη που απαιτείται για την αποθήκευση βαρών μοντέλων, υποβαθμίζει την απόδοση λόγω απώλειας πληροφοριών. Η κβαντοποίηση Int8 χρησιμοποιεί μόνο το ένα τέταρτο της ακρίβειας, αλλά δεν επιφέρει υποβάθμιση της απόδοσης επειδή δεν ρίχνει απλώς τα bits. Στρογγυλοποιεί τα δεδομένα από τον έναν τύπο στον άλλο. Για να μάθετε σχετικά με την κβαντοποίηση Int8, ανατρέξτε στο LLM.int8(): Πολλαπλασιασμός Matrix 8-bit για μετασχηματιστές σε κλίμακα.
• Πλήρως σπασμένα δεδομένα παράλληλα (FSDP) – Αυτός είναι ένας τύπος αλγόριθμου εκπαίδευσης παράλληλων δεδομένων που κατακερματίζει τις παραμέτρους του μοντέλου σε παράλληλους εργαζόμενους δεδομένων και μπορεί προαιρετικά να μεταφορτώσει μέρος του υπολογισμού της εκπαίδευσης στις CPU. Παρόλο που οι παράμετροι είναι κατανεμημένες σε διαφορετικές GPU, ο υπολογισμός κάθε μικροπαρτίδας είναι τοπικός για τον εργαζόμενο GPU. Κατακερματίζει τις παραμέτρους πιο ομοιόμορφα και επιτυγχάνει βελτιστοποιημένη απόδοση μέσω αλληλοεπικάλυψης επικοινωνίας και υπολογισμού κατά τη διάρκεια της προπόνησης.

Ο παρακάτω πίνακας συγκρίνει διαφορετικές μεθόδους με τα τρία μοντέλα Llama 2.

Σημειώστε ότι η τελειοποίηση των μοντέλων Llama βασίζεται σε σενάρια που παρέχονται από τα ακόλουθα GitHub repo.

Μορφή δεδομένων εκπαίδευσης

Το SageMaker JumpStart υποστηρίζει επί του παρόντος σύνολα δεδομένων τόσο σε μορφή προσαρμογής τομέα όσο και σε μορφή συντονισμού εντολών. Σε αυτήν την ενότητα, καθορίζουμε ένα παράδειγμα συνόλου δεδομένων και στις δύο μορφές. Για περισσότερες λεπτομέρειες, ανατρέξτε στο Μορφοποίηση συνόλου δεδομένων ενότητα στο παράρτημα.

Μορφή προσαρμογής τομέα

Το μοντέλο παραγωγής κειμένου Llama 2 μπορεί να ρυθμιστεί με ακρίβεια σε οποιοδήποτε σύνολο δεδομένων συγκεκριμένου τομέα. Αφού τελειοποιηθεί στο σύνολο δεδομένων για συγκεκριμένο τομέα, το μοντέλο αναμένεται να δημιουργήσει κείμενο για συγκεκριμένο τομέα και να λύσει διάφορες εργασίες NLP σε αυτόν τον συγκεκριμένο τομέα με προτροπή λίγων λήψεων. Με αυτό το σύνολο δεδομένων, η είσοδος αποτελείται από ένα αρχείο CSV, JSON ή TXT. Για παράδειγμα, τα δεδομένα εισόδου μπορεί να είναι αρχεία SEC της Amazon ως αρχείο κειμένου:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions.

Μορφή συντονισμού οδηγιών

Στη λεπτομέρεια εντολών, το μοντέλο ρυθμίζεται με ακρίβεια για ένα σύνολο εργασιών επεξεργασίας φυσικής γλώσσας (NLP) που περιγράφονται χρησιμοποιώντας οδηγίες. Αυτό βοηθά στη βελτίωση της απόδοσης του μοντέλου για μη εμφανείς εργασίες με προτροπές μηδενικής λήψης. Στη μορφή συνόλου δεδομένων συντονισμού εντολών, καθορίζετε το template.json αρχείο που περιγράφει τις μορφές εισόδου και εξόδου. Για παράδειγμα, κάθε γραμμή στο αρχείο train.jsonl μοιάζει με το εξής:

{"instruction": "What is a dispersive prism?", "context": "In optics, a dispersive prism is an optical prism that is used to disperse light, that is, to separate light into its spectral components (the colors of the rainbow). Different wavelengths (colors) of light will be deflected by the prism at different angles. This is a result of the prism material's index of refraction varying with wavelength (dispersion). Generally, longer wavelengths (red) undergo a smaller deviation than shorter wavelengths (blue). The dispersion of white light into colors by a prism led Sir Isaac Newton to conclude that white light consisted of a mixture of different colors.", "response": "A dispersive prism is an optical prism that disperses the light's different wavelengths at different angles. When white light is shined through a dispersive prism it will separate into the different colors of the rainbow."}

Το πρόσθετο αρχείο template.json μοιάζει με το εξής:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. " "Write a response that appropriately completes the request.nn" "### Instruction:n{instruction}nn### Input:n{context}nn", "completion": " {response}",
}

Υποστηριζόμενες υπερπαράμετροι για προπόνηση

Η λεπτομέρεια του Llama 2 υποστηρίζει έναν αριθμό υπερπαραμέτρων, καθεμία από τις οποίες μπορεί να επηρεάσει την απαίτηση μνήμης, την ταχύτητα προπόνησης και την απόδοση του βελτιωμένου μοντέλου:

• εποχή – Ο αριθμός των περασμάτων που πραγματοποιεί ο αλγόριθμος μικρορύθμισης μέσω του συνόλου δεδομένων εκπαίδευσης. Πρέπει να είναι ακέραιος αριθμός μεγαλύτερος από 1. Η προεπιλογή είναι 5.
• βαθμός μάθησης – Ο ρυθμός με τον οποίο ενημερώνονται τα βάρη του μοντέλου μετά την επεξεργασία κάθε παρτίδας παραδειγμάτων εκπαίδευσης. Πρέπει να είναι θετικός float μεγαλύτερος από 0. Η προεπιλογή είναι 1e-4.
• instruction_tuned – Είτε θα εκπαιδεύσετε-εκπαιδεύσετε το μοντέλο είτε όχι. Πρέπει να είναι 'True' ή 'False'. Η προεπιλογή είναι 'False'.
• ανά_συσκευή_train_batch_size – Το μέγεθος παρτίδας ανά πυρήνα/CPU GPU για εκπαίδευση. Πρέπει να είναι θετικός ακέραιος αριθμός. Η προεπιλογή είναι 4.
• ανά_συσκευή_eval_batch_size – Το μέγεθος παρτίδας ανά πυρήνα/CPU GPU για αξιολόγηση. Πρέπει να είναι θετικός ακέραιος αριθμός. Η προεπιλογή είναι 1.
• max_train_samples – Για σκοπούς εντοπισμού σφαλμάτων ή ταχύτερη εκπαίδευση, περικόψτε τον αριθμό των παραδειγμάτων εκπαίδευσης σε αυτήν την τιμή. Η τιμή -1 σημαίνει τη χρήση όλων των δειγμάτων εκπαίδευσης. Πρέπει να είναι θετικός ακέραιος ή -1. Η προεπιλογή είναι -1.
• max_val_samples – Για σκοπούς εντοπισμού σφαλμάτων ή ταχύτερη εκπαίδευση, περικόψτε τον αριθμό των παραδειγμάτων επικύρωσης σε αυτήν την τιμή. Η τιμή -1 σημαίνει τη χρήση όλων των δειγμάτων επικύρωσης. Πρέπει να είναι θετικός ακέραιος ή -1. Η προεπιλογή είναι -1.
• max_input_length – Μέγιστο συνολικό μήκος ακολουθίας εισαγωγής μετά τη διαγραφή. Ακολουθίες μεγαλύτερες από αυτό θα περικοπούν. Αν -1, max_input_length έχει οριστεί στο ελάχιστο 1024 και το μέγιστο μήκος μοντέλου που ορίζεται από το tokenizer. Εάν οριστεί σε θετική τιμή, max_input_length ορίζεται στο ελάχιστο της παρεχόμενης τιμής και το model_max_length που ορίζεται από το tokenizer. Πρέπει να είναι θετικός ακέραιος ή -1. Η προεπιλογή είναι -1.
• αναλογία_διαχωρισμού_επικύρωσης – Εάν υπάρχει κανάλι επικύρωσης none, ο λόγος επικύρωσης αμαξοστοιχίας διαχωρισμού από τα δεδομένα αμαξοστοιχίας πρέπει να είναι μεταξύ 0–1. Η προεπιλογή είναι 0.2.
• train_data_split_seed – Εάν δεν υπάρχουν δεδομένα επικύρωσης, αυτό διορθώνει τον τυχαίο διαχωρισμό των δεδομένων εκπαίδευσης εισόδου σε δεδομένα εκπαίδευσης και επικύρωσης που χρησιμοποιούνται από τον αλγόριθμο. Πρέπει να είναι ακέραιος. Η προεπιλογή είναι 0.
• preprocessing_num_workers – Ο αριθμός των διεργασιών που θα χρησιμοποιηθούν για την προεπεξεργασία. Αν None, η κύρια διαδικασία χρησιμοποιείται για την προεπεξεργασία. Η προεπιλογή είναι None.
• lora_r – Lora R. Πρέπει να είναι θετικός ακέραιος αριθμός. Η προεπιλογή είναι 8.
• lora_alpha – Λώρα Άλφα. Πρέπει να είναι θετικός ακέραιος αριθμός. Η προεπιλογή είναι 32
• lora_dropout – Lora Dropout. πρέπει να είναι θετική διακύμανση μεταξύ 0 και 1. Η προεπιλογή είναι 0.05.
• int8_quantization - Αν True, το μοντέλο είναι φορτωμένο με ακρίβεια 8-bit για εκπαίδευση. Η προεπιλογή για τα 7B και 13B είναι False. Η προεπιλογή για 70Β είναι True.
• enable_fsdp - Αν True, η εκπαίδευση χρησιμοποιεί FSDP. Η προεπιλογή για τα 7B και 13B είναι True. Η προεπιλογή για 70Β είναι False. Σημειώστε ότι int8_quantization δεν υποστηρίζεται με FSDP.

Τύποι παρουσιών και συμβατές υπερπαράμετροι

Η απαίτηση μνήμης κατά τη μικρορύθμιση μπορεί να ποικίλλει ανάλογα με διάφορους παράγοντες:

• Τύπος μοντέλου – Το μοντέλο 7B έχει τη λιγότερη απαίτηση μνήμης GPU και το 70B έχει τη μεγαλύτερη απαίτηση μνήμης
• Μέγιστο μήκος εισόδου – Μια υψηλότερη τιμή του μήκους εισόδου οδηγεί σε επεξεργασία περισσότερων διακριτικών κάθε φορά και ως εκ τούτου απαιτεί περισσότερη μνήμη CUDA
• Μέγεθος παρτίδας – Ένα μεγαλύτερο μέγεθος παρτίδας απαιτεί μεγαλύτερη μνήμη CUDA και επομένως απαιτεί μεγαλύτερους τύπους παρουσιών
• Κβαντισμός Int8 – Εάν χρησιμοποιείτε κβαντισμό Int8, το μοντέλο φορτώνεται σε χαμηλή ακρίβεια και επομένως απαιτεί λιγότερη μνήμη CUDA

Για να σας βοηθήσουμε να ξεκινήσετε, παρέχουμε ένα σύνολο συνδυασμών διαφορετικών τύπων παρουσιών, υπερπαραμέτρων και τύπων μοντέλων που μπορούν να τελειοποιηθούν με επιτυχία. Μπορείτε να επιλέξετε μια διαμόρφωση σύμφωνα με τις απαιτήσεις σας και τη διαθεσιμότητα των τύπων παρουσιών. Βελτιώνουμε και τα τρία μοντέλα σε μια ποικιλία ρυθμίσεων με τρεις εποχές σε ένα υποσύνολο του συνόλου δεδομένων Dolly με συνοπτικά παραδείγματα.

Μοντέλο 7Β

Ο παρακάτω πίνακας συνοψίζει τις επιλογές λεπτομέρειας στο μοντέλο 7B.

13B

Ο παρακάτω πίνακας συνοψίζει τις επιλογές λεπτομέρειας στο μοντέλο 13B.

70B

Ο παρακάτω πίνακας συνοψίζει τις επιλογές λεπτομέρειας στο μοντέλο 70B.

Συστάσεις σχετικά με τους τύπους και τις υπερπαραμέτρους παραστάσεων

Όταν προσαρμόζετε την ακρίβεια του μοντέλου, λάβετε υπόψη τα εξής:

• Μεγαλύτερα μοντέλα όπως το 70B παρέχουν καλύτερη απόδοση από το 7B
• Η απόδοση χωρίς κβαντισμό Int8 είναι καλύτερη από την απόδοση με κβαντισμό INT8

Σημειώστε τις ακόλουθες απαιτήσεις χρόνου εκπαίδευσης και μνήμης CUDA:

• Ρύθμιση int8_quantization=True μειώνει τις απαιτήσεις μνήμης και οδηγεί σε ταχύτερη προπόνηση.
• Μείωση per_device_train_batch_size και max_input_length μειώνει την απαίτηση μνήμης και επομένως μπορεί να εκτελεστεί σε μικρότερες περιπτώσεις. Ωστόσο, η ρύθμιση πολύ χαμηλών τιμών μπορεί να αυξήσει τον χρόνο προπόνησης.
• Εάν δεν χρησιμοποιείτε κβαντισμό Int8 (int8_quantization=False), χρησιμοποιήστε το FSDP (enable_fsdp=True) για ταχύτερη και αποτελεσματική προπόνηση.

Όταν επιλέγετε τον τύπο του στιγμιότυπου, λάβετε υπόψη τα εξής:

• Οι παρουσίες G5 παρέχουν την πιο αποτελεσματική εκπαίδευση μεταξύ των υποστηριζόμενων τύπων παρουσιών. Επομένως, εάν έχετε διαθέσιμες παρουσίες G5, θα πρέπει να τις χρησιμοποιήσετε.
• Ο χρόνος εκπαίδευσης εξαρτάται σε μεγάλο βαθμό από τον αριθμό των GPU και τη διαθέσιμη μνήμη CUDA. Επομένως, η εκπαίδευση σε περιπτώσεις με τον ίδιο αριθμό GPU (για παράδειγμα, ml.g5.2xlarge και ml.g5.4xlarge) είναι περίπου η ίδια. Επομένως, μπορείτε να χρησιμοποιήσετε το φθηνότερο παράδειγμα για προπόνηση (ml.g5.2xlarge).
• Όταν χρησιμοποιείτε παρουσίες p3, η εκπαίδευση θα γίνεται με ακρίβεια 32 bit επειδή το bfloat16 δεν υποστηρίζεται σε αυτές τις περιπτώσεις. Επομένως, η εργασία εκπαίδευσης θα καταναλώσει διπλάσια ποσότητα μνήμης CUDA κατά την προπόνηση σε περιπτώσεις p3 σε σύγκριση με περιπτώσεις g5.

Για να μάθετε σχετικά με το κόστος της εκπαίδευσης ανά περίπτωση, ανατρέξτε στο Περιπτώσεις Amazon EC2 G5.

Εάν το σύνολο δεδομένων είναι σε μορφή συντονισμού εντολών και οι ακολουθίες εισαγωγής+ολοκλήρωσης είναι μικρές (όπως 50–100 λέξεις), τότε μια υψηλή τιμή max_input_length οδηγεί σε πολύ κακή απόδοση. Η προεπιλεγμένη τιμή αυτής της παραμέτρου είναι -1, η οποία αντιστοιχεί στο max_input_length του 2048 για μοντέλα Llama. Επομένως, συνιστούμε εάν το σύνολο δεδομένων σας περιέχει μικρά δείγματα, να χρησιμοποιήσετε μια μικρή τιμή για max_input_length (όπως 200–400).

Τέλος, λόγω της μεγάλης ζήτησης των παρουσιών G5, ενδέχεται να αντιμετωπίσετε τη μη διαθεσιμότητα αυτών των παρουσιών στην περιοχή σας με το σφάλμα “CapacityError: Unable to provision requested ML compute capacity. Please retry using a different ML instance type.” Εάν αντιμετωπίσετε αυτό το σφάλμα, δοκιμάστε ξανά την εργασία εκπαίδευσης ή δοκιμάστε μια διαφορετική περιοχή.

Ζητήματα κατά τη μικρορύθμιση πολύ μεγάλων μοντέλων

Σε αυτήν την ενότητα, συζητάμε δύο ζητήματα κατά τη λεπτομέρεια ρύθμισης πολύ μεγάλων μοντέλων.

Απενεργοποιήστε τη συμπίεση εξόδου

Από προεπιλογή, η έξοδος μιας εργασίας εκπαίδευσης είναι ένα εκπαιδευμένο μοντέλο που συμπιέζεται σε μορφή .tar.gz πριν μεταφορτωθεί στο Amazon S3. Ωστόσο, λόγω του μεγάλου μεγέθους του μοντέλου, αυτό το βήμα μπορεί να διαρκέσει πολύ. Για παράδειγμα, η συμπίεση και η μεταφόρτωση του μοντέλου 70B μπορεί να διαρκέσει περισσότερες από 4 ώρες. Για να αποφύγετε αυτό το ζήτημα, μπορείτε να χρησιμοποιήσετε τη δυνατότητα απενεργοποίησης συμπίεσης εξόδου που υποστηρίζεται από την εκπαιδευτική πλατφόρμα SageMaker. Σε αυτήν την περίπτωση, το μοντέλο μεταφορτώνεται χωρίς συμπίεση, η οποία χρησιμοποιείται περαιτέρω για ανάπτυξη:

estimator = JumpStartEstimator(
model_id=model_id, environment={"accept_eula": "true"}, disable_output_compression=True
)

Ζήτημα χρονικού ορίου λήξης πυρήνα του SageMaker Studio

Λόγω του μεγέθους του μοντέλου Llama 70B, η εργασία εκπαίδευσης μπορεί να διαρκέσει αρκετές ώρες και ο πυρήνας του SageMaker Studio μπορεί να πεθάνει κατά τη φάση της εκπαίδευσης. Ωστόσο, κατά τη διάρκεια αυτής της περιόδου, η εκπαίδευση συνεχίζεται στο SageMaker. Εάν συμβεί αυτό, μπορείτε ακόμα να αναπτύξετε το τελικό σημείο χρησιμοποιώντας το όνομα εργασίας εκπαίδευσης με τον ακόλουθο κώδικα:

from sagemaker.jumpstart.estimator import JumpStartEstimator
training_job_name = <<<INSERT_TRAINING_JOB_NAME>>> attached_estimator = JumpStartEstimator.attach(training_job_name, model_id)
attached_estimator.logs()
attached_estimator.deploy()

Για να βρείτε το όνομα της εργασίας εκπαίδευσης, μεταβείτε στην κονσόλα SageMaker και κάτω Εκπαίδευση στο παράθυρο πλοήγησης, επιλέξτε Εργασίες κατάρτισης. Προσδιορίστε το όνομα εργασίας εκπαίδευσης και αντικαταστήστε το στον προηγούμενο κωδικό.

Συμπέρασμα

Σε αυτήν την ανάρτηση, συζητήσαμε τη βελτίωση των μοντέλων Llama 2 της Meta χρησιμοποιώντας το SageMaker JumpStart. Δείξαμε ότι μπορείτε να χρησιμοποιήσετε την κονσόλα SageMaker JumpStart στο SageMaker Studio ή το SageMaker Python SDK για να τελειοποιήσετε και να αναπτύξετε αυτά τα μοντέλα. Συζητήσαμε επίσης την τεχνική μικρορύθμισης, τους τύπους παρουσιών και τις υποστηριζόμενες υπερπαραμέτρους. Επιπλέον, περιγράψαμε συστάσεις για βελτιστοποιημένη εκπαίδευση με βάση διάφορες δοκιμές που πραγματοποιήσαμε. Τα αποτελέσματα για τη λεπτομερή ρύθμιση των τριών μοντέλων σε δύο σύνολα δεδομένων εμφανίζονται στο παράρτημα στο τέλος αυτής της ανάρτησης. Όπως μπορούμε να δούμε από αυτά τα αποτελέσματα, η τελειοποίηση βελτιώνει τη σύνοψη σε σύγκριση με τα μοντέλα που δεν έχουν συντονιστεί με ακρίβεια. Ως επόμενο βήμα, μπορείτε να δοκιμάσετε να ρυθμίσετε αυτά τα μοντέλα στο δικό σας σύνολο δεδομένων χρησιμοποιώντας τον κώδικα που παρέχεται στο αποθετήριο GitHub για να δοκιμάσετε και να αξιολογήσετε τα αποτελέσματα για τις περιπτώσεις χρήσης σας.

Οι συγγραφείς θα ήθελαν να αναγνωρίσουν τις τεχνικές συνεισφορές των Christopher Whitten, Xin Huang, Kyle Ulrich, Sifei Li, Amy You, Adam Kozdrowicz, Evan Kravitz, Benjamin Crabtree, Haotian An, Manan Shah, Tony Cruz, Ernev Sharma, Jonathan Guinegagne και Κέρδισε.

Σχετικά με τους Συγγραφείς

Δρ Vivek Madan είναι Εφαρμοσμένος Επιστήμονας με την ομάδα Amazon SageMaker JumpStart. Πήρε το διδακτορικό του από το Πανεπιστήμιο του Ιλινόις στο Urbana-Champaign και ήταν μεταδιδακτορικός ερευνητής στο Georgia Tech. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στο σχεδιασμό αλγορίθμων και έχει δημοσιεύσει εργασίες σε συνέδρια EMNLP, ICLR, COLT, FOCS και SODA.

Δρ Φαρούκ Σαμπίρ είναι Ανώτερος Αρχιτέκτονας Λύσεων Ειδικός Τεχνητής Νοημοσύνης και Μηχανικής Μάθησης στο AWS. Είναι κάτοχος διδακτορικού και μεταπτυχιακού τίτλου στον Ηλεκτρολόγο Μηχανικό από το Πανεπιστήμιο του Τέξας στο Ώστιν και μεταπτυχιακό στην Επιστήμη Υπολογιστών από το Ινστιτούτο Τεχνολογίας της Τζόρτζια. Έχει πάνω από 15 χρόνια εργασιακή εμπειρία και επίσης του αρέσει να διδάσκει και να καθοδηγεί φοιτητές. Στην AWS, βοηθά τους πελάτες να διαμορφώσουν και να λύσουν τα επιχειρηματικά τους προβλήματα στην επιστήμη δεδομένων, τη μηχανική μάθηση, την όραση υπολογιστών, την τεχνητή νοημοσύνη, την αριθμητική βελτιστοποίηση και τους σχετικούς τομείς. Με έδρα το Ντάλας του Τέξας, αυτός και η οικογένειά του λατρεύουν να ταξιδεύουν και να κάνουν μακρινά οδικά ταξίδια.

Δρ Ashish Khetan είναι Senior Applied Scientist με το Amazon SageMaker JumpStart και βοηθά στην ανάπτυξη αλγορίθμων μηχανικής μάθησης. Πήρε το διδακτορικό του από το Πανεπιστήμιο του Illinois Urbana-Champaign. Είναι ενεργός ερευνητής στη μηχανική μάθηση και στα στατιστικά συμπεράσματα και έχει δημοσιεύσει πολλές εργασίες σε συνέδρια NeurIPS, ICML, ICLR, JMLR, ACL και EMNLP.

Παράρτημα

Αυτό το παράρτημα παρέχει πρόσθετες πληροφορίες σχετικά με τη συγκριτική αξιολόγηση απόδοσης και τη μορφοποίηση δεδομένων.

Συγκριτική αξιολόγηση απόδοσης

Σε αυτήν την ενότητα, παρέχουμε αποτελέσματα για τη λεπτομερή ρύθμιση των τριών μοντέλων Llama 2 (7B, 13B και 70B) σε δύο διαφορετικά σύνολα δεδομένων: Κουκλίτσα και Διάλογος. Για το σύνολο δεδομένων Dolly, το καθήκον μας είναι να συνοψίσουμε μια παράγραφο κειμένου, ενώ για το Dialogsum, προσαρμόζουμε το μοντέλο για να συνοψίσουμε μια συζήτηση μεταξύ δύο ατόμων. Στους πίνακες που ακολουθούν, δείχνουμε τα δεδομένα εισόδου στο μοντέλο (προτροπή και οδηγίες), τη βασική αλήθεια (σύνοψη), την απόκριση από το προεκπαιδευμένο μοντέλο Llama 2 και την απόκριση από το βελτιωμένο μοντέλο Llama 2 για καθένα από τα τρία Llama 2 μοντέλα. Δείχνουμε αποτελέσματα συμπερασμάτων για πέντε σημεία δεδομένων. Μπορείτε να παρατηρήσετε από τους παρακάτω πίνακες ότι οι περιλήψεις βελτιώνονται και για τα δύο σύνολα δεδομένων όταν βελτιστοποιούμε τα μοντέλα.

• Αποτελέσματα για τη βελτίωση του μοντέλου δημιουργίας κειμένου Llama 2 7B στο σύνολο δεδομένων Dolly:

• Αποτελέσματα για τη βελτίωση του μοντέλου δημιουργίας κειμένου Llama 2 13B στο σύνολο δεδομένων Dolly:

• Αποτελέσματα για τη βελτίωση του μοντέλου δημιουργίας κειμένου Llama 2 70B στο σύνολο δεδομένων Dolly:

• Αποτελέσματα για τη λεπτομερή ρύθμιση του μοντέλου δημιουργίας κειμένου Llama 2 7B στο σύνολο δεδομένων Dialogsum:

• Αποτελέσματα για τη λεπτομερή ρύθμιση του μοντέλου Llama-2 13B στο σύνολο δεδομένων Dialogsum:

• Αποτελέσματα για τη λεπτομερή ρύθμιση του μοντέλου Llama 2 70B στο σύνολο δεδομένων Dialogsum:

Μορφοποίηση συνόλου δεδομένων

Αυτήν τη στιγμή προσφέρουμε δύο τύπους λεπτομέρειας: μικρορύθμιση εντολών και μικρορύθμιση προσαρμογής τομέα. Μπορείτε εύκολα να μεταβείτε σε μία από τις μεθόδους εκπαίδευσης καθορίζοντας την παράμετρο instruction_tuned όπως και 'True' ή 'False'.

Μορφή προσαρμογής τομέα

Το μοντέλο δημιουργίας κειμένου μπορεί επίσης να ρυθμιστεί με ακρίβεια σε οποιοδήποτε σύνολο δεδομένων συγκεκριμένου τομέα. Αφού τελειοποιηθεί στο σύνολο δεδομένων για συγκεκριμένο τομέα, το μοντέλο αναμένεται να δημιουργήσει κείμενο για συγκεκριμένο τομέα και να λύσει διάφορες εργασίες NLP σε αυτόν τον συγκεκριμένο τομέα με προτροπή λίγων λήψεων.

Για εισαγωγή στο μοντέλο, χρησιμοποιήστε έναν κατάλογο εκπαίδευσης και προαιρετικής επικύρωσης. Κάθε κατάλογος περιέχει ένα αρχείο CSV, JSON ή TXT. Για αρχεία CSV και JSON, το τρένο ή τα δεδομένα επικύρωσης χρησιμοποιούνται από τη στήλη που ονομάζεται κείμενο ή την πρώτη στήλη εάν δεν υπάρχει text βρίσκεται. Ο αριθμός των αρχείων υπό εκπαίδευση και επικύρωση (εάν παρέχεται) θα πρέπει να είναι ίσος με 1, αντίστοιχα.

Η έξοδος είναι ένα εκπαιδευμένο μοντέλο που μπορεί να αναπτυχθεί για συμπέρασμα.

Το παρακάτω είναι ένα παράδειγμα αρχείου TXT για τη μικρορύθμιση του μοντέλου δημιουργίας κειμένου. Το αρχείο TXT είναι αρχεία SEC της Amazon από το 2021–2022:

This report includes estimates, projections, statements relating to our
business plans, objectives, and expected operating results that are “forward-
looking statements” within the meaning of the Private Securities Litigation
Reform Act of 1995, Section 27A of the Securities Act of 1933, and Section 21E
of the Securities Exchange Act of 1934. Forward-looking statements may appear
throughout this report, including the following sections: “Business” (Part I,
Item 1 of this Form 10-K), “Risk Factors” (Part I, Item 1A of this Form 10-K),
and “Management’s Discussion and Analysis of Financial Condition and Results
of Operations” (Part II, Item 7 of this Form 10-K). These forward-looking
statements generally are identified by the words “believe,” “project,”
“expect,” “anticipate,” “estimate,” “intend,” “strategy,” “future,”
“opportunity,” “plan,” “may,” “should,” “will,” “would,” “will be,” “will
continue,” “will likely result,” and similar expressions. Forward-looking
statements are based on current expectations and assumptions that are subject
to risks and uncertainties that may cause actual results to differ materially.
We describe risks and uncertainties that could cause actual results and events
to differ materially in “Risk Factors,” “Management’s Discussion and Analysis
of Financial Condition and Results of Operations,” and “Quantitative and
Qualitative Disclosures about Market Risk” (Part II, Item 7A of this Form
10-K). Readers are cautioned not to place undue reliance on forward-looking
statements, which speak only as of the date they are made. We undertake no
obligation to update or revise publicly any forward-looking statements,
whether because of new information, future events, or otherwise. GENERAL Embracing Our Future ...

Βελτιστοποίηση οδηγιών

Το μοντέλο δημιουργίας κειμένου μπορεί να συντονιστεί με οδηγίες σε οποιαδήποτε δεδομένα κειμένου υπό την προϋπόθεση ότι τα δεδομένα είναι στην αναμενόμενη μορφή. Το μοντέλο που έχει συντονιστεί με οδηγίες μπορεί να αναπτυχθεί περαιτέρω για συμπέρασμα.

Για εισαγωγή, χρησιμοποιήστε έναν κατάλογο εκπαίδευσης και προαιρετικής επικύρωσης. Οι κατάλογοι αμαξοστοιχίας και επικύρωσης πρέπει να περιέχουν ένα ή πολλαπλές γραμμές JSON (.jsonl) μορφοποιημένα αρχεία. Συγκεκριμένα, ο κατάλογος τρένου μπορεί επίσης να περιέχει ένα προαιρετικό αρχείο *.json που περιγράφει τις μορφές εισόδου και εξόδου.

Το καλύτερο μοντέλο επιλέγεται σύμφωνα με την απώλεια επικύρωσης, που υπολογίζεται στο τέλος κάθε εποχής. Εάν δεν δοθεί ένα σύνολο επικύρωσης, ένα (προσαρμόσιμο) ποσοστό των δεδομένων εκπαίδευσης χωρίζεται αυτόματα και χρησιμοποιείται για επικύρωση.

Τα δεδομένα εκπαίδευσης πρέπει να είναι μορφοποιημένα σε μορφή JSON lines (.jsonl), όπου κάθε γραμμή είναι ένα λεξικό που αντιπροσωπεύει ένα μεμονωμένο δείγμα δεδομένων. Όλα τα δεδομένα εκπαίδευσης πρέπει να βρίσκονται σε έναν μόνο φάκελο. Ωστόσο, μπορεί να αποθηκευτεί σε πολλά αρχεία .jsonl. Η επέκταση αρχείου .jsonl είναι υποχρεωτική. Ο φάκελος εκπαίδευσης μπορεί επίσης να περιέχει α template.json αρχείο που περιγράφει τις μορφές εισόδου και εξόδου. Εάν δεν δοθεί αρχείο προτύπου, θα χρησιμοποιηθεί το ακόλουθο πρότυπο:

{ "prompt": "Below is an instruction that describes a task, paired with an input that provides further context. Write a response that appropriately completes the request.nn### Instruction:n{instruction}nn### Input:n{context}`, "completion": "{response}",
}

Σε αυτήν την περίπτωση, τα δεδομένα στις εγγραφές γραμμών JSON πρέπει να περιλαμβάνουν prompt και completion χωράφια. Εάν παρέχεται ένα προσαρμοσμένο πρότυπο, πρέπει επίσης να χρησιμοποιηθεί prompt και completion πλήκτρα για να ορίσετε τα πρότυπα εισόδου και εξόδου. Το παρακάτω είναι ένα δείγμα προσαρμοσμένου προτύπου:

{ "prompt": "question: {question} context: {context}", "completion": "{answer}"
}

Εδώ, τα δεδομένα στις καταχωρήσεις γραμμών JSON πρέπει να περιλαμβάνουν το question, context, να answer πεδία.

Η έξοδος είναι ένα εκπαιδευμένο μοντέλο που μπορεί να αναπτυχθεί για συμπέρασμα.

Παρέχουμε ένα υποσύνολο δεδομένων αρχειοθέτησης SEC της Amazon. Γίνεται λήψη από δημόσια διαθέσιμη EDGAR. Για οδηγίες σχετικά με την πρόσβαση στα δεδομένα, ανατρέξτε στο Πρόσβαση στα δεδομένα EDGAR.

Άδεια: Άδεια Creative Commons Attribution-ShareAlike (CC BY-SA 4.0)

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• ChartPrime. Ανεβάστε το Trading Game σας με το ChartPrime. Πρόσβαση εδώ.
• BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/fine-tune-llama-2-for-text-generation-on-amazon-sagemaker-jumpstart/