Το μοντέλο βάσης AI21 Jurassic-1 είναι πλέον διαθέσιμο στο Amazon SageMaker

Σήμερα, είμαστε ενθουσιασμένοι που ανακοινώνουμε ότι τα μοντέλα βάσης AI21 Jurassic-1 (J1) είναι διαθέσιμα για πελάτες που χρησιμοποιούν Amazon Sage Maker. Τα μοντέλα Jurassic-1 είναι εξαιρετικά ευέλικτα, ικανά τόσο για τη δημιουργία κειμένου που μοιάζει με άνθρωπο, όσο και για την επίλυση σύνθετων εργασιών όπως η απάντηση σε ερωτήσεις, η ταξινόμηση κειμένου και πολλές άλλες. Μπορείτε εύκολα να δοκιμάσετε αυτό το μοντέλο και να το χρησιμοποιήσετε Amazon SageMaker JumpStart. Το JumpStart είναι ο κόμβος μηχανικής εκμάθησης (ML) του SageMaker που παρέχει πρόσβαση σε βασικά μοντέλα εκτός από ενσωματωμένους αλγόριθμους και πρότυπα λύσεων από άκρο σε άκρο για να σας βοηθήσει να ξεκινήσετε γρήγορα με την ML.

Σε αυτήν την ανάρτηση, περιγράφουμε πώς να χρησιμοποιήσετε το μοντέλο Jurassic-1 Grande στο SageMaker.

Μοντέλα θεμελίωσης στο SageMaker

Το JumpStart παρέχει πρόσβαση σε μια σειρά μοντέλων από δημοφιλείς κόμβους μοντέλων, συμπεριλαμβανομένων των Hugging Face, PyTorch Hub και TensorFlow Hub, τα οποία μπορείτε να χρησιμοποιήσετε στη ροή εργασιών ανάπτυξης ML στο SageMaker. Οι πρόσφατες εξελίξεις στην ML οδήγησαν σε μια νέα κατηγορία μοντέλων που είναι γνωστά ως μοντέλα θεμελίωσης, τα οποία συνήθως εκπαιδεύονται σε δισεκατομμύρια παραμέτρους και είναι προσαρμόσιμα σε μια ευρεία κατηγορία περιπτώσεων χρήσης, όπως η σύνοψη κειμένων, η δημιουργία ψηφιακής τέχνης και η μετάφραση γλώσσας. Επειδή αυτά τα μοντέλα είναι δαπανηρά στην εκπαίδευση, οι πελάτες θέλουν να χρησιμοποιήσουν τα υπάρχοντα προεκπαιδευμένα μοντέλα θεμελίωσης και να τα προσαρμόσουν όπως απαιτείται, αντί να εκπαιδεύσουν οι ίδιοι αυτά τα μοντέλα. Το SageMaker παρέχει μια επιμελημένη λίστα μοντέλων από τα οποία μπορείτε να επιλέξετε στην κονσόλα SageMaker.

Μπορείτε πλέον να βρείτε μοντέλα θεμελίωσης από διαφορετικούς παρόχους μοντέλων στο JumpStart, επιτρέποντάς σας να ξεκινήσετε γρήγορα με τα μοντέλα θεμελίωσης. Μπορείτε να βρείτε μοντέλα θεμελίωσης που βασίζονται σε διαφορετικές εργασίες ή παρόχους μοντέλων και να ελέγξετε εύκολα τα χαρακτηριστικά του μοντέλου και τους όρους χρήσης. Μπορείτε επίσης να δοκιμάσετε αυτά τα μοντέλα χρησιμοποιώντας ένα δοκιμαστικό γραφικό στοιχείο διεπαφής χρήστη. Όταν θέλετε να χρησιμοποιήσετε ένα μοντέλο βάσης σε κλίμακα, μπορείτε να το κάνετε εύκολα χωρίς να φύγετε από το SageMaker, χρησιμοποιώντας προκατασκευασμένα σημειωματάρια από παρόχους μοντέλων. Επειδή τα μοντέλα φιλοξενούνται και αναπτύσσονται σε AWS, μπορείτε να είστε βέβαιοι ότι τα δεδομένα σας, είτε χρησιμοποιούνται για αξιολόγηση είτε για χρήση του μοντέλου σε κλίμακα, δεν κοινοποιούνται ποτέ σε τρίτους.

Μοντέλο θεμελίωσης Jurassic-1

Το Jurassic-1 είναι η πρώτη γενιά μιας σειράς μεγάλων γλωσσικών μοντέλων που εκπαιδεύονται και γίνονται ευρέως προσβάσιμα από Εργαστήρια AI21. Για μια πλήρη περιγραφή του Jurassic-1, συμπεριλαμβανομένων των σημείων αναφοράς και των ποσοτικών συγκρίσεων με άλλα μοντέλα, ανατρέξτε στα παρακάτω τεχνικό χαρτί. Όλα τα μοντέλα J1 εκπαιδεύτηκαν σε ένα τεράστιο σώμα αγγλικού κειμένου, καθιστώντας τα εξαιρετικά ευέλικτα προγράμματα δημιουργίας κειμένου γενικού σκοπού, ικανά να συνθέτουν κείμενο που μοιάζει με άνθρωπο και να λύνουν σύνθετες εργασίες όπως απαντήσεις σε ερωτήσεις, ταξινόμηση κειμένου και πολλές άλλες. Το J1 μπορεί να εφαρμοστεί σχεδόν σε οποιαδήποτε εργασία γλώσσας δημιουργώντας μια κατάλληλη προτροπή που περιέχει μια περιγραφή της εργασίας και μερικά παραδείγματα, μια διαδικασία που είναι κοινώς γνωστή ως άμεση μηχανική. Οι δημοφιλείς περιπτώσεις χρήσης περιλαμβάνουν τη δημιουργία αντιγράφων μάρκετινγκ, την ενεργοποίηση chatbot και τη βοήθεια δημιουργικής γραφής.

«Χτίζουμε παγκόσμιας κλάσης βασικά μοντέλα για κείμενο και θέλουμε να βοηθήσουμε τους πελάτες μας να καινοτομήσουν με τα πιο πρόσφατα μοντέλα Jurassic-1. Το Amazon SageMaker προσφέρει το βαθύτερο και ευρύτερο σύνολο υπηρεσιών ML και είμαστε ενθουσιασμένοι που συνεργαζόμαστε με το Amazon SageMaker έτσι ώστε οι πελάτες να μπορούν να χρησιμοποιούν αυτά τα βασικά μοντέλα στο SageMaker στο περιβάλλον ανάπτυξής τους. Τώρα οι πελάτες μπορούν να καινοτομούν γρήγορα, να μειώσουν το χρόνο σε αξία και να αυξήσουν την αποτελεσματικότητα στις επιχειρήσεις τους».

-Ori Goshen, συν-CEO της AI21 Labs.

Walkthrough

Ας σας κάνουμε μια περιήγηση για να δοκιμάσετε το μοντέλο J1-Grande στο SageMaker. Μπορείτε να δοκιμάσετε την εμπειρία σε τρία απλά βήματα:

1. Επιλέξτε το μοντέλο Jurassic-1 στην κονσόλα SageMaker.
2. Αξιολογήστε το μοντέλο χρησιμοποιώντας ένα δοκιμαστικό γραφικό στοιχείο.
3. Χρησιμοποιήστε ένα σημειωματάριο που σχετίζεται με το μοντέλο θεμελίωσης για να το αναπτύξετε στο περιβάλλον σας.

Ας επεκτείνουμε κάθε βήμα λεπτομερώς.

Επιλέξτε το μοντέλο Jurassic-1 στην κονσόλα SageMaker

Το πρώτο βήμα είναι να συνδεθείτε στο Κονσόλα διαχείρισης AWS για το Amazon SageMaker και ζητήστε πρόσβαση στη λίστα μοντέλων θεμελίωσης από την κατηγορία μοντέλων θεμελίωσης παρακάτω εκκίνηση με άλμα εδώ:

Αφού καταχωρηθεί ο λογαριασμός σας, μπορείτε να δείτε μια λίστα μοντέλων σε αυτήν τη σελίδα. Μπορείτε να αναζητήσετε γρήγορα το μοντέλο Jurassic-1 Grande από την ίδια άποψη.

Αξιολογήστε το μοντέλο Jurassic-1 Grande με ένα δοκιμαστικό γραφικό στοιχείο

Στην καταχώριση Jurassic-1 Grande, επιλέξτε Προβολή μοντέλου. Θα δείτε μια περιγραφή του μοντέλου και των εργασιών που μπορείτε να εκτελέσετε. Διαβάστε την EULA για το μοντέλο πριν προχωρήσετε.

Ας δοκιμάσουμε πρώτα το μοντέλο για τη σύνοψη κειμένου. Επιλέγω Δοκιμάστε το μοντέλο.

Μεταφέρεστε στη σελίδα σε μια ξεχωριστή καρτέλα του προγράμματος περιήγησης, όπου μπορείτε να δώσετε δείγματα προτροπών στο μοντέλο J1-Grande και να προβάλετε την έξοδο.

Το ακόλουθο παράδειγμα δημιουργεί μια περίληψη σχετικά με ένα εστιατόριο με βάση κριτικές.

Λάβετε υπόψη ότι τα μοντέλα θεμελίωσης και τα αποτελέσματά τους προέρχονται από τον πάροχο μοντέλων και η AWS δεν είναι υπεύθυνη για το περιεχόμενο ή την ακρίβειά τους.

Η έξοδος του μοντέλου μπορεί να διαφέρει ανάλογα με τις ρυθμίσεις και την προτροπή. Μπορείτε να δημιουργήσετε κείμενο από το μοντέλο χρησιμοποιώντας απλές οδηγίες, αλλά παρέχοντας στο μοντέλο περισσότερα παραδείγματα στην προτροπή, όπως θα έκανε ένας άνθρωπος, μπορεί να παράγει συμπληρώσεις που να ευθυγραμμίζονται περισσότερο με τις προθέσεις σας. Ο καλύτερος τρόπος για να καθοδηγήσετε το μοντέλο είναι να παρέχετε πολλά παραδείγματα ζευγών εισόδου/εξόδου στη γραμμή εντολών. Αυτό δημιουργεί ένα μοτίβο για μίμηση του μοντέλου. Στη συνέχεια, προσθέστε την είσοδο για ένα παράδειγμα ερωτήματος και αφήστε το μοντέλο να το ολοκληρώσει με μια κατάλληλη γενιά.

Αφού παίξετε με το μοντέλο, ήρθε η ώρα να χρησιμοποιήσετε το σημειωματάριο και να το αναπτύξετε ως τελικό σημείο στο περιβάλλον σας.

Αναπτύξτε το μοντέλο θεμελίωσης από ένα σημειωματάριο

Επιστρέψτε στη λίστα μοντέλων που εμφανίστηκε νωρίτερα και επιλέξτε Προβολή σημειωματάριου. Θα πρέπει να δείτε το σημειωματάριο Jurassic-1 Grande Jupyter με την αναλυτική περιγραφή για την ανάπτυξη του μοντέλου.

Ας χρησιμοποιήσουμε αυτό το σημειωματάριο από Στούντιο Amazon SageMaker. Ανοίξτε το Studio και τραβήξτε το σημειωματάριο χρησιμοποιώντας τη διεύθυνση URL του Git repo https://github.com/AI21Labs/SageMaker.git.

Το παράδειγμα φορητού υπολογιστή χρησιμοποιεί τόσο το Boto3 SDK όσο και το AI21 SDK για την ανάπτυξη και την αλληλεπίδραση με το τελικό σημείο.

Σημειώστε ότι αυτό το παράδειγμα χρησιμοποιεί μια παρουσία ml.g5.12xlarge. Εάν το προεπιλεγμένο όριο για τον λογαριασμό σας AWS είναι 0, πρέπει να ζητήσετε αύξηση ορίου για αυτήν την παρουσία GPU.

Ας δημιουργήσουμε το τελικό σημείο χρησιμοποιώντας το συμπέρασμα SageMaker. Πρώτα ορίζουμε τις απαραίτητες μεταβλητές και, στη συνέχεια, αναπτύσσουμε το μοντέλο από το πακέτο μοντέλου:

model_name = "j1-grande"

content_type = "application/json"

real_time_inference_instance_type = (
    "ml.g5.12xlarge"
)

# create a deployable model from the model package.
model = ModelPackage(
    role=role, model_package_arn=model_package_arn, sagemaker_session=sagemaker_session
)

# Deploy the model
predictor = model.deploy(1, real_time_inference_instance_type, endpoint_name=model_name, 
                         model_data_download_timeout=3600,
                         container_startup_health_check_timeout=600,
                        )

Αφού αναπτυχθεί το τελικό σημείο, μπορείτε να εκτελέσετε ερωτήματα συμπερασμάτων στο μοντέλο.

Μπορείτε να σκεφτείτε το Jurassic-1 Grande ως έναν έξυπνο αλγόριθμο αυτόματης συμπλήρωσης: είναι πολύ καλός στο να προσκολλάται σε υποδείξεις και μοτίβα που εκφράζονται σε απλά αγγλικά και να δημιουργεί κείμενο που ακολουθεί τα ίδια μοτίβα. Μετά την ανάπτυξη του μοντέλου, μπορείτε να αλληλεπιδράσετε με το αναπτυγμένο τελικό σημείο χρησιμοποιώντας το ακόλουθο απόσπασμα κώδικα:

response = ai21.Completion.execute(sm_endpoint="j1-grande",
                                   prompt="To be or",
                                   maxTokens=4,
                                   temperature=0,
                                   numResults=1)

print(response['completions'][0]['data']['text'])

Το σημειωματάριο περιέχει επίσης μια αναλυτική περιγραφή για το πώς μπορείτε να εκτελέσετε ερωτήματα συμπερασμάτων με το AI21 SDK.

Το παρακάτω βίντεο περιγράφει τη ροή εργασίας.

εκκαθάριση

Αφού δοκιμάσετε το τελικό σημείο, βεβαιωθείτε ότι διαγράψατε το τελικό σημείο συμπερασμάτων SageMaker και διαγράψατε το μοντέλο για να αποφύγετε χρεώσεις.

Συμπέρασμα

Σε αυτήν την ανάρτηση, σας δείξαμε πώς μπορείτε να δοκιμάσετε και να χρησιμοποιήσετε το μοντέλο Jurassic Grande του AI21 χρησιμοποιώντας το Amazon SageMaker. Αίτημα πρόσβασης, δοκιμάστε το μοντέλο θεμελίωσης στο SageMaker σήμερα και πείτε μας τα σχόλιά σας!

Σχετικά με τους συγγραφείς

Karthik Bharathy είναι ο ηγέτης προϊόντων για την ομάδα του Amazon SageMaker με εμπειρία πάνω από μια δεκαετία διαχείρισης προϊόντων, στρατηγικής προϊόντος, εκτέλεσης και εκτόξευσης.

Τομέρ Ασίδα είναι επικεφαλής της ομάδας algo στο AI21 Labs. Ως επικεφαλής της ομάδας algo, ο Tomer ηγείται των προσπαθειών ανάπτυξης αλγορίθμων της πλατφόρμας προγραμματιστών Ai21 Studio, συμπεριλαμβανομένων των μοντέλων Jurassic-1 και των σχετικών API.