Το μοντέλο LightOn Lyra-fr είναι πλέον διαθέσιμο στο Amazon SageMaker

Είμαστε ενθουσιασμένοι που ανακοινώνουμε τη διαθεσιμότητα του μοντέλου βάσης LightOn Lyra-fr για πελάτες που χρησιμοποιούν το Amazon SageMaker. Η LightOn είναι πρωτοπόρος στα μοντέλα θεμελίωσης κτιρίων με εξειδίκευση στις ευρωπαϊκές γλώσσες. Το Lyra-fr είναι ένα υπερσύγχρονο μοντέλο γαλλικής γλώσσας που μπορεί να χρησιμοποιηθεί για τη δημιουργία τεχνητής νοημοσύνης συνομιλίας, εργαλείων συγγραφής κειμένων, ταξινομητών κειμένου, σημασιολογικής αναζήτησης και πολλά άλλα. Μπορείτε εύκολα να δοκιμάσετε αυτό το μοντέλο και να το χρησιμοποιήσετε Amazon SageMaker JumpStart. Το JumpStart είναι ο κόμβος μηχανικής εκμάθησης (ML) του SageMaker που παρέχει πρόσβαση σε βασικά μοντέλα εκτός από ενσωματωμένους αλγόριθμους και πρότυπα λύσεων από άκρο σε άκρο για να σας βοηθήσει να ξεκινήσετε γρήγορα με την ML.

Σε αυτό το ιστολόγιο, θα δείξουμε πώς να χρησιμοποιήσετε το μοντέλο Lyra-fr στο SageMaker.

Μοντέλα θεμελίωσης

Τα μοντέλα θεμελίωσης συνήθως εκπαιδεύονται σε δισεκατομμύρια παραμέτρους και προσαρμόζονται σε μια ευρεία κατηγορία περιπτώσεων χρήσης. Τα πιο γνωστά μοντέλα θεμελίωσης σήμερα χρησιμοποιούνται για τη σύνοψη άρθρων, τη δημιουργία ψηφιακής τέχνης και τη δημιουργία κώδικα από απλές οδηγίες κειμένου. Αυτά τα μοντέλα είναι ακριβά στην εκπαίδευση, επομένως οι πελάτες θέλουν να χρησιμοποιήσουν τα υπάρχοντα προεκπαιδευμένα μοντέλα θεμελίωσης και να τα προσαρμόσουν όσο χρειάζεται αντί να εκπαιδεύσουν οι ίδιοι αυτά τα μοντέλα. Το SageMaker παρέχει μια επιμελημένη λίστα μοντέλων από τα οποία μπορείτε να επιλέξετε στην κονσόλα SageMaker. Μπορείτε να δοκιμάσετε αυτά τα μοντέλα απευθείας στη διεπαφή ιστού. Όταν θέλετε να χρησιμοποιήσετε ένα μοντέλο βάσης σε κλίμακα, μπορείτε να το κάνετε εύκολα χωρίς να φύγετε από το SageMaker, χρησιμοποιώντας προκατασκευασμένα σημειωματάρια από παρόχους μοντέλων. Επειδή τα μοντέλα φιλοξενούνται και αναπτύσσονται σε AWS, μπορείτε να είστε βέβαιοι ότι τα δεδομένα σας, είτε χρησιμοποιούνται για αξιολόγηση είτε για χρήση του μοντέλου σε κλίμακα, δεν κοινοποιούνται ποτέ σε τρίτους.

Το Lyra-fr είναι το μεγαλύτερο μοντέλο γαλλικής γλώσσας που διατίθεται σήμερα στην αγορά. Είναι ένα μοντέλο παραμέτρων 10 δισεκατομμυρίων, που εκπαιδεύτηκε και έγινε προσβάσιμο από το LightOn. Το Lyra-fr εκπαιδεύτηκε σε ένα μεγάλο σύνολο από γαλλικά επιμελημένα δεδομένα και είναι σε θέση να γράφει κείμενο που μοιάζει με άνθρωπο και να λύνει σύνθετες εργασίες όπως ταξινόμηση, απάντηση ερωτήσεων και περίληψη. Όλα αυτά διατηρώντας παράλληλα μια λογική ταχύτητα συμπερασμάτων, στην περιοχή 1–2 δευτερολέπτων για το μέσο αίτημα. Μπορείτε απλά να περιγράψετε την εργασία που θέλετε να εκτελέσετε σε φυσική γλώσσα και το Lyra-fr θα δημιουργήσει απαντήσεις του επιπέδου ενός φυσικού ομιλητή της Γαλλίας. Το Lyra-fr προσφέρει πρωτόγονα στοιχεία ευφυΐας για επιχειρήσεις, όπως κατευθυνόμενη παραγωγή και ταξινόμηση κειμένου, σε λίγες μόνο γραμμές κώδικα. Για πιο απαιτητικές εργασίες, η απόδοση μπορεί να βελτιωθεί σε λειτουργία εκμάθησης «λίγων βολών», παρέχοντας στην προτροπή μερικά παραδείγματα εισόδου-εξόδου.

Χρήση Lyra-fr στο SageMaker

Θα σας οδηγήσουμε σε μια αναλυτική περιγραφή του τρόπου χρήσης του μοντέλου Lyra-fr σε 3 απλά βήματα:

• Ανακαλύψτε – Βρείτε το μοντέλο Lyra-fr στην Κονσόλα διαχείρισης AWS για το SageMaker.
• Δοκιμή – Δοκιμάστε το μοντέλο χρησιμοποιώντας τη διεπαφή ιστού.
• Ανάπτυξη – Χρησιμοποιήστε ένα σημειωματάριο για να αναπτύξετε και να δοκιμάσετε τις προηγμένες δυνατότητες του μοντέλου.

Ανακαλύψτε

Για να διευκολύνουμε την ανακάλυψη μοντέλων θεμελίων όπως το Lyra-fr, έχουμε ενοποιήσει όλα τα μοντέλα θεμελίωσης σε ένα μέρος. Για να βρείτε το μοντέλο Lyra-fr:

1. Συνδεθείτε στο Κονσόλα διαχείρισης AWS για το SageMaker.
2. Στον αριστερό πίνακα πλοήγησης, θα πρέπει να δείτε μια ενότητα που ονομάζεται εκκίνηση με άλμα με Μοντέλα θεμελίωσης κάτω από αυτό. Ζητήστε πρόσβαση σε αυτήν τη δυνατότητα εάν δεν έχετε ακόμη πρόσβαση.
3. Μόλις ο λογαριασμός σας μπει στη λίστα επιτρεπόμενων, θα δείτε μια λίστα μοντέλων στα δεξιά. Εδώ θα βρείτε το μοντέλο Lyra-fr 10B.
   
4. Κάνοντας κλικ στο Προβολή μοντέλου θα εμφανίσει την πλήρη κάρτα μοντέλου με πρόσθετες επιλογές.
   

Δοκιμή

Μια συνηθισμένη περίπτωση χρήσης είναι η εκτέλεση ad hoc δοκιμών για να βεβαιωθείτε ότι το μοντέλο ανταποκρίνεται στις ανάγκες σας. Μπορείτε να δοκιμάσετε το μοντέλο Lyra-fr απευθείας από την κονσόλα SageMaker. Σε αυτό το παράδειγμα, θα χρησιμοποιήσουμε μια απλή προτροπή κειμένου ζητώντας από το μοντέλο να δημιουργήσει μια λίστα ιδεών άρθρων για το θέμα «ακουαρέλα» ή «l'aquarelle» στα γαλλικά.

1. Από την κάρτα μοντέλου που εμφανίζεται στην προηγούμενη ενότητα, επιλέξτε Δοκιμάστε το μοντέλο. Αυτό θα ανοίξει μια νέα καρτέλα με τη δοκιμαστική διεπαφή.
2. Σε αυτήν τη διεπαφή, δώστε την εισαγωγή κειμένου που θέλετε να περάσετε στο μοντέλο. Μπορείτε επίσης να συντονίσετε τις παραμέτρους που θέλετε χρησιμοποιώντας τα ρυθμιστικά στα δεξιά. Μόλις μείνετε ικανοποιημένοι, επιλέξτε Δημιουργία κειμένου.
   

Λάβετε υπόψη ότι τα μοντέλα θεμελίωσης και τα αποτελέσματά τους προέρχονται από τον πάροχο μοντέλων και η AWS δεν είναι υπεύθυνη για το περιεχόμενο ή την ακρίβειά τους.

Ανάπτυξη

Τα μοντέλα δημιουργίας κειμένου λειτουργούν καλύτερα όταν παρέχετε παραδείγματα πληροφοριών που θέλετε να παρέχει το μοντέλο. Αυτό ονομάζεται μάθηση με λίγες βολές. Θα κάνουμε επίδειξη αυτής της δυνατότητας χρησιμοποιώντας το δείγμα σημειωματάριου Lyra-fr. Το δείγμα σημειωματάριου περιγράφει τον τρόπο ανάπτυξης του μοντέλου Lyra-fr στο SageMaker, τον τρόπο σύνοψης και δημιουργίας κειμένου και την εκμάθηση με λίγες λήψεις.

Περιλαμβάνει επίσης παραδείγματα δημιουργίας αιτημάτων συμπερασμάτων απευθείας χρησιμοποιώντας JSON ή με το Lyra Python SDK. Το Lyra Python SDK φροντίζει για τη μορφοποίηση της εισόδου, την κλήση του τελικού σημείου και την αποσυσκευασία της εξόδου. Υπάρχει μία κλάση ανά τελικό σημείο: Δημιουργία, Ανάλυση, Επιλογή, Ενσωμάτωση, Σύγκριση και Διαλογή. Σημειώστε ότι αυτό το παράδειγμα χρησιμοποιεί μια παρουσία ml.p4d.24xlarge. Εάν το προεπιλεγμένο όριο για τον λογαριασμό σας AWS είναι 0, πρέπει να ζητήσετε αύξηση ορίου για αυτήν την παρουσία GPU.

Το SageMaker προσφέρει μια διαχειριζόμενη εμπειρία φορητού υπολογιστή μέσω του SageMaker Studio. Για λεπτομέρειες σχετικά με τον τρόπο ρύθμισης του SageMaker Studio, ανατρέξτε στο Οδηγός προγραμματιστή Amazon SageMaker. Θα κλωνοποιήσουμε αυτό το αποθετήριο GitHub στο SageMaker Studio σε αυτήν την επίδειξη, αλλά το notebook θα λειτουργεί και σε άλλα περιβάλλοντα.

Ας ρίξουμε μια ματιά στον τρόπο λειτουργίας του σημειωματάριου:

1. Μεταβείτε στην κάρτα μοντέλου από την ενότητα Discover σε αυτήν την ανάρτηση ιστολογίου και επιλέξτε Προβολή σημειωματάριου. Θα πρέπει να δείτε μια νέα καρτέλα ανοιχτή στο GitHub με το σημειωματάριο Lyra-fr.
2. Στο GitHub, επιλέξτε lightonmuse-sagemaker-sdk; αυτό θα σας φέρει στο repo. Επίλεξε το Κώδικας και αντιγράψτε τη διεύθυνση URL HTTPS.
   
3. Ανοίξτε το SageMaker Studio. Επιλέγω Κλωνοποιήστε ένα αποθετήριο και στη συνέχεια επικολλήστε τη διεύθυνση URL που αντιγράφηκε από πάνω.
   
4. Πλοηγηθείτε στο σημειωματάριο Lyra-fr χρησιμοποιώντας το πρόγραμμα περιήγησης αρχείων στα αριστερά.
5. Αυτό το σημειωματάριο τρέχει από άκρη σε άκρη χωρίς να απαιτείται πρόσθετη είσοδος και επίσης καθαρίζει τους πόρους που δημιουργεί. Μπορούμε να ρίξουμε μια ματιά στο παράδειγμα «χρήση της Δημιουργίας για ανάλυση συναισθήματος». Αυτό το παράδειγμα χρησιμοποιεί το Lyra Python SDK και επιδεικνύει τη μάθηση με λίγες λήψεις διδάσκοντας το μοντέλο με μερικά παραδείγματα για το ποιο κείμενο θα πρέπει να κατηγοριοποιηθεί ως θετικό (θετικά), αρνητικό (αρνητικά) ή μικτό (ελαφρυντικά).
6. Μπορείτε να δείτε ότι, με το Lyra Python SDK, το μόνο που έχετε να κάνετε είναι να δώσετε το όνομα του τελικού σημείου του SageMaker και την είσοδο. Το SDK χειρίζεται όλη την ανάλυση, τη μορφοποίηση και τη ρύθμιση για εσάς.
   
7. Η εκτέλεση αυτής της προτροπής επιστρέφει ότι η τελευταία δήλωση είναι θετική.
   

εκκαθάριση

Αφού δοκιμάσετε το τελικό σημείο, βεβαιωθείτε ότι διαγράψατε το τελικό σημείο συμπερασμάτων SageMaker και διαγράψατε το μοντέλο για να αποφύγετε χρεώσεις.

Συμπέρασμα

Σε αυτήν την ανάρτηση, σας δείξαμε πώς να ανακαλύψετε, να δοκιμάσετε και να αναπτύξετε το μοντέλο Lyra-fr χρησιμοποιώντας το Amazon SageMaker. Ζητήστε πρόσβαση σε δοκιμάστε το μοντέλο θεμελίωσης στο SageMaker σήμερα και πείτε μας τα σχόλιά σας!

---

Σχετικά με τους συγγραφείς

Iacopo Poli είναι ο CTO της LightOn, υπεύθυνος για στρατηγικές τεχνικές επιλογές για την εταιρεία για την κατασκευή πολύ μεγάλων μοντέλων γλώσσας και την προσφορά τους στο κοινό. Είναι παθιασμένος με τον εκδημοκρατισμό της Μηχανικής Μάθησης μέσω έξυπνων διεπαφών. Στον ελεύθερο χρόνο του, απολαμβάνει την αναζήτηση των καλύτερων εστιατορίων στο Παρίσι.

Άλαν Ταν είναι Ανώτερος Διευθυντής Προϊόντων με το SageMaker, ο οποίος ηγείται των προσπαθειών για εξαγωγή συμπερασμάτων μεγάλων μοντέλων. Είναι παθιασμένος με την εφαρμογή της μηχανικής μάθησης στον τομέα της ανάλυσης. Εκτός δουλειάς, απολαμβάνει την ύπαιθρο.