Χρησιμοποιήστε γενετικά μοντέλα θεμελίωσης AI σε λειτουργία VPC χωρίς σύνδεση στο Διαδίκτυο χρησιμοποιώντας το Amazon SageMaker JumpStart | Υπηρεσίες Ιστού της Amazon

Με τις πρόσφατες εξελίξεις στο γενετική AI, γίνονται πολλές συζητήσεις σχετικά με τον τρόπο χρήσης της γενετικής τεχνητής νοημοσύνης σε διαφορετικούς κλάδους για την επίλυση συγκεκριμένων επιχειρηματικών προβλημάτων. Το Generative AI είναι ένας τύπος AI που μπορεί να δημιουργήσει νέο περιεχόμενο και ιδέες, συμπεριλαμβανομένων συνομιλιών, ιστοριών, εικόνων, βίντεο και μουσικής. Όλα υποστηρίζονται από πολύ μεγάλα μοντέλα που είναι προεκπαιδευμένα σε τεράστιες ποσότητες δεδομένων και συνήθως αναφέρονται ως μοντέλα θεμελίωσης (FM). Αυτά τα FM μπορούν να εκτελέσουν ένα ευρύ φάσμα εργασιών που εκτείνονται σε πολλούς τομείς, όπως η σύνταξη αναρτήσεων ιστολογίου, η δημιουργία εικόνων, η επίλυση μαθηματικών προβλημάτων, η συμμετοχή σε διάλογο και η απάντηση σε ερωτήσεις που βασίζονται σε ένα έγγραφο. Το μέγεθος και η φύση γενικής χρήσης των FM τα κάνουν να διαφέρουν από τα παραδοσιακά μοντέλα ML, τα οποία συνήθως εκτελούν συγκεκριμένες εργασίες, όπως η ανάλυση κειμένου για συναίσθημα, η ταξινόμηση εικόνων και η πρόβλεψη τάσεων.

Ενώ οι οργανισμοί προσπαθούν να χρησιμοποιήσουν τη δύναμη αυτών των FM, θέλουν επίσης οι λύσεις που βασίζονται σε FM να ​​εκτελούνται στα δικά τους προστατευμένα περιβάλλοντα. Οι οργανισμοί που δραστηριοποιούνται σε χώρους με αυστηρή ρύθμιση, όπως οι παγκόσμιες χρηματοοικονομικές υπηρεσίες και η υγειονομική περίθαλψη και οι βιοεπιστήμες έχουν απαιτήσεις ακουστικής και συμμόρφωσης για να λειτουργούν το περιβάλλον τους στα VPC τους. Στην πραγματικότητα, πολλές φορές, ακόμη και η άμεση πρόσβαση στο Διαδίκτυο απενεργοποιείται σε αυτά τα περιβάλλοντα για να αποφευχθεί η έκθεση σε οποιαδήποτε ακούσια κίνηση, τόσο εισόδου όσο και εξόδου.

Amazon SageMaker JumpStart είναι ένας κόμβος ML που προσφέρει αλγόριθμους, μοντέλα και λύσεις ML. Με το SageMaker JumpStart, οι επαγγελματίες ML μπορούν να επιλέξουν από μια αυξανόμενη λίστα FM ανοιχτού κώδικα με την καλύτερη απόδοση. Παρέχει επίσης τη δυνατότητα να αναπτύξετε αυτά τα μοντέλα στα δικά σας Εικονικό ιδιωτικό σύννεφο (VPC).

Σε αυτήν την ανάρτηση, δείχνουμε πώς να χρησιμοποιήσετε το JumpStart για να αναπτύξετε ένα Flan-T5 XXL μοντέλο σε VPC χωρίς σύνδεση στο διαδίκτυο. Συζητάμε τα ακόλουθα θέματα:

• Πώς να αναπτύξετε ένα μοντέλο βάσης χρησιμοποιώντας το SageMaker JumpStart σε ένα VPC χωρίς πρόσβαση στο Διαδίκτυο
• Πλεονεκτήματα της ανάπτυξης FM μέσω μοντέλων SageMaker JumpStart σε λειτουργία VPC
• Εναλλακτικοί τρόποι για να προσαρμόσετε την ανάπτυξη των μοντέλων θεμελίωσης μέσω του JumpStart

Εκτός από το FLAN-T5 XXL, το JumpStart παρέχει πολλά διαφορετικά μοντέλα βάσης για διάφορες εργασίες. Για την πλήρη λίστα, ρίξτε μια ματιά Ξεκινώντας με το Amazon SageMaker JumpStart.

Επισκόπηση λύσεων

Ως μέρος της λύσης, καλύπτουμε τα ακόλουθα βήματα:

1. Ρυθμίστε ένα VPC χωρίς σύνδεση στο Διαδίκτυο.
2. Ρύθμιση Στούντιο Amazon SageMaker χρησιμοποιώντας το VPC που δημιουργήσαμε.
3. Αναπτύξτε το παραγωγικό μοντέλο βάσης AI Flan T5-XXL χρησιμοποιώντας το JumpStart στο VPC χωρίς πρόσβαση στο διαδίκτυο.

Ακολουθεί ένα αρχιτεκτονικό διάγραμμα της λύσης.

Ας δούμε τα διάφορα βήματα για την εφαρμογή αυτής της λύσης.

Προϋποθέσεις

Για να ακολουθήσετε αυτήν την ανάρτηση, χρειάζεστε τα εξής:

Ρυθμίστε ένα VPC χωρίς σύνδεση στο Διαδίκτυο

Δημιουργήστε μια νέα στοίβα CloudFormation χρησιμοποιώντας το 01_networking.yaml πρότυπο. Αυτό το πρότυπο δημιουργεί ένα νέο VPC και προσθέτει δύο ιδιωτικά υποδίκτυα σε δύο Ζώνες Διαθεσιμότητας χωρίς σύνδεση στο διαδίκτυο. Στη συνέχεια, αναπτύσσει τα τελικά σημεία VPC της πύλης για πρόσβαση Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) και διασύνδεση τελικών σημείων VPC για το SageMaker και μερικές άλλες υπηρεσίες που επιτρέπουν στους πόρους στο VPC να συνδέονται με υπηρεσίες AWS μέσω AWS PrivateLink.

Δώστε ένα όνομα στοίβας, όπως π.χ No-Internetκαι ολοκληρώστε τη διαδικασία δημιουργίας στοίβας.

Αυτή η λύση δεν είναι ιδιαίτερα διαθέσιμη επειδή το πρότυπο CloudFormation δημιουργεί τελικά σημεία VPC διεπαφής μόνο σε ένα υποδίκτυο για να μειώσει το κόστος όταν ακολουθείτε τα βήματα αυτής της ανάρτησης.

Ρυθμίστε το Studio χρησιμοποιώντας το VPC

Δημιουργήστε μια άλλη στοίβα CloudFormation χρησιμοποιώντας 02_sagemaker_studio.yaml, το οποίο δημιουργεί έναν τομέα Studio, προφίλ χρήστη Studio και πόρους υποστήριξης όπως ρόλους IAM. Επιλέξτε ένα όνομα για τη στοίβα. για αυτήν την ανάρτηση, χρησιμοποιούμε το όνομα SageMaker-Studio-VPC-No-Internet. Δώστε το όνομα της στοίβας VPC που δημιουργήσατε νωρίτερα (No-Internet) ως CoreNetworkingStackName παράμετρο και αφήστε όλα τα άλλα ως προεπιλογή.

Περιμένετε έως ότου το AWS CloudFormation αναφέρει ότι η δημιουργία στοίβας έχει ολοκληρωθεί. Μπορείτε να επιβεβαιώσετε ότι ο τομέας Studio είναι διαθέσιμος για χρήση στην κονσόλα SageMaker.

Για να επαληθεύσετε ότι ο χρήστης του τομέα Studio δεν έχει πρόσβαση στο διαδίκτυο, εκκινήστε το Studio χρησιμοποιώντας την κονσόλα SageMaker. Επιλέξτε Αρχεία, Νέα, να τερματικό, στη συνέχεια προσπαθήστε να αποκτήσετε πρόσβαση σε έναν πόρο Διαδικτύου. Όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης, το τερματικό θα συνεχίσει να περιμένει τον πόρο και τελικά θα λήξει.

Αυτό αποδεικνύει ότι το Studio λειτουργεί σε VPC που δεν έχει πρόσβαση στο διαδίκτυο.

Αναπτύξτε το γενετικό μοντέλο βάσης AI Flan T5-XXL χρησιμοποιώντας το JumpStart

Μπορούμε να αναπτύξουμε αυτό το μοντέλο μέσω Studio καθώς και μέσω API. Το JumpStart παρέχει όλο τον κώδικα για την ανάπτυξη του μοντέλου μέσω ενός σημειωματάριου SageMaker προσβάσιμο από το Studio. Για αυτήν την ανάρτηση, παρουσιάζουμε αυτήν τη δυνατότητα από το Studio.

• Στη σελίδα καλωσορίσματος στο Studio, επιλέξτε εκκίνηση με άλμα στην ενότητα Προκατασκευασμένες και αυτοματοποιημένες λύσεις.

• Επιλέξτε το μοντέλο Flan-T5 XXL παρακάτω Μοντέλα θεμελίωσης.

• Από προεπιλογή, ανοίγει το Ανάπτυξη αυτί. Αναπτύξτε το Διαμόρφωση ανάπτυξης ενότητα για να αλλάξετε το hosting instance και endpoint nameή προσθέστε τυχόν πρόσθετες ετικέτες. Υπάρχει επίσης μια επιλογή για αλλαγή του S3 bucket location όπου θα αποθηκευτεί το τεχνούργημα του μοντέλου για τη δημιουργία του τελικού σημείου. Για αυτήν την ανάρτηση, αφήνουμε τα πάντα στις προεπιλεγμένες τιμές τους. Σημειώστε το όνομα του τελικού σημείου που θα χρησιμοποιήσετε κατά την επίκληση του τελικού σημείου για την πραγματοποίηση προβλέψεων.

• Αναπτύξτε το Ρυθμίσεις ασφαλείας ενότητα, όπου μπορείτε να καθορίσετε το IAM role για τη δημιουργία του τελικού σημείου. Μπορείτε επίσης να καθορίσετε το VPC configurations παρέχοντας το subnets και security groups. Μπορείτε να βρείτε τα αναγνωριστικά υποδικτύου και τα αναγνωριστικά ομάδων ασφαλείας από την καρτέλα Έξοδοι της στοίβας VPC στην κονσόλα AWS CloudFormation. Το SageMaker JumpStart απαιτεί τουλάχιστον δύο υποδίκτυα ως μέρος αυτής της διαμόρφωσης. Τα υποδίκτυα και οι ομάδες ασφαλείας ελέγχουν την πρόσβαση προς και από το κοντέινερ μοντέλου.

ΣΗΜΕΊΩΣΗ: Ανεξάρτητα από το αν το μοντέλο SageMaker JumpStart έχει αναπτυχθεί στο VPC ή όχι, το μοντέλο εκτελείται πάντα σε λειτουργία απομόνωσης δικτύου, η οποία απομονώνει το κοντέινερ μοντέλου, ώστε να μην μπορούν να πραγματοποιηθούν εισερχόμενες ή εξερχόμενες κλήσεις δικτύου προς ή από το κοντέινερ μοντέλου. Επειδή χρησιμοποιούμε ένα VPC, το SageMaker κατεβάζει το τεχνούργημα του μοντέλου μέσω του καθορισμένου VPC μας. Η εκτέλεση του κοντέινερ μοντέλου σε απομόνωση δικτύου δεν εμποδίζει το τελικό σημείο του SageMaker να ανταποκρίνεται σε αιτήματα συμπερασμάτων. Μια διαδικασία διακομιστή εκτελείται παράλληλα με το κοντέινερ μοντέλου και του προωθεί τα αιτήματα συμπερασμάτων, αλλά το κοντέινερ μοντέλου δεν έχει πρόσβαση στο δίκτυο.

• Επιλέξτε Ανάπτυξη για την ανάπτυξη του μοντέλου. Μπορούμε να δούμε την κατάσταση σχεδόν σε πραγματικό χρόνο της δημιουργίας τελικού σημείου σε εξέλιξη. Η δημιουργία τελικού σημείου μπορεί να διαρκέσει 5–10 λεπτά για να ολοκληρωθεί.

Παρατηρήστε την τιμή του πεδίου Τοποθεσία δεδομένων μοντέλου σε αυτήν την σελίδα. Όλα τα μοντέλα SageMaker JumpStart φιλοξενούνται σε έναν κάδο διαχειριζόμενου SageMaker S3 (s3://jumpstart-cache-prod-{region}). Επομένως, ανεξάρτητα από το μοντέλο που επιλέγεται από το JumpStart, το μοντέλο αναπτύσσεται από τον δημόσια προσβάσιμο κάδο SageMaker JumpStart S3 και η κίνηση δεν πηγαίνει ποτέ στα δημόσια μοντέλα API του ζωολογικού κήπου για τη λήψη του μοντέλου. Αυτός είναι ο λόγος για τον οποίο η δημιουργία τελικού σημείου μοντέλου ξεκίνησε με επιτυχία ακόμη και όταν δημιουργούμε το τελικό σημείο σε ένα VPC που δεν έχει άμεση πρόσβαση στο Διαδίκτυο.

Το τεχνούργημα του μοντέλου μπορεί επίσης να αντιγραφεί σε οποιονδήποτε ιδιωτικό ζωολογικό κήπο ή στον δικό σας κάδο S3 για να ελέγξετε και να ασφαλίσετε περαιτέρω την τοποθεσία της πηγής του μοντέλου. Μπορείτε να χρησιμοποιήσετε την ακόλουθη εντολή για να κάνετε λήψη του μοντέλου τοπικά χρησιμοποιώντας το Διεπαφή γραμμής εντολών AWS (AWS CLI):

aws s3 cp s3://jumpstart-cache-prod-eu-west-1/huggingface-infer/prepack/v1.0.2/infer-prepack-huggingface-text2text-flan-t5-xxl.tar.gz .

• Μετά από λίγα λεπτά, το τελικό σημείο δημιουργείται με επιτυχία και εμφανίζει την κατάσταση ως Στην υπηρεσία. Επιλέξτε Open Notebook στο Use Endpoint from Studio Ενότητα. Αυτό είναι ένα δείγμα σημειωματάριου που παρέχεται ως μέρος της εμπειρίας JumpStart για να δοκιμάσετε γρήγορα το τελικό σημείο.

• Στο σημειωματάριο, επιλέξτε την εικόνα ως Επιστήμη δεδομένων 3.0 και ο πυρήνας ως Python 3. Όταν ο πυρήνας είναι έτοιμος, μπορείτε να εκτελέσετε τα κελιά του σημειωματάριου για να κάνετε προβλέψεις στο τελικό σημείο. Σημειώστε ότι το σημειωματάριο χρησιμοποιεί το invoke_endpoint() API από το AWS SDK για Python να κάνει προβλέψεις. Εναλλακτικά, μπορείτε να χρησιμοποιήσετε το Η πρόβλεψη του SageMaker Python SDK() μέθοδος για την επίτευξη του ίδιου αποτελέσματος.

Αυτό ολοκληρώνει τα βήματα για την ανάπτυξη του μοντέλου Flan-T5 XXL χρησιμοποιώντας το JumpStart σε ένα VPC χωρίς πρόσβαση στο Διαδίκτυο.

Πλεονεκτήματα της ανάπτυξης μοντέλων SageMaker JumpStart σε λειτουργία VPC

Τα παρακάτω είναι μερικά από τα πλεονεκτήματα της ανάπτυξης μοντέλων SageMaker JumpStart σε λειτουργία VPC:

• Επειδή το SageMaker JumpStart δεν κατεβάζει τα μοντέλα από δημόσιο ζωολογικό κήπο, μπορεί να χρησιμοποιηθεί σε πλήρως κλειδωμένα περιβάλλοντα, καθώς και όπου δεν υπάρχει πρόσβαση στο διαδίκτυο
• Επειδή η πρόσβαση στο δίκτυο μπορεί να περιοριστεί και να περιοριστεί το πεδίο εφαρμογής για τα μοντέλα SageMaker JumpStart, αυτό βοηθά τις ομάδες να βελτιώσουν τη στάση ασφαλείας του περιβάλλοντος
• Λόγω των ορίων VPC, η πρόσβαση στο τελικό σημείο μπορεί επίσης να περιοριστεί μέσω υποδικτύων και ομάδων ασφαλείας, γεγονός που προσθέτει ένα επιπλέον επίπεδο ασφάλειας

Εναλλακτικοί τρόποι προσαρμογής της ανάπτυξης μοντέλων θεμελίωσης μέσω του SageMaker JumpStart

Σε αυτήν την ενότητα, μοιραζόμαστε μερικούς εναλλακτικούς τρόπους ανάπτυξης του μοντέλου.

Χρησιμοποιήστε τα API SageMaker JumpStart από το IDE που προτιμάτε

Τα μοντέλα που παρέχονται από το SageMaker JumpStart δεν απαιτούν πρόσβαση στο Studio. Μπορείτε να τα αναπτύξετε στα τελικά σημεία του SageMaker από οποιοδήποτε IDE, χάρη στο JumpStart API. Μπορείτε να παραλείψετε το βήμα εγκατάστασης του Studio που συζητήθηκε νωρίτερα σε αυτήν την ανάρτηση και να χρησιμοποιήσετε τα API JumpStart για να αναπτύξετε το μοντέλο. Αυτά τα API παρέχουν ορίσματα όπου μπορούν επίσης να παρέχονται διαμορφώσεις VPC. Τα API αποτελούν μέρος του SDK SageMaker Python εαυτό. Για περισσότερες πληροφορίες, ανατρέξτε στο Προεκπαιδευμένα μοντέλα.

Χρησιμοποιήστε σημειωματάρια που παρέχονται από το SageMaker JumpStart από το SageMaker Studio

Το SageMaker JumpStart παρέχει επίσης σημειωματάρια για άμεση ανάπτυξη του μοντέλου. Στη σελίδα λεπτομερειών μοντέλου, επιλέξτε Ανοίξτε το σημειωματάριο για να ανοίξετε ένα δείγμα σημειωματάριου που περιέχει τον κώδικα για την ανάπτυξη του τελικού σημείου. Το σημειωματάριο χρησιμοποιεί SageMaker JumpStart Industry API που σας επιτρέπουν να παραθέσετε και να φιλτράρετε τα μοντέλα, να ανακτήσετε τα τεχνουργήματα και να αναπτύξετε και να αναζητήσετε τα τελικά σημεία. Μπορείτε επίσης να επεξεργαστείτε τον κωδικό του σημειωματάριου σύμφωνα με τις απαιτήσεις σας για συγκεκριμένη περίπτωση χρήσης.

Εκκαθάριση πόρων

Ελέγξτε το ΚΑΘΑΡΙΣΜΟΣ.μδ αρχείο για να βρείτε λεπτομερή βήματα για τη διαγραφή του Studio, του VPC και άλλων πόρων που δημιουργήθηκαν ως μέρος αυτής της ανάρτησης.

Αντιμετώπιση προβλημάτων

Εάν αντιμετωπίσετε προβλήματα κατά τη δημιουργία των στοίβων CloudFormation, ανατρέξτε στο Αντιμετώπιση προβλημάτων CloudFormation.

Συμπέρασμα

Η γενετική τεχνητή νοημοσύνη που τροφοδοτείται από μεγάλα γλωσσικά μοντέλα αλλάζει τον τρόπο με τον οποίο οι άνθρωποι αποκτούν και εφαρμόζουν πληροφορίες από πληροφορίες. Ωστόσο, οι οργανισμοί που δραστηριοποιούνται σε χώρους με αυστηρή ρύθμιση πρέπει να χρησιμοποιούν τις δυνατότητες παραγωγής τεχνητής νοημοσύνης με τρόπο που τους επιτρέπει να καινοτομούν ταχύτερα αλλά και να απλοποιούν τα πρότυπα πρόσβασης σε τέτοιες δυνατότητες.

Σας ενθαρρύνουμε να δοκιμάσετε την προσέγγιση που παρέχεται σε αυτήν την ανάρτηση για να ενσωματώσετε δυνατότητες παραγωγής τεχνητής νοημοσύνης στο υπάρχον περιβάλλον σας, διατηρώντας ταυτόχρονα το δικό σας VPC χωρίς πρόσβαση στο Διαδίκτυο. Για περαιτέρω ανάγνωση σχετικά με τα μοντέλα βάσης SageMaker JumpStart, δείτε τα παρακάτω:

---

Σχετικά με τους συγγραφείς

Βίκες Πάντει είναι Αρχιτέκτονας Λύσεων Specialist Machine Learning στην AWS, βοηθώντας πελάτες από χρηματοπιστωτικές βιομηχανίες να σχεδιάσουν και να δημιουργήσουν λύσεις σε γενετική τεχνητή νοημοσύνη και ML. Εκτός δουλειάς, ο Vikesh απολαμβάνει να δοκιμάζει διαφορετικές κουζίνες και να παίζει υπαίθρια σπορ.

Mehran Nikoo είναι Ανώτερος Αρχιτέκτονας Λύσεων στην AWS, συνεργάζεται με ψηφιακές εγγενείς επιχειρήσεις στο Ηνωμένο Βασίλειο και τις βοηθά να επιτύχουν τους στόχους τους. Παθιασμένος με την εφαρμογή της εμπειρίας του στη μηχανική λογισμικού στη μηχανική μάθηση, ειδικεύεται στη μηχανική μάθηση από άκρο σε άκρο και στις πρακτικές MLOps.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/use-generative-ai-foundation-models-in-vpc-mode-with-no-internet-connectivity-using-amazon-sagemaker-jumpstart/