Βελτιώστε τις προτροπές Stable Diffusion με το Retrieval Augmented Generation | Υπηρεσίες Ιστού της Amazon

Η δημιουργία κειμένου σε εικόνα είναι ένας ταχέως αναπτυσσόμενος τομέας τεχνητής νοημοσύνης με εφαρμογές σε διάφορους τομείς, όπως μέσα ενημέρωσης και ψυχαγωγία, παιχνίδια, οπτικοποίηση προϊόντων ηλεκτρονικού εμπορίου, διαφήμιση και μάρκετινγκ, αρχιτεκτονικός σχεδιασμός και οπτικοποίηση, καλλιτεχνικές δημιουργίες και ιατρική απεικόνιση.

Σταθερή Διάχυση είναι ένα μοντέλο κειμένου σε εικόνα που σας δίνει τη δυνατότητα να δημιουργήσετε εικόνες υψηλής ποιότητας μέσα σε δευτερόλεπτα. Τον Νοέμβριο του 2022, εμείς ανακοίνωσε που οι πελάτες AWS μπορούν να δημιουργήσουν εικόνες από κείμενο Σταθερή Διάχυση μοντέλα σε Amazon SageMaker JumpStart, ένας κόμβος μηχανικής μάθησης (ML) που προσφέρει μοντέλα, αλγόριθμους και λύσεις. Η εξέλιξη συνεχίστηκε τον Απρίλιο του 2023 με την εισαγωγή του Θεμέλιο του Αμαζονίου, μια πλήρως διαχειριζόμενη υπηρεσία που προσφέρει πρόσβαση σε μοντέλα θεμελίωσης αιχμής, συμπεριλαμβανομένου του Stable Diffusion, μέσω ενός βολικού API.

Καθώς ένας διαρκώς αυξανόμενος αριθμός πελατών ξεκινά τις προσπάθειές του για μετατροπή κειμένου σε εικόνα, εμφανίζεται ένα κοινό εμπόδιο: πώς να δημιουργήσετε προτροπές που χρησιμοποιούν τη δύναμη να παράγουν εικόνες υψηλής ποιότητας, με γνώμονα το σκοπό. Αυτή η πρόκληση απαιτεί συχνά σημαντικό χρόνο και πόρους, καθώς οι χρήστες ξεκινούν ένα επαναληπτικό ταξίδι πειραματισμού για να ανακαλύψουν τις προτροπές που ευθυγραμμίζονται με τα οράματά τους.

Το Retrieval Augmented Generation (RAG) είναι μια διαδικασία κατά την οποία ένα μοντέλο γλώσσας ανακτά έγγραφα με βάση τα συμφραζόμενα από μια εξωτερική πηγή δεδομένων και χρησιμοποιεί αυτές τις πληροφορίες για να δημιουργήσει πιο ακριβές και ενημερωτικό κείμενο. Αυτή η τεχνική είναι ιδιαίτερα χρήσιμη για εργασίες επεξεργασίας φυσικής γλώσσας (NLP) με ένταση γνώσης. Τώρα επεκτείνουμε τη μεταμορφωτική του πινελιά στον κόσμο της δημιουργίας κειμένου σε εικόνα. Σε αυτήν την ανάρτηση, δείχνουμε πώς να αξιοποιήσετε τη δύναμη του RAG για να βελτιώσετε τις προτροπές που αποστέλλονται στα μοντέλα Stable Diffusion. Μπορείτε να δημιουργήσετε τον δικό σας βοηθό τεχνητής νοημοσύνης για γρήγορη δημιουργία σε λίγα λεπτά με μεγάλα μοντέλα γλώσσας (LLM) στο Amazon Bedrock, καθώς και στο SageMaker JumpStart.

Προσεγγίσεις για τη δημιουργία μηνυμάτων κειμένου σε εικόνα

Η δημιουργία μιας προτροπής για ένα μοντέλο κειμένου σε εικόνα μπορεί να φαίνεται απλή με την πρώτη ματιά, αλλά είναι μια απατηλά περίπλοκη εργασία. Είναι κάτι περισσότερο από το να πληκτρολογείτε μερικές λέξεις και να περιμένετε από το μοντέλο να δημιουργήσει μια εικόνα που να ευθυγραμμίζεται με τη νοητική σας εικόνα. Οι αποτελεσματικές προτροπές θα πρέπει να παρέχουν σαφείς οδηγίες ενώ αφήνουν χώρο για δημιουργικότητα. Πρέπει να εξισορροπούν την ιδιαιτερότητα και την ασάφεια και θα πρέπει να είναι προσαρμοσμένα στο συγκεκριμένο μοντέλο που χρησιμοποιείται. Για να αντιμετωπίσει την πρόκληση της άμεσης μηχανικής, η βιομηχανία έχει εξερευνήσει διάφορες προσεγγίσεις:

• Προτροπές βιβλιοθήκες – Ορισμένες εταιρείες επιμελούνται βιβλιοθήκες προγραμμένων μηνυμάτων που μπορείτε να έχετε πρόσβαση και να προσαρμόσετε. Αυτές οι βιβλιοθήκες περιέχουν ένα ευρύ φάσμα προτροπών προσαρμοσμένων σε διάφορες περιπτώσεις χρήσης, επιτρέποντάς σας να επιλέξετε ή να προσαρμόσετε προτροπές που ευθυγραμμίζονται με τις συγκεκριμένες ανάγκες σας.
• Πρότυπα και οδηγίες προτροπής – Πολλές εταιρείες και οργανισμοί παρέχουν στους χρήστες ένα σύνολο προκαθορισμένων προτύπων και κατευθυντήριων γραμμών. Αυτά τα πρότυπα προσφέρουν δομημένες μορφές για γραπτές προτροπές, καθιστώντας εύκολη τη δημιουργία αποτελεσματικών οδηγιών.
• Συνεισφορές κοινότητας και χρηστών – Οι πλατφόρμες και οι κοινότητες χρηστών διαδραματίζουν συχνά σημαντικό ρόλο στη βελτίωση των προτροπών. Οι χρήστες μπορούν να μοιραστούν τα βελτιωμένα μοντέλα τους, τις επιτυχημένες προτροπές, τις συμβουλές και τις βέλτιστες πρακτικές τους με την κοινότητα, βοηθώντας άλλους να μάθουν και να βελτιώσουν τις δεξιότητές τους στο γράψιμο έγκαιρου.
• Βελτιστοποίηση μοντέλου – Οι εταιρείες μπορούν να προσαρμόσουν τα μοντέλα κειμένου σε εικόνα για να κατανοήσουν καλύτερα και να ανταποκριθούν σε συγκεκριμένους τύπους προτροπών. Η τελειοποίηση μπορεί να βελτιώσει την απόδοση του μοντέλου για συγκεκριμένους τομείς ή περιπτώσεις χρήσης.

Αυτές οι προσεγγίσεις του κλάδου στοχεύουν συλλογικά να κάνουν τη διαδικασία δημιουργίας αποτελεσματικών μηνυμάτων κειμένου σε εικόνα πιο προσιτή, φιλική προς το χρήστη και αποτελεσματικότερη, ενισχύοντας τελικά τη χρηστικότητα και την ευελιξία των μοντέλων δημιουργίας κειμένου σε εικόνα για ένα ευρύ φάσμα εφαρμογών.

Χρήση RAG για γρήγορη σχεδίαση

Σε αυτήν την ενότητα, εμβαθύνουμε στο πώς οι τεχνικές RAG μπορούν να λειτουργήσουν ως αλλαγή παιχνιδιών στην άμεση μηχανική, λειτουργώντας σε αρμονία με αυτές τις υπάρχουσες προσεγγίσεις. Με την απρόσκοπτη ενσωμάτωση του RAG στη διαδικασία, μπορούμε να εξορθολογίσουμε και να βελτιώσουμε την αποτελεσματικότητα της άμεσης σχεδίασης.

Σημασιολογική αναζήτηση σε μια άμεση βάση δεδομένων

Φανταστείτε μια εταιρεία που έχει συγκεντρώσει ένα τεράστιο αποθετήριο προτροπών στη βιβλιοθήκη της ή έχει δημιουργήσει έναν μεγάλο αριθμό προτύπων προτροπών, το καθένα σχεδιασμένο για συγκεκριμένες περιπτώσεις χρήσης και στόχους. Παραδοσιακά, οι χρήστες που αναζητούσαν έμπνευση για τις προτροπές κειμένου σε εικόνα περιηγούνταν χειροκίνητα σε αυτές τις βιβλιοθήκες, συχνά περνώντας από εκτεταμένες λίστες επιλογών. Αυτή η διαδικασία μπορεί να είναι χρονοβόρα και αναποτελεσματική. Με την ενσωμάτωση προτροπών από τη βιβλιοθήκη προτροπών χρησιμοποιώντας μοντέλα ενσωμάτωσης κειμένου, οι εταιρείες μπορούν να δημιουργήσουν μια σημασιολογική μηχανή αναζήτησης. Ετσι δουλευει:

• Προτροπές ενσωμάτωσης – Η εταιρεία χρησιμοποιεί ενσωματώσεις κειμένου για να μετατρέψει κάθε μήνυμα στη βιβλιοθήκη της σε αριθμητική αναπαράσταση. Αυτές οι ενσωματώσεις αποτυπώνουν το σημασιολογικό νόημα και το πλαίσιο των προτροπών.
• Ερώτημα χρήστη – Όταν οι χρήστες παρέχουν τις δικές τους προτροπές ή περιγράφουν την επιθυμητή εικόνα, το σύστημα μπορεί επίσης να αναλύσει και να ενσωματώσει τα στοιχεία τους.
• Σημασιολογική αναζήτηση – Χρησιμοποιώντας τις ενσωματώσεις, το σύστημα εκτελεί μια σημασιολογική αναζήτηση. Ανακτά τις πιο σχετικές προτροπές από τη βιβλιοθήκη με βάση το ερώτημα του χρήστη, λαμβάνοντας υπόψη τόσο τα δεδομένα εισόδου του χρήστη όσο και τα ιστορικά δεδομένα στη βιβλιοθήκη προτροπής.

Εφαρμόζοντας τη σημασιολογική αναζήτηση στις άμεσες βιβλιοθήκες τους, οι εταιρείες δίνουν τη δυνατότητα στους υπαλλήλους τους να έχουν πρόσβαση σε μια τεράστια δεξαμενή προτροπών χωρίς κόπο. Αυτή η προσέγγιση όχι μόνο επιταχύνει την άμεση δημιουργία αλλά ενθαρρύνει επίσης τη δημιουργικότητα και τη συνέπεια στη δημιουργία κειμένου σε εικόνα.y

Προτροπή δημιουργίας από σημασιολογική αναζήτηση

Αν και η σημασιολογική αναζήτηση απλοποιεί τη διαδικασία εύρεσης σχετικών μηνυμάτων, η RAG προχωρά ένα βήμα παραπέρα χρησιμοποιώντας αυτά τα αποτελέσματα αναζήτησης για τη δημιουργία βελτιστοποιημένων μηνυμάτων. Ετσι δουλευει:

• Σημασιολογικά αποτελέσματα αναζήτησης – Μετά την ανάκτηση των πιο σχετικών μηνυμάτων από τη βιβλιοθήκη, το σύστημα παρουσιάζει αυτές τις προτροπές στον χρήστη, μαζί με την αρχική εισαγωγή του χρήστη.
• Μοντέλο δημιουργίας κειμένου – Ο χρήστης μπορεί να επιλέξει μια προτροπή από τα αποτελέσματα αναζήτησης ή να παράσχει περαιτέρω πλαίσιο σχετικά με τις προτιμήσεις του. Το σύστημα τροφοδοτεί τόσο την επιλεγμένη προτροπή όσο και την είσοδο του χρήστη σε ένα LLM.
• Βελτιστοποιημένη προτροπή – Το LLM, με την κατανόηση των γλωσσικών αποχρώσεων, δημιουργεί μια βελτιστοποιημένη προτροπή που συνδυάζει στοιχεία από την επιλεγμένη προτροπή και την εισαγωγή του χρήστη. Αυτή η νέα προτροπή είναι προσαρμοσμένη στις απαιτήσεις του χρήστη και έχει σχεδιαστεί για να αποδίδει την επιθυμητή έξοδο εικόνας.

Ο συνδυασμός της σημασιολογικής αναζήτησης και της δημιουργίας προτροπών όχι μόνο απλοποιεί τη διαδικασία εύρεσης προτροπών, αλλά διασφαλίζει επίσης ότι οι προτροπές που δημιουργούνται είναι εξαιρετικά σχετικές και αποτελεσματικές. Σας δίνει τη δυνατότητα να βελτιστοποιήσετε και να προσαρμόσετε τις προτροπές σας, οδηγώντας τελικά σε βελτιωμένα αποτελέσματα δημιουργίας κειμένου σε εικόνα. Τα ακόλουθα είναι παραδείγματα εικόνων που δημιουργούνται από το Stable Diffusion XL χρησιμοποιώντας τις προτροπές από τη σημασιολογική αναζήτηση και τη δημιουργία προτροπών.

Αρχική προτροπή	Προτροπές από τη Σημασιολογική Αναζήτηση	Βελτιστοποιημένη προτροπή από το LLM
μια γελοιογραφία ενός μικρού σκυλιού	χαριτωμένο καρτούν ενός σκύλου που έχει ένα σάντουιτς στο τραπέζι μια καρτούν εικονογράφηση ενός σκύλου πανκ, στυλ anime, λευκό φόντο μια γελοιογραφία ενός αγοριού και του σκύλου του που περπατούν σε μια δασική λωρίδα	Μια σκηνή κινουμένων σχεδίων ενός αγοριού που περπατά χαρούμενα χέρι-χέρι σε μια δασική λωρίδα με το χαριτωμένο κατοικίδιο σκύλο του, σε στυλ κινουμένων σχεδίων.

Εφαρμογές άμεσης σχεδίασης που βασίζονται σε RAG σε διάφορους κλάδους

Πριν εξερευνήσουμε την εφαρμογή της προτεινόμενης αρχιτεκτονικής RAG, ας ξεκινήσουμε με έναν κλάδο στον οποίο ένα μοντέλο παραγωγής εικόνας είναι πιο εφαρμόσιμο. Στο AdTech, η ταχύτητα και η δημιουργικότητα είναι καθοριστικής σημασίας. Η δημιουργία μηνυμάτων που βασίζεται σε RAG μπορεί να προσθέσει άμεση αξία δημιουργώντας άμεσες προτάσεις για τη γρήγορη δημιουργία πολλών εικόνων για μια διαφημιστική καμπάνια. Οι άνθρωποι που λαμβάνουν αποφάσεις μπορούν να περάσουν από τις εικόνες που δημιουργούνται αυτόματα για να επιλέξουν την υποψήφια εικόνα για την καμπάνια. Αυτή η δυνατότητα μπορεί να είναι μια αυτόνομη εφαρμογή ή να ενσωματωθεί σε δημοφιλή εργαλεία λογισμικού και πλατφόρμες που είναι διαθέσιμες αυτήν τη στιγμή.

Ένας άλλος κλάδος όπου το μοντέλο Stable Diffusion μπορεί να βελτιώσει την παραγωγικότητα είναι τα μέσα ενημέρωσης και η ψυχαγωγία. Η αρχιτεκτονική RAG μπορεί να βοηθήσει σε περιπτώσεις χρήσης δημιουργίας avatar, για παράδειγμα. Ξεκινώντας από μια απλή προτροπή, το RAG μπορεί να προσθέσει πολύ περισσότερο χρώμα και χαρακτηριστικά στις ιδέες του avatar. Μπορεί να δημιουργήσει πολλές προτροπές υποψηφίων και να παρέχει πιο δημιουργικές ιδέες. Από αυτές τις εικόνες που δημιουργούνται, μπορείτε να βρείτε την τέλεια εφαρμογή για τη δεδομένη εφαρμογή. Αυξάνει την παραγωγικότητα δημιουργώντας αυτόματα πολλές άμεσες προτάσεις. Η παραλλαγή που μπορεί να βρει είναι το άμεσο όφελος της λύσης.

Επισκόπηση λύσεων

Η παροχή εξουσιοδότησης στους πελάτες να κατασκευάσουν τον δικό τους βοηθό τεχνητής νοημοσύνης που βασίζεται σε RAG για άμεση σχεδίαση στο AWS αποτελεί απόδειξη της ευελιξίας της σύγχρονης τεχνολογίας. Η AWS παρέχει μια πληθώρα επιλογών και υπηρεσιών για τη διευκόλυνση αυτής της προσπάθειας. Το ακόλουθο διάγραμμα αρχιτεκτονικής αναφοράς απεικονίζει μια εφαρμογή RAG για άμεση σχεδίαση στο AWS.

Όταν πρόκειται για την επιλογή των σωστών LLM για τον βοηθό σας AI, το AWS προσφέρει ένα φάσμα επιλογών για να καλύψει τις συγκεκριμένες απαιτήσεις σας.

Πρώτον, μπορείτε να επιλέξετε LLM που είναι διαθέσιμα μέσω του SageMaker JumpStart, χρησιμοποιώντας αποκλειστικές παρουσίες. Αυτές οι περιπτώσεις υποστηρίζουν μια ποικιλία μοντέλων, συμπεριλαμβανομένων των Falcon, Llama 2, Bloom Z και Flan-T5, ή μπορείτε να εξερευνήσετε ιδιόκτητα μοντέλα όπως το Cohere's Command και το Multilingual Embedding ή το Jurassic-2 από το AI21 Labs.

Εάν προτιμάτε μια πιο απλοποιημένη προσέγγιση, το AWS προσφέρει LLM Θεμέλιο του Αμαζονίου, με μοντέλα όπως Amazon Titan και Anthropic Claude. Αυτά τα μοντέλα είναι εύκολα προσβάσιμα μέσω απλών κλήσεων API, επιτρέποντάς σας να αξιοποιήσετε τη δύναμή τους χωρίς κόπο. Η ευελιξία και η ποικιλία των επιλογών διασφαλίζουν ότι έχετε την ελευθερία να επιλέξετε το LLM που ευθυγραμμίζεται καλύτερα με τους άμεσους σχεδιαστικούς σας στόχους, είτε αναζητάτε μια καινοτομία με ανοιχτά δοχεία είτε τις ισχυρές δυνατότητες ιδιόκτητων μοντέλων.

Όταν πρόκειται για τη δημιουργία της βασικής διανυσματικής βάσης δεδομένων, το AWS παρέχει μια πληθώρα επιλογών μέσω των εγγενών υπηρεσιών του. Μπορείτε να επιλέξετε Amazon OpenSearch Service, Amazon-Aurora, ή Amazon Relational Database Service (Amazon RDS) για PostgreSQL, το καθένα προσφέρει ισχυρά χαρακτηριστικά που ταιριάζουν στις συγκεκριμένες ανάγκες σας. Εναλλακτικά, μπορείτε να εξερευνήσετε προϊόντα από συνεργάτες AWS όπως Pinecone, Weaviate, Elastic, Milvus ή Chroma, οι οποίοι παρέχουν εξειδικευμένες λύσεις για αποτελεσματική αποθήκευση και ανάκτηση φορέων.

Για να σας βοηθήσουμε να ξεκινήσετε να κατασκευάζετε έναν βοηθό τεχνητής νοημοσύνης που βασίζεται σε RAG για γρήγορο σχεδιασμό, δημιουργήσαμε μια ολοκληρωμένη επίδειξη στο GitHub αποθήκη. Αυτή η επίδειξη χρησιμοποιεί τους ακόλουθους πόρους:

• Δημιουργία εικόνων: Stable Diffusion XL στο Amazon Bedrock
• Ενσωμάτωση κειμένου: Amazon Titan στο Amazon Bedrock
• Δημιουργία κειμένου: Claude 2 στο Amazon Bedrock
• Vector database: FAISS, μια βιβλιοθήκη ανοιχτού κώδικα για αποτελεσματική αναζήτηση ομοιοτήτων
• Βιβλιοθήκη προτροπής: Παραδείγματα προτροπής από DiffusionDB, το πρώτο σύνολο δεδομένων συλλογής προτροπών μεγάλης κλίμακας για μοντέλα δημιουργίας κειμένου σε εικόνα

Επιπλέον, έχουμε ενσωματώσει το LangChain για την υλοποίηση LLM και το Streamit για το στοιχείο της εφαρμογής web, παρέχοντας μια απρόσκοπτη και φιλική προς το χρήστη εμπειρία.

Προϋποθέσεις

Πρέπει να έχετε τα εξής για να εκτελέσετε αυτήν την δοκιμαστική εφαρμογή:

• Ένας λογαριασμός AWS
• Βασική κατανόηση του τρόπου πλοήγησης Στούντιο Amazon SageMaker
• Βασική κατανόηση του τρόπου λήψης ενός repo από GitHub
• Βασικές γνώσεις εκτέλεσης εντολής σε τερματικό

Εκτελέστε την εφαρμογή επίδειξης

Μπορείτε να κατεβάσετε όλο τον απαραίτητο κώδικα με οδηγίες από το GitHub ρεπο. Μετά την ανάπτυξη της εφαρμογής, θα δείτε μια σελίδα όπως το παρακάτω στιγμιότυπο οθόνης.

Με αυτήν την επίδειξη, στοχεύουμε να κάνουμε τη διαδικασία υλοποίησης προσιτή και κατανοητή, παρέχοντάς σας μια πρακτική εμπειρία για να ξεκινήσετε το ταξίδι σας στον κόσμο του RAG και να σχεδιάσετε άμεσα το AWS.

εκκαθάριση

Αφού δοκιμάσετε την εφαρμογή, καθαρίστε τους πόρους σας σταματώντας την εφαρμογή.

Συμπέρασμα

Το RAG έχει αναδειχθεί ως ένα παράδειγμα που αλλάζει το παιχνίδι στον κόσμο της άμεσης σχεδίασης, αναζωογονώντας τις δυνατότητες κειμένου σε εικόνα του Stable Diffusion. Με την εναρμόνιση των τεχνικών RAG με τις υπάρχουσες προσεγγίσεις και τη χρήση των ισχυρών πόρων του AWS, έχουμε αποκαλύψει ένα μονοπάτι για βελτιωμένη δημιουργικότητα και επιταχυνόμενη μάθηση.

Για πρόσθετους πόρους, επισκεφθείτε τα ακόλουθα:

---

Σχετικά με τους συγγραφείς

Τζέιμς Γι είναι Ανώτερος Αρχιτέκτονας Λύσεων Συνεργατών AI/ML στην ομάδα Emerging Technologies στο Amazon Web Services. Είναι παθιασμένος με τη συνεργασία με εταιρικούς πελάτες και συνεργάτες για να σχεδιάσει, να αναπτύξει και να κλιμακώσει εφαρμογές AI/ML για να αντλήσει τις επιχειρηματικές τους αξίες. Εκτός δουλειάς, του αρέσει να παίζει ποδόσφαιρο, να ταξιδεύει και να περνά χρόνο με την οικογένειά του.

Ρούμι Όλσεν είναι Αρχιτέκτονας Λύσεων στο Πρόγραμμα Συνεργατών AWS. Εξειδικεύεται σε λύσεις χωρίς διακομιστές και μηχανική μάθηση στον τρέχοντα ρόλο της και έχει ένα υπόβαθρο στις τεχνολογίες επεξεργασίας φυσικής γλώσσας. Περνά τον περισσότερο ελεύθερο χρόνο της με την κόρη της εξερευνώντας τη φύση του Βορειοδυτικού Ειρηνικού.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/improve-your-stable-diffusion-prompts-with-retrieval-augmented-generation/