Γινόμαστε μάρτυρες μιας ταχείας αύξησης στην υιοθέτηση μεγάλων γλωσσικών μοντέλων (LLM) που τροφοδοτούν εφαρμογές τεχνητής νοημοσύνης που δημιουργούνται σε όλους τους κλάδους. Τα LLM είναι ικανά για μια ποικιλία εργασιών, όπως η δημιουργία δημιουργικού περιεχομένου, η απάντηση ερωτήσεων μέσω chatbot, η δημιουργία κώδικα και πολλά άλλα.
Οι οργανισμοί που επιθυμούν να χρησιμοποιήσουν LLM για την τροφοδοσία των εφαρμογών τους είναι όλο και πιο επιφυλακτικοί σχετικά με το απόρρητο των δεδομένων για να διασφαλίσουν ότι η εμπιστοσύνη και η ασφάλεια διατηρείται στις παραγωγικές εφαρμογές τεχνητής νοημοσύνης τους. Αυτό περιλαμβάνει τη σωστή διαχείριση των δεδομένων προσωπικής ταυτοποίησης (PII) των πελατών. Περιλαμβάνει επίσης την αποτροπή της μετάδοσης καταχρηστικού και μη ασφαλούς περιεχομένου σε LLM και τον έλεγχο ότι τα δεδομένα που δημιουργούνται από LLM ακολουθούν τις ίδιες αρχές.
Σε αυτήν την ανάρτηση, συζητάμε νέες δυνατότητες που υποστηρίζονται από Κατανοήστε το Amazon που επιτρέπουν την απρόσκοπτη ενσωμάτωση για τη διασφάλιση του απορρήτου των δεδομένων, της ασφάλειας περιεχομένου και της άμεσης ασφάλειας σε νέες και υπάρχουσες εφαρμογές τεχνητής νοημοσύνης.
Το Amazon Comprehend είναι μια υπηρεσία επεξεργασίας φυσικής γλώσσας (NLP) που χρησιμοποιεί μηχανική εκμάθηση (ML) για να αποκαλύψει πληροφορίες σε μη δομημένα δεδομένα και κείμενο μέσα σε έγγραφα. Σε αυτήν την ανάρτηση, συζητάμε γιατί η εμπιστοσύνη και η ασφάλεια με τους LLM έχουν σημασία για τον φόρτο εργασίας σας. Επίσης, εμβαθύνουμε στον τρόπο με τον οποίο χρησιμοποιούνται αυτές οι νέες δυνατότητες εποπτείας με το δημοφιλές πλαίσιο ανάπτυξης τεχνητής νοημοσύνης LangChain για να εισαγάγετε έναν προσαρμόσιμο μηχανισμό εμπιστοσύνης και ασφάλειας για την περίπτωση χρήσης σας.
Γιατί η εμπιστοσύνη και η ασφάλεια με τα LLM έχουν σημασία
Η εμπιστοσύνη και η ασφάλεια είναι πρωταρχικής σημασίας όταν εργάζεστε με LLM λόγω της βαθιάς τους επίδρασης σε ένα ευρύ φάσμα εφαρμογών, από τα chatbot υποστήριξης πελατών έως τη δημιουργία περιεχομένου. Καθώς αυτά τα μοντέλα επεξεργάζονται τεράστιες ποσότητες δεδομένων και δημιουργούν ανθρώπινες αποκρίσεις, αυξάνεται η πιθανότητα κακής χρήσης ή ακούσιων αποτελεσμάτων. Η διασφάλιση ότι αυτά τα συστήματα τεχνητής νοημοσύνης λειτουργούν εντός ηθικών και αξιόπιστων ορίων είναι ζωτικής σημασίας, όχι μόνο για τη φήμη των επιχειρήσεων που τα χρησιμοποιούν, αλλά και για τη διατήρηση της εμπιστοσύνης των τελικών χρηστών και πελατών.
Επιπλέον, καθώς τα LLM ενσωματώνονται περισσότερο στις καθημερινές μας ψηφιακές εμπειρίες, η επιρροή τους στις αντιλήψεις, τις πεποιθήσεις και τις αποφάσεις μας αυξάνεται. Η διασφάλιση της εμπιστοσύνης και της ασφάλειας με τα LLM υπερβαίνει απλώς τα τεχνικά μέτρα. μιλά για την ευρύτερη ευθύνη των επαγγελματιών της τεχνητής νοημοσύνης και των οργανισμών να τηρούν τα ηθικά πρότυπα. Δίνοντας προτεραιότητα στην εμπιστοσύνη και την ασφάλεια, οι οργανισμοί όχι μόνο προστατεύουν τους χρήστες τους, αλλά διασφαλίζουν επίσης βιώσιμη και υπεύθυνη ανάπτυξη της τεχνητής νοημοσύνης στην κοινωνία. Μπορεί επίσης να βοηθήσει στη μείωση του κινδύνου δημιουργίας επιβλαβούς περιεχομένου και να συμβάλει στην τήρηση των κανονιστικών απαιτήσεων.
Στον τομέα της εμπιστοσύνης και της ασφάλειας, η εποπτεία περιεχομένου είναι ένας μηχανισμός που αντιμετωπίζει διάφορες πτυχές, συμπεριλαμβανομένων, ενδεικτικά, των εξής:
- Προστασία προσωπικών δεδομένων – Οι χρήστες μπορούν να παρέχουν ακούσια κείμενο που περιέχει ευαίσθητες πληροφορίες, θέτοντας σε κίνδυνο το απόρρητό τους. Ο εντοπισμός και η διόρθωση οποιουδήποτε PII είναι απαραίτητος.
- Τοξικότητα – Η αναγνώριση και το φιλτράρισμα επιβλαβούς περιεχομένου, όπως ρητορική μίσους, απειλές ή κακοποίηση, είναι υψίστης σημασίας.
- Πρόθεση χρήστη – Η αναγνώριση του εάν η είσοδος χρήστη (προτροπή) είναι ασφαλής ή μη είναι κρίσιμη. Τα μη ασφαλή μηνύματα μπορεί να εκφράζουν ρητά ή σιωπηρά κακόβουλη πρόθεση, όπως αίτημα προσωπικών ή ιδιωτικών πληροφοριών και δημιουργία προσβλητικού, μεροληπτικού ή παράνομου περιεχομένου. Οι προτροπές μπορεί επίσης να εκφράζουν έμμεσα ή να ζητούν συμβουλές σχετικά με ιατρικές, νομικές, πολιτικές, αμφιλεγόμενες, προσωπικές ή οικονομικές
Εποπτεία περιεχομένου με το Amazon Comprehend
Σε αυτήν την ενότητα, συζητάμε τα οφέλη της εποπτείας περιεχομένου με το Amazon Comprehend.
Αντιμετώπιση του απορρήτου
Το Amazon Comprehend αντιμετωπίζει ήδη το απόρρητο μέσω των υφιστάμενων δυνατοτήτων ανίχνευσης και επεξεργασίας PII μέσω του DetectPIIentities και Περιέχει οντότητες API. Αυτά τα δύο API υποστηρίζονται από μοντέλα NLP που μπορούν να ανιχνεύσουν μεγάλο αριθμό οντοτήτων PII, όπως αριθμούς κοινωνικής ασφάλισης (SSN), αριθμούς πιστωτικών καρτών, ονόματα, διευθύνσεις, αριθμούς τηλεφώνου και ούτω καθεξής. Για μια πλήρη λίστα οντοτήτων, ανατρέξτε στο Τύποι καθολικών οντοτήτων PII. Το DetectPII παρέχει επίσης τη θέση σε επίπεδο χαρακτήρα της οντότητας PII μέσα σε ένα κείμενο. για παράδειγμα, η θέση έναρξης χαρακτήρων της οντότητας NAME (John Doe) στην πρόταση "My name is John Doe” είναι 12 και η θέση τελικού χαρακτήρα είναι 19. Αυτές οι μετατοπίσεις μπορούν να χρησιμοποιηθούν για την εκτέλεση κάλυψης ή επεξεργασίας των τιμών, μειώνοντας έτσι τους κινδύνους διάδοσης ιδιωτικών δεδομένων σε LLM.
Αντιμετώπιση τοξικότητας και άμεση ασφάλεια
Σήμερα, ανακοινώνουμε δύο νέες δυνατότητες του Amazon Comprehend με τη μορφή API: Ανίχνευση τοξικότητας μέσω του DetectToxicContent
API και άμεση ταξινόμηση ασφάλειας μέσω του ClassifyDocument
API. Σημειώστε ότι DetectToxicContent
είναι ένα νέο API, ενώ ClassifyDocument
είναι ένα υπάρχον API που υποστηρίζει πλέον άμεση ταξινόμηση ασφάλειας.
Ανίχνευση τοξικότητας
Με την ανίχνευση τοξικότητας του Amazon Comprehend, μπορείτε να εντοπίσετε και να επισημάνετε περιεχόμενο που μπορεί να είναι επιβλαβές, προσβλητικό ή ακατάλληλο. Αυτή η δυνατότητα είναι ιδιαίτερα πολύτιμη για πλατφόρμες όπου οι χρήστες δημιουργούν περιεχόμενο, όπως ιστότοποι κοινωνικών μέσων, φόρουμ, chatbot, ενότητες σχολίων και εφαρμογές που χρησιμοποιούν LLM για τη δημιουργία περιεχομένου. Πρωταρχικός στόχος είναι η διατήρηση ενός θετικού και ασφαλούς περιβάλλοντος με την πρόληψη της διάδοσης τοξικού περιεχομένου.
Στον πυρήνα του, το μοντέλο ανίχνευσης τοξικότητας αναλύει κείμενο για να προσδιορίσει την πιθανότητα να περιέχει περιεχόμενο μίσους, απειλές, αισχρότητες ή άλλες μορφές επιβλαβούς κειμένου. Το μοντέλο εκπαιδεύεται σε τεράστια σύνολα δεδομένων που περιέχουν παραδείγματα τόσο τοξικού όσο και μη τοξικού περιεχομένου. Το API τοξικότητας αξιολογεί ένα δεδομένο κομμάτι κειμένου για να παρέχει ταξινόμηση τοξικότητας και βαθμολογία εμπιστοσύνης. Οι εφαρμογές δημιουργίας τεχνητής νοημοσύνης μπορούν στη συνέχεια να χρησιμοποιήσουν αυτές τις πληροφορίες για να προβούν στις κατάλληλες ενέργειες, όπως να σταματήσουν τη διάδοση του κειμένου σε LLM. Μέχρι τη στιγμή που γράφεται αυτό το άρθρο, οι ετικέτες που ανιχνεύονται από το API ανίχνευσης τοξικότητας είναι HATE_SPEECH
, GRAPHIC
, HARRASMENT_OR_ABUSE
, SEXUAL
, VIOLENCE_OR_THREAT
, INSULT
, να PROFANITY
. Ο ακόλουθος κώδικας δείχνει την κλήση API με το Python Boto3 για ανίχνευση τοξικότητας Amazon Comprehend:
Άμεση ταξινόμηση ασφάλειας
Η άμεση ταξινόμηση ασφάλειας με το Amazon Comprehend βοηθά στην ταξινόμηση ενός μηνύματος κειμένου εισαγωγής ως ασφαλούς ή μη ασφαλούς. Αυτή η δυνατότητα είναι ζωτικής σημασίας για εφαρμογές όπως chatbot, εικονικούς βοηθούς ή εργαλεία εποπτείας περιεχομένου, όπου η κατανόηση της ασφάλειας ενός μηνύματος μπορεί να καθορίσει τις απαντήσεις, τις ενέργειες ή τη διάδοση περιεχομένου σε LLM.
Ουσιαστικά, η άμεση ταξινόμηση ασφάλειας αναλύει την ανθρώπινη εισροή για οποιαδήποτε ρητή ή σιωπηρή κακόβουλη πρόθεση, όπως το αίτημα προσωπικών ή ιδιωτικών πληροφοριών και η δημιουργία προσβλητικού, μεροληπτικού ή παράνομου περιεχομένου. Επίσης, επισημαίνει προτροπές αναζήτησης συμβουλών για ιατρικά, νομικά, πολιτικά, αμφιλεγόμενα, προσωπικά ή οικονομικά θέματα. Η άμεση ταξινόμηση επιστρέφει δύο κλάσεις, UNSAFE_PROMPT
και SAFE_PROMPT
, για ένα σχετικό κείμενο, με σχετικό δείκτη εμπιστοσύνης για το καθένα. Η βαθμολογία εμπιστοσύνης κυμαίνεται μεταξύ 0-1 και σε συνδυασμό θα αθροίζεται σε 1. Για παράδειγμα, σε ένα chatbot υποστήριξης πελατών, το κείμενο "Πώς μπορώ να επαναφέρω τον κωδικό πρόσβασής μου;" σηματοδοτεί την πρόθεση αναζήτησης καθοδήγησης σχετικά με τις διαδικασίες επαναφοράς κωδικού πρόσβασης και επισημαίνεται ως SAFE_PROMPT
. Ομοίως, μια δήλωση όπως «Μακάρι να σου συμβεί κάτι κακό” μπορεί να επισημανθεί για πιθανή επιβλαβή πρόθεση και να χαρακτηριστεί ως UNSAFE_PROMPT
. Είναι σημαντικό να σημειωθεί ότι η άμεση ταξινόμηση ασφάλειας επικεντρώνεται κυρίως στην ανίχνευση της πρόθεσης από ανθρώπινες εισαγωγές (προτροπές), αντί για κείμενο που δημιουργείται από μηχανή (έξοδοι LLM). Ο παρακάτω κώδικας δείχνει πώς να αποκτήσετε πρόσβαση στη δυνατότητα άμεσης ταξινόμησης ασφάλειας με το ClassifyDocument
API:
Σημειώστε ότι endpoint_arn
στον προηγούμενο κώδικα παρέχεται AWS Αριθμός πόρων Amazon (ARN) του προτύπου arn:aws:comprehend:<region>:aws:document-classifier-endpoint/prompt-safety
, Όπου <region>
είναι η περιοχή AWS της επιλογής σας όπου Το Amazon Comprehend είναι διαθέσιμο.
Για να δείξουμε αυτές τις δυνατότητες, δημιουργήσαμε ένα δείγμα εφαρμογής συνομιλίας όπου ζητάμε από ένα LLM να εξαγάγει οντότητες PII όπως διεύθυνση, αριθμός τηλεφώνου και SSN από ένα δεδομένο κομμάτι κειμένου. Το LLM βρίσκει και επιστρέφει τις κατάλληλες οντότητες PII, όπως φαίνεται στην εικόνα στα αριστερά.
Με την εποπτεία του Amazon Comprehend, μπορούμε να αφαιρέσουμε την είσοδο στο LLM και την έξοδο από το LLM. Στην εικόνα στα δεξιά, η τιμή SSN επιτρέπεται να μεταβιβαστεί στο LLM χωρίς επεξεργασία. Ωστόσο, οποιαδήποτε τιμή SSN στην απόκριση του LLM διαγράφεται.
Το παρακάτω είναι ένα παράδειγμα του τρόπου με τον οποίο μια προτροπή που περιέχει πληροφορίες PII μπορεί να αποτραπεί από το να φτάσει στο LLM συνολικά. Αυτό το παράδειγμα δείχνει ότι ένας χρήστης κάνει μια ερώτηση που περιέχει πληροφορίες PII. Χρησιμοποιούμε την εποπτεία Amazon Comprehend για να εντοπίσουμε οντότητες PII στο μήνυμα και να εμφανίσουμε ένα σφάλμα διακόπτοντας τη ροή.
Τα προηγούμενα παραδείγματα συνομιλίας δείχνουν πώς η εποπτεία του Amazon Comprehend εφαρμόζει περιορισμούς στα δεδομένα που αποστέλλονται σε ένα LLM. Στις επόμενες ενότητες, εξηγούμε πώς εφαρμόζεται αυτός ο μηχανισμός εποπτείας χρησιμοποιώντας το LangChain.
Ενοποίηση με το LangChain
Με τις ατελείωτες δυνατότητες εφαρμογής των LLM σε διάφορες περιπτώσεις χρήσης, έχει καταστεί εξίσου σημαντικό να απλοποιηθεί η ανάπτυξη γενετικών εφαρμογών τεχνητής νοημοσύνης. LangChain είναι ένα δημοφιλές πλαίσιο ανοιχτού κώδικα που καθιστά εύκολη την ανάπτυξη εφαρμογών τεχνητής νοημοσύνης. Η εποπτεία του Amazon Comprehend επεκτείνει το πλαίσιο LangChain για να προσφέρει δυνατότητες αναγνώρισης και επεξεργασίας PII, ανίχνευσης τοξικότητας και άμεσης ταξινόμησης ασφάλειας μέσω AmazonComprehendModerationChain
.
AmazonComprehendModerationChain
είναι μια προσαρμοσμένη υλοποίηση του Βάση αλυσίδας LangChain διεπαφή. Αυτό σημαίνει ότι οι εφαρμογές μπορούν να χρησιμοποιήσουν αυτήν την αλυσίδα με τη δική τους Αλυσίδες LLM για να εφαρμόσετε την επιθυμητή εποπτεία στη γραμμή εντολών εισόδου καθώς και στο κείμενο εξόδου από το LLM. Οι αλυσίδες μπορούν να κατασκευαστούν με τη συγχώνευση πολλών αλυσίδων ή με την ανάμειξη αλυσίδων με άλλα εξαρτήματα. Μπορείς να χρησιμοποιήσεις AmazonComprehendModerationChain
με άλλες αλυσίδες LLM για την ανάπτυξη σύνθετων εφαρμογών AI με αρθρωτό και ευέλικτο τρόπο.
Για να το εξηγήσουμε περαιτέρω, παρέχουμε μερικά δείγματα στις επόμενες ενότητες. Ο πηγαίος κώδικας για το AmazonComprehendModerationChain
η εφαρμογή μπορεί να βρεθεί εντός του Αποθετήριο ανοιχτού κώδικα LangChain. Για πλήρη τεκμηρίωση της διεπαφής API, ανατρέξτε στην τεκμηρίωση του LangChain API για το Αλυσίδα διαχείρισης Amazon Comprehend. Η χρήση αυτής της αλυσίδας εποπτείας είναι τόσο απλή όσο η προετοιμασία μιας παρουσίας της κλάσης με προεπιλεγμένες διαμορφώσεις:
Πίσω από τις σκηνές, η αλυσίδα εποπτείας εκτελεί τρεις διαδοχικούς ελέγχους μετριοπάθειας, συγκεκριμένα PII, τοξικότητα και άμεση ασφάλεια, όπως εξηγείται στο παρακάτω διάγραμμα. Αυτή είναι η προεπιλεγμένη ροή για την εποπτεία.
Το παρακάτω απόσπασμα κώδικα δείχνει ένα απλό παράδειγμα χρήσης της αλυσίδας εποπτείας με το Amazon FalconLite LLM (το οποίο είναι μια κβαντισμένη έκδοση του Μοντέλο Falcon 40B SFT OASST-TOP1) φιλοξενείται στο Hugging Face Hub:
Στο προηγούμενο παράδειγμα, αυξάνουμε την αλυσίδα μας με comprehend_moderation
τόσο για κείμενο που εισέρχεται στο LLM όσο και για κείμενο που δημιουργείται από το LLM. Αυτό θα εκτελέσει την προεπιλεγμένη εποπτεία που θα ελέγξει τα PII, την τοξικότητα και την άμεση ταξινόμηση ασφάλειας σε αυτήν τη σειρά.
Προσαρμόστε την εποπτεία σας με διαμορφώσεις φίλτρων
Μπορείτε να χρησιμοποιήσετε το AmazonComprehendModerationChain
με συγκεκριμένες διαμορφώσεις, οι οποίες σας δίνουν τη δυνατότητα να ελέγχετε ποιες εποπτείες θέλετε να εκτελέσετε στη γενετική εφαρμογή σας που βασίζεται σε AI. Στον πυρήνα της διαμόρφωσης, έχετε τρεις διαθέσιμες διαμορφώσεις φίλτρων.
- ModerationPiiConfig – Χρησιμοποιείται για τη διαμόρφωση του φίλτρου PII.
- ModerationToxicityConfig – Χρησιμοποιείται για τη διαμόρφωση του φίλτρου τοξικού περιεχομένου.
- ModerationIntentConfig – Χρησιμοποιείται για τη διαμόρφωση του φίλτρου πρόθεσης.
Μπορείτε να χρησιμοποιήσετε καθεμία από αυτές τις διαμορφώσεις φίλτρων για να προσαρμόσετε τη συμπεριφορά του τρόπου με τον οποίο συμπεριφέρονται οι εποπτείες σας. Οι διαμορφώσεις κάθε φίλτρου έχουν μερικές κοινές παραμέτρους και μερικές μοναδικές παραμέτρους, με τις οποίες μπορούν να αρχικοποιηθούν. Αφού ορίσετε τις διαμορφώσεις, χρησιμοποιείτε το BaseModerationConfig
κλάση για να ορίσετε τη σειρά με την οποία τα φίλτρα πρέπει να εφαρμόζονται στο κείμενο. Για παράδειγμα, στον παρακάτω κώδικα, ορίζουμε πρώτα τις τρεις διαμορφώσεις φίλτρων και, στη συνέχεια, καθορίζουμε τη σειρά με την οποία πρέπει να εφαρμόζονται:
Ας βουτήξουμε λίγο πιο βαθιά για να καταλάβουμε τι επιτυγχάνει αυτή η διαμόρφωση:
- Αρχικά, για το φίλτρο τοξικότητας, καθορίσαμε ένα όριο 0.6. Αυτό σημαίνει ότι εάν το κείμενο περιέχει οποιαδήποτε από τις διαθέσιμες τοξικές ετικέτες ή οντότητες με βαθμολογία μεγαλύτερη από το όριο, ολόκληρη η αλυσίδα θα διακοπεί.
- Εάν δεν υπάρχει τοξικό περιεχόμενο στο κείμενο, ο έλεγχος PII είναι Σε αυτήν την περίπτωση, μας ενδιαφέρει να ελέγξουμε εάν το κείμενο περιέχει τιμές SSN. Επειδή η
redact
η παράμετρος έχει οριστεί σεTrue
, η αλυσίδα θα κρύψει τις ανιχνευμένες τιμές SSN (εάν υπάρχουν) όπου η βαθμολογία εμπιστοσύνης της οντότητας SSN είναι μεγαλύτερη ή ίση με 0.5, με τον χαρακτήρα μάσκας να καθορίζεται (X). Ανredact
έχει οριστεί σεFalse
, η αλυσίδα θα διακοπεί για οποιοδήποτε ανιχνευμένο SSN. - Τέλος, η αλυσίδα εκτελεί άμεση ταξινόμηση ασφάλειας και θα σταματήσει τη διάδοση του περιεχομένου πιο κάτω στην αλυσίδα εάν το περιεχόμενο ταξινομείται με
UNSAFE_PROMPT
με βαθμολογία εμπιστοσύνης μεγαλύτερη ή ίση με 0.8.
Το παρακάτω διάγραμμα απεικονίζει αυτήν τη ροή εργασίας.
Σε περίπτωση διακοπών της αλυσίδας μετριοπάθειας (σε αυτό το παράδειγμα, ισχύει για τα φίλτρα ταξινόμησης τοξικότητας και άμεσης ασφάλειας), η αλυσίδα θα ανυψώσει ένα Εξαίρεση Python, ουσιαστικά σταματώντας την αλυσίδα σε εξέλιξη και επιτρέποντάς σας να πιάσετε την εξαίρεση (σε ένα μπλοκ try-catch) και να εκτελέσετε οποιαδήποτε σχετική ενέργεια. Οι τρεις πιθανοί τύποι εξαιρέσεων είναι:
ModerationPIIError
ModerationToxicityError
ModerationPromptSafetyError
Μπορείτε να διαμορφώσετε ένα φίλτρο ή περισσότερα από ένα φίλτρα χρησιμοποιώντας BaseModerationConfig
. Μπορείτε επίσης να έχετε τον ίδιο τύπο φίλτρου με διαφορετικές διαμορφώσεις στην ίδια αλυσίδα. Για παράδειγμα, εάν η περίπτωση χρήσης σας αφορά μόνο PII, μπορείτε να καθορίσετε μια διαμόρφωση που πρέπει να διακόψει την αλυσίδα εάν σε περίπτωση εντοπισμού SSN. Διαφορετικά, πρέπει να πραγματοποιήσει επεξεργασία για την ηλικία και το όνομα των οντοτήτων PII. Μια διαμόρφωση για αυτό μπορεί να οριστεί ως εξής:
Χρήση επανακλήσεων και μοναδικών αναγνωριστικών
Εάν είστε εξοικειωμένοι με την έννοια των ροών εργασίας, μπορεί επίσης να είστε εξοικειωμένοι επιστροφές. Οι επανακλήσεις εντός των ροών εργασίας είναι ανεξάρτητα κομμάτια κώδικα που εκτελούνται όταν πληρούνται ορισμένες προϋποθέσεις στη ροή εργασίας. Μια επιστροφή κλήσης μπορεί είτε να αποκλείει είτε να μην εμποδίζει τη ροή εργασίας. Οι αλυσίδες LangChain είναι, στην ουσία, ροές εργασίας για LLMs. AmazonComprehendModerationChain
σας επιτρέπει να ορίσετε τις δικές σας λειτουργίες επανάκλησης. Αρχικά, η υλοποίηση περιορίζεται μόνο σε ασύγχρονες (μη αποκλειστικές) λειτουργίες επανάκλησης.
Αυτό ουσιαστικά σημαίνει ότι εάν χρησιμοποιείτε επανακλήσεις με την αλυσίδα εποπτείας, θα εκτελούνται ανεξάρτητα από την εκτέλεση της αλυσίδας χωρίς να την εμποδίζουν. Για την αλυσίδα εποπτείας, έχετε επιλογές για να εκτελέσετε κομμάτια κώδικα, με οποιαδήποτε επιχειρηματική λογική, μετά την εκτέλεση κάθε εποπτείας, ανεξάρτητα από την αλυσίδα.
Μπορείτε επίσης προαιρετικά να παρέχετε μια αυθαίρετη συμβολοσειρά μοναδικού αναγνωριστικού κατά τη δημιουργία ενός AmazonComprehendModerationChain
για να ενεργοποιήσετε την καταγραφή και τα αναλυτικά στοιχεία αργότερα. Για παράδειγμα, εάν χρησιμοποιείτε ένα chatbot που τροφοδοτείται από ένα LLM, ίσως θέλετε να παρακολουθείτε χρήστες που καταχρώνται συνεχώς ή εκθέτουν σκόπιμα ή εν αγνοία τους προσωπικές πληροφορίες. Σε τέτοιες περιπτώσεις, καθίσταται απαραίτητο να παρακολουθείτε την προέλευση τέτοιων μηνυμάτων και ίσως να τα αποθηκεύσετε σε μια βάση δεδομένων ή να τα καταγράψετε κατάλληλα για περαιτέρω ενέργειες. Μπορείτε να περάσετε ένα μοναδικό αναγνωριστικό που προσδιορίζει ευδιάκριτα έναν χρήστη, όπως το όνομα χρήστη ή το email του ή ένα όνομα εφαρμογής που δημιουργεί το μήνυμα προτροπής.
Ο συνδυασμός επανακλήσεων και μοναδικών αναγνωριστικών σάς παρέχει έναν ισχυρό τρόπο για να εφαρμόσετε μια αλυσίδα ελέγχου που ταιριάζει στην περίπτωση χρήσης σας με πολύ πιο συνεκτικό τρόπο με λιγότερο κώδικα που είναι πιο εύκολο να διατηρηθεί. Ο χειριστής επανάκλησης είναι διαθέσιμος μέσω του BaseModerationCallbackHandler
, με τρεις διαθέσιμες επιστροφές κλήσης: on_after_pii()
, on_after_toxicity()
, να on_after_prompt_safety()
. Κάθε μία από αυτές τις συναρτήσεις επανάκλησης καλείται ασύγχρονα αφού εκτελεστεί ο αντίστοιχος έλεγχος ελέγχου εντός της αλυσίδας. Αυτές οι συναρτήσεις λαμβάνουν επίσης δύο προεπιλεγμένες παραμέτρους:
- moderation_beacon – Ένα λεξικό που περιέχει λεπτομέρειες όπως το κείμενο στο οποίο πραγματοποιήθηκε η εποπτεία, την πλήρη έξοδο JSON του Amazon Comprehend API, τον τύπο εποπτείας και εάν οι παρεχόμενες ετικέτες (στη διαμόρφωση) βρέθηκαν μέσα στο κείμενο ή όχι
- μοναδική ταυτότητα – Το μοναδικό αναγνωριστικό που εκχωρήσατε κατά την προετοιμασία μιας παρουσίας του
AmazonComprehendModerationChain
.
Το παρακάτω είναι ένα παράδειγμα του πώς λειτουργεί μια υλοποίηση με επανάκληση. Σε αυτήν την περίπτωση, ορίσαμε μια ενιαία επιστροφή κλήσης που θέλουμε να εκτελείται η αλυσίδα μετά την εκτέλεση του ελέγχου PII:
Στη συνέχεια χρησιμοποιούμε το my_callback
αντικείμενο κατά την προετοιμασία της αλυσίδας εποπτείας και επίσης περάστε α unique_id
. Μπορείτε να χρησιμοποιήσετε επανακλήσεις και μοναδικά αναγνωριστικά με ή χωρίς διαμόρφωση. Όταν κάνετε υποκατηγορία BaseModerationCallbackHandler
, πρέπει να εφαρμόσετε μία ή όλες τις μεθόδους επανάκλησης ανάλογα με τα φίλτρα που σκοπεύετε να χρησιμοποιήσετε. Για συντομία, το ακόλουθο παράδειγμα δείχνει έναν τρόπο χρήσης επανάκλησης και unique_id
χωρίς καμία ρύθμιση:
Το παρακάτω διάγραμμα εξηγεί πώς λειτουργεί αυτή η αλυσίδα ελέγχου με ανακλήσεις και μοναδικά αναγνωριστικά. Συγκεκριμένα, εφαρμόσαμε την επιστροφή κλήσης PII που θα πρέπει να γράψει ένα αρχείο JSON με τα δεδομένα που είναι διαθέσιμα στο moderation_beacon
και την unique_id
πέρασε (το email του χρήστη σε αυτήν την περίπτωση).
Στα ακόλουθα Σημειωματάριο Python, έχουμε συγκεντρώσει μερικούς διαφορετικούς τρόπους με τους οποίους μπορείτε να διαμορφώσετε και να χρησιμοποιήσετε την αλυσίδα εποπτείας με διάφορα LLM, όπως LLM που φιλοξενούνται με Amazon SageMaker JumpStart και φιλοξενήθηκε σε Humbing Face Hub. Έχουμε επίσης συμπεριλάβει το δείγμα εφαρμογής συνομιλίας που συζητήσαμε νωρίτερα με τα ακόλουθα Σημειωματάριο Python.
Συμπέρασμα
Η δυνατότητα μετασχηματισμού των μεγάλων γλωσσικών μοντέλων και της γενετικής τεχνητής νοημοσύνης είναι αναμφισβήτητη. Ωστόσο, η υπεύθυνη και ηθική χρήση τους εξαρτάται από την αντιμετώπιση προβλημάτων εμπιστοσύνης και ασφάλειας. Αναγνωρίζοντας τις προκλήσεις και εφαρμόζοντας ενεργά μέτρα για τον μετριασμό των κινδύνων, οι προγραμματιστές, οι οργανισμοί και η κοινωνία γενικότερα μπορούν να εκμεταλλευτούν τα οφέλη αυτών των τεχνολογιών διατηρώντας παράλληλα την εμπιστοσύνη και την ασφάλεια που στηρίζουν την επιτυχημένη ενσωμάτωσή τους. Χρησιμοποιήστε το Amazon Comprehend ContentModerationChain για να προσθέσετε χαρακτηριστικά εμπιστοσύνης και ασφάλειας σε οποιαδήποτε ροή εργασίας LLM, συμπεριλαμβανομένων των ροών εργασίας Retrieval Augmented Generation (RAG) που εφαρμόζονται στο LangChain.
Για πληροφορίες σχετικά με τη δημιουργία λύσεων που βασίζονται σε RAG χρησιμοποιώντας το LangChain και το εξαιρετικά ακριβές, μηχανική μάθηση (ML) της Amazon Kendra έξυπνη αναζήτηση, βλέπω - Δημιουργήστε γρήγορα εφαρμογές Generative AI υψηλής ακρίβειας σε εταιρικά δεδομένα χρησιμοποιώντας Amazon Kendra, LangChain και μεγάλα μοντέλα γλώσσας. Ως επόμενο βήμα, ανατρέξτε στο δείγματα κώδικα δημιουργήσαμε για τη χρήση της εποπτείας του Amazon Comprehend με το LangChain. Για πλήρη τεκμηρίωση του Amazon Comprehend moderation chain API, ανατρέξτε στο LangChain Τεκμηρίωση API.
Σχετικά με τους συγγραφείς
Γράφω Talukdar είναι Senior Architect με την ομάδα Amazon Comprehend Service. Συνεργάζεται με πελάτες AWS για να τους βοηθήσει να υιοθετήσουν τη μηχανική εκμάθηση σε μεγάλη κλίμακα. Εκτός δουλειάς, του αρέσει το διάβασμα και η φωτογραφία.
Anjan Biswas είναι Ανώτερος Αρχιτέκτονας Λύσεων Υπηρεσιών AI με έμφαση στο AI/ML και την ανάλυση δεδομένων. Ο Anjan είναι μέρος της παγκόσμιας ομάδας υπηρεσιών AI και συνεργάζεται με πελάτες για να τους βοηθήσει να κατανοήσουν και να αναπτύξουν λύσεις σε επιχειρηματικά προβλήματα με AI και ML. Η Anjan έχει πάνω από 14 χρόνια εμπειρίας σε συνεργασία με παγκόσμιους οργανισμούς εφοδιαστικής αλυσίδας, κατασκευής και λιανικής και βοηθά ενεργά τους πελάτες να ξεκινήσουν και να επεκτείνουν τις υπηρεσίες AWS AI.
Nikhil Jha είναι Ανώτερος Τεχνικός Διευθυντής Λογαριασμού στο Amazon Web Services. Οι τομείς εστίασής του περιλαμβάνουν την AI/ML και την ανάλυση. Στον ελεύθερο χρόνο του, του αρέσει να παίζει μπάντμιντον με την κόρη του και να εξερευνά την ύπαιθρο.
Τσιν Ρέιν είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στην Amazon Web Services. Είναι παθιασμένη με τα εφαρμοσμένα μαθηματικά και τη μηχανική μάθηση. Επικεντρώνεται στο σχεδιασμό έξυπνων λύσεων επεξεργασίας εγγράφων για πελάτες AWS. Εκτός δουλειάς, της αρέσει να χορεύει salsa και bachata.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/build-trust-and-safety-for-generative-ai-applications-with-amazon-comprehend-and-langchain/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 100
- 11
- 12
- 14
- 15%
- 17
- 19
- 500
- 7
- 8
- 9
- a
- ικανότητες
- ικανότητα
- Σχετικα
- κατάχρηση
- πρόσβαση
- Λογαριασμός
- ακριβής
- Επιτυγχάνει
- απέναντι
- Ενέργειες
- ενεργειών
- δραστήρια
- προσθέτω
- διεύθυνση
- διευθύνσεις
- διευθυνσιοδότηση
- εμμένω
- ενστερνίζομαι
- Υιοθεσία
- συμβουλές
- Μετά το
- την ηλικία του
- AI
- Υπηρεσίες AI
- Συστήματα AI
- AI / ML
- Όλα
- επιτρέπεται
- Επιτρέποντας
- επιτρέπει
- ήδη
- Επίσης
- εντελώς
- Amazon
- Κατανοήστε το Amazon
- Amazon Kendra
- Amazon υπηρεσίες Web
- Ποσά
- an
- analytics
- αναλύσεις
- και
- Ανακοίνωση
- απάντηση
- κάθε
- api
- APIs
- εφαρμόσιμος
- Εφαρμογή
- εφαρμογές
- εφαρμοσμένος
- ισχύει
- Εφαρμογή
- κατάλληλος
- κατάλληλα
- ΕΙΝΑΙ
- περιοχές
- AS
- ζητώ
- ζητώντας
- πτυχές
- ανατεθεί
- βοηθούς
- συσχετισμένη
- At
- αυξάνω
- επαυξημένης
- διαθέσιμος
- AWS
- υποστηρίζεται
- Κακός
- βάση
- βασίζονται
- BE
- επειδή
- γίνονται
- γίνεται
- συμπεριφορά
- είναι
- πεποιθήσεις
- οφέλη
- μεταξύ
- Πέρα
- Αποκλεισμός
- κλείδωμα
- και οι δύο
- όρια
- ευρύτερη
- χτίζω
- χτίζω εμπιστοσύνη
- Κτίριο
- χτισμένο
- επιχείρηση
- επιχειρήσεις
- αλλά
- by
- κλήση
- επιστροφές
- που ονομάζεται
- CAN
- δυνατότητες
- ικανότητα
- ικανός
- κεφάλαιο
- κάρτα
- περίπτωση
- περιπτώσεις
- πάλη
- ορισμένες
- αλυσίδα
- αλυσίδες
- προκλήσεις
- χαρακτήρας
- chatbot
- chatbots
- έλεγχος
- έλεγχος
- έλεγχοι
- πηγούνι
- επιλογή
- τάξη
- τάξεις
- ταξινόμηση
- ταξινομούνται
- Ταξινόμηση
- πελάτης
- κωδικός
- συνεκτικός
- COM
- συνδυασμός
- σε συνδυασμό
- σχόλιο
- Κοινός
- συγκρότημα
- εξαρτήματα
- κατανοώ
- έννοια
- ενδιαφερόμενος
- Πιθανά ερωτήματα
- Συνθήκες
- εμπιστοσύνη
- διαμόρφωση
- συνεχής
- με συνέπεια
- Περιέχει
- περιεχόμενο
- Δημιουργία περιεχομένου
- έλεγχος
- αμφιλεγόμενος
- πυρήνας
- δημιουργήθηκε
- δημιουργία
- Δημιουργικός
- μονάδες
- πιστωτική κάρτα
- κρίσιμης
- κρίσιμος
- έθιμο
- πελάτης
- Εξυπηρέτηση πελατών
- Πελάτες
- προσαρμόσιμη
- προσαρμόσετε
- καθημερινά
- Χορός
- ημερομηνία
- Δεδομένα Analytics
- Προστασία προσωπικών δεδομένων
- βάση δεδομένων
- σύνολα δεδομένων
- αποφάσεις
- βαθύτερη
- Προεπιλογή
- ορίζεται
- ορίζεται
- σκάβω
- αποδεικνύουν
- καταδεικνύει
- Σε συνάρτηση
- σχέδιο
- επιθυμητή
- καθέκαστα
- ανίχνευση
- εντοπιστεί
- Ανίχνευση
- Προσδιορίστε
- ανάπτυξη
- προγραμματιστές
- Ανάπτυξη
- διαφορετικές
- ψηφιακό
- συζητήσουν
- συζήτηση
- ξεκάθαρα
- κατάδυση
- do
- έγγραφο
- τεκμηρίωση
- έγγραφα
- ελαφίνα
- κάτω
- δυο
- e
- κάθε
- Νωρίτερα
- ευκολότερη
- αποτελεσματικά
- ΧΩΡΙΣ κοπο
- είτε
- αλλιώς
- ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
- ενεργοποιήσετε
- τέλος
- Ατελείωτη
- εξασφαλίζω
- εξασφαλίζοντας
- Εταιρεία
- οντότητες
- οντότητα
- Περιβάλλον
- ίσος
- εξίσου
- σφάλμα
- ουσία
- ουσιώδης
- κατ 'ουσίαν,
- ηθικά
- παράδειγμα
- παραδείγματα
- Εκτός
- εξαίρεση
- υφιστάμενα
- εμπειρία
- Δραστηριοτητες
- Εξηγήστε
- εξήγησε
- Εξηγεί
- ρητά
- Εξερευνώντας
- ρητή
- Επεκτείνεται
- εκχύλισμα
- Πρόσωπο
- οικείος
- Χαρακτηριστικό
- Χαρακτηριστικά
- λίγοι
- Αρχεία
- φιλτράρισμα
- φιλτράρισμα
- Φίλτρα
- οικονομικός
- Εύρεση
- ευρήματα
- Όνομα
- σημαία
- σημαίες
- εύκαμπτος
- ροή
- Συγκέντρωση
- επικεντρώθηκε
- εστιάζει
- Εξής
- εξής
- Για
- μορφή
- μορφή
- μορφές
- φόρουμ
- Βρέθηκαν
- Πλαίσιο
- Γαλλία
- από
- πλήρη
- λειτουργίες
- περαιτέρω
- παράγουν
- παράγεται
- παραγωγής
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- παίρνω
- gif
- Δώστε
- δεδομένου
- δίνει
- Παγκόσμιο
- γκολ
- πηγαίνει
- μετάβαση
- καλός
- μεγαλύτερη
- μεγαλώνει
- Ανάπτυξη
- καθοδήγηση
- Χειρισμός
- συμβαίνει
- επιβλαβής
- ιπποσκευή
- μισώ
- Έχω
- που έχει
- he
- βοήθεια
- βοήθεια
- βοηθά
- υψηλά
- μεντεσέδες
- του
- φιλοξενείται
- Πως
- Πώς να
- Ωστόσο
- HTML
- HTTPS
- Hub
- ανθρώπινος
- ανθρώπινο
- i
- ID
- Αναγνώριση
- αναγνωριστικό
- αναγνωριστικά
- αναγνωρίζει
- προσδιορίσει
- προσδιορισμό
- if
- παράνομος
- απεικονίζει
- εικόνα
- Επίπτωση
- εφαρμογή
- εκτέλεση
- εφαρμοστεί
- εκτελεστικών
- εισαγωγή
- σπουδαιότητα
- σημαντικό
- in
- ακούσια
- περιλαμβάνουν
- περιλαμβάνονται
- περιλαμβάνει
- Συμπεριλαμβανομένου
- Αυξάνουν
- Αυξήσεις
- όλο και περισσότερο
- ανεξάρτητος
- ανεξάρτητα
- βιομηχανίες
- επιρροή
- πληροφορίες
- αρχικά
- εισαγωγή
- είσοδοι
- Ερωτήσεις
- παράδειγμα
- ενσωματωθεί
- ολοκλήρωση
- Έξυπνος
- Έξυπνη επεξεργασία εγγράφων
- σκοπεύω
- πρόθεση
- ενδιαφερόμενος
- περιβάλλον λειτουργίας
- διακόπτεται
- σε
- εισαγάγει
- IT
- ΤΟΥ
- Γιάννης
- JOHN DOE
- jpg
- json
- μόλις
- Ετικέτες
- Γλώσσα
- large
- αργότερα
- μάθηση
- αριστερά
- Νομικά
- μείον
- Μου αρέσει
- πιθανότητα
- Περιωρισμένος
- Λιστα
- λίγο
- λίγο πιο βαθιά
- LLM
- κούτσουρο
- ξύλευση
- λογική
- κοιτάζοντας
- μηχανή
- μάθηση μηχανής
- διατηρήσουν
- ΚΑΝΕΙ
- διευθυντής
- τρόπος
- κατασκευής
- μάσκα
- μαθηματικά
- ύλη
- Ενδέχεται..
- me
- μέσα
- μέτρα
- μηχανισμός
- Εικόνες / Βίντεο
- ιατρικών
- συγχώνευση
- πληρούνται
- μέθοδοι
- κακή χρήση
- Μετριάζω
- Μίξη
- ML
- μοντέλο
- μοντέλα
- μετριοπάθεια
- σπονδυλωτή
- περισσότερο
- πολύ
- πρέπει
- my
- όνομα
- και συγκεκριμένα
- ονόματα
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- απαραίτητος
- Νέα
- Νέες δυνατότητες
- επόμενη
- nlp
- Όχι.
- τώρα
- αριθμός
- αριθμοί
- πολυάριθμες
- αντικείμενο
- of
- προσβλητικός
- προσφορά
- αντισταθμίσεις
- on
- ONE
- αποκλειστικά
- ανοίξτε
- ανοικτού κώδικα
- λειτουργούν
- λειτουργίας
- Επιλογές
- or
- τάξη
- οργανώσεις
- καταγωγή
- ΑΛΛΑ
- αλλιώς
- δικός μας
- έξω
- αποτελέσματα
- ύπαιθρο
- παραγωγή
- εξόδους
- εκτός
- επί
- δική
- παράμετρος
- παράμετροι
- κυρίαρχος
- μέρος
- ιδιαίτερα
- passieren
- πέρασε
- παθιασμένος
- Κωδικός Πρόσβασης
- επαναφορά κωδικού πρόσβασης
- πρότυπο
- Εκτελέστε
- εκτελούνται
- εκτελεί
- ίσως
- προσωπικός
- Προσωπικά
- τηλέφωνο
- φωτογραφία
- κομμάτι
- κομμάτια
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παιχνίδι
- πολιτικός
- Δημοφιλής
- θέση
- θετικός
- δυνατότητες
- δυνατός
- Θέση
- δυναμικού
- ενδεχομένως
- δύναμη
- τροφοδοτείται
- ισχυρός
- διατηρώντας
- πρόληψη
- πρωτίστως
- πρωταρχικός
- αρχές
- ιεράρχηση
- μυστικότητα
- ιδιωτικός
- ιδιωτικές πληροφορίες
- προβλήματα
- διαδικασίες
- διαδικασια μας
- μεταποίηση
- βαθύς
- Πρόοδος
- δεόντως
- προστασία
- παρέχουν
- παρέχει
- Python
- ερώτηση
- αύξηση
- σειρά
- σειρές
- γρήγορα
- μάλλον
- φθάνοντας
- Ανάγνωση
- βασίλειο
- λαμβάνω
- αναγνωρίζοντας
- μείωση
- μείωση
- παραπέμπω
- περιοχή
- ρυθμιστές
- αξιόπιστος
- φήμη
- ζητήσει
- απαιτήσεις
- πόρος
- εκείνοι
- απάντησης
- απαντήσεις
- ευθύνη
- υπεύθυνος
- περιορισμούς
- λιανική πώληση
- Επιστροφές
- δεξιά
- Κίνδυνος
- κινδύνους
- τρέξιμο
- s
- ένα ασφαλές
- Ασφάλεια
- σοφός
- ίδιο
- Κλίμακα
- Σκηνές
- σκορ
- αδιάλειπτη
- Τμήμα
- τμήματα
- ασφάλεια
- δείτε
- Επιδιώξτε
- ΕΑΥΤΟΣ
- αρχαιότερος
- ευαίσθητος
- αποστέλλονται
- ποινή
- Ακολουθία
- υπηρεσία
- Υπηρεσίες
- σειρά
- αυτή
- θα πρέπει να
- δείχνουν
- βιτρίνα
- παρουσιάζεται
- Δείχνει
- σήματα
- Ομοίως
- Απλούς
- απλοποίηση
- ενιαίας
- Sites
- Απόσπασμα
- So
- Μ.Κ.Δ
- social media
- Κοινωνία
- Λύσεις
- μερικοί
- κάτι
- Πηγή
- πρωτογενής κώδικας
- Μιλάει
- ειδικός
- συγκεκριμένες
- ειδικά
- καθορίζεται
- ομιλία
- πρότυπα
- Εκκίνηση
- ξεκίνησε
- Δήλωση
- Βήμα
- στάση
- στάθμευση
- κατάστημα
- Σπάγγος
- Ακολούθως
- επιτυχής
- τέτοιος
- παρέχεται
- προμήθεια
- αλυσίδας εφοδιασμού
- υποστήριξη
- Υποστηρίζει
- βιώσιμης
- συστήματα
- Πάρτε
- εργασίες
- Τεχνικός
- Τεχνολογίες
- πρότυπο
- κείμενο
- από
- ότι
- Η
- Η πρωτεύουσα
- Η Πηγη
- τους
- Τους
- τότε
- Εκεί.
- εκ τούτου
- Αυτοί
- αυτοί
- αυτό
- απειλές
- τρία
- κατώφλι
- Μέσω
- ώρα
- προς την
- εργαλεία
- τροχιά
- εκπαιδευμένο
- μεταμορφωτικός
- Εμπιστευθείτε
- προσπαθώ
- δύο
- τύπος
- τύποι
- αποκαλύπτω
- αδιάψευστος
- υποστηρίζω
- καταλαβαίνω
- κατανόηση
- μοναδικός
- Παγκόσμιος
- Υποστηρίζω
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- Χρήστες
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- χρησιμοποιώ
- χρησιμοποιούνται
- Πολύτιμος
- αξία
- Αξίες
- ποικιλία
- διάφορα
- Σταθερή
- εκδοχή
- μέσω
- Πραγματικός
- W
- θέλω
- ήταν
- Τρόπος..
- τρόπους
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- ήταν
- Τι
- Τι είναι
- πότε
- ενώ
- αν
- Ποιό
- ενώ
- Ο ΟΠΟΊΟΣ
- ολόκληρο
- WHY
- ευρύς
- Ευρύ φάσμα
- θα
- επιθυμώ
- με
- εντός
- χωρίς
- μάρτυρες
- Εργασία
- ροής εργασίας
- ροές εργασίας
- εργαζόμενος
- λειτουργεί
- γράφω
- γραφή
- X
- χρόνια
- Εσείς
- Σας
- zephyrnet