Η εποπτεία περιεχομένου διαδραματίζει καθοριστικό ρόλο στη διατήρηση της διαδικτυακής ασφάλειας και στη διατήρηση των αξιών και των προτύπων των ιστότοπων και των πλατφορμών κοινωνικών μέσων. Η σημασία του υπογραμμίζεται από την προστασία που παρέχει στους χρήστες από την έκθεση σε ακατάλληλο περιεχόμενο, προστατεύοντας την ευημερία τους στους ψηφιακούς χώρους. Για παράδειγμα, στον κλάδο της διαφήμισης, η εποπτεία περιεχομένου χρησιμεύει για την προστασία των επωνυμιών από δυσμενείς συσχετίσεις, συμβάλλοντας έτσι στην ανάδειξη της επωνυμίας και στην αύξηση των εσόδων. Οι διαφημιστές δίνουν προτεραιότητα στην ευθυγράμμιση της επωνυμίας τους με το κατάλληλο περιεχόμενο για να διατηρήσουν τη φήμη τους και να αποτρέψουν την αρνητική δημοσιότητα. Η εποπτεία περιεχομένου αποκτά επίσης κρίσιμη σημασία στους τομείς της χρηματοδότησης και της υγειονομικής περίθαλψης, όπου εξυπηρετεί πολλαπλές λειτουργίες. Διαδραματίζει σημαντικό ρόλο στον εντοπισμό και τη διαφύλαξη ευαίσθητων προσωπικών στοιχείων ταυτοποίησης και υγείας (PII, PHI). Με την τήρηση των εσωτερικών προτύπων και πρακτικών και τη συμμόρφωση με εξωτερικούς κανονισμούς, η εποπτεία περιεχομένου ενισχύει την ψηφιακή ασφάλεια για τους χρήστες. Με αυτόν τον τρόπο, αποτρέπει την ακούσια κοινοποίηση εμπιστευτικών δεδομένων σε δημόσιες πλατφόρμες, διασφαλίζοντας τη διατήρηση του απορρήτου των χρηστών και την ασφάλεια των δεδομένων.
Σε αυτήν την ανάρτηση, εισάγουμε μια νέα μέθοδο για την εκτέλεση της εποπτείας περιεχομένου σε δεδομένα εικόνας με προεκπαίδευση πολλαπλών τρόπων και ένα μοντέλο μεγάλης γλώσσας (LLM). Με την πολυτροπική προεκπαίδευση, μπορούμε να ρωτήσουμε απευθείας το περιεχόμενο της εικόνας με βάση ένα σύνολο ερωτήσεων ενδιαφέροντος και το μοντέλο θα μπορεί να απαντήσει σε αυτές τις ερωτήσεις. Αυτό επιτρέπει στους χρήστες να συνομιλούν με την εικόνα για να επιβεβαιώσουν εάν περιέχει ακατάλληλο περιεχόμενο που παραβαίνει τις πολιτικές του οργανισμού. Χρησιμοποιούμε την ισχυρή ικανότητα δημιουργίας LLM για τη λήψη της τελικής απόφασης, συμπεριλαμβανομένων ασφαλών/μη ασφαλών ετικετών και τύπου κατηγορίας. Επιπλέον, σχεδιάζοντας μια προτροπή, μπορούμε να κάνουμε ένα LLM να δημιουργήσει την καθορισμένη μορφή εξόδου, όπως η μορφή JSON. Το σχεδιασμένο πρότυπο προτροπής επιτρέπει στο LLM να προσδιορίσει εάν η εικόνα παραβαίνει την πολιτική εποπτείας, να προσδιορίσει την κατηγορία παραβίασης, να εξηγήσει γιατί και να παρέχει την έξοδο σε δομημένη μορφή JSON.
Χρησιμοποιούμε BLIP-2 ως η πολυτροπική μέθοδος προεκπαίδευσης. Το BLIP-2 είναι ένα από τα πιο σύγχρονα μοντέλα στην πολυτροπική προ-εκπαίδευση και ξεπερνά τις περισσότερες από τις υπάρχουσες μεθόδους στην οπτική απάντηση ερωτήσεων, τη δημιουργία λεζάντας εικόνων και την ανάκτηση κειμένου εικόνας. Για το LLM μας, χρησιμοποιούμε Λάμα 2, η επόμενη γενιά ανοιχτού κώδικα LLM, η οποία ξεπερνά τα υπάρχοντα μοντέλα γλώσσας ανοιχτού κώδικα σε πολλά σημεία αναφοράς, όπως συλλογιστική, κωδικοποίηση, επάρκεια και τεστ γνώσεων. Το παρακάτω διάγραμμα απεικονίζει τα συστατικά του διαλύματος.
Προκλήσεις στον έλεγχο περιεχομένου
Οι παραδοσιακές μέθοδοι εποπτείας περιεχομένου, όπως η εποπτεία με βάση τον άνθρωπο, δεν μπορούν να συμβαδίσουν με τον αυξανόμενο όγκο περιεχομένου που δημιουργείται από χρήστες (UGC). Καθώς ο όγκος του UGC αυξάνεται, οι ανθρώπινοι συντονιστές μπορεί να καταπονηθούν και να δυσκολευτούν να μετριάσουν αποτελεσματικά το περιεχόμενο. Αυτό έχει ως αποτέλεσμα κακή εμπειρία χρήστη, υψηλό κόστος συγκράτησης και κίνδυνο επωνυμίας. Η ανθρώπινη μετριοπάθεια είναι επίσης επιρρεπής σε λάθη, τα οποία μπορεί να οδηγήσουν σε ασυνεπή μετριοπάθεια και μεροληπτικές αποφάσεις. Για την αντιμετώπιση αυτών των προκλήσεων, η εποπτεία περιεχομένου που υποστηρίζεται από τη μηχανική μάθηση (ML) έχει αναδειχθεί ως λύση. Οι αλγόριθμοι ML μπορούν να αναλύσουν μεγάλους όγκους UGC και να εντοπίσουν περιεχόμενο που παραβιάζει τις πολιτικές του οργανισμού. Τα μοντέλα ML μπορούν να εκπαιδευτούν ώστε να αναγνωρίζουν μοτίβα και να αναγνωρίζουν προβληματικό περιεχόμενο, όπως ρητορική μίσους, ανεπιθύμητη αλληλογραφία και ακατάλληλο υλικό. Σύμφωνα με τη μελέτη Προστατέψτε τους χρήστες, την επωνυμία και τον προϋπολογισμό σας με την εποπτεία περιεχομένου που υποστηρίζεται από AI, η εποπτεία περιεχομένου που υποστηρίζεται από ML μπορεί να βοηθήσει τους οργανισμούς να ανακτήσουν έως και το 95% του χρόνου που αφιερώνουν οι ομάδες τους για την εποπτεία περιεχομένου με μη αυτόματο τρόπο. Αυτό επιτρέπει στους οργανισμούς να εστιάζουν τους πόρους τους σε πιο στρατηγικά καθήκοντα, όπως η οικοδόμηση κοινότητας και η δημιουργία περιεχομένου. Η εποπτεία περιεχομένου που βασίζεται σε ML μπορεί επίσης να μειώσει το κόστος της εποπτείας, επειδή είναι πιο αποτελεσματική από την ανθρώπινη εποπτεία.
Παρά τα πλεονεκτήματα της εποπτείας περιεχομένου που υποστηρίζεται από ML, εξακολουθεί να έχει περαιτέρω χώρο βελτίωσης. Η αποτελεσματικότητα των αλγορίθμων ML βασίζεται σε μεγάλο βαθμό στην ποιότητα των δεδομένων στα οποία εκπαιδεύονται. Όταν τα μοντέλα εκπαιδεύονται χρησιμοποιώντας μεροληπτικά ή ελλιπή δεδομένα, μπορούν να λάβουν εσφαλμένες αποφάσεις μετριοπάθειας, εκθέτοντας τους οργανισμούς σε κινδύνους επωνυμίας και πιθανές νομικές υποχρεώσεις. Η υιοθέτηση προσεγγίσεων που βασίζονται σε ML για τον έλεγχο περιεχομένου φέρνει αρκετές προκλήσεις που απαιτούν προσεκτική εξέταση. Αυτές οι προκλήσεις περιλαμβάνουν:
- Λήψη δεδομένων με ετικέτα – Αυτή μπορεί να είναι μια δαπανηρή διαδικασία, ειδικά για πολύπλοκες εργασίες εποπτείας περιεχομένου που απαιτούν εκπαιδευτές ετικετών. Αυτό το κόστος μπορεί να κάνει δύσκολη τη συλλογή αρκετά μεγάλων συνόλων δεδομένων για την εύκολη εκπαίδευση ενός εποπτευόμενου μοντέλου ML. Επιπλέον, η ακρίβεια του μοντέλου εξαρτάται σε μεγάλο βαθμό από την ποιότητα των δεδομένων εκπαίδευσης και τα μεροληπτικά ή ελλιπή δεδομένα μπορούν να οδηγήσουν σε ανακριβείς αποφάσεις μετριοπάθειας, οδηγώντας σε κίνδυνο επωνυμίας και νομικές ευθύνες.
- Γενίκευση μοντέλου – Αυτό είναι κρίσιμο για την υιοθέτηση προσεγγίσεων που βασίζονται σε ML. Ένα μοντέλο που εκπαιδεύεται σε ένα σύνολο δεδομένων μπορεί να μην γενικεύεται καλά σε ένα άλλο σύνολο δεδομένων, ιδιαίτερα εάν τα σύνολα δεδομένων έχουν διαφορετικές κατανομές. Επομένως, είναι σημαντικό να διασφαλιστεί ότι το μοντέλο εκπαιδεύεται σε ένα ποικίλο και αντιπροσωπευτικό σύνολο δεδομένων για να διασφαλιστεί ότι γενικεύεται καλά σε νέα δεδομένα.
- Λειτουργική αποδοτικότητα – Αυτή είναι μια άλλη πρόκληση κατά τη χρήση συμβατικών προσεγγίσεων που βασίζονται σε ML για την εποπτεία περιεχομένου. Η συνεχής προσθήκη νέων ετικετών και η επανεκπαίδευση του μοντέλου όταν προστίθενται νέες κλάσεις μπορεί να είναι χρονοβόρα και δαπανηρή. Επιπλέον, είναι σημαντικό να διασφαλίζεται ότι το μοντέλο ενημερώνεται τακτικά για να συμβαδίζει με τις αλλαγές στο περιεχόμενο που εποπτεύεται.
- Επεξήγηση – Οι τελικοί χρήστες ενδέχεται να αντιληφθούν την πλατφόρμα ως μεροληπτική ή άδικη εάν το περιεχόμενο επισημανθεί ή αφαιρεθεί χωρίς αιτιολόγηση, με αποτέλεσμα κακή εμπειρία χρήστη. Ομοίως, η απουσία σαφών εξηγήσεων μπορεί να καταστήσει τη διαδικασία ελέγχου περιεχομένου αναποτελεσματική, χρονοβόρα και δαπανηρή για τους συντονιστές.
- Αντίπαλη φύση – Η ανταγωνιστική φύση της εποπτείας περιεχομένου βάσει εικόνας αποτελεί μοναδική πρόκληση για τις συμβατικές προσεγγίσεις που βασίζονται σε ML. Οι κακοί ηθοποιοί μπορούν να επιχειρήσουν να αποφύγουν τους μηχανισμούς εποπτείας περιεχομένου αλλάζοντας το περιεχόμενο με διάφορους τρόπους, όπως χρησιμοποιώντας συνώνυμα εικόνων ή ενσωματώνοντας το πραγματικό τους περιεχόμενο σε ένα μεγαλύτερο μέρος μη προσβλητικού περιεχομένου. Αυτό απαιτεί συνεχή παρακολούθηση και ενημέρωση του μοντέλου για τον εντοπισμό και την απάντηση σε τέτοιες τακτικές αντιπάλου.
Πολυτροπικός συλλογισμός με BLIP-2
Τα μοντέλα ML πολλαπλών τρόπων αναφέρονται σε μοντέλα που μπορούν να χειριστούν και να ενσωματώσουν δεδομένα από πολλαπλές πηγές ή τρόπους, όπως εικόνες, κείμενο, ήχος, βίντεο και άλλες μορφές δομημένων ή μη δομημένων δεδομένων. Ένα από τα δημοφιλή μοντέλα πολλαπλών τρόπων είναι τα μοντέλα οπτικής γλώσσας όπως το BLIP-2, το οποίο συνδυάζει την όραση υπολογιστή και την επεξεργασία φυσικής γλώσσας (NLP) για την κατανόηση και τη δημιουργία οπτικών και κειμενικών πληροφοριών. Αυτά τα μοντέλα επιτρέπουν στους υπολογιστές να ερμηνεύουν το νόημα των εικόνων και του κειμένου με τρόπο που μιμείται την ανθρώπινη κατανόηση. Τα μοντέλα γλώσσας όρασης μπορούν να αντιμετωπίσουν μια ποικιλία εργασιών, όπως τη δημιουργία λεζάντας εικόνων, την ανάκτηση κειμένου εικόνας, την οπτική απάντηση σε ερωτήσεις και πολλά άλλα. Για παράδειγμα, ένα μοντέλο υπότιτλων εικόνας μπορεί να δημιουργήσει μια περιγραφή φυσικής γλώσσας μιας εικόνας και ένα μοντέλο ανάκτησης κειμένου εικόνας μπορεί να αναζητήσει εικόνες με βάση ένα ερώτημα κειμένου. Τα μοντέλα απάντησης οπτικών ερωτήσεων μπορούν να απαντήσουν σε ερωτήσεις φυσικής γλώσσας σχετικά με εικόνες και τα πολυτροπικά chatbots μπορούν να χρησιμοποιήσουν οπτικές και κειμενικές εισόδους για να δημιουργήσουν απαντήσεις. Όσον αφορά την εποπτεία περιεχομένου, μπορείτε να χρησιμοποιήσετε αυτήν τη δυνατότητα για να κάνετε ερωτήσεις σε σχέση με μια λίστα ερωτήσεων.
Το BLIP-2 περιέχει τρία μέρη. Το πρώτο στοιχείο είναι ένας παγωμένος κωδικοποιητής εικόνας, ViT-L/14 από το CLIP, ο οποίος λαμβάνει δεδομένα εικόνας ως είσοδο. Το δεύτερο στοιχείο είναι ένα παγωμένο LLM, FlanT5, το οποίο εξάγει κείμενο. Το τρίτο εξάρτημα είναι μια εκπαιδεύσιμη μονάδα που ονομάζεται Q-Former, ένας ελαφρύς μετασχηματιστής που συνδέει τον κωδικοποιητή παγωμένης εικόνας με το παγωμένο LLM. Το Q-Former χρησιμοποιεί διανύσματα ερωτημάτων με δυνατότητα εκμάθησης για εξαγωγή οπτικών χαρακτηριστικών από τον κωδικοποιητή παγωμένης εικόνας και τροφοδοτεί το πιο χρήσιμο οπτικό χαρακτηριστικό στο LLM για την έξοδο του επιθυμητού κειμένου.
Η προεκπαιδευτική διαδικασία περιλαμβάνει δύο στάδια. Στο πρώτο στάδιο, εκτελείται εκμάθηση αναπαράστασης γλώσσας οράματος για να διδάξει τον Q-Former να μάθει την πιο σχετική οπτική αναπαράσταση για το κείμενο. Στο δεύτερο στάδιο, η παραγωγική μάθηση από όραμα σε γλώσσα εκτελείται συνδέοντας την έξοδο του Q-Former σε ένα παγωμένο LLM και εκπαιδεύοντας το Q-Former για την έξοδο οπτικών αναπαραστάσεων που μπορούν να ερμηνευτούν από το LLM.
Το BLIP-2 επιτυγχάνει επιδόσεις αιχμής σε διάφορες εργασίες γλώσσας όρασης παρά το γεγονός ότι έχει σημαντικά λιγότερες εκπαιδεύσιμες παραμέτρους από τις υπάρχουσες μεθόδους. Το μοντέλο επιδεικνύει επίσης αναδυόμενες δυνατότητες δημιουργίας εικόνας σε κείμενο μηδενικής λήψης που μπορεί να ακολουθήσει οδηγίες φυσικής γλώσσας. Η ακόλουθη εικόνα τροποποιήθηκε από το πρωτότυπη ερευνητική εργασία.
Επισκόπηση λύσεων
Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική λύσεων.
Στις επόμενες ενότητες, παρουσιάζουμε πώς να αναπτύξετε το BLIP-2 σε ένα Amazon Sage Maker τελικό σημείο και χρησιμοποιήστε το BLIP-2 και ένα LLM για την εποπτεία περιεχομένου.
Προϋποθέσεις
Χρειάζεστε έναν λογαριασμό AWS με ένα Διαχείριση ταυτότητας και πρόσβασης AWS ρόλος (IAM) με δικαιώματα διαχείρισης πόρων που δημιουργούνται ως μέρος της λύσης. Για λεπτομέρειες, ανατρέξτε στο Δημιουργήστε έναν αυτόνομο λογαριασμό AWS.
Εάν αυτή είναι η πρώτη φορά που εργάζεστε με Στούντιο Amazon SageMaker, πρέπει πρώτα να δημιουργήσετε ένα Τομέας SageMaker. Επιπλέον, μπορεί να χρειαστεί να ζητήσετε αύξηση του ορίου υπηρεσίας για τις αντίστοιχες παρουσίες φιλοξενίας SageMaker. Για το μοντέλο BLIP-2, χρησιμοποιούμε ένα ml.g5.2xlarge
Περίπτωση φιλοξενίας SageMaker. Για το μοντέλο Llama 2 13B, χρησιμοποιούμε ένα ml.g5.12xlarge
Περίπτωση φιλοξενίας SageMaker.
Αναπτύξτε το BLIP-2 σε ένα τελικό σημείο του SageMaker
Μπορείτε να φιλοξενήσετε ένα LLM στο SageMaker χρησιμοποιώντας το Συμπέρασμα μεγάλου μοντέλου κοντέινερ (LMI) που είναι βελτιστοποιημένο για τη φιλοξενία μεγάλων μοντέλων χρησιμοποιώντας DJLServing. Το DJLServing είναι μια καθολική λύση εξυπηρέτησης μοντέλων υψηλής απόδοσης που υποστηρίζεται από τη Βιβλιοθήκη Deep Java (DJL) που είναι αγνωστική στη γλώσσα προγραμματισμού. Για να μάθετε περισσότερα σχετικά με το DJL και το DJLServing, ανατρέξτε στο Αναπτύξτε μεγάλα μοντέλα στο Amazon SageMaker χρησιμοποιώντας παράλληλη εξαγωγή συμπερασμάτων μοντέλων DJLServing και DeepSpeed. Με τη βοήθεια του κοντέινερ SageMaker LMI, το μοντέλο BLIP-2 μπορεί εύκολα να εφαρμοστεί με τη βιβλιοθήκη Hugging Face και να φιλοξενηθεί στο SageMaker. Μπορείτε να τρέξετε blip2-sagemaker.ipynb
για αυτό το βήμα.
Για να προετοιμάσετε την εικόνα και το αρχείο μοντέλου Docker, πρέπει να ανακτήσετε την εικόνα Docker του DJLServing, να συσκευάσετε το σενάριο συμπερασμάτων και τα αρχεία διαμόρφωσης ως model.tar.gz
αρχείο και ανεβάστε το σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος. Μπορείτε να ανατρέξετε στο σενάριο συμπερασμάτων και αρχείο ρυθμίσεων Για περισσότερες πληροφορίες.
inference_image_uri = image_uris.retrieve( framework="djl-deepspeed", region=sess.boto_session.region_name, version="0.22.1"
)
! tar czvf model.tar.gz blip2/
s3_code_artifact = sess.upload_data("model.tar.gz", bucket, s3_code_prefix)
Όταν τα αρχεία που σχετίζονται με την εικόνα Docker και τα συμπεράσματα είναι έτοιμα, δημιουργείτε το μοντέλο, τη διαμόρφωση για το τελικό σημείο και το τελικό σημείο:
from sagemaker.utils import name_from_base
blip_model_version = "blip2-flan-t5-xl"
model_name = name_from_base(blip_model_version)
model = Model( image_uri=inference_image_uri, model_data=s3_code_artifact, role=role, name=model_name,
)
model.deploy( initial_instance_count=1, instance_type="ml.g5.2xlarge", endpoint_name=model_name
)
Όταν η κατάσταση τελικού σημείου τεθεί σε λειτουργία, μπορείτε να καλέσετε το τελικό σημείο για τη δημιουργία λεζάντας εικόνας και την εντολή δημιουργίας μηδενικής λήψης από όραση σε γλώσσα. Για την εργασία υπότιτλων εικόνων, χρειάζεται μόνο να περάσετε μια εικόνα στο τελικό σημείο:
import base64
import json
from PIL import Image smr_client = boto3.client("sagemaker-runtime") def encode_image(img_file): with open(img_file, "rb") as image_file: img_str = base64.b64encode(image_file.read()) base64_string = img_str.decode("latin1") return base64_string def run_inference(endpoint_name, inputs): response = smr_client.invoke_endpoint( EndpointName=endpoint_name, Body=json.dumps(inputs) ) print(response["Body"].read()) test_image = "carcrash-ai.jpeg"
base64_string = encode_image(test_image)
inputs = {"image": base64_string}
run_inference(endpoint_name, inputs)
Για την καθοδηγούμενη εργασία δημιουργίας οράματος σε γλώσσα μηδενικής λήψης, εκτός από την εικόνα εισόδου, πρέπει να ορίσετε την ερώτηση ως προτροπή:
base64_string = encode_image(test_image)
inputs = {"prompt": "Question: what happened in this photo? Answer:", "image": base64_string}
run_inference(endpoint_name, inputs)
Χρησιμοποιήστε τα BLIP-2 και LLM για την εποπτεία περιεχομένου
Σε αυτό το στάδιο, μπορείτε να κάνετε ερωτήματα στη δεδομένη εικόνα και να ανακτήσετε κρυφές πληροφορίες. Με το LLM, οργανώνετε τα ερωτήματα και ανακτάτε πληροφορίες για να δημιουργήσετε το αποτέλεσμα της μορφής JSON. Μπορείτε να χωρίσετε κατά προσέγγιση αυτήν την εργασία στις ακόλουθες δύο υπο-εργασίες:
- Εξαγωγή πληροφοριών από την εικόνα με το μοντέλο BLIP-2.
- Δημιουργήστε το τελικό αποτέλεσμα και την εξήγηση με το LLM.
Εξαγωγή πληροφοριών από την εικόνα με το μοντέλο BLIP-2
Για να ανακτήσετε αρκετές χρήσιμες κρυφές πληροφορίες από τη δεδομένη εικόνα, πρέπει να ορίσετε ερωτήματα. Επειδή κάθε ερώτημα θα καλεί το τελικό σημείο μία φορά, πολλά ερωτήματα θα οδηγήσουν σε μεγαλύτερο χρόνο επεξεργασίας. Επομένως, προτείνουμε να κάνετε τα ερωτήματα υψηλής ποιότητας και να καλύπτετε όλες τις πολιτικές αλλά και χωρίς διπλότυπα. Στο δείγμα κώδικα μας, ορίζουμε τα ερωτήματα ως εξής:
check_list = [ "Does this photo contain complete naked person?", "Does this photo contain topless person?", "Does this photo contain weapon?", "Does this photo contain contact information?", "Does this photo contain a smoker?", "Does this photo contain blood?", "Are there persons fighting in this photo?", "Does this photo contain harassment words?"
]
Με τα προηγούμενα ερωτήματα, καλέστε το τελικό σημείο του BLIP-2 για να ανακτήσετε τις πληροφορίες με τον ακόλουθο κώδικα:
test_image = "./surf_swimwear.png"
raw_image = Image.open(test_image).convert('RGB') base64_string = encode_image(test_image)
conversations = """"""
for question in check_list: inputs = {"prompt": f"Question: {question}? Answer:", "image": base64_string} response = run_inference(endpoint_name, inputs) conversations += f"""
Question: {question}
Answer: {response}. """
Εκτός από τις πληροφορίες που ανακτώνται από ερωτήματα, μπορείτε να λάβετε πληροφορίες με την εργασία υποτίτλων εικόνων επικαλώντας το τελικό σημείο χωρίς prompt
πεδίο στο ωφέλιμο φορτίο:
inputs = {"image": base64_string}
response = smr_client.invoke_endpoint(
EndpointName=endpoint_name, Body=json.dumps(inputs)
)
image_caption = response["Body"].read().decode('utf-8')
Μπορείτε να συνδυάσετε τα περιεχόμενα των ερωτημάτων και των απαντήσεων με τη λεζάντα της εικόνας και να χρησιμοποιήσετε αυτές τις ανακτημένες πληροφορίες για την εργασία κατάντη, που περιγράφεται στην επόμενη ενότητα παρακάτω.
Δημιουργήστε το τελικό αποτέλεσμα και την εξήγηση με το LLM
Τα μοντέλα μεγάλων γλωσσών (LLM) όπως το Llama 2 μπορούν να δημιουργήσουν αποτελέσματα υψηλής ποιότητας με το σωστό πρότυπο προτροπής. Χρησιμοποιώντας Amazon SageMaker JumpStart, οι επαγγελματίες ML μπορούν να επιλέξουν από μια ευρεία επιλογή μοντέλων θεμελίωσης που είναι διαθέσιμα στο κοινό. Με λίγα μόνο κλικ στο SageMaker Studio, μπορείτε τώρα ανακαλύψτε και αναπτύξτε το Llama 2.
Τα τελικά αποτελέσματα βασίζονται σε ένα LLM με ένα συγκεκριμένο πρότυπο προτροπής. Αυτή η προτροπή αποτελείται από: την πολιτική μετριοπάθειας που βασίζεται σε κατηγορίες ακατάλληλων ή προσβλητικών κατηγορίες μετριοπάθειας; πληροφορίες εικόνας που εξάγονται από το BLIP-2. το πρότυπο ερώτησης στο LLM που ρωτά εάν η φωτογραφία περιέχει μη ασφαλές περιεχόμενο και ζητά την κατηγορία και τον λόγο της εάν δεν είναι ασφαλής· και οδηγίες για την έξοδο των αποτελεσμάτων σε μορφή JSON. Το σχεδιασμένο πρότυπο προτροπής επιτρέπει στο LLM να προσδιορίσει εάν η εικόνα παραβαίνει την πολιτική εποπτείας, να προσδιορίσει την κατηγορία παραβίασης, να εξηγήσει γιατί και να παρέχει την έξοδο σε δομημένη μορφή JSON.
Ο βασικός πηγαίος κώδικας είναι ο εξής:
prompt_template = f"""
The following is our company's content moderation policy, based on the moderation policy, we gather image information from the user uploaded image. Please answer the question with json format. ###### moderation policy ######
{moderation_policy} ###### Image information ######
{conversations} ###### Question ######
Based on the following Moderation policy and QA, tell me if the photo containes unsafe content, also give its category and reason if it's unsafe. Please anwser the question with the following format and only put explanation into the reason field: """ prompt_template += """
{ "flag": "xxx", "category": "xxx", "reason": "the reason is ..."
} """ dialog = [ {"role": "user", "content": prompt_template}
]
Μπορείτε να προσαρμόσετε το μήνυμα με βάση τη δική σας περίπτωση χρήσης. Αναφέρομαι στο σημειωματάριο Για περισσότερες πληροφορίες. Όταν η προτροπή είναι έτοιμη, μπορείτε να καλέσετε το τελικό σημείο LLM για να δημιουργήσετε αποτελέσματα:
endpoint_name = "jumpstart-dft-meta-textgeneration-llama-2-70b-f" def query_endpoint(payload): client = boto3.client("sagemaker-runtime") response = client.invoke_endpoint( EndpointName=endpoint_name, ContentType="application/json", Body=json.dumps(payload), CustomAttributes="accept_eula=true", ) response = response["Body"].read().decode("utf8") response = json.loads(response) return response payload = { "inputs": [dialog], "parameters": {"max_new_tokens": 256, "top_p": 0.9, "temperature": 0.5}
}
result = query_endpoint(payload)[0]
Μέρος της παραγόμενης παραγωγής έχει ως εξής:
Περιστασιακά, ο Llama 2 επισυνάπτει πρόσθετη εξήγηση εκτός από την απάντηση από τον βοηθό. Θα μπορούσατε να χρησιμοποιήσετε τον κώδικα ανάλυσης για να εξαγάγετε δεδομένα JSON από τα αρχικά δημιουργημένα αποτελέσματα:
answer = result['generation']['content'].split('}')[0]+'}'
json.loads(answer)
Πλεονεκτήματα των γενετικών προσεγγίσεων
Οι προηγούμενες ενότητες έδειξαν πώς να εφαρμόσετε το βασικό μέρος της εξαγωγής του μοντέλου. Σε αυτή την ενότητα, καλύπτουμε διάφορες πτυχές των γενετικών προσεγγίσεων, συμπεριλαμβανομένων συγκρίσεων με συμβατικές προσεγγίσεις και προοπτικές.
Ο παρακάτω πίνακας συγκρίνει κάθε προσέγγιση.
. | Γενετική Προσέγγιση | Προσέγγιση Ταξινόμησης |
Λήψη δεδομένων με ετικέτα | Προεκπαιδευμένο μοντέλο σε μεγάλο αριθμό εικόνων, συμπέρασμα μηδενικής λήψης | Απαιτεί δεδομένα από όλους τους τύπους κατηγοριών |
Γενίκευση μοντέλου | Προεκπαιδευμένο μοντέλο με διάφορους τύπους εικόνων | Απαιτεί μεγάλο όγκο δεδομένων που σχετίζονται με την εποπτεία περιεχομένου για τη βελτίωση της γενίκευσης του μοντέλου |
Λειτουργική αποδοτικότητα | Δυνατότητες μηδενικής βολής | Απαιτεί εκπαίδευση του μοντέλου για την αναγνώριση διαφορετικών μοτίβων και επανεκπαίδευση όταν προστίθενται ετικέτες |
Επεξήγηση | Συλλογισμός ως έξοδο κειμένου, εξαιρετική εμπειρία χρήστη | Δύσκολο να επιτευχθεί ο συλλογισμός, δύσκολο να εξηγηθεί και να ερμηνευτεί |
Αντίπαλη φύση | Εύρωστος | Επανεκπαίδευση υψηλών συχνοτήτων |
Πιθανές περιπτώσεις χρήσης πολυτροπικού συλλογισμού πέρα από τον έλεγχο περιεχομένου
Τα μοντέλα BLIP-2 μπορούν να εφαρμοστούν για να ταιριάζουν σε πολλαπλούς σκοπούς με ή χωρίς λεπτομέρεια, η οποία περιλαμβάνει τα ακόλουθα:
- Λεζάντα εικόνας – Αυτό ζητά από το μοντέλο να δημιουργήσει μια περιγραφή κειμένου για το οπτικό περιεχόμενο της εικόνας. Όπως φαίνεται στην παρακάτω εικόνα παραδείγματος (αριστερά), μπορούμε να έχουμε «Ένας άντρας στέκεται στην παραλία με μια σανίδα του σερφ» όπως η περιγραφή της εικόνας.
- Οπτική απάντηση ερωτήσεων – Όπως δείχνει το παράδειγμα εικόνας στη μέση, μπορούμε να ρωτήσουμε "Είναι περιεχόμενο σχετικό με εμπορικούς σκοπούς" και έχουμε "Ναί" ως απάντηση. Επιπλέον, το BLIP-2 υποστηρίζει τη συνομιλία πολλαπλών γύρων και δίνει την ακόλουθη ερώτηση: "Γιατί το νομίζεις αυτό?" Με βάση την οπτική ένδειξη και τις δυνατότητες LLM, οι έξοδοι BLIP-2 «Είναι σημάδι για την Αμαζόνα».
- Ανάκτηση κειμένου εικόνας – Δεδομένης της ερώτησης ως "Κείμενο στην εικόνα", μπορούμε να εξαγάγουμε το κείμενο της εικόνας “Είναι Δευτέρα αλλά συνέχισε να χαμογελάς” όπως φαίνεται στην εικόνα στα δεξιά.
Οι παρακάτω εικόνες δείχνουν παραδείγματα για την επίδειξη της ικανότητας μηδενικής λήψης εικόνας σε κείμενο του συλλογισμού οπτικής γνώσης.
Όπως μπορούμε να δούμε από διάφορα παραδείγματα παραπάνω, τα μοντέλα πολλαπλών τρόπων ανοίγουν νέες ευκαιρίες για την επίλυση πολύπλοκων προβλημάτων που τα παραδοσιακά μοντέλα απλής τροπικότητας θα δυσκολεύονταν να αντιμετωπίσουν.
εκκαθάριση
Για να αποφύγετε μελλοντικές χρεώσεις, διαγράψτε τους πόρους που δημιουργήθηκαν ως μέρος αυτής της ανάρτησης. Μπορείτε να το κάνετε αυτό ακολουθώντας τις οδηγίες στην ενότητα καθαρισμού σημειωματάριου ή να διαγράψετε τα δημιουργημένα τελικά σημεία μέσω της κονσόλας SageMaker και των πόρων που είναι αποθηκευμένοι στον κάδο S3.
Συμπέρασμα
Σε αυτήν την ανάρτηση, συζητήσαμε τη σημασία της εποπτείας περιεχομένου στον ψηφιακό κόσμο και επισημάναμε τις προκλήσεις του. Προτείναμε μια νέα μέθοδο για τη βελτίωση της εποπτείας περιεχομένου με δεδομένα εικόνας και την εκτέλεση απαντήσεων σε ερωτήσεις σε σχέση με τις εικόνες για αυτόματη εξαγωγή χρήσιμων πληροφοριών. Παρέχαμε επίσης περαιτέρω συζήτηση σχετικά με τα πλεονεκτήματα της χρήσης μιας γενετικής προσέγγισης που βασίζεται σε AI σε σύγκριση με την παραδοσιακή προσέγγιση που βασίζεται σε ταξινόμηση. Τέλος, παρουσιάσαμε τις πιθανές περιπτώσεις χρήσης μοντέλων οπτικής γλώσσας πέρα από τον έλεγχο περιεχομένου.
Σας ενθαρρύνουμε να μάθετε περισσότερα εξερευνώντας το SageMaker και δημιουργώντας μια λύση χρησιμοποιώντας τη λύση πολλαπλών τρόπων που παρέχεται σε αυτήν την ανάρτηση και ένα σύνολο δεδομένων που σχετίζεται με την επιχείρησή σας.
Σχετικά με τους Συγγραφείς
Γκόρντον Γουάνγκ είναι Senior AI/ML Specialist TAM στο AWS. Υποστηρίζει στρατηγικούς πελάτες με βέλτιστες πρακτικές AI/ML σε πολλούς κλάδους. Είναι παθιασμένος με την όραση υπολογιστών, το NLP, τη γενετική τεχνητή νοημοσύνη και τα MLOps. Στον ελεύθερο χρόνο του λατρεύει το τρέξιμο και την πεζοπορία.
Γιανγουέι Κούι, PhD, είναι Senior Machine Learning Specialist Architect Solutions στο AWS. Ξεκίνησε την έρευνα μηχανικής μάθησης στο IRISA (Ερευνητικό Ινστιτούτο Επιστήμης Υπολογιστών και Τυχαίων Συστημάτων) και έχει αρκετά χρόνια εμπειρίας στη δημιουργία βιομηχανικών εφαρμογών με τεχνητή νοημοσύνη στην όραση υπολογιστών, την επεξεργασία φυσικής γλώσσας και την online πρόβλεψη συμπεριφοράς χρηστών. Στην AWS, μοιράζεται την τεχνογνωσία του στον τομέα και βοηθά τους πελάτες να ξεκλειδώσουν τις επιχειρηματικές δυνατότητες και να οδηγήσουν σε δραστικά αποτελέσματα με τη μηχανική μάθηση σε κλίμακα. Εκτός δουλειάς, του αρέσει να διαβάζει και να ταξιδεύει.
Μέλανι Λι, PhD, είναι Senior AI/ML Specialist TAM στο AWS με έδρα το Σίδνεϊ της Αυστραλίας. Βοηθά τους εταιρικούς πελάτες να δημιουργήσουν λύσεις χρησιμοποιώντας υπερσύγχρονα εργαλεία AI/ML στο AWS και παρέχει καθοδήγηση σχετικά με την αρχιτεκτονική και την εφαρμογή λύσεων ML με βέλτιστες πρακτικές. Στον ελεύθερο χρόνο της, της αρέσει να εξερευνά τη φύση και να περνά χρόνο με την οικογένεια και τους φίλους της.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- ChartPrime. Ανεβάστε το Trading Game σας με το ChartPrime. Πρόσβαση εδώ.
- BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/build-a-generative-ai-based-content-moderation-solution-on-amazon-sagemaker-jumpstart/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 20
- 22
- 7
- 9
- 95%
- a
- Ικανός
- Σχετικα
- πάνω από
- πρόσβαση
- Σύμφωνα με
- Λογαριασμός
- ακρίβεια
- Κατορθώνω
- Επιτυγχάνει
- φορείς
- πραγματικός
- προστιθέμενη
- προσθήκη
- Επιπλέον
- Πρόσθετος
- Επιπλέον
- διεύθυνση
- προσκολλώντας
- υιοθετώντας
- Υιοθεσία
- πλεονεκτήματα
- αντιφατική
- διαφημιστές
- Διαφήμιση
- κατά
- AI
- Τροφοδοτείται από AI
- AI / ML
- αλγόριθμοι
- ευθυγραμμία
- Όλα
- επιτρέπει
- Επίσης
- Amazon
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon υπηρεσίες Web
- an
- αναλύσει
- και
- Άλλος
- απάντηση
- απαντήσεις
- κάθε
- εφαρμογές
- εφαρμοσμένος
- πλησιάζω
- προσεγγίσεις
- κατάλληλος
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- ζητώ
- πτυχές
- Βοηθός
- ενώσεις
- υποθέτει
- At
- ήχου
- Australia
- αυτομάτως
- διαθέσιμος
- αποφύγετε
- AWS
- Κακός
- βασίζονται
- BE
- παραλία
- επειδή
- γίνονται
- γίνεται
- συμπεριφορά
- είναι
- παρακάτω
- αναφοράς
- εκτός
- ΚΑΛΎΤΕΡΟΣ
- βέλτιστες πρακτικές
- Πέρα
- μεροληπτική
- αίμα
- σώμα
- και οι δύο
- μάρκα
- μάρκες
- Φέρνει
- ευρύς
- προϋπολογισμός
- χτίζω
- Κτίριο
- επιχείρηση
- αλλά
- by
- που ονομάζεται
- CAN
- Μπορεί να πάρει
- δυνατότητες
- ικανότητα
- προσεκτικός
- περίπτωση
- περιπτώσεις
- κατηγορίες
- κατηγορία
- πρόκληση
- προκλήσεις
- πρόκληση
- Αλλαγές
- φορτία
- chatbots
- Επιλέξτε
- τάξεις
- καθαρός
- πελάτης
- ρούχα
- κωδικός
- Κωδικοποίηση
- συνδυασμός
- συνδυάζει
- εμπορικός
- κοινότητα
- οικοδόμηση κοινότητας
- εταίρα
- σύγκριση
- πλήρης
- συγκρότημα
- συστατικό
- εξαρτήματα
- υπολογιστή
- Πληροφορική
- Computer Vision
- υπολογιστές
- διαμόρφωση
- Επιβεβαιώνω
- Συνδετικός
- συνδέει
- εξέταση
- θεωρούνται
- αποτελείται
- πρόξενος
- σταθερός
- συνεχώς
- επικοινωνήστε μαζί μας
- περιέχουν
- Δοχείο
- Περιέχει
- περιεχόμενο
- δημιουργία περιεχομένου
- περιεχόμενα
- συμβάλλοντας
- συμβατικός
- Συνομιλία
- συνομιλίες
- πυρήνας
- Αντίστοιχος
- Κόστος
- δαπανηρός
- Δικαστικά έξοδα
- θα μπορούσε να
- κάλυμμα
- δημιουργία
- δημιουργήθηκε
- δημιουργία
- κρίσιμης
- Σταυρός
- Πελάτες
- προσαρμόσετε
- ημερομηνία
- την ασφάλεια των δεδομένων
- σύνολα δεδομένων
- απόφαση
- αποφάσεις
- βαθύς
- ορίζεται
- ορίζεται
- αποδεικνύουν
- κατέδειξε
- καταδεικνύει
- παρατάσσω
- περιγράφεται
- περιγραφή
- σχεδιασμένα
- σχέδιο
- επιθυμητή
- Παρά
- καθέκαστα
- ανίχνευση
- Προσδιορίστε
- διάλογος
- διαφορετικές
- ψηφιακό
- ψηφιακό κόσμο
- κατευθείαν
- συζήτηση
- συζήτηση
- Διανομές
- διάφορα
- do
- Λιμενεργάτης
- κάνει
- τομέα
- αυτοκίνητο
- κάθε
- ευκολία
- εύκολα
- αποτελεσματικά
- αποτελεσματικότητα
- αποτελεσματικός
- ενσωμάτωση
- προέκυψαν
- σμυριδόπετρα
- απασχολεί
- ενεργοποιήσετε
- δίνει τη δυνατότητα
- ενθαρρύνει
- τέλος
- Τελικό σημείο
- Ενισχύει
- αρκετά
- εξασφαλίζω
- εξασφαλίζοντας
- Εταιρεία
- λάθη
- ειδικά
- ουσιώδης
- παράδειγμα
- παραδείγματα
- υφιστάμενα
- εμπειρία
- εξειδίκευση
- Εξηγήστε
- εξήγηση
- διερευνήσει
- Εξερευνώντας
- Έκθεση
- εξωτερικός
- εκχύλισμα
- Πρόσωπο
- Falls
- οικογένεια
- Χαρακτηριστικό
- Χαρακτηριστικά
- θηλυκός
- λίγοι
- λιγότερα
- πεδίο
- μαχητικός
- Αρχεία
- Αρχεία
- τελικός
- χρηματοδότηση
- Όνομα
- πρώτη φορά
- ταιριάζουν
- σημαία
- Συγκέντρωση
- ακολουθήστε
- Εξής
- εξής
- Για
- μορφή
- μορφές
- Θεμέλιο
- Συχνότητα
- φίλους
- από
- παγωμένος
- λειτουργίες
- περαιτέρω
- μελλοντικός
- συγκεντρώνουν
- παράγουν
- παράγεται
- παραγωγής
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- παίρνω
- Δώστε
- δεδομένου
- εξαιρετική
- Μεγαλώνοντας
- Ανάπτυξη
- καθοδήγηση
- λαβή
- συνέβη
- Σκληρά
- Έχω
- που έχει
- he
- Υγεία
- πληροφορίες για την υγεία
- υγειονομική περίθαλψη
- βαριά
- βοήθεια
- βοηθά
- αυτήν
- κρυμμένο
- Ψηλά
- υψηλή απόδοση
- υψηλής ποιότητας
- Τόνισε
- του
- οικοδεσπότης
- φιλοξενείται
- φιλοξενία
- Πως
- Πώς να
- HTML
- http
- HTTPS
- ανθρώπινος
- προσδιορίσει
- προσδιορισμό
- Ταυτότητα
- if
- απεικονίζει
- εικόνα
- εικόνες
- εφαρμογή
- εφαρμοστεί
- εκτελεστικών
- εισαγωγή
- σπουδαιότητα
- σημαντικό
- βελτίωση
- βελτίωση
- in
- ανακριβής
- περιλαμβάνουν
- περιλαμβάνει
- Συμπεριλαμβανομένου
- Αυξάνουν
- Αυξήσεις
- βιομηχανικές
- βιομηχανίες
- βιομηχανία
- ανεπαρκής
- πληροφορίες
- εισαγωγή
- είσοδοι
- παράδειγμα
- Ινστιτούτο
- οδηγίες
- ενσωματώσει
- τόκος
- εσωτερικός
- σε
- εισαγάγει
- IT
- ΤΟΥ
- Java
- jpg
- json
- μόλις
- Διατήρηση
- γνώση
- Ετικέτες
- Γλώσσα
- large
- μεγαλύτερος
- οδηγήσει
- που οδηγεί
- ΜΑΘΑΊΝΩ
- μάθηση
- αριστερά
- Νομικά
- υποχρεώσεις
- Βιβλιοθήκη
- πυγμάχος ελαφρού βάρους
- Λιστα
- Είδος μικρής καμήλας
- LLM
- πλέον
- αγαπά
- μηχανή
- μάθηση μηχανής
- Η διατήρηση
- κάνω
- Κατασκευή
- άνδρας
- διαχείριση
- χειροκίνητα
- πολοί
- υλικό
- Ενδέχεται..
- me
- νόημα
- μηχανισμούς
- Εικόνες / Βίντεο
- Meta
- μέθοδος
- μέθοδοι
- Μέσο
- ML
- MLOps
- μοντέλο
- μοντέλα
- μετριοπάθεια
- τροποποιημένο
- Μονάδα μέτρησης
- Δευτέρα
- παρακολούθηση
- περισσότερο
- πιο αποτελεσματικό
- πλέον
- πολλαπλούς
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- Φύση
- Ανάγκη
- αρνητικός
- Νέα
- επόμενη
- nlp
- σημειωματάριο
- μυθιστόρημα
- τώρα
- αριθμός
- of
- προσβλητικός
- on
- μια φορά
- ONE
- διαδικτυακά (online)
- αποκλειστικά
- ανοίξτε
- ανοικτού κώδικα
- Ευκαιρίες
- βελτιστοποιημένη
- or
- οργανώσεις
- πρωτότυπο
- ΑΛΛΑ
- δικός μας
- Η Εταιρεία μας
- αποτελέσματα
- Υπερβαίνει
- παραγωγή
- εκτός
- συγκλονισμένοι
- δική
- πακέτο
- Παράλληλο
- παράμετροι
- μέρος
- ιδιαίτερα
- εξαρτήματα
- passieren
- παθιασμένος
- πρότυπα
- Εκτελέστε
- επίδοση
- εκτελούνται
- δικαιώματα
- person
- προσωπικός
- πρόσωπα
- προοπτικές
- phd
- πιλοτικές
- πλατφόρμες
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παίζει
- σας παρακαλούμε
- Πολιτικές
- πολιτική
- φτωχός
- Δημοφιλής
- Θέση
- δυναμικού
- δυνατότητες
- τροφοδοτείται
- ισχυρός
- πρακτικές
- πρόβλεψη
- Προετοιμάστε
- δώρα
- διαφύλαξη
- αποτρέπει
- Δώστε προτεραιότητα
- μυστικότητα
- προβλήματα
- διαδικασια μας
- μεταποίηση
- Προγραμματισμός
- προτείνεται
- προστασία
- παρέχουν
- παρέχεται
- παρέχει
- δημόσιο
- δημοσιότητα
- δημοσίως
- σκοποί
- βάζω
- Ερωτήσεις και απαντήσεις
- ποιότητα
- ερωτήματα
- ερώτηση
- Ερωτήσεις
- τυχαίος
- Ανάγνωση
- έτοιμος
- λόγος
- αναγνωρίζω
- αναγνωρίζοντας
- μείωση
- τακτικά
- κανονισμοί
- σχετίζεται με
- βασίζονται
- Καταργήθηκε
- αντιπροσώπευση
- εκπρόσωπος
- φήμη
- ζητήσει
- απαιτούν
- Απαιτεί
- έρευνα
- Υποστηρικτικό υλικό
- Απάντηση
- απάντησης
- απαντήσεις
- αποτέλεσμα
- με αποτέλεσμα
- Αποτελέσματα
- απόδοση
- αποκαλύπτοντας
- έσοδα
- αύξηση των εσόδων
- RGB
- δεξιά
- Κίνδυνος
- κινδύνους
- Ρόλος
- περίπου
- Άρθρο
- τρέξιμο
- τρέξιμο
- s
- διασφάλιση
- Ασφάλεια
- σοφός
- Κλίμακα
- Επιστήμη
- Αναζήτηση
- Δεύτερος
- Τμήμα
- τμήματα
- Τομείς
- ασφάλεια
- δείτε
- επιλογή
- αρχαιότερος
- ευαίσθητος
- εξυπηρετεί
- υπηρεσία
- Υπηρεσίες
- εξυπηρετούν
- σειρά
- διάφοροι
- Σεξουαλικός
- Μερίδια
- μοιράζονται
- αυτή
- Ασπίδα
- δείχνουν
- έδειξε
- Δείχνει
- υπογράψουν
- σημασία
- σημαντικά
- Ομοίως
- Απλούς
- καταστάσεων
- So
- Μ.Κ.Δ
- social media
- κοινωνικές πλατφόρμες μέσων μαζικής ενημέρωσης
- λύση
- Λύσεις
- Επίλυση
- Πηγή
- πρωτογενής κώδικας
- Πηγές
- Χώρος
- χώρων
- το spam
- ειδικός
- συγκεκριμένες
- ομιλία
- δαπανήσει
- διαίρεση
- Στάδιο
- στάδια
- αυτόνομο
- πρότυπα
- ξεκίνησε
- state-of-the-art
- Μελών
- Κατάσταση
- Βήμα
- Ακόμη
- χώρος στο δίσκο
- αποθηκεύονται
- Στρατηγική
- δομημένος
- Πάλη
- στούντιο
- Μελέτη
- τέτοιος
- προτείνω
- Υποστηρίζει
- sydney
- συστήματα
- τραπέζι
- ανυψωτήρ
- τακτική
- παίρνει
- Έργο
- εργασίες
- ομάδες
- πει
- πρότυπο
- όροι
- κείμενο
- κείμενο
- από
- ότι
- Η
- οι πληροφορίες
- τους
- Εκεί.
- εκ τούτου
- επομένως
- Αυτοί
- αυτοί
- νομίζω
- Τρίτος
- αυτό
- τρία
- ώρα
- χρονοβόρος
- προς την
- εργαλεία
- παραδοσιακός
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- μετασχηματιστής
- Ταξίδια
- δύο
- τύπος
- τύποι
- υπό
- καταλαβαίνω
- κατανόηση
- μοναδικός
- Παγκόσμιος
- ξεκλειδώσετε
- ενημερώθηκε
- ενημέρωση
- Υποστηρίζω
- Φορτώθηκε
- χρήση
- περίπτωση χρήσης
- Χρήστες
- Η εμπειρία χρήστη
- απορρήτου χρήστη
- Χρήστες
- χρησιμοποιώντας
- Αξίες
- ποικιλία
- διάφορα
- μέσω
- Βίντεο
- ΠΑΡΑΒΑΣΗ
- όραμα
- τόμος
- όγκους
- Τρόπος..
- τρόπους
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ιστοσελίδες
- ΛΟΙΠΌΝ
- Τι
- πότε
- Ποιό
- WHY
- θα
- με
- εντός
- χωρίς
- λόγια
- Εργασία
- εργαζόμενος
- κόσμος
- θα
- χρόνια
- Εσείς
- Σας
- zephyrnet