Ο Διευθύνων Σύμβουλος της Nvidia, Jensen Huang, πιστεύει ότι στο μέλλον, το εταιρικό λογισμικό θα είναι απλώς μια συλλογή ρομπότ συνομιλίας που θα συνδυάζονται μεταξύ τους για να ολοκληρώσουν την εργασία, χωρίς να χρησιμοποιεί μεγάλα μοντέλα γλώσσας (LLM) για να βοηθήσει στη σύνταξη κώδικα.
"Είναι απίθανο να το γράψετε από την αρχή ή να γράψετε ένα ολόκληρο μάτσο κώδικα Python ή κάτι παρόμοιο", είπε στη σκηνή κατά τη διάρκεια του GTC του. νότα μουσικής Δευτέρα. "Είναι πολύ πιθανό να συγκεντρώσετε μια ομάδα AI."
Αυτή η ομάδα τεχνητής νοημοσύνης, εξηγεί ο Jensen, μπορεί να περιλαμβάνει ένα μοντέλο σχεδιασμένο να αναλύει και να αναθέτει ένα αίτημα σε διάφορα άλλα μοντέλα. Ορισμένα από αυτά τα μοντέλα ενδέχεται να είναι εκπαιδευμένα στην κατανόηση επιχειρηματικών υπηρεσιών όπως το SAP ή το Service Now, ενώ άλλα μπορεί να εκτελούν αριθμητική ανάλυση σε δεδομένα που είναι αποθηκευμένα σε μια διανυσματική βάση δεδομένων. Αυτά τα δεδομένα μπορούν στη συνέχεια να συνδυαστούν και να παρουσιαστούν στον τελικό χρήστη από ένα ακόμη μοντέλο.
«Μπορούμε να λαμβάνουμε μια αναφορά κάθε μέρα ή ξέρετε, στην αρχή της ώρας που έχει να κάνει με ένα σχέδιο κατασκευής, ή κάποια πρόβλεψη, ή κάποια ειδοποίηση πελατών, ή κάποια βάση δεδομένων σφαλμάτων ή οτιδήποτε άλλο συμβαίνει», εξήγησε.
Για να συνδέσει όλα αυτά τα μοντέλα μαζί, η Nvidia βγάζει μια σελίδα από το βιβλίο του Docker και έχει δημιουργήσει έναν χρόνο εκτέλεσης κοντέινερ για AI.
Με την ονομασία Nvidia Inference Microservices, ή NIM για συντομία, αυτές είναι ουσιαστικά εικόνες κοντέινερ που περιέχουν τόσο το μοντέλο, είτε είναι ανοιχτού κώδικα είτε ιδιόκτητο, μαζί με όλες τις εξαρτήσεις που είναι απαραίτητες για την εκτέλεσή του. Αυτά τα μοντέλα με κοντέινερ μπορούν στη συνέχεια να αναπτυχθούν σε οποιονδήποτε αριθμό χρόνων εκτέλεσης, συμπεριλαμβανομένων των κόμβων Kubernetes που έχουν επιταχυνθεί από την Nvidia.
«Μπορείτε να το αναπτύξετε στην υποδομή μας που ονομάζεται DGX Cloud, ή μπορείτε να το αναπτύξετε on prem ή μπορείτε να το αναπτύξετε οπουδήποτε θέλετε. Μόλις το αναπτύξετε, είναι δικό σας να το πάτε οπουδήποτε», είπε ο Jensen.
Φυσικά, θα χρειαστείτε πρώτα μια συνδρομή στη σουίτα AI Enterprise της Nvidia, η οποία δεν είναι ακριβώς φθηνή με 4,500 $/έτος ανά GPU ή 1 $/ώρα ανά GPU στο cloud. Αυτή η στρατηγική τιμολόγησης φαίνεται να δίνει κίνητρο σε πιο πυκνά συστήματα υψηλότερης απόδοσης γενικά, καθώς κοστίζει το ίδιο ανεξάρτητα από το αν τρέχετε σε L40 ή Β100.
Αν η ιδέα της αποθήκευσης φόρτων εργασίας με επιτάχυνση GPU σας φαίνεται γνωστή, αυτή δεν είναι ακριβώς μια νέα ιδέα για τη Nvidia. Η επιτάχυνση CUDA ήταν υποστηρίζονται σε μια μεγάλη ποικιλία χρόνων εκτέλεσης κοντέινερ, συμπεριλαμβανομένων των Docker, Podman, Containerd ή CRI-O για χρόνια, και δεν φαίνεται ότι το Container Runtime της Nvidia δεν πάει πουθενά.
Η πρόταση αξίας πίσω από το NIM φαίνεται να είναι ότι η Nvidia θα χειριστεί τη συσκευασία και τη βελτιστοποίηση αυτών των μοντέλων, ώστε να έχουν τη σωστή έκδοση του CUDA, του Triton Inference Server ή του TensorRT LLM, που είναι απαραίτητη για την καλύτερη απόδοση από αυτά.
Το επιχείρημα είναι ότι εάν η Nvidia κυκλοφορεί μια ενημέρωση που ενισχύει δραματικά την απόδοση συμπερασμάτων ορισμένων τύπων μοντέλων, η αξιοποίηση αυτής της λειτουργικότητας θα απαιτούσε απλώς την αφαίρεση της πιο πρόσφατης εικόνας NIM.
Εκτός από τις βελτιστοποιήσεις μοντέλων για συγκεκριμένο υλικό, η Nvidia εργάζεται επίσης για την ενεργοποίηση συνεπών επικοινωνιών μεταξύ κοντέινερ, ώστε να μπορούν να συνομιλούν μεταξύ τους, μέσω κλήσεων API.
Όπως καταλαβαίνουμε, οι κλήσεις API που χρησιμοποιούνται από τα διάφορα μοντέλα τεχνητής νοημοσύνης στην αγορά σήμερα δεν είναι πάντα συνεπείς, με αποτέλεσμα να είναι ευκολότερο να συνδυάζονται ορισμένα μοντέλα και ενώ άλλα μπορεί να απαιτούν πρόσθετη εργασία.
Δανεισμός θεσμικής γνώσης σε μοντέλα γενικού σκοπού
Όποιος έχει χρησιμοποιήσει ένα chatbot τεχνητής νοημοσύνης θα γνωρίζει ότι ενώ είναι συνήθως αρκετά καλοί με ερωτήσεις γενικών γνώσεων, δεν είναι πάντα οι πιο αξιόπιστοι με ασαφή ή τεχνικά αιτήματα.
Ο Jensen τόνισε αυτό το γεγονός κατά τη διάρκεια της κεντρικής ομιλίας του. Ερωτηθείς σχετικά με ένα εσωτερικό πρόγραμμα που χρησιμοποιείται στη Nvidia, το μοντέλο μεγάλης γλώσσας Llama 2 70B της Meta παρείχε χωρίς έκπληξη τον ορισμό ενός άσχετου όρου.
Αντί να προσπαθεί να πείσει τις επιχειρήσεις να εκπαιδεύσουν τα δικά τους μοντέλα - κάτι που θα πουλούσε πολλές GPU αλλά θα περιόριζε σημαντικά τη διευθυνσιοδοτούμενη αγορά - η Nvidia έχει αναπτύξει εργαλεία για να συντονίζει τα NIM της με τα δεδομένα και τις διαδικασίες πελατών.
«Έχουμε μια υπηρεσία που ονομάζεται NeMo Microservices που σας βοηθά να επιμεληθείτε τα δεδομένα, να προετοιμάσετε τα δεδομένα έτσι ώστε να μπορείτε… να επιβιβαστείτε σε αυτό το AI. Το συντονίζεις και μετά το προστατεύεις. Στη συνέχεια, μπορείτε να αξιολογήσετε… την απόδοσή του σε σχέση με άλλα παραδείγματα», εξήγησε ο Huang.
Μίλησε επίσης για την υπηρεσία NeMo Retriever της Nvidia, η οποία βασίζεται στην ιδέα της χρήσης επαυξημένης γενιάς ανάκτησης (RAG) για την εμφάνιση πληροφοριών στις οποίες το μοντέλο δεν έχει εκπαιδευτεί ειδικά.
Η ιδέα εδώ είναι ότι έγγραφα, διεργασίες και άλλα δεδομένα μπορούν να φορτωθούν σε μια διανυσματική βάση δεδομένων που είναι συνδεδεμένη με το μοντέλο. Με βάση ένα ερώτημα, το μοντέλο μπορεί στη συνέχεια να αναζητήσει τη βάση δεδομένων, να ανακτήσει και να συνοψίσει τις σχετικές πληροφορίες.
Τα μοντέλα NIM και το NeMo Retriever για την ενσωμάτωση RAG είναι διαθέσιμα τώρα, ενώ το NeMo Microservices βρίσκεται σε πρώιμη πρόσβαση. ®
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://go.theregister.com/feed/www.theregister.com/2024/03/19/nvidia_why_write_code_when/
- :έχει
- :είναι
- $UP
- 7
- a
- Σχετικα
- επιτάχυνση
- επιτάχυνση
- πρόσβαση
- απέναντι
- Επιπλέον
- Πρόσθετος
- διευθυνσιοδοτούμενος
- Πλεονέκτημα
- κατά
- AI
- AI chatbot
- Μοντέλα AI
- Ειδοποίηση
- Όλα
- κατά μήκος
- Επίσης
- πάντοτε
- an
- ανάλυση
- και
- Άλλος
- κάθε
- οτιδήποτε
- οπουδήποτε
- api
- εμφανίζεται
- ΕΙΝΑΙ
- επιχείρημα
- γύρω
- AS
- At
- επαυξημένης
- διαθέσιμος
- βασίζονται
- BE
- ήταν
- πίσω
- είναι
- πιστεύει
- ΚΑΛΎΤΕΡΟΣ
- μεταξύ
- βιβλίο
- ενισχύει
- και οι δύο
- bots
- Διακοπή
- σφάλματα
- χτίζω
- τσαμπί
- επιχείρηση
- αλλά
- by
- που ονομάζεται
- κλήσεις
- CAN
- Μπορεί να πάρει
- Διευθύνων Σύμβουλος
- ορισμένες
- αλυσίδα
- chat
- chatbot
- φθηνά
- Backup
- CO
- κωδικός
- συλλογή
- σε συνδυασμό
- Διαβιβάσεις
- πλήρης
- έννοια
- συνδεδεμένος
- συνεπής
- Δοχείο
- Εμπορευματοκιβώτια
- Δικαστικά έξοδα
- Πορεία
- δημιουργήθηκε
- θεραπευτεί
- πελάτης
- στοιχεία πελάτη
- ημερομηνία
- βάση δεδομένων
- ημέρα
- ορισμός
- εξαρτήσεις
- παρατάσσω
- αναπτυχθεί
- σχεδιασμένα
- ανάπτυξη
- αναπτύχθηκε
- do
- Λιμενεργάτης
- έγγραφα
- doesn
- κάτω
- δραματικά
- κατά την διάρκεια
- κάθε
- Νωρίς
- ευκολότερη
- ενεργοποίηση
- τέλος
- Εταιρεία
- επιχειρηματικό λογισμικό
- επιχειρήσεις
- κατ 'ουσίαν,
- Κάθε
- ακριβώς
- παραδείγματα
- εξήγησε
- Εξηγεί
- γεγονός
- οικείος
- τέλος
- Όνομα
- Για
- Πρόβλεψη
- από
- λειτουργικότητα
- μελλοντικός
- General
- γενεά
- παίρνω
- μετάβαση
- καλός
- GPU
- GPU
- λαβή
- συμβαίνει
- υλικού
- Έχω
- he
- βοήθεια
- βοηθά
- εδώ
- υψηλότερο
- Τόνισε
- του
- ώρα
- HTTPS
- huang
- ιδέα
- if
- εικόνα
- εικόνες
- in
- κίνητρα
- περιλαμβάνουν
- Συμπεριλαμβανομένου
- πληροφορίες
- Υποδομή
- Θεσμική
- Ενσωμάτωση
- εσωτερικός
- σε
- isn
- IT
- ΤΟΥ
- Τζένσεν Χουάνγκ
- jpg
- μόλις
- Keynote
- Ξέρω
- γνώση
- Γλώσσα
- large
- αργότερο
- Μου αρέσει
- Πιθανός
- LIMIT
- ll
- Είδος μικρής καμήλας
- LLM
- ματιά
- μοιάζει
- Παρτίδα
- αγορά
- Ενδέχεται..
- Meta
- μικροεπιχειρήσεις
- ενδέχεται να
- μοντέλο
- μοντέλα
- Δευτέρα
- πλέον
- απαραίτητος
- Ανάγκη
- Νέα
- κόμβων
- τώρα
- αριθμός
- Nvidia
- of
- on
- Onboard
- μια φορά
- ανοίξτε
- ανοικτού κώδικα
- βελτιστοποίηση
- βελτιστοποιήσεις
- or
- ΑΛΛΑ
- Άλλα
- δικός μας
- έξω
- δική
- συσκευασία
- σελίδα
- για
- Εκτελέστε
- επίδοση
- σχέδιο
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- πρόμ
- Προετοιμάστε
- παρουσιάζονται
- αρκετά
- τιμολόγηση
- Διεργασίες
- Πρόγραμμα
- πρόταση
- ιδιόκτητο
- παρέχεται
- τραβώντας
- σκοπός
- Python
- απορία
- Ερωτήσεις
- κουρέλι
- RE
- Ανεξάρτητα
- Δελτία
- αξιόπιστος
- αναφέρουν
- ζητήσει
- αιτήματα
- απαιτούν
- με αποτέλεσμα
- ανάκτηση
- δεξιά
- τρέξιμο
- runtime
- s
- Είπε
- ίδιο
- SAP
- μηδέν
- Αναζήτηση
- φαίνομαι
- πωλούν
- διακομιστής
- υπηρεσία
- Υπηρεσίες
- Κοντά
- ενιαίας
- So
- λογισμικό
- μερικοί
- κάτι
- ήχοι
- Πηγή
- συγκεκριμένες
- ειδικά
- Στάδιο
- αποθηκεύονται
- Στρατηγική
- Σπάγγος
- συνδρομή
- σουίτα
- συνοψίζω
- Επιφάνεια
- συστήματα
- Πάρτε
- λήψη
- Έργο
- Τεχνικός
- όρος
- ότι
- Η
- Το μέλλον
- τους
- Τους
- τότε
- Αυτοί
- αυτοί
- αυτό
- προς την
- σήμερα
- μαζι
- εργαλεία
- κορυφή
- Τρένο
- εκπαιδευμένο
- Τρίτωνος
- προσπαθώντας
- αρμονία
- τύποι
- καταλαβαίνω
- απίθανος
- Ενημέρωση
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιώντας
- συνήθως
- αξία
- ποικιλία
- διάφορα
- εκδοχή
- πολύ
- μέσω
- we
- ανεξαρτήτως
- αν
- Ποιό
- ενώ
- Ο ΟΠΟΊΟΣ
- ολόκληρο
- ευρύς
- θα
- με
- εντός
- Εργασία
- εργαζόμενος
- θα
- γράφω
- γράψτε κώδικα
- χρόνια
- ακόμη
- Εσείς
- δικό σου
- YouTube
- zephyrnet