Η Opera υποστηρίζει την εκτέλεση τοπικών LLM χωρίς σύνδεση

Η Opera υποστηρίζει την εκτέλεση τοπικών LLM χωρίς σύνδεση

Χρονική σήμανση: 3 Απριλίου 2024 11:07 π.μ.
Η Opera υποστηρίζει την εκτέλεση τοπικών LLM χωρίς σύνδεση PlatoBlockchain Data Intelligence. Κάθετη αναζήτηση. Ολα συμπεριλαμβάνονται.

Η Opera έχει προσθέσει πειραματική υποστήριξη για την εκτέλεση μοντέλων μεγάλων γλωσσών (LLM) τοπικά στο πρόγραμμα περιήγησης Opera One Developer ως μέρος του προγράμματος AI Feature Drop.

Αποκλειστικά προς το παρόν στην έκδοση προγραμματιστή του Opera One, του κύριου προγράμματος περιήγησης στο Internet της Opera, η ενημέρωση προσθέτει 150 διαφορετικά LLM από 50 διαφορετικές οικογένειες LLM, συμπεριλαμβανομένων των LLaMA, Gemma και Mixtral. Προηγουμένως, η Opera προσέφερε υποστήριξη μόνο για το δικό της LLM, το Aria, προσανατολισμένο ως chatbot στο ίδιο πνεύμα με το Copilot της Microsoft και το ChatGPT του OpenAI.

Ωστόσο, η βασική διαφορά μεταξύ της Aria, Copilot (η οποία μόνο φιλοδοξεί να τρέξει τοπικά στο μέλλον), και παρόμοια chatbots AI είναι ότι εξαρτώνται από τη σύνδεση μέσω Διαδικτύου σε έναν αποκλειστικό διακομιστή. Η Opera λέει ότι με τα τοπικά εκτελούμενα LLM που προστίθενται στο Opera One Developer, τα δεδομένα παραμένουν τοπικά στους υπολογιστές των χρηστών και δεν απαιτούν σύνδεση στο διαδίκτυο εκτός από την αρχική λήψη του LLM.

Η Opera υπέθεσε επίσης μια πιθανή περίπτωση χρήσης για τη νέα τοπική της δυνατότητα LLM. «Τι θα γινόταν αν το πρόγραμμα περιήγησης του μέλλοντος μπορούσε να βασιστεί σε λύσεις τεχνητής νοημοσύνης που βασίζονται στην ιστορική σας εισαγωγή, ενώ θα περιέχει όλα τα δεδομένα στη συσκευή σας;» Ενώ στους λάτρεις της ιδιωτικής ζωής πιθανώς αρέσει η ιδέα να διατηρούνται τα δεδομένα τους μόνο στους υπολογιστές τους και πουθενά αλλού, ένα LLM που βασίζεται σε πρόγραμμα περιήγησης που θυμάται τόσα πολλά μπορεί να μην είναι τόσο ελκυστικό.

"Αυτό είναι τόσο αιμορραγικό, που μπορεί ακόμη και να σπάσει", λέει η Opera ανάρτηση. Αν και αστείο, δεν απέχει πολύ από την αλήθεια. "Ενώ προσπαθούμε να στείλουμε την πιο σταθερή έκδοση, οι εκδόσεις προγραμματιστών τείνουν να είναι πειραματικές και μπορεί στην πραγματικότητα να είναι λίγο δυσάρεστες", είπε ο αντιπρόεδρος της Opera Jan Standal. Το μητρώο.

Όσο για το πότε αυτή η τοπική λειτουργία LLM θα φτάσει στο κανονικό Opera One, ο Standal είπε: «Δεν έχουμε χρονοδιάγραμμα για το πότε ή πώς θα εισαχθεί αυτή η δυνατότητα στα κανονικά προγράμματα περιήγησης Opera. Οι χρήστες μας θα πρέπει, ωστόσο, να αναμένουν ότι οι λειτουργίες που κυκλοφόρησαν στο Πρόγραμμα Drop Feature AI θα συνεχίσουν να εξελίσσονται πριν εισαχθούν στα κύρια προγράμματα περιήγησής μας».

Δεδομένου ότι μπορεί να είναι πολύ δύσκολο να ανταγωνιστείς μεγάλους διακομιστές εξοπλισμένους με GPU υψηλής τεχνολογίας από εταιρείες όπως η Nvidia, η Opera λέει ότι η τοπική μετάβαση θα είναι πιθανότατα «σημαντικά πιο αργή» από τη χρήση ενός διαδικτυακού LLM. Δεν αστειεύομαι.

Ωστόσο, η αποθήκευση μπορεί να είναι μεγαλύτερο πρόβλημα για όσους θέλουν να δοκιμάσουν πολλά LLM. Η Opera λέει ότι κάθε LLM απαιτεί αποθηκευτικό χώρο μεταξύ δύο και δέκα gigabyte και όταν αναζητήσαμε το Opera One Developer, αυτό ίσχυε για πολλά LLM, μερικά από τα οποία είχαν μέγεθος περίπου 1.5 GB.

Ωστόσο, πολλά LLM που παρέχονται μέσω του Opera One απαιτούν πολύ περισσότερα από 10 GB. Πολλά ήταν στην περιοχή των 10-20 GB, μερικά ήταν περίπου 40 GB, και βρήκαμε ακόμη και ένα, το Megadolphin, με βαριά 67 GB. Εάν θέλατε να δοκιμάσετε και τις 150 ποικιλίες LLM που περιλαμβάνονται στο Opera One Developer, ο τυπικός SSD 1 TB πιθανότατα δεν πρόκειται να το κόψει.

Παρά αυτούς τους περιορισμούς, σημαίνει ότι το Opera One (ή τουλάχιστον ο κλάδος προγραμματιστών) είναι το πρώτο πρόγραμμα περιήγησης που προσφέρει μια λύση για την τοπική εκτέλεση LLM. Είναι επίσης μία από τις λίγες λύσεις που φέρνουν τα LLM τοπικά σε υπολογιστές, παράλληλα Το chatbot ChatWithRTX της Nvidia και σε έναν μια χούφτα άλλες εφαρμογές. Αν και είναι λίγο ειρωνικό το γεγονός ότι ένα πρόγραμμα περιήγησης στο Διαδίκτυο συνοδεύεται από μια εντυπωσιακή εξάπλωση των chatbots AI που ρητά δεν απαιτούν τη λειτουργία του Διαδικτύου. ®

Σφραγίδα ώρας:

Περισσότερα από Το μητρώο