Qu'est-ce qui fait d'un PC un AIPC? Au-delà de certains vague signe de la main En présence d'« unités de traitement neuronal » et d'autres fonctionnalités uniquement disponibles sur le silicium le plus récent et le plus performant, personne n'a trouvé de définition au-delà d'une tentative de commercialisation d'un FOMO.
Alors qu'Intel suggère que les développeurs d'applications intégreront bientôt l'IA à tous les logiciels et que les PC doivent y être prêts, la charge de travail qui compte actuellement le plus est l'inférence pour alimenter de grands modèles de langage.
Tout PC IA digne de ce nom doit donc réaliser des inférences rapidement et correctement.
L'inférence est le processus qui transforme une invite soumise en sa réponse. Pour ce faire, il faut une machine capable de traiter plusieurs gigaoctets de données – et encore plus de multiplications matricielles.
Bien qu'une tâche aussi gourmande en calcul semble pouvoir étendre les capacités d'un ordinateur de bureau (ChatGPT et ses semblables fonctionnent dans des centres de données colossaux), j'ai découvert qu'une grande partie du matériel dont nous disposons déjà peut faire un travail d'inférence adéquat. . N’importe qui peut exécuter un chatbot « assez bon » sur un PC – à condition que le PC dispose de suffisamment de RAM et d’un GPU de milieu de gamme.
Cela signifie un GPU avec au moins 8 Go de VRAM (et pas un d'Intel – du moins pour le moment, faute de support de pilote). Ce n'est pas trop cher – ce qui est une bonne chose, car ce sont des enjeux de table. Pour la RAM, vous seriez plus satisfait de 32 Go que de 16 Go, alors que 8 Go ne suffiront tout simplement pas. Et c'est à peu près tout. C'est tout ce dont vous aurez besoin.
Apple a exceptionnellement bien réussi cela – peut-être entièrement par accident – avec ses SoC de la série M. En traitant la mémoire comme « unifiée » – c'est entièrement de la VRAM si nécessaire – tous les Mac modernes de la série M avec au moins 16 Go de RAM peuvent servir de PC IA.
Il se trouve que quatre des PC que j'ai achetés au cours de la dernière décennie répondent à ces spécifications – y compris un monstre haut de gamme de huit ans acheté comme « PC VR » avec un processeur Intel 6700K, puis un processeur haut de gamme. GPU Nvidia GTX 980 Ti haut de gamme. Plus ou moins conforme à la loi de Moore, il est un peu plus lent que les machines les plus récentes de ma collection, mais il exécute très bien un chatbot – localement.
Bien qu'elles n'aient pas été achetées en tant que PC IA, mes acquisitions les plus récentes infèrent chacune à une vitesse comparable aux complétions générées par le GPT-3.5-Turbo d'OpenAI - pratiquement impossible à distinguer de leur plus grand cousin à la fois en termes de vitesse et de qualité des complétions qu'elles génèrent.
Pour tester ces systèmes, je leur donne un invite assez sophistiquée, leur demandant d'agir en tant qu'« agent » – résolvant un problème en générant des fichiers JSON qui sont introduits dans un autre programme. (« De petits morceaux vaguement assemblés » s'applique toujours à l'ère de l'IA.) Et tout… fonctionne tout simplement.
Il s’avère donc que j’ai déjà des PC IA partout. Qui savait? De plus, il existe un lot des PC IA. Des dizaines de millions. Ce qui est bien, car nous allons en avoir besoin.
Alors que Microsoft nous demande de coller tous les documents sensibles dans Copilot pour analyse – donnant ainsi aux centres de données de Redmond un aperçu de nos flux de travail les plus confidentiels – de nombreux documents sont tout simplement trop sensibles pour être partagés.
Qu’en est-il des documents si chauds qu’ils ne devraient même pas se trouver sur une machine en réseau ? Et les informations médicales ? Ou des documents classifiés ? Une grande partie de ce avec quoi nous travaillons est assortie de conditions, ce qui empêche son partage librement.
Les documents juridiques entrent fréquemment dans cette catégorie – le type de tâches pour lesquelles les Modèle de langage juridique SaulML pourrait être extrêmement utile. Si un avocat ou un parajuriste utilisait ce modèle sur son PC local, il pourrait librement y insérer des documents, lui demander de générer une lecture approfondie, voire de nouvelles conditions contractuelles, le tout sans se soucier des fuites d'informations confidentielles. De nombreux cabinets d’avocats se tourneraient vers ce type d’outil en criant : «Tais-toi et prends l'argent de mon client !"
J'ai prototype cet outil le week-end dernier, en réduisant le modèle SaulLM open source complet afin qu'il puisse fonctionner sur ma flotte de PC IA. Je ne suis pas avocat, je ne peux donc pas pleinement juger de sa qualité. J’y ai cependant collé de vastes sections d’un contrat d’un partenaire commercial potentiel, puis je lui ai posé quelques questions difficiles – sans aucune crainte de fuite.
Même si les avocats n'aiment pas ça, le reste d'entre nous – confrontés à des termes et conditions abstrus et sans fin que nous ignorer à nos risques et périls – le trouvera très utile.
De même, les fournisseurs de matériel – qui comptent sur vous pour mettre au rebut le PC que vous avez acheté pour travailler à domicile il y a trois ans pour leur cycle de revenus – n'aimeront pas l'admettre, mais vous disposez probablement déjà d'un PC IA parfaitement utilisable. Mais pas le PC IA que Vendorland veut que vous vous précipitiez et achetiez. ®
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- :possède
- :est
- :ne pas
- :où
- $UP
- a
- Qui sommes-nous
- à propos de ça
- acquisitions
- Agis
- adéquat
- admettre
- âge
- Agent
- depuis
- AI
- Tous
- déjà
- an
- selon une analyse de l’Université de Princeton
- ainsi que le
- Une autre
- tous
- chacun.e
- Application
- s'applique
- SONT
- AS
- demander
- At
- tentative
- disponibles
- BE
- car
- va
- Au-delà
- plus gros
- tous les deux
- acheté
- la performance des entreprises
- mais
- acheter
- by
- CAN
- capacités
- Catégories
- Chatbot
- ChatGPT
- classifié
- client
- Fermer
- CO
- collection
- comment
- vient
- comparable
- conditions
- confidentielles
- contrat
- pourriez
- Lecture
- Cut/Taille
- Coupe
- cycle
- données
- décennie
- définition
- à poser
- mobiles
- DID
- découvert
- do
- document
- INSTITUTIONNELS
- faire
- Don
- down
- driver
- chacun
- huit
- Endless
- énormément
- assez
- entièrement
- Pourtant, la
- Chaque
- exceptionnellement
- Automne
- craintes
- Fonctionnalités:
- Fed
- Fichiers
- Trouvez
- fin
- entreprises
- FLOTTE
- FOMO
- Pour
- quatre
- librement
- fréquemment
- De
- d’étiquettes électroniques entièrement
- générer
- généré
- générateur
- obtenez
- Don
- aller
- Bien
- GPU
- ait eu
- arrive
- heureux
- Dur
- Matériel
- Vous avez
- utile
- Accueil
- HOT
- Cependant
- HTTPS
- i
- if
- in
- Y compris
- d'information
- Intel
- développement
- IT
- SES
- Emploi
- rejoint
- jpg
- json
- juge
- juste
- types
- Peindre
- langue
- gros
- Nom de famille
- Droit applicable et juridiction compétente
- cabinets d'avocats
- avocat
- Les avocats.
- Fuites
- au
- Légal
- moins
- comme
- Gamme
- le travail
- locales
- localement
- Lot
- love
- click
- Les machines
- FAIT DU
- de nombreuses
- Marché
- Matrice
- compte
- veux dire
- médical
- Découvrez
- Mémoire
- Microsoft
- des millions
- modèle
- numériques jumeaux (digital twin models)
- Villas Modernes
- moment
- PLUS
- (en fait, presque toutes)
- beaucoup
- plusieurs
- multiplications
- must
- my
- prénom
- Besoin
- Besoins
- neural
- Nouveauté
- Plus récent
- Nvidia
- of
- on
- ONE
- uniquement
- ouvert
- open source
- OpenAI
- or
- Autre
- nos
- ande
- plus de
- les partenaires
- PC
- PC
- à la perfection
- Effectuer
- pièces
- Place
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Beaucoup
- peut-être
- power
- présence
- prévention
- Probablement
- Problème
- processus
- traitement
- Programme
- éventuel
- à condition de
- pompe
- acheté
- qualité
- fréquemment posées
- vite.
- RAM
- RE
- en cours
- solutions
- récent
- récemment
- libéré
- compter
- réponse
- REST
- de revenus
- Courir
- pour le running
- fonctionne
- se ruer
- s
- crier
- les sections
- sensible
- besoin
- commun
- Silicium
- simplement
- Taille
- petit
- So
- Logiciels
- Résoudre
- quelques
- quelque peu
- Bientôt
- sophistiqué
- sons
- Identifier
- spécifications
- vitesse
- enjeux
- Encore
- soumis
- tel
- Suggère
- Support
- Système
- table
- Prenez
- Tâche
- tâches
- dizaines
- conditions
- conditions
- tester
- que
- qui
- Les
- leur
- Les
- puis
- Là.
- ainsi
- donc
- Ces
- l'ont
- this
- trois
- Avec
- à
- trop
- outil
- vers
- se transforme
- traitement
- se tourne
- unifiée
- unités
- us
- incontournable
- Vaste
- Ve
- fournisseurs
- très
- pratiquement
- vr
- veut
- we
- weekend
- WELL
- Quoi
- qui
- tout en
- WHO
- sera
- comprenant
- sans
- A gagné
- activités principales
- travailler à la maison
- workflows
- vos contrats
- inquiétant
- digne
- pourra
- années
- Vous n'avez
- Votre
- zéphyrnet