Cos'è che rende un PC un AIPC? Al di là di alcuni vago cenno della mano alla presenza di "unità di elaborazione neurale" e di altre funzionalità disponibili solo sul silicio più recente e migliore, nessuno è riuscito a trovare una definizione oltre al tentativo di commercializzare qualche FOMO.
Mentre Intel suggerisce che gli sviluppatori di applicazioni presto infonderanno l’intelligenza artificiale in tutti i software e che i PC dovranno essere pronti per questo, il carico di lavoro che attualmente conta di più è l’inferenza per alimentare modelli linguistici di grandi dimensioni.
Qualsiasi PC AI degno di questo nome deve quindi eseguire l'inferenza rapidamente e bene.
L'inferenza è il processo che trasforma un prompt inviato nella sua risposta. Per fare ciò è necessaria una macchina in grado di macinare più gigabyte di dati e anche più moltiplicazioni di matrici.
Anche se un'attività così ad alta intensità di calcolo sembra che potrebbe estendere le capacità di un PC desktop (ChatGPT e simili vengono eseguiti in data center colossali), ho scoperto che gran parte dell'hardware che già disponiamo può svolgere un lavoro adeguato di inferenza . Chiunque può eseguire un chatbot “abbastanza buono” su un PC, a condizione che il PC abbia abbastanza RAM e una GPU di fascia media.
Ciò significa una GPU con almeno 8 GB di VRAM (e non una Intel, almeno al momento, per mancanza di supporto dei driver). Non è troppo costoso, il che è positivo, perché è una posta in gioco. Per quanto riguarda la RAM, saresti più felice con 32 GB che con 16 GB, mentre 8 GB semplicemente non basteranno. E questo è tutto. Questo è tutto ciò di cui avrai bisogno.
Apple ha gestito questo aspetto eccezionalmente bene – forse in modo del tutto accidentale – con i suoi SoC della serie M. Trattando la memoria come "unificata" (è tutta VRAM se necessario), tutti i moderni Mac della serie M con almeno 16 GB di RAM possono fungere da PC AI.
Si dà il caso che quattro dei PC che ho acquistato negli ultimi dieci anni soddisfino queste specifiche, incluso un mostro top di gamma di otto anni acquistato come "PC VR" con una CPU Intel 6700K e GPU Nvidia GTX 980 Ti di alta gamma. Più o meno in linea con la Legge di Moore, è un po' più lento delle macchine più recenti della mia collezione, ma gestisce bene un chatbot, a livello locale.
Sebbene non siano stati acquistati come PC AI, i miei acquisti più recenti inferiscono ciascuno a una velocità paragonabile ai completamenti generati dal GPT-3.5-Turbo di OpenAI: praticamente indistinguibili dal cugino più grande sia in termini di velocità che di qualità dei completamenti che generano.
Per testare questi sistemi, do loro da mangiare a suggerimento abbastanza sofisticato, istruendoli ad agire come un "agente", risolvendo un problema generando file JSON che vengono inseriti in un altro programma. ("Piccoli pezzi uniti in modo lasco" si applica ancora nell'era dell'intelligenza artificiale.) E tutto... funziona e basta.
Quindi risulta che ho già PC con intelligenza artificiale ovunque. Chi lo sapeva? Inoltre, ci sono a lotto di PC IA in circolazione. Decine di milioni. Il che è positivo, perché ne avremo bisogno.
Anche se Microsoft vorrebbe che incollassimo tutti i documenti sensibili in Copilot per l'analisi, dando così ai data center di Redmond un'idea dei nostri flussi di lavoro più riservati, molti documenti sono semplicemente troppo sensibili per essere condivisi.
Che dire dei documenti così importanti che non dovrebbero nemmeno stare su una macchina collegata in rete? E le informazioni mediche? O documenti riservati? Gran parte di ciò con cui lavoriamo comporta vincoli che ne impediscono la condivisione libera.
I documenti legali rientrano spesso in questa categoria: i tipi di attività in cui sono stati rilasciati di recente Modello del linguaggio giuridico SaulML potrebbe essere enormemente utile. Se un avvocato o un assistente legale avesse quel modello in esecuzione sul proprio PC locale, potrebbe liberamente inserirvi documenti, chiedergli di generare una lettura attenta, persino nuovi termini contrattuali, il tutto senza preoccuparsi di eventuali fughe di informazioni riservate. Molti studi legali correrebbero verso questo tipo di strumento, urlando “Stai zitto e prendi i soldi del mio cliente!"
Ho prototipato quello strumento lo scorso fine settimana, riducendo le dimensioni del modello SaulLM open source completo, in modo che potesse funzionare sulla mia flotta di PC AI. Non sono un avvocato, quindi non posso giudicarne pienamente la qualità. Tuttavia, vi ho incollato ampie sezioni di un contratto di un potenziale partner commerciale, quindi ho posto alcune domande difficili, senza timore di fughe di notizie.
Anche se gli avvocati non lo adorano, il resto di noi, confrontato con termini e condizioni infiniti e astrusi che ci ignorare a nostro rischio e pericolo – lo troverà molto utile.
Allo stesso modo, i venditori di hardware – che contano sul fatto che tu distrugga il PC che hai comprato per lavorare da casa tre anni fa per il loro ciclo di entrate – non vorranno ammetterlo, ma probabilmente hai già un PC AI perfettamente funzionante. Ma non il PC AI che il venditore vuole che tu corra a comprare. ®
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- :ha
- :È
- :non
- :Dove
- $ SU
- a
- Chi siamo
- a proposito
- acquisizioni
- Legge
- adeguato
- ammettere
- Agente
- fa
- AI
- Tutti
- già
- an
- .
- ed
- Un altro
- in qualsiasi
- chiunque
- Applicazioni
- si applica
- SONO
- AS
- chiedere
- At
- tentativo
- disponibile
- BE
- perché
- essendo
- Al di là di
- maggiore
- entrambi
- comprato
- affari
- ma
- Acquistare
- by
- Materiale
- capacità
- Categoria
- chatbot
- ChatGPT
- classificato
- cliente
- Chiudi
- CO
- collezione
- Venire
- viene
- paragonabile
- condizioni
- riservato
- contratto
- potuto
- Attualmente
- taglio
- taglio
- ciclo
- dati
- decennio
- definizione
- tavolo
- sviluppatori
- DID
- scoperto
- do
- documento
- documenti
- fare
- don
- giù
- autista
- ogni
- otto
- Senza fine
- enormemente
- abbastanza
- interamente
- Anche
- Ogni
- eccezionalmente
- Autunno
- paure
- Caratteristiche
- Federale
- File
- Trovare
- sottile
- Aziende
- FLOTTA
- FOMO
- Nel
- quattro
- liberamente
- frequentemente
- da
- completamente
- generare
- generato
- la generazione di
- ottenere
- Dare
- andando
- buono
- GPU
- ha avuto
- accade
- più felice
- Hard
- Hardware
- Avere
- utile
- Casa
- HOT
- Tuttavia
- HTTPS
- i
- if
- in
- Compreso
- informazioni
- Intel
- ai miglioramenti
- IT
- SUO
- Lavoro
- congiunto
- jpg
- json
- giudice
- ad appena
- tipi
- Dipingere
- Lingua
- grandi
- Cognome
- Legge
- studi legali
- avvocato
- avvocati
- Perdite
- meno
- Legale
- meno
- piace
- linea
- vivere
- locale
- a livello locale
- lotto
- amore
- macchina
- macchine
- FA
- molti
- Rappresentanza
- Matrice
- Matters
- si intende
- medicale
- Soddisfare
- Memorie
- Microsoft
- milioni
- modello
- modelli
- moderno
- momento
- Scopri di più
- maggior parte
- molti
- multiplo
- moltiplicazioni
- devono obbligatoriamente:
- my
- Nome
- Bisogno
- esigenze
- neurale
- New
- più nuovo
- Nvidia
- of
- on
- ONE
- esclusivamente
- aprire
- open source
- OpenAI
- or
- Altro
- nostro
- su
- ancora
- partner
- PC
- PC
- perfettamente
- Eseguire
- pezzi
- posto
- Platone
- Platone Data Intelligence
- PlatoneDati
- Abbondanza
- forse
- energia
- presenza
- prevenzione
- probabilmente
- Problema
- processi
- lavorazione
- Programma
- potenziale
- purché
- pompa
- acquistati
- qualità
- Domande
- rapidamente
- RAM
- RE
- Lettura
- pronto
- recente
- recentemente
- rilasciato
- fare affidamento
- risposta
- REST
- Le vendite
- Correre
- running
- corre
- corsa
- s
- urlando
- sezioni
- delicata
- servire
- condiviso
- Silicio
- semplicemente
- Taglia
- piccole
- So
- Software
- Soluzione
- alcuni
- piuttosto
- presto
- sofisticato
- suoni
- Fonte
- occhiali
- velocità
- posta in gioco
- Ancora
- presentata
- tale
- suggerisce
- supporto
- SISTEMI DI TRATTAMENTO
- tavolo
- Fai
- Task
- task
- decine
- condizioni
- i termini e le condizioni
- test
- di
- che
- I
- loro
- Li
- poi
- Là.
- in tal modo
- perciò
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- tre
- Attraverso
- a
- pure
- verso
- trasforma
- trattare
- si
- unificato
- unità
- us
- utile
- Fisso
- Ve
- fornitori
- molto
- potenzialmente
- vr
- vuole
- we
- fine settimana
- WELL
- Che
- quale
- while
- OMS
- volere
- con
- senza
- Ha vinto
- Lavora
- lavorare da casa
- flussi di lavoro
- lavori
- preoccupante
- degno
- sarebbe
- anni
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro