Ce face un PC un AIPC? Dincolo de unele flutură vagă a mâinii la prezența „unităților de procesare neuronală” și a altor caracteristici disponibile numai pe cel mai recent și mai bun siliciu, nimeni nu a venit cu o definiție dincolo de încercarea de a comercializa unele FOMO.
În timp ce Intel sugerează că dezvoltatorii de aplicații vor infuza în curând toate programele cu inteligență artificială, iar computerele trebuie să fie pregătite pentru ele, volumul de muncă care contează cel mai mult în prezent este deducerea pentru a alimenta modele de limbaj mari.
Prin urmare, orice PC AI demn de acest nume trebuie să efectueze inferențe rapid și bine.
Deducerea este procesul care transformă un prompt trimis în răspunsul său. Pentru a face acest lucru, este nevoie de o mașină care poate măcina prin mai mulți gigaocteți de date și chiar mai multe înmulțiri de matrice.
În timp ce o sarcină atât de intensivă în calcul pare că ar putea extinde capacitățile unui computer desktop (ChatGPT și asemenii lui rulează în centre de date colosale), am descoperit că o mare parte din hardware-ul pe care îl avem deja poate face o treabă adecvată de inferență. . Oricine poate rula un chatbot „destul de bun” pe un PC – cu condiția ca computerul să aibă suficientă memorie RAM și un GPU de gamă medie.
Asta înseamnă un GPU cu cel puțin 8 GB de VRAM (și nu unul de la Intel – cel puțin în acest moment, din lipsa suportului pentru driver). Nu este prea scump – ceea ce este bine, pentru că sunt mize de masă. Pentru RAM, ai fi mai fericit cu 32 GB decât 16 GB, în timp ce 8 GB pur și simplu nu o vor tăia. Și cam atât. Asta e tot ce vei avea nevoie.
Apple a îmbunătățit acest lucru excepțional de bine - posibil în întregime accidental - cu SoC-urile sale din seria M. Tratând memoria ca fiind „unificată” – este toată VRAM dacă trebuie să fie – toate Mac-urile moderne din seria M cu cel puțin 16 GB de RAM pot servi ca PC AI.
După cum se întâmplă, patru dintre PC-urile pe care le-am achiziționat în ultimul deceniu îndeplinesc aceste specificații – inclusiv un monstru de top de opt ani, achiziționat ca „PC VR” cu un procesor Intel 6700K și apoi de top. GPU Nvidia GTX 980 Ti din linie. Mai mult sau mai puțin în conformitate cu Legea lui Moore, este oarecum mai lent decât mașinile mai noi din colecția mea, dar rulează un chatbot foarte bine – la nivel local.
Deși nu sunt achiziționate ca PC-uri AI, achizițiile mele mai recente fac fiecare deducere la o viteză comparabilă cu completările generate de GPT-3.5-Turbo de la OpenAI - practic imposibil de distins de vărul lor mai mare atât în viteză, cât și în calitatea completărilor pe care le generează.
Pentru a testa aceste sisteme, le hrănesc a prompt destul de sofisticat, instruindu-le să acționeze ca „agent” – rezolvând o problemă prin generarea de fișiere JSON care sunt introduse într-un alt program. („Piesele mici imbinate lejer” se aplică încă în Epoca AI.) Și totul... pur și simplu funcționează.
Deci, se pare că am deja PC-uri AI peste tot. Cine stia? Mai mult, există o mult de PC-uri AI de acolo. Zeci de milioane. Ceea ce este bine – pentru că vom avea nevoie de ele.
În timp ce Microsoft ar vrea să lipim fiecare document sensibil în Copilot pentru analiză – oferind astfel centrelor de date Redmond o privire asupra fluxurilor noastre de lucru cele mai confidențiale – o mulțime de documente sunt pur și simplu prea sensibile pentru a fi partajate.
Dar documentele atât de fierbinți încât nici nu ar trebui să trăiască pe o mașină în rețea? Dar informațiile medicale? Sau documente clasificate? O mare parte din ceea ce lucrăm vine cu șiruri atașate, împiedicându-l să fie partajat liber.
Documentele legale se încadrează frecvent în această categorie – tipurile de sarcini în care au fost lansate recent Model de limbaj juridic SaulML ar putea fi de mare ajutor. Dacă un avocat sau un asistent juridic ar avea acel model rulând pe computerul lor local, ar putea pompa liber documente în el, să-i ceară să genereze o lectură atentă, chiar și noi termeni contractuali - totul fără a-și face griji cu privire la scurgeri de informații confidențiale. Multe firme de avocatură ar alerga spre acest tip de instrument, țipând „Taci și ia banii clientului meu!
Am prototipat acel instrument weekendul trecut – reducând modelul SaulLM cu sursă deschisă completă, astfel încât să poată funcționa pe flota mea de computere AI. Nu sunt avocat, așa că nu îi pot judeca pe deplin calitatea. Cu toate acestea, am lipit în el secțiuni vaste ale unui contract de la un potențial partener de afaceri, apoi i-am pus câteva întrebări dificile - fără teamă de scurgeri.
Chiar dacă avocaților nu le place, noi ceilalți – ne confruntăm cu termeni și condiții nesfârșite, abstruse pe care le-am ignora pe riscul nostru – îl va găsi foarte util.
De asemenea, vânzătorii de hardware – care se bazează pe tine că ți-ai cumpărat PC-ul pe care l-ai cumpărat pentru a lucra de acasă cu trei ani în urmă pentru ciclul lor de venituri – nu le va plăcea să recunoască, dar probabil că ai deja un PC AI perfect deservit. Doar nu computerul AI pe care vânzătorii vrea să te grăbești să-l cumperi. ®
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- :are
- :este
- :nu
- :Unde
- $UP
- a
- Despre Noi
- despre
- achiziții
- act
- adecvat
- admite
- vârstă
- Agent
- în urmă
- AI
- TOATE
- deja
- an
- analiză
- și
- O alta
- Orice
- oricine
- aplicație
- se aplică
- SUNT
- AS
- cere
- At
- încercare
- disponibil
- BE
- deoarece
- fiind
- Dincolo de
- mai mare
- atât
- au cumpărat
- afaceri
- dar
- cumpăra
- by
- CAN
- capacități
- Categorii
- chatbot
- Chat GPT
- clasificate
- client
- Închide
- CO
- colectare
- cum
- vine
- comparabil
- Condiții
- confidențial
- contract
- ar putea
- În prezent
- Tăiat
- tăiere
- ciclu
- de date
- deceniu
- definiție
- desktop
- Dezvoltatorii
- FĂCUT
- a descoperit
- do
- document
- documente
- face
- don
- jos
- şofer
- fiecare
- opt
- Fără sfârşit
- enorm
- suficient de
- în întregime
- Chiar
- Fiecare
- excepţional
- Cădea
- temeri
- DESCRIERE
- fed-
- Fişiere
- Găsi
- capăt
- firme
- FLOTA
- FOMO
- Pentru
- patru
- în mod liber
- frecvent
- din
- complet
- genera
- generată
- generator
- obține
- Oferirea
- merge
- bine
- GPU
- HAD
- se întâmplă
- mai fericit
- Greu
- Piese metalice
- Avea
- util
- Acasă
- FIERBINTE
- Totuși
- HTTPS
- i
- if
- in
- Inclusiv
- informații
- Intel
- în
- IT
- ESTE
- Loc de munca
- alăturat
- jpg
- JSON
- judecător
- doar
- tipurile
- lipsă
- limbă
- mare
- Nume
- Drept
- firme de avocatura
- avocat
- avocaţi
- Scurgeri
- cel mai puțin
- Legal
- mai puțin
- ca
- Linie
- trăi
- local
- la nivel local
- Lot
- dragoste
- maşină
- Masini
- FACE
- multe
- Piață
- Matrice
- materie
- mijloace
- medical
- Întâlni
- Memorie
- Microsoft
- milioane
- model
- Modele
- Modern
- moment
- mai mult
- cele mai multe
- mult
- multiplu
- înmulțiri
- trebuie sa
- my
- nume
- Nevoie
- nevoilor
- neural
- Nou
- mai nou
- Nvidia
- of
- on
- ONE
- afară
- deschide
- open-source
- OpenAI
- or
- Altele
- al nostru
- afară
- peste
- partener
- PC
- PC-uri
- perfect
- Efectua
- piese
- Loc
- Plato
- Informații despre date Platon
- PlatoData
- mulțime
- eventual
- putere
- prezenţă
- prevenirea
- probabil
- Problemă
- proces
- prelucrare
- Program
- viitor
- prevăzut
- pompa
- cumparate
- calitate
- Întrebări
- repede
- RAM
- RE
- Citind
- gata
- recent
- recent
- eliberat
- se bazează
- răspuns
- REST
- venituri
- Alerga
- funcţionare
- ruleaza
- grăbi
- s
- tipand
- secțiuni
- sensibil
- servi
- comun
- Siliciu
- pur şi simplu
- Mărimea
- mic
- So
- Software
- Rezolvarea
- unele
- oarecum
- curând
- sofisticat
- sunete
- Sursă
- Specificatii
- viteză
- pari
- Încă
- prezentat
- astfel de
- sugerează
- a sustine
- sisteme
- tabel
- Lua
- Sarcină
- sarcini
- zeci
- termeni
- termenii si condițiile
- test
- decât
- acea
- lor
- Lor
- apoi
- Acolo.
- astfel
- prin urmare
- Acestea
- ei
- acest
- trei
- Prin
- la
- de asemenea
- instrument
- spre
- transformatele
- tratare
- se transformă
- unificat
- de unităţi
- us
- util
- Fixă
- Ve
- furnizori
- foarte
- practic
- vr
- vrea
- we
- weekend
- BINE
- Ce
- care
- în timp ce
- OMS
- voi
- cu
- fără
- Castigat
- Apartamente
- lucru de acasă
- fluxuri de lucru
- fabrică
- îngrijorător
- vrednic
- ar
- ani
- Tu
- Ta
- zephyrnet