Vad är det som gör en PC till en AIPC? Utöver några vagt handviftande i närvaro av "neurala bearbetningsenheter" och andra funktioner som endast är tillgängliga på det senaste och bästa kisel, har ingen kommit på en definition utöver ett försök att marknadsföra några FOMO.
Medan Intel föreslår att applikationsutvecklare snart kommer att ingjuta all programvara med AI, och datorer måste vara redo för dem, är den arbetsbelastning som för närvarande betyder mest slutledning för att driva stora språkmodeller.
Varje AI-dator som är värd namnet måste därför utföra slutledning snabbt och bra.
Inferencing är den process som omvandlar en inlämnad prompt till dess svar. För att göra det krävs en maskin som kan mala igenom flera gigabyte data – och ännu fler matrismultiplikationer.
Även om en sådan beräkningsintensiv uppgift låter som att den mycket väl kan tänja på kapaciteten hos en stationär PC (ChatGPT och dess liknande körs i kolossala datacenter), har jag upptäckt att mycket av den hårdvara vi redan har kan göra ett adekvat jobb med att sluta . Vem som helst kan köra en "tillräckligt bra" chatbot på en PC – förutsatt att datorn har tillräckligt med RAM och en mellanklass-GPU.
Det betyder en GPU med minst 8 GB VRAM (och inte en från Intel – åtminstone för tillfället, i brist på drivrutinsstöd). Det är inte för dyrt – vilket är bra, eftersom det är bordsinsatser. För RAM-minne skulle du vara nöjdare med 32 GB än 16 GB, medan 8 GB helt enkelt inte klipper det. Och det är ungefär det. Det är allt du behöver.
Apple har finslipat detta exceptionellt bra – möjligen helt av misstag – med sina M-serie SoCs. Behandla minnet som "unifierat" – det är allt VRAM om det behövs – alla moderna Mac-datorer i M-serien med minst 16 GB RAM kan fungera som en AI PC.
Som det händer uppfyller fyra av de datorer jag har köpt under det senaste decenniet dessa specifikationer – inklusive ett åtta år gammalt toppmodernt monster köpt som en "VR PC" med en Intel 6700K CPU och sedan topp -of-the-line Nvidia GTX 980 Ti GPU. Mer eller mindre i linje med Moores lag är den något långsammare än de nyare maskinerna i min samling, men den kör en chatbot helt okej – lokalt.
Även om de inte köpts som AI-datorer, drar mina nyare förvärv var och en med en hastighet som är jämförbar med de slutföranden som genereras av OpenAI:s GPT-3.5-Turbo – praktiskt taget omöjlig att skilja från deras större kusin både i hastighet och i kvaliteten på de färdigställanden de genererar.
För att testa dessa system matar jag dem med en ganska sofistikerad uppmaning, instruerar dem att agera som en "agent" - lösa ett problem genom att generera JSON-filer som matas in i ett annat program. ("Små bitar som är löst sammanfogade" gäller fortfarande i AI:s tidsålder.) Och allt... fungerar bara.
Så det visar sig att jag redan har AI-datorer överallt. Vem visste? Dessutom finns det en katalognummer av AI-datorer där ute. Tiotals miljoner. Vilket är bra – för vi kommer att behöva dem.
Även om Microsoft vill att vi skulle klistra in alla känsliga dokument i Copilot för analys – och därigenom ge Redmonds datacenter en känsla av våra mest konfidentiella arbetsflöden – är många dokument helt enkelt för känsliga för att delas alls.
Hur är det med dokumenten så heta att de inte ens borde leva på en nätverksansluten maskin? Hur är det med medicinsk information? Eller hemligstämplade dokument? Så mycket av det vi arbetar med kommer med strängar, vilket förhindrar att det delas fritt.
Juridiska dokument faller ofta i denna kategori – den typ av uppgifter där de nyligen släpptes SaulML juridisk språkmodell kan vara oerhört hjälpsam. Om en advokat eller advokat hade den modellen körd på sin lokala dator kunde de fritt pumpa in dokument i den, be den generera en noggrann läsning, till och med nya avtalsvillkor – allt utan att behöva oroa sig för eventuella konfidentiella informationsläckor. Många advokatbyråer skulle springa mot den typen av verktyg och skrika "Håll käften och ta min klients pengar!"
Jag skapade en prototyp för det verktyget förra helgen – klippte ner SaulLM-modellen med öppen källkod med full fetthalt, så att den kunde fungera på min flotta av AI-datorer. Jag är inte advokat, så jag kan inte helt bedöma dess kvalitet. Jag klistrade dock in stora delar av ett kontrakt från en potentiell affärspartner och ställde sedan några svåra frågor – utan rädsla för läckor.
Även om advokaterna inte älskar det, så konfronteras vi andra med oändliga, absurda villkor som vi ignorera på vår risk – kommer att tycka att det är mycket användbart.
På samma sätt kommer inte hårdvaruleverantörerna – som förlitar sig på att du skräpar den PC du köpte för att arbeta hemifrån för tre år sedan för sin inkomstcykel – att erkänna det, men du har förmodligen redan en perfekt funktionsduglig AI-dator. Bara inte AI-datorn som leverantören vill att du ska rusa ut och köpa. ®
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- : har
- :är
- :inte
- :var
- $UPP
- a
- Om oss
- om det
- förvärv
- Agera
- adekvat
- erkänna
- ålder
- Recensioner
- sedan
- AI
- Alla
- redan
- an
- analys
- och
- Annan
- vilken som helst
- någon
- Ansökan
- applicerar
- ÄR
- AS
- be
- At
- försök
- tillgänglig
- BE
- därför att
- Där vi får lov att vara utan att konstant prestera,
- Bortom
- större
- båda
- köpt
- företag
- men
- Köp
- by
- KAN
- kapacitet
- Kategori
- chatbot
- ChatGPT
- klassificerad
- klient
- Stäng
- CO
- samling
- komma
- kommer
- jämförbar
- villkor
- konfidentiell
- kontrakt
- kunde
- För närvarande
- Klipp
- skärning
- cykel
- datum
- årtionde
- definition
- desktop
- utvecklare
- DID
- upptäckt
- do
- dokumentera
- dokument
- gör
- donation
- ner
- chaufför
- varje
- åtta
- Endless
- enormt
- tillräckligt
- helt
- Även
- Varje
- exceptionellt
- Höst
- oro
- Funktioner
- Fed
- Filer
- hitta
- änden
- företag
- FLOTTA
- FOMO
- För
- fyra
- fritt
- ofta
- från
- fullständigt
- generera
- genereras
- generera
- skaffa sig
- Ge
- kommer
- god
- GPU
- hade
- händer
- lyckligare
- Hård
- hårdvara
- Har
- hjälp
- Hem
- HET
- Men
- HTTPS
- i
- if
- in
- Inklusive
- informationen
- Intel
- in
- IT
- DESS
- Jobb
- fogade
- jpg
- json
- Domaren
- bara
- slag
- Brist
- språk
- Large
- Efternamn
- Lag
- advokatbyrå
- advokat
- advokater
- Läckor
- t minst
- Adress
- mindre
- tycka om
- linje
- lever
- lokal
- lokalt
- Lot
- älskar
- Maskinen
- Maskiner
- GÖR
- många
- marknad
- Matris
- Betyder Något
- betyder
- medicinsk
- Möt
- Minne
- Microsoft
- miljoner
- modell
- modeller
- Modern Konst
- ögonblick
- mer
- mest
- mycket
- multipel
- multiplikationer
- måste
- my
- namn
- Behöver
- behov
- neurala
- Nya
- nyare
- Nvidia
- of
- on
- ONE
- endast
- öppet
- öppen källkod
- OpenAI
- or
- Övriga
- vår
- ut
- över
- partnern
- PC
- PC
- perfekt
- Utföra
- bitar
- Plats
- plato
- Platon Data Intelligence
- PlatonData
- Massor
- eventuellt
- kraft
- Närvaron
- förebyggande
- förmodligen
- Problem
- process
- bearbetning
- Program
- blivande
- förutsatt
- pump
- köpt
- kvalitet
- frågor
- snabbt
- RAM
- RE
- Läsning
- redo
- senaste
- nyligen
- frigörs
- förlita
- respons
- REST
- intäkter
- Körning
- rinnande
- kör
- rusa
- s
- skrikande
- sektioner
- känslig
- tjänar
- delas
- Kisel
- helt enkelt
- Storlek
- Small
- So
- Mjukvara
- Lösa
- några
- något
- snart
- sofistikerade
- ljud
- Källa
- specifikationer
- fart
- stakes
- Fortfarande
- lämnats
- sådana
- Föreslår
- stödja
- System
- bord
- Ta
- uppgift
- uppgifter
- tiotals
- villkor
- Villkor
- testa
- än
- den där
- Smakämnen
- deras
- Dem
- sedan
- Där.
- vari
- därför
- Dessa
- de
- detta
- tre
- Genom
- till
- alltför
- verktyg
- mot
- transformer
- behandling
- vänder
- enhetlig
- enheter
- us
- användbara
- Omfattande
- Ve
- försäljare
- mycket
- praktiskt taget
- vr
- vill
- we
- helgen
- VÄL
- Vad
- som
- medan
- VEM
- kommer
- med
- utan
- Vann
- Arbete
- arbeta hemifrån
- arbetsflöden
- fungerar
- oroande
- värdiga
- skulle
- år
- Om er
- Din
- zephyrnet