Wat maakt een pc tot een AIPC? Voorbij sommigen vaag handgebaar door de aanwezigheid van ‘neurale verwerkingseenheden’ en andere functies die alleen beschikbaar zijn op het nieuwste en beste silicium, heeft niemand een definitie bedacht die verder gaat dan een poging om een of andere FOMO op de markt te brengen.
Hoewel Intel suggereert dat applicatieontwikkelaars binnenkort alle software van AI zullen voorzien en pc's er klaar voor moeten zijn, is de werklast die er momenteel het meest toe doet het aandrijven van grote taalmodellen.
Elke AI-pc die deze naam waardig is, moet daarom snel en goed gevolgtrekkingen uitvoeren.
Inferencing is het proces dat een ingediende prompt omzet in een antwoord. Hiervoor is een machine nodig die meerdere gigabytes aan gegevens kan verwerken – en nog meer matrixvermenigvuldigingen.
Hoewel een dergelijke rekenintensieve taak klinkt alsof het de capaciteiten van een desktop-pc zou kunnen vergroten (ChatGPT en dergelijke draaien in kolossale datacenters), heb ik ontdekt dat veel van de hardware die we al hebben een adequate taak kan vervullen in het afleiden van . Iedereen kan een ‘goed genoeg’-chatbot op een pc draaien, op voorwaarde dat de pc voldoende RAM en een middenklasse GPU heeft.
Dat betekent een GPU met minimaal 8 GB VRAM (en niet één van Intel – althans op dit moment, vanwege gebrek aan driverondersteuning). Dat is niet al te duur – wat goed is, want het zijn tafelinzetten. Voor RAM zou je gelukkiger zijn met 32 GB dan met 16 GB, terwijl 8 GB simpelweg niet voldoende is. En dat is het dan ook. Dat is alles wat je nodig hebt.
Apple heeft dit uitzonderlijk goed – mogelijk geheel per ongeluk – verfijnd met zijn SoC’s uit de M-serie. Door het geheugen als “verenigd” te behandelen – het is allemaal VRAM als het moet – kunnen alle moderne Macs uit de M-serie met minimaal 16 GB RAM dienen als een AI-pc.
Toevallig voldoen vier van de pc's die ik de afgelopen tien jaar heb gekocht aan deze specificaties – waaronder een acht jaar oud topmonster dat is gekocht als een "VR-pc" met een Intel 6700K CPU en vervolgens een topmodel. -van-de-lijn Nvidia GTX 980 Ti GPU. Min of meer in lijn met de wet van Moore is het iets langzamer dan de nieuwere machines in mijn verzameling, maar het bestuurt prima een chatbot – lokaal.
Hoewel ze niet als AI-pc's zijn gekocht, concluderen mijn recentere aanwinsten elk met een snelheid die vergelijkbaar is met de voltooiingen die worden gegenereerd door OpenAI's GPT-3.5-Turbo – vrijwel niet te onderscheiden van hun grotere neef, zowel qua snelheid als qua kwaliteit van de voltooiingen die ze genereren.
Om deze systemen te testen, geef ik ze een tamelijk geavanceerde prompt, waarbij ze worden geïnstrueerd om als “agent” op te treden – een probleem oplossen door JSON-bestanden te genereren die in een ander programma worden ingevoerd. (“Kleine stukjes losjes samengevoegd” is nog steeds van toepassing in het tijdperk van AI.) En het werkt allemaal … gewoon.
Het blijkt dus dat ik overal al AI-pc's heb. Wie weet? Bovendien zijn er een lot van AI-pc's die er zijn. Tientallen miljoenen. Dat is goed, want we zullen ze nodig hebben.
Terwijl Microsoft ons elk gevoelig document in Copilot laat plakken voor analyse – waardoor de datacentra van Redmond een voorproefje krijgen van onze meest vertrouwelijke workflows – zijn veel documenten eenvoudigweg te gevoelig om überhaupt te worden gedeeld.
Hoe zit het met de documenten die zo populair zijn dat ze niet eens op een netwerkmachine zouden mogen staan? Hoe zit het met medische informatie? Of geheime documenten? Aan veel van waar we mee werken zijn voorwaarden verbonden, waardoor het niet vrijelijk kan worden gedeeld.
Juridische documenten vallen vaak in deze categorie – het soort taken dat onlangs is vrijgegeven SaulML juridisch taalmodel zou enorm nuttig kunnen zijn. Als een advocaat of paralegal dat model op zijn lokale pc had draaien, konden ze er vrijelijk documenten in pompen, vragen om een close reading en zelfs nieuwe contractvoorwaarden te genereren – allemaal zonder zich zorgen te hoeven maken over het lekken van vertrouwelijke informatie. Veel advocatenkantoren zouden naar dat soort instrumenten toe rennen en schreeuwen: “Houd je mond en neem het geld van mijn cliënt!"
Afgelopen weekend heb ik een prototype van die tool gemaakt, waarbij ik het volwaardige open source SaulLM-model heb verkleind, zodat het op mijn vloot van AI-pc's kon werken. Ik ben geen jurist, dus ik kan de kwaliteit ervan niet volledig beoordelen. Ik heb er echter grote delen van een contract van een potentiële zakenpartner in geplakt en er vervolgens een paar lastige vragen aan gesteld – zonder enige angst voor lekken.
Zelfs als de advocaten er niet van houden, wordt de rest van ons – geconfronteerd met eindeloze, duistere voorwaarden die we negeren op eigen risico – zal het erg nuttig vinden.
Op dezelfde manier zullen de hardwareleveranciers – die erop vertrouwen dat je de pc die je drie jaar geleden hebt gekocht om vanuit huis te werken voor hun inkomstencyclus weggooit – het niet graag toegeven, maar je hebt waarschijnlijk al een perfect bruikbare AI-pc. Alleen niet de AI-pc waarvan het leveranciersland wil dat je er snel naartoe gaat en koopt. ®
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- : heeft
- :is
- :niet
- :waar
- $UP
- a
- Over
- over het
- overnames
- Handelen
- voldoende
- toegeven
- leeftijd
- Agent
- geleden
- AI
- Alles
- al
- an
- analyse
- en
- Nog een
- elke
- iedereen
- Aanvraag
- geldt
- ZIJN
- AS
- vragen
- At
- poging
- Beschikbaar
- BE
- omdat
- wezen
- Verder
- groter
- zowel
- gekocht
- bedrijfsdeskundigen
- maar
- kopen
- by
- CAN
- capaciteiten
- Categorie
- Chatbot
- ChatGPT
- geklasseerd
- klant
- Sluiten
- CO
- Collectie
- hoe
- komt
- vergelijkbaar
- voorwaarden
- vertrouwelijk
- contract
- kon
- Op dit moment
- Snijden
- snijdend
- cyclus
- gegevens
- decennium
- definitie
- desktop
- ontwikkelaars
- DEED
- ontdekt
- do
- document
- documenten
- doen
- don
- beneden
- bestuurder
- elk
- acht
- Eindeloos
- enorm
- genoeg
- geheel
- Zelfs
- Alle
- buitengewoon
- Vallen
- angsten
- Voordelen
- Fed
- Bestanden
- VIND DE PLEK DIE PERFECT VOOR JOU IS
- einde
- bedrijven
- VLOOT
- FOMO
- Voor
- vier
- vrij
- vaak
- oppompen van
- geheel
- voortbrengen
- gegenereerde
- het genereren van
- krijgen
- Vrijgevigheid
- gaan
- goed
- GPU
- HAD
- gebeurt
- gelukkiger
- Hard
- Hardware
- Hebben
- nuttig
- Home
- Populair
- Echter
- HTTPS
- i
- if
- in
- Inclusief
- informatie
- Intel
- in
- IT
- HAAR
- Jobomschrijving:
- toegetreden
- jpg
- json
- rechter
- voor slechts
- soorten
- Gebrek
- taal
- Groot
- Achternaam*
- Wet
- advocatenkantoren
- advocaat
- Advocaten
- Lekken
- minst
- Juridisch
- minder
- als
- Lijn
- leven
- lokaal
- plaatselijk
- lot
- liefde
- machine
- Machines
- MERKEN
- veel
- Markt
- Matrix
- Zaken
- middel
- medisch
- Maak kennis met
- Geheugen
- Microsoft
- miljoenen
- model
- modellen
- Modern
- moment
- meer
- meest
- veel
- meervoudig
- vermenigvuldigingen
- Dan moet je
- my
- naam
- Noodzaak
- behoeften
- neurale
- New
- nieuwere
- Nvidia
- of
- on
- EEN
- Slechts
- open
- open source
- OpenAI
- or
- Overige
- onze
- uit
- over
- partner
- PC
- PCs
- volmaakt
- Uitvoeren
- stukken
- plaats
- Plato
- Plato gegevensintelligentie
- PlatoData
- Overvloed
- mogelijk
- energie
- aanwezigheid
- het voorkomen van
- waarschijnlijk
- probleem
- verwerking
- Programma
- aanstaande
- mits
- pomp
- gekocht
- kwaliteit
- Contact
- snel
- RAM
- RE
- lezing
- klaar
- recent
- onlangs
- uitgebracht
- vertrouwen
- antwoord
- REST
- inkomsten
- lopen
- lopend
- loopt
- haast
- s
- schreeuwen
- secties
- gevoelig
- dienen
- gedeeld
- Silicium
- eenvoudigweg
- Maat
- Klein
- So
- Software
- Het oplossen van
- sommige
- enigszins
- binnenkort
- geraffineerd
- geluiden
- bron
- bril
- snelheid
- inzet
- Still
- ingediend
- dergelijk
- Stelt voor
- ondersteuning
- Systems
- tafel
- Nemen
- Taak
- taken
- tienen
- termen
- algemene voorwaarden
- proef
- neem contact
- dat
- De
- hun
- Ze
- harte
- Er.
- daarbij
- daarom
- Deze
- ze
- dit
- drie
- Door
- naar
- ook
- tools
- in de richting van
- transformaties
- behandelen
- wordt
- unified
- eenheden
- us
- nuttig
- groot
- Ve
- vendors
- zeer
- virtueel
- vr
- wil
- we
- weekend
- GOED
- Wat
- welke
- en
- WIE
- wil
- Met
- zonder
- Won
- Mijn werk
- van thuis uit te werken
- workflows
- Bedrijven
- zorgen te maken
- waardig
- zou
- jaar
- You
- Your
- zephyrnet