Was macht einen PC zu einem? AIPC? Über einige hinaus vage Handbewegungen Angesichts der Tatsache, dass es „neuronale Verarbeitungseinheiten“ und andere Funktionen gibt, die nur auf dem neuesten und besten Silizium verfügbar sind, hat sich niemand eine Definition ausgedacht, die über den Versuch hinausgeht, etwas FOMO zu vermarkten.
Während Intel angibt, dass Anwendungsentwickler bald die gesamte Software mit KI ausstatten werden und PCs dafür bereit sein müssen, liegt die Arbeitsbelastung, die derzeit am wichtigsten ist, darin, große Sprachmodelle zu betreiben.
Jeder KI-PC, der diesen Namen verdient, muss daher Inferenzen schnell und gut durchführen.
Rückschluss ist der Prozess, der eine übermittelte Eingabeaufforderung in ihre Antwort umwandelt. Dazu ist eine Maschine erforderlich, die mehrere Gigabyte an Daten verarbeiten kann – und noch mehr Matrixmultiplikationen.
Auch wenn eine so rechenintensive Aufgabe so klingt, als könnte sie durchaus die Kapazitäten eines Desktop-PCs überfordern (ChatGPT und seine Art laufen in riesigen Rechenzentren), habe ich herausgefunden, dass ein Großteil der Hardware, die wir bereits haben, eine angemessene Inferenzfunktion übernehmen kann . Jeder kann einen Chatbot, der „gut genug“ ist, auf einem PC ausführen – vorausgesetzt, der PC verfügt über genügend RAM und eine GPU der Mittelklasse.
Das bedeutet eine GPU mit mindestens 8 GB VRAM (und keine von Intel – zumindest derzeit, mangels Treiberunterstützung). Das ist nicht zu teuer – was gut ist, denn es geht um den Tisch. Was den Arbeitsspeicher betrifft, wären Sie mit 32 GB zufriedener als mit 16 GB, während 8 GB einfach nicht ausreichen. Und das ist es auch schon. Das ist alles, was Sie brauchen werden.
Apple hat dies mit seinen SoCs der M-Serie – möglicherweise völlig zufällig – außergewöhnlich gut hinbekommen. Wenn man den Speicher als „einheitlich“ behandelt – es ist alles VRAM, wenn es sein muss – können alle modernen Macs der M-Serie mit mindestens 16 GB RAM als KI-PC dienen.
Zufällig erfüllen vier der PCs, die ich in den letzten zehn Jahren gekauft habe, diese Spezifikationen – darunter ein acht Jahre altes Spitzenmodell, das als „VR-PC“ mit einer Intel 6700K-CPU und einem Topmodell gekauft wurde Nvidia GTX 980 Ti GPU der neuesten Generation. Mehr oder weniger im Einklang mit Moores Gesetz ist es etwas langsamer als die neueren Maschinen in meiner Sammlung, aber es führt einen Chatbot ganz gut aus – lokal.
Obwohl ich sie nicht als KI-PCs gekauft habe, erreichen meine neueren Anschaffungen jeweils eine Geschwindigkeit, die mit den von OpenAIs GPT-3.5-Turbo generierten Vervollständigungen vergleichbar ist – praktisch nicht von ihrem größeren Cousin zu unterscheiden, sowohl in der Geschwindigkeit als auch in der Qualität der von ihnen generierten Vervollständigungen.
Um diese Systeme zu testen, füttere ich sie mit einem ziemlich anspruchsvolle Eingabeaufforderungund weist sie an, als „Agent“ zu fungieren – ein Problem zu lösen, indem sie JSON-Dateien generieren, die in ein anderes Programm eingespeist werden. („Kleine Teile lose verbunden“ gilt auch im Zeitalter der KI.) Und alles … funktioniert einfach.
Es stellt sich also heraus, dass ich bereits überall KI-PCs habe. Wer wusste? Darüber hinaus gibt es eine Menge von KI-PCs da draußen. Zehn Millionen. Was gut ist – denn wir werden sie brauchen.
Während Microsoft verlangt, dass wir jedes sensible Dokument zur Analyse in Copilot einfügen – und so den Redmond-Rechenzentren einen Einblick in unsere vertraulichsten Arbeitsabläufe geben –, sind viele Dokumente einfach zu sensibel, um überhaupt geteilt zu werden.
Was ist mit den Dokumenten, die so heiß sind, dass sie nicht einmal auf einem vernetzten Computer gespeichert werden sollten? Wie sieht es mit medizinischen Informationen aus? Oder geheime Dokumente? Vieles von dem, womit wir arbeiten, ist an Bedingungen geknüpft, sodass es nicht frei geteilt werden kann.
Juristische Dokumente fallen häufig in diese Kategorie – die Art von Aufgaben, die kürzlich veröffentlicht wurden Juristisches Sprachmodell von SaulML könnte enorm hilfreich sein. Wenn ein Anwalt oder Rechtsanwaltsfachangestellter dieses Modell auf seinem lokalen PC laufen ließe, könnte er Dokumente hineinpumpen, eine genaue Lektüre anfordern oder sogar neue Vertragsbedingungen erstellen – und das alles, ohne sich Sorgen machen zu müssen, dass vertrauliche Informationen durchsickern könnten. Viele Anwaltskanzleien würden auf ein solches Tool rennen und schreien: „Halt den Mund und nimm das Geld meines Kunden!"
Ich habe letztes Wochenende einen Prototyp dieses Tools erstellt und dabei das vollwertige Open-Source-SaulLM-Modell auf die richtige Größe reduziert, damit es auf meiner Flotte von KI-PCs funktionieren kann. Da ich kein Anwalt bin, kann ich die Qualität nicht vollständig beurteilen. Ich habe jedoch große Teile eines Vertrags eines potenziellen Geschäftspartners eingefügt und ihm dann einige schwierige Fragen gestellt – ohne Angst vor Lecks zu haben.
Auch wenn es den Anwälten nicht gefällt, sind wir alle mit endlosen, abstrusen Geschäftsbedingungen konfrontiert, die wir haben ignorieren auf unsere Gefahr – werde es sehr nützlich finden.
Auch die Hardware-Anbieter, die sich in ihrem Umsatzzyklus darauf verlassen, dass Sie den PC, den Sie vor drei Jahren für die Heimarbeit gekauft haben, wegwerfen, werden es nicht gerne zugeben, aber Sie haben wahrscheinlich bereits einen perfekt funktionsfähigen KI-PC. Nur nicht der KI-PC, den Ihnen Vendorland schnellstmöglich kaufen soll. ®
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- :hast
- :Ist
- :nicht
- :Wo
- $UP
- a
- Über uns
- darüber
- Akquisitionen
- Handlung
- ausreichend
- eingestehen
- Alter
- Makler
- vor
- AI
- Alle
- bereits
- an
- Analyse
- machen
- Ein anderer
- jedem
- jemand
- Anwendung
- gilt
- SIND
- AS
- fragen
- At
- Versuch
- verfügbar
- BE
- weil
- Sein
- Beyond
- größer
- beide
- gekauft
- Geschäft
- aber
- Kaufe
- by
- CAN
- Kapazitäten
- Kategorie
- Chatbot
- ChatGPT
- eingestuft
- Auftraggeber
- Menu
- CO
- Sammlung
- wie die
- kommt
- vergleichbar
- Bedingungen
- vertraulich
- Vertrag
- könnte
- Zur Zeit
- Schneiden
- Schneiden
- Zyklus
- technische Daten
- Jahrzehnte
- Definition
- Desktop
- Entwickler
- DID
- entdeckt
- do
- Dokument
- Unterlagen
- Dabei
- Don
- nach unten
- Fahrer
- jeder
- acht
- Endlos
- enorm
- genug
- vollständig
- Sogar
- Jedes
- außergewöhnlich
- Fallen
- Ängste
- Eigenschaften
- Fed
- Mappen
- Finden Sie
- Ende
- Firmen
- FLOTTE
- FOMO
- Aussichten für
- vier
- frei
- häufig
- für
- voll
- erzeugen
- erzeugt
- Erzeugung
- bekommen
- Unterstützung
- gehen
- gut
- GPU
- hätten
- das passiert
- glücklicher
- hart
- Hardware
- Haben
- hilfreich
- Startseite
- HEISS
- aber
- HTTPS
- i
- if
- in
- Einschließlich
- Information
- Intel
- in
- IT
- SEINE
- Job
- beigetreten
- jpg
- JSON
- Richter
- nur
- Arten
- Mangel
- Sprache
- grosse
- Nachname
- Recht
- Anwaltskanzleien
- Anwalt
- Anwälte
- Undichtigkeiten
- am wenigsten
- Rechtlich
- weniger
- Gefällt mir
- Line
- leben
- aus einer regionalen
- örtlich
- Los
- ich liebe
- Maschine
- Maschinen
- MACHT
- viele
- Markt
- Matrix
- Angelegenheiten
- Mittel
- sowie medizinische
- Triff
- Memory
- Microsoft
- Millionen
- Modell
- für
- modern
- Moment
- mehr
- vor allem warme
- viel
- mehrere
- Multiplikationen
- sollen
- my
- Name
- Need
- Bedürfnisse
- Nerven-
- Neu
- neuer
- Nvidia
- of
- on
- EINEM
- einzige
- XNUMXh geöffnet
- Open-Source-
- OpenAI
- or
- Andere
- UNSERE
- übrig
- Partner
- PC
- PCs
- perfekt
- Ausführen
- Stücke
- Ort
- Plato
- Datenintelligenz von Plato
- PlatoData
- Reichlich
- gegebenenfalls
- Werkzeuge
- Präsenz
- Verhütung
- wahrscheinlich
- Aufgabenstellung:
- Prozessdefinierung
- Verarbeitung
- Programm
- prospektiv
- vorausgesetzt
- Pumpe
- gekauft
- Qualität
- Fragen
- schnell
- RAM
- RE
- Lesebrillen
- bereit
- kürzlich
- kürzlich
- freigegeben
- verlassen
- Antwort
- REST
- Einnahmen
- Führen Sie
- Laufen
- läuft
- überstürzen
- s
- schreiend
- Abschnitte
- empfindlich
- brauchen
- von Locals geführtes
- Silizium
- einfach
- Größe
- klein
- So
- Software
- Auflösung
- einige
- etwas
- bald
- anspruchsvoll
- Geräusche
- Quelle
- Spezifikation
- Geschwindigkeit
- Einsätze
- Immer noch
- eingereicht
- so
- Schlägt vor
- Support
- Systeme und Techniken
- Tabelle
- Nehmen
- Aufgabe
- und Aufgaben
- Zehn
- AGB
- AGB
- Test
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- ihr
- Sie
- dann
- Dort.
- damit
- deswegen
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- nach drei
- Durch
- zu
- auch
- Werkzeug
- gegenüber
- Transformationen
- Bearbeitung
- Drehungen
- einheitlich
- Bereiche
- us
- nützlich
- riesig
- Ve
- Anbieter
- sehr
- praktisch
- vr
- will
- we
- Wochenende
- GUT
- Was
- welche
- während
- WHO
- werden wir
- mit
- ohne
- Gewonnen
- Arbeiten
- Von zuhause aus arbeiten
- Workflows
- Werk
- besorgniserregend
- würdig
- würde
- Jahr
- Du
- Ihr
- Zephyrnet