Co sprawia, że komputer PC jest AIPC? Poza niektórymi niewyraźne machanie rękami w obecności „jednostek przetwarzania neuronowego” i innych funkcji dostępnych tylko w najnowszym i najlepszym krzemie nikt nie wymyślił definicji wykraczającej poza próbę wprowadzenia na rynek jakiegoś FOMO.
Chociaż Intel sugeruje, że twórcy aplikacji wkrótce wypełnią całe oprogramowanie sztuczną inteligencją, a komputery osobiste muszą być na to gotowe, obciążenie pracą, które obecnie liczy się najbardziej, polega na wnioskowaniu w celu obsługi dużych modeli językowych.
Dlatego każdy komputer AI godny tej nazwy musi szybko i dobrze przeprowadzać wnioskowanie.
Wnioskowanie to proces, który przekształca przesłany monit w odpowiedź. Do tego potrzebna jest maszyna, która może przetworzyć wiele gigabajtów danych i jeszcze więcej mnożeń macierzy.
Choć zadanie wymagające dużej mocy obliczeniowej wygląda na to, że mogłoby znacznie zwiększyć możliwości komputera stacjonarnego (ChatGPT i podobne narzędzia działają w kolosalnych centrach danych), odkryłem, że duża część sprzętu, który już posiadamy, może wykonać odpowiednią pracę polegającą na wnioskowaniu . Każdy może uruchomić „wystarczająco dobrego” chatbota na komputerze PC – pod warunkiem, że komputer ma wystarczającą ilość pamięci RAM i procesor graficzny średniej klasy.
Oznacza to kartę graficzną z co najmniej 8 GB pamięci VRAM (a nie procesor Intel – przynajmniej na razie, ze względu na brak obsługi sterowników). To nie jest zbyt drogie – i dobrze, bo to stawki stołowe. Jeśli chodzi o pamięć RAM, lepiej będzie mieć 32 GB niż 16 GB, a 8 GB po prostu nie wystarczy. I to wszystko. To wszystko, czego będziesz potrzebować.
Apple dopracowało to wyjątkowo dobrze – być może całkowicie przypadkowo – w swoich układach SoC z serii M. Traktując pamięć jako „ujednoliconą” – w razie potrzeby to cała pamięć VRAM – wszystkie nowoczesne komputery Mac z serii M z co najmniej 16 GB pamięci RAM mogą służyć jako komputery AI.
Tak się składa, że cztery z komputerów, które kupiłem w ciągu ostatniej dekady, spełniają te specyfikacje – w tym ośmioletni, najwyższej klasy potwór zakupiony jako „komputer VR” z procesorem Intel 6700K i ówczesnym topowym najnowocześniejszy procesor graficzny Nvidia GTX 980 Ti. Mniej więcej zgodnie z prawem Moore'a, jest nieco wolniejszy niż nowsze maszyny w mojej kolekcji, ale radzi sobie z chatbotem bez problemu – lokalnie.
Chociaż nie zostały zakupione jako komputery AI, moje nowsze nabytki wnioskują z szybkością porównywalną z zakończeniami generowanymi przez GPT-3.5-Turbo OpenAI – praktycznie nie do odróżnienia od ich większego kuzyna zarówno pod względem szybkości, jak i jakości generowanych przez nie uzupełnień.
Aby przetestować te systemy, karmię je a dość wyrafinowany monit, instruując ich, aby działali jako „agent” – rozwiązując problem poprzez generowanie plików JSON, które są wprowadzane do innego programu. („Małe kawałki luźno połączone” nadal mają zastosowanie w epoce sztucznej inteligencji.) I to wszystko… po prostu działa.
Okazuje się, że mam już wszędzie komputery wyposażone w sztuczną inteligencję. Kto wiedział? Co więcej, istnieją los dostępnych komputerów AI. Dziesiątki milionów. I dobrze – bo będziemy ich potrzebować.
Chociaż Microsoft wymagałby od nas wklejenia każdego poufnego dokumentu do oprogramowania Copilot w celu analizy – dając w ten sposób centrom danych w Redmond wgląd w nasze najbardziej poufne przepływy pracy – wiele dokumentów jest po prostu zbyt wrażliwych, aby w ogóle je udostępniać.
A co z dokumentami tak gorącymi, że nie powinny nawet znajdować się na komputerze podłączonym do sieci? A co z informacjami medycznymi? Albo tajne dokumenty? Wiele z tego, nad czym pracujemy, ma pewne ograniczenia, które uniemożliwiają swobodne udostępnianie.
Do tej kategorii często zaliczają się dokumenty prawne – rodzaje zadań, w przypadku których ostatnio zostały wydane Model języka prawnego SaulML może być niezwykle pomocne. Jeśli prawnik lub asystent prawny miałby taki model uruchomiony na swoim lokalnym komputerze, mógł swobodnie wpompowywać do niego dokumenty, poprosić o dokładne przeczytanie, a nawet nowe warunki umowy – a wszystko to bez obawy o wyciek poufnych informacji. Wiele kancelarii prawnych sięgałoby po tego rodzaju narzędzie, krzycząc: „Zamknij się i weź pieniądze mojego klienta!"
W zeszły weekend stworzyłem prototyp tego narzędzia – przyciąłem do rozmiaru pełnowymiarowy model SaulLM o otwartym kodzie źródłowym, aby mógł działać na mojej flocie komputerów AI. Nie jestem prawnikiem, więc nie mogę w pełni ocenić jego jakości. Wkleiłem jednak do niego obszerne fragmenty umowy potencjalnego partnera biznesowego, a następnie zadałem mu kilka trudnych pytań – bez obawy, że wycieknie.
Nawet jeśli prawnikom się to nie podoba, reszta z nas – w obliczu niekończących się, zawiłych warunków, które zignorować na nasze ryzyko – uzna to za bardzo przydatne.
Podobnie dostawcy sprzętu – którzy polegają na tym, że wyrzucasz komputer kupiony do pracy w domu trzy lata temu ze względu na swoje przychody – nie chcą się do tego przyznać, ale prawdopodobnie masz już doskonale sprawny komputer ze sztuczną inteligencją. Po prostu nie jest to komputer ze sztuczną inteligencją, do którego sprzedawcy chcą, żebyś się spieszył i kupił. ®
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://go.theregister.com/feed/www.theregister.com/2024/03/13/age_of_ai_pc/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- a
- O nas
- o tym
- przejęcia
- działać
- odpowiedni
- przyznać
- wiek
- Agent
- temu
- AI
- Wszystkie kategorie
- już
- an
- analiza
- i
- Inne
- każdy
- ktoś
- Zastosowanie
- dotyczy
- SĄ
- AS
- zapytać
- At
- próba
- dostępny
- BE
- bo
- jest
- Poza
- większe
- obie
- kupiony
- biznes
- ale
- kupować
- by
- CAN
- zdolności
- Kategoria
- chatbot
- ChatGPT
- sklasyfikowany
- klient
- Zamknij
- CO
- kolekcja
- jak
- byliśmy spójni, od początku
- porównywalny
- Warunki
- poufny
- umowa
- mógłby
- Obecnie
- Ciąć
- tnący
- cykl
- dane
- dekada
- definicja
- stacjonarny
- deweloperzy
- ZROBIŁ
- odkryty
- do
- dokument
- dokumenty
- robi
- darowizna
- na dół
- kierowca
- każdy
- osiem
- Nieskończony
- ogromnie
- dość
- całkowicie
- Parzyste
- Każdy
- wyjątkowo
- Spadać
- Obawy
- Korzyści
- nakarmiony
- Akta
- Znajdź
- w porządku
- firmy
- FLOTA
- FOMO
- W razie zamówieenia projektu
- cztery
- swobodnie
- często
- od
- w pełni
- Generować
- wygenerowane
- generujący
- otrzymać
- Dający
- będzie
- dobry
- GPU
- miał
- dzieje
- szczęśliwsi
- Ciężko
- sprzęt komputerowy
- Have
- pomocny
- Strona główna
- HOT
- Jednak
- HTTPS
- i
- if
- in
- Włącznie z
- Informacja
- Intel
- najnowszych
- IT
- JEGO
- Praca
- Dołączył
- jpg
- json
- sędzia
- właśnie
- rodzaje
- Brak
- język
- duży
- Nazwisko
- Prawo
- kancelarie prawne
- prawnik
- Prawnicy
- Wycieki
- najmniej
- Regulamin
- mniej
- lubić
- Linia
- relacja na żywo
- miejscowy
- lokalnie
- Partia
- miłość
- maszyna
- maszyny
- WYKONUJE
- wiele
- rynek
- Matrix
- Matters
- znaczy
- medyczny
- Poznaj nasz
- Pamięć
- Microsoft
- miliony
- model
- modele
- Nowoczesne technologie
- moment
- jeszcze
- większość
- dużo
- wielokrotność
- mnożenia
- musi
- my
- Nazwa
- Potrzebować
- wymagania
- nerwowy
- Nowości
- nowsza
- Nvidia
- of
- on
- ONE
- tylko
- koncepcja
- open source
- OpenAI
- or
- Inne
- ludzkiej,
- na zewnątrz
- koniec
- partnerem
- PC
- komputery
- doskonale
- wykonać
- sztuk
- Miejsce
- plato
- Analiza danych Platona
- PlatoDane
- Volcano Plenty Vaporizer Storz & Bickel
- możliwie
- power
- obecność
- zapobieganie
- prawdopodobnie
- Problem
- wygląda tak
- przetwarzanie
- Program
- spodziewany
- pod warunkiem,
- pompa
- zakupione
- jakość
- pytania
- szybko
- RAM
- RE
- Czytający
- gotowy
- niedawny
- niedawno
- wydany
- polegać
- odpowiedź
- REST
- dochód
- run
- bieganie
- działa
- pędzić
- s
- krzyczeć
- działy
- wrażliwy
- służyć
- shared
- Krzem
- po prostu
- Rozmiar
- mały
- So
- Tworzenie
- Rozwiązywanie
- kilka
- nieco
- wkrótce
- wyrafinowany
- Dźwięki
- Źródło
- okular
- prędkość
- pula
- Nadal
- składane
- taki
- Wskazuje
- wsparcie
- systemy
- stół
- Brać
- Zadanie
- zadania
- kilkadziesiąt
- REGULAMIN
- Regulamin
- test
- niż
- że
- Połączenia
- ich
- Im
- następnie
- Tam.
- a tym samym
- w związku z tym
- Te
- one
- to
- trzy
- Przez
- do
- także
- narzędzie
- w kierunku
- transformacje
- leczenia
- włącza
- Ujednolicony
- jednostek
- us
- użyteczny
- Naprawiono
- Ve
- sprzedawców
- początku.
- prawie
- vr
- chce
- we
- weekend
- DOBRZE
- Co
- który
- Podczas
- KIM
- będzie
- w
- bez
- Wygrał
- Praca
- Praca w domu
- przepływów pracy
- działa
- martwiąc
- godny
- by
- lat
- You
- Twój
- zefirnet