Cum să rulați un LLM local pe computer în mai puțin de 10 minute

Mainile pe Cu toate discuțiile despre grupurile masive de antrenament de învățare automată și PC-urile AI, ai fi iertat să crezi că ai nevoie de un fel de hardware special pentru a te juca cu modele de limbaj mari (LLM) care generează text și coduri la domiciliu.

În realitate, există șanse mari ca sistemul desktop pe care citiți acest lucru mai mult decât capabil de a rula o gamă largă de LLM-uri, inclusiv roboți de chat precum Mistral sau generatoare de cod sursă precum Codellama.

De fapt, cu instrumente disponibile în mod deschis, cum ar fi Ollama, LM Suite și Llama.cpp, este relativ ușor să faci rularea acestor modele pe sistemul tău.

În interesul simplității și al compatibilității între platforme, vom analiza Ollama, care odată instalat funcționează mai mult sau mai puțin la fel pe Windows, Linux și Mac.

Instalarea Ollama

Instalarea Ollama este destul de simplă, indiferent de sistemul de operare de bază. Este open source, pe care îl puteți verifica aici.

Pentru cei care rulează Windows sau Mac OS, mergeți peste ollama.com și descărcați și instalați-l ca orice altă aplicație.

Pentru cei care rulează Linux, este și mai simplu: rulați doar această linie - puteți găsi instrucțiuni manuale de instalare aici, dacă le vrei — și pleci la curse.

curl -fsSL https://ollama.com/install.sh | SH

Instalarea primului model

Indiferent de sistemul dvs. de operare, lucrul cu Ollama este în mare parte același. Ollama recomandă să începeți cu Lama 2 7B, o rețea neuronală bazată pe transformatoare cu șapte miliarde de parametri, dar pentru acest ghid vom arunca o privire la Mistral 7B deoarece este destul de capabil și a fost sursa unora controversă în ultimele săptămâni.

Începeți prin a deschide PowerShell sau a unui emulator de terminal și executați următoarea comandă pentru a descărca și a porni modelul într-un mod interactiv de chat.

ollama run mistral

La descărcare, veți fi introdus într-o solicitare de chat unde puteți începe să interacționați cu modelul, la fel ca ChatGPT, Copilot sau Google Gemini.

Dacă nu obțineți nimic, poate fi necesar să lansați mai întâi Ollama din meniul de pornire de pe Windows sau din folderul de aplicații de pe Mac.

Modele, etichete și cuantizare

Mistal 7B este doar unul dintre mai multe LLM-uri, inclusiv alte versiuni ale modelului, care sunt accesibile folosind Ollama. Puteți găsi lista completă, împreună cu instrucțiuni pentru rularea fiecăruia aici, dar sintaxa generală este cam așa:

ollama rulați nume-model:etichetă-model

Etichetele-model sunt folosite pentru a specifica ce versiune a modelului doriți să descărcați. Dacă o oprești, Ollama presupune că vrei cea mai recentă versiune. Din experiența noastră, aceasta tinde să fie o versiune cuantificată pe 4 biți a modelului.

Dacă, de exemplu, doriți să rulați Llama2 7B de la Meta la FP16, ar arăta astfel:

ollama run llama2:7b-chat-fp16

Dar înainte de a încerca asta, poate doriți să verificați din nou sistemul dumneavoastră are suficientă memorie. Exemplul nostru anterior cu Mistral a folosit cuantizarea pe 4 biți, ceea ce înseamnă că modelul are nevoie de o jumătate de gigabyte de memorie pentru fiecare miliard de parametri. Și nu uitați: are șapte miliarde de parametri.

Cuantizarea este o tehnică folosită pentru a comprima modelul prin conversia greutăților și activărilor acestuia la o precizie mai mică. Acest lucru permite lui Mistral 7B să ruleze cu 4 GB de GPU sau RAM de sistem, de obicei cu un sacrificiu minim în calitatea ieșirii, deși kilometrajul dvs. poate varia.

Exemplul Llama 2 7B folosit mai sus rulează la jumătate de precizie (FP16). Ca rezultat, veți avea nevoie de 2 GB de memorie pe miliard de parametri, care în acest caz rezultă la puțin peste 14 GB. Dacă nu aveți un GPU mai nou, cu 16 GB sau mai mult de vRAM, este posibil să nu aveți suficiente resurse pentru a rula modelul cu acea precizie.

Administrarea Ollama

Gestionarea, actualizarea și eliminarea modelelor instalate folosind Ollama ar trebui să se simtă ca acasă pentru oricine a folosit înainte lucruri precum Docker CLI.

În această secțiune, vom trece peste câteva dintre sarcinile mai frecvente pe care ați dori să le executați.

Pentru a obține o listă a modelelor instalate, rulați:

lista ollama

Pentru a elimina un model, ați rula:

ollama rm nume-model:etichetă-model

Pentru a extrage sau a actualiza un model existent, rulați:

ollama pull nume-model:etichetă-model

Comenzi suplimentare Ollama pot fi găsite rulând:

ollama --ajutor

După cum am menționat mai devreme, Ollama este doar unul dintre multele cadre pentru rularea și testarea LLM-urilor locale. Dacă întâmpinați probleme cu acesta, s-ar putea să găsiți mai mult noroc la alții. Și nu, un AI nu a scris asta.

Registrul își propune să vă aducă mai multe despre utilizarea LLM-urilor în viitorul apropiat, așa că asigurați-vă că împărtășiți întrebările dvs. arzătoare despre computerul AI în secțiunea de comentarii. Și nu uita de securitatea lanțului de aprovizionare🇧🇷 🇧🇷

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_pc_local_llm/