ידיים למעלה עם כל הדיבורים על אשכולות אימון מסיביים ללימוד מכונה ומחשבי בינה מלאכותית, יסלח לך על המחשבה שאתה צריך איזושהי חומרה מיוחדת כדי לשחק עם מודלים גדולים של שפות (LLM) שיוצרות טקסט וקוד בבית.
במציאות, יש סיכוי טוב שמערכת שולחן העבודה שבה אתה קורא את זה היא יותר מיכולת של הפעלת מגוון רחב של LLMs, כולל צ'אט בוטים כמו Mistral או מחוללי קוד מקור כמו Codellama.
למעשה, עם כלים זמינים בגלוי כמו Ollama, LM Suite ו-Llama.cpp, קל יחסית להפעיל את המודלים האלה במערכת שלך.
מתוך אינטרס של פשטות ותאימות בין פלטפורמות, אנחנו הולכים לבחון אולמה, שברגע שהותקן עובד פחות או יותר אותו דבר בכל Windows, Linux ו-Mac.
מילה על ביצועים, תאימות ותמיכה ב-AMD GPU:
באופן כללי, דגמי שפה גדולים כמו Mistral או Llama 2 פועלים בצורה הטובה ביותר עם מאיצים ייעודיים. יש סיבה לכך שמפעילי מרכזי נתונים קונים ופורסים מעבדי GPU באשכולות של 10,000 או יותר, אם כי תזדקק לשבריר המינימלי של משאבים כאלה.
Ollama מציעה תמיכה מקורית עבור Nvidia ו-GPUs מסדרת M של אפל. Nvidia GPUs עם לפחות 4GB של זיכרון אמורים לעבוד. בדקנו עם 12GB RTX 3060, אם כי אנו ממליצים על לפחות 16GB של זיכרון עבור מחשבי Mac מסדרת M.
משתמשי לינוקס ירצו קודם כל את הדרייבר הקנייני העדכני ביותר של Nvidia וכנראה את הקבצים הבינאריים של CUDA. יש מידע נוסף על הגדרת זה כאן.
אם אתה מטלטל GPU מסדרת Radeon 7000 או חדש יותר, ל-AMD יש מדריך מלא להפעלת LLM במערכת שלך, אותו תוכל למצוא כאן.
החדשות הטובות הן שאם אין לך כרטיס גרפי נתמך, Ollama עדיין יפעל על מעבד תואם AVX2, אם כי הרבה יותר איטי מאשר אם היה לך GPU נתמך. ולמרות ש-16GB של זיכרון מומלץ, ייתכן שתוכל להסתדר עם פחות על ידי בחירה בדגם כמותי - עוד על זה תוך דקה.
התקנת Ollama
התקנת Ollama היא די פשוטה, ללא קשר למערכת ההפעלה הבסיסית שלך. זה קוד פתוח, שאתה יכול לבדוק כאן.
עבור אלה המריצים Windows או Mac OS, עברו ollama.com ולהוריד ולהתקין אותו כמו כל יישום אחר.
עבור אלה שמפעילים לינוקס, זה אפילו יותר פשוט: פשוט הפעל את ה-One Liner הזה - אתה יכול למצוא הוראות התקנה ידניות כאן, אם אתה רוצה אותם - ואתה יוצא למרוצים.
curl -fsSL https://ollama.com/install.sh | ש
התקנת הדגם הראשון שלך
ללא קשר למערכת ההפעלה שלך, העבודה עם Ollama זהה במידה רבה. אולמה ממליץ להתחיל עם לאמה 2 7B, רשת עצבית מבוססת שנאים בת שבעה מיליארד פרמטרים, אבל עבור המדריך הזה נסתכל על מיסטרל 7B מכיוון שהוא די מסוגל והיה המקור לחלקם מחלוקת בשבועות האחרונים.
התחל בפתיחת PowerShell או אמולטור מסוף וביצוע הפקודה הבאה כדי להוריד ולהפעיל את המודל במצב צ'אט אינטראקטיבי.
ollama run mistral
לאחר ההורדה, תיכנס להנחיית צ'אט שבה תוכל להתחיל ליצור אינטראקציה עם הדגם, בדיוק כמו ChatGPT, Copilot או Google Gemini.
אם לא תקבל כלום, ייתכן שתצטרך להפעיל את Ollama מתפריט ההתחלה ב-Windows או בתיקיית היישומים ב-Mac תחילה.
מודלים, תגים וקונטיזציה
Mistal 7B הוא רק אחד ממספר LLMs, כולל גרסאות אחרות של המודל, הנגישים באמצעות Ollama. תוכל למצוא את הרשימה המלאה, יחד עם הוראות להפעלת כל אחד מהם כאן, אבל התחביר הכללי הולך בערך כך:
ollama run model-name:model-tag
תגי דגם משמשים כדי לציין איזו גרסה של הדגם תרצה להוריד. אם תעזוב את זה, אולמה מניח שאתה רוצה את הגרסה העדכנית ביותר. מניסיוננו, זו נוטה להיות גרסה קוונטית של 4 סיביות של הדגם.
אם, למשל, תרצה להריץ את Llama2 7B של Meta ב-FP16, זה היה נראה כך:
ollama run llama2:7b-chat-fp16
אבל לפני שתנסה את זה, אולי תרצה לבדוק שוב שלמערכת שלך יש מספיק זיכרון. הדוגמה הקודמת שלנו עם Mistral השתמשה בקוונטיזציה של 4 סיביות, מה שאומר שהמודל זקוק לחצי גיגה-בייט של זיכרון עבור כל מיליארד פרמטרים. ואל תשכחו: יש לו שבעה מיליארד פרמטרים.
קוונטיזציה היא טכניקה המשמשת לדחיסת המודל על ידי המרת משקלו והפעלתו לדיוק נמוך יותר. זה מאפשר למיסטרל 7B לפעול בתוך 4GB של GPU או זיכרון RAM של המערכת, בדרך כלל עם הקרבה מינימלית באיכות הפלט, אם כי הקילומטראז' שלך עשוי להשתנות.
הדוגמה של Llama 2 7B ששימשה למעלה פועלת בחצי דיוק (FP16). כתוצאה מכך, למעשה תזדקק ל-2GB זיכרון למיליארד פרמטרים, שבמקרה זה מסתכם בקצת יותר מ-14GB. אלא אם כן יש לך GPU חדש יותר עם 16GB או יותר של vRAM, ייתכן שלא יהיו לך מספיק משאבים להפעיל את הדגם בדיוק הזה.
ניהול אולמה
ניהול, עדכון והסרה של דגמים מותקנים באמצעות Ollama אמורים להרגיש כמו בבית עבור כל מי שהשתמש בעבר בדברים כמו Docker CLI.
בחלק זה נעבור על כמה מהמשימות הנפוצות יותר שאולי תרצה לבצע.
כדי לקבל רשימה של דגמים מותקנים הפעל:
רשימת אולמה
כדי להסיר דגם, תפעיל:
ollama rm model-name:model-tag
כדי למשוך או לעדכן דגם קיים, הפעל:
ollama pull model-name:model-tag
ניתן למצוא פקודות Ollama נוספות על ידי הפעלת:
אולמה --עזרה
כפי שציינו קודם לכן, Ollama היא רק מסגרות אחת מני רבות להפעלת ובדיקה של LLMs מקומיים. אם אתה נתקל בבעיות עם זה, אתה עשוי למצוא יותר מזל עם אחרים. ולא, AI לא כתב את זה.
הקופה שואפת להביא לך יותר על ניצול LLMs בעתיד הקרוב, אז הקפד לשתף את השאלות הבוערות שלך AI PC בקטע ההערות. ואל תשכח אבטחת שרשרת האספקה. ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_pc_local_llm/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 000
- 1
- 10
- a
- יכול
- אודות
- מֵעַל
- מאיצים
- נגיש
- לרוחב
- הפעלות
- למעשה
- AI
- מטרות
- תעשיות
- מאפשר
- לאורך
- למרות
- AMD
- an
- ו
- כל
- כל אחד
- דבר
- בקשה
- יישומים
- ARE
- AS
- לְהַנִיחַ
- At
- זמין
- בסיס
- BE
- היה
- לפני
- הטוב ביותר
- B
- גבול
- בוטים
- להביא
- שריפה
- אבל
- קנייה
- by
- CAN
- מסוגל
- כרטיס
- מקרה
- שרשרת
- סיכוי
- צ'אט
- ChatGPT
- לבדוק
- קלי
- קליק
- CO
- קוד
- הערות
- Common
- תאימות
- המרת
- Datacenter
- מוקדש
- פריסה
- שולחן העבודה
- DID
- סַוָר
- דון
- לא
- לְהַכפִּיל
- להורדה
- נהג
- ירד
- כל אחד
- מוקדם יותר
- קל
- מספיק
- אֲפִילוּ
- כל
- דוגמה
- לבצע
- מבצע
- קיימים
- ניסיון
- עובדה
- להרגיש
- מעטים
- ראשון
- הבא
- בעד
- קדימה
- מצא
- שבריר
- מסגרות
- החל מ-
- מלא
- עתיד
- מזל תאומים
- כללי
- גנרטורים
- לקבל
- מקבל
- gif
- Go
- Goes
- הולך
- טוב
- קבל
- GPU
- GPUs
- גרפיקה
- מדריך
- היה
- חצי
- חומרה
- יש
- ראש
- עמוד הבית
- איך
- איך
- HTTPS
- if
- in
- כולל
- מידע
- להתקין
- התקנה
- מותקן
- הוראות
- אינטראקציה
- אינטראקטיבי
- אינטרס
- IT
- שֶׁלָה
- רק
- רק אחד
- סוג
- תווית
- שפה
- גָדוֹל
- במידה רבה
- האחרון
- לשגר
- הכי פחות
- יציאה
- פחות
- כמו
- לינוקס
- רשימה
- ll
- לאמה
- LLM
- מקומי
- באופן מקומי
- נראה
- נראה כמו
- הסתכלות
- מגרש
- להוריד
- מזל
- מק
- מדריך ל
- רב
- מסיבי
- מקסימום
- מאי..
- אומר
- זכרון
- תפריט
- יכול
- מינימלי
- דקה
- דקות
- מצב
- מודל
- מודלים
- יותר
- יליד
- ליד
- צורך
- צרכי
- רשת
- עצבי
- רשת עצבית
- חדש יותר
- חדשות
- לא
- ציין
- Nvidia
- of
- כבוי
- המיוחדות שלנו
- on
- פעם
- ONE
- לפתוח
- קוד פתוח
- פתיחה
- בגלוי
- פועל
- מערכת הפעלה
- מפעילי
- or
- OS
- אחר
- אחרים
- שלנו
- הַחוּצָה
- תפוקה
- יותר
- פרמטרים
- PC
- מחשבים
- עבור
- ביצועים
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- לְשַׂחֵק
- PowerShell
- דיוק
- יפה
- קודם
- מִקצוֹעָן
- כנראה
- קניינית
- איכות
- שאלות
- גזעים
- RAM
- רכס
- קריאה
- מציאות
- טעם
- לאחרונה
- להמליץ
- מוּמלָץ
- ממליצה
- ללא קשר
- יחסית
- להסיר
- הסרת
- משאבים
- תוצאה
- תקין
- rtx
- RTX 3060
- הפעלה
- ריצה
- פועל
- s
- להקריב
- אותו
- סעיף
- הצבה
- שבע
- כמה
- שיתוף
- צריך
- פשוט יותר
- פשטות
- since
- So
- כמה
- משהו
- מָקוֹר
- קוד מקור
- מיוחד
- התחלה
- החל
- עוד
- ישר
- כזה
- מערכת
- תמיכה
- נתמך
- בטוח
- להפליא
- תחביר
- מערכת
- נטילת
- לדבר
- משימות
- טכניקה
- נוטה
- מסוף
- נבדק
- בדיקות
- מֵאֲשֶׁר
- זֶה
- השמיים
- המקור
- אותם
- שם.
- אלה
- דברים
- חושב
- זֶה
- אלה
- אם כי?
- ל
- כלים
- הדרכה
- צרה
- לנסות
- אלא אם כן
- עדכון
- עדכון
- מְשׁוּמָשׁ
- משתמשים
- באמצעות
- בְּדֶרֶך כְּלַל
- ניצול
- לְהִשְׁתַנוֹת
- גרסה
- גירסאות
- רוצה
- רציתי
- we
- שבועות
- טוֹב
- אשר
- בזמן
- כל
- רָחָב
- טווח רחב
- יצטרך
- חלונות
- עם
- בתוך
- Word
- תיק עבודות
- עובד
- עובד
- לכתוב
- אתה
- זפירנט