מדוע Copilot יפעל רק באופן מקומי על מחשבי AI לעת עתה

תגובה ההגדרה של מיקרוסופט לגבי מה עושה ומה לא מהווה מחשב AI מתגבשת. עם הגרסה העדכנית ביותר של Windows, מפתח Copilot ייעודי ו-NPU המסוגל לפחות 40 טריליון פעולות בשנייה, בקרוב תוכל להריץ את Microsoft Copilot באופן מקומי, ish, במחשב שלך.

של רדמונד דרישות עבור דגם הבינה המלאכותית שלה ב-Windows נעשו רשמיים על ידי אינטל - אחת מהמעודדות החזקות ביותר בקטגוריית מחשבי הבינה המלאכותית - במהלך הפעילות של ענקית השבבים פסגת בינה מלאכותית בטאיפיי השבוע.

להפעלת מודל שפה גדול (LLM) מקומית יש כמה יתרונות מהותיים. למשתמשי קצה צריכה להיות זמן אחזור נמוך יותר ולכן זמני תגובה משופרים, מכיוון שאין צורך לשלוח שאילתות אל וממרכז נתונים מרוחק, בנוסף לפרטיות רבה יותר, בתיאוריה. עבור מיקרוסופט, בינתיים, העברת יותר מעומס העבודה של הבינה המלאכותית למכשירי הלקוח מפנה משאבים משלה למשימות אחרות, כמו עזרה בהכשרת מודל OpenAI הבא או הצעתו כ-API בענן.

מיקרוסופט מקווה להפעיל את ה-Copilot LLM שלה לחלוטין על NPUs, או יחידות עיבוד עצביות, במחשבי Windows AI של אנשים בסופו של דבר, אם לשפוט לפי הערות כנראה שנעשו על ידי בכירי אינטל בפסגה. אנו יכולים לדמיין את הגוליית x86 דוחף את הקו הזה כדי לשכנע את כולם שהסיליקון שלו חזק מספיק כדי להפעיל את הדברים של רדמונד בבית או במשרד.

בעוד שהרעיון של ניתוק Copilot מהטבור של Azure עשוי להיות אטרקטיבי עבור חלקם, לא נראה שכולם מעריצים קליפי בהתגלמותו ולפחות כמות מסוימת של עיבוד תתבצע בענן בעתיד הנראה לעין.

בכירי אינטל אמרו זאת: חומרה מהירה יותר תאפשר ל"אלמנטים" נוספים של Copilot לפעול באופן מקומי. במילים אחרות, אתה עדיין תהיה תלוי בחיבור רשת לפחות עבור חלק מהפונקציונליות, ואת השאר מחשב הבינה המלאכותית יטפל בעצמו.

הסיבה לא צריכה להפתיע כל כך. למחשבי AI אלה יש משאבים סופיים והדגם המניע את Copilot - GPT-4 של OpenAI - הוא עצום. אנחנו לא יודעים בדיוק כמה גדולה הגרסה שבה משתמשת מיקרוסופט, אבל הערכות לשים את דגם ה-GPT-4 המלא בסביבות 1.7 טריליון פרמטרים. אפילו עם קוונטיזציה או הפעלת הדגם ב-INT4, תזדקק לכ-900GB של זיכרון.

איך אנחנו חושבים שזה יעבוד

GPT-4 הוא מה שנקרא דגם תערובת של מומחים. בקיצור, פירוש הדבר שהוא למעשה מורכב ממספר דגמים קטנים יותר, מיוחדים שהוכשרו מראש אליהם מנותבים שאילתות. על ידי ביצוע אופטימיזציה של מודלים מרובים להפקת טקסט, סיכום, יצירת קוד וכן הלאה, ניתן לשפר את ביצועי הסקת ההסקה מכיוון שהמודל כולו אינו צריך לפעול כדי להשלים משימה.

השימוש של אינטל במונח "אלמנטים" כדי לתאר הפעלת תכונות Copilot באופן מקומי מצביע על כך שניתן להחליף חלק מהמומחים הללו בדגמים קטנים יותר וזריזים המסוגלים לפעול על חומרת מחשב נייד. כפי שחקרנו בעבר, חומרה אישית קיימת מסוגלת יותר מלהריץ דגמי AI קטנים יותר מסוגים כמו Mistral או Meta.

במקרה, מיקרוסופט לאחרונה משאבה 15 מיליון אירו (16.3 מיליון דולר) לתוך בונה המיני-דגמים הצרפתי Mistral AI, עם תוכניות להנגיש את עבודתה ללקוחות Azure. בגודל של 7 מיליארד פרמטרים בלבד, ה-Mistral-7B בהחלט קטן מספיק כדי להתאים בנוחות לזיכרון של מחשב AI, ודורש זיכרון של 4GB בסביבה בעת שימוש בקוונטיזציה של 4 סיביות.

וזה למודל כללי. ניתן להעלות על הדעת, אתה יכול להסתדר עם דגמים קטנים עוד יותר המכוונים ליצירת קוד מקור, שנטענים לזיכרון רק כאשר האפליקציה, למשל Visual Studio Code, מופעלת ומזהה מנוי פעיל של Github Copilot. זכור, Copilot הוא יותר מסתם צ'טבוט; זוהי חבילה של תכונות בינה מלאכותית שנכנסות למערכת ההפעלה והתוכנה של מיקרוסופט.

רדמונד לא אמר כמה זיכרון דורש מפרט ה-AI שלו, אלא מהניסיון שלנו איתו לימודי תואר שני במנהל עסקים מקומיים, 16GB של DDR5 מהיר אמור להיות מספיק.

בכל מסלול שמיקרוסופט תעשה, השילוב של מודלים מקומיים ומרוחקים יכול להוביל להתנהגות מעניינת כלשהי. אנחנו עדיין לא יודעים באילו נסיבות הדגמים המקומיים האלה ישתלטו, אבל מגוון התקני Windows של מיקרוסופט Pavan Davuluri הציע שהתערובת עשויה להיות דינמית.

"אנחנו רוצים להיות מסוגלים לטעון משמרת בין הענן ללקוח כדי לספק את מיטב המחשוב בשני העולמות הללו", אמר על הבמה במהלך ה-Advancing AI של AMD אירוע בדצמבר. "זה מפגיש את היתרונות של מחשוב מקומי, דברים כמו פרטיות משופרת ותגובתיות והשהייה עם הכוח של הענן, מודלים בעלי ביצועים גבוהים, מערכי נתונים גדולים, הסקת מסקנות חוצת פלטפורמות."

ככזה, אנו יכולים לראות כמה תרחישים כיצד מיקרוסופט עשויה להשתמש בבינה מלאכותית מקומית. הראשון הוא להוריד עבודה משרתי מיקרוסופט ולשפר את זמני התגובה. ככל שהחומרה משתפרת, תכונות נוספות של Copilot יכולות להידחק מהענן ואל התקני המשתמש.

השני יהיה זה כנפילה לאחור במקרה של שיבושים ברשת. אתה יכול לדמיין את מחשב הבינה המלאכותית שלך פשוט נהיה מטומטם יותר במקום לעצור לחלוטין כשהוא מנותק מהרשת.

אילוצי חומרה

לפני שאתה מתלהב יותר מדי ממחשבי AI בעלי מוח מפוצל המנסחים מניפסטים מחוץ לרשת, כרגע אין שום מכונות שעומדות בדרישות החומרה, וזה לא בגלל היעדר מפתח Copilot.

הבעיה היא ש-NPUs עדיין חדשים יחסית בסיליקון x86, ומה שכן קיים הוא לא כמעט חזק מספיק. AMD הייתה בין הראשונים שהוסיפו NPU למעבדים הניידים שלה בתחילת 2023 עם השקת Ryzen 7040 שבבי סדרה.

ההרכב הזה קיבל תנופה בשעון בדצמבר במהלך אירוע ה-Advancing AI של House of Zen. AMD גם הביאה את ה-NPUs שלה לשולחן העבודה עם ההשקה שלו 8000G APUs ב-CES בינואר השנה.

אינטל פרסמה את בלוקי מאיץ הבינה המלאכותית הייעודיים שלה עם השקתו אגם מטאור חלקי מעבד בסוף דצמבר. שבבי Core Ultra אלה כוללים NPU המופק מיחידת עיבוד הראייה Movidius של אינטל (VPU), אשר אינטל דמודה הפעלת מגוון עומסי עבודה במהלך אירוע החדשנות שלו בשנה שעברה.

למרבה הצער, שבבים מסוגלים לבצע רק 10 עד 16 טריליון (בדרך כלל INT4) פעולות בשנייה, הרבה מתחת למפרט 40 TOPS של מיקרוסופט. זה אומר שרוב המחשבים המכונים AI PC בשוק לא יעמדו בדרישות - לא בלי להישען על ה-GPU כדי להשלים את ההבדל.

גם לאינטל וגם ל-AMD יש שבבים בעלי יכולת גבוהה יותר המגיעים עם סיליקון Lunar Lake ו-Strix Point בהתאמה. עם זאת, בטווח הקרוב, נראה שקוואלקום הולכת להדוף את השוק.

מחשבים ניידים עם Snapdragon X Elite של קוואלקום מעבדים ניידים צפויים לצאת מתישהו באמצע שנת 2024 ויכללו NPU המסוגל ל-45 TOPS. בשילוב עם Adreno GPU המסוגל ל-4.6 teraFLOPS של ביצועי FP32, קוואלקום אומרת שהחלק יוכל להריץ דגמי בינה מלאכותית של עד 13 מיליארד פרמטרים במלואם במכשיר ולייצר 30 אסימונים בשנייה בעת הפעלת LLMs קטנים יותר של 7 מיליארד פרמטרים.

ככל שמגיעים מחשבי PC עם NPUs עם ביצועים גבוהים יותר וחנויות זיכרון גדולות יותר, ודגמים קטנים יגדלו מסוגלים יותר, אנו חושדים שמיקרוסופט תתחיל להוריד יותר פונקציונליות למכשירים מקומיים - ברגע שהחומרה תוכל להתמודד עם זה. ®

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://go.theregister.com/feed/www.theregister.com/2024/03/31/microsoft_copilot_hardware/