גמביט הבינה המלאכותית הבאה של Meta? לאמה 3 שמועות לתחילת 2024 - פענוח

גמביט הבינה המלאכותית הבאה של Meta? לאמה 3 שמועות לתחילת 2024 - פענוח

חותמת זמן: 9 בנובמבר, 2023 9:39

הסקרנות לגבי המהלך הגדול הבא של Meta היא להגיע לגובה קדחת במירוץ לשלוט בנוף הבינה המלאכותית. עם מודל הטקסט הגנרטיבי שלה Llama 2 - ששוחרר ביולי - מבוסס היטב בשוק, צופים ב-AI מחפשים ברעב סימנים של Llama 3.

אם להאמין למלמולי התעשייה, ההמשך של טיטאן הטכנולוגיה להצלחתו בקוד פתוח עשוי להגיע בתחילת 2024.

Meta לא אישרה רשמית את השמועות, אבל מארק צוקרברג שפך לאחרונה קצת אור על מה שעשוי להיות העתיד של ה-LLMs (דגמי שפה גדולים) של Meta, החל בהכרה ש-Llama 3 נמצא בעבודות. אבל, הוא אמר, דגם הבינה המלאכותית הבסיסית החדש עדיין על השריפה האחורית בעוד שהעדיפות נשארת כוונון עדין של Llama 2 כדי להפוך אותו לידידותי יותר לצרכן.

"כלומר, תמיד יש דוגמנית אחרת שאנחנו מאמנים", אמר בראיון לפודקאסט שהתמקד ב ההצטלבות בין AI ל-metaverse, "אימנו את Llama 2, והוצאנו אותו כמודל קוד פתוח, וכרגע העדיפות היא לבנות את זה לתוך חבורה של מוצרי צריכה...

"אבל כן, אנחנו גם עובדים על מודלים עתידיים של היסודות, ואין לי שום דבר חדש או חדשות בנושא", המשיך. "אני לא יודע מתי בדיוק זה יהיה מוכן."

בעוד Meta לא אישרה רשמית את השמועות, דפוסי מחזורי פיתוח והשקעות חומרה נכבדות מרמזות על השקה קרובה. Llama 1 ו-Llama 2 ראו מרווחים של שישה חודשים באימון, ואם הקצב הזה יחזיק מעמד, ה-Llama 3 החדש - לפי השערה להיות שווה ל-GPT-4 של OpenAI - עשוי להיות מושק במחצית הראשונה של 2024.

הוספת עומק לספקולציות, משתמש Reddit לאמה-שיל הציג ניתוח מקיף של מחזורי פיתוח המודל ההיסטורי של Meta.

ההכשרה של Llama 1 נמשכה מיולי 2022 עד ינואר 2023, כאשר Llama 2 בעקבותיו עד יולי 2023, המשתמש הציע, וקבע שלב סביר לאימון של Llama 3 מיולי 2023 עד ינואר 2024. תובנות אלו משתלבות עם הנרטיב של מטה רודף ללא רחם אחר מצוינות בינה מלאכותית, להוט להציג את ההתקדמות הבאה שלו שיכולה לעמוד כתף אל כתף עם היכולות של GPT-4.

בינתיים, פורומים טכנולוגיים ו מדיה חברתית סוערים עם דיונים כיצד איטרציה חדשה זו יכולה לבסס מחדש את היתרון התחרותי של Meta. הקהילה הטכנולוגית גם הרכיבה ציר זמן סביר מפירורי המידע הזמין.

הוסף לזה קצת כופר בטוויטר: שיחה שנשמעה על פי הדיווחים ברשת חברתית "Meta GenAI", שצייץ מאוחר יותר חוקר OpenAI ג'ייסון ווי. "יש לנו את המחשוב לאמן את לאמה 3 ו-4", אמר מקור לא מזוהה, לפי Wei - והמשיך ואישר שהוא יהיה גם בקוד פתוח.

בינתיים, השותפות של החברה עם Dell - המציעה את Llama 2 מקומית למשתמשים ארגוניים - מדגישה את מחויבותה לשליטה ואבטחה על נתונים אישיים, מהלך שהוא אסטרטגי ומעיד על הזמן כאחד. כש-Meta מתכוננת לעמוד אצבעות מול ענקיות כמו OpenAI וגוגל, המחויבות הזו היא קריטית.

Meta גם מחדירת בינה מלאכותית לרבים מהמוצרים שלה, ולכן הגיוני שהחברה תגדיל את ההימורים שלה כדי לא להישאר מאחור. Llama 2 מפעיל את Meta AI, ושירותים אחרים כמו הצ'אטבוטים של Meta, שירותי Meta Generative ומשקפי הבינה המלאכותית של Meta, אם להזכיר כמה.

בתוך מערבולת הספקולציות הזו, הרהוריו של מארק צוקרברג על Lama 3 במקורות פתוחים רק שימשו סקרנות ותעלומה. "נזדקק לתהליך לצוות זה ולהפוך אותו לבטוח", שיתף צוקרברג במהלך פודקאסט שנערך לאחרונה עם מדען המחשבים לקס פרידמן.

Llama 2 מתגאה בארכיטקטורה רב-שכבתית עם גרסאות המציעות 7 מיליארד, 13 מיליארד ו-70 מיליארד פרמטרים חזקים, כל אחד מתאים לרמות שונות של מורכבות וכוח חישוב. פרמטרים ב-LLM משמשים כאבני הבניין העצביות המגדירים את יכולת המודל להבין וליצור שפה, כאשר מספר הפרמטרים מתאם לרוב עם התחכום ואיכות הפלט הפוטנציאלית של המודל.

מעצמת ה-AI הוכשרה על קורפוס נרחב של 2 טריליון אסימונים, המבססת את יכולתו לנווט וליצור טקסט דמוי אדם על פני מגוון רחב של נושאים והקשרים.

התמונה באדיבות מטה

ברקע מונחת גם תשתית החומרה. כפי ש דיווח by פענוח, Meta מחזיקה במרכז נתונים עם Nvidia H100s, אחד מחלקי החומרה החזקים ביותר לאימון בינה מלאכותית - סימן ברור לכך שהגלגלים בתנועה.

עם זאת, למרות כל ההתרגשות והספקולציות, האמת נותרה אפופה בסודיות תאגידית.

כוונותיה של Meta להתחרות בתחום הבינה המלאכותית מעוצבות במידה רבה על ידי זמני אימון נדרשים, השקעות בחומרה ושאלת הקוד הפתוח. בינתיים, הציפייה מוחשית כמו שחרור 2024 של Lama 3 הוא סביר.

נערך על ידי ריאן אוזאווה.

הישאר מעודכן בחדשות הקריפטו, קבל עדכונים יומיים בתיבת הדואר הנכנס שלך.

בול זמן:

עוד מ פענוח