דרמה של LLaMA כאשר מודל המגה של שפה מטה דולף

דרמה של LLaMA כאשר מודל המגה של שפה של Meta דולף

חותמת זמן: 8 במרץ 2023 3:14
דרמה של LLaMA כאשר מודל המגה של שפה של Meta מדליף PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.

LLaMA, מודל השפה הגדול האחרון של Meta, דלף באינטרנט וזמין להורדה, למרות ניסיונות לכאורה להגביל את הגישה למטרות מחקר בלבד.

הבעלים של פייסבוק הודיע בפברואר היא הוציאה את הדגם בצורה מוגבלת כדי לבחור אקדמאים, טיפוסים ממשלתיים וחברות לשחק איתן על רקע פחדים לָאמָה יכול להיות שימוש לרעה. אבל מידע רוצה להיות חופשי, או לפחות אנשים מסוימים רוצים שיהיה, והיצירה של Meta מצאה את דרכה באינטרנט בכל מקרה, החל מהדלפת סיקור.

מודלים של שפות גדולות לניבוי משפטים, המייצרים קטעי טקסט מהנחיות קלט, התפתחו בהתמדה, מהשלמה אוטומטית של הכתיבה שלך לצ'אטבוטים המסוגלים לבצע משימות כאשר מתבקשים לעשות זאת באמצעות שפה טבעית.

מומחים הזהירו שטכנולוגיה זו עשויה לשמש כדי להפוך את הייצור של כמויות גדולות של חדשות מזויפות, דואר זבל, הודעות דיוג, דיסאינפורמציה, הסתה, בשם זה, במשך שנים רבות. ארגונים שבונים מודלים אלה לרוב שומרים על התוכנה תחת מעטפת, מאחורי ממשקי API, או משחררים גרסאות מוגבלות או הדגמות. 

"יש עדיין מחקר נוסף שצריך לעשות כדי לטפל בסיכונים של הטיה, הערות רעילות והזיות במודלים של שפות גדולות", מטה. אמר שבוע שעבר.

"כמו דגמים אחרים, LLaMA חולקת את האתגרים הללו. כמודל יסוד, LLaMA תוכנן להיות רב-תכליתי וניתן ליישם אותו על מקרי שימוש רבים ושונים, לעומת דגם מכוון שמיועד למשימה ספציפית.

"כדי לשמור על שלמות ולמנוע שימוש לרעה, אנו משחררים את המודל שלנו ברישיון לא מסחרי המתמקד במקרים של שימוש במחקר. הגישה למודל תינתן על בסיס כל מקרה לגופו לחוקרים אקדמיים; אלה המזוהים עם ארגונים בממשל, בחברה האזרחית ובאקדמיה; ומעבדות מחקר בתעשייה ברחבי העולם".

איך להדריך

אבל נראה שהמאמצים של Meta לשלוט בגישה ל-LAMA עלו בתוהו, או לפחות כך נראה. זמן קצר לאחר ששיתף את המודל עם גורמים נבחרים, ואלה בתעשייה ובחברה האזרחית, מישהו ב-4Chan פרסם פרטים כיצד להשיג את המודל כולו באמצעות שיתוף קבצים עמית לעמית, ובסופו של דבר הוראות כיצד להוריד הכל פורסמו ב-GitHub.

כמו תמיד, נהג בזהירות כשאתה מביא דברים כאלה מטורנטים למקרה שמישהו יחביא שם משהו מרושע. הדגם של 65 מיליארד פרמטרים תופס כ-220GB של שטח דיסק, נאמר לנו.

העותקים של LLaMA הזמינים דרך GitHub אכן נראים חוקיים, נציין. שון פרסר, אן מהנדס בינה מלאכותית שכתב את הוראות ההורדה באתר שיתוף הקוד של מיקרוסופט, הראה לנו צילומי מסך של אותו יוצר בהצלחה טקסט מהמודל. הוא מאמין שחוקר שקיבל גישה לדגם מ-Meta הדליף אותו, מה שהוביל אולי להפצה רחבה מהצפוי.

הפעל את מנועי תיאוריית הקונספירציה שלך.

פרסר סבור ששחרור המודל בחופשיות ללא אזהרות עדיף על רק הגבלתו לאקדמאים מאושרים. "אני חושב שהטוב יעלה על הרע, לפחות פי עשרה. כנראה קרוב יותר לפי 100", אמר הקופה. 

אימון והפעלת מודלים של שפה גדולים מתקדמים הם יקרים, באופן כללי; רק ארגונים שיש להם גישה לערימות של GPUs ותשתיות אחרות נמצאים בעמדה לבנות, לצבוט ולבדוק אותם. חוקרי בינה מלאכותית ב-Meta בנה את LLaMA להיות קטן יותר, מה שהופך אותו לקומפקטי יותר מהדגמים המסחריים של היום ובכך נגיש יותר לאקדמאים ולמפתחים ללא תקציבי IT לא טריוויאליים. 

גורו למידת המכונה של Meta טענו שהמערכת שלהם עלתה על ה-GPT-3 של OpenAI והיא טובה כמו דגמי שפות גדולים אחרים, כמו PaLM של גוגל של 540 מיליארד פרמטרים או Chinchilla של 70 מיליארד פרמטרים של DeepMind. הגודל הקטן יותר אומר שזה אמור להיות קל יותר לשימוש עבור מדענים שיש להם פחות משאבי חישוב. וכן, יש שם שפע של דגמי שפה בכל הצורות והגדלים; זה יותר מסתם OpenAI ופייסבוק.

LLaMA עדיין דורש מאות גיגה-בייט של אחסון וכמות הגונה של מחשוב כדי להניע אותו. גם להפעיל את הדגם זה לא פשוט, אלא אם כן אתה רגיל לטפל במערכות מסוג זה, וייעודו מחדש לפעילויות מרושעות יותר ידרוש גם מומחיות טכנית נוספת. למרות המודל שדלף, מטה אמרה שהיא תמשיך לחלוק את LLaMA עם חוקרים נבחרים בלבד. 

אנו מאמינים שאסטרטגיית השחרור הנוכחית מאפשרת לנו לאזן בין אחריות ופתיחות

"המטרה של Meta היא לשתף מודלים מתקדמים של AI עם חברי קהילת המחקר כדי לעזור לנו להעריך ולשפר את המודלים הללו", אמר דובר. הקופה.

"LLaMA שותף למטרות מחקר, בהתאם לאופן שבו שיתפנו מודלים קודמים של שפות גדולות. בעוד שהמודל אינו נגיש לכל, וחלקם ניסו לעקוף את תהליך האישור, אנו מאמינים שאסטרטגיית השחרור הנוכחית מאפשרת לנו לאזן בין אחריות ופתיחות".

במילים אחרות, קבוצת הפייסבוק עומדת בגישתה להפצת הטכנולוגיה שלה.

הניסיונות האחרונים של Meta לשחרר דגמי שפה גדולים לא עברו חלק. בשנה שעברה היה ה-BlenderBot הפטפטן שלו מבוקר על הפצת מידע מוטעה ודעות אנטישמיות. גלקטיקה, שנועדה לסכם ידע מדעי, הייתה הוסר שלושה ימים לאחר שהושק על יצירת תוכן מזויף וגזעני. ®

בול זמן:

עוד מ הקופה