GitHub Copilot כיוון מהנדסי תוכנה בקבוצת הבנקאות של אוסטרליה וניו זילנד (ANZ Bank) לשיפור הפרודוקטיביות ואיכות הקוד, ונסיעת המבחן הספיקה לבית הפיננסים כדי לפרוס את עוזר התכנות ה-AI הגנרטיבי בתהליכי עבודה בייצור.
מאמצע יוני 2023 ועד סוף יולי אותה שנה, בנק ANZ שבסיסו במלבורן ערך ניסוי פנימי של GitHub Copilot שכלל 100 מתוך 5,000 המהנדסים של החברה.
הניסיון בן שישה שבועות, המורכב משבועיים של הכנה וארבעה שבועות של אתגרי קוד, ביקש לבחון כיצד המשתתפים מרגישים לגבי השימוש ב-GitHub Copilot עם Microsoft Visual Studio Code ולמדוד את ההשפעה שהייתה למערכת מבוססת AI על הפרודוקטיביות של מתכנתים. איכות קוד, ואבטחת תוכנה.
ממצאי הניסוי תועדו ב-a לדווח עם כותרת שיכולה להשתמש בקצת יותר עדינות: "ההשפעה של כלי בינה מלאכותית על הנדסה בבנק ANZ, מחקר אמפירי על GitHub Copilot בסביבה ארגונית."
הדוח, שנכתב על ידי Sayan Chatterjee, אדריכל ענן ב-ANZ, ולואי ליו, מוביל בתחום יכולות AI ההנדסה וניתוח נתונים ב-ANZ, מצטט מספר מחקרים קודמים על פרודוקטיביות תכנות עם Copilot.
אחת ללמוד ממיקרוסופט, שהיא כעת הבעלים של GitHub, גילתה שקידוד עם עוזר בינה מלאכותית שיפר את הפרודוקטיביות ביותר מ-55 אחוז - לא הפתעה בהתחשב באחרים סקרי ספקים.
ACM/IEEE ללמוד על תכנות עם עזרה בבינה מלאכותית הציע שסיוע רובו היה יותר פשרה: הוא מצא שקופיילוט יצר יותר קוד, למרות שאיכות התוכנה שנוצרה הייתה גרועה יותר מתוכנה שנבנתה על ידי אדם.
בנק ANZ ביקש לערוך הערכה משלו, תוך ציון התועלת הפוטנציאלית של AI על פרודוקטיביות תוך הכרה בכך שהטכנולוגיה "מעלה סיכונים אינהרנטיים, אי ודאויות והשלכות לא מכוונות לגבי קניין רוחני, אבטחת מידע ופרטיות".
הסיכונים הללו - מודגשים על ידי תביעת זכויות יוצרים מתמשכת נגד GitHub, מיקרוסופט ו-OpenAI על גבי Copilot - אינן מטופלות במחקר, אלא כקריאת ראש לציות לרגולציה.
"לפני תחילת הניסוי, סיכונים הקשורים לקניין רוחני, אבטחת מידע ופרטיות הוערכו בשיתוף עם צוותי המשפט והאבטחה של ANZ כדי להגיע למערכת של קווים מנחים", נכתב.
הניסוי בבנק בדק איזו השפעה יש ל-Copilot על: סנטימנט ופרודוקטיביות של מפתחים, כמו גם איכות ואבטחת קוד. זה דרש מהנדסי תוכנה, מהנדסי ענן ומהנדסי נתונים המשתתפים להתמודד עם שישה אתגרי קידוד אלגוריתמיים בשבוע באמצעות Python. אלה בקבוצת הביקורת לא הורשו להשתמש ב-Copilot אך הורשו לחפש באינטרנט או להשתמש ב-Stack Overflow.
"הקבוצה שהייתה לה גישה ל-GitHub Copilot הצליחה להשלים את המשימות שלה ב-42.36% מהר יותר ממשתתפי קבוצת הביקורת", נכתב בדו"ח. "...הקוד שהופק על ידי משתתפי Copilot הכיל פחות ריחות קוד ובאגים בממוצע, כלומר יהיה ניתן לתחזוקה יותר ופחות סיכוי להישבר בייצור."
שתי התוצאות הללו נחשבו מובהקות סטטיסטית. באשר לאבטחה, הניסוי לא היה חד משמעי.
"הניסוי לא הצליח לייצר נתונים משמעותיים שימדדו את אבטחת הקוד", נכתב בדו"ח. "עם זאת, הנתונים מצביעים על כך שקופיילוט לא הכניס שום בעיות אבטחה גדולות לקוד."
הנתונים מצביעים על כך ש-Copilot לא הכניס שום בעיות אבטחה גדולות לקוד
ייתכן שהדבר נבע מאופי האתגרים, שתוכננו להיות קצרים מספיק כדי שהמשתתפים יוכלו להשלים אותם יחד עם העבודה היומיומית הרגילה שלהם. לפיכך, האתגרים שהוגשו היו קצרים למדי ולא הותירו הרבה מקום לבאגים, מציין הדוח.
מבחינת סנטימנט, המשתמשים ב-Copilot הרגישו חיוביים לגבי החוויה, אם כי לא בתוקף.
"הם הרגישו שזה עזר להם לסקור ולהבין את הקוד הקיים, ליצור תיעוד ולבדוק את הקוד שלהם; הם הרגישו שזה מאפשר להם להשקיע פחות זמן בניפוי באגים בקוד שלהם וצמצם את זמן הפיתוח הכולל שלהם; והם הרגישו שההצעות שהוא סיפק היו מועילות במידת מה, והתאימו היטב עם תקני הקידוד של הפרויקט שלהם", נכתב בדוח.
ממצא מסקרן אחד הוא שקופיילוט היה השימושי ביותר למתכנתים המנוסים ביותר.
"הערכת הפרודוקטיביות בהתבסס על מיומנות Python מצאה כי Copilot היה מועיל למשתתפים בכל רמות המיומנות, אך היה מועיל ביותר עבור אלה שהיו מתכנתי Python 'מומחים'", נאמר במחקר, והוסיף כי עוזר הבינה המלאכותית סיפק את השיפור הרב ביותר (במונחים של זמן חסוך) במשימות קשות.
בעוד שציין כי האישורים החיוביים במקצת מהמשתתפים מצביעים על כך שניתן לשפר את Copilot עוד יותר, הדו"ח בכל זאת אישר את הכנסת Copilot לתהליכי עבודה בייצור בבנק.
"נכון לכתיבת מאמר זה, GitHub Copilot כבר ראה אימוץ משמעותי בתוך הארגון, עם למעלה מ-1,000 משתמשים שמשתמשים בו בתהליכי העבודה שלהם", מסכם הדו"ח, ומוסיף כי חקירה רחבה יותר של השפעת הפרודוקטיביות של Copilot מתבצעת. ®
נקודת נגד: סיוע בינה מלאכותית מוביל לאיכות קוד מקור נמוכה יותר, טוענים החוקרים
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/02/10/anz_bank_github_copilot/
- :יש ל
- :הוא
- :לֹא
- 000
- 1
- 100
- 2023
- 36
- 7
- a
- יכול
- אודות
- גישה
- ACM
- מוסיף
- ממוען
- אימוץ
- נגד
- AI
- עוזר בינה מלאכותית
- אלגוריתמי
- מיושר
- תעשיות
- מותר
- לאורך
- כְּבָר
- גם
- למרות
- an
- ניתוח
- ו
- כל
- AREA
- AS
- מוֹעֳרָך
- הערכה
- סיוע
- עוזר
- At
- אוסטרליה
- מְמוּצָע
- בנק
- בנקאות
- מבוסס
- BE
- היה
- מועיל
- תועלת
- לשבור
- רחב
- באגים
- אבל
- by
- CAN
- יכולת
- האתגרים
- ענן
- CO
- קוד
- סִמוּל
- להשלים
- הענות
- מסכם
- לנהל
- מנוהל
- יחד
- השלכות
- מורכב
- הכלול
- לִשְׁלוֹט
- זכויות יוצרים
- משותף
- יכול
- לִיצוֹר
- יומי
- נתונים
- ניתוח נתונים
- אבטחת מידע
- אבטחת מידע ופרטיות
- נחשב
- לפרוס
- מעוצב
- מפתח
- צעצועי התפתחות
- DID
- לא
- תיעוד
- נהיגה
- ראוי
- השפעה
- סוף
- מְאוּשָׁר
- המלצות
- הנדסה
- מהנדסים
- מספיק
- סביבה
- הערכה
- לִבחוֹן
- אלא
- קיימים
- ניסיון
- מנוסה
- לְנַסוֹת
- מומחה
- למדי
- מהר יותר
- שגיאה
- פחות
- לממן
- מציאת
- ממצאים
- ממצאים
- עֲדִינוּת
- פירמה
- בעד
- מצא
- ארבע
- החל מ-
- נוסף
- ליצור
- נוצר
- גנרטטיבית
- AI Generative
- GitHub
- נתן
- קְבוּצָה
- הנחיות
- היה
- קשה
- יש
- לעזור
- עזר
- מועיל
- מודגש
- בית
- איך
- אולם
- HTTPS
- פְּגִיעָה
- משופר
- השבחה
- in
- להצביע
- הטמון
- אִינטֶלֶקְטוּאַלִי
- קניין רוחני
- פנימי
- אינטרנט
- אל תוך
- מסקרן
- מבוא
- חקירה
- מעורב
- בעיות
- IT
- שֶׁלָה
- jpg
- יולי
- עוֹפֶרֶת
- מוביל
- יציאה
- משפטי
- פחות
- רמות
- סביר
- קְצָת
- מגרש
- לואיס
- להוריד
- ניתנת לשמירה
- גדול
- עושה
- מאי..
- משמעות
- משמעותי
- למדוד
- מיקרוסופט
- יותר
- רוב
- טבע
- חדש
- ניו זילנד
- הערות
- עַכשָׁיו
- of
- on
- OpenAI
- or
- ארגון
- אחר
- יותר
- מקיף
- שֶׁלוֹ
- בעלים של
- מאמר
- המשתתפים
- משתתף
- עבור
- אָחוּז
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- חיובי
- פוטנציאל
- הכנה
- קודם
- פְּרָטִיוּת
- מיוצר
- הפקה
- פּרוּדוּקטִיבִי
- פִּריוֹן
- מתכנתים
- תכנות
- פּרוֹיֶקט
- רכוש
- ובלבד
- מכניס
- פיתון
- איכות
- מעלה
- מופחת
- בדבר
- רגולטורים
- התאמה לתקנות
- קָשׁוּר
- לדווח
- נדרש
- תוצאות
- סקירה
- סיכונים
- חֶדֶר
- s
- אמר
- הציל
- אומר
- חיפוש
- אבטחה
- לראות
- רגש
- סט
- כמה
- קצר
- משמעותי
- שישה
- מְיוּמָנוּת
- So
- תוכנה
- במידה מסוימת
- ביקש
- מָקוֹר
- קוד מקור
- לבלות
- לערום
- תקנים
- החל
- ניווט
- בְּתוֹקֶף
- מחקרים
- סטודיו
- לימוד
- הוגש
- כזה
- להציע
- הפתעה
- מערכת
- לְהִתְמוֹדֵד
- משימות
- צוותי
- טכנולוגיה
- מונחים
- מבחן
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אלה
- הֵם
- זֶה
- אלה
- אם כי?
- דרך
- זמן
- כותרת
- ל
- כלי
- לקראת
- מִשׁפָּט
- שתיים
- אי וודאויות
- להבין
- בעיצומה
- להשתמש
- מועיל
- משתמשים
- באמצעות
- כרגיל
- חזותי
- היה
- שבוע
- שבועות
- טוֹב
- היו
- מה
- אשר
- בזמן
- מי
- עם
- בתוך
- תיק עבודות
- זרימות עבודה
- גרוע יותר
- היה
- כתיבה
- שנה
- זילנד
- זפירנט