ChattyG עוברת בחינת תכנות בשנה הראשונה ביוני C/C++

ChatGPT הועמד למבחן באמצעות סדרה של משימות תכנות קדומות ב-C/C++ וזה עבר - אם כי לא בהצטיינות.

על פי צוות מחקר קרואטי, בעוד שסטודנטים בשנה א' יכולים להיאבק עם חלק מהמטלות, התוצאות [PDF] הראה את ChatGPT משיגה יעדי מיומנות שנעו בין ממוצע לזה של מתכנתים מנוסים. ובאופן טבעי, כמו בכל בחינות המכללה, ניתן לקבוע את התוצאות לפי אופן ניסוח השאלות.

צוות האוניברסיטה הצפונית עיצב קבוצה של אתגרי תכנות ברמת האוניברסיטה הראשונה, שנכתבו תחילה באנגלית ומאוחר יותר, כדי לראות אם ניואנסים בין שפות ישפיעו על התוצאות, קרואטית. הם רצו לראות לא רק איך ChatGPT מקודדים, אלא גם אם זה יכול להתאים לשפות שונות.

החידון הראשון התמקד במשימת תכנות בסיסית: חישוב המחלק המשותף הגדול ביותר (GCD) של שני מספרים. בהתחלה, הבוט הראה כמה מגבלות באופן שבו החליט להתמודד עם הבעיה, כאשר החוקרים אמרו שאין לו את העדינות המצופה ממתכנת ותיק. אבל כמו כל תלמיד, הוא לומד ובאמצעות ניסיונות עוקבים, במיוחד בגרסה הקרואטית, הוא הפגין כמה שיפורים, והראה יכולת הסתגלות בולטת.

לדוגמה, במשימה מסוימת אחת האתגר היה לתכנת פונקציה סטטיסטית בסיסית ב-C++. בתחילה, היא ביצעה פיקוח, תוך שימוש בפונקציה שלא יצרה את סטיית התקן ה"מתוקנת" כנדרש. אבל, כאשר אותה משימה הוצגה בקרואטית, הצ'אטבוט לא רק זיהה את השגיאה הקודמת שלו אלא גם פיתח פתרון מעודן.

החוקרים מציינים כי יכולת הסתגלות זו משקפת את המסע של סטודנט טרי: מתחיל בטעויות אך מראה יכולת ללמוד ולשפר את כישוריהם עם תרגול חוזר ומשוב. אוווווו.

משימה אחרת כללה בעיה יותר ניואנסית: זיהוי מספרים בטווח המבוסס על כללי חלוקה ספציפיים. זה היה המקום שבו עקב אכילס של ChatGPT התברר. ללא קשר לשפה - אנגלית או קרואטית - ChattyG נאבקה במספרים שליליים. כל ניסיון של ChatGPT הוביל לתוצאות דומות, והצביע על בעיה עקבית בלוגיקת התכנות שלה עבור משימה זו.

שאלת בונוס דרשה דיוק. ChatGPT נדרש ליצירת מסנן קלט, במיוחד עבור טווח מוגדר של מספרים עשרוניים. הפתרון הראשוני של הבינה המלאכותית, כשהוצג באנגלית, היה נכון, אבל הניסיונות הבאים, במיוחד כשהמשימה ניתנה בקרואטית, חשפו כמה חוסר עקביות ובמקרים מסוימים, ChatGPT השתמש בבניות תכנות מיותרות. למרות שאלו לא הפריעו לפונקציונליות של התוכנית, זה כן הצביע על חוסר אופטימיזציה. זה היה כאילו ChatGPT לקח לפעמים את המסלול הארוך יותר ליעד, גם כאשר קיצור דרך זמין.

העניינים הסתבכו עם משימה הקשורה למערכים. כאן, ChatGPT התבקש לאחסן מספרים ולאחר מכן לחשב נתונים סטטיסטיים מסוימים כמו ערך ממוצע, סטיית תקן, ולזהות ערכי מינימום ומקסימום. הביצועים של ChattyG באתגר הזה היו מעניינים במיוחד. על פני בדיקות שונות, הוא הציג אסטרטגיות משתנות. לפעמים, זה פתר באלגנטיות את הבעיה, והציע פתרונות פשוטים. בניסיונות אחרים, הוא נטה לשיטות מפותלות יותר, אפילו חיבור מספר פעולות לפונקציה אחת.

כל זה מעלה שאלה חשובה: האם ChatGPT תמיד בוחרת באסטרטגיה הטובה ביותר, או שלעיתים היא כברירת מחדל לשיטות נלמדות אך לא יעילות?

המכשול האחרון עבור ChatGPT כלל עיבוד טקסט בסיסי. הוטל עליו להסיר רווחים נוספים מקלט המשתמש. במבחן האנגלית הראשוני, הפתרון של ChatGPT היה במקום. עם זאת, המבחן הקרואטי זרק כדור עקום. במקום לדבוק בפתרון הקלט היחיד היעיל שלו, הבינה המלאכותית, מסיבה כלשהי, בחרה בגישה מורכבת יותר, שדרשה כניסות מרובות. עם זאת, כאשר חוקרים בדקו מחדש את האתגר הזה באנגלית, נראה היה ש-ChatGPT למד מהפספוס הקודם שלו, וחזר לשיטה הפשוטה יותר.

בסך הכל, החוקרים גילו שלתגובות יש הרבה מן המשותף לאלו של סטודנטים בני שנה לתכנות אנושיים. הפתרונות שלה הדהדו לעתים קרובות את האסטרטגיות של מתכנתים מנוסים, אבל כמו כל סטודנט, ChatGPT לא היה חסר טעות. היו רגעים של זוהר, אבל גם מקרים שבהם נראה שהוא מחטיא את המטרה לחלוטין.

הטייק-אווי האמיתי כאן הוא יכולת ההסתגלות האנושית הדומה לסטודנטים: זה לא היה רק ​​על קבלת הפתרון הנכון; זה היה על חידוד, למידה ואיטרציה.

אז מה הציון הסופי של ChattyG?

מהחוקרים:

"ChatGPT עובר את הבחינה עם ציונים טובים מאוד, ועולה על רוב התלמידים שלנו באיכות הפתרונות. יתר על כן, הוא פותר כל משימה תוך 20 עד 30 שניות ומראה את היכולת הכללית להתאים או לשנות את הפתרונות שלה בהתאם לדרישות נוספות. עם זאת, בכמה משימות, לרוב פשוטות, היא הראתה את חוסר היכולת להבין את המהות הלוגית והמתמטית של הבעיה, אפילו לאחר שהתבקשו מספר פעמים על שגיאותיה." ®

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://go.theregister.com/feed/www.theregister.com/2023/10/03/chatgpt_code_college/