You may find yourself living in a shotgun shack. And you may find yourself working with GPT-4. And you may ask yourself, “Will GPT-4 run Doom?” And you may ask yourself, “Am I right? Am I wrong?”
Adrian de Wynter, a principal applied scientist at Microsoft and a researcher at the University of York in England, posed these questions in a recent research paper, “Will GPT-4 Run Doom?"
Alas, GPT-4, a large language model from Microsoft-backed OpenAI, lacks the capacity to execute Doom’s source code directly.
But its multimodal variant, GPT-4V, which can accept images as input as well as text, exhibits the same endearing sub-competence playing عذاب as the fraught text-based models that have launched countless AI startups.
“Under the paper’s setup, GPT-4 (and GPT-4 with vision, or GPT-4V) cannot really run Doom by itself, because it is limited by its input size (and, obviously, that it probably will just make stuff up; you really don’t want your compiler hallucinating every five minutes),” wrote de Wynter in an explanatory براہ مہربانی نوٹ کریں about his paper. “That said, it can definitely act as a proxy for the engine, not unlike other ‘will it run Doom?’ implementations, such as ای کولی or نوٹ پیڈ".
That is to say, GPT-4V won’t run Doom like a John Deere tractor but it will play Doom without specific training.
To manage this, de Wynter designed a Vision component that calls GPT-4V, which captures screenshots from the game engine and returns structure descriptions of the game state. And he combined that with an Agent model that calls GPT-4 to make decisions based on the visual input and previous history. The Agent model has been told to translate its responses into keystroke commands that have meaning to the game engine.
Interactions are handled through a Manager layer consisting of an open source Python binding to the C Doom engine running on Matplotlib.
This mix of AI models and code can open doors, fight foes, and fire weapons, according to the paper. And it can execute a broader set of instructions like a level walkthrough to improve its own performance.
The main shortcoming of this GPT-4V-based system is its lack of object permanence – it forgets about in-game zombies when they go off-screen.
GPT-4 forgets about the zombie and just keeps going
“For example, it would be very common for the model to see a zombie on the screen, and start firing at it until it hit it (or died),” explains de Wynter. “Now, this is AI written to work with 1993 hardware, so I’m going to guess it doesn’t have a super deep decision tree. So the zombie shoots at you and then starts running around the room.
“What’s the issue here? Well, first that the zombie goes out of view. Worse, it is still alive and will whack you at some point. So you gotta go after it, right? After all, in Doom, it’s whack or be whacked.
“It turns out that GPT-4 forgets about the zombie and just keeps going. Note: the prompt explicitly tells the model what to do if it is taking damage and it can’t see an enemy. Better yet, it just goes off on its merry way, gets stuck in a corner, and dies. It did turn around a couple of times, but in nearly 50-60 runs, I observed it… twice, I wanna say.”
Also, GPT-4 can’t reason very well. When asked to explain its actions that were generally correct in context, its explanations were poor and often included hallucinations (aka incorrect information).
De Wynter nonetheless considers it remarkable that GPT-4 is capable of playing Doom without prior training.
At the same time, he finds that troubling.
“On the ethics department, it is quite worrisome how easy it was for (a) me to build code to get the model to shoot something; and (b) for the model to accurately shoot something without actually second-guessing the instructions,” he wrote in his summary post.
“So, while this is a very interesting exploration around planning and reasoning, and could have applications in automated video game testing, it is quite obvious that this model is not aware of what it is doing. I strongly urge everyone to think about what deployment of these models [implies] for society and their potential misuse.”
And you may say to yourself, “My God, what have I done?®
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://go.theregister.com/feed/www.theregister.com/2024/03/11/gpt4_wont_run_doom/
- : ہے
- : ہے
- : نہیں
- $UP
- 369
- 7
- a
- ہمارے بارے میں
- قبول کریں
- کے مطابق
- درست طریقے سے
- ایکٹ
- اعمال
- اصل میں
- کے بعد
- ایجنٹ
- AI
- اے آئی ماڈلز
- ارف
- زندہ
- تمام
- am
- an
- اور
- ایپلی کیشنز
- اطلاقی
- کیا
- ارد گرد
- AS
- پوچھنا
- At
- آٹومیٹڈ
- آگاہ
- کی بنیاد پر
- BE
- کیونکہ
- رہا
- بہتر
- بائنڈنگ
- وسیع
- تعمیر
- لیکن
- by
- کالز
- کر سکتے ہیں
- نہیں کر سکتے ہیں
- صلاحیت رکھتا
- اہلیت
- قبضہ
- چارٹ
- کلک کریں
- CO
- کوڈ
- مل کر
- کامن
- جزو
- سمجھتا ہے
- پر مشتمل ہے
- سیاق و سباق
- کونے
- درست
- سکتا ہے
- جوڑے
- نقصان
- de
- فیصلہ
- فیصلے
- گہری
- ضرور
- شعبہ
- تعیناتی
- ڈیزائن
- ڈیزائن
- آریھ
- DID
- مر گیا
- براہ راست
- do
- نہیں
- کر
- ڈان
- کیا
- عذاب
- دروازے
- آسان
- انجن
- انگلینڈ
- اخلاقیات
- ہر کوئی
- سب
- مثال کے طور پر
- عملدرآمد
- نمائش
- وضاحت
- بیان کرتا ہے
- وضاحت
- واضح طور پر
- کی تلاش
- لڑنا
- مل
- پتہ ہے
- آگ
- فائرنگ
- پہلا
- پانچ
- کے لئے
- بھرا ہوا
- سے
- کھیل ہی کھیل میں
- عام طور پر
- حاصل
- ملتا
- GitHub کے
- Go
- اچھا
- جاتا ہے
- جا
- اندازہ ہے
- ہارڈ ویئر
- ہے
- he
- یہاں
- ان
- تاریخ
- مارو
- کس طرح
- HTML
- HTTPS
- i
- if
- تصاویر
- عمل درآمد
- کو بہتر بنانے کے
- in
- کھیل میں
- شامل
- غلط
- معلومات
- ان پٹ
- ہدایات
- دلچسپ
- میں
- مسئلہ
- IT
- میں
- خود
- جان
- فوٹو
- صرف
- رہتا ہے
- نہیں
- زبان
- بڑے
- شروع
- پرت
- سطح
- کی طرح
- لمیٹڈ
- رہ
- مین
- بنا
- انتظام
- مینیجر
- matplotlib
- مئی..
- me
- مطلب
- میری
- مائیکروسافٹ
- منٹ
- غلط استعمال کے
- ایم ائی ٹی
- اختلاط
- ماڈل
- ماڈل
- تقریبا
- براہ مہربانی نوٹ کریں
- اب
- اعتراض
- واضح
- of
- بند
- اکثر
- on
- کھول
- اوپن سورس
- اوپنائی
- or
- دیگر
- باہر
- خود
- کاغذ.
- کارکردگی
- منصوبہ بندی
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- کھیلیں
- کھیل
- پوائنٹ
- غریب
- درپیش
- پوسٹ
- ممکنہ
- پچھلا
- پرنسپل
- پہلے
- شاید
- پراکسی
- ازگر
- سوالات
- بہت
- واقعی
- وجہ
- حال ہی میں
- قابل ذکر
- تحقیق
- محقق
- جوابات
- واپسی
- ٹھیک ہے
- کمرہ
- رن
- چل رہا ہے
- چلتا ہے
- s
- کہا
- اسی
- کا کہنا ہے کہ
- سائنسدان
- سکرین
- اسکرین شاٹس
- دیکھنا
- مقرر
- سیٹ اپ
- گولی مارو
- ظاہر
- سائز
- So
- سوسائٹی
- کچھ
- کچھ
- ماخذ
- ماخذ کوڈ
- مخصوص
- شروع کریں
- شروع ہوتا ہے
- سترٹو
- حالت
- ابھی تک
- سختی
- ساخت
- اس طرح
- خلاصہ
- سپر
- کے نظام
- لینے
- بتاتا ہے
- ٹیسٹنگ
- متن
- کہ
- ۔
- ان
- تو
- یہ
- وہ
- لگتا ہے کہ
- اس
- کے ذریعے
- وقت
- اوقات
- کرنے کے لئے
- بتایا
- ٹریننگ
- ترجمہ کریں
- درخت
- پریشانی
- ٹرن
- دیتا ہے
- دوپہر
- کے تحت
- یونیورسٹی
- برعکس
- جب تک
- مختلف
- بہت
- ویڈیو
- ویڈیو گیم
- لنک
- نقطہ نظر
- بصری
- واک تھرو
- چاہتے ہیں
- تھا
- راستہ..
- ہتھیار
- اچھا ہے
- تھے
- کیا
- جب
- جس
- جبکہ
- گے
- ساتھ
- بغیر
- وون
- کام
- کام کر
- بدتر
- گا
- لکھا
- غلط
- لکھا ہے
- ابھی
- یارک
- تم
- اور
- اپنے آپ کو
- زیفیرنیٹ
- زومبی