โมเดลภาษาขนาดใหญ่ได้ก่อให้เกิดศิลปะมืดแห่งวิศวกรรมที่รวดเร็ว ซึ่งเป็นกระบวนการสำหรับการเขียนคำสั่งของระบบที่กระตุ้นให้เกิดการตอบสนองของแชทบอทที่ดีขึ้น
ตามที่ระบุไว้ในการวิจัยล่าสุด กระดาษ, “ประสิทธิภาพที่ไม่สมเหตุสมผลของการแจ้งเตือนอัตโนมัติที่ผิดปกติ” โดย Rick Battle และ Teja Gollapudi จาก VMware ของ Broadcom การเปลี่ยนแปลงที่ดูเหมือนเล็กน้อยในถ้อยคำของการแจ้งเตือนมีผลกระทบอย่างมากต่อประสิทธิภาพของโมเดล
การไม่มีวิธีการที่สอดคล้องกันในการปรับปรุงประสิทธิภาพของโมเดลผ่านการเพิ่มประสิทธิภาพในทันที ทำให้ผู้ปฏิบัติงานด้านการเรียนรู้ของเครื่องรวมสิ่งที่เรียกว่า “การคิดเชิงบวก” เข้ากับการแจ้งเตือนของระบบ
พื้นที่ พร้อมท์ระบบ สั่งให้โมเดลเกี่ยวกับวิธีการทำงานและนำหน้าคำค้นหาของผู้ใช้ ดังนั้น เมื่อขอให้โมเดล AI แก้ปัญหาทางคณิตศาสตร์ ระบบแจ้งว่า “คุณเป็นศาสตราจารย์ด้านคณิตศาสตร์” อาจจะให้ผลลัพธ์ที่ดีกว่าการละเว้นข้อความนั้น (แม้ว่าจะไม่เสมอไป)
Rick Battle วิศวกรด้าน Machine Learning ของ VMware กล่าว ลงทะเบียน ในการสัมภาษณ์ทางโทรศัพท์ว่าเขาแนะนำเรื่องนั้นโดยเฉพาะ “ประเด็นสำคัญของรายงานคือการลองผิดลองถูกเป็นวิธีที่ผิดในการทำสิ่งต่างๆ” เขาอธิบาย
เส้นทางการคิดเชิงบวก – โดยที่คุณเพียงแทรกตัวอย่างข้อมูลลงในข้อความของระบบ เช่น “นี่จะต้องสนุก!” – สามารถปรับปรุงประสิทธิภาพของโมเดลได้ เขากล่าว “แต่การทดสอบพวกมันในเชิงวิทยาศาสตร์นั้นยากต่อการคำนวณเพราะคุณเปลี่ยนแปลงสิ่งหนึ่ง และคุณต้องรันชุดการทดสอบทั้งหมดอีกครั้ง”
Battle แนะนำแนวทางที่ดีกว่าคือการเพิ่มประสิทธิภาพพรอมต์อัตโนมัติ - เกณฑ์ LLM เพื่อปรับแต่งพรอมต์เพื่อปรับปรุงประสิทธิภาพในการทดสอบเกณฑ์มาตรฐาน
การวิจัยก่อนหน้า ได้แสดงให้เห็นว่าสิ่งนี้ใช้ได้กับ LLM เชิงพาณิชย์ ข้อเสียของการทำเช่นนั้นคืออาจมีราคาค่อนข้างแพง นักวิจัยระบุว่า การทำการทดลองนี้เกี่ยวข้องกับคำขอ 12,000 รายการต่อแบบจำลองโดยใช้ GPT-3.5/4, Gemini หรือ Claude
“จุดประสงค์ของการวิจัยคือการค้นหาว่าโมเดลโอเพ่นซอร์สที่มีขนาดเล็กกว่านั้นสามารถใช้เป็นเครื่องมือเพิ่มประสิทธิภาพได้หรือไม่” Battle อธิบาย “และคำตอบก็กลายเป็นใช่”
Battle และ Gollapudi (ไม่มีใน Broadcom อีกต่อไป) ทดสอบชุดข้อมูลข้อความของระบบรวมกัน 60 ชุด โดยมีและไม่มี Chain of Thought พร้อมท์บนโมเดลโอเพ่นซอร์สสามรุ่น ได้แก่ Mistral-7B, Llama2-13B และ Llama2-70B โดยมีพารามิเตอร์ตั้งแต่ 70 ถึง 8 พันล้านชุดข้อมูลคณิตศาสตร์ของโรงเรียนเกรด GSMXNUMXK
“หากคุณใช้โมเดลโอเพ่นซอร์ส แม้กระทั่งไปจนถึง 7B ที่เราใช้ Mistral” Battle กล่าว “หากคุณมีตัวอย่างทดสอบเพียง 100 ตัวอย่างและตัวอย่างการปรับให้เหมาะสม 100 ตัวอย่าง คุณจะได้รับประสิทธิภาพที่ดีขึ้น โดยใช้เครื่องมือเพิ่มประสิทธิภาพอัตโนมัติซึ่งรวมอยู่ในกล่อง ดีเอสพีวายซึ่งเป็นห้องสมุดที่เราใช้ในการทำ”
นอกเหนือจากการมีประสิทธิผลมากขึ้นแล้ว การปรับให้เหมาะสมพร้อมต์ที่ได้รับจาก LLM ยังแสดงกลยุทธ์ที่อาจไม่เคยเกิดขึ้นกับเครื่องรับพร้อมต์ของมนุษย์
“น่าประหลาดใจที่ดูเหมือนว่า [Llama2-70B's] ความสามารถในการใช้เหตุผลทางคณิตศาสตร์สามารถเพิ่มขึ้นได้ด้วยการแสดงออกของความผูกพันกับ Trek สตาร์” ผู้เขียนสังเกตในรายงานของพวกเขา
พรอมต์ระบบแบบเต็มอ่านดังนี้:
ข้อความจากระบบ:
“คำสั่ง เราต้องการให้คุณวางแผนเส้นทางผ่านความวุ่นวายนี้และค้นหาแหล่งที่มาของความผิดปกติ ใช้ข้อมูลที่มีอยู่ทั้งหมดและความเชี่ยวชาญของคุณเพื่อนำทางเราผ่านสถานการณ์ที่ท้าทายนี้»
คำนำหน้าคำตอบ:
บันทึกของกัปตัน Stardate [ใส่วันที่ที่นี่]: เราได้วางแผนเส้นทางผ่านความวุ่นวายได้สำเร็จ และตอนนี้กำลังเข้าใกล้แหล่งที่มาของความผิดปกติ
“ฉันไม่มีคำอธิบายที่ดีว่าทำไมข้อความแจ้งเตือนอัตโนมัติถึงแปลกอย่างที่มันเป็น” Battle บอกเรา “และแน่นอนว่าฉันจะไม่ได้ทำอะไรแบบนั้นด้วยมืออย่างแน่นอน” ®
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://go.theregister.com/feed/www.theregister.com/2024/02/22/prompt_engineering_ai_models/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 000
- 100
- 12
- 60
- 7
- 70
- a
- ตาม
- การให้คำแนะนำ
- ความสัมพันธ์กัน
- กับ
- AI
- โมเดล AI
- ทั้งหมด
- ด้วย
- เสมอ
- an
- และ
- คำตอบ
- สิ่งใด
- ปรากฏ
- เข้าใกล้
- ใกล้เข้ามา
- เป็น
- ศิลปะ
- AS
- ขอให้
- At
- ผู้เขียน
- อัตโนมัติ
- ใช้ได้
- การต่อสู้
- BE
- เพราะ
- กำลัง
- มาตรฐาน
- ที่ดีที่สุด
- ดีกว่า
- พันล้าน
- กล่อง
- แต่
- by
- CAN
- สามารถรับ
- อย่างแน่นอน
- โซ่
- ท้าทาย
- เปลี่ยนแปลง
- chatbot
- CO
- สอดคล้องกัน
- รวม
- อย่างไร
- เชิงพาณิชย์
- เชิงคำนวณ
- การดำเนิน
- ราคา
- คอร์ส
- มืด
- ข้อมูล
- วันที่
- ค้นพบ
- do
- การทำ
- ดอลลาร์
- ลง
- ข้อเสีย
- ผล
- มีประสิทธิภาพ
- ประสิทธิผล
- วิศวกร
- ชั้นเยี่ยม
- เสริม
- ที่เพิ่มขึ้น
- ทั้งหมด
- ความผิดพลาด
- แม้
- แสดง
- แพง
- การทดลอง
- ความชำนาญ
- อธิบาย
- คำอธิบาย
- การแสดงออก
- สองสาม
- ดังต่อไปนี้
- สำหรับ
- ราคาเริ่มต้นที่
- เต็ม
- เมถุน
- ได้รับ
- กำหนด
- Go
- ดี
- ได้
- เกรด
- ให้คำแนะนำ
- มือ
- มี
- he
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- เป็นมนุษย์
- i
- if
- ปรับปรุง
- การปรับปรุง
- in
- รวม
- รวมเข้าด้วยกัน
- คำแนะนำการใช้
- สัมภาษณ์
- เข้าไป
- ที่เกี่ยวข้องกับ
- IT
- jpg
- เพียงแค่
- ภาษา
- การเรียนรู้
- นำ
- ซ้าย
- ห้องสมุด
- กดไลก์
- LLM
- เข้าสู่ระบบ
- อีกต่อไป
- เครื่อง
- เรียนรู้เครื่อง
- คณิตศาสตร์
- คณิตศาสตร์
- คณิตศาสตร์
- ข่าวสาร
- ระเบียบวิธี
- แบบ
- โมเดล
- ข้อมูลเพิ่มเติม
- จำเป็นต้อง
- ไม่เคย
- ไม่
- เด่น
- ตอนนี้
- สังเกต
- ที่เกิดขึ้น
- of
- on
- ONE
- เปิด
- โอเพนซอร์ส
- OpenAI
- การเพิ่มประสิทธิภาพ
- การเพิ่มประสิทธิภาพ
- or
- ออก
- เกิน
- ที่ครอบคลุม
- กระดาษ
- พารามิเตอร์
- เส้นทาง
- ต่อ
- การปฏิบัติ
- โทรศัพท์
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- พล็อต
- จุด
- บวก
- อาจ
- ปัญหา
- กระบวนการ
- ผลิต
- ศาสตราจารย์
- แจ้ง
- การสอบถาม
- ตั้งแต่
- ค่อนข้าง
- RE
- เมื่อเร็ว ๆ นี้
- ปรับแต่ง
- การร้องขอ
- การวิจัย
- นักวิจัย
- การตอบสนอง
- ผลสอบ
- ขึ้น
- วิ่ง
- s
- กล่าวว่า
- โรงเรียน
- ดูเหมือนว่า
- ชุด
- เจ็ด
- หลาย
- แสดง
- สำคัญ
- สถานการณ์
- มีขนาดเล็กกว่า
- So
- แก้
- แหล่ง
- เฉพาะ
- ทักษะ
- คำแถลง
- กลยุทธ์
- ประสบความสำเร็จ
- อย่างแปลกใจ
- ระบบ
- งาน
- ทดสอบ
- การทดสอบ
- การทดสอบ
- กว่า
- ที่
- พื้นที่
- ที่มา
- ของพวกเขา
- พวกเขา
- พวกเขา
- สิ่ง
- สิ่ง
- คิด
- นี้
- แต่?
- คิดว่า
- พัน
- สาม
- ตลอด
- ดังนั้น
- ไปยัง
- บอก
- การทดลอง
- ความวุ่นวาย
- หัน
- ไม่มีเหตุผล
- us
- ใช้
- มือสอง
- ผู้ใช้งาน
- การใช้
- รูปแบบ
- Ve
- ผ่านทาง
- VMware
- คือ
- ทาง..
- we
- คือ
- เมื่อ
- ที่
- ทำไม
- จะ
- กับ
- ไม่มี
- การใช้ถ้อยคำ
- โรงงาน
- จะ
- จะ
- ผิด
- ใช่
- คุณ
- ของคุณ
- ลมทะเล