NeurIPS 2023: ประเด็นสำคัญจากการเสวนาที่ได้รับเชิญ

สร้างด้วย Midjourney

การประชุม NeurIPS 2023 ซึ่งจัดขึ้นในเมืองนิวออร์ลีนส์อันมีชีวิตชีวา ระหว่างวันที่ 10 ถึง 16 ธันวาคม โดยเน้นไปที่ generative AI และโมเดลภาษาขนาดใหญ่ (LLM) เมื่อพิจารณาถึงความก้าวหน้าที่ก้าวล้ำล่าสุดในโดเมนนี้ จึงไม่น่าแปลกใจที่หัวข้อเหล่านี้ครอบงำการอภิปราย

หัวข้อหลักประการหนึ่งของการประชุมในปีนี้คือการแสวงหาระบบ AI ที่มีประสิทธิภาพมากขึ้น นักวิจัยและนักพัฒนาต่างกระตือรือร้นมองหาวิธีสร้าง AI ที่ไม่เพียงแต่เรียนรู้ได้เร็วกว่า LLM ในปัจจุบันเท่านั้น แต่ยังมีความสามารถในการให้เหตุผลที่ได้รับการปรับปรุงในขณะที่ใช้ทรัพยากรคอมพิวเตอร์น้อยลง การแสวงหานี้มีความสำคัญอย่างยิ่งในการแข่งขันเพื่อบรรลุปัญญาประดิษฐ์ทั่วไป (AGI) ซึ่งเป็นเป้าหมายที่ดูเหมือนจะบรรลุได้มากขึ้นในอนาคตอันใกล้

การเสวนาที่ได้รับเชิญที่ NeurIPS 2023 สะท้อนให้เห็นถึงความสนใจที่เปลี่ยนแปลงอย่างรวดเร็วและไม่หยุดนิ่งเหล่านี้ ผู้นำเสนอจากการวิจัย AI ในด้านต่างๆ แบ่งปันความสำเร็จล่าสุดของพวกเขา โดยนำเสนอช่องทางสู่การพัฒนา AI ที่ล้ำสมัย ในบทความนี้ เราจะเจาะลึกการเสวนาเหล่านี้ โดยแยกและอภิปรายประเด็นสำคัญและการเรียนรู้ ซึ่งจำเป็นสำหรับการทำความเข้าใจภูมิทัศน์ของนวัตกรรม AI ในปัจจุบันและอนาคต

NextGenAI: ความเข้าใจผิดของการปรับขนาดและอนาคตของ Generative AI 

In คำพูดของเขาBjörn Ommer หัวหน้ากลุ่มคอมพิวเตอร์วิทัศน์และการเรียนรู้ที่ Ludwig Maximilian University of Munich เล่าว่าห้องทดลองของเขาพัฒนา Stable Diffusion ได้อย่างไร บทเรียนสองสามข้อที่พวกเขาเรียนรู้จากกระบวนการนี้ และการพัฒนาล่าสุด รวมถึงวิธีที่เราสามารถผสมผสานโมเดลการแพร่กระจายเข้ากับ การจับคู่โฟลว์ การเพิ่มการดึงข้อมูล และการประมาณ LoRA และอื่นๆ อีกมากมาย

ประเด็นที่สำคัญ:

• ในยุคของ Generative AI เราย้ายจากการมุ่งเน้นไปที่การรับรู้ในโมเดลการมองเห็น (เช่น การจดจำวัตถุ) ไปสู่การทำนายส่วนที่ขาดหายไป (เช่น การสร้างรูปภาพและวิดีโอด้วยโมเดลการแพร่กระจาย)
• เป็นเวลา 20 ปีแล้วที่คอมพิวเตอร์วิทัศน์มุ่งเน้นไปที่การวิจัยเกณฑ์มาตรฐาน ซึ่งช่วยให้มุ่งเน้นไปที่ปัญหาที่โดดเด่นที่สุด ใน Generative AI เราไม่มีเกณฑ์มาตรฐานใดๆ ที่ต้องปรับให้เหมาะสม ซึ่งเปิดช่องให้ทุกคนเดินไปในทิศทางของตนเอง
• แบบจำลองการแพร่กระจายรวมข้อดีของแบบจำลองกำเนิดก่อนหน้าโดยอิงตามคะแนน เข้ากับขั้นตอนการฝึกอบรมที่มั่นคงและการแก้ไขตัวอย่างที่มีประสิทธิภาพ แต่มีราคาแพงเนื่องจากมีสายโซ่ Markov ที่ยาว
• ความท้าทายที่มีโมเดลความเป็นไปได้สูงคือบิตส่วนใหญ่จะลงรายละเอียดที่ตามนุษย์แทบจะมองไม่เห็น ในขณะที่การเข้ารหัสความหมายซึ่งสำคัญที่สุดนั้นใช้เวลาเพียงไม่กี่บิตเท่านั้น การปรับขนาดเพียงอย่างเดียวไม่สามารถแก้ปัญหานี้ได้ เนื่องจากความต้องการทรัพยากรการประมวลผลเพิ่มขึ้นเร็วกว่าอุปทานของ GPU ถึง 9 เท่า
• วิธีแก้ปัญหาที่แนะนำคือการรวมจุดแข็งของแบบจำลองการแพร่กระจายและ ConvNets โดยเฉพาะอย่างยิ่งประสิทธิภาพของการโน้มน้าวใจในการแสดงรายละเอียดในท้องถิ่นและการแสดงออกของแบบจำลองการแพร่กระจายสำหรับบริบทระยะไกล
• Björn Ommer ยังแนะนำให้ใช้แนวทางการจับคู่การไหลเพื่อให้สามารถสังเคราะห์ภาพที่มีความละเอียดสูงจากแบบจำลองการแพร่กระจายแฝงขนาดเล็ก
• อีกวิธีหนึ่งในการเพิ่มประสิทธิภาพของการสังเคราะห์ภาพคือการมุ่งเน้นไปที่องค์ประกอบของฉากในขณะที่ใช้การเสริมการดึงข้อมูลเพื่อกรอกรายละเอียด
• ในที่สุด เขาได้แนะนำแนวทาง iPoke สำหรับการสังเคราะห์วิดีโอสุ่มแบบควบคุม

หากเนื้อหาเชิงลึกนี้มีประโยชน์สำหรับคุณ สมัครรับจดหมายข่าว AI ของเรา เพื่อรับการแจ้งเตือนเมื่อเราเผยแพร่เนื้อหาใหม่ 

​ใบหน้าที่หลากหลายของ AI ที่มีความรับผิดชอบ 

In การนำเสนอของเธอLora Aroyo นักวิทยาศาสตร์การวิจัยที่ Google Research เน้นย้ำถึงข้อจำกัดสำคัญในแนวทางการเรียนรู้ของเครื่องแบบดั้งเดิม นั่นคือ การพึ่งพาการจัดหมวดหมู่ข้อมูลแบบไบนารีเป็นตัวอย่างเชิงบวกหรือเชิงลบ เธอแย้งว่าการทำให้เข้าใจง่ายเกินไปนี้มองข้ามความเป็นส่วนตัวที่ซับซ้อนซึ่งมีอยู่ในสถานการณ์และเนื้อหาในโลกแห่งความเป็นจริง ด้วยกรณีการใช้งานต่างๆ Aroyo แสดงให้เห็นว่าความคลุมเครือของเนื้อหาและความแปรปรวนตามธรรมชาติในมุมมองของมนุษย์มักจะนำไปสู่ความขัดแย้งที่หลีกเลี่ยงไม่ได้ได้อย่างไร เธอเน้นย้ำถึงความสำคัญของการปฏิบัติต่อความขัดแย้งเหล่านี้เป็นสัญญาณที่มีความหมายมากกว่าเป็นเพียงเสียงรบกวน

ประเด็นสำคัญจากการเสวนามีดังนี้:

• ความขัดแย้งระหว่างคนงานที่เป็นมนุษย์อาจก่อให้เกิดผลได้ แทนที่จะปฏิบัติต่อคำตอบทั้งหมดว่าถูกหรือผิด Lora Aroyo ได้นำเสนอ "ความจริงโดยไม่เห็นด้วย" ซึ่งเป็นแนวทางการกระจายความจริงสำหรับการประเมินความน่าเชื่อถือของข้อมูลโดยควบคุมความขัดแย้งของผู้ประเมิน
• คุณภาพของข้อมูลยังทำได้ยากแม้กับผู้เชี่ยวชาญ เนื่องจากผู้เชี่ยวชาญไม่เห็นด้วยมากพอๆ กับเจ้าหน้าที่ฝูงชน ความขัดแย้งเหล่านี้ให้ความรู้มากกว่าคำตอบจากผู้เชี่ยวชาญเพียงคนเดียว
  • ในงานประเมินความปลอดภัย ผู้เชี่ยวชาญไม่เห็นด้วยกับตัวอย่าง 40% แทนที่จะพยายามแก้ไขข้อขัดแย้งเหล่านี้ เราจำเป็นต้องรวบรวมตัวอย่างดังกล่าวเพิ่มเติม และใช้ตัวอย่างเหล่านั้นเพื่อปรับปรุงแบบจำลองและตัวชี้วัดการประเมิน
• ลอร่า อโรโย ก็ได้นำเสนอผลงานของพวกเขาด้วย ปลอดภัยกับความหลากหลาย วิธีการกลั่นกรองข้อมูลว่ามีอะไรอยู่ในนั้นและใครเป็นผู้ใส่คำอธิบายประกอบ
  • วิธีการนี้สร้างชุดข้อมูลเกณฑ์มาตรฐานที่มีความแปรปรวนในการตัดสินด้านความปลอดภัยของ LLM ในกลุ่มผู้ประเมินทางประชากรศาสตร์ต่างๆ (คะแนนรวม 2.5 ล้านคะแนน)
  • สำหรับ 20% ของการสนทนา เป็นการยากที่จะตัดสินว่าการตอบกลับแชทบอทนั้นปลอดภัยหรือไม่ปลอดภัย เนื่องจากมีผู้ตอบแบบสอบถามจำนวนเท่าๆ กันที่ติดป้ายกำกับว่าปลอดภัยหรือไม่ปลอดภัย
• ความหลากหลายของผู้ประเมินและข้อมูลมีบทบาทสำคัญในการประเมินแบบจำลอง การไม่ยอมรับมุมมองที่หลากหลายของมนุษย์และความคลุมเครือที่มีอยู่ในเนื้อหาสามารถขัดขวางการจัดประสิทธิภาพของการเรียนรู้ของเครื่องกับความคาดหวังในโลกแห่งความเป็นจริง
• 80% ของความพยายามด้านความปลอดภัยของ AI ค่อนข้างดีอยู่แล้ว แต่ 20% ที่เหลือจำเป็นต้องเพิ่มความพยายามเป็นสองเท่าเพื่อจัดการกับ Edge Cases และตัวแปรทั้งหมดในพื้นที่ความหลากหลายอันไม่มีที่สิ้นสุด

​สถิติการเชื่อมโยงกัน ประสบการณ์ที่สร้างขึ้นเอง และเหตุใดมนุษย์รุ่นเยาว์จึงฉลาดกว่า AI ในปัจจุบันมาก 

In คำพูดของเธอลินดา สมิธ ศาสตราจารย์พิเศษแห่งมหาวิทยาลัยอินเดียนา บลูมมิงตัน ได้สำรวจหัวข้อความกระจัดกระจายของข้อมูลในกระบวนการเรียนรู้ของทารกและเด็กเล็ก เธอมุ่งเน้นไปที่การรู้จำวัตถุและการเรียนรู้ชื่อโดยเฉพาะ โดยเจาะลึกว่าสถิติของประสบการณ์ที่เด็กทารกสร้างขึ้นเองนำเสนอวิธีแก้ปัญหาที่เป็นไปได้ต่อความท้าทายเรื่องความกระจัดกระจายของข้อมูลได้อย่างไร

ประเด็นที่สำคัญ:

• เมื่ออายุได้ 16,000 ขวบ เด็กๆ ได้พัฒนาความสามารถในการเป็นผู้เรียนแบบ one-shot ในขอบเขตต่างๆ ในเวลาไม่ถึง 1,000 ชั่วโมงก่อนจะถึงวันเกิดปีที่ XNUMX พวกเขาสามารถเรียนรู้หมวดหมู่ได้มากกว่า XNUMX หมวดหมู่ เชี่ยวชาญไวยากรณ์ของภาษาแม่ของตน และซึมซับความแตกต่างทางวัฒนธรรมและสังคมของสภาพแวดล้อมของพวกเขา
• ดร. ลินดา สมิธและทีมงานของเธอได้ค้นพบหลักการสามประการของการเรียนรู้ของมนุษย์ที่ช่วยให้เด็กๆ สามารถรวบรวมข้อมูลมากมายจากข้อมูลที่กระจัดกระจายดังกล่าว:
  • ผู้เรียนควบคุมข้อมูลนำเข้า ขณะนั้นพวกเขากำลังกำหนดรูปแบบและจัดโครงสร้างข้อมูลนำเข้า ตัวอย่างเช่น ในช่วง XNUMX-XNUMX เดือนแรกของชีวิต เด็กทารกมักจะมองสิ่งของที่มีขอบเรียบๆ มากขึ้น
  • เนื่องจากเด็กทารกมีการพัฒนาความรู้และความสามารถอย่างต่อเนื่อง พวกเขาจึงปฏิบัติตามหลักสูตรที่มีข้อจำกัดสูง ข้อมูลที่พวกเขาเปิดเผยได้รับการจัดระเบียบในลักษณะที่มีนัยสำคัญอย่างยิ่ง ตัวอย่างเช่น เด็กทารกอายุต่ำกว่า 4 เดือนใช้เวลาส่วนใหญ่ในการมองใบหน้า ประมาณ 15 นาทีต่อชั่วโมง ในขณะที่เด็กอายุมากกว่า 12 เดือนจะเน้นที่มือเป็นหลัก โดยสังเกตประมาณ 20 นาทีต่อชั่วโมง
  • ตอนการเรียนรู้ประกอบด้วยชุดของประสบการณ์ที่เชื่อมโยงถึงกัน ความสัมพันธ์เชิงพื้นที่และเชิงเวลาจะสร้างการเชื่อมโยงกัน ซึ่งจะช่วยอำนวยความสะดวกในการก่อตัวของความทรงจำอันยาวนานจากเหตุการณ์ที่เกิดขึ้นเพียงครั้งเดียว ตัวอย่างเช่น เมื่อนำเสนอของเล่นแบบสุ่ม เด็กๆ มักจะมุ่งความสนใจไปที่ของเล่น 'ชิ้นโปรด' สองสามชิ้น พวกเขามีส่วนร่วมกับของเล่นเหล่านี้โดยใช้รูปแบบซ้ำๆ ซึ่งช่วยในการเรียนรู้วัตถุได้เร็วขึ้น
• ความทรงจำชั่วคราว (การทำงาน) ยังคงอยู่นานกว่าการรับความรู้สึก คุณสมบัติที่ส่งเสริมกระบวนการเรียนรู้ ได้แก่ ความหลากหลาย ความสัมพันธ์ ความสัมพันธ์เชิงทำนาย และการเปิดใช้งานความทรงจำในอดีต
• เพื่อการเรียนรู้ที่รวดเร็ว คุณต้องมีพันธมิตรระหว่างกลไกที่สร้างข้อมูลและกลไกที่เรียนรู้

​การร่างภาพ: เครื่องมือหลัก การเพิ่มการเรียนรู้ และความทนทานในการปรับตัว 

Jelani Nelson ศาสตราจารย์ด้านวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ที่ UC Berkeley นำเสนอแนวคิดข้อมูล 'ภาพร่าง' – การแสดงชุดข้อมูลที่บีบอัดด้วยหน่วยความจำซึ่งยังคงสามารถตอบคำถามที่เป็นประโยชน์ได้ แม้ว่าการพูดคุยจะค่อนข้างเป็นเทคนิค แต่ก็ให้ภาพรวมที่ยอดเยี่ยมของเครื่องมือการสเก็ตช์ภาพขั้นพื้นฐาน ซึ่งรวมถึงความก้าวหน้าล่าสุดด้วย

ประเด็นสำคัญ:

• CountSketch ซึ่งเป็นเครื่องมือหลักในการสเก็ตช์ภาพ เปิดตัวครั้งแรกในปี 2002 เพื่อแก้ไขปัญหา "ผู้ตีหนัก" โดยรายงานรายการเล็กๆ น้อยๆ ของรายการที่พบบ่อยที่สุดจากสตรีมรายการที่ระบุ CountSketch เป็นอัลกอริธึมซับลิเนียร์ตัวแรกที่รู้จักซึ่งใช้เพื่อจุดประสงค์นี้
• แอปพลิเคชั่นที่ไม่สตรีมมิ่งสองตัวของผู้ตีหนัก ได้แก่ :
  • Interior point-based method (IPM) ที่ให้อัลกอริทึมที่รู้จักเร็วที่สุดสำหรับการเขียนโปรแกรมเชิงเส้น
  • วิธีการ HyperAttention ที่จัดการกับความท้าทายด้านการคำนวณที่เกิดจากความซับซ้อนที่เพิ่มขึ้นของบริบทแบบยาวที่ใช้ใน LLM
• งานล่าสุดส่วนใหญ่มุ่งเน้นไปที่การออกแบบภาพร่างที่แข็งแกร่งต่อการโต้ตอบแบบปรับตัวได้ แนวคิดหลักคือการใช้ข้อมูลเชิงลึกจากการวิเคราะห์ข้อมูลแบบปรับเปลี่ยนได้

นอกเหนือจากแผงปรับขนาด 

แผงที่ยอดเยี่ยมเกี่ยวกับโมเดลภาษาขนาดใหญ่ ดำเนินรายการโดย Alexander Rush รองศาสตราจารย์ที่ Cornell Tech และนักวิจัยที่ Hugging Face ผู้เข้าร่วมคนอื่นๆ ได้แก่:

• Aakanksha Chowdhery – นักวิทยาศาสตร์การวิจัยที่ Google DeepMind ที่มีความสนใจด้านการวิจัยเกี่ยวกับระบบ การฝึกอบรม LLM ล่วงหน้า และความหลากหลายทางรูปแบบ เธอเป็นส่วนหนึ่งของทีมพัฒนา PaLM, Gemini และ Pathways
• Angela Fan – นักวิทยาศาสตร์การวิจัยที่ Meta Generative AI ที่มีความสนใจด้านการวิจัยในการจัดตำแหน่ง ศูนย์ข้อมูล และการพูดได้หลายภาษา เธอเข้าร่วมในการพัฒนา Llama-2 และ Meta AI Assistant
• Percy Liang – ศาสตราจารย์ที่ Stanford ค้นคว้าเกี่ยวกับผู้สร้าง โอเพ่นซอร์ส และตัวแทนกำเนิด เขาเป็นผู้อำนวยการศูนย์วิจัยโมเดลพื้นฐาน (CRFM) ที่สแตนฟอร์ด และเป็นผู้ก่อตั้ง Together AI

การอภิปรายมุ่งเน้นไปที่สี่หัวข้อหลัก: (1) สถาปัตยกรรมและวิศวกรรม (2) ข้อมูลและการจัดตำแหน่ง (3) การประเมินและความโปร่งใส และ (4) ผู้สร้างและผู้มีส่วนร่วม

นี่คือประเด็นบางส่วนจากการสำรวจครั้งนี้:

• การฝึกอบรมโมเดลภาษาในปัจจุบันไม่ใช่เรื่องยาก ความท้าทายหลักในการฝึกฝนโมเดลอย่าง Llama-2-7b นั้นอยู่ที่ข้อกำหนดด้านโครงสร้างพื้นฐานและความจำเป็นในการประสานงานระหว่าง GPU หลายตัว ศูนย์ข้อมูล ฯลฯ อย่างไรก็ตาม หากจำนวนพารามิเตอร์น้อยพอที่จะทำให้สามารถฝึกฝนบน GPU ตัวเดียวได้ แม้แต่ระดับปริญญาตรีก็สามารถจัดการได้
• แม้ว่าโมเดลการถดถอยอัตโนมัติมักใช้สำหรับการสร้างข้อความและโมเดลการแพร่กระจายสำหรับการสร้างรูปภาพและวิดีโอ แต่ก็มีการทดลองด้วยการย้อนกลับแนวทางเหล่านี้ โดยเฉพาะในโครงการ Gemini แบบจำลองการถดถอยอัตโนมัติจะถูกนำมาใช้สำหรับการสร้างภาพ มีการสำรวจการใช้แบบจำลองการแพร่กระจายสำหรับการสร้างข้อความด้วย แต่สิ่งเหล่านี้ยังไม่ได้พิสูจน์ว่ามีประสิทธิภาพเพียงพอ
• เนื่องจากข้อมูลภาษาอังกฤษสำหรับแบบจำลองการฝึกอบรมมีจำกัด นักวิจัยจึงกำลังสำรวจแนวทางอื่น ความเป็นไปได้ประการหนึ่งคือการฝึกอบรมโมเดลหลายรูปแบบโดยใช้ข้อความ วิดีโอ รูปภาพ และเสียง โดยคาดหวังว่าทักษะที่เรียนรู้จากรูปแบบทางเลือกเหล่านี้อาจถ่ายโอนไปยังข้อความได้ อีกทางเลือกหนึ่งคือการใช้ข้อมูลสังเคราะห์ สิ่งสำคัญคือต้องทราบว่าข้อมูลสังเคราะห์มักจะผสมผสานเข้ากับข้อมูลจริง แต่การบูรณาการนี้ไม่ได้เกิดขึ้นแบบสุ่ม โดยทั่วไปข้อความที่เผยแพร่ทางออนไลน์จะต้องผ่านการดูแลจัดการและการแก้ไขโดยมนุษย์ ซึ่งอาจเพิ่มมูลค่าเพิ่มเติมให้กับการฝึกโมเดล
• โมเดล Open Foundation มักถูกมองว่าเป็นประโยชน์ต่อนวัตกรรม แต่อาจเป็นอันตรายต่อความปลอดภัยของ AI เนื่องจากโมเดลเหล่านี้สามารถถูกนำไปใช้โดยผู้ไม่ประสงค์ดีได้ อย่างไรก็ตาม ดร. เพอร์ซี เหลียง ให้เหตุผลว่าแบบจำลองแบบเปิดยังส่งผลดีต่อความปลอดภัยอีกด้วย เขาแย้งว่าการเข้าถึงได้ทำให้นักวิจัยมีโอกาสทำการวิจัยด้านความปลอดภัยของ AI มากขึ้นและทบทวนแบบจำลองเพื่อหาช่องโหว่ที่อาจเกิดขึ้น
• ทุกวันนี้ การใส่คำอธิบายประกอบข้อมูลต้องการความเชี่ยวชาญในโดเมนคำอธิบายประกอบมากขึ้นอย่างมาก เมื่อเทียบกับเมื่อห้าปีที่แล้ว อย่างไรก็ตาม หากผู้ช่วย AI ทำงานตามที่คาดหวังไว้ในอนาคต เราจะได้รับข้อมูลตอบรับอันมีค่าจากผู้ใช้มากขึ้น ซึ่งช่วยลดการพึ่งพาข้อมูลจำนวนมากจากผู้อธิบายประกอบ

​ระบบสำหรับแบบจำลองฐานราก และแบบจำลองฐานรากสำหรับระบบ 

In คำพูดนี้, Christopher Ré รองศาสตราจารย์ในภาควิชาวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยสแตนฟอร์ด แสดงให้เห็นว่าแบบจำลองพื้นฐานเปลี่ยนแปลงระบบที่เราสร้างอย่างไร นอกจากนี้เขายังสำรวจวิธีการสร้างโมเดลพื้นฐานอย่างมีประสิทธิภาพ ยืมข้อมูลเชิงลึกจากการวิจัยระบบฐานข้อมูล และอภิปรายการสถาปัตยกรรมที่อาจมีประสิทธิภาพมากกว่าสำหรับโมเดลพื้นฐานมากกว่า Transformer

ประเด็นสำคัญจากการพูดคุยครั้งนี้มีดังนี้:

• แบบจำลองพื้นฐานมีประสิทธิภาพในการแก้ปัญหา 'การตายถึง 1000 ครั้ง' ซึ่งแต่ละงานอาจจะค่อนข้างง่าย แต่ความกว้างและความหลากหลายของงานถือเป็นความท้าทายที่สำคัญ ตัวอย่างที่ดีของปัญหานี้คือปัญหาการล้างข้อมูล ซึ่งขณะนี้ LLM สามารถช่วยแก้ไขได้อย่างมีประสิทธิภาพมากขึ้น
• เมื่อคันเร่งเร็วขึ้น หน่วยความจำมักจะกลายเป็นคอขวด นี่เป็นปัญหาที่นักวิจัยฐานข้อมูลจัดการมานานหลายทศวรรษ และเราสามารถนำกลยุทธ์บางอย่างของพวกเขาไปปรับใช้ได้ ตัวอย่างเช่น วิธีการ Flash Attention ช่วยลดกระแสอินพุต-เอาท์พุตผ่านการบล็อกและการรวมข้อมูลเชิงรุก: เมื่อใดก็ตามที่เราเข้าถึงข้อมูลชิ้นหนึ่ง เราจะดำเนินการกับข้อมูลนั้นให้มากที่สุดเท่าที่จะเป็นไปได้
• มีสถาปัตยกรรมคลาสใหม่ซึ่งมีรากฐานมาจากการประมวลผลสัญญาณ ซึ่งอาจมีประสิทธิภาพมากกว่ารุ่น Transformer โดยเฉพาะอย่างยิ่งในการจัดการลำดับที่ยาว การประมวลผลสัญญาณให้ความเสถียรและประสิทธิภาพ โดยวางรากฐานสำหรับโมเดลที่เป็นนวัตกรรมใหม่ เช่น S4

การเรียนรู้การเสริมกำลังออนไลน์ในการแทรกแซงด้านสุขภาพดิจิทัล 

In คำพูดของเธอSusan Murphy ศาสตราจารย์ด้านสถิติและวิทยาการคอมพิวเตอร์ที่ Harvard University ได้แบ่งปันวิธีแก้ปัญหาแรกๆ ให้กับความท้าทายที่พวกเขาเผชิญในการพัฒนาอัลกอริทึม RL ออนไลน์เพื่อใช้ในการแทรกแซงด้านสุขภาพดิจิทัล

ต่อไปนี้เป็นประเด็นเล็กๆ น้อยๆ จากการนำเสนอ:

• ดร.ซูซาน เมอร์ฟีย์กล่าวถึงสองโครงการที่เธอกำลังทำอยู่:
  • HeartStep ซึ่งมีการแนะนำกิจกรรมตามข้อมูลจากสมาร์ทโฟนและอุปกรณ์ติดตามที่สวมใส่ได้ และ
  • การบำบัดช่องปากสำหรับการฝึกสอนด้านสุขภาพช่องปาก โดยการแทรกแซงจะขึ้นอยู่กับข้อมูลการมีส่วนร่วมที่ได้รับจากแปรงสีฟันไฟฟ้า
• ในการพัฒนานโยบายพฤติกรรมสำหรับตัวแทน AI นักวิจัยจะต้องตรวจสอบให้แน่ใจว่านโยบายดังกล่าวเป็นแบบอัตโนมัติและสามารถนำไปใช้ในระบบการดูแลสุขภาพในวงกว้างได้อย่างเป็นไปได้ สิ่งนี้ทำให้มั่นใจได้ว่าเวลาที่ต้องใช้ในการมีส่วนร่วมของแต่ละบุคคลนั้นสมเหตุสมผล และการดำเนินการที่แนะนำนั้นมีความถูกต้องตามหลักจริยธรรมและเป็นไปได้ทางวิทยาศาสตร์
• ความท้าทายหลักในการพัฒนาตัวแทน RL สำหรับการแทรกแซงด้านสุขภาพดิจิทัล ได้แก่ การจัดการกับระดับเสียงที่สูง เนื่องจากผู้คนดำเนินชีวิตและอาจไม่สามารถตอบสนองต่อข้อความได้เสมอไป แม้ว่าพวกเขาต้องการ เช่นเดียวกับการจัดการผลกระทบด้านลบที่รุนแรงและล่าช้า .

อย่างที่คุณเห็น NeurIPS 2023 ได้ให้ข้อมูลเชิงลึกเกี่ยวกับอนาคตของ AI การเสวนาที่ได้รับเชิญเน้นย้ำถึงแนวโน้มไปสู่แบบจำลองที่มีประสิทธิภาพและคำนึงถึงทรัพยากรมากขึ้น และการสำรวจสถาปัตยกรรมใหม่ๆ ที่นอกเหนือไปจากกระบวนทัศน์แบบดั้งเดิม

สนุกกับบทความนี้? ลงทะเบียนเพื่อรับการอัปเดตการวิจัย AI เพิ่มเติม

เราจะแจ้งให้คุณทราบเมื่อเราเผยแพร่บทความสรุปเพิ่มเติมเช่นนี้

ที่เกี่ยวข้อง

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://www.topbots.com/neurips-2023-invited-talks/