การเพิ่มขึ้นของผู้เชี่ยวชาญด้านโดเมนในการเรียนรู้เชิงลึก

Jeremy Howard เป็นนักวิจัยด้านปัญญาประดิษฐ์และผู้ร่วมก่อตั้ง fast.ai, แพลตฟอร์มสำหรับผู้ที่ไม่ใช่ผู้เชี่ยวชาญในการเรียนรู้ปัญญาประดิษฐ์และการเรียนรู้ของเครื่อง ก่อนที่จะเริ่มต้น fast.ai เขาได้ก่อตั้งบริษัทหลายแห่ง รวมถึง FastMail และ Enlitic ซึ่งเป็นผู้บุกเบิกการนำการเรียนรู้เชิงลึกมาใช้กับวงการแพทย์ และเป็นประธานและหัวหน้านักวิทยาศาสตร์ของ Kaggle แพลตฟอร์มการแข่งขันแมชชีนเลิร์นนิง 

ในบทสัมภาษณ์นี้ Howard กล่าวถึงความหมายของอุตสาหกรรมต่างๆ และแม้แต่ภูมิภาคทั่วโลกที่ผู้คนที่ไม่มีปริญญาเอกจากห้องปฏิบัติการวิจัยเฉพาะทางสามารถสร้างและทำงานกับแบบจำลองการเรียนรู้เชิงลึกได้ ท่ามกลางหัวข้ออื่นๆ ภายใต้แนวคิดกว้างๆ นี้ เขาแบ่งปันความคิดของเขาเกี่ยวกับวิธีการให้ทันกับเทคนิคที่ล้ำหน้าที่สุด วิศวกรรมที่ทันท่วงทีเป็นชุดทักษะใหม่ และข้อดีและข้อเสียของระบบการสร้างโค้ดอย่าง Codex

---

อนาคต: หลังจากทำงาน fast.ai ในช่วงหลายปีที่ผ่านมา คุณเห็นว่าการมีคนจำนวนมากขึ้นคุ้นเคยกับแนวคิดพื้นฐานของการเรียนรู้เชิงลึกมากขึ้นอย่างไร เมื่อเทียบกับเมื่อหลายปีก่อนเมื่อผู้ที่มีความรู้เป็นยูนิคอร์น

เจเรมี ฮาวเวิร์ด: เมื่อเราเริ่มต้น fast.ai มีห้องปฏิบัติการวิจัยที่สำคัญของมหาวิทยาลัย XNUMX แห่งที่ทำงานเกี่ยวกับการเรียนรู้เชิงลึก และมีเพียงคนเดียวที่รู้วิธีการทำเกือบทุกอย่างด้วยการเรียนรู้เชิงลึกคือคนที่อยู่ที่หรือเคยอยู่ในห้องปฏิบัติการทั้งห้านั้น . โดยรวมแล้วโค้ดไม่ได้ถูกเผยแพร่ นับประสาข้อมูลเพียงอย่างเดียว และแม้แต่เอกสารก็ไม่ได้เผยแพร่รายละเอียดเกี่ยวกับวิธีการทำให้มันใช้งานได้จริง ส่วนหนึ่งเป็นเพราะสถานที่ทางวิชาการไม่ค่อยสนใจเรื่องการนำไปปฏิบัติจริงมากนัก เน้นทฤษฏีมาก 

เมื่อเราเริ่มต้น มันเป็นคำถามที่คาดเดาได้มากว่า "เป็นไปได้ไหมที่จะทำการเรียนรู้เชิงลึกระดับโลกโดยไม่ใช้ปริญญาเอก" ตอนนี้เรารู้แล้วว่าคำตอบคือ ใช่; เราแสดงให้เห็นว่าในหลักสูตรแรกของเรา ศิษย์เก่าคนแรกของเรายังคงสร้างสิทธิบัตรโดยใช้การเรียนรู้เชิงลึก เพื่อสร้างบริษัทโดยใช้การเรียนรู้เชิงลึก และเผยแพร่ในสถานที่ชั้นนำโดยใช้การเรียนรู้เชิงลึก 

ฉันคิดว่าคำถามของคุณถูกต้องแล้ว ซึ่งเกี่ยวกับสิ่งที่จะเกิดขึ้นเมื่อผู้เชี่ยวชาญด้านโดเมนกลายเป็นผู้ปฏิบัติงานการเรียนรู้เชิงลึกที่มีประสิทธิภาพ นั่นคือสิ่งที่เราเห็นสิ่งที่น่าสนใจที่สุดที่เกิดขึ้น โดยทั่วไปแล้ว การเริ่มต้นที่ดีที่สุดคือสิ่งที่สร้างขึ้นโดยคนที่มีอาการคันจนเป็นรอย พวกเขาเคยเป็นนายหน้า ดังนั้นพวกเขากำลังเริ่มต้นการสรรหา หรือพวกเขาเคยเป็นทนาย ดังนั้นพวกเขากำลังเริ่มต้นทางกฎหมาย หรืออะไรก็ตาม และพวกเขาก็แบบว่า “โอ้ ฉันเกลียดสิ่งนี้เกี่ยวกับงานที่ฉันมี และตอนนี้ฉันรู้เกี่ยวกับการเรียนรู้เชิงลึกแล้ว ฉันรู้แล้วว่าเกือบจะทำให้ทุกอย่างเป็นไปโดยอัตโนมัติ”

นักเรียนของเราจำนวนมากกำลังทำหรือสำเร็จการศึกษาระดับปริญญาเอก แต่ไม่ได้อยู่ในวิชาคณิตศาสตร์หรือวิทยาการคอมพิวเตอร์ แต่พวกเขากำลังทำในเคมีสารสนเทศ โปรตีโอมิกส์ วารสารศาสตร์ข้อมูล หรืออะไรก็ตาม และเรามักพบว่าพวกเขาสามารถนำการวิจัยไปสู่อีกระดับหนึ่งได้ ตัวอย่างเช่น เรากำลังเริ่มเห็นฐานข้อมูลขนาดใหญ่และคลังข้อมูลของสื่อห้องสมุดสาธารณะเริ่มปรากฏบนอินเทอร์เน็ตเป็นครั้งแรก และมีคนในสาขานั้น เช่น บรรณารักษศาสตร์ ซึ่งตอนนี้กำลังทำสิ่งต่าง ๆ ที่ไม่เคยเกิดขึ้นกับใครเลยว่าพวกเขาจะทำอะไรได้ในระดับนั้นมาก่อน แต่จู่ๆ ก็ประมาณว่า “พระเจ้าช่วย ดูซิว่าเมื่อวิเคราะห์ห้องสมุดเป็น จะเกิดอะไรขึ้น สิ่ง". 

ฉันเป็นผู้บรรยายในการประชุมการเลี้ยงสัตว์ที่ทุกคนกำลังพูดถึงการเรียนรู้เชิงลึก สำหรับฉัน นั่นเป็นการใช้งานที่ไม่ชัดเจนจริงๆ แต่สำหรับพวกเขา มันเป็นการใช้งานที่ชัดเจนที่สุด ผู้คนกำลังใช้มันเพื่อแก้ปัญหาในโลกแห่งความเป็นจริงโดยใช้ข้อมูลในโลกแห่งความเป็นจริงภายใต้ข้อจำกัดในโลกแห่งความเป็นจริง

จากประสบการณ์ของผมในช่วงไม่กี่ปีที่ผ่านมา การเรียนรู้เชิงลึกสามารถประยุกต์ใช้ได้กับแทบทุกอุตสาหกรรม — ไม่ ทุกๆ เป็นส่วนหนึ่งของ ทุกๆ อุตสาหกรรม แต่ บาง ชิ้นส่วนของ แทบทุก อุตสาหกรรม. 

เราได้รู้จักชายคนหนึ่งที่เคยทำสิ่งที่น่าสนใจมากมายเกี่ยวกับการวินิจฉัยโรคมาลาเรีย ซึ่งอย่างที่คุณจินตนาการได้ ไม่ใช่ปัญหาหลักที่ผู้คนในซานฟรานซิสโกพยายามแก้ไข

ดูเหมือนว่าการผกผันของฐานความรู้ - การเรียนรู้เชิงลึกในขณะนี้เป็นส่วนเสริมของความเชี่ยวชาญในโดเมน - สามารถเปลี่ยนความสมดุลระหว่างทฤษฎีและการประยุกต์ใช้

ใช่แล้วคุณจะเห็นสิ่งนั้นเกิดขึ้น สิ่งที่ยิ่งใหญ่อย่างหนึ่งในยุคแรกๆ ของการเรียนรู้อย่างลึกซึ้งคืองานของ Google Brain ซึ่งพวกเขาวิเคราะห์วิดีโอ YouTube จำนวนมากและพบว่า แมวเป็นปัจจัยแฝง ในวิดีโอมากมาย โมเดลของพวกเขาเรียนรู้ที่จะรู้จักแมวเพราะมันเห็นพวกมันมากมาย และนั่นเป็นงานที่น่าสนใจมาก แต่ไม่มีใครออกไปและสร้างบริษัทขึ้นมา 

สิ่งที่คน คือ การสร้าง - มีประโยชน์อีกครั้ง แต่ในบางพื้นที่ - เช่นการค้นหารูปภาพของ Google และ Apple ทำได้ค่อนข้างดีอย่างรวดเร็วเพราะคุณสามารถค้นหาสิ่งต่าง ๆ ที่อยู่ในภาพถ่ายได้จริง นั่นเป็นประโยชน์จริงๆ และนั่นคือสิ่งที่ทุกคนพยายามทำ ไม่ว่าจะเป็นสิ่งที่เป็นนามธรรมจริงๆ หรือสิ่งที่เป็นปัญหาในโลกที่หนึ่ง ไม่มีอะไรผิดปกติ แต่มีหลายอย่างที่ต้องแก้ไขเช่นกัน 

ดังนั้นฉันจึงตื่นเต้นมาก เมื่อผ่านไปสองสามปี ฉันได้ดูข้อมูลประชากรของผู้คนที่ทำตามหลักสูตรของเรา และพบว่าเมืองที่ใหญ่ที่สุดแห่งหนึ่งนอกสหรัฐอเมริกาคือลากอส [เมืองหลวงของไนจีเรีย] ฉันคิดว่ามันยอดเยี่ยมมากเพราะเป็นชุมชนที่ไม่เคยทำ Deep Learning มาก่อน ฉันถามผู้คนในหลักสูตรแรกว่า "มีใครมาจากแอฟริกาบ้างไหม" และฉันคิดว่ามีชายคนหนึ่งจากไอวอรีโคสต์ที่ต้องเผาสิ่งต่างๆ ลงซีดีรอมในห้องสมุดของเขา เพราะพวกเขาไม่มีการเชื่อมต่ออินเทอร์เน็ตเพียงพอ ดังนั้นมันจึงเติบโตอย่างรวดเร็วจริงๆ

แล้วมันก็ดีเพราะเราเริ่มให้กลุ่มคนจากยูกันดา เคนยา และไนจีเรียบินไปที่ซานฟรานซิสโกเพื่อทำหลักสูตรแบบตัวต่อตัวและทำความรู้จักกัน เราได้รู้จักกับผู้ชายคนหนึ่ง เช่น ซึ่งเคยทำสิ่งที่น่าสนใจมากมายเกี่ยวกับการวินิจฉัยโรคมาลาเรีย ซึ่งอย่างที่คุณจินตนาการได้ ไม่ใช่ปัญหาหลักที่ผู้คนในซานฟรานซิสโกพยายามแก้ไข

สำหรับฉันรู้สึกว่าการมีโมเดลภาษาขนาดใหญ่ 16 แบบที่ฝึกบน 5% ของอินเทอร์เน็ตนั้นเหมือนกับมีท่อน้ำ 16 ท่อเข้ามาในบ้านของคุณและสายไฟ 16 ชุดเข้ามาในบ้านของคุณ 

เส้นทางอาชีพโดยเฉลี่ยของคนที่มาจากโปรแกรมการเรียนรู้เชิงลึกเช่นคุณเป็นอย่างไร

มันมีความหลากหลายมาก มันเปลี่ยนไปมากจริงๆ จากช่วงแรกๆ เมื่อเป็นเพียงกรอบความคิดแบบรับบุตรบุญธรรมขั้นสูงสุด — ผู้ที่ส่วนใหญ่เป็นทั้งผู้ประกอบการหรือปริญญาเอกและ postdocs ยุคแรกๆ และผู้ที่รักการค้นคว้าที่ล้ำสมัยและลองสิ่งใหม่ ๆ ไม่ใช่แค่ผู้ที่เริ่มใช้งานในช่วงแรกอีกต่อไปแล้ว แต่ยังเป็นกลุ่มคนที่พยายามไล่ตามหรือตามให้ทันกับวิธีที่อุตสาหกรรมของพวกเขากำลังดำเนินไป

ทุกวันนี้มีคนจำนวนมากที่เป็นเหมือน “โอ้พระเจ้า ฉันรู้สึกเหมือนการเรียนรู้เชิงลึกเริ่มที่จะทำลายความเชี่ยวชาญในอุตสาหกรรมของฉัน ผู้คนกำลังทำสิ่งต่าง ๆ ด้วยการเรียนรู้อย่างลึกซึ้งซึ่งฉันนึกไม่ถึง และฉันก็ไม่อยากพลาด” บางคนมองไปข้างหน้าอีกหน่อย และพวกเขามากกว่า เช่น "ไม่มีใครใช้การเรียนรู้เชิงลึกในอุตสาหกรรมของฉันจริงๆ แต่ฉันนึกไม่ออกว่านี่คือ หนึ่ง อุตสาหกรรมที่ ไม่ จะได้รับผลกระทบ ดังนั้นฉันต้องการเป็นคนแรก” 

บางคนมีไอเดียสำหรับบริษัทที่ต้องการสร้างอย่างแน่นอน 

อีกสิ่งหนึ่งที่เราได้รับมากคือบริษัทต่างๆ ที่ส่งทีมวิจัยหรือทีมวิศวกรรมมาทำหลักสูตรเพียงเพราะพวกเขารู้สึกว่านี่เป็นความสามารถขององค์กรที่พวกเขาควรมี และมีประโยชน์อย่างยิ่งกับ API ออนไลน์ที่ผู้คนสามารถเล่นได้ — Codex or DALL-E หรืออะไรก็ตาม — และรู้สึกว่า “โอ้ นี่มันเหมือนกับบางสิ่งที่ฉันทำในงานของฉัน แต่มันแตกต่างออกไปเล็กน้อยถ้าฉันสามารถปรับแต่งมันในลักษณะเหล่านี้ได้” 

อย่างไรก็ตาม โมเดลเหล่านี้ยังมีผลข้างเคียงที่น่าเสียดาย ที่บางที การเพิ่มแนวโน้มให้ผู้คนรู้สึกว่านวัตกรรม AI มีไว้สำหรับบริษัทขนาดใหญ่เท่านั้น และนั่นก็อยู่นอกเหนือความสามารถของพวกเขา พวกเขาอาจเลือกที่จะเป็นผู้บริโภคเทคโนโลยีที่ไม่โต้ตอบเพราะพวกเขาไม่เชื่อว่าตนเองมีความสามารถในการสร้างสิ่งที่ดีกว่าที่ Google หรือ OpenAI สร้างขึ้น

โมเดลที่ตัดสินใจว่าคุณชอบดูหนังหรือไม่ และโมเดลที่สามารถสร้างไฮกุได้จะเหมือนกันถึง 98% . . เป็นเรื่องยากมากที่เราต้องฝึกโมเดลขนาดใหญ่ตั้งแต่เริ่มต้นบนอินเทอร์เน็ตที่กว้างใหญ่

แม้ว่าจะเป็นกรณีนี้ – หากคุณไม่สามารถสร้าง OpenAI หรือ Google ได้ดีกว่า – แน่นอนว่ามีวิธีใช้ประโยชน์จากสิ่งที่พวกเขาทำ การเข้าถึง API ไปยังโมเดลที่ทรงพลังอย่างไม่น่าเชื่อใช่ไหม

สิ่งแรกที่จะพูดคือ มันไม่เป็นความจริงอย่างน้อยก็ไม่ใช่ในแง่ทั่วไป ขณะนี้มีการฝึกอบรม AI แบบแบ่งเป็นสองส่วน: มีด้าน Google และ OpenAI ซึ่งเป็นทั้งหมดที่เกี่ยวกับการสร้างแบบจำลองที่มีลักษณะทั่วไปมากที่สุด และเกือบทุกครั้ง นักวิจัยเหล่านี้มีเป้าหมายในการเข้าสู่ AGI โดยเฉพาะ ฉันไม่ได้แสดงความคิดเห็นว่าดีหรือไม่ดี มันส่งผลให้เป็นสิ่งประดิษฐ์ที่มีประโยชน์สำหรับคนธรรมดาอย่างเรา ไม่เป็นไร 

อย่างไรก็ตาม มีเส้นทางที่แตกต่างกันโดยสิ้นเชิง ซึ่งเป็นเส้นทางที่นักเรียนของเราเกือบทั้งหมดใช้ นั่นคือ “ฉันจะแก้ปัญหาในโลกแห่งความเป็นจริงของผู้คนในชุมชนของฉันให้เป็นจริงได้อย่างไร” และมีความทับซ้อนกันน้อยกว่าที่คุณคิด ระหว่างสองวิธี ชุดข้อมูล สองเทคนิค

ในโลกของฉัน เราไม่เคยฝึกโมเดลตั้งแต่เริ่มต้น โดยพื้นฐานแล้ว มันปรับจูนได้เสมอ ดังนั้นเราจึงใช้ประโยชน์จากงานของยักษ์ใหญ่อย่างแน่นอน แต่โมเดลที่สามารถดาวน์โหลดได้ฟรีอยู่เสมอ อย่างเช่นโมเดลภาษาโอเพ่นซอร์สขนาดใหญ่ผ่าน บิ๊กไซเอนซ์ มีประโยชน์มากสำหรับสิ่งนั้น 

อย่างไรก็ตาม พวกเขาอาจจะตามหลังยักษ์ใหญ่ 6 ถึง 12 เดือน จนกระทั่งบางทีเราอาจพบวิธีที่เป็นประชาธิปไตยมากกว่านี้ในการทำเช่นนี้ สำหรับฉันรู้สึกว่าการมีโมเดลภาษาขนาดใหญ่ 16 แบบที่ฝึกบน 5% ของอินเทอร์เน็ตนั้นเหมือนกับมีท่อน้ำ 16 ท่อเข้ามาในบ้านของคุณและสายไฟ 16 ชุดเข้ามาในบ้านของคุณ รู้สึกว่าควรเป็นสาธารณประโยชน์มากกว่า การแข่งขันเป็นเรื่องดี แต่คงจะดีถ้ามีความร่วมมือที่ดีขึ้น ดังนั้นเราจึงไม่ต้องเสียเวลาทำสิ่งเดียวกัน

ใช่แล้ว เราลงเอยด้วยการปรับแต่ง โมเดลที่คนอื่นสร้างขึ้นเพื่อจุดประสงค์เฉพาะของเรา และมันก็เหมือนกับว่าจีโนมมนุษย์กับจีโนมของลิงเกือบจะเหมือนกันหมด ยกเว้นแค่สองสามเปอร์เซ็นต์ที่นี่และที่นั่น ซึ่งจริงๆ แล้วกลับกลายเป็นว่าสร้างความแตกต่างอย่างมาก มันเหมือนกันกับโครงข่ายประสาท: แบบจำลองที่ตัดสินใจว่าคุณดูเหมือนจะชอบภาพยนตร์หรือไม่และแบบจำลองที่สามารถสร้างไฮกุได้จะเหมือนกัน 98% เพราะส่วนใหญ่เกี่ยวกับการทำความเข้าใจโลกและการเข้าใจภาษาและสิ่งต่างๆ . เป็นเรื่องยากมากที่เราต้องฝึกโมเดลขนาดใหญ่ตั้งแต่เริ่มต้นบนอินเทอร์เน็ตที่กว้างใหญ่

และนั่นเป็นเหตุผลว่าทำไมคุณถึงเป็นอย่างนั้น สามารถ แข่งขันกับ Google และ OpenAI — เพราะพวกเขาอาจจะไม่ได้อยู่ในพื้นที่ของคุณด้วยซ้ำ หากคุณกำลังพยายามสร้างบางสิ่งเพื่อทำให้งานของทนายทนายเป็นอัตโนมัติ หรือช่วยวางแผนรับมือภัยพิบัติ หรือสร้างความเข้าใจที่ดีขึ้นเกี่ยวกับภาษาที่เกี่ยวกับเพศสภาพในช่วง 100 ปีที่ผ่านมาหรืออะไรก็ตาม คุณไม่ได้แข่งขันกับ Google แสดงว่าคุณกำลังแข่งขัน ด้วยช่องที่อยู่ในโดเมนของคุณ

ขณะนี้มีทักษะการเขียนโปรแกรมที่สำคัญในการรู้วิธีดำเนินการให้เร็วขึ้น . . โดยเก่งมากในการแสดงความคิดเห็น Codex ที่ถูกต้อง . . สำหรับคนจำนวนมาก นั่นอาจเป็นสิ่งที่มีค่ามากกว่าที่ควรเรียนรู้ในทันที มากกว่าการเขียนโค้ดให้เก่งจริงๆ

การติดตามความก้าวหน้าทั้งหมดในพื้นที่ AI มีความสำคัญเพียงใด โดยเฉพาะอย่างยิ่งหากคุณทำงานกับมันในระดับที่เล็กกว่า

ไม่มีใครสามารถติดตามความก้าวหน้าทั้งหมดได้ คุณต้องตามให้ทัน บาง ก้าวหน้า แต่เทคนิคจริงที่เรากำลังดำเนินการเปลี่ยนแปลง ทุกวันนี้ ช้ามาก จำนวนความแตกต่างระหว่างหลักสูตร fast.ai ปี 2017 และหลักสูตร fast.ai ปี 2018 มีมากมาย และระหว่างหลักสูตรปี 2018 ถึง 2019 มีจำนวนมาก-ish. ปัจจุบันมีการเปลี่ยนแปลงเพียงเล็กน้อยในช่วงสองสามปี

สิ่งที่เราคิดว่ามีความสำคัญจริงๆ เช่น การเพิ่มขึ้นของ สถาปัตยกรรมหม้อแปลงไฟฟ้าตัวอย่างเช่น จริงๆ แล้วตอนนี้มีอายุหลายปีแล้ว และส่วนใหญ่เป็นเพียงแค่เลเยอร์เครือข่ายนิวรัลแบบฟีดฟอร์เวิร์ดแบบธรรมดาที่คั่นกลาง และบางส่วน dot-ผลิตภัณฑ์. ดีมาก แต่สำหรับคนอยากเข้าใจ ใครที่เข้าใจแล้ว คอนเนต, ตาข่ายกำเริบและพื้นฐาน การรับรู้หลายชั้นก็เหมือนทำงานไม่กี่ชั่วโมง

สิ่งที่ยิ่งใหญ่อย่างหนึ่งที่เกิดขึ้นในช่วงสองสามปีที่ผ่านมาคือผู้คนจำนวนมากขึ้นเริ่มเข้าใจแง่มุมในทางปฏิบัติของการฝึกโมเดลอย่างมีประสิทธิภาพ ตัวอย่างเช่น DeepMind เมื่อเร็วๆ นี้ ปล่อยกระดาษ ที่แสดงให้เห็นโดยพื้นฐานแล้วโมเดลภาษาทั้งหมดมีประสิทธิภาพน้อยกว่าที่ควรจะเป็นอย่างมาก แท้จริงแล้วเพราะพวกเขาไม่ได้ทำสิ่งพื้นฐานบางอย่าง Facebook — และโดยเฉพาะอย่างยิ่ง ผู้ฝึกงาน Facebook เป็นผู้เขียนหลักในรายงาน — สร้างสิ่งที่เรียกว่า ConvNXtซึ่งโดยพื้นฐานแล้วพูดว่า "นี่คือสิ่งที่จะเกิดขึ้นหากเราใช้โครงข่ายประสาทเทียมแบบปกติและใส่การปรับแต่งที่ชัดเจนซึ่งทุกคนรู้" และโดยพื้นฐานแล้วพวกมันคือโมเดลรูปภาพที่ล้ำสมัยในตอนนี้ 

ใช่แล้ว การติดตามข้อมูลพื้นฐานเกี่ยวกับวิธีสร้างแบบจำลองการเรียนรู้เชิงลึกที่ดีอยู่เสมอนั้นยากกว่าที่คิด และคุณไม่จำเป็นต้องอ่านทุกบทความในภาคสนามอย่างแน่นอน โดยเฉพาะ ณ จุดนี้ ที่สิ่งต่างๆ ดำเนินไปอย่างรวดเร็วน้อยลงมาก

แต่ฉันคิดว่ามันมีประโยชน์ที่จะมีความเข้าใจในวงกว้าง ไม่ใช่แค่เฉพาะพื้นที่พิเศษของคุณเท่านั้น สมมติว่าคุณเป็นผู้ที่มีวิสัยทัศน์ทางคอมพิวเตอร์ การเชี่ยวชาญ NLP การกรองการทำงานร่วมกัน และการวิเคราะห์แบบตารางช่วยได้มากเช่นกัน และในทางกลับกัน เนื่องจากมีการผสมเกสรข้ามระหว่างกลุ่มเหล่านี้ไม่เพียงพอ และในบางครั้ง อาจมีใครบางคนแอบดูพื้นที่อื่น ขโมยความคิดบางส่วน และได้ผลลัพธ์ที่โดดเด่น 

นี่คือสิ่งที่ผมทำกับ ULMFiT สี่หรือห้าปีที่แล้ว ฉันพูดว่า "มาประยุกต์ใช้เทคนิคการเรียนรู้การถ่ายโอนภาพคอมพิวเตอร์ขั้นพื้นฐานทั้งหมดกับ NLP กันเถอะ" และได้ผลลัพธ์ที่ล้ำสมัยเป็นไมล์ นักวิจัยที่ OpenAI ได้ทำสิ่งที่คล้ายกันแต่แทนที่ RNN ของฉันด้วยหม้อแปลงและขยายขนาดขึ้น และนั่นก็กลายเป็น GPT. เราทุกคนรู้ว่ามันเป็นอย่างไร 

การติดตามข้อมูลพื้นฐานเกี่ยวกับวิธีสร้างแบบจำลองการเรียนรู้เชิงลึกที่ดีอยู่เสมอนั้นยากกว่าที่คิด และคุณไม่จำเป็นต้องอ่านทุกบทความในภาคสนามอย่างแน่นอน

คุณได้กล่าวว่าเราได้เห็นการเปลี่ยนแปลงขั้นตอนการทำงานของ AI ในช่วงสามถึงหกเดือนที่ผ่านมา คุณช่วยอธิบายเพิ่มเติมได้ไหม

ฉันจะเรียกมันว่า เบ็ด มากกว่า a ฟังก์ชั่นขั้นตอน. ฉันคิดว่าเราอยู่บนเส้นโค้งเลขชี้กำลัง และในบางครั้ง คุณจะสังเกตได้ว่าสิ่งต่างๆ ดูเหมือนจะเร็วขึ้นอย่างเห็นได้ชัด สิ่งที่เราต้องทำคือโมเดลที่ผ่านการฝึกอบรมล่วงหน้าซึ่งได้รับการฝึกฝนเกี่ยวกับข้อความและรูปภาพขนาดใหญ่มากในขณะนี้สามารถทำสิ่งที่น่าประทับใจในช็อตเดียวหรือไม่กี่ช็อตได้ในลักษณะทั่วไป ส่วนหนึ่งเป็นเพราะในช่วงสองสามเดือนที่ผ่านมา ผู้คนดีขึ้น ที่ความเข้าใจ วิศวกรรมพรอมต์. โดยพื้นฐานแล้ว การรู้วิธีถามคำถามที่ถูกต้อง — “อธิบายเหตุผลของคุณ” แบบทีละขั้นตอน 

และเรากำลังค้นพบว่าแบบจำลองเหล่านี้สามารถทำสิ่งที่นักวิชาการจำนวนมากบอกเราว่าเป็นไปไม่ได้ในแง่ของความเข้าใจเชิงองค์ประกอบของโลก และสามารถแสดงเหตุผลแบบเป็นขั้นเป็นตอนได้ หลายคนเคยพูดว่า “โอ้ คุณต้องใช้เทคนิคเชิงสัญลักษณ์ โครงข่ายประสาทและการเรียนรู้เชิงลึกจะไม่มีวันไปถึงที่นั่น” ปรากฎว่าพวกเขาทำ ฉันคิดว่าเมื่อเราเห็นว่ามันสามารถทำสิ่งที่ผู้คนอ้างว่าไม่สามารถทำได้ มันทำให้เรากล้าทำอะไรกับพวกเขามากขึ้น.

มันทำให้ฉันนึกถึงครั้งแรกที่ฉันเห็นวิดีโอบนอินเทอร์เน็ต ซึ่งฉันจำได้ว่าเคยแสดงให้แม่ดูเพราะเป็นวิดีโอเกี่ยวกับกายภาพบำบัด และเธอก็เป็นนักกายภาพบำบัด มันเป็นวิดีโอของการออกกำลังกายการเคลื่อนไหวร่วมที่ไหล่ของคุณ และฉันคิดว่าขนาด 128 x 128 พิกเซล เป็นภาพขาวดำ บีบอัดมาก และอาจยาวประมาณ 3 หรือ 4 วินาที ฉันตื่นเต้นมาก และบอกกับแม่ว่า “ว้าว ดูนี่สิ วิดีโอบนอินเทอร์เน็ต!” และแน่นอนว่าเธอไม่ตื่นเต้นเลย เธอเป็นเหมือน “มันมีประโยชน์อะไร? นี่คือสิ่งที่ไร้สาระที่สุดที่ฉันเคยเห็นมา”

แน่นอน ฉันกำลังคิดว่าวันหนึ่ง นี่จะเป็นหนึ่งพันคูณพันพิกเซล 60 เฟรมต่อวินาที วิดีโอสีสมบูรณ์สวยงาม หลักฐานอยู่ที่นั่น ตอนนี้ก็แค่รอให้คนอื่นตามทัน 

ดังนั้น ฉันคิดว่าเมื่อผู้คนเห็นภาพคุณภาพต่ำจริงๆ จากการเรียนรู้อย่างลึกซึ้งในช่วงแรกๆ ไม่มีอะไรน่าตื่นเต้นมากนัก เพราะคนส่วนใหญ่ไม่ได้ตระหนักว่าเทคโนโลยีมีขนาดเช่นนี้ ตอนนี้เราสามารถผลิตภาพสีเต็มรูปแบบคุณภาพสูงที่ดูดีกว่าที่เราเกือบทุกคนจะถ่ายภาพหรือถ่ายภาพได้ ผู้คนจึงไม่ต้องการจินตนาการใดๆ พวกเขาสามารถเพียงแค่ เห็น ว่าสิ่งที่กำลังทำอยู่ตอนนี้น่าประทับใจมาก ฉันคิดว่ามันสร้างความแตกต่างอย่างมาก

ฉันรู้สึกว่า HCI เป็นส่วนที่ขาดหายไปมากที่สุดในเกือบทุกโครงการการเรียนรู้เชิงลึกที่ฉันเคยเห็น . . ถ้าฉันอยู่ใน HCI ฉันต้องการให้ทั้งสาขาของฉันมุ่งเน้นไปที่คำถามว่าเราโต้ตอบกับอัลกอริทึมการเรียนรู้เชิงลึกอย่างไร.

แนวคิดของวิศวกรรมที่ฉับไว — ถ้าไม่ใช่เป็นอาชีพใหม่ทั้งหมด แต่อย่างน้อยก็ในฐานะชุดทักษะใหม่ — น่าสนใจจริงๆ

มันเป็นและฉันก็แย่มาก ตัวอย่างเช่น DALL-E ไม่รู้วิธีเขียนข้อความอย่างถูกต้อง ซึ่งจะไม่เป็นปัญหายกเว้นว่ามันชอบใส่ข้อความลงในภาพที่เต็มไปด้วยเลือด ดังนั้นจึงมีสัญลักษณ์สุ่มเหล่านี้อยู่เสมอ และตลอดชีวิตของฉัน ฉันไม่สามารถหาวิธีสร้างข้อความแจ้งที่ไม่มีข้อความในนั้นได้ และในบางครั้ง ผมก็จะสุ่มเปลี่ยนคำที่นี่หรือที่นั่น และจู่ๆ ก็ไม่มีข้อความนั้นอีกเลย มีเคล็ดลับบางอย่างในเรื่องนี้ และฉันยังไม่ค่อยเข้าใจ

ตัวอย่างเช่น ขณะนี้มีทักษะการเขียนโค้ดที่สำคัญในการรู้วิธีดำเนินการให้เร็วขึ้น โดยเฉพาะอย่างยิ่ง หากคุณไม่ใช่นักเขียนโค้ดที่ดีเป็นพิเศษ โดยต้องเก่งในการคิดความคิดเห็นของ Codex ที่ถูกต้องเพื่อให้สร้างสิ่งต่างๆ ให้กับคุณ . และรู้ว่าข้อผิดพลาดประเภทใดที่มีแนวโน้มว่าจะเกิด ประเภทของสิ่งที่ดีและไม่ดี และรู้วิธีที่จะทำให้มันสร้างการทดสอบสำหรับสิ่งที่เพิ่งสร้างขึ้นสำหรับคุณ

สำหรับคนจำนวนมาก นั่นอาจเป็นสิ่งที่มีค่ามากกว่าที่ควรเรียนรู้ในทันที มากกว่าการเขียนโค้ดให้เก่งจริงๆ

โดยเฉพาะเกี่ยวกับ Codex คุณคิดอย่างไรกับแนวคิดของรหัสที่สร้างโดยเครื่อง

I เขียนบล็อกโพสต์ เมื่อ GitHub Copilot ออกมาจริงๆ ตอนนั้นฉันก็แบบ “ว้าว นี่มันเจ๋งและน่าประทับใจจริงๆ แต่ฉันไม่ค่อยแน่ใจว่ามันจะมีประโยชน์ขนาดไหน” และฉันยังไม่แน่ใจ

เหตุผลสำคัญประการหนึ่งคือ ฉันคิดว่าเราทุกคนรู้ดีว่าแบบจำลองการเรียนรู้เชิงลึกไม่มีความเข้าใจว่าสิ่งเหล่านั้นถูกหรือผิด Codex พัฒนาขึ้นมากตั้งแต่ฉันตรวจทานเวอร์ชันแรกแต่ก็ยังเขียนโค้ดผิดอยู่มาก นอกจากนี้ยังเขียนโค้ด verbose เพราะมันกำลังสร้าง เฉลี่ย รหัส. สำหรับฉัน การนำโค้ดธรรมดามาสร้างเป็นโค้ดที่ฉันชอบและรู้ว่าถูกต้องช้ากว่าการเขียนตั้งแต่เริ่มต้นมาก อย่างน้อยก็ในภาษาที่ฉันรู้ดี 

แต่ฉันรู้สึกว่ามีคำถามเกี่ยวกับอินเทอร์เฟซระหว่างมนุษย์กับคอมพิวเตอร์ (HCI) อยู่ที่นี่และ ฉันรู้สึกว่า HCI เป็นชิ้นส่วนที่ขาดหายไปที่ใหญ่ที่สุดในเกือบทุกโครงการการเรียนรู้เชิงลึกที่ฉันเคยเห็น: แทบไม่เคยทำสิ่งเหล่านี้มาแทนที่มนุษย์อย่างสมบูรณ์ ดังนั้นเราจึงกำลังทำงาน ร่วมกัน ด้วยอัลกอริธึมเหล่านี้ ถ้าฉันอยู่ใน HCI ฉันต้องการให้ทั้งสาขาของฉันมุ่งเน้นไปที่คำถามว่าเราโต้ตอบกับอัลกอริทึมการเรียนรู้เชิงลึกอย่างไร. เนื่องจากเราเรียนรู้วิธีโต้ตอบกับอินเทอร์เฟซผู้ใช้แบบกราฟิก อินเทอร์เฟซบรรทัดคำสั่ง และอินเทอร์เฟซของเว็บมาหลายทศวรรษแล้ว แต่นี่เป็นสิ่งที่แตกต่างไปจากเดิมอย่างสิ้นเชิง 

และฉันไม่รู้ว่าในฐานะโปรแกรมเมอร์โต้ตอบกับ Codex ได้อย่างไร ฉันพนันได้เลยว่ามีวิธีที่ทรงพลังจริงๆ ในการทำสิ่งนี้กับทุกพื้นที่ เช่น การสร้างอินเทอร์เฟซและการผูกข้อมูล การสร้างอัลกอริธึม และอื่นๆ แต่ฉันไม่รู้ว่าสิ่งเหล่านั้นคืออะไร

เผยแพร่ 21 กรกฎาคม 2022