ความก้าวหน้าด้านการประมวลผล ข้อมูล และอัลกอริทึมเป็นปัจจัยพื้นฐานสามประการที่ชี้นำความก้าวหน้าของการเรียนรู้ของเครื่องสมัยใหม่ (ML) นักวิจัยศึกษาแนวโน้มของปัจจัยเชิงปริมาณที่พร้อมที่สุด นั่นคือการคำนวณ
พวกเขาแสดง :
ก่อนปี 2010 ระบบประมวลผลการฝึกอบรมเติบโตตามกฎของมัวร์ โดยเพิ่มขึ้นสองเท่าทุกๆ 20 เดือน
การเรียนรู้เชิงลึกเริ่มต้นขึ้นในช่วงต้นปี 2010 และการปรับขนาดการประมวลผลการฝึกอบรมได้เร่งตัวขึ้น โดยเพิ่มขึ้นเป็นสองเท่าทุกๆ 6 เดือนโดยประมาณ
ในช่วงปลายปี 2015 เทรนด์ใหม่ปรากฏขึ้นเมื่อบริษัทต่างๆ พัฒนาโมเดล ML ขนาดใหญ่ที่มีข้อกำหนดมากกว่า 10 ถึง 100 เท่าในการประมวลผลการฝึกอบรม
จากการสังเกตเหล่านี้ พวกเขาแบ่งประวัติศาสตร์ของการประมวลผลใน ML ออกเป็นสามยุค ได้แก่ ยุคก่อนการเรียนรู้เชิงลึก ยุคการเรียนรู้เชิงลึก และยุคขนาดใหญ่ โดยรวมแล้ว งานดังกล่าวเน้นย้ำถึงความต้องการด้านการประมวลผลที่เพิ่มขึ้นอย่างรวดเร็วสำหรับการฝึกอบรมระบบ ML ขั้นสูง
พวกเขามีการตรวจสอบอย่างละเอียดเกี่ยวกับความต้องการด้านการประมวลผลของโมเดล ML ขั้นสำคัญเมื่อเวลาผ่านไป พวกเขามีส่วนร่วมดังต่อไปนี้:
1. พวกเขาดูแลจัดการชุดข้อมูลของระบบแมชชีนเลิร์นนิง 123 ขั้น โดยมีคำอธิบายประกอบด้วยการคำนวณที่ใช้ในการฝึกฝน
2. พวกเขาวางกรอบแนวโน้มในการประมวลผลอย่างไม่แน่นอนในแง่ของยุคที่แตกต่างกัน XNUMX ยุค ได้แก่ ยุคก่อนการเรียนรู้เชิงลึก ยุคการเรียนรู้เชิงลึก และยุคขนาดใหญ่ พวกเขาเสนอการประมาณเวลาที่เพิ่มขึ้นเป็นสองเท่าในแต่ละยุคเหล่านี้
3. พวกเขาตรวจสอบผลลัพธ์อย่างละเอียดในชุดภาคผนวก อภิปรายการตีความข้อมูลแบบอื่น และความแตกต่างจากงานก่อนหน้า
พวกเขาศึกษาแนวโน้มในการคำนวณโดยการดูแลชุดข้อมูลการประมวลผลการฝึกอบรมด้วยระบบ ML หลักสำคัญมากกว่า 100 รายการ และใช้ข้อมูลนี้เพื่อวิเคราะห์ว่าแนวโน้มเติบโตขึ้นอย่างไรเมื่อเวลาผ่านไป
การค้นพบนี้ดูเหมือนสอดคล้องกับงานก่อนหน้านี้ แม้ว่าพวกเขาจะระบุถึงขนาดการคำนวณการฝึกอบรมในระดับปานกลางมากขึ้น
โดยเฉพาะอย่างยิ่ง พวกเขาระบุเวลา 18 เดือนที่เพิ่มขึ้นระหว่างปี 1952 ถึง 2010 เวลา 6 เดือนที่เพิ่มขึ้นระหว่างปี 2010 ถึง 2022 และแนวโน้มใหม่ของแบบจำลองขนาดใหญ่ระหว่างปลายปี 2015 ถึง 2022 ซึ่งเริ่มลำดับความสำคัญ 2 ถึง 3 เหนือแนวโน้มก่อนหน้าและแสดงเวลาสองเท่า 10 เดือน
แง่มุมหนึ่งที่ยังไม่ได้กล่าวถึงในบทความนี้คือแหล่งข้อมูลเชิงปริมาณที่สำคัญอีกแหล่งหนึ่งที่ใช้ในการฝึกโมเดลแมชชีนเลิร์นนิง ซึ่งก็คือข้อมูล พวกเขาจะดูแนวโน้มของขนาดชุดข้อมูลและความสัมพันธ์กับแนวโน้มของการคำนวณในการทำงานในอนาคต
Brian Wang เป็นผู้นำทางความคิดแห่งอนาคตและบล็อกเกอร์วิทยาศาสตร์ยอดนิยมที่มีผู้อ่าน 1 ล้านคนต่อเดือน บล็อก Nextbigfuture.com ของเขาอยู่ในอันดับที่ 1 บล็อกข่าววิทยาศาสตร์ ครอบคลุมเทคโนโลยีและแนวโน้มที่ก่อกวนมากมาย เช่น อวกาศ วิทยาการหุ่นยนต์ ปัญญาประดิษฐ์ การแพทย์ เทคโนโลยีชีวภาพต่อต้านวัย และนาโนเทคโนโลยี
เขาเป็นที่รู้จักในด้านการระบุเทคโนโลยีล้ำสมัย ปัจจุบันเขาเป็นผู้ร่วมก่อตั้งบริษัทสตาร์ทอัพและผู้ระดมทุนสำหรับบริษัทระยะเริ่มต้นที่มีศักยภาพสูง เขาเป็นหัวหน้าฝ่ายวิจัยเพื่อการจัดสรรสำหรับการลงทุนด้านเทคโนโลยีระดับลึกและเป็น Angel Investor ที่ Space Angels
เขาเป็นวิทยากรประจำในองค์กร เขาเป็นวิทยากร TEDx เป็นวิทยากรของ Singularity University และเป็นแขกรับเชิญในการสัมภาษณ์หลายครั้งทางวิทยุและพอดแคสต์ เขาเปิดให้พูดในที่สาธารณะและให้คำปรึกษา
