ในช่วงไม่กี่ปีที่ผ่านมามีการพัฒนาอย่างรวดเร็วในด้านการประมวลผลภาษาธรรมชาติ (NLP) ในขณะที่ฮาร์ดแวร์ได้รับการปรับปรุง เช่น ด้วยตัวเร่งรุ่นล่าสุดจาก NVIDIA และ Amazon ผู้ปฏิบัติงานการเรียนรู้ด้วยเครื่องขั้นสูง (ML) ยังคงประสบปัญหาในการปรับขนาดโมเดลภาษาขนาดใหญ่ใน GPU หลายตัว
ในบล็อกโพสต์นี้ เราสรุปโดยสังเขปของโมเดล NLP ขนาดใหญ่และขนาดเล็ก โดยหลักแล้วผ่านสิ่งที่เป็นนามธรรมจาก Hugging Face และแบ็กเอนด์แบบโมดูลของ Amazon SageMaker โดยเฉพาะอย่างยิ่ง เราเน้นที่การเปิดตัวคุณสมบัติเพิ่มเติมสี่ประการภายในไลบรารีคู่ขนานของรุ่น SageMaker ซึ่งปลดล็อคพารามิเตอร์ NLP พารามิเตอร์ 175 พันล้านพารามิเตอร์ล่วงหน้าและการปรับแต่งสำหรับลูกค้า
เราใช้ไลบรารีนี้บนแพลตฟอร์มการฝึกอบรม SageMaker และได้รับปริมาณงาน 32 ตัวอย่างต่อวินาทีบนอินสแตนซ์ 120 ml.p4d.24xlarge และพารามิเตอร์ 175 พันล้านรายการ เราคาดการณ์ว่าหากเราเพิ่มสิ่งนี้ได้ถึง 240 อินสแตนซ์ โมเดลเต็มจะใช้เวลา 25 วันในการฝึก
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับโมเดลคู่ขนาน ให้ดูที่กระดาษ Amazon SageMaker Model Parallelism: กรอบงานทั่วไปและยืดหยุ่นสำหรับการฝึกโมเดลขนาดใหญ่.
คุณยังสามารถดูโน้ตบุ๊ก GPT2 ที่เราเคยสร้างตัวเลขประสิทธิภาพเหล่านี้ได้ใน พื้นที่เก็บข้อมูล GitHub.
หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีใช้คุณสมบัติใหม่ภายในรุ่น SageMaker แบบคู่ขนาน โปรดดูที่ คุณสมบัติเพิ่มเติมของ SageMaker Model Parallel Library สำหรับ PyTorchและ ใช้กับ SageMaker Python SDK.
NLP บน Amazon SageMaker – การกอดใบหน้าและความเท่าเทียมของโมเดล
หากคุณยังใหม่ต่อ Hugging Face และ NLP ไฮไลท์ที่ใหญ่ที่สุดที่คุณต้องรู้คือแอปพลิเคชันที่ใช้การประมวลผลภาษาธรรมชาติ (NLP) กำลังเริ่มบรรลุผลการปฏิบัติงานในระดับมนุษย์ ส่วนใหญ่ขับเคลื่อนโดยกลไกการเรียนรู้ที่เรียกว่า ความสนใจซึ่งก่อให้เกิดรูปแบบการเรียนรู้เชิงลึกที่เรียกว่า หม้อแปลงไฟฟ้าซึ่งสามารถปรับขนาดได้มากกว่าวิธีการจัดลำดับการเรียนรู้เชิงลึกแบบเดิมมาก ที่มีชื่อเสียงในขณะนี้ รุ่น BERT ได้รับการพัฒนาเพื่อใช้ประโยชน์จากหม้อแปลงไฟฟ้า และพัฒนากลยุทธ์ NLP ที่มีประโยชน์หลายอย่างไปพร้อมกัน Transformers และชุดโมเดลทั้งในและนอก NLP ซึ่งล้วนได้รับแรงบันดาลใจจาก BERT เป็นกลไกหลักที่อยู่เบื้องหลังผลการค้นหา Google ของคุณในไฟล์ Google แปลผลและ กลุ่มสตาร์ทอัพหน้าใหม่.
SageMaker และ Hugging Face ร่วมมือกันเพื่อทำให้ลูกค้าง่ายขึ้นกว่าที่เคย เราได้เปิดตัวคอนเทนเนอร์การเรียนรู้เชิงลึกของ Hugging Face (DLC) เพื่อให้คุณฝึกฝนและโฮสต์โมเดลที่ฝึกไว้ล่วงหน้าได้โดยตรงจาก Hugging Face ที่เก็บของกว่า 26,000 รุ่น เปิดตัวแล้ว คอมไพเลอร์การฝึกอบรม SageMaker เพื่อให้คุณเร่งรันไทม์ของลูปการฝึก Hugging Face ได้สูงสุดถึง 50% เรายังได้บูรณาการ Transformers SDK ซึ่งเป็นเรือธงของ Hugging Face กับ ห้องสมุดฝึกอบรมแบบกระจายของเรา เพื่อให้การขยายแบบจำลอง NLP ของคุณง่ายขึ้นกว่าที่เคย
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับรุ่น Hugging Face Transformer บน Amazon SageMaker โปรดดูที่ รองรับรุ่น Hugging Face Transformer
คุณสมบัติใหม่สำหรับการฝึกโมเดล NLP ขนาดใหญ่ด้วยไลบรารีคู่ขนานรุ่น SageMaker
ที่ AWS re:Invent 2020 SageMaker ได้เปิดตัวไลบรารีแบบกระจายที่ให้ประสิทธิภาพที่ดีที่สุดบนคลาวด์สำหรับการฝึกโมเดลคอมพิวเตอร์วิทัศน์ เช่น หน้ากาก-RCNN และรุ่น NLP เช่น T5-3B. สิ่งนี้เป็นไปได้ผ่านการสื่อสารดั้งเดิมที่ได้รับการปรับปรุงซึ่งเร็วกว่า NCCL บน AWS 20-40% และเทคนิคการกระจายโมเดลที่ช่วยให้โมเดลภาษาขนาดใหญ่มากสามารถปรับขนาดได้ตั้งแต่หลายสิบถึงหลายร้อยถึงหลายพัน GPU
ไลบรารีคู่ขนานรุ่น SageMaker (SMP) ช่วยให้คุณใช้โมเดล NLP ที่กำหนดไว้ล่วงหน้าใน PyTorch ได้เสมอ ไม่ว่าจะผ่าน Hugging Face หรือที่อื่น และแบ่งพาร์ติชันโมเดลนั้นไปยัง GPU หลายตัวในคลัสเตอร์ของคุณ กล่าวอีกนัยหนึ่ง SMP แบ่งแบบจำลองของคุณออกเป็นชิ้นเล็ก ๆ ดังนั้นคุณจะไม่พบข้อผิดพลาดหน่วยความจำไม่เพียงพอ (OOM) เรายินดีที่จะเพิ่มเทคนิคการประหยัดหน่วยความจำเพิ่มเติมที่สำคัญสำหรับโมเดลขนาดใหญ่ กล่าวคือ:
- ความขนานของเทนเซอร์
- การแบ่งส่วนสถานะของตัวเพิ่มประสิทธิภาพ
- การเปิดใช้งานจุดตรวจ
- การเปิดใช้งานการถ่าย
คุณสามารถรวมคุณสมบัติทั้งสี่นี้เข้าด้วยกันเพื่อใช้หน่วยความจำได้อย่างมีประสิทธิภาพมากขึ้นและฝึกโมเดล NLP ระดับสูงสุดรุ่นต่อไป
การฝึกอบรมแบบกระจายและความขนานของเทนเซอร์
เพื่อให้เข้าใจความขนานของเทนเซอร์ คุณควรรู้ว่ามีการฝึกอบรมแบบกระจายหลายแบบหรือแบบขนาน. คุณคงคุ้นเคยกับประเภทที่พบบ่อยที่สุดอยู่แล้ว ความเท่าเทียมกันของข้อมูล แกนหลักของความเท่าเทียมกันของข้อมูลทำงานในลักษณะนี้: คุณเพิ่มโหนดพิเศษให้กับคลัสเตอร์ของคุณ เช่น การเปลี่ยนอินสแตนซ์ ml.EC2 จากหนึ่งเป็นสองในเครื่องมือประมาณการ SageMaker ของคุณ จากนั้น คุณใช้เฟรมเวิร์กข้อมูลคู่ขนาน เช่น Horovod, PyTorch Distributed Data Parallel หรือ SageMaker Distributed สิ่งนี้จะสร้างแบบจำลองของคุณ หนึ่งแบบจำลองต่อตัวเร่งความเร็ว และจัดการการแบ่งส่วนข้อมูลไปยังแต่ละโหนด พร้อมกับนำผลลัพธ์ทั้งหมดมารวมกันระหว่างขั้นตอนการแพร่กระจายด้านหลังของโครงข่ายประสาทเทียมของคุณ คิดว่าการกระจายการไล่ระดับสีโคตร ความเท่าเทียมกันของข้อมูลยังเป็นที่นิยมในเซิร์ฟเวอร์ คุณกำลังแบ่งข้อมูลลงใน GPU ทั้งหมดและบางครั้ง CPU บนโหนดทั้งหมดของคุณ แผนภาพต่อไปนี้แสดงให้เห็นถึงความเท่าเทียมกันของข้อมูล
แบบจำลองขนาน จะแตกต่างกันเล็กน้อย แทนที่จะทำสำเนาแบบจำลองเดียวกัน เราจะแยกแบบจำลองของคุณออกเป็นชิ้นๆ จากนั้นเราจะจัดการการรันมัน ดังนั้นข้อมูลของคุณจะยังคงไหลผ่านโครงข่ายประสาทเทียมของคุณในลักษณะเดียวกับทางคณิตศาสตร์ทุกประการ แต่ชิ้นส่วนต่างๆ ของแบบจำลองของคุณนั้นใช้ GPU ต่างกัน หากคุณกำลังใช้ ml.p3.8xlarge คุณมี NVIDIA V100 สี่ตัว ดังนั้นคุณอาจต้องการแบ่งโมเดลของคุณออกเป็น 4 ชิ้น หนึ่งชิ้นต่อ GPU หากคุณกระโดดขึ้นไปถึงสอง ml.p4d.24xlarge นั้น นั่นคือทั้งหมด 16 A100 ในคลัสเตอร์ของคุณ ดังนั้น คุณอาจแบ่งโมเดลของคุณออกเป็น 16 ชิ้น นี้บางครั้งเรียกว่า ความขนานของท่อ นั่นเป็นเพราะชุดของเลเยอร์ในเครือข่ายถูกแบ่งระหว่าง GPU และทำงานในลักษณะที่ไปป์ไลน์เพื่อเพิ่มการใช้งาน GPU ให้เกิดประโยชน์สูงสุด ไดอะแกรมต่อไปนี้แสดงให้เห็นถึงความเท่าเทียมกันของแบบจำลอง
ในการทำให้โมเดลขนานกันเกิดขึ้นในระดับ เราจำเป็นต้องมีการแจกแจงประเภทที่สาม: ความขนานของเทนเซอร์. ความขนานของเทนเซอร์นำแนวคิดเดียวกันไปใช้ในอีกขั้นหนึ่ง—เราแยกเลเยอร์ที่ใหญ่ที่สุดของโครงข่ายประสาทเทียมของคุณออก และวางส่วนต่าง ๆ ของเลเยอร์เองบนอุปกรณ์ต่างๆ สิ่งนี้มีความเกี่ยวข้องเมื่อคุณทำงานกับพารามิเตอร์ 175 พันล้านพารามิเตอร์ขึ้นไป และพยายามใส่แม้แต่บันทึกสองสามรายการใน RAM พร้อมกับชิ้นส่วนของแบบจำลองของคุณเพื่อฝึกหม้อแปลงนั้น แผนภาพต่อไปนี้แสดงให้เห็นถึงความขนานของเทนเซอร์
การเปิดใช้งาน ความขนานของเทนเซอร์ ตั้งค่าภายในตัวเลือก smp คุณส่งผ่านไปยังเครื่องมือประมาณการของคุณ
ในรหัสก่อนหน้า pipeline_parallel_degree
อธิบายว่าโมเดลของคุณควรมีการแบ่งส่วนจำนวนเท่าใด โดยพิจารณาจากไปป์ไลน์ที่ขนานกันที่เรากล่าวถึงข้างต้น อีกคำหนึ่งสำหรับสิ่งนี้คือ คะแนน.
หากต้องการเปิดใช้งานเทนเซอร์คู่ขนาน ให้ตั้งค่า tensor_parallel_degree
ถึงระดับที่คุณต้องการ ตรวจสอบให้แน่ใจว่าคุณกำลังเลือกตัวเลขที่เท่ากับหรือน้อยกว่าจำนวน GPU ต่ออินสแตนซ์ ดังนั้นต้องไม่มากกว่า 8 สำหรับเครื่อง ml.p4d.24xlarge สำหรับการเปลี่ยนแปลงสคริปต์เพิ่มเติม โปรดดูที่ เรียกใช้งานการฝึกอบรมขนานแบบจำลองแบบกระจายของ SageMaker ด้วย Tensor Parallelism.
พารามิเตอร์ ddp หมายถึงข้อมูลที่กระจายแบบขนาน โดยทั่วไป คุณจะเปิดใช้งานสิ่งนี้หากคุณใช้ data parallelism หรือ tensor parallelism เนื่องจากไลบรารีการขนานโมเดลอาศัย DDP สำหรับคุณลักษณะเหล่านี้
การแบ่งส่วนสถานะ Optimizer การปิดใช้งานการเปิดใช้งานและจุดตรวจสอบ
หากคุณมีโมเดลขนาดใหญ่มาก คุณจำเป็นต้องมีสถานะเครื่องมือเพิ่มประสิทธิภาพที่ใหญ่มากด้วย การเตรียมเครื่องมือเพิ่มประสิทธิภาพสำหรับ SMP นั้นตรงไปตรงมา: เพียงแค่หยิบมันขึ้นมาจากดิสก์ในสคริปต์ของคุณแล้วโหลดลงใน smp.DistributedOptimizer()
วัตถุ.
ตรวจสอบให้แน่ใจว่าคุณเปิดใช้งานสิ่งนี้ที่ตัวประมาณโดยการตั้งค่า shard_optimizer_state
เป็นจริงใน smp_options
คุณใช้กำหนดค่า SMP:
คล้ายกับเทนเซอร์และไปป์ไลน์ขนานกัน SMP จะสร้างโปรไฟล์โมเดลและขนาดโลกของคุณ (จำนวน GPU ทั้งหมดในโหนดการฝึกทั้งหมดของคุณ) เพื่อค้นหากลยุทธ์การจัดวางที่ดีที่สุด
ในการเรียนรู้เชิงลึก เอาต์พุตของเลเยอร์ระดับกลางเรียกอีกอย่างว่าการเปิดใช้งาน และจำเป็นต้องจัดเก็บสิ่งเหล่านี้ไว้ในระหว่างการส่งต่อ เนื่องจากจำเป็นต้องใช้สำหรับการคำนวณแบบเกรเดียนต์ในการย้อนกลับ ในรุ่นใหญ่ การจัดเก็บการเปิดใช้งานทั้งหมดเหล่านี้พร้อมกันในหน่วยความจำสามารถสร้างปัญหาคอขวดของหน่วยความจำได้อย่างมาก เพื่อแก้ไขปัญหาคอขวดนี้ คุณสามารถใช้ การเปิดใช้งานจุดตรวจซึ่งเป็นคุณลักษณะใหม่ข้อที่สามในไลบรารีคู่ขนานแบบจำลอง SageMaker การเปิดใช้งานจุดตรวจหรือ จุดตรวจไล่ระดับเป็นเทคนิคในการลดการใช้หน่วยความจำโดยล้างการเปิดใช้งานบางเลเยอร์และคำนวณใหม่ระหว่างการย้อนกลับ สิ่งนี้จะแลกเปลี่ยนเวลาในการคำนวณเพิ่มเติมอย่างมีประสิทธิภาพสำหรับการใช้หน่วยความจำที่ลดลง
สุดท้าย การเปิดใช้งาน offloading ใช้จุดตรวจการเปิดใช้งานโดยตรง เป็นกลยุทธ์ที่จะเปิดใช้งานเทนเซอร์เพียงไม่กี่ตัวบน GPU RAM ระหว่างการฝึกโมเดล โดยเฉพาะอย่างยิ่ง เราย้ายการเปิดใช้งานจุดตรวจสอบไปยังหน่วยความจำของ CPU ในระหว่างการส่งต่อ และโหลดกลับไปยัง GPU สำหรับการส่งย้อนหลังของไมโครแบทช์เฉพาะ
ไมโครแบตช์และกลยุทธ์การจัดวาง
หัวข้ออื่นๆ ที่บางครั้งทำให้ลูกค้าสับสนคือไมโครแบตช์และกลยุทธ์การจัดวาง ทั้งสองนี้เป็นไฮเปอร์พารามิเตอร์ที่คุณสามารถจัดหาให้กับไลบรารีแบบขนานของรุ่น SageMaker โดยเฉพาะไมโครแบทช์มีความเกี่ยวข้องเมื่อใช้งานโมเดลที่อาศัยไปป์ไลน์แบบขนาน เช่น พารามิเตอร์ที่มีขนาดอย่างน้อย 30 พันล้านพารามิเตอร์ขึ้นไป
ไมโครแบตช์เป็นส่วนย่อยของมินิแบตช์ เมื่อแบบจำลองของคุณอยู่ในวงจรการฝึก คุณจะต้องกำหนดจำนวนระเบียนที่จะรับและส่งผ่านไปข้างหน้าและข้างหลังผ่านชั้นต่างๆ ซึ่งเรียกว่า มินิแบทช์, หรือบางครั้งก็แค่ a ชุด. ชุดข้อมูลของคุณเต็มรูปแบบเรียกว่า an ยุค. ในการรันไปข้างหน้าและย้อนกลับด้วยความเท่าเทียมกันของไปป์ไลน์ SageMaker model ไลบรารีคู่ขนานจะแบ่งแบทช์ออกเป็นชุดย่อยที่มีขนาดเล็กกว่าที่เรียกว่าไมโครแบทช์ ซึ่งจะรันทีละตัวเพื่อเพิ่มการใช้งาน GPU ให้เกิดประโยชน์สูงสุด ชุดตัวอย่างต่อ GPU ที่เป็นผลลัพธ์ซึ่งมีขนาดเล็กกว่ามากเรียกว่าไมโครแบทช์ ในตัวอย่าง GPT-2 ของเรา เราได้เพิ่มค่าเริ่มต้น 1 microbatch ลงในสคริปต์การฝึกอบรมโดยตรง.
เมื่อคุณขยายขนาดการกำหนดค่าการฝึกของคุณ ขอแนะนำอย่างยิ่งให้เปลี่ยนขนาดแบทช์และขนาดไมโครแบทช์ตามนั้น. นี่เป็นวิธีเดียวที่จะรับรองประสิทธิภาพที่ดี: คุณต้องพิจารณาขนาดแบทช์และขนาดไมโครแบทช์เป็นฟังก์ชันของขนาดโลกโดยรวมของคุณเมื่ออาศัยไปป์ไลน์แบบขนาน
กลยุทธ์การจัดตำแหน่งเป็นวิธีการบอก SageMaker ว่าควรวางพาร์ติชันโมเดลของคุณไว้ที่ใด หากคุณใช้ทั้งแบบขนานและแบบขนานข้อมูล การตั้งค่า placement_strategy
ไปยัง “cluster”
วางแบบจำลองแบบจำลองในรหัสอุปกรณ์ (GPU) ที่ใกล้เคียงกัน อย่างไรก็ตาม หากคุณต้องการกำหนดกลยุทธ์เกี่ยวกับการทำคู่ขนานของคุณให้ชัดเจนยิ่งขึ้น คุณสามารถแยกย่อยออกเป็นสตริงเดียวที่มีตัวอักษรสามตัวรวมกันต่างกัน: D สำหรับ data parallelism P
บ่งชี้ความขนานของไปป์ไลน์และ T
เพื่อความขนานของเทนเซอร์ โดยทั่วไปเราแนะนำให้รักษาตำแหน่งเริ่มต้นของ "cluster"
เพราะสิ่งนี้เหมาะสมที่สุดสำหรับการฝึกโมเดลขนาดใหญ่ ตำแหน่ง "คลัสเตอร์" สอดคล้องกับ "DPT
"
สำหรับข้อมูลเพิ่มเติมเกี่ยวกับกลยุทธ์การจัดตำแหน่ง โปรดดูที่ กลยุทธ์การจัดตำแหน่งด้วย Tensor Parallelism.
ตัวอย่างการใช้งาน
ลองนึกภาพว่าคุณมี 3.16 ml.pXNUMXxlarge ในงานฝึกอบรมของคุณ ที่ให้คุณ 8 NVIDIA V100 ต่อโหนด. โปรดจำไว้ว่า ทุกครั้งที่คุณเพิ่มอินสแตนซ์พิเศษ คุณจะประสบปัญหาแบนด์วิดท์เพิ่มขึ้น ดังนั้นจึงเป็นการดีกว่าเสมอที่จะมี GP'Us บนโหนดเดียว ในกรณีนี้ ควรใช้ 3.16 ml.p3.8xlarge มากกว่า ตัวอย่างเช่น XNUMX ml.pXNUMXxlarges แม้ว่าจำนวน GPU จะเท่ากัน แต่โอเวอร์เฮดแบนด์วิดท์ส่วนเกินของโหนดพิเศษจะทำให้ปริมาณงานของคุณช้าลง
แผนภาพต่อไปนี้แสดงให้เห็นถึงความเท่าเทียมกันของแบบจำลองสี่ทิศทาง รวมกับความขนานของข้อมูลแบบสองทาง ซึ่งหมายความว่าจริง ๆ แล้วคุณมีแบบจำลองสองแบบจำลองของคุณ (คิดว่าข้อมูลขนานกัน) โดยแต่ละตัวจะถูกแบ่งพาร์ติชันตาม GPU สี่ตัว (รุ่นขนาน)
หากพาร์ติชั่นรุ่นใดมีขนาดใหญ่เกินกว่าจะใส่ลงใน GPU ตัวเดียวได้ คุณสามารถเพิ่มประเภทพิเศษของการกระจาย - เทนเซอร์คู่ขนาน - เพื่อคายและใช้อุปกรณ์ทั้งสอง
สรุป
ในบล็อกโพสต์นี้ เราได้พูดถึง SageMaker ที่แจกจ่ายไลบรารีฝึกอบรม โดยเฉพาะอย่างยิ่งการเน้นที่โมเดลขนานกัน เราแชร์การวัดประสิทธิภาพประสิทธิภาพจากการทดสอบล่าสุดของเรา โดยได้ตัวอย่าง 32 ตัวอย่างต่อวินาทีในอินสแตนซ์ 120 ml.p4d.24xlarge และพารามิเตอร์ 175B บน Amazon SageMaker เราคาดว่าหากเราเพิ่มอินสแตนซ์นี้เป็น 240 p4 เราจะฝึกโมเดลพารามิเตอร์ 175B ได้ภายใน 25 วัน
เรายังได้พูดถึงคุณลักษณะใหม่ล่าสุดของการฝึกอบรมขนาดใหญ่ เช่น เทนเซอร์คู่ขนาน การแบ่งกลุ่มสถานะเครื่องมือเพิ่มประสิทธิภาพ การตรวจสอบการเปิดใช้งาน และการลดภาระการเปิดใช้งาน เราได้แบ่งปันเคล็ดลับและกลเม็ดบางประการสำหรับการเปิดใช้ผ่านการฝึกอบรมบน Amazon SageMaker
ลองด้วยตัวคุณเอง โดยใช้โน้ตบุ๊กตัวเดียวกับที่สร้างตัวเลขของเราซึ่งมีอยู่ใน GitHub ที่นี่. คุณยังสามารถขอ GPU เพิ่มเติมสำหรับบัญชี AWS ของคุณผ่าน ขออนุมัติวงเงินบริการได้ที่นี่.
เกี่ยวกับผู้เขียน
เอมิลี่ เว็บเบอร์ เข้าร่วม AWS หลังจากเปิดตัว SageMaker และพยายามบอกให้โลกรู้ตั้งแต่นั้นมา! นอกเหนือจากการสร้างประสบการณ์ ML ใหม่ให้กับลูกค้าแล้ว เอมิลี่ชอบนั่งสมาธิและศึกษาพุทธศาสนาในทิเบต
อดิตยา บินดัล เป็นผู้จัดการผลิตภัณฑ์อาวุโสของ AWS Deep Learning เขาทำงานเกี่ยวกับผลิตภัณฑ์ที่ช่วยให้ลูกค้าฝึกโมเดลการเรียนรู้เชิงลึกบน AWS ได้ง่ายขึ้น ในเวลาว่าง เขาชอบใช้เวลากับลูกสาว เล่นเทนนิส อ่านนิยายอิงประวัติศาสตร์ และเดินทาง
หลุยส์ ควินเตลา คือ Software Developer Manager สำหรับไลบรารีคู่ขนานของโมเดล AWS SageMaker ในเวลาว่าง เขาสามารถพบเห็นเขาขี่ฮาร์เลย์ของเขาใน SF Bay Area
- คอยน์สมาร์ท การแลกเปลี่ยน Bitcoin และ Crypto ที่ดีที่สุดในยุโรป
- เพลโตบล็อคเชน Web3 Metaverse ข่าวกรอง ขยายความรู้. เข้าฟรี
- คริปโตฮอว์ก เรดาร์ Altcoin ทดลองฟรี.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/train-175-billion-parameter-nlp-models-with-model-parallel-additions-and-hugging-face-on-amazon-sagemaker/
- "
- 000
- 100
- 2020
- 39
- เกี่ยวกับเรา
- คันเร่ง
- ลงชื่อเข้าใช้
- ประสบความสำเร็จ
- ข้าม
- เพิ่มเติม
- ที่อยู่
- สูง
- ทั้งหมด
- แล้ว
- อเมซอน
- อื่น
- การใช้งาน
- AREA
- ใช้ได้
- AWS
- อ่าว
- ที่ดีที่สุด
- ที่ใหญ่ที่สุด
- พันล้าน
- บล็อก
- การก่อสร้าง
- ก่อให้เกิด
- เปลี่ยนแปลง
- เมฆ
- รหัส
- รวม
- ร่วมกัน
- การสื่อสาร
- องค์ประกอบ
- ความสับสน
- ภาชนะบรรจุ
- แกน
- ได้
- ลูกค้า
- ข้อมูล
- พัฒนา
- ผู้พัฒนา
- พัฒนาการ
- เครื่อง
- อุปกรณ์
- ต่าง
- กระจาย
- การกระจาย
- ลง
- ขับเคลื่อน
- การเปิดใช้งาน
- โดยเฉพาะอย่างยิ่ง
- ตัวอย่าง
- ประสบการณ์
- ประสบการณ์
- สุดโต่ง
- ใบหน้า
- เร็วขึ้น
- ลักษณะ
- คุณสมบัติ
- นิยาย
- พอดี
- ดังต่อไปนี้
- ข้างหน้า
- พบ
- กรอบ
- เต็ม
- ฟังก์ชัน
- General
- สร้าง
- GitHub
- ไป
- ดี
- การค้นหาของ Google
- GPU
- ฮาร์ดแวร์
- เป็นประโยชน์
- เน้น
- ทางประวัติศาสตร์
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTTPS
- ร้อย
- เพิ่มขึ้น
- ข้อมูล
- แรงบันดาลใจ
- แบบบูรณาการ
- ปัญหา
- IT
- การสัมภาษณ์
- เข้าร่วม
- กระโดด
- การเก็บรักษา
- ภาษา
- ใหญ่
- ล่าสุด
- เปิดตัว
- เรียนรู้
- การเรียนรู้
- ชั้น
- ห้องสมุด
- โหลด
- เครื่อง
- เรียนรู้เครื่อง
- เครื่อง
- การทำ
- ผู้จัดการ
- หน่วยความจำ
- ML
- แบบ
- โมเดล
- โมดูลาร์
- มากที่สุด
- ย้าย
- คือ
- โดยธรรมชาติ
- เครือข่าย
- คุณสมบัติใหม่
- โหนด
- สมุดบันทึก
- ตัวเลข
- อื่นๆ
- กระดาษ
- ร่วมมือ
- รูปแบบไฟล์ PDF
- การปฏิบัติ
- ชิ้น
- เวที
- ยอดนิยม
- เป็นไปได้
- ประถม
- ผลิตภัณฑ์
- ผลิตภัณฑ์
- ดูรายละเอียด
- ให้
- แรม
- RE
- การอ่าน
- แนะนำ
- บันทึก
- ลด
- ผลสอบ
- วิ่ง
- วิ่ง
- กล่าวว่า
- ที่ปรับขนาดได้
- ขนาด
- ปรับ
- SDK
- ค้นหา
- บริการ
- ชุด
- การตั้งค่า
- ชาร์ดดิ้ง
- ที่ใช้ร่วมกัน
- สำคัญ
- ขนาด
- So
- ซอฟต์แวร์
- เฉพาะ
- ความเร็ว
- การใช้จ่าย
- แยก
- สถานะ
- กลยุทธ์
- กลยุทธ์
- จัดหาอุปกรณ์
- กลยุทธ์
- เทคนิค
- ทดสอบ
- โลก
- พัน
- ตลอด
- เวลา
- เคล็ดลับ
- เคล็ดลับและเทคนิค
- ร่วมกัน
- หัวข้อ
- ธุรกิจการค้า
- การฝึกอบรม
- เข้าใจ
- ใช้
- นำไปใช้
- วิสัยทัศน์
- ภายใน
- การทำงาน
- โรงงาน
- โลก
- ปี