PyTorch เป็นเฟรมเวิร์กแมชชีนเลิร์นนิง (ML) ที่ลูกค้า AWS ใช้กันอย่างแพร่หลายสำหรับแอปพลิเคชันที่หลากหลาย เช่น คอมพิวเตอร์วิทัศน์ การประมวลผลภาษาธรรมชาติ การสร้างเนื้อหา และอื่นๆ ด้วยการเปิดตัว PyTorch 2.0 ล่าสุด ลูกค้า AWS สามารถทำสิ่งเดียวกันกับที่ทำได้ด้วย PyTorch 1.x แต่เร็วขึ้นและขยายขนาดด้วยความเร็วในการฝึกอบรมที่ดีขึ้น การใช้หน่วยความจำที่ลดลง และความสามารถแบบกระจายที่ได้รับการปรับปรุง เทคโนโลยีใหม่หลายอย่างรวมถึง torch.compile, TorchDynamo, AOTAutograd, PrimTorch และ TorchInductor ได้รวมอยู่ใน PyTorch2.0 แล้ว อ้างถึง PyTorch 2.0: รุ่นต่อไปของเราที่เร็วขึ้น Pythonic และไดนามิกมากขึ้นเช่นเคย เพื่อดูรายละเอียด
โพสต์นี้แสดงให้เห็นถึงประสิทธิภาพและความสะดวกในการเรียกใช้การฝึกอบรมและการปรับใช้โมเดล ML แบบกระจายขนาดใหญ่ที่มีประสิทธิภาพสูงโดยใช้ PyTorch 2.0 บน AWS โพสต์นี้จะแนะนำเพิ่มเติมเกี่ยวกับการใช้งานแบบทีละขั้นตอนของการปรับโมเดล RoBERTa (วิธีการเตรียมการฝึกอบรมล่วงหน้าของ BERT ที่ปรับให้เหมาะสมที่สุดอย่างมีประสิทธิภาพ) สำหรับการวิเคราะห์ความรู้สึกโดยใช้ AMI การเรียนรู้เชิงลึกของ AWS (AWS DLAMI) และ คอนเทนเนอร์การเรียนรู้เชิงลึกของ AWS (เนื้อหาดาวน์โหลด) บน อเมซอน อีลาสติก คอมพิวท์ คลาวด์ (Amazon EC2 p4d.24xlarge) พร้อมการเร่งความเร็ว 42% เมื่อใช้กับ PyTorch 2.0 torch.compile + bf16 + AdamW ที่หลอมรวม จากนั้นจึงปรับใช้โมเดลที่ปรับแต่งอย่างละเอียด AWS กราวิตอน-เปิดใช้อินสแตนซ์ C7g EC2 อเมซอน SageMaker ด้วยความเร็วที่สังเกตได้ 10% เมื่อเทียบกับ PyTorch 1.13
รูปต่อไปนี้แสดงเกณฑ์มาตรฐานประสิทธิภาพของการปรับแต่งโมเดล RoBERTa บน Amazon EC2 p4d.24xlarge ด้วย AWS PyTorch 2.0 DLAMI + DLC
เอ่ยถึง การอนุมาน PyTorch 2.0 ที่ปรับให้เหมาะสมด้วยโปรเซสเซอร์ AWS Graviton สำหรับรายละเอียดเกี่ยวกับการวัดประสิทธิภาพการอนุมานอินสแตนซ์ตาม AWS Graviton สำหรับ PyTorch 2.0
รองรับ PyTorch 2.0 บน AWS
การสนับสนุน PyTorch2.0 ไม่จำกัดเฉพาะบริการและการคำนวณที่แสดงในตัวอย่างการใช้งานในโพสต์นี้ มันขยายไปถึงอื่นๆ อีกมากมายบน AWS ซึ่งเราจะพูดถึงในส่วนนี้
ข้อกำหนดทางธุรกิจ
ลูกค้า AWS จำนวนมากจากกลุ่มอุตสาหกรรมต่างๆ กำลังเปลี่ยนแปลงธุรกิจของตนโดยใช้ปัญญาประดิษฐ์ (AI) โดยเฉพาะอย่างยิ่งในด้านการสร้าง AI และโมเดลภาษาขนาดใหญ่ (LLM) ที่ออกแบบมาเพื่อสร้างข้อความที่เหมือนมนุษย์ สิ่งเหล่านี้เป็นแบบจำลองขนาดใหญ่ที่ใช้เทคนิคการเรียนรู้เชิงลึกที่ได้รับการฝึกฝนด้วยพารามิเตอร์นับแสนล้าน การเติบโตของขนาดโมเดลทำให้เวลาในการฝึกฝนเพิ่มขึ้นจากวันเป็นสัปดาห์ และในบางกรณีอาจถึงเป็นเดือน สิ่งนี้กำลังผลักดันให้ต้นทุนการฝึกอบรมและการอนุมานเพิ่มขึ้นแบบทวีคูณ ซึ่งต้องใช้เฟรมเวิร์กเช่น PyTorch 2.0 มากขึ้นกว่าเดิมพร้อมการสนับสนุนในตัวของการฝึกอบรมโมเดลแบบเร่งความเร็วและโครงสร้างพื้นฐานที่ปรับให้เหมาะสมของ AWS ที่ปรับให้เหมาะกับปริมาณงานและความต้องการด้านประสิทธิภาพที่เฉพาะเจาะจง
ทางเลือกของการคำนวณ
AWS ให้การสนับสนุน PyTorch 2.0 บนตัวเลือกการประมวลผลที่ทรงพลัง เครือข่ายความเร็วสูง และตัวเลือกพื้นที่จัดเก็บประสิทธิภาพสูงที่ปรับขนาดได้ ซึ่งคุณสามารถใช้สำหรับโปรเจ็กต์ ML หรือแอปพลิเคชันใดๆ และปรับแต่งให้เหมาะกับความต้องการด้านประสิทธิภาพและงบประมาณของคุณ สิ่งนี้แสดงในแผนภาพในส่วนถัดไป ในระดับล่างสุด เรามีอินสแตนซ์การประมวลผลให้เลือกมากมายซึ่งขับเคลื่อนโดยโปรเซสเซอร์ AWS Graviton, Nvidia, AMD และ Intel
สำหรับการปรับใช้โมเดล คุณสามารถใช้ตัวประมวลผลที่ใช้ ARM เช่น อินสแตนซ์ที่ใช้ AWS Graviton ที่เพิ่งประกาศเมื่อเร็วๆ นี้ ซึ่งให้ประสิทธิภาพการอนุมานสำหรับ PyTorch 2.0 ด้วยความเร็วสูงสุด 3.5 เท่าสำหรับ Resnet50 เมื่อเทียบกับ PyTorch รุ่นก่อนหน้า และสูงสุด 1.4 เท่าของ ความเร็วสำหรับ BERT ทำให้อินสแตนซ์ที่ใช้ AWS Graviton เป็นอินสแตนซ์ที่ปรับแต่งการประมวลผลได้เร็วที่สุดบน AWS สำหรับโซลูชันการอนุมานโมเดลที่ใช้ CPU
ทางเลือกของบริการ ML
หากต้องการใช้การประมวลผล AWS คุณสามารถเลือกจากชุดบริการบนระบบคลาวด์ทั่วโลกที่หลากหลายสำหรับการพัฒนา ML การประมวลผล และการจัดการเวิร์กโฟลว์ ตัวเลือกนี้ช่วยให้คุณปรับให้สอดคล้องกับธุรกิจและกลยุทธ์คลาวด์ของคุณ และเรียกใช้งาน PyTorch 2.0 บนแพลตฟอร์มที่คุณเลือก ตัวอย่างเช่น หากคุณมีข้อจำกัดในสถานที่หรือการลงทุนในผลิตภัณฑ์โอเพนซอร์สที่มีอยู่ คุณสามารถใช้ Amazon EC2 AWS ParallelCluster,หรือ AWS Ultraคลัสเตอร์ เพื่อเรียกใช้เวิร์กโหลดการฝึกอบรมแบบกระจายตามแนวทางการจัดการด้วยตนเอง คุณยังสามารถใช้บริการที่มีการจัดการเต็มรูปแบบ เช่น SageMaker สำหรับโครงสร้างพื้นฐานการฝึกอบรมระดับการผลิตที่ปรับให้เหมาะสมตามต้นทุน จัดการเต็มรูปแบบ SageMaker ยังรวมเข้ากับเครื่องมือ MLOps ต่างๆ ซึ่งช่วยให้คุณปรับขนาดการปรับใช้โมเดลของคุณ ลดต้นทุนการอนุมาน จัดการโมเดลอย่างมีประสิทธิภาพมากขึ้นในการผลิต และลดภาระในการดำเนินงาน
ในทำนองเดียวกัน หากคุณมีการลงทุน Kubernetes อยู่แล้ว คุณก็สามารถใช้ บริการ Amazon Elastic Kubernetes (Amazon EKS) และ Kubeflow บน AWS เพื่อใช้ไปป์ไลน์ ML สำหรับการฝึกอบรมแบบกระจายหรือใช้บริการการจัดการคอนเทนเนอร์แบบเนทีฟของ AWS เช่น บริการ Amazon Elastic Container (Amazon ECS) สำหรับการฝึกโมเดลและการปรับใช้ ตัวเลือกในการสร้างแพลตฟอร์ม ML ของคุณไม่จำกัดเฉพาะบริการเหล่านี้ คุณสามารถเลือกและเลือกได้ตามความต้องการขององค์กรสำหรับงาน PyTorch 2.0 ของคุณ
การเปิดใช้งาน PyTorch 2.0 ด้วย AWS DLAMI และ AWS DLC
ในการใช้บริการ AWS และการประมวลผลที่ทรงพลัง คุณจะต้องติดตั้งเฟรมเวิร์ก PyTorch2.0 เวอร์ชันคอมไพล์ที่ปรับให้เหมาะสมและการอ้างอิงที่จำเป็น ซึ่งหลายโปรเจ็กต์เป็นโปรเจ็กต์อิสระ และทดสอบตั้งแต่ต้นจนจบ นอกจากนี้ คุณยังอาจต้องการไลบรารีเฉพาะของ CPU สำหรับรูทีนคณิตศาสตร์แบบเร่ง ไลบรารีเฉพาะของ GPU สำหรับรูทีนคณิตศาสตร์เร่งความเร็วและการสื่อสารระหว่าง GPU และไดรเวอร์ GPU ที่จำเป็นต้องปรับให้สอดคล้องกับคอมไพเลอร์ GPU ที่ใช้ในการคอมไพล์ไลบรารี GPU หากงานของคุณต้องการการฝึกอบรมหลายโหนดขนาดใหญ่ คุณต้องมีเครือข่ายที่ปรับให้เหมาะสมซึ่งสามารถให้เวลาแฝงต่ำสุดและปริมาณงานสูงสุด หลังจากที่คุณสร้างสแต็กแล้ว คุณต้องสแกนและแพตช์เป็นประจำเพื่อหาช่องโหว่ด้านความปลอดภัย และสร้างและทดสอบสแต็กใหม่อีกครั้งหลังจากการอัปเกรดเวอร์ชันเฟรมเวิร์กทุกครั้ง
AWS ช่วยลดภาระหนักนี้โดยเสนอชุดเฟรมเวิร์ก การพึ่งพา และเครื่องมือที่ได้รับการดูแลและรักษาความปลอดภัยเพื่อเร่งการเรียนรู้เชิงลึกในระบบคลาวด์ AWS DLAMI และ AWS DLC. อิมเมจและคอนเทนเนอร์ของเครื่องที่สร้างไว้ล่วงหน้าและทดสอบแล้วเหล่านี้ได้รับการปรับให้เหมาะสมสำหรับการเรียนรู้เชิงลึกบน EC2 ประเภท Accelerated Computing Instance ช่วยให้คุณปรับขนาดออกเป็นหลายโหนดสำหรับปริมาณงานแบบกระจายได้อย่างมีประสิทธิภาพและง่ายดายยิ่งขึ้น รวมถึงการสร้างไว้ล่วงหน้า อะแดปเตอร์ผ้ายืดหยุ่น (EFA), Nvidia GPU stack และเฟรมเวิร์กการเรียนรู้เชิงลึกมากมาย (TensorFlow, MXNet และ PyTorch พร้อมรีลีสล่าสุดของ 2.0) สำหรับการฝึกอบรมการเรียนรู้เชิงลึกแบบกระจายที่มีประสิทธิภาพสูง คุณไม่จำเป็นต้องใช้เวลาในการติดตั้งและแก้ไขปัญหาซอฟต์แวร์และไดรเวอร์การเรียนรู้เชิงลึกหรือสร้างโครงสร้างพื้นฐาน ML และไม่ต้องเสียค่าใช้จ่ายในการแพตช์อิมเมจเหล่านี้เพื่อหาช่องโหว่ด้านความปลอดภัยหรือสร้างอิมเมจใหม่หลังจากการอัปเกรดเวอร์ชันเฟรมเวิร์กใหม่ทุกครั้ง แต่คุณสามารถมุ่งเน้นไปที่ความพยายามที่มีมูลค่าเพิ่มสูงขึ้นของการฝึกอบรมงานตามขนาดในระยะเวลาที่สั้นลง และทำซ้ำในโมเดล ML ของคุณได้เร็วขึ้น
ภาพรวมโซลูชัน
เมื่อพิจารณาว่าการฝึกอบรมเกี่ยวกับ GPU และการอนุมานเกี่ยวกับ CPU เป็นกรณีการใช้งานที่ได้รับความนิยมสำหรับลูกค้า AWS เราได้รวมการใช้งานสถาปัตยกรรมแบบไฮบริดแบบทีละขั้นตอนไว้ในโพสต์นี้ (ดังแสดงในแผนภาพต่อไปนี้) เราจะสำรวจศิลปะแห่งความเป็นไปได้และใช้อินสแตนซ์ P4 EC2 พร้อมการสนับสนุน BF16 ที่เริ่มต้นด้วย Base GPU DLAMI รวมถึงไดรเวอร์ NVIDIA, CUDA, NCCL, EFA stack และ PyTorch2.0 DLC สำหรับการปรับแต่งแบบจำลองการวิเคราะห์ความรู้สึก RoBERTa ที่ให้คุณควบคุมและยืดหยุ่นในการใช้โอเพ่นซอร์สหรือไลบรารีที่เป็นกรรมสิทธิ์ จากนั้นเราใช้ SageMaker สำหรับโครงสร้างพื้นฐานการโฮสต์โมเดลที่มีการจัดการเต็มรูปแบบเพื่อโฮสต์โมเดลของเราบน AWS Graviton3-based อินสแตนซ์ C7g. เราเลือก C7g บน SageMaker เนื่องจากได้รับการพิสูจน์แล้วว่าสามารถลดต้นทุนการอนุมานได้ถึง 50% เมื่อเทียบกับอินสแตนซ์ EC2 ที่เปรียบเทียบได้สำหรับ การอนุมานตามเวลาจริง บน SageMaker แผนภาพต่อไปนี้แสดงสถาปัตยกรรมนี้
การฝึกอบรมแบบจำลองและการโฮสต์ในกรณีการใช้งานนี้ประกอบด้วยขั้นตอนต่อไปนี้:
- เปิดใช้อินสแตนซ์ EC2 Ubuntu ที่ใช้ GPU DLAMI ใน VPC ของคุณและเชื่อมต่อกับอินสแตนซ์ของคุณโดยใช้ SSH
- หลังจากที่คุณลงชื่อเข้าใช้อินสแตนซ์ EC2 ให้ดาวน์โหลด AWS PyTorch 2.0 DLC
- รันคอนเทนเนอร์ DLC ของคุณด้วยสคริปต์การฝึกโมเดลเพื่อปรับแต่งโมเดล RoBERTa
- หลังจากการฝึกโมเดลเสร็จสิ้น ให้รวมโมเดลที่บันทึกไว้ สคริปต์การอนุมาน และไฟล์ข้อมูลเมตาสองสามไฟล์ไว้ในไฟล์ tar ที่การอนุมานของ SageMaker สามารถใช้และอัปโหลดแพ็คเกจโมเดลไปยัง บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ถัง
- ปรับใช้โมเดลโดยใช้ SageMaker และสร้างจุดสิ้นสุดการอนุมาน HTTPS จุดสิ้นสุดการอนุมานของ SageMaker มีโหลดบาลานเซอร์และอินสแตนซ์อย่างน้อยหนึ่งอินสแตนซ์ของคอนเทนเนอร์การอนุมานของคุณใน Availability Zone ต่างๆ คุณสามารถปรับใช้รุ่นเดียวกันหลายรุ่นหรือรุ่นที่แตกต่างกันโดยสิ้นเชิงหลังจุดสิ้นสุดเดียวนี้ ในตัวอย่างนี้ เราโฮสต์โมเดลเดียว
- เรียกใช้จุดสิ้นสุดโมเดลของคุณโดยส่งข้อมูลทดสอบและตรวจสอบผลลัพธ์การอนุมาน
ในส่วนต่อไปนี้ เราจะแสดงการปรับแต่งแบบจำลอง RoBERTa สำหรับการวิเคราะห์ความรู้สึก RoBERTa ได้รับการพัฒนาโดย AI ของ Facebook ปรับปรุงโมเดล BERT ยอดนิยมโดยการปรับเปลี่ยนไฮเปอร์พารามิเตอร์หลักและการฝึกอบรมล่วงหน้าในคลังข้อมูลที่ใหญ่ขึ้น สิ่งนี้นำไปสู่ประสิทธิภาพที่ดีขึ้นเมื่อเทียบกับ vanilla BERT
เราใช้ หม้อแปลง ห้องสมุดโดย Hugging Face เพื่อรับโมเดล RoBERTa ที่ได้รับการฝึกฝนล่วงหน้าบนทวีตประมาณ 124 ล้านทวีต และเราปรับแต่งบนชุดข้อมูล Twitter สำหรับการวิเคราะห์ความรู้สึก
เบื้องต้น
ตรวจสอบให้แน่ใจว่าคุณมีคุณสมบัติตรงตามข้อกำหนดเบื้องต้นต่อไปนี้:
- คุณมี บัญชี AWS.
- ตรวจสอบให้แน่ใจว่าคุณอยู่ในไฟล์
us-west-2
ภูมิภาคที่จะเรียกใช้ตัวอย่างนี้ (ตัวอย่างนี้ทดสอบในus-west-2
; อย่างไรก็ตาม คุณสามารถเรียกใช้ในภูมิภาคอื่น ๆ ได้) - สร้างบทบาท มีชื่อ
sagemakerrole
. เพิ่มนโยบายที่มีการจัดการAmazonSageMakerFullAccess
และAmazonS3FullAccess
เพื่อให้ SageMaker เข้าถึงบัคเก็ต S3 - สร้างบทบาท EC2 มีชื่อ
ec2_role
. ใช้นโยบายการอนุญาตต่อไปนี้:
1. เปิดตัวอินสแตนซ์การพัฒนาของคุณ
เราสร้างอินสแตนซ์ p4d.24xlarge ที่มี GPU NVIDIA A8 Tensor Core จำนวน 100 ตัว us-west-2
:
เมื่อเลือก AMI ให้ทำตาม บันทึกประจำรุ่น เพื่อเรียกใช้คำสั่งนี้โดยใช้ อินเทอร์เฟซบรรทัดคำสั่ง AWS AWS (AWS CLI) เพื่อค้นหา AMI ID ที่จะใช้ใน us-west-2
:
ตรวจสอบให้แน่ใจว่าขนาดของวอลุ่มรูท gp3 คือ 200 GiB
การเข้ารหัสระดับเสียง EBS ไม่ได้เปิดใช้งานตามค่าเริ่มต้น พิจารณาการเปลี่ยนแปลงนี้เมื่อย้ายโซลูชันนี้ไปที่การผลิต
2. ดาวน์โหลด Deep Learning Container
AWS DLC มีให้ใช้เป็นอิมเมจ Docker ใน Amazon Elastic Container Registry สาธารณะซึ่งเป็นบริการรีจีสทรีอิมเมจคอนเทนเนอร์ AWS ที่ได้รับการจัดการซึ่งมีความปลอดภัย ปรับขนาดได้ และเชื่อถือได้ อิมเมจ Docker แต่ละอิมเมจสร้างขึ้นเพื่อการฝึกอบรมหรือการอนุมานในเฟรมเวิร์กการเรียนรู้เชิงลึกเวอร์ชัน Python ที่รองรับ CPU หรือ GPU เลือกเฟรมเวิร์ก PyTorch 2.0 จากรายการที่มีอยู่ อิมเมจ Deep Learning Containers.
ทำตามขั้นตอนต่อไปนี้เพื่อดาวน์โหลด DLC ของคุณ:
ก. SSH ไปยังอินสแตนซ์ ตามค่าเริ่มต้น กลุ่มความปลอดภัยที่ใช้กับ EC2 จะเปิดพอร์ต SSH ให้กับทุกคน โปรดพิจารณาสิ่งนี้หากคุณกำลังย้ายโซลูชันนี้ไปสู่การผลิต:
ตามค่าเริ่มต้น กลุ่มความปลอดภัยที่ใช้กับ Amazon EC2 จะเปิดพอร์ต SSH ให้กับทุกคน พิจารณาการเปลี่ยนแปลงนี้ หากคุณกำลังย้ายโซลูชันนี้ไปสู่การใช้งานจริง
ข. ตั้งค่าตัวแปรสภาพแวดล้อมที่จำเป็นในการรันขั้นตอนที่เหลือของการใช้งานนี้:
Amazon ECR รองรับคลังภาพสาธารณะที่มีสิทธิ์ตามทรัพยากรโดยใช้ AWS Identity และการจัดการการเข้าถึง (IAM) เพื่อให้ผู้ใช้หรือบริการเฉพาะสามารถเข้าถึงภาพได้
ค. เข้าสู่ระบบรีจิสทรี DLC:
ง. ดึงคอนเทนเนอร์ PyTorch 2.0 ล่าสุดพร้อมการรองรับ GPU เข้ามา us-west-2
หากคุณได้รับข้อผิดพลาด “ไม่มีพื้นที่เหลือบนอุปกรณ์” ตรวจสอบให้แน่ใจว่าคุณ เพิ่ม ปริมาณ EC2 EBS เป็น 200 GiB จากนั้น ขยายออก ระบบไฟล์ลินุกซ์
3. โคลนสคริปต์ล่าสุดที่ปรับให้เข้ากับ PyTorch 2.0
โคลนสคริปต์ด้วยรหัสต่อไปนี้:
เนื่องจากเรากำลังใช้ Hugging Face Transformers API กับเวอร์ชันล่าสุด 4.28.1 จึงเปิดใช้งานการสนับสนุน PyTorch 2.0 แล้ว เราได้เพิ่มอาร์กิวเมนต์ต่อไปนี้ให้กับ Trainer API ใน train_sentiment.py
เพื่อเปิดใช้งานคุณสมบัติใหม่ของ PyTorch 2.0:
- รวบรวมไฟฉาย – สัมผัสความเร็วเฉลี่ย 43% บน GPU Nvidia A100 ด้วยการเปลี่ยนแปลงเพียงบรรทัดเดียว
- ประเภทข้อมูล BF16 – รองรับประเภทข้อมูลใหม่ (Brain Floating Point) สำหรับ GPU แอมแปร์หรือใหม่กว่า
- ผสมเครื่องมือเพิ่มประสิทธิภาพ AdamW – หลอมรวมการใช้ AdamW เพื่อเพิ่มความเร็วในการฝึกอบรม วิธีการเพิ่มประสิทธิภาพแบบสุ่มนี้แก้ไขการใช้งานทั่วไปของการสลายตัวของน้ำหนักใน Adam โดยการแยกการสลายตัวของน้ำหนักออกจากการอัปเดตการไล่ระดับสี
4. สร้างอิมเมจ Docker ใหม่ด้วยการอ้างอิง
เราขยายอิมเมจ PyTorch 2.0 DLC ที่สร้างไว้ล่วงหน้าเพื่อติดตั้ง Hugging Face Transformer และไลบรารี่อื่นๆ ที่เราต้องการปรับแต่งโมเดลของเราอย่างละเอียด ซึ่งช่วยให้คุณใช้ไลบรารีและการตั้งค่าการเรียนรู้เชิงลึกที่ได้รับการทดสอบและปรับแต่งแล้ว โดยไม่ต้องสร้างอิมเมจตั้งแต่เริ่มต้น ดูรหัสต่อไปนี้:
5. เริ่มฝึกการใช้คอนเทนเนอร์
เรียกใช้คำสั่ง Docker ต่อไปนี้เพื่อเริ่มการปรับแต่งโมเดลอย่างละเอียดบน tweet_eval
ชุดข้อมูลความรู้สึก เรากำลังใช้อาร์กิวเมนต์คอนเทนเนอร์ Docker (ขนาดหน่วยความจำที่ใช้ร่วมกัน หน่วยความจำสูงสุดที่ล็อก และขนาดสแต็ก) แนะนำโดย Nvidia สำหรับเวิร์กโหลดการเรียนรู้เชิงลึก
คุณควรคาดหวังผลลัพธ์ต่อไปนี้ สคริปต์จะดาวน์โหลดชุดข้อมูล TweetEval เป็นครั้งแรก ซึ่งประกอบด้วยงานที่แตกต่างกัน XNUMX งานใน Twitter ซึ่งทั้งหมดจัดอยู่ในการจัดประเภททวีตหลายระดับ งานรวมถึงการประชด ความเกลียดชัง ก้าวร้าว ท่าทาง อีโมจิ อารมณ์ และความรู้สึก
จากนั้นสคริปต์จะดาวน์โหลดโมเดลพื้นฐานและเริ่มกระบวนการปรับแต่งอย่างละเอียด เมตริกการฝึกอบรมและการประเมินผลจะรายงานในตอนท้ายของแต่ละยุค
สถิติประสิทธิภาพ
ด้วย PyTorch 2.0 และ Hugging Face Transformers Library 4.28.1 ล่าสุด เราพบว่าความเร็วเพิ่มขึ้น 42% ในอินสแตนซ์ p4d.24xlarge เดียวที่มี GPU A8 100GB 40 ตัว การปรับปรุงประสิทธิภาพมาจากการรวมกันของ torch.compile, ชนิดข้อมูล BF16 และเครื่องมือเพิ่มประสิทธิภาพ AdamW ที่หลอมรวมกัน โค้ดต่อไปนี้เป็นผลลัพธ์สุดท้ายของการฝึกอบรมสองครั้งที่มีและไม่มีคุณลักษณะใหม่:
6. ทดสอบโมเดลที่ผ่านการฝึกอบรมในพื้นที่ก่อนที่จะเตรียมการอนุมานของ SageMaker
คุณสามารถค้นหาไฟล์ต่อไปนี้ภายใต้ $ml_working_dir/saved_model/
หลังการฝึกอบรม:
ตรวจสอบให้แน่ใจว่าเราสามารถเรียกใช้การอนุมานในเครื่องก่อนที่จะเตรียมการอนุมานของ SageMaker เราสามารถโหลดโมเดลที่บันทึกไว้และเรียกใช้การอนุมานในเครื่องโดยใช้ test_trained_model.py
สคริปต์:
คุณควรคาดหวังผลลัพธ์ต่อไปนี้ด้วยอินพุต “กรณีโควิดเพิ่มขึ้นอย่างรวดเร็ว!”:
7. เตรียมแบบจำลอง tarball สำหรับการอนุมานของ SageMaker
ภายใต้ไดเร็กทอรีที่โมเดลตั้งอยู่ ให้สร้างไดเร็กทอรีใหม่ที่เรียกว่า code
:
ในไดเร็กทอรีใหม่ ให้สร้างไฟล์ inference.py
และเพิ่มสิ่งต่อไปนี้:
ในที่สุดคุณควรมีโครงสร้างโฟลเดอร์ต่อไปนี้:
แบบจำลองพร้อมที่จะบรรจุและอัปโหลดไปยัง Amazon S3 เพื่อใช้งานกับการอนุมานของ SageMaker:
8. ปรับใช้โมเดลบนอินสแตนซ์ SageMaker AWS Graviton
CPU เจเนอเรชันใหม่มีการปรับปรุงประสิทธิภาพอย่างมากในการอนุมาน ML เนื่องจากมีคำสั่งเฉพาะในตัว ในกรณีการใช้งานนี้ เราใช้โครงสร้างพื้นฐานการโฮสต์ที่มีการจัดการเต็มรูปแบบของ SageMaker กับอินสแตนซ์ C3g ที่ใช้ AWS Graviton7 นอกจากนี้ AWS ยังวัดผลประหยัดค่าใช้จ่ายได้ถึง 50% สำหรับการอนุมาน PyTorch ด้วยอินสแตนซ์ EC3 C2g ที่ใช้ AWS Graviton7 บน Torch Hub ResNet50 และโมเดล Hugging Face หลายรุ่นเทียบกับอินสแตนซ์ EC2 ที่เทียบเคียงได้
ในการปรับใช้โมเดลกับอินสแตนซ์ AWS Graviton เราใช้ AWS DLC ที่ให้การสนับสนุน PyTorch 2.0 และ TorchServe 0.8.0 หรือคุณสามารถ นำภาชนะมาเอง ที่เข้ากันได้กับสถาปัตยกรรม ARMv8.2
เราใช้โมเดลที่เราฝึกฝนมาก่อนหน้านี้: s3://<your-s3-bucket>/twitter-roberta-base-sentiment-latest.tar.gz
. หากคุณยังไม่เคยใช้ SageMaker มาก่อน ให้ทบทวน เริ่มต้นกับ Amazon SageMaker.
ในการเริ่มต้น ตรวจสอบให้แน่ใจว่าแพ็คเกจ SageMaker เป็นปัจจุบัน:
เนื่องจากนี่คือตัวอย่าง ให้สร้างไฟล์ชื่อ start_endpoint.py
และเพิ่มรหัสต่อไปนี้ นี่จะเป็นสคริปต์ Python เพื่อเริ่มต้นจุดสิ้นสุดการอนุมานของ SageMaker ด้วยโหมด:
เรากำลังใช้ ml.c7g.4xlarge สำหรับอินสแตนซ์และกำลังดึงข้อมูล PT 2.0 ด้วยขอบเขตรูปภาพ inference_graviton
. นี่คืออินสแตนซ์ AWS Graviton3 ของเรา
ต่อไป เราสร้างไฟล์ที่รันการคาดคะเน เราทำสิ่งเหล่านี้เป็นสคริปต์แยกต่างหาก เพื่อให้เราสามารถเรียกใช้การคาดคะเนได้หลายครั้งตามที่เราต้องการ สร้าง predict.py
ด้วยรหัสต่อไปนี้:
ด้วยสคริปต์ที่สร้างขึ้น ตอนนี้เราสามารถเริ่มต้นจุดสิ้นสุด คาดการณ์กับจุดสิ้นสุด และล้างข้อมูลเมื่อดำเนินการเสร็จแล้ว:
9. ทำความสะอาด
สุดท้ายเราต้องการล้างข้อมูลจากตัวอย่างนี้ สร้าง cleanup.py และเพิ่มรหัสต่อไปนี้:
สรุป
AWS DLAMI และ DLC ได้กลายเป็นมาตรฐานสู่การเรียกใช้ปริมาณงานการเรียนรู้เชิงลึกบนบริการประมวลผลและ ML ที่มีให้เลือกมากมายบน AWS นอกจากการใช้ DLC เฉพาะเฟรมเวิร์กบนบริการ AWS ML แล้ว คุณยังสามารถใช้เฟรมเวิร์กเดียวบน Amazon EC2 ซึ่งช่วยขจัดภาระงานหนักที่จำเป็นสำหรับนักพัฒนาในการสร้างและบำรุงรักษาแอปพลิเคชันการเรียนรู้เชิงลึก อ้างถึง บันทึกประจำรุ่นสำหรับ DLAMI และ รูปภาพคอนเทนเนอร์การเรียนรู้เชิงลึกที่มีอยู่ ที่จะเริ่มต้น
โพสต์นี้แสดงให้เห็นหนึ่งในหลายๆ ความเป็นไปได้ในการฝึกอบรมและให้บริการโมเดลถัดไปของคุณบน AWS และพูดคุยเกี่ยวกับรูปแบบต่างๆ ที่คุณสามารถนำไปใช้เพื่อให้บรรลุวัตถุประสงค์ทางธุรกิจของคุณ ลองใช้ตัวอย่างนี้หรือใช้บริการ AWS ML อื่นๆ เพื่อขยายประสิทธิภาพข้อมูลสำหรับธุรกิจของคุณ เราได้รวมปัญหาการวิเคราะห์ความรู้สึกง่ายๆ เพื่อให้ลูกค้าที่เพิ่งเริ่มใช้ ML สามารถเข้าใจว่าการเริ่มต้นใช้งาน PyTorch 2.0 บน AWS นั้นง่ายเพียงใด เราจะกล่าวถึงกรณีการใช้งาน โมเดล และเทคโนโลยี AWS ขั้นสูงเพิ่มเติมในบล็อกโพสต์ที่กำลังจะมีขึ้น
เกี่ยวกับผู้แต่ง
กันวัลจิต คุรมี เป็น Principal Solutions Architect ที่ Amazon Web Services เขาทำงานร่วมกับลูกค้า AWS เพื่อให้คำแนะนำและความช่วยเหลือด้านเทคนิคเพื่อช่วยปรับปรุงมูลค่าของโซลูชันเมื่อใช้ AWS Kanwaljit เชี่ยวชาญในการช่วยเหลือลูกค้าด้วยแอปพลิเคชันคอนเทนเนอร์และการเรียนรู้ของเครื่อง
ไมค์ ชไนเดอร์ เป็นนักพัฒนาระบบที่อยู่ใน Phoenix AZ เขาเป็นสมาชิกของคอนเทนเนอร์ Deep Learning ซึ่งสนับสนุนอิมเมจคอนเทนเนอร์ Framework ต่างๆ รวมถึง Graviton Inference เขาทุ่มเทให้กับประสิทธิภาพและเสถียรภาพของโครงสร้างพื้นฐาน
ลายเว่ย เป็นวิศวกรซอฟต์แวร์อาวุโสที่ Amazon Web Services เขากำลังมุ่งเน้นไปที่การสร้างเฟรมเวิร์กการเรียนรู้เชิงลึกที่ใช้งานง่าย ประสิทธิภาพสูง และปรับขนาดได้ เพื่อเร่งความเร็วการฝึกอบรมโมเดลแบบกระจาย นอกเวลางาน เขาชอบใช้เวลากับครอบครัว ปีนเขา และเล่นสกี
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
- การสร้างอนาคตโดย Adryenn Ashley เข้าถึงได้ที่นี่.
- ซื้อและขายหุ้นในบริษัท PRE-IPO ด้วย PREIPO® เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/part-1-build-high-performance-ml-models-using-pytorch-2-0-on-aws/
- :มี
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 1
- 10
- 100
- 11
- 12
- 13
- 14
- 15%
- 16
- 17
- 20
- 200
- 23
- 25
- 26%
- 28
- 31
- 7
- 8
- 9
- a
- เร่งความเร็ว
- เร่ง
- เร่ง
- ยอมรับ
- เข้า
- ข้าม
- การกระทำ
- อาดัม
- เพิ่ม
- ที่เพิ่ม
- นำมาใช้
- สูง
- หลังจาก
- กับ
- AI
- จัดแนว
- ชิด
- ทั้งหมด
- อนุญาต
- การอนุญาต
- ช่วยให้
- ตาม
- แล้ว
- ด้วย
- อเมซอน
- Amazon EC2
- Amazon Web Services
- เอเอ็มดี
- จำนวน
- an
- การวิเคราะห์
- วิเคราะห์
- และ
- ประกาศ
- อื่น
- ใด
- API
- การใช้งาน
- การใช้งาน
- เข้าใกล้
- ประมาณ
- สถาปัตยกรรม
- เป็น
- AREA
- อาร์กิวเมนต์
- ข้อโต้แย้ง
- เทียม
- ปัญญาประดิษฐ์
- ปัญญาประดิษฐ์ (AI)
- AS
- ความช่วยเหลือ
- At
- ความพร้อมใช้งาน
- ใช้ได้
- เฉลี่ย
- AWS
- แกว่ง
- ฐาน
- ตาม
- เป็นพื้น
- BE
- เพราะ
- กลายเป็น
- รับ
- ก่อน
- เริ่ม
- หลัง
- มาตรฐาน
- มาตรฐาน
- ใหญ่
- พันล้าน
- BIN
- บล็อก
- บล็อกโพสต์
- ร่างกาย
- ด้านล่าง
- ของเล่นเพิ่มพัฒนาสมอง
- กว้าง
- งบ
- สร้าง
- การก่อสร้าง
- สร้าง
- built-in
- ภาระ
- ธุรกิจ
- ธุรกิจ
- แต่
- by
- โทรศัพท์
- ที่เรียกว่า
- โทร
- CAN
- ความสามารถในการ
- กรณี
- กรณี
- CD
- เปลี่ยนแปลง
- เปลี่ยนแปลง
- ทางเลือก
- Choose
- การจัดหมวดหมู่
- ไคลเอนต์
- เมฆ
- รหัส
- COM
- การผสมผสาน
- มา
- การสื่อสาร
- เทียบเคียง
- เมื่อเทียบกับ
- เข้ากันได้
- สมบูรณ์
- คำนวณ
- คอมพิวเตอร์
- วิสัยทัศน์คอมพิวเตอร์
- การคำนวณ
- เชื่อมต่อ
- พิจารณา
- ประกอบ
- ปลอบใจ
- ภาชนะ
- ภาชนะบรรจุ
- เนื้อหา
- การสร้างเนื้อหา
- ควบคุม
- แกน
- ราคา
- ประหยัดค่าใช้จ่าย
- ค่าใช้จ่าย
- ได้
- ครอบคลุม
- สร้าง
- ที่สร้างขึ้น
- การสร้าง
- หนังสือรับรอง
- curated
- ปัจจุบัน
- ลูกค้า
- ปรับแต่ง
- ข้อมูล
- วันที่
- วัน
- ทุ่มเท
- ลึก
- การเรียนรู้ลึก ๆ
- ค่าเริ่มต้น
- แสดงให้เห็นถึง
- ทั้งนี้ขึ้นอยู่กับ
- ปรับใช้
- นำไปใช้
- การใช้งาน
- การใช้งาน
- ได้รับการออกแบบ
- รายละเอียด
- พัฒนา
- ผู้พัฒนา
- นักพัฒนา
- พัฒนาการ
- ต่าง
- ย่อยอาหาร
- สนทนา
- กล่าวถึง
- กระจาย
- กระจายการฝึกอบรม
- หลาย
- do
- นักเทียบท่า
- ทำ
- Dont
- ดาวน์โหลด
- ดาวน์โหลด
- คนขับรถ
- ไดรเวอร์
- การขับขี่
- สอง
- พลวัต
- แต่ละ
- ก่อน
- ความสะดวก
- อย่างง่ายดาย
- ง่าย
- ผล
- มีประสิทธิภาพ
- อย่างมีประสิทธิภาพ
- อย่างมีประสิทธิภาพ
- ความพยายาม
- ทั้ง
- ทำให้สามารถ
- เปิดการใช้งาน
- การเข้ารหัสลับ
- ปลาย
- ปลายทาง
- วิศวกร
- ที่เพิ่มขึ้น
- อย่างสิ้นเชิง
- สิ่งแวดล้อม
- ยุค
- ความผิดพลาด
- ประเมินค่า
- การประเมินผล
- แม้
- เคย
- ทุกๆ
- ตัวอย่าง
- ที่มีอยู่
- แสดง
- คาดหวัง
- ประสบการณ์
- สำรวจ
- ที่ชี้แจง
- ส่งออก
- ขยายออก
- ขยาย
- ผ้า
- ใบหน้า
- ครอบครัว
- เร็วขึ้น
- ที่เร็วที่สุด
- คุณสมบัติ
- สองสาม
- รูป
- เนื้อไม่มีมัน
- ไฟล์
- สุดท้าย
- หา
- ชื่อจริง
- พอดี
- ความยืดหยุ่น
- ที่ลอย
- โฟกัส
- โดยมุ่งเน้น
- ปฏิบัติตาม
- ดังต่อไปนี้
- สำหรับ
- กรอบ
- กรอบ
- ราคาเริ่มต้นที่
- อย่างเต็มที่
- ต่อไป
- สร้าง
- สร้าง
- รุ่น
- ชั่วอายุคน
- กำเนิด
- กำเนิด AI
- ได้รับ
- ไป
- GitHub
- ให้
- จะช่วยให้
- เหตุการณ์ที่
- GPU
- GPUs
- บัญชีกลุ่ม
- การเจริญเติบโต
- คำแนะนำ
- มี
- มี
- he
- หนัก
- ยกของหนัก
- การช่วยเหลือ
- จะช่วยให้
- ประสิทธิภาพสูง
- สูงกว่า
- ที่สูงที่สุด
- ของเขา
- ถือ
- เจ้าภาพ
- โฮสติ้ง
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- อย่างไรก็ตาม
- HTML
- ที่ http
- HTTPS
- Hub
- ร้อย
- เป็นลูกผสม
- ID
- เอกลักษณ์
- if
- แสดงให้เห็นถึง
- ภาพ
- ภาพ
- การดำเนินการ
- การดำเนินงาน
- นำเข้า
- ปรับปรุง
- การปรับปรุง
- การปรับปรุง
- การปรับปรุง
- การปรับปรุง
- in
- ประกอบด้วย
- รวม
- รวมถึง
- รวมทั้ง
- เพิ่ม
- ที่เพิ่มขึ้น
- อิสระ
- อุตสาหกรรม
- โครงสร้างพื้นฐาน
- อินพุต
- ติดตั้ง
- การติดตั้ง
- การติดตั้ง
- ตัวอย่าง
- แทน
- คำแนะนำการใช้
- รวม
- อินเทล
- Intelligence
- เข้าไป
- เงินลงทุน
- IP
- การประชด
- IT
- ITS
- งาน
- jpg
- JSON
- คีย์
- ฉลาก
- ภาษา
- ใหญ่
- ขนาดใหญ่
- ที่มีขนาดใหญ่
- ความแอบแฝง
- ล่าสุด
- รุ่นล่าสุด
- เปิดตัว
- นำไปสู่
- การเรียนรู้
- ซ้าย
- ห้องสมุด
- ห้องสมุด
- facelift
- กดไลก์
- ถูก จำกัด
- Line
- ลินุกซ์
- รายการ
- โหลด
- ในท้องถิ่น
- ที่ตั้งอยู่
- ล็อค
- เข้าสู่ระบบ
- เข้าสู่ระบบ
- ปิด
- ลด
- ต่ำที่สุด
- เครื่อง
- เรียนรู้เครื่อง
- เก็บรักษา
- ทำ
- การทำ
- จัดการ
- การจัดการ
- หลาย
- คณิตศาสตร์
- แม็กซ์
- อาจ..
- พบ
- สมาชิก
- หน่วยความจำ
- ผสาน
- เมตาดาต้า
- วิธี
- ตัวชี้วัด
- ล้าน
- ML
- ม.ป.ป
- โหมด
- แบบ
- โมเดล
- โมดูล
- เดือน
- ข้อมูลเพิ่มเติม
- การย้าย
- หลาย
- ชื่อ
- โดยธรรมชาติ
- ประมวลผลภาษาธรรมชาติ
- จำเป็น
- จำเป็นต้อง
- จำเป็น
- ความต้องการ
- เชิงลบ
- เครือข่าย
- เครือข่าย
- เป็นกลาง
- ใหม่
- คุณสมบัติใหม่
- เทคโนโลยีใหม่ ๆ
- ถัดไป
- โหนด
- หมายเหตุ / รายละเอียดเพิ่มเติม
- สังเกต..
- ตอนนี้
- Nvidia
- วัตถุประสงค์
- of
- น่ารังเกียจ
- เสนอ
- การเสนอ
- เสนอ
- on
- ONE
- โอเพนซอร์ส
- เปิด
- การดำเนินงาน
- การเพิ่มประสิทธิภาพ
- การปรับให้เหมาะสม
- Options
- or
- ประสาน
- องค์กร
- OS
- อื่นๆ
- ผลิตภัณฑ์อื่นๆ
- ของเรา
- ออก
- เอาท์พุต
- ด้านนอก
- ของตนเอง
- แพ็คเกจ
- แพคเกจ
- พารามิเตอร์
- ส่วนหนึ่ง
- ปะ
- ปะ
- การปฏิบัติ
- การอนุญาต
- สิทธิ์
- ต้นอินทผลัม
- เลือก
- เลือก
- ท่อ
- เวที
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- กรุณา
- จุด
- นโยบาย
- นโยบาย
- ยอดนิยม
- ความเป็นไปได้
- โพสต์
- โพสต์
- ขับเคลื่อน
- ที่มีประสิทธิภาพ
- คาดการณ์
- คำทำนาย
- การคาดการณ์
- เตรียมการ
- การเตรียมความพร้อม
- ข้อกำหนดเบื้องต้น
- ก่อน
- หลัก
- ปัญหา
- กระบวนการ
- การประมวลผล
- โปรเซสเซอร์
- การผลิต
- ผลผลิต
- ผลิตภัณฑ์
- โครงการ
- โครงการ
- เป็นเจ้าของ
- ที่พิสูจน์แล้ว
- ให้
- ให้
- สาธารณะ
- ใส่
- หลาม
- ไฟฉาย
- พร้อม
- เมื่อเร็ว ๆ นี้
- เมื่อเร็ว ๆ นี้
- ที่เกิดขึ้น
- ลด
- ภูมิภาค
- รีจิสทรี
- สม่ำเสมอ
- ญาติ
- ปล่อย
- น่าเชื่อถือ
- ที่เหลืออยู่
- รายงาน
- ต้องการ
- จำเป็นต้องใช้
- ความต้องการ
- ต้อง
- ทรัพยากร
- คำตอบ
- ข้อ จำกัด
- ผล
- กลับ
- ทบทวน
- บทบาท
- ราก
- วิ่ง
- วิ่ง
- sagemaker
- การอนุมาน SageMaker
- เดียวกัน
- เงินออม
- ที่ปรับขนาดได้
- ขนาด
- การสแกน
- scikit เรียนรู้
- ขอบเขต
- คะแนน
- รอยขีดข่วน
- สคริปต์
- Section
- ส่วน
- ปลอดภัย
- ความปลอดภัย
- เห็น
- การเลือก
- การเลือก
- การส่ง
- ระดับอาวุโส
- ความรู้สึก
- แยก
- ให้บริการ
- บริการ
- บริการ
- เซสชั่น
- ชุด
- การตั้งค่า
- การติดตั้ง
- เจ็ด
- หลาย
- SHA256
- ที่ใช้ร่วมกัน
- น่า
- แสดง
- แสดงให้เห็นว่า
- แสดง
- แสดงให้เห็นว่า
- สำคัญ
- ง่าย
- เดียว
- ขนาด
- ขนาด
- So
- ซอฟต์แวร์
- วิศวกรซอฟต์แวร์
- ทางออก
- โซลูชัน
- บาง
- ช่องว่าง
- เฉพาะ
- ความเชี่ยวชาญ
- โดยเฉพาะ
- เฉพาะ
- ความเร็ว
- ความเร็ว
- ใช้จ่าย
- การใช้จ่าย
- Stability
- กอง
- มาตรฐาน
- เริ่มต้น
- ข้อความที่เริ่ม
- เริ่มต้น
- คำแถลง
- สถิติ
- ขั้นตอน
- ขั้นตอน
- การเก็บรักษา
- ตัวเลือกการจัดเก็บข้อมูล
- กลยุทธ์
- โครงสร้าง
- อย่างเช่น
- สนับสนุน
- ที่สนับสนุน
- ที่สนับสนุน
- รองรับ
- ระบบ
- ระบบ
- ปรับปรุง
- งาน
- วิชาการ
- เทคนิค
- เทคโนโลยี
- tensorflow
- ทดสอบ
- การทดสอบ
- กว่า
- ที่
- พื้นที่
- พื้นที่
- ของพวกเขา
- พวกเขา
- แล้วก็
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- พวกเขา
- สิ่ง
- นี้
- แต่?
- ตลอด
- ปริมาณงาน
- ชั้น
- เวลา
- ครั้ง
- ไปยัง
- เครื่องมือ
- ไฟฉาย
- รถไฟ
- ผ่านการฝึกอบรม
- การฝึกอบรม
- หม้อแปลงไฟฟ้า
- หม้อแปลง
- การเปลี่ยนแปลง
- ลอง
- tweet
- ทวีต
- พูดเบาและรวดเร็ว
- สอง
- ชนิด
- ชนิด
- ตามแบบฉบับ
- อูบุนตู
- ภายใต้
- เข้าใจ
- ที่กำลังมา
- บันทึก
- ให้กับคุณ
- อัพเกรด
- อัปโหลด
- การใช้
- ใช้
- ใช้กรณี
- มือสอง
- ผู้ใช้
- การใช้
- ประโยชน์
- ความคุ้มค่า
- ความหลากหลาย
- ต่างๆ
- ตรวจสอบ
- รุ่น
- วิสัยทัศน์
- ปริมาณ
- ช่องโหว่
- ต้องการ
- we
- เว็บ
- บริการเว็บ
- สัปดาห์ที่ผ่านมา
- น้ำหนัก
- ยินดีต้อนรับ
- เมื่อ
- ที่
- อย่างกว้างขวาง
- จะ
- กับ
- ไม่มี
- งาน
- เวิร์กโฟลว์
- โรงงาน
- เขียน
- การเขียน
- X
- คุณ
- ของคุณ
- ลมทะเล
- โซน