การสร้างไปป์ไลน์การเรียนรู้ของเครื่อง (ML) ที่ปรับขนาดได้และมีประสิทธิภาพถือเป็นสิ่งสำคัญสำหรับการปรับปรุงการพัฒนา การปรับใช้ และการจัดการโมเดล ML ในโพสต์นี้ เรานำเสนอกรอบงานสำหรับการสร้างกราฟอะไซคลิกโดยตรง (DAG) โดยอัตโนมัติ ท่อส่ง Amazon SageMaker ขึ้นอยู่กับไฟล์การกำหนดค่าอย่างง่าย ที่ รหัสกรอบงานและตัวอย่าง ที่นำเสนอในที่นี้ครอบคลุมเฉพาะไปป์ไลน์การฝึกโมเดลเท่านั้น แต่สามารถขยายไปยังไปป์ไลน์การอนุมานแบบแบตช์ได้อย่างง่ายดายเช่นกัน
เฟรมเวิร์กแบบไดนามิกนี้ใช้ไฟล์การกำหนดค่าเพื่อจัดเตรียมขั้นตอนการประมวลผลล่วงหน้า การฝึกอบรม การประเมิน และการลงทะเบียนสำหรับกรณีการใช้งานทั้งรุ่นเดียวและหลายรุ่นโดยอิงตามสคริปต์ Python ที่ผู้ใช้กำหนด ความต้องการด้านโครงสร้างพื้นฐาน (รวมถึง คลาวด์ส่วนตัวเสมือนของ Amazon (Amazon VPC) ซับเน็ตและกลุ่มความปลอดภัย AWS Identity และการจัดการการเข้าถึง (IAM) บทบาท บริการจัดการคีย์ AWS คีย์ (AWS KMS), รีจิสตรีคอนเทนเนอร์ และประเภทอินสแตนซ์) อินพุตและเอาต์พุต บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon เส้นทาง (Amazon S3) และแท็กทรัพยากร ไฟล์การกำหนดค่า (YAML และ JSON) ช่วยให้ผู้ปฏิบัติงาน ML สามารถระบุรหัสที่ไม่แตกต่างสำหรับการเตรียมไปป์ไลน์การฝึกอบรมโดยใช้ไวยากรณ์ที่ประกาศ สิ่งนี้ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถสร้างและทำซ้ำโมเดล ML ได้อย่างรวดเร็ว และช่วยให้วิศวกร ML ทำงานผ่านการบูรณาการอย่างต่อเนื่องและไปป์ไลน์ ML การส่งมอบอย่างต่อเนื่อง (CI/CD) ได้เร็วขึ้น ส่งผลให้เวลาในการผลิตสำหรับโมเดลลดลง
ภาพรวมโซลูชัน
รหัสกรอบงานที่นำเสนอเริ่มต้นด้วยการอ่านไฟล์การกำหนดค่า จากนั้นจะสร้าง SageMaker Pipelines DAG แบบไดนามิกตามขั้นตอนที่ประกาศในไฟล์การกำหนดค่า และการโต้ตอบและการขึ้นต่อกันระหว่างขั้นตอนต่างๆ กรอบงานการประสานนี้รองรับกรณีการใช้งานทั้งรุ่นเดียวและหลายรุ่น และช่วยให้การไหลเวียนของข้อมูลและกระบวนการราบรื่น ต่อไปนี้คือคุณประโยชน์หลักของโซลูชันนี้:
- อัตโนมัติ – เวิร์กโฟลว์ ML ทั้งหมด ตั้งแต่การประมวลผลข้อมูลล่วงหน้าไปจนถึงการลงทะเบียนโมเดล ได้รับการจัดเตรียมโดยไม่มีการแทรกแซงด้วยตนเอง ซึ่งจะช่วยลดเวลาและความพยายามที่จำเป็นสำหรับการทดลองและการปฏิบัติงานแบบจำลอง
- การทำสำเนาได้ – ด้วยไฟล์การกำหนดค่าที่กำหนดไว้ล่วงหน้า นักวิทยาศาสตร์ข้อมูลและวิศวกร ML สามารถสร้างเวิร์กโฟลว์ทั้งหมดได้ เพื่อให้ได้ผลลัพธ์ที่สม่ำเสมอในการทำงานและสภาพแวดล้อมที่หลากหลาย
- scalability - อเมซอน SageMaker ถูกใช้ตลอดขั้นตอน ช่วยให้ผู้ปฏิบัติงาน ML สามารถประมวลผลชุดข้อมูลขนาดใหญ่และฝึกโมเดลที่ซับซ้อนได้โดยไม่ต้องกังวลเรื่องโครงสร้างพื้นฐาน
- ความยืดหยุ่น – เฟรมเวิร์กมีความยืดหยุ่นและสามารถรองรับกรณีการใช้งาน ML, เฟรมเวิร์ก ML (เช่น XGBoost และ TensorFlow), การฝึกอบรมหลายรูปแบบ และการฝึกอบรมหลายขั้นตอนได้หลากหลาย ทุกขั้นตอนของการฝึกอบรม DAG สามารถปรับแต่งได้ผ่านไฟล์การกำหนดค่า
- รูปแบบการกำกับดูแล - รีจิสทรีโมเดล Amazon SageMaker การผสานรวมทำให้สามารถติดตามเวอร์ชันของโมเดลได้ และดังนั้นจึงส่งเสริมให้เป็นเวอร์ชันที่ใช้งานจริงด้วยความมั่นใจ
แผนภาพสถาปัตยกรรมต่อไปนี้แสดงวิธีที่คุณสามารถใช้เฟรมเวิร์กที่นำเสนอระหว่างการทดลองและการดำเนินการของโมเดล ML ในระหว่างการทดลอง คุณสามารถโคลนที่เก็บโค้ดเฟรมเวิร์กที่ให้ไว้ในโพสต์นี้และที่เก็บซอร์สโค้ดเฉพาะโปรเจ็กต์ของคุณลงใน สตูดิโอ Amazon SageMakerและตั้งค่าสภาพแวดล้อมเสมือนของคุณ (รายละเอียดภายหลังในโพสต์นี้) จากนั้น คุณสามารถวนซ้ำสคริปต์การประมวลผลล่วงหน้า การฝึกอบรม และการประเมินผล ตลอดจนตัวเลือกการกำหนดค่าต่างๆ หากต้องการสร้างและเรียกใช้ DAG การฝึกอบรม SageMaker Pipelines คุณสามารถเรียกใช้จุดเข้าใช้งานของเฟรมเวิร์ก ซึ่งจะอ่านไฟล์การกำหนดค่าทั้งหมด สร้างขั้นตอนที่จำเป็น และเรียบเรียงตามลำดับขั้นตอนที่ระบุและการขึ้นต่อกัน
ในระหว่างการปฏิบัติงาน ไปป์ไลน์ CI จะโคลนที่เก็บรหัสเฟรมเวิร์กและที่เก็บการฝึกอบรมเฉพาะโครงการลงใน AWS CodeBuild งาน โดยที่สคริปต์จุดเข้าใช้งานของเฟรมเวิร์กถูกเรียกเพื่อสร้างหรืออัปเดต DAG การฝึกอบรม SageMaker Pipelines จากนั้นจึงเรียกใช้งาน
โครงสร้างที่เก็บ
พื้นที่ พื้นที่เก็บข้อมูล GitHub มีไดเร็กทอรีและไฟล์ดังต่อไปนี้:
- /กรอบงาน/conf/ – ไดเร็กทอรีนี้มีไฟล์การกำหนดค่าที่ใช้ในการตั้งค่าตัวแปรทั่วไปในหน่วยการสร้างแบบจำลองทั้งหมด เช่น ซับเน็ต กลุ่มความปลอดภัย และบทบาท IAM ณ รันไทม์ หน่วยการสร้างแบบจำลองคือลำดับขั้นตอนสูงสุดหกขั้นตอนสำหรับการฝึกโมเดล ML
- /กรอบงาน/สร้างแบบจำลอง/ – ไดเร็กทอรีนี้มีสคริปต์ Python ที่สร้างไฟล์ รุ่น SageMaker วัตถุตามสิ่งประดิษฐ์แบบจำลองจาก ขั้นตอนการฝึกอบรม SageMaker Pipelines. วัตถุโมเดลถูกใช้ในภายหลังใน การแปลงแบทช์ SageMaker งานสำหรับประเมินประสิทธิภาพของโมเดลในชุดทดสอบ
- /กรอบงาน/โมเดลเมตริก/ – ไดเร็กทอรีนี้มีสคริปต์ Python ที่สร้างไฟล์ การประมวลผล Amazon SageMaker งานสำหรับการสร้างรายงาน JSON เมตริกโมเดลสำหรับโมเดลที่ผ่านการฝึกอบรมโดยอิงตามผลลัพธ์ของงานการแปลงแบทช์ของ SageMaker ที่ดำเนินการกับข้อมูลทดสอบ
- /กรอบงาน/ไปป์ไลน์/ – ไดเร็กทอรีนี้มีสคริปต์ Python ที่ใช้คลาส Python ที่กำหนดไว้ในไดเร็กทอรีเฟรมเวิร์กอื่นเพื่อสร้างหรืออัปเดต SageMaker Pipelines DAG ตามการกำหนดค่าที่ระบุ สคริปต์ model_unit.py ถูกใช้โดย Pipeline_service.py เพื่อสร้างหน่วยการสร้างแบบจำลองตั้งแต่หนึ่งหน่วยขึ้นไป หน่วยการสร้างโมเดลแต่ละหน่วยมีลำดับสูงสุดหกขั้นตอนสำหรับการฝึกโมเดล ML ได้แก่ กระบวนการ ฝึกฝน สร้างโมเดล การแปลง หน่วยวัด และโมเดลรีจิสเตอร์ ควรระบุการกำหนดค่าสำหรับแต่ละหน่วยการสร้างแบบจำลองในที่เก็บข้อมูลที่เกี่ยวข้องของโมเดล Pipelines_service.py ยังตั้งค่าการขึ้นต่อกันระหว่างขั้นตอนของ SageMaker Pipelines (วิธีการจัดลำดับหรือเชื่อมโยงขั้นตอนภายในและข้ามหน่วยการสร้างแบบจำลอง) โดยอิงตามส่วนของ sagemakerPipeline ซึ่งควรกำหนดไว้ในไฟล์การกำหนดค่าของหนึ่งในที่เก็บโมเดล (โมเดล Anchor) ซึ่งจะทำให้คุณสามารถแทนที่การขึ้นต่อกันเริ่มต้นที่อนุมานโดย SageMaker Pipelines เราจะหารือเกี่ยวกับโครงสร้างไฟล์การกำหนดค่าในภายหลังในโพสต์นี้
- /กรอบงาน/การประมวลผล/ – ไดเร็กทอรีนี้มีสคริปต์ Python ที่สร้างงานการประมวลผล SageMaker โดยอิงตามอิมเมจ Docker ที่ระบุและสคริปต์จุดเริ่มต้น
- /กรอบงาน/ทะเบียนรุ่น/ – ไดเร็กทอรีนี้มีสคริปต์ Python สำหรับการลงทะเบียนโมเดลที่ผ่านการฝึกอบรมพร้อมกับตัววัดที่คำนวณแล้วใน SageMaker Model Registry
- /กรอบการทำงาน/การฝึกอบรม/ – ไดเร็กทอรีนี้มีสคริปต์ Python ที่สร้างงานการฝึก SageMaker
- /กรอบ/แปลง/ – ไดเร็กทอรีนี้มีสคริปต์ Python ที่สร้างงานการแปลงชุด SageMaker ในบริบทของการฝึกโมเดล จะใช้ในการคำนวณการวัดประสิทธิภาพของโมเดลที่ได้รับการฝึกกับข้อมูลการทดสอบ
- /กรอบงาน/ยูทิลิตี้/ – ไดเร็กทอรีนี้มีสคริปต์ยูทิลิตี้สำหรับการอ่านและการเข้าร่วมไฟล์การกำหนดค่า รวมถึงการบันทึก
- /framework_entrypoint.py – ไฟล์นี้เป็นจุดเริ่มต้นของโค้ดกรอบงาน โดยจะเรียกใช้ฟังก์ชันที่กำหนดไว้ในไดเร็กทอรี /framework/pipeline/ เพื่อสร้างหรืออัปเดต SageMaker Pipelines DAG และเรียกใช้งาน
- /ตัวอย่าง/ – ไดเร็กทอรีนี้มีตัวอย่างหลายวิธีที่คุณสามารถใช้เฟรมเวิร์กการทำงานอัตโนมัตินี้เพื่อสร้าง DAG การฝึกอบรมที่เรียบง่ายและซับซ้อน
- /env.env – ไฟล์นี้อนุญาตให้คุณตั้งค่าตัวแปรทั่วไป เช่น ซับเน็ต กลุ่มความปลอดภัย และบทบาท IAM เป็นตัวแปรสภาพแวดล้อม
- /requirements.txt – ไฟล์นี้ระบุไลบรารี Python ที่จำเป็นสำหรับโค้ดเฟรมเวิร์ก
เบื้องต้น
คุณควรมีข้อกำหนดเบื้องต้นต่อไปนี้ก่อนที่จะปรับใช้โซลูชันนี้:
- บัญชี AWS
- SageMaker สตูดิโอ
- บทบาท SageMaker พร้อมสิทธิ์การอ่าน/เขียนของ Amazon S3 และสิทธิ์การเข้ารหัส/ถอดรหัส AWS KMS
- บัคเก็ต S3 สำหรับจัดเก็บข้อมูล สคริปต์ และอาร์ติแฟกต์ของโมเดล
- ทางเลือก อินเทอร์เฟซบรรทัดคำสั่ง AWS AWS (AWS CLI)
- Python3 (Python 3.7 หรือสูงกว่า) และแพ็คเกจ Python ต่อไปนี้:
- โบโต3
- sagemaker
- ไพยอเอ็มแอล
- แพ็คเกจ Python เพิ่มเติมที่ใช้ในสคริปต์ที่คุณกำหนดเอง
ปรับใช้โซลูชัน
ทำตามขั้นตอนต่อไปนี้เพื่อปรับใช้โซลูชัน:
- จัดระเบียบพื้นที่เก็บข้อมูลการฝึกโมเดลของคุณตามโครงสร้างต่อไปนี้:
- โคลนโค้ดเฟรมเวิร์กและซอร์สโค้ดโมเดลของคุณจากที่เก็บ Git:
-
- โคลน
dynamic-sagemaker-pipelines-framework
repo ลงในไดเร็กทอรีการฝึกอบรม ในโค้ดต่อไปนี้ เราถือว่ามีการเรียกไดเร็กทอรีการฝึกอบรมaws-train
: - โคลนซอร์สโค้ดโมเดลภายใต้ไดเร็กทอรีเดียวกัน สำหรับการฝึกแบบหลายโมเดล ให้ทำซ้ำขั้นตอนนี้กับโมเดลได้มากเท่าที่คุณต้องการฝึก
- โคลน
สำหรับการฝึกโมเดลเดียว ไดเร็กทอรีของคุณควรมีลักษณะดังนี้:
สำหรับการฝึกแบบหลายโมเดล ไดเร็กทอรีของคุณควรมีลักษณะดังนี้:
- ตั้งค่าตัวแปรสภาพแวดล้อมต่อไปนี้ เครื่องหมายดอกจันระบุตัวแปรสภาพแวดล้อมที่จำเป็น ส่วนที่เหลือเป็นทางเลือก
ตัวแปรสภาพแวดล้อม | รายละเอียด |
SMP_ACCOUNTID* |
บัญชี AWS ที่รันไปป์ไลน์ SageMaker |
SMP_REGION* |
ภูมิภาค AWS ที่ไปป์ไลน์ SageMaker ทำงาน |
SMP_S3BUCKETNAME* |
ชื่อบัคเก็ต S3 |
SMP_ROLE* |
บทบาทของ SageMaker |
SMP_MODEL_CONFIGPATH* |
พาธสัมพัทธ์ของไฟล์คอนฟิกูเรชันรุ่นเดียวหรือหลายรุ่น |
SMP_SUBNETS |
Subnet ID สำหรับการกำหนดค่าเครือข่าย SageMaker |
SMP_SECURITYGROUPS |
ID กลุ่มความปลอดภัยสำหรับการกำหนดค่าเครือข่าย SageMaker |
สำหรับกรณีการใช้งานรุ่นเดียว SMP_MODEL_CONFIGPATH
จะ <MODEL-DIR>/conf/conf.yaml
. สำหรับกรณีการใช้งานหลายรุ่น SMP_MODEL_CONFIGPATH
จะ */conf/conf.yaml
ซึ่งช่วยให้คุณสามารถค้นหาทั้งหมดได้ conf.yaml
โดยใช้โมดูล glob ของ Python และรวมเข้าด้วยกันเพื่อสร้างไฟล์การกำหนดค่าส่วนกลาง ในระหว่างการทดลอง (การทดสอบในเครื่อง) คุณสามารถระบุตัวแปรสภาพแวดล้อมภายในไฟล์ env.env แล้วส่งออกโดยการรันคำสั่งต่อไปนี้ในเทอร์มินัลของคุณ:
โปรดทราบว่าค่าของตัวแปรสภาพแวดล้อมใน env.env
ควรวางไว้ในเครื่องหมายคำพูด (เช่น SMP_REGION="us-east-1"
). ในระหว่างการดำเนินการ ตัวแปรสภาพแวดล้อมเหล่านี้ควรได้รับการตั้งค่าโดยไปป์ไลน์ CI
- สร้างและเปิดใช้งานสภาพแวดล้อมเสมือนโดยการรันคำสั่งต่อไปนี้:
- ติดตั้งแพ็คเกจ Python ที่จำเป็นโดยการรันคำสั่งต่อไปนี้:
- แก้ไขการฝึกโมเดลของคุณ
conf.yaml
ไฟล์. เราจะหารือเกี่ยวกับโครงสร้างไฟล์การกำหนดค่าในส่วนถัดไป - จากเทอร์มินัล ให้เรียกจุดเข้าใช้งานของเฟรมเวิร์กเพื่อสร้างหรืออัปเดตและรัน DAG การฝึกอบรม SageMaker Pipeline:
- ดูและดีบัก SageMaker Pipelines ที่ทำงานบน ท่อ แท็บของ SageMaker Studio UI
โครงสร้างไฟล์การกำหนดค่า
ไฟล์การกำหนดค่ามีสองประเภทในโซลูชันที่นำเสนอ: การกำหนดค่าเฟรมเวิร์ก และการกำหนดค่าโมเดล ในส่วนนี้ เราจะอธิบายแต่ละรายการโดยละเอียด
การกำหนดค่ากรอบงาน
พื้นที่ /framework/conf/conf.yaml
ไฟล์จะตั้งค่าตัวแปรที่ใช้ร่วมกันในทุกหน่วยการสร้างแบบจำลอง ซึ่งรวมถึง SMP_S3BUCKETNAME
, SMP_ROLE
, SMP_MODEL_CONFIGPATH
, SMP_SUBNETS
, SMP_SECURITYGROUPS
และ SMP_MODELNAME
. โปรดดูขั้นตอนที่ 3 ของคำแนะนำในการปรับใช้สำหรับคำอธิบายของตัวแปรเหล่านี้และวิธีการตั้งค่าผ่านตัวแปรสภาพแวดล้อม
การกำหนดค่าโมเดล
สำหรับแต่ละรุ่นในโครงการเราต้องระบุดังต่อไปนี้ใน <MODEL-DIR>/conf/conf.yaml
ไฟล์ (เครื่องหมายดอกจันระบุส่วนที่จำเป็น ส่วนที่เหลือเป็นทางเลือก):
- /conf/รุ่น* – ในส่วนนี้ คุณสามารถกำหนดค่าหน่วยการสร้างแบบจำลองตั้งแต่หนึ่งหน่วยขึ้นไปได้ เมื่อรันโค้ดเฟรมเวิร์ก มันจะอ่านไฟล์การกำหนดค่าทั้งหมดโดยอัตโนมัติระหว่างรันไทม์และผนวกเข้ากับโครงสร้างการกำหนดค่า ตามทฤษฎี คุณสามารถระบุหน่วยการสร้างแบบจำลองทั้งหมดในหน่วยเดียวกันได้
conf.yaml
แต่ขอแนะนำให้ระบุการกำหนดค่าหน่วยการสร้างแบบจำลองแต่ละรายการในไดเร็กทอรีที่เกี่ยวข้องหรือที่เก็บ Git เพื่อลดข้อผิดพลาดให้เหลือน้อยที่สุด หน่วยมีดังนี้:- {ชื่อรุ่น}* – ชื่อรุ่น.
- แหล่งที่มา_ไดเร็กทอรี* – เป็นเรื่องธรรมดา
source_dir
เส้นทางที่จะใช้สำหรับทุกขั้นตอนภายในหน่วยการสร้างแบบจำลอง - ก่อนการประมวลผล – ส่วนนี้ระบุพารามิเตอร์การประมวลผลล่วงหน้า
- รถไฟ* – ส่วนนี้ระบุพารามิเตอร์งานการฝึกอบรม
- แปลง* – ส่วนนี้ระบุพารามิเตอร์งาน SageMaker Transform สำหรับการคาดการณ์ข้อมูลการทดสอบ
- ประเมินค่า – ส่วนนี้ระบุพารามิเตอร์งานการประมวลผลของ SageMaker สำหรับการสร้างรายงาน JSON เมตริกโมเดลสำหรับโมเดลที่ได้รับการฝึก
- ทะเบียน* – ส่วนนี้ระบุพารามิเตอร์สำหรับการลงทะเบียนโมเดลที่ได้รับการฝึกใน SageMaker Model Registry
- /conf/sagemakerPipeline* – ส่วนนี้จะกำหนดโฟลว์ไปป์ไลน์ของ SageMaker รวมถึงการขึ้นต่อกันระหว่างขั้นตอนต่างๆ สำหรับกรณีการใช้งานรุ่นเดียว ส่วนนี้จะถูกกำหนดไว้ที่ส่วนท้ายของไฟล์การกำหนดค่า สำหรับกรณีการใช้งานหลายรุ่น
sagemakerPipeline
จำเป็นต้องกำหนดส่วนในไฟล์กำหนดค่าของรุ่นใดรุ่นหนึ่งเท่านั้น (รุ่นใดก็ได้) เราเรียกโมเดลนี้ว่า โมเดลสมอ. พารามิเตอร์มีดังนี้:- ไปป์ไลน์ชื่อ* – ชื่อของไปป์ไลน์ SageMaker
- โมเดล* - รายการหน่วยการสร้างแบบจำลองที่ซ้อนกัน:
- {ชื่อรุ่น}* – ตัวระบุโมเดล ซึ่งควรตรงกับตัวระบุ {model-name} ในส่วน /conf/models
- ขั้นตอน* -
- step_name* – ชื่อขั้นตอนที่จะแสดงใน SageMaker Pipelines DAG
- ขั้นตอน_คลาส* – (ยูเนี่ยน [การประมวลผล, การฝึกอบรม, CreateModel, การแปลง, เมตริก, RegisterModel])
- step_type* – พารามิเตอร์นี้จำเป็นสำหรับขั้นตอนการประมวลผลล่วงหน้าเท่านั้น ซึ่งควรตั้งค่าเป็นการประมวลผลล่วงหน้า สิ่งนี้จำเป็นในการแยกแยะขั้นตอนก่อนประมวลผลและประเมินผล ซึ่งทั้งสองขั้นตอนมี
step_class
ของการประมวลผล - Enable_cache – ([สหภาพ[จริง เท็จ]]) สิ่งนี้บ่งชี้ว่าจะเปิดใช้งานหรือไม่ การแคชไปป์ไลน์ของ SageMaker สำหรับขั้นตอนนี้
- chain_input_source_step – ([รายการ[ชื่อขั้นตอน]]) คุณสามารถใช้สิ่งนี้เพื่อตั้งค่าเอาต์พุตช่องสัญญาณของขั้นตอนอื่นเป็นอินพุตของขั้นตอนนี้
- chain_input_เพิ่มเติม_คำนำหน้า – อนุญาตเฉพาะขั้นตอนของการแปลงเท่านั้น
step_class
และสามารถใช้ร่วมกับchain_input_source_step
พารามิเตอร์เพื่อระบุไฟล์ที่ควรใช้เป็นอินพุตในขั้นตอนการแปลง
- ขั้นตอน* -
- {ชื่อรุ่น}* – ตัวระบุโมเดล ซึ่งควรตรงกับตัวระบุ {model-name} ในส่วน /conf/models
- การอ้างอิง – ส่วนนี้ระบุลำดับที่ควรรันขั้นตอน SageMaker Pipelines เราได้ปรับเปลี่ยนสัญลักษณ์ Apache Airflow สำหรับส่วนนี้ (เช่น
{step_name} >> {step_name}
). หากส่วนนี้เว้นว่างไว้ แสดงว่ามีการขึ้นต่อกันอย่างชัดเจนโดยchain_input_source_step
พารามิเตอร์หรือการขึ้นต่อกันโดยนัยจะกำหนดโฟลว์ DAG ของ SageMaker Pipelines
โปรดทราบว่าเราแนะนำให้มีหนึ่งขั้นตอนการฝึกอบรมต่อหน่วยการสร้างแบบจำลอง หากมีการกำหนดขั้นตอนการฝึกอบรมหลายขั้นตอนสำหรับหน่วยการสร้างแบบจำลอง ขั้นตอนต่อมาจะใช้ขั้นตอนการฝึกอบรมสุดท้ายโดยปริยายเพื่อสร้างออบเจ็กต์แบบจำลอง คำนวณหน่วยวัด และลงทะเบียนแบบจำลอง หากคุณต้องการฝึกโมเดลหลายรายการ ขอแนะนำให้สร้างหน่วยการสร้างแบบจำลองหลายหน่วย
ตัวอย่าง
ในส่วนนี้ เราจะสาธิตสามตัวอย่างของ DAG การฝึกอบรมโมเดล ML ที่สร้างขึ้นโดยใช้เฟรมเวิร์กที่นำเสนอ
การฝึกอบรมโมเดลเดียว: LightGBM
นี่คือตัวอย่างโมเดลเดียวสำหรับกรณีการใช้งานการจำแนกประเภทที่เราใช้ LightGBM ในโหมดสคริปต์บน SageMaker. ชุด ประกอบด้วยตัวแปรหมวดหมู่และตัวเลขเพื่อทำนายรายได้ฉลากไบนารี (เพื่อทำนายว่าบุคคลนั้นจะซื้อหรือไม่) ที่ สคริปต์การประมวลผลล่วงหน้า ถูกนำมาใช้ในการสร้างแบบจำลองข้อมูลสำหรับการฝึกอบรมและการทดสอบแล้ว สเตจมันในบัคเก็ต S3. จากนั้นเส้นทาง S3 จะถูกจัดเตรียมให้กับ ขั้นตอนการฝึก ในไฟล์กำหนดค่า
เมื่อขั้นตอนการฝึกรัน SageMaker จะโหลดไฟล์บนคอนเทนเนอร์ที่ /opt/ml/input/data/{channelName}/
เข้าถึงได้ผ่านตัวแปรสภาพแวดล้อม SM_CHANNEL_{channelName}
บนคอนเทนเนอร์ (channelName= 'รถไฟ' หรือ 'ทดสอบ') ได้โดยง่าย สคริปต์การฝึกอบรม ทำสิ่งต่อไปนี้:
- โหลดไฟล์ในเครื่องจากเส้นทางคอนเทนเนอร์ในเครื่องโดยใช้ โหลด NumPy โมดูล.
- ตั้งค่าไฮเปอร์พารามิเตอร์สำหรับอัลกอริทึมการฝึก
- บันทึกโมเดลที่ได้รับการฝึกอบรมที่เส้นทางคอนเทนเนอร์ภายในเครื่อง
/opt/ml/model/
.
SageMaker นำเนื้อหาภายใต้ /opt/ml/model/ เพื่อสร้าง tarball ที่ใช้ในการปรับใช้โมเดลกับ SageMaker สำหรับการโฮสต์
ขั้นตอนการแปลงจะใช้เวลาเป็นอินพุตของฉาก ทดสอบไฟล์เป็นอินพุต และแบบจำลองที่ได้รับการฝึกเพื่อทำนายแบบจำลองที่ได้รับการฝึก ผลลัพธ์ของขั้นตอนการแปลงคือ ถูกล่ามโซ่ ไปยังขั้นตอนเมตริกเพื่อประเมินโมเดลเทียบกับ ความจริงพื้นดินซึ่งระบุไว้อย่างชัดเจนในขั้นตอนการวัด สุดท้าย ผลลัพธ์ของขั้นตอนตัววัดจะเชื่อมโยงกับขั้นตอนการลงทะเบียนโดยปริยายเพื่อลงทะเบียนโมเดลใน SageMaker Model Registry พร้อมด้วยข้อมูลเกี่ยวกับประสิทธิภาพของโมเดลที่สร้างขึ้นในขั้นตอนตัววัด รูปภาพต่อไปนี้แสดงภาพการฝึกอบรม DAG คุณสามารถอ้างถึงสคริปต์และไฟล์การกำหนดค่าสำหรับตัวอย่างนี้ได้ใน repo GitHub.
การฝึกอบรมโมเดลเดียว: การปรับแต่ง LLM อย่างละเอียด
นี่คือตัวอย่างการฝึกอบรมโมเดลเดียวอีกตัวอย่างหนึ่ง โดยที่เราจัดเตรียมการปรับแต่งโมเดลภาษาขนาดใหญ่ Falcon-40B (LLM) จาก Hugging Face Hub สำหรับกรณีการใช้งานการสรุปข้อความ ที่ สคริปต์การประมวลผลล่วงหน้า โหลด ซัมซัม ชุดข้อมูลจาก Hugging Face โหลดโทเค็นสำหรับโมเดล และประมวลผลการแยกข้อมูลการฝึก/การทดสอบเพื่อปรับแต่งโมเดลอย่างละเอียดบนข้อมูลโดเมนนี้ในขั้นตอน Falcon-Text-Summarization-Preprocess
ผลลัพธ์คือ ถูกล่ามโซ่ ไปยังขั้นตอนการปรับแต่งการสรุปข้อความเหยี่ยว โดยที่ สคริปต์การฝึกอบรม โหลด Falcon-40B LLM จาก Hugging Face Hub และเริ่มเร่งการปรับแต่งแบบละเอียดโดยใช้ ลอร่า บนรถไฟแยก โมเดลจะได้รับการประเมินในขั้นตอนเดียวกันหลังจากการปรับแต่งอย่างละเอียด ซึ่ง คนเฝ้าประตู การสูญเสียการประเมินล้มเหลวในขั้นตอนการปรับแต่งการสรุปข้อความเหยี่ยว ซึ่งทำให้ไปป์ไลน์ SageMaker หยุดก่อนที่จะสามารถลงทะเบียนแบบจำลองที่ปรับแต่งอย่างละเอียดได้ มิฉะนั้น ขั้นตอนการปรับแต่งการสรุปข้อความเหยี่ยวจะทำงานได้สำเร็จ และโมเดลได้รับการลงทะเบียนใน SageMaker Model Registry รูปต่อไปนี้แสดงการแสดงภาพของ DAG ที่ปรับแต่ง LLM สคริปต์และไฟล์การกำหนดค่าสำหรับตัวอย่างนี้มีอยู่ใน repo GitHub.
การฝึกอบรมหลายรูปแบบ
นี่คือตัวอย่างการฝึกอบรมหลายแบบจำลองซึ่งมีการฝึกอบรมแบบจำลองการวิเคราะห์องค์ประกอบหลัก (PCA) เพื่อลดขนาด และแบบจำลอง TensorFlow Multilayer Perceptron ได้รับการฝึกฝนสำหรับ การคาดการณ์ราคาที่อยู่อาศัยของรัฐแคลิฟอร์เนีย. ขั้นตอนการประมวลผลล่วงหน้าของโมเดล TensorFlow ใช้โมเดล PCA ที่ผ่านการฝึกอบรมเพื่อลดมิติของข้อมูลการฝึก เราเพิ่มการพึ่งพาในการกำหนดค่าเพื่อให้แน่ใจว่าโมเดล TensorFlow ได้รับการลงทะเบียนหลังจากการลงทะเบียนโมเดล PCA รูปภาพต่อไปนี้แสดงภาพตัวอย่าง DAG การฝึกแบบหลายโมเดล สคริปต์และไฟล์การกำหนดค่าสำหรับตัวอย่างนี้มีอยู่ใน repo GitHub.
ทำความสะอาด
ทำตามขั้นตอนต่อไปนี้เพื่อล้างทรัพยากรของคุณ:
- ใช้ AWS CLI เพื่อ รายการ และ เอาออก ไปป์ไลน์ที่เหลือใด ๆ ที่สร้างขึ้นโดยสคริปต์ Python
- คุณสามารถเลือกลบทรัพยากร AWS อื่นๆ เช่น บัคเก็ต S3 หรือบทบาท IAM ที่สร้างขึ้นภายนอก SageMaker Pipelines
สรุป
ในโพสต์นี้ เราได้นำเสนอเฟรมเวิร์กสำหรับการสร้าง SageMaker Pipelines DAG โดยอัตโนมัติตามไฟล์การกำหนดค่า กรอบการทำงานที่นำเสนอนำเสนอโซลูชันที่เป็นการคาดการณ์ล่วงหน้าสำหรับความท้าทายในการจัดการปริมาณงาน ML ที่ซับซ้อน การใช้ไฟล์กำหนดค่า SageMaker Pipelines มอบความยืดหยุ่นในการสร้างการเรียบเรียงด้วยโค้ดที่น้อยที่สุด คุณจึงสามารถปรับปรุงกระบวนการสร้างและจัดการไปป์ไลน์ทั้งแบบโมเดลเดียวและหลายโมเดลได้ แนวทางนี้ไม่เพียงช่วยประหยัดเวลาและทรัพยากรเท่านั้น แต่ยังส่งเสริมแนวทางปฏิบัติที่ดีที่สุดของ MLOps ซึ่งมีส่วนช่วยให้โครงการริเริ่ม ML ประสบความสำเร็จโดยรวม สำหรับข้อมูลเพิ่มเติมเกี่ยวกับรายละเอียดการใช้งาน โปรดดูที่ repo GitHub.
เกี่ยวกับผู้เขียน
หลุยส์ เฟลิเป้ เยเปซ บาร์ริออสเป็นวิศวกรการเรียนรู้ของเครื่องที่มี AWS Professional Services ซึ่งมุ่งเน้นไปที่ระบบแบบกระจายที่ปรับขนาดได้และเครื่องมืออัตโนมัติเพื่อเร่งรัดนวัตกรรมทางวิทยาศาสตร์ในด้านการเรียนรู้ของเครื่อง (ML) นอกจากนี้ เขายังช่วยเหลือลูกค้าองค์กรในการเพิ่มประสิทธิภาพโซลูชันการเรียนรู้ของเครื่องผ่านบริการของ AWS
จินจ้าว เฟิงเป็นวิศวกรการเรียนรู้ของเครื่องที่ AWS Professional Services เขามุ่งเน้นไปที่การวางสถาปัตยกรรมและการปรับใช้โซลูชันไปป์ไลน์ Generative AI และ ML แบบคลาสสิกขนาดใหญ่ เขาเชี่ยวชาญด้าน FMOps, LLMOps และการฝึกอบรมแบบกระจาย
ฮาร์ช อัสนานีเป็นวิศวกรการเรียนรู้ของเครื่องที่ AWS พื้นหลังของเขาอยู่ในสาขาวิทยาศาสตร์ข้อมูลประยุกต์โดยมุ่งเน้นที่การดำเนินการปริมาณงานการเรียนรู้ของเครื่องในระบบคลาวด์ในวงกว้าง
ฮาซัน โชแจเป็นนักวิทยาศาสตร์ข้อมูลอาวุโสที่มี AWS Professional Services ซึ่งเขาช่วยเหลือลูกค้าในอุตสาหกรรมต่างๆ แก้ปัญหาความท้าทายทางธุรกิจผ่านการใช้ Big Data การเรียนรู้ของเครื่อง และเทคโนโลยีคลาวด์ ก่อนหน้าที่จะรับบทบาทนี้ Hasan ได้ริเริ่มโครงการต่างๆ มากมายเพื่อพัฒนาเทคนิคการสร้างแบบจำลองที่ขับเคลื่อนด้วยข้อมูลและฟิสิกส์แบบใหม่สำหรับบริษัทพลังงานชั้นนำ นอกเหนือจากงานแล้ว Hasan ยังหลงใหลในหนังสือ การเดินป่า การถ่ายภาพ และประวัติศาสตร์
อเล็ค เจนาบเป็นวิศวกรการเรียนรู้ของเครื่องที่เชี่ยวชาญในการพัฒนาและดำเนินการโซลูชันการเรียนรู้ของเครื่องในวงกว้างสำหรับลูกค้าองค์กร Alec มีความหลงใหลในการนำโซลูชันที่เป็นนวัตกรรมออกสู่ตลาด โดยเฉพาะอย่างยิ่งในด้านที่แมชชีนเลิร์นนิงสามารถปรับปรุงประสบการณ์ของผู้ใช้ได้อย่างมีนัยสำคัญ นอกเหนือจากงาน เขาสนุกกับการเล่นบาสเก็ตบอล สโนว์บอร์ด และค้นพบอัญมณีที่ซ่อนอยู่ในซานฟรานซิสโก
- เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
- PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
- เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
- เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
- เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
- ที่มา: https://aws.amazon.com/blogs/machine-learning/automate-amazon-sagemaker-pipelines-dag-creation/
- :เป็น
- :ไม่
- :ที่ไหน
- $ ขึ้น
- 120
- 160
- 7
- 8
- 9
- a
- สามารถ
- เกี่ยวกับเรา
- เร่ง
- เข้า
- สามารถเข้าถึงได้
- อำนวยความสะดวก
- ตาม
- ลงชื่อเข้าใช้
- การบรรลุ
- ข้าม
- กระตุ้น
- วัฏจักร
- เพิ่ม
- หลังจาก
- กับ
- AI
- ขั้นตอนวิธี
- ทั้งหมด
- อนุญาต
- อนุญาตให้
- ช่วยให้
- ตาม
- ด้วย
- อเมซอน
- อเมซอน SageMaker
- ท่อส่ง Amazon SageMaker
- Amazon Web Services
- ในหมู่
- an
- การวิเคราะห์
- สมอ
- และ
- อื่น
- ใด
- อาปาเช่
- ประยุกต์
- เข้าใกล้
- สถาปัตยกรรม
- เป็น
- พื้นที่
- AS
- ช่วย
- สมมติ
- At
- โดยอัตโนมัติ
- อัตโนมัติ
- โดยอัตโนมัติ
- อัตโนมัติ
- ใช้ได้
- AWS
- บริการระดับมืออาชีพของ AWS
- พื้นหลัง
- ตาม
- บาสเกตบอล
- BE
- ก่อน
- ประโยชน์ที่ได้รับ
- ที่ดีที่สุด
- ปฏิบัติที่ดีที่สุด
- ใหญ่
- ข้อมูลขนาดใหญ่
- ร้านหนังสือเกาหลี
- ทั้งสอง
- การนำ
- สร้าง
- ธุรกิจ
- แต่
- by
- คำนวณ
- คำนวณ
- โทรศัพท์
- ที่เรียกว่า
- โทร
- CAN
- กรณี
- กรณี
- จัดเลี้ยง
- สาเหตุที่
- ถูกล่ามโซ่
- ท้าทาย
- ความท้าทาย
- ช่อง
- ทางเลือก
- ชั้นเรียน
- การจัดหมวดหมู่
- ปลาเดยส์
- CLI
- ลูกค้า
- เมฆ
- รหัส
- รวมกัน
- ร่วมกัน
- บริษัท
- ซับซ้อน
- ส่วนประกอบ
- ความกังวลเกี่ยวกับ
- ความมั่นใจ
- องค์ประกอบ
- ร่วม
- คงเส้นคงวา
- ประกอบ
- ภาชนะ
- ภาชนะบรรจุ
- มี
- เนื้อหา
- สิ่งแวดล้อม
- ต่อเนื่องกัน
- การบริจาค
- หน้าปก
- สร้าง
- ที่สร้างขึ้น
- สร้าง
- การสร้าง
- การสร้าง
- สำคัญมาก
- ประเพณี
- ลูกค้า
- การปรับแต่ง
- DAG
- ข้อมูล
- วิทยาศาสตร์ข้อมูล
- นักวิทยาศาสตร์ข้อมูล
- ที่ขับเคลื่อนด้วยข้อมูล
- ชุดข้อมูล
- ประกาศ
- ค่าเริ่มต้น
- กำหนด
- กำหนด
- กำหนด
- การจัดส่ง
- สาธิต
- การอ้างอิง
- การอยู่ที่
- ปรับใช้
- ปรับใช้
- การใช้งาน
- บรรยาย
- รายละเอียด
- รายละเอียด
- รายละเอียด
- พัฒนา
- ที่กำลังพัฒนา
- พัฒนาการ
- แผนภาพ
- ต่าง
- กำกับการแสดง
- ไดเรกทอรี
- ไดเรกทอรี
- การค้นพบ
- สนทนา
- แสดง
- เห็นความแตกต่าง
- กระจาย
- ระบบกระจาย
- กระจายการฝึกอบรม
- นักเทียบท่า
- ทำ
- โดเมน
- ในระหว่าง
- พลวัต
- แบบไดนามิก
- แต่ละ
- ที่มีประสิทธิภาพ
- ความพยายาม
- ให้อำนาจ
- ทำให้สามารถ
- ช่วยให้
- การเปิดใช้งาน
- ปลาย
- พลังงาน
- วิศวกร
- วิศวกร
- ทำให้มั่นใจ
- Enterprise
- ทั้งหมด
- การเข้า
- สิ่งแวดล้อม
- สภาพแวดล้อม
- ข้อผิดพลาด
- โดยเฉพาะอย่างยิ่ง
- ประเมินค่า
- ประเมิน
- การประเมินการ
- การประเมินผล
- ทุกๆ
- ตัวอย่าง
- ตัวอย่าง
- เร่ง
- ประสบการณ์
- อย่างชัดเจน
- ส่งออก
- ขยาย
- ใบหน้า
- ล้มเหลว
- เท็จ
- เร็วขึ้น
- สนาม
- รูป
- เนื้อไม่มีมัน
- ไฟล์
- ในที่สุด
- หา
- ความยืดหยุ่น
- มีความยืดหยุ่น
- ไหล
- โฟกัส
- มุ่งเน้น
- มุ่งเน้นไปที่
- ดังต่อไปนี้
- ดังต่อไปนี้
- สำหรับ
- ฟอร์ม
- สุขุม
- กรอบ
- กรอบ
- ฟรานซิส
- ราคาเริ่มต้นที่
- ฟังก์ชัน
- นอกจากนี้
- การสร้าง
- กำเนิด
- กำเนิด AI
- ไป
- เหตุการณ์ที่
- การกำกับดูแล
- กราฟ
- มากขึ้น
- บัญชีกลุ่ม
- กลุ่ม
- มี
- มี
- he
- จะช่วยให้
- โปรดคลิกที่นี่เพื่ออ่านรายละเอียดเพิ่มเติม
- ซ่อนเร้น
- ของเขา
- ประวัติ
- โฮสติ้ง
- การเคหะ
- สรุป ความน่าเชื่อถือของ Olymp Trade?
- ทำอย่างไร
- HTML
- ที่ http
- HTTPS
- Hub
- ระบุ
- เอกลักษณ์
- รหัส
- if
- ภาพ
- การดำเนินงาน
- การดำเนินการ
- ปรับปรุง
- in
- ในอื่น ๆ
- รวมถึง
- รวมทั้ง
- แสดง
- บ่งชี้ว่า
- อุตสาหกรรม
- อนุมาน
- ข้อมูล
- โครงสร้างพื้นฐาน
- ความคิดริเริ่ม
- นักวิเคราะห์ส่วนบุคคลที่หาโอกาสให้เป็นไปได้มากที่สุด
- นวัตกรรม
- อินพุต
- ภายใน
- ติดตั้ง
- ตัวอย่าง
- คำแนะนำการใช้
- บูรณาการ
- ปฏิสัมพันธ์
- การแทรกแซง
- เข้าไป
- IT
- ITS
- การสัมภาษณ์
- การร่วม
- jpg
- JSON
- คีย์
- กุญแจ
- ฉลาก
- ภาษา
- ใหญ่
- ชื่อสกุล
- ต่อมา
- การเรียนรู้
- นำ
- ซ้าย
- ห้องสมุด
- กดไลก์
- Line
- รายการ
- LLM
- โหลด
- โหลด
- ในประเทศ
- ในท้องถิ่น
- การเข้าสู่ระบบ
- ดู
- ดูเหมือน
- ปิด
- เครื่อง
- เรียนรู้เครื่อง
- ทำ
- ทำให้
- การทำ
- การจัดการ
- การจัดการ
- คู่มือ
- หลาย
- ตลาด
- การจับคู่
- เมตริก
- ตัวชี้วัด
- ต่ำสุด
- ลด
- ML
- ม.ป.ป
- โหมด
- แบบ
- การสร้างแบบจำลอง
- โมเดล
- โมดูล
- ข้อมูลเพิ่มเติม
- หลาย
- ชื่อ
- จำเป็น
- จำเป็นต้อง
- จำเป็น
- ความต้องการ
- เครือข่าย
- ถัดไป
- ไม่
- นวนิยาย
- วัตถุ
- of
- เสนอ
- on
- ONE
- เพียง
- การเพิ่มประสิทธิภาพ
- or
- บงการ
- กำลังเตรียมการ
- ประสาน
- อื่นๆ
- มิฉะนั้น
- เอาท์พุต
- เอาท์พุท
- ด้านนอก
- ทั้งหมด
- แทนที่
- แพคเกจ
- พารามิเตอร์
- พารามิเตอร์
- หลงใหล
- เส้นทาง
- เส้นทาง
- ต่อ
- การปฏิบัติ
- ดำเนินการ
- การถ่ายภาพ
- ท่อ
- เพลโต
- เพลโตดาต้าอินเทลลิเจนซ์
- เพลโตดาต้า
- เล่น
- จุด
- โพสต์
- การปฏิบัติ
- ที่กำหนดไว้ล่วงหน้า
- คาดการณ์
- การคาดการณ์
- ข้อกำหนดเบื้องต้น
- นำเสนอ
- นำเสนอ
- ราคา
- หลัก
- ก่อน
- ส่วนตัว
- กระบวนการ
- กระบวนการ
- การประมวลผล
- ผลิต
- การผลิต
- มืออาชีพ
- โครงการ
- ส่งเสริม
- การส่งเสริม
- เสนอ
- ให้
- ให้
- ซื้อ
- หลาม
- อย่างรวดเร็ว
- พิสัย
- อ่าน
- อย่างง่ายดาย
- การอ่าน
- แนะนำ
- แนะนำ
- ลด
- ลด
- การลดลง
- อ้างอิง
- ภูมิภาค
- ทะเบียน
- ลงทะเบียน
- การบันทึก
- ลงทะเบียน
- รีจิสทรี
- ที่เหลืออยู่
- ทำซ้ำ
- รายงาน
- กรุ
- การแสดง
- จำเป็นต้องใช้
- ความต้องการ
- ทรัพยากร
- แหล่งข้อมูล
- ว่า
- REST
- ผลสอบ
- รายได้
- ทบทวน
- บทบาท
- บทบาท
- วิ่ง
- วิ่ง
- ทำงาน
- รันไทม์
- sagemaker
- ท่อส่ง SageMaker
- เดียวกัน
- ซาน
- ซานฟรานซิสโก
- ที่ปรับขนาดได้
- ขนาด
- วิทยาศาสตร์
- วิทยาศาสตร์
- นักวิทยาศาสตร์
- นักวิทยาศาสตร์
- ต้นฉบับ
- สคริปต์
- Section
- ส่วน
- ความปลอดภัย
- ลำดับ
- บริการ
- ชุด
- ชุดอุปกรณ์
- หลาย
- น่า
- แสดงให้เห็นว่า
- ง่าย
- หก
- เรียบ
- So
- ทางออก
- โซลูชัน
- แก้
- แหล่ง
- รหัสแหล่งที่มา
- เฉพาะ
- ความเชี่ยวชาญ
- ที่ระบุไว้
- แยก
- แยก
- เริ่มต้น
- ขั้นตอน
- ขั้นตอน
- หยุด
- การเก็บรักษา
- การเก็บรักษา
- เพรียวลม
- การทำให้เพรียวลม
- โครงสร้าง
- สตูดิโอ
- หรือ
- ซับเน็ต
- ภายหลัง
- ความสำเร็จ
- ประสบความสำเร็จ
- อย่างเช่น
- ที่จัดมา
- วากยสัมพันธ์
- ระบบ
- เอา
- ใช้เวลา
- เทคนิค
- เทคโนโลยี
- tensorflow
- สถานีปลายทาง
- ทดสอบ
- การทดสอบ
- ข้อความ
- ที่
- พื้นที่
- ลงทะเบียน
- ของพวกเขา
- พวกเขา
- แล้วก็
- ดังนั้น
- ล้อยางขัดเหล่านี้ติดตั้งบนแกน XNUMX (มม.) ผลิตภัณฑ์นี้ถูกผลิตในหลายรูปทรง และหลากหลายเบอร์ความแน่นหนาของปริมาณอนุภาคขัดของมัน จะทำให้ท่านได้รับประสิทธิภาพสูงในการขัดและการใช้งานที่ยาวนาน
- นี้
- สาม
- ตลอด
- ตลอด
- เวลา
- ไปยัง
- ด้านบน
- การติดตาม
- รถไฟ
- ผ่านการฝึกอบรม
- การฝึกอบรม
- แปลง
- ต้นไม้
- จริง
- สอง
- ชนิด
- ui
- ภายใต้
- หน่วย
- หน่วย
- บันทึก
- ใช้
- ใช้กรณี
- มือสอง
- ผู้ใช้งาน
- ประสบการณ์ของผู้ใช้
- ใช้
- การใช้
- ประโยชน์
- ความคุ้มค่า
- ตัวแปร
- รุ่น
- ผ่านทาง
- เสมือน
- ภาพ
- we
- เว็บ
- บริการเว็บ
- ดี
- เมื่อ
- ว่า
- ที่
- WHO
- กว้าง
- ช่วงกว้าง
- จะ
- กับ
- ภายใน
- ไม่มี
- งาน
- เวิร์กโฟลว์
- XGBoost
- มันแกว
- คุณ
- ของคุณ
- ลมทะเล