Yara ใช้คุณสมบัติ MLOps ของ Amazon SageMaker เพื่อปรับขนาดการเพิ่มประสิทธิภาพพลังงานทั่วทั้งโรงงานแอมโมเนียได้อย่างไร

Yara เป็นบริษัทโภชนาการพืชชั้นนำของโลกและเป็นผู้ให้บริการโซลูชันด้านสิ่งแวดล้อมและการเกษตร ความทะเยอทะยานของ Yara มุ่งเน้นไปที่การสร้างอนาคตด้านอาหารที่ดีต่อธรรมชาติ ซึ่งสร้างคุณค่าให้กับลูกค้า ผู้ถือหุ้น และสังคมโดยรวม และส่งมอบห่วงโซ่คุณค่าอาหารที่ยั่งยืนยิ่งขึ้น สนับสนุนวิสัยทัศน์ของเราเกี่ยวกับโลกที่ปราศจากความหิวโหยและโลกที่เราเคารพ Yara ดำเนินกลยุทธ์การเติบโตที่มีมูลค่าอย่างยั่งยืน การส่งเสริมคุณค่าทางโภชนาการของพืชผลที่เป็นมิตรกับสิ่งแวดล้อมและการแก้ปัญหาด้านพลังงานที่ปล่อยมลพิษเป็นศูนย์ ยารายังเป็นผู้ผลิตแอมโมเนีย ไนเตรต และรายใหญ่ที่สุดในโลก NPK ปุ๋ย ดังนั้นภาคส่วนการผลิตของพวกเขาจึงเป็นองค์ประกอบสำคัญสำหรับภารกิจของพวกเขา โดยมีความทะเยอทะยานที่ชัดเจนที่จะก้าวขึ้นเป็นผู้นำระดับโลกในด้านเมตริกต่างๆ เช่น ความปลอดภัย ผลกระทบต่อสิ่งแวดล้อม คุณภาพ และต้นทุนการผลิต เป้าหมายระยะยาวของ Yara คือ “โรงงานแห่งอนาคต” ที่ไม่มีการปล่อยมลพิษและต้นทุนต่ำ

จากการเปลี่ยนแปลงแบบลีน Yara ให้ความสำคัญกับโซลูชันดิจิทัลเพื่อช่วยให้พวกเขาบรรลุความทะเยอทะยาน เพื่อนำไปสู่ความพยายามนี้ Yara ได้จัดตั้งหน่วยงานระดับโลกที่เรียกว่า Digital Production ความสำเร็จของการผลิตแบบดิจิทัลและโซลูชันคือสิ่งสำคัญอันดับแรกสำหรับ Yara และ Yara ได้เพิ่มความพยายามอย่างมากในสาขานี้ พื้นที่โฟกัสที่สำคัญคือการใช้ประโยชน์จากข้อมูลจำนวนมหาศาลที่สร้างขึ้นซึ่งเป็นส่วนหนึ่งของการดำเนินงาน ดังนั้น Yara จึงสร้างผลิตภัณฑ์ที่ขับเคลื่อนด้วยข้อมูลซึ่งช่วยเพิ่มประสิทธิภาพการผลิต เพิ่มคุณภาพของผลิตภัณฑ์ เพิ่มความน่าเชื่อถือของไซต์การผลิต ลดการปล่อยมลพิษ เพิ่มความปลอดภัยและผลิตภาพของพนักงาน ทำให้กระบวนการด้วยตนเองเป็นอัตโนมัติ และอื่นๆ อีกมากมาย

พลังงานเป็นส่วนประกอบต้นทุนหลักสำหรับโรงงานผลิตหลายแห่ง ดังนั้น ประสิทธิภาพการใช้พลังงานจึงมีผลกระทบอย่างมากต่อการทำกำไร อย่างไรก็ตาม มักจะขาดข้อมูลอ้างอิงที่ชัดเจนว่าประสิทธิภาพที่ดีมีลักษณะอย่างไรและจะไปถึงจุดนั้นได้อย่างไร Energy Load Curve (ELC) ของ Yara เป็นโซลูชันที่ใช้ประสิทธิภาพการใช้พลังงานในอดีตที่ดีที่สุดเทียบกับประสิทธิภาพปัจจุบัน หากปริมาณการใช้ในปัจจุบันเบี่ยงเบนไปจากค่าที่ดีที่สุดในอดีตมากเกินไป เครื่องมือจะให้คำแนะนำแก่ผู้ปฏิบัติงานเพื่อควบคุมการใช้พลังงาน

ในการปรับใช้ ELC กับโรงงานผลิตและขยายไปยังไซต์ต่างๆ ทั่วโลก Yara จำเป็นต้องสร้างแพลตฟอร์ม MLOps สิ่งนี้จะทำให้มั่นใจได้ว่า Yara จะฝึกฝน ปรับใช้ และบำรุงรักษาโมเดลได้อย่างน่าเชื่อถือและมีประสิทธิภาพ นอกจากนี้ ในการปรับขนาดนี้ไปยังหลายไซต์ Yara จำเป็นต้องทำให้กระบวนการปรับใช้และการบำรุงรักษาเป็นไปโดยอัตโนมัติ ในโพสต์นี้ เราจะพูดถึงวิธีการใช้งาน Yara อเมซอน SageMaker คุณสมบัติต่างๆ รวมถึงรีจีสทรีของโมเดล การตรวจสอบโมเดล Amazon SageMakerและ ท่อส่ง Amazon SageMaker เพื่อปรับปรุงวงจรชีวิตของแมชชีนเลิร์นนิง (ML) ด้วยการทำให้แนวทางปฏิบัติของ MLOps เป็นไปโดยอัตโนมัติและสร้างมาตรฐาน เราให้ภาพรวมของการตั้งค่า แสดงกระบวนการสร้าง ฝึกอบรม ปรับใช้ และตรวจสอบโมเดล ML สำหรับโรงงานทั่วโลก

ภาพรวมของโซลูชัน

ELC ใช้ข้อมูลเซ็นเซอร์ Internet of Things (IoT) จากโรงงาน เซ็นเซอร์เหล่านี้วัดเมตริกต่างๆ เช่น ปริมาณงานการผลิต สภาพแวดล้อม และสภาวะของวัตถุดิบ เป็นต้น ข้อมูลนี้ใช้เพื่อฝึกแบบจำลองการคาดการณ์พลังงาน ซึ่งจะใช้ในการสร้างการคาดการณ์รายชั่วโมง ผู้ควบคุมโรงงานตรวจสอบการใช้พลังงานจริงและเปรียบเทียบกับการใช้พลังงานที่เหมาะสมตามที่ ELC คาดการณ์ไว้ หากการใช้พลังงานในปัจจุบันเบี่ยงเบนไปจากจุดที่เหมาะสมมากเกินไป ELC จะให้การดำเนินการเพื่อปรับตัวแปรกระบวนการภายในเพื่อเพิ่มประสิทธิภาพการใช้พลังงานตามแบบจำลองการวิเคราะห์

ELC โฮสต์อยู่ในคลาวด์ ในการสตรีมข้อมูลเซ็นเซอร์จากโรงงานแบบเรียลไทม์ Yara ใช้ AWS IoT กรีนกราส เพื่อสื่อสารอย่างปลอดภัยกับ AWS IoT คอร์ และส่งออกข้อมูล IoT ไปยัง AWS Cloud AWS IoT SiteWise เป็นบริการที่มีการจัดการที่สามารถรวบรวม จัดระเบียบ ค้นหา และใช้ข้อมูลอุปกรณ์จากอุปกรณ์อุตสาหกรรมตามขนาด Yara ได้สร้าง API โดยใช้ Amazon API Gateway Amazon เพื่อแสดงข้อมูลเซ็นเซอร์ต่อแอปพลิเคชัน เช่น ELC

แบ็คเอนด์ของแอปพลิเคชัน ELC ถูกปรับใช้ผ่าน Amazon ECS และขับเคลื่อนแดชบอร์ด ELC ที่ส่วนหน้าซึ่งใช้โดยผู้ปฏิบัติงานในโรงงาน แอปพลิเคชัน ELC มีหน้าที่จัดทำตัวชี้วัดการใช้พลังงานเชิงคาดการณ์รายชั่วโมงให้กับผู้ปฏิบัติงานในโรงงาน โรงงานแต่ละแห่งมีรูปแบบของตัวเอง เนื่องจากลักษณะการใช้พลังงานแตกต่างกัน นอกจากนี้ โรงงานยังถูกจัดกลุ่มไว้ในภูมิภาค AWS ต่างๆ ตามสถานที่ตั้ง

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมนี้

สำหรับการสร้าง ELC และปรับขนาดเป็นโรงงานหลายแห่ง เราต้องการโซลูชัน MLOps ที่รองรับสิ่งต่อไปนี้:

• scalability – ปรับขนาดได้ตามปริมาณข้อมูล พืชบางชนิดผลิตข้อมูลได้มากกว่าพืชชนิดอื่น โรงงานแต่ละแห่งสามารถผลิตข้อมูลได้หลายกิกะไบต์ต่อวัน
• ความสามารถในการขยาย – สามารถปรับใช้กับภูมิภาคและบัญชีใหม่ได้
• การทำซ้ำ – มีเทมเพลตทั่วไปที่เราสามารถใช้เพื่อสร้างโรงงานใหม่ได้
• ความยืดหยุ่น – สามารถเปลี่ยนการกำหนดค่าการปรับใช้ตามความต้องการของแต่ละโรงงาน
• ความน่าเชื่อถือและการตรวจสอบ – สามารถทำการทดสอบและมองเห็นสถานะของพืชที่ใช้งานอยู่ทั้งหมดได้อย่างชัดเจน ในกรณีที่เกิดความล้มเหลว มันสามารถย้อนกลับไปยังสถานะเสถียรก่อนหน้านี้ได้
• ซ่อมบำรุง – โซลูชันควรมีค่าใช้จ่ายในการบำรุงรักษาต่ำ ควรใช้บริการแบบไร้เซิร์ฟเวอร์หากเป็นไปได้เพื่อลดรอยเท้าของโครงสร้างพื้นฐาน

สำหรับ ML Yara ตัดสินใจใช้ SageMaker SageMaker เป็นบริการที่มีการจัดการเต็มรูปแบบซึ่งครอบคลุมเวิร์กโฟลว์ ML ทั้งหมด คุณลักษณะต่อไปนี้มีความสำคัญอย่างยิ่งในการเลือก SageMaker:

• คอนเทนเนอร์เฟรมเวิร์กของ SageMaker – Yara ได้ฝึกฝนโมเดลคาดการณ์ ELC บน TensorFlow และด้วยคอนเทนเนอร์เฟรมเวิร์กของ SageMaker ทำให้ Yara สามารถยกระดับและเปลี่ยนโมเดลเหล่านี้ได้โดยมีการเปลี่ยนแปลงโค้ดเพียงเล็กน้อยใน SageMaker
• ท่อส่ง SageMaker – SageMaker Pipelines มีอินเทอร์เฟซ Python สำหรับนักวิทยาศาสตร์ข้อมูลในการเขียน ML ไปป์ไลน์ รหัส ELC ส่วนใหญ่ประกอบด้วยการฝึกอบรมและการอนุมานไปป์ไลน์ซึ่งกำหนดไว้ใน Python
• การลงทะเบียนรุ่น SageMaker – การลงทะเบียนโมเดล SageMaker ทำให้สามารถแคตตาล็อกและโมเดลการควบคุมเวอร์ชันได้ นอกจากนี้ยังทำให้การจัดการข้อมูลเมตาของโมเดล เช่น เมตริกการฝึกอบรมเป็นเรื่องง่าย
• จอภาพรุ่น SageMaker – Yara ต้องการตรวจสอบคุณภาพและการกระจายของข้อมูลขาเข้ารวมถึงประสิทธิภาพของรุ่น ELC SageMaker Model Monitor API นำเสนอข้อมูลและการตรวจสอบคุณภาพโมเดล

ในการจัดการการผสานรวมอย่างต่อเนื่องและการส่งมอบอย่างต่อเนื่อง (CI/CD) สำหรับไปป์ไลน์ ML Yara ใช้ กรอบการปรับใช้ Amazon (ADF). ADF คือเฟรมเวิร์กโอเพ่นซอร์สที่พัฒนาโดย AWS เพื่อจัดการและปรับใช้ทรัพยากรในบัญชี AWS และภูมิภาคต่างๆ ภายในองค์กร AWS ADF อนุญาตให้ปรับใช้แอปพลิเคชันหรือทรัพยากรแบบทีละขั้นตอน แบบขนาน หลายบัญชี และข้ามภูมิภาคผ่านโครงสร้างที่กำหนดไว้ใน องค์กร AWSพร้อมใช้ประโยชน์จากบริการต่างๆ เช่น AWS CodePipeline, AWS CodeBuild, AWS CodeCommitและ การก่อตัวของ AWS Cloud เพื่อบรรเทาการยกของหนักและการจัดการเมื่อเทียบกับการตั้งค่า CI/CD แบบดั้งเดิม

ภาพรวมโซลูชัน

โซลูชันทั้งหมดสำหรับแพลตฟอร์ม MLOps สร้างขึ้นภายในสองเดือนโดยความร่วมมือกับ บริการระดับมืออาชีพของ AWS. ทีมงานที่ทำงานในโครงการประกอบด้วยนักวิทยาศาสตร์ข้อมูล วิศวกรข้อมูล และผู้เชี่ยวชาญด้าน DevOps เพื่อให้การพัฒนาเร็วขึ้นในสภาพแวดล้อมแบบหลายทีม Yara เลือกใช้ AWS Landing Zone และองค์กรเพื่อสร้าง จัดการ และควบคุมบัญชี AWS ต่างๆ จากส่วนกลาง ตัวอย่างเช่น Yara มีบัญชีการปรับใช้ส่วนกลาง และใช้บัญชีปริมาณงานเพื่อโฮสต์แอปพลิเคชันทางธุรกิจ ELC เป็นกรณีการใช้งานการเพิ่มประสิทธิภาพกระบวนการและปรับใช้เพื่อเพิ่มประสิทธิภาพบัญชีภาระงาน ทีม Yara Digital Production ยังทำงานกับกรณีการใช้งาน ML ในด้านอื่นๆ นอกเหนือจากการปรับให้เหมาะสม เฟรมเวิร์ก MLOps รองรับการปรับใช้กับบัญชีภาระงานใด ๆ ตราบใดที่บัญชีนั้นสร้างผ่านองค์กร

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมนี้

การใช้บัญชีการปรับใช้ส่วนกลางทำให้ง่ายต่อการจัดการสิ่งประดิษฐ์ทั่วไปและไปป์ไลน์ CI/CD ในแง่ของการจัดการการเข้าถึงและการรักษาความปลอดภัยของส่วนร่วมเหล่านี้ มีการออกแบบที่เรียบง่ายกว่า เนื่องจากขอบเขตการอนุญาตและคีย์การเข้ารหัสได้รับการจัดการจากส่วนกลางในที่เดียว ในส่วนต่อไปนี้ เราจะแนะนำคุณเกี่ยวกับขั้นตอนต่างๆ ที่จำเป็นในการเริ่มใช้งานกรณีการใช้งานใหม่กับแพลตฟอร์ม MLOps ของ Yara

ในแง่ของกลยุทธ์บัญชี Yara มีการตั้งค่า sandbox, DEV, TEST และ PROD บัญชีแซนด์บ็อกซ์ใช้สำหรับการทดลองและทดลองแนวคิดใหม่ๆ บัญชี DEV เป็นจุดเริ่มต้นของไปป์ไลน์ CI/CD และการพัฒนาทั้งหมดเริ่มต้นที่นี่ บัญชีการปรับใช้ประกอบด้วยข้อกำหนดไปป์ไลน์ CI/CD และสามารถปรับใช้กับบัญชี DEV, TEST และ PROD การตั้งค่าบัญชีนี้จะอธิบายในรูปต่อไปนี้

การเริ่มต้นใช้งานกรณีการใช้งานใหม่

สำหรับโพสต์นี้ เราคิดว่าเรามีต้นแบบที่ใช้งานได้ของกรณีการใช้งาน และตอนนี้เราต้องการทำให้ใช้งานได้จริง ในกรณีที่กรณีการใช้งานนี้เป็นของส่วนผลิตภัณฑ์ใหม่ ก่อนอื่นเราต้องจัดเตรียมบัญชีโดยใช้องค์กร ซึ่งจะทริกเกอร์ ADF โดยอัตโนมัติเพื่อบูตบัญชีเหล่านี้สำหรับการปรับใช้ Yara ปฏิบัติตามกลยุทธ์บัญชี DEV>TEST>PROD อย่างไรก็ตาม การกำหนดค่านี้ไม่จำเป็น บัญชีข้อมูลเปิดเผย API สำหรับการเข้าถึงข้อมูล และสำหรับกรณีการใช้งานใหม่ จำเป็นต้องได้รับบทบาทที่จำเป็น AWS Identity และการจัดการการเข้าถึง (IAM) สิทธิ์เพื่อให้เข้าถึง Data API ได้

ต่อไป เราต้องกำหนดว่ากรณีการใช้งานนี้ใช้กับบัญชีใด ซึ่งทำได้โดยใช้แผนที่การปรับใช้ใน ADF แม็พการปรับใช้คือไฟล์คอนฟิกูเรชันที่มีการแม็พสเตจและเป้าหมายสำหรับไปป์ไลน์ ในการเรียกใช้แผนผังการปรับใช้ ADF จะใช้ CodePipeline ADF ให้ความยืดหยุ่นในการจัดการพารามิเตอร์ต่อสภาพแวดล้อมเป้าหมายที่มีการปรับใช้สแต็ค ทำให้ง่ายต่อการจัดการการปรับใช้และทดสอบกับอินสแตนซ์ขนาดเล็ก

สำหรับการเข้ารหัสอาร์ติแฟกต์ทั้งหมด เช่น โค้ด ข้อมูล และไฟล์โมเดล เราสร้าง บริการจัดการคีย์ AWS (AWS KMS) คีย์ คุณยังสามารถใช้การเข้ารหัสฝั่งเซิร์ฟเวอร์ อย่างไรก็ตาม เนื่องจากอาร์ติแฟกต์ที่สร้างขึ้นบางส่วนมีการเข้าถึงข้ามบัญชี เราจำเป็นต้องสร้างคีย์ของเราเองและจัดการนโยบายการอนุญาตเพื่อให้สิทธิ์การเข้าถึงข้ามบัญชี

สุดท้าย เราจำเป็นต้องสร้างกลุ่มแพ็คเกจโมเดลเพื่อจัดกลุ่มรุ่นต่างๆ ของโมเดลโดยใช้ SageMaker model Registry ซึ่งเป็นความสามารถของ SageMaker ในการติดตามและจัดการโมเดลเมื่อพวกมันเคลื่อนผ่านวงจรชีวิต ML

ไปป์ไลน์การฝึกอบรมแบบจำลอง

สำหรับโรงงานใหม่แต่ละแห่งที่เข้าร่วม ELC เราสร้างไปป์ไลน์การฝึกอบรม SageMaker ใหม่ ไปป์ไลน์นี้ประกอบด้วยขั้นตอนการประมวลผลข้อมูลล่วงหน้าและขั้นตอนการฝึกอบรมแบบจำลอง ไปป์ไลน์ SageMaker เหมาะสมอย่างยิ่งสำหรับ Yara เนื่องจากมีอินเทอร์เฟซ Python สำหรับกำหนดเวิร์กโฟลว์ ML นอกจากนี้ยังสามารถกำหนดค่าขั้นตอนต่างๆ ของเวิร์กโฟลว์ให้มีขนาดแตกต่างกันได้ ตัวอย่างเช่น คุณสามารถกำหนดอินสแตนซ์สำหรับการฝึกอบรมที่ใหญ่กว่าสำหรับขั้นตอนการประเมินแบบจำลอง พารามิเตอร์อินพุตและเอาต์พุตสำหรับแต่ละขั้นตอนของไปป์ไลน์จะถูกเก็บไว้ ซึ่งทำให้ง่ายต่อการติดตามการทำงานและเอาต์พุตแต่ละครั้ง โครงร่างระดับสูงของเวิร์กโฟลว์การฝึกอบรมมีดังนี้

เป็นส่วนหนึ่งของขั้นตอนการประเมินโมเดล ชุดข้อมูลการประเมินจะใช้เพื่อสร้างเมตริก เช่น ความแม่นยำและค่าความคลาดเคลื่อนรูทค่าเฉลี่ยกำลังสอง (RMSE) บนโมเดลที่ผ่านการฝึกอบรม เมตริกเหล่านี้ถูกเพิ่มไปยังข้อมูลเมตาของโมเดลก่อนที่จะลงทะเบียนโมเดลกับรีจิสทรีของโมเดล ปัจจุบัน โมเดลได้รับการเลื่อนระดับไปยังสภาพแวดล้อมที่สูงขึ้นด้วยตนเอง และผู้อนุมัติโมเดลสามารถดูเมตริกโมเดลเพื่อให้แน่ใจว่าเวอร์ชันใหม่ทำงานได้ดีกว่าโมเดลปัจจุบัน

โมเดลถูกควบคุมเวอร์ชันด้วยรีจีสทรีโมเดล โดยโรงงานแต่ละแห่งมีกลุ่มแพ็คเกจโมเดลของตัวเอง นอกจากนี้ คุณสามารถใช้โมเดลรีจีสทรีเพื่อติดตามว่าโมเดลรุ่นใดถูกนำไปใช้กับสภาพแวดล้อมใด โมเดลสามารถอยู่ใน ปฏิเสธ, รอการอนุมัติด้วยตนเอง,หรือ ได้รับการอนุมัติ รัฐและเฉพาะรุ่นที่อยู่ใน ได้รับการอนุมัติ สามารถปรับใช้สถานะได้ นอกจากนี้ยังมีการป้องกันจากการปรับใช้รุ่นที่ไม่ได้รับการอนุมัติโดยไม่ตั้งใจ

การอนุมานแบบจำลองและไปป์ไลน์การตรวจสอบ

ในการปรับใช้โมเดลและตั้งค่าการตรวจสอบโมเดล เราได้ตั้งค่าไปป์ไลน์ SageMaker ที่สอง แอปพลิเคชัน ELC ให้การคาดการณ์ของผู้ปฏิบัติงานโรงงานตามความต้องการ ดังนั้นโมเดลจึงเข้าถึงได้ผ่านการเรียก API ที่สร้างจากแบ็กเอนด์ ELC จุดสิ้นสุดการอนุมานของ SageMaker มอบโซลูชันการโฮสต์แบบจำลองที่มีการจัดการเต็มรูปแบบพร้อมเลเยอร์ API จุดสิ้นสุดรับอินพุตโมเดลเป็นเพย์โหลดและส่งคืนการคาดคะเน เนื่องจากเวลาแฝงเป็นปัจจัยสำคัญสำหรับผู้ใช้ปลายทางที่ไม่ต้องการรอนานก่อนที่จะได้รับการคาดคะเนที่อัปเดต Yara จึงเลือกใช้จุดสิ้นสุดการอนุมานตามเวลาจริงของ SageMaker ซึ่งเหมาะอย่างยิ่งสำหรับปริมาณงานที่มีความต้องการเวลาแฝงต่ำมาก ประการสุดท้าย เนื่องจากแอปพลิเคชัน ELC ไม่สามารถหยุดทำงานในขณะที่กำลังปรับใช้โมเดลที่อัปเดต จึงอาศัยความสามารถในการปรับใช้สีน้ำเงิน/สีเขียวของตำแหน่งข้อมูลแบบเรียลไทม์ของ SageMaker เพื่อให้แน่ใจว่าเวอร์ชันเก่ายังคงให้บริการการคาดคะเนจนกว่าจะมีการติดตั้งเวอร์ชันใหม่ .

ไดอะแกรมต่อไปนี้แสดงการปรับใช้และการตั้งค่าการมอนิเตอร์

สำหรับการมอนิเตอร์โมเดล Yara เรียกใช้ SageMaker คุณภาพของข้อมูล, คุณภาพของโมเดลและ แบบจำลองอธิบายได้ การตรวจสอบ การตรวจสอบคุณภาพข้อมูลจะตรวจสอบความสอดคล้องและสร้างสถิติการกระจายข้อมูล การตรวจสอบคุณภาพของโมเดลจะตรวจสอบประสิทธิภาพของโมเดลและเปรียบเทียบความแม่นยำของโมเดลกับเมตริกการฝึกอบรม. รายงานการมอนิเตอร์โมเดลถูกสร้างขึ้นเป็นรายชั่วโมง รายงานเหล่านี้ใช้เพื่อตรวจสอบประสิทธิภาพของแบบจำลองในการผลิต การตรวจสอบความสามารถในการอธิบายแบบจำลองใช้เพื่อทำความเข้าใจว่าคุณลักษณะใดที่มีส่วนในการคาดคะเนมากที่สุด

ผลลัพธ์ของความสามารถในการอธิบายแบบจำลองนี้ได้รับการแบ่งปันบนแดชบอร์ด ELC เพื่อให้ผู้ปฏิบัติงานในโรงงานได้รับบริบทเพิ่มเติมเกี่ยวกับสิ่งที่ขับเคลื่อนการใช้พลังงาน นอกจากนี้ยังสนับสนุนการกำหนดการดำเนินการเพื่อปรับกระบวนการภายในในกรณีที่การใช้พลังงานเบี่ยงเบนไปจากจุดที่เหมาะสมที่สุด

กระแส CI/ซีดี

โฟลว์ CI/CD สำหรับไปป์ไลน์การฝึกอบรมเริ่มต้นในบัญชี DEV Yara ปฏิบัติตามรูปแบบการพัฒนาตามคุณลักษณะ และเมื่อมีการพัฒนาคุณลักษณะใหม่ สาขาคุณลักษณะจะรวมเข้ากับส่วนท้าย ซึ่งจะเริ่มการปรับใช้ โมเดล ELC ได้รับการฝึกฝนในบัญชี DEV และหลังจากโมเดลได้รับการฝึกฝนและประเมิน โมเดลจะถูกลงทะเบียนในรีจิสทรีของโมเดล ผู้อนุมัติโมเดลจะทำการตรวจสอบความถูกต้องก่อนที่จะอัปเดตสถานะโมเดลเป็น ได้รับการอนุมัติ. การดำเนินการนี้สร้างเหตุการณ์ที่ทริกเกอร์การปรับใช้ไปป์ไลน์การอนุมานโมเดล ไปป์ไลน์การอนุมานโมเดลปรับใช้โมเดลรุ่นใหม่กับตำแหน่งข้อมูล SageMaker ใน DEV

หลังจากการปรับใช้ปลายทาง การทดสอบเพื่อตรวจสอบลักษณะการทำงานของการตั้งค่าจะเริ่มต้นขึ้น สำหรับการทดสอบ Yara ใช้ รายงานการทดสอบ CodeBuild. คุณลักษณะนี้ช่วยให้นักพัฒนาเรียกใช้การทดสอบหน่วย การทดสอบการกำหนดค่า และการทดสอบการทำงานก่อนและหลังการปรับใช้ ในกรณีนี้ Yara รันการทดสอบการทำงานโดยส่งเพย์โหลดทดสอบไปยังจุดสิ้นสุดของ SageMaker และประเมินการตอบสนอง หลังจากผ่านการทดสอบเหล่านี้ ไปป์ไลน์จะดำเนินการปรับใช้ปลายทาง SageMaker กับ TEST แบ็กเอนด์ ELC ยังปรับใช้กับ TEST ซึ่งทำให้การทดสอบแอปแบบ end-to-end เป็นไปได้ในสภาพแวดล้อมนี้ นอกจากนี้ Yara ยังดำเนินการทดสอบการยอมรับของผู้ใช้ใน TEST ทริกเกอร์จากการปรับใช้ TEST ไปยัง PROD เป็นการดำเนินการอนุมัติด้วยตนเอง หลังจากโมเดลเวอร์ชันใหม่ผ่านการทดสอบทั้งการทำงานและการยอมรับของผู้ใช้ใน TEST ทีมวิศวกรก็อนุมัติการปรับใช้โมเดลไปยัง PROD

รูปต่อไปนี้แสดงเวิร์กโฟลว์นี้

ส่วนประกอบทั่วไป

สำหรับ ELC เราใช้คอมโพเนนต์หลายอย่างที่ใช้ร่วมกันสำหรับขั้นตอนการปรับใช้ทั้งหมด (DEV, TEST, PROD) และรุ่นต่างๆ คอมโพเนนต์เหล่านี้อยู่ในบัญชีการปรับใช้ของเรา และรวมถึงการควบคุมเวอร์ชันโมเดล ที่เก็บอิมเมจคอนเทนเนอร์ คีย์เข้ารหัส และบัคเก็ตเพื่อจัดเก็บอาร์ติแฟกต์ทั่วไป

มีข้อดีหลายประการในการใช้สิ่งประดิษฐ์ทั่วไป ตัวอย่างเช่น ไม่จำเป็นต้องสร้างทรัพยากรสำหรับทุกบัญชี ซึ่งบังคับใช้ความเข้ากันได้ระหว่างบัญชี ซึ่งหมายความว่าเราสร้างอิมเมจคอนเทนเนอร์เพียงครั้งเดียวและนำมาใช้ซ้ำในบัญชีเป้าหมายทั้งหมด ซึ่งช่วยลดเวลาในการสร้าง

ไปป์ไลน์นี้จัดเก็บโมเดลรุ่นต่างๆ ในรีจีสทรีโมเดลทั่วไปในบัญชีการปรับใช้ จากตำแหน่งที่ตั้งส่วนกลางนี้ แบบจำลองสามารถนำไปใช้งานในทุกบัญชีโดยไม่ต้องถ่ายโอน ในทำนองเดียวกัน การใช้คีย์การเข้ารหัสที่เก็บไว้ส่วนกลางทำให้การจัดการคีย์และการอนุญาตข้ามบัญชีทำได้ง่ายขึ้น

ข้อเสียประการหนึ่งของการใช้สิ่งประดิษฐ์ทั่วไปคือขั้นตอนการเริ่มต้นใช้งานกรณีการใช้งานใหม่อาจซับซ้อนมากขึ้น หากต้องการใช้งานกรณีการใช้งานใหม่ จะต้องสร้างโมเดลรีจีสทรีใหม่และหากจำเป็นต้องมีที่เก็บอิมเมจคอนเทนเนอร์ใหม่ นอกจากนี้ เราขอแนะนำให้สร้างคีย์เข้ารหัสใหม่เพื่อแยกทรัพยากรและข้อมูลที่เก็บไว้ออกจากกันอย่างเคร่งครัด

สรุป

ในโพสต์นี้ เราได้สาธิตวิธีที่ Yara ใช้ SageMaker และ ADF เพื่อสร้างแพลตฟอร์ม MLOps ที่ปรับขนาดได้สูง ML เป็นความสามารถข้ามสายงาน และทีมปรับใช้โมเดลกับบัญชีหน่วยธุรกิจต่างๆ ดังนั้น ADF ซึ่งนำเสนอการผสานรวมแบบเนทีฟกับองค์กร ทำให้เป็นตัวเลือกที่เหมาะสำหรับบัญชีบูตสแตรปเพื่อตั้งค่าไปป์ไลน์ CI/CD ในการปฏิบัติงาน ไปป์ไลน์ ADF จะทำงานในบัญชีการปรับใช้ส่วนกลาง ซึ่งทำให้ง่ายต่อการรับมุมมองความสมบูรณ์โดยรวมของการปรับใช้ สุดท้าย ADF ใช้บริการที่มีการจัดการของ AWS เช่น CodeBuild, CodeDeploy, CodePipeline และ CloudFormation ทำให้ง่ายต่อการกำหนดค่าและบำรุงรักษา

SageMaker มีความสามารถด้าน ML ที่หลากหลาย ซึ่งช่วยให้ทีมสามารถมุ่งเน้นที่การแก้ปัญหาทางธุรกิจได้มากขึ้น และน้อยลงในการสร้างและบำรุงรักษาโครงสร้างพื้นฐาน นอกจากนี้ SageMaker Pipelines ยังมีชุด API มากมายสำหรับสร้าง อัปเดต และปรับใช้เวิร์กโฟลว์ ML ทำให้เหมาะอย่างยิ่งสำหรับ MLOps

ประการสุดท้าย MLOps มอบแนวทางปฏิบัติที่ดีที่สุดในการปรับใช้และบำรุงรักษาโมเดล ML ในการผลิตอย่างน่าเชื่อถือและมีประสิทธิภาพ เป็นสิ่งสำคัญสำหรับทีมที่สร้างและปรับใช้โซลูชัน ML ตามขนาดเพื่อใช้ MLOps ในกรณีของ Yara MLOps ช่วยลดความพยายามที่จำเป็นอย่างมากในการเริ่มต้นโรงงานใหม่ เปิดตัวการอัปเดตไปยัง ELC และทำให้แน่ใจว่าโมเดลได้รับการตรวจสอบคุณภาพ

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีการปรับใช้แอปพลิเคชันโดยใช้ ADF โปรดดูที่ ตัวอย่าง.

---

เกี่ยวกับผู้แต่ง

ชาเฮียร์ มันซูร์ เป็นนักวิทยาศาสตร์ข้อมูลที่ AWS เขามุ่งเน้นที่การสร้างแพลตฟอร์มแมชชีนเลิร์นนิงที่สามารถโฮสต์โซลูชัน AI ในวงกว้างได้ ความสนใจของเขาคือ MLOps ฟีเจอร์สโตร์ การโฮสต์โมเดล และการตรวจสอบโมเดล

ทิม เบ็คเกอร์ เป็นนักวิทยาศาสตร์ข้อมูลอาวุโสที่ Yara International ภายใน Digital Production เขามุ่งเน้นไปที่การปรับกระบวนการให้เหมาะสมสำหรับการผลิตแอมโมเนียและกรดไนตริก เขาสำเร็จการศึกษาระดับปริญญาเอกด้านอุณหพลศาสตร์และมีความกระตือรือร้นในการนำวิศวกรรมกระบวนการและการเรียนรู้ของเครื่องมารวมกัน

ยงยศ แก้วพิทักษ์กุล เป็นนักวิทยาศาสตร์ข้อมูลอาวุโสในทีม Digital Production ที่ Yara International เขาสำเร็จการศึกษาระดับปริญญาเอกด้าน AI/แมชชีนเลิร์นนิง และมีประสบการณ์หลายปีในการใช้ประโยชน์จากแมชชีนเลิร์นนิง คอมพิวเตอร์วิทัศน์ และโมเดลการประมวลผลภาษาธรรมชาติเพื่อแก้ปัญหาทางธุรกิจที่ท้าทาย