Yara, amonyak tesislerinde enerji optimizasyonunu ölçeklendirmek için Amazon SageMaker'ın MLOps özelliklerini nasıl kullanıyor?

Yara dünyanın önde gelen bitki besleme şirketi ve çevresel ve tarımsal çözümler sağlayıcısıdır. Yara'nın tutkusu, müşteriler, hissedarlar ve genel olarak toplum için değer yaratan ve daha sürdürülebilir bir gıda değer zinciri sağlayan, doğaya pozitif bir gıda geleceği oluşturmaya odaklanmıştır. Açlığın olmadığı bir dünya ve saygı duyulan bir gezegen vizyonumuzu destekleyen Yara, iklim dostu mahsul beslemeyi ve sıfır emisyonlu enerji çözümlerini teşvik ederek sürdürülebilir değer artışı stratejisi izliyor. Yara aynı zamanda dünyanın en büyük amonyak, nitrat ve NPK gübreler. Bu nedenle üretim segmentleri, güvenlik, çevresel ayak izi, kalite ve üretim maliyetleri gibi ölçütlerde dünya lideri olmaya yönelik açıkça ifade edilmiş bir hırsla misyonlarını yerine getirmek için ayrılmaz bir yapı taşıdır. Yara'nın uzun vadeli hedefi, sıfır emisyonlu ve düşük maliyetli “Geleceğin Fabrikası”dır.

Yalın bir dönüşümü temel alan Yara, hedeflerine ulaşmalarına yardımcı olmak için dijital çözümlere odaklanmalarını artırıyor. Bu çabaya öncülük etmek için Yara, Dijital Üretim adlı küresel bir birim kurdu. Dijital Prodüksiyon ve çözümlerinin başarısı Yara için önemli bir önceliktir ve Yara bu alandaki çabalarını önemli ölçüde artırmıştır. Kritik bir odak alanı, operasyonlarının bir parçası olarak üretilen çok büyük miktardaki veriden yararlanmaktır. Bu nedenle Yara, üretimi optimize etmelerine, ürünlerin kalitesini artırmalarına, üretim sahalarının güvenilirliğini artırmalarına, emisyonları azaltmalarına, çalışanların güvenliğini ve üretkenliğini artırmalarına, manuel süreçleri otomatikleştirmelerine ve daha pek çok şeye yardımcı olan veri odaklı ürünler geliştiriyor.

Enerji, birçok üretim tesisi için önemli bir maliyet bileşenidir; dolayısıyla, enerji verimliliğinin karlılık üzerinde önemli bir etkisi vardır. Bununla birlikte, genellikle iyi performansın neye benzediği ve oraya nasıl ulaşılacağı konusunda sağlam referanslar yoktur. Yara'nın Enerji Yükü Eğrisi (ELC), mevcut performansa karşı tutulan enerji tüketimine ilişkin en iyi tarihsel performansı kullanan bir çözümdür. Mevcut tüketim tarihin en iyi değerinden çok fazla saparsa araç, enerji tüketimini yönlendirmek için operatörlere önerilerde bulunur.

ELC'yi üretim tesislerine dağıtmak ve bunu dünya genelinde birden fazla tesise ölçeklendirmek için Yara'nın bir MLOps platformu oluşturması gerekiyordu. Bu, Yara'nın modelleri güvenilir ve verimli bir şekilde eğitmesini, dağıtmasını ve bakımını yapmasını sağlar. Ek olarak, bunu birden çok siteye ölçeklendirmek için Yara'nın dağıtım ve bakım süreçlerini otomatikleştirmesi gerekiyordu. Bu yazıda, Yara'nın nasıl kullandığını tartışıyoruz. Amazon Adaçayı Yapıcı model kaydı da dahil olmak üzere özellikler, Amazon SageMaker Model Monitörü, ve Amazon SageMaker Ardışık Düzenleri MLOps uygulamalarını otomatikleştirerek ve standartlaştırarak makine öğrenimi (ML) yaşam döngüsünü kolaylaştırmak için. Dünyanın dört bir yanındaki tesisler için makine öğrenimi modellerini oluşturma, eğitme, dağıtma ve izleme sürecini gösteren kuruluma genel bir bakış sunuyoruz.

Çözüme genel bakış

ELC, bir fabrikadan Nesnelerin İnterneti (IoT) sensör verilerini kullanır. Bu sensörler üretim hacmi, ortam koşulları ve ham madde koşulları gibi metrikleri ölçer. Bu veriler, daha sonra saatlik tahminler oluşturmak için kullanılan bir enerji tahmin modelini eğitmek için kullanılır. Tesis operatörleri, gerçek enerji tüketimini izler ve ELC tarafından tahmin edildiği gibi optimum tüketim ile karşılaştırır. Mevcut enerji tüketimi optimal noktadan çok fazla saparsa ELC, analitik modellere dayalı olarak enerji verimliliğini optimize etmek için dahili proses değişkenlerini ayarlamak için bir eylem sağlar.

ELC bulutta barındırılır. Bir tesisten sensör verilerini gerçek zamanlı olarak aktarmak için Yara, AWS IoT Greengrass ile güvenli bir şekilde iletişim kurmak için AWS IoT Çekirdeği ve IoT verilerini AWS bulutuna aktarın. AWS IoT SiteWise endüstriyel ekipmandan ekipman verilerini geniş ölçekte toplayabilen, organize edebilen, araştırabilen ve tüketebilen yönetilen bir hizmettir. Yara şunu kullanarak API'ler oluşturdu: Amazon API Ağ Geçidi sensör verilerini ELC gibi uygulamalara maruz bırakmak için.

ELC uygulama arka ucu, Amazon ECS aracılığıyla dağıtılır ve ön uçta tesis operatörleri tarafından kullanılan ELC panolarına güç sağlar. ELC uygulaması, tesis operatörlerine saatlik tahmini enerji tüketimi ölçümlerini sağlamaktan sorumludur. Enerji tüketim özellikleri farklı olduğu için her tesis kendi modeliyle donatılmıştır. Ayrıca tesisler, konumlarına göre farklı AWS Bölgelerinde kümelenir.

Aşağıdaki şema bu mimariyi göstermektedir.

ELC oluşturmak ve birden çok tesise ölçeklendirmek için aşağıdakileri destekleyen bir MLOps çözümüne ihtiyacımız vardı:

• ölçeklenebilirlik – Veri hacimlerine göre ölçeklenebilir. Bazı bitkiler diğerlerinden daha fazla veri üretir; her tesis günde birkaç gigabayt veri üretebilir.
• Genişletilebilirlik – Yeni Bölgelere ve hesaplara dağıtılabilir.
• Tekrarlanabilirlik – Yeni bir tesisi devreye almak için kullanabileceğimiz ortak şablonlara sahiptir.
• Esneklik – Dağıtım konfigürasyonunu her tesisin ihtiyaçlarına göre değiştirebilir.
• Güvenilirlik ve izleme – Testler yapabilir ve tüm aktif tesislerin durumunu net bir şekilde görebilir. Arıza durumunda, önceki kararlı duruma geri dönebilir.
• Bakım – Çözüm, düşük bakım yüküne sahip olmalıdır. Altyapı ayak izini azaltmak için mümkün olan yerlerde sunucusuz hizmetleri kullanmalıdır.

Makine öğrenimi için Yara, SageMaker'ı kullanmaya karar verdi. SageMaker, makine öğrenimi iş akışının tamamını kapsayan, tümüyle yönetilen bir hizmettir. Aşağıdaki özellikler, SageMaker'ı seçerken kritikti:

• SageMaker çerçeve kapsayıcıları – Yara, TensorFlow'da ELC tahmine dayalı modelleri eğitmişti ve SageMaker çerçeve konteynerleri ile Yara, minimum kod değişikliğiyle bu modelleri SageMaker'a kaldırıp kaydırmayı başardı.
• SageMaker Boru Hatları – SageMaker Pipelines, veri bilimcilerin makine öğrenimi ardışık düzenleri yazması için bir Python arabirimi sunar. ELC kodunun büyük bir kısmı, Python'da tanımlanan bir eğitim ve bir çıkarım boru hattından oluşur.
• SageMaker model kaydı – SageMaker model kaydı, modellerin kataloglanmasını ve sürüm kontrolünü mümkün kılar. Ek olarak, eğitim ölçümleri gibi model meta verilerini yönetmeyi kolaylaştırır.
• SageMaker Model Monitör – Yara, ELC model performansının yanı sıra gelen verilerin kalitesini ve dağıtımını da izlemek istedi. SageMaker Model İzleme API'leri, veri ve model kalitesi izleme sunar.

Yara, makine öğrenimi ardışık düzenleri için sürekli entegrasyonu ve sürekli teslimatı (CI/CD) yönetmek için Amazon Dağıtım Çerçevesi (ADF). ADF, kaynakları bir AWS Kuruluşu içindeki birden fazla AWS hesabında ve Bölgede yönetmek ve dağıtmak için AWS tarafından geliştirilmiş açık kaynaklı bir çerçevedir. ADF, içinde tanımlanan yapı aracılığıyla uygulamaların veya kaynakların aşamalı, paralel, çok hesaplı ve bölgeler arası dağıtımlarına izin verir. AWS Kuruluşlarıgibi hizmetlerden yararlanırken, AWS Kod Ardışık Düzeni, AWS Kod Oluşturma, AWS CodeCommit, ve AWS CloudFormation geleneksel bir CI/CD kurulumuna kıyasla ağır kaldırma ve yönetimi hafifletmek için.

Çözüme genel bakış

MLOps platformu için tüm çözüm, iki ay içinde, AWS Profesyonel Hizmetleri. Proje üzerinde çalışan ekip, veri bilimcileri, veri mühendisleri ve DevOps uzmanlarından oluşuyordu. Çok ekipli bir ortamda daha hızlı geliştirmeyi kolaylaştırmak için Yara, AWS İniş Zone ve Farklı AWS hesaplarını merkezi olarak oluşturmak, yönetmek ve idare etmek için Kuruluşlar. Örneğin, Yara'nın merkezi bir dağıtım hesabı vardır ve iş uygulamalarını barındırmak için iş yükü hesaplarını kullanır. ELC, bir süreç optimizasyonu kullanım örneğidir ve iş yükü hesaplarını optimize etmek için dağıtılır. Yara Digital Production ekibi, optimizasyon dışındaki alanlarda da makine öğrenimi kullanım senaryoları üzerinde çalışıyor. MLOps çerçevesi, hesaplar Kuruluşlar aracılığıyla oluşturulduğu sürece herhangi bir iş yükü hesabına dağıtımı destekler.

Aşağıdaki şema bu mimariyi göstermektedir.

Merkezi bir dağıtım hesabı kullanmak, ortak yapıları ve CI/CD ardışık düzenlerini yönetmeyi kolaylaştırır. Bu yaygın yapıların erişim yönetimi ve güvenliği açısından daha basit bir tasarım çünkü izin sınırları ve şifreleme anahtarları tek bir yerde merkezi olarak yönetiliyor. Aşağıdaki bölümlerde, Yara'nın MLOps platformuna yeni bir kullanım durumu eklemek için gerekli adımlarda size yol gösteriyoruz.

Hesap stratejisi açısından Yara'nın bir korumalı alan, DEV, TEST ve PROD kurulumu vardır. Korumalı alan hesabı, deney yapmak ve yeni fikirleri denemek için kullanılır. DEV hesabı, CI/CD ardışık düzenlerinin başlangıç ​​noktasıdır ve tüm geliştirme burada başlar. Dağıtım hesabı, CI/CD işlem hattı tanımını içerir ve DEV, TEST ve PROD hesaplarına dağıtım yapabilir. Bu hesap kurulumu aşağıdaki şekilde gösterilmektedir.

Yeni bir kullanım senaryosunu kabul etme

Bu gönderi için, bir kullanım senaryosunun çalışan bir prototipine sahip olduğumuzu varsayıyoruz ve şimdi onu operasyonel hale getirmek istiyoruz. Bu kullanım örneğinin yeni bir ürün alanına ait olması durumunda, öncelikle ADF'yi dağıtım için bu hesapları önyüklemek üzere otomatik olarak tetikleyen Kuruluşları kullanarak hesapları sağlamamız gerekir. Yara bir DEV>TEST>PROD hesap stratejisi izliyor; ancak bu yapılandırma zorunlu değildir. Veri hesapları, veri erişimi için API'leri kullanıma sunar ve yeni bir kullanım durumu için rollere gerekli olanın verilmesi gerekir AWS Kimlik ve Erişim Yönetimi (IAM) izinleri, böylece Veri API'lerine erişebilirler.

Ardından, bu kullanım durumunun hangi hesaplara dağıtılacağını tanımlamamız gerekiyor. Bu, ADF'deki bir dağıtım haritası kullanılarak yapılır. Dağıtım haritası, ardışık düzen için aşamaların ve hedeflerin eşlemesini içeren bir yapılandırma dosyasıdır. Dağıtım haritasını çalıştırmak için ADF, CodePipeline'ı kullanır. ADF, yığının konuşlandırıldığı hedef ortam başına parametreleri yönetme esnekliği sağlar. Bu, dağıtımları yönetmeyi ve daha küçük örneklerle test etmeyi kolaylaştırır.

Kod, veri ve model dosyaları gibi tüm yapıları şifrelemek için bir AWS Anahtar Yönetim Hizmeti (AWS KMS) anahtarı. Sunucu tarafı şifrelemeyi de kullanabilirsiniz. Ancak, oluşturulan yapıların bazılarına hesaplar arasında erişilebildiğinden, hesaplar arası erişim vermek için kendi anahtarımızı oluşturmamız ve izin politikalarını yönetmemiz gerekir.

Son olarak, SageMaker'ın ML yaşam döngüsünde hareket ederken modelleri izleme ve yönetme yeteneği olan SageMaker model kaydını kullanarak bir modelin farklı sürümlerini gruplandırmak için bir model paketi grubu oluşturmamız gerekiyor.

Model eğitimi ardışık düzeni

ELC'ye katılan her yeni tesis için yeni bir SageMaker eğitim hattı oluşturuyoruz. Bu boru hattı, veri ön işleme ve model eğitim adımlarından oluşur. SageMaker ardışık düzenleri, bir makine öğrenimi iş akışını tanımlamak için bir Python arabirimi sundukları için Yara için çok uygundur. Ayrıca, iş akışının farklı adımları farklı şekilde ölçeklendirilecek şekilde yapılandırılabilir. Örneğin, eğitim için model değerlendirme adımından çok daha büyük bir örnek tanımlayabilirsiniz. Ardışık düzenin her adımı için girdi ve çıktı parametreleri saklanır, bu da her çalıştırmayı ve çıktılarını izlemeyi kolaylaştırır. Eğitim iş akışının üst düzey taslağı aşağıdaki gibidir.

Model değerlendirme aşamasının bir parçası olarak, eğitimli modelde doğruluk ve kök-ortalama-kare hatası (RMSE) sapması gibi metrikleri oluşturmak için bir değerlendirme veri kümesi kullanılır. Bu ölçümler, modeli model kaydına kaydetmeden önce model meta verilerine eklenir. Şu anda, modeller manuel olarak daha yüksek ortamlara yükseltilmektedir ve modeli onaylayan kişi, yeni sürümün mevcut modelden daha iyi performans gösterdiğinden emin olmak için model metriklerini görüntüleyebilir.

Modeller, her tesisin kendi model paket grubuna sahip olduğu model kaydıyla sürüm kontrollüdür. Ayrıca, hangi model sürümlerinin hangi ortamlara dağıtıldığını izlemek için model kayıt defterini kullanabilirsiniz. Bir model içinde olabilir Reddedildi, Manuel Onay Bekliyorya da Onaylı durum ve yalnızca içinde olan modeller Onaylı devlet konuşlandırılabilir. Bu ayrıca, modelin onaylanmamış bir sürümünün yanlışlıkla dağıtılmasına karşı koruma sağlar.

Model çıkarımı ve izleme ardışık düzeni

Modeli dağıtmak ve model izlemeyi ayarlamak için ikinci bir SageMaker ardışık düzeni kurduk. ELC uygulaması, talep üzerine tesis operatörlerine tahminler sağlar, bu nedenle modellere, ELC arka ucundan yapılan API çağrıları aracılığıyla erişilir. SageMaker çıkarım uç noktaları, bir API katmanıyla tam olarak yönetilen bir model barındırma çözümü sağlar; uç noktalar, model girdisini yük ve dönüş tahminleri olarak alır. Gecikme, güncellenmiş tahminleri almadan önce uzun süre beklemek istemeyen son kullanıcılar için de çok önemli bir faktör olduğundan Yara, özellikle çok düşük gecikme gereksinimleri olan iş yükleri için uygun olan SageMaker gerçek zamanlı çıkarım uç noktalarını tercih etti. Son olarak, güncellenen modeller dağıtılırken ELC uygulaması kesinti süresine sahip olamayacağından, eski model sürümünün yeni sürüm dağıtılana kadar tahmin sunmaya devam etmesini sağlamak için SageMaker gerçek zamanlı uç noktalarının mavi/yeşil dağıtım yeteneğine güvenir. .

Aşağıdaki diyagram dağıtım ve izleme kurulumunu göstermektedir.

Model izleme için Yara, SageMaker'ı çalıştırıyor veri kalitesi, modeli kalitesi, ve model açıklanabilirliği izleme. Veri kalitesi izleme, tutarlılığı kontrol eder ve veri dağıtım istatistikleri oluşturur. Model kalitesi izleme, model performansını kontrol eder ve model doğruluğunu eğitim metrikleriyle karşılaştırır. Model izleme raporları saatlik olarak oluşturulur. Bu raporlar, üretimdeki model performansını izlemek için kullanılır. Model açıklanabilirliği izleme, hangi özelliklerin bir tahmine en çok katkıda bulunduğunu anlamak için kullanılır.

Model açıklanabilirliğinin bu sonuçları, tesis operatörlerine enerji tüketimini neyin yönlendirdiği konusunda daha fazla bağlam sağlamak için ELC panosunda paylaşılır. Bu aynı zamanda, enerji tüketiminin optimum noktadan sapması durumunda dahili süreci ayarlamak için eylemin belirlenmesini de destekler.

CI/CD akışı

Eğitim ardışık düzenleri için CI/CD akışı DEV hesabında başlar. Yara, özellik tabanlı bir geliştirme modeli izler ve yeni bir özellik geliştirildiğinde, özellik dalı, konuşlandırmayı başlatan ana hat ile birleştirilir. ELC modelleri DEV hesabında eğitilir ve model eğitilip değerlendirildikten sonra model kaydına kaydedilir. Bir model onaylayıcı, model durumunu şu şekilde güncellemeden önce akıl sağlığı kontrolleri gerçekleştirir: Onaylı. Bu eylem, model çıkarım işlem hattının dağıtımını tetikleyen bir olay oluşturur. Model çıkarım işlem hattı, yeni model sürümünü DEV'deki bir SageMaker uç noktasına dağıtır.

Uç nokta konuşlandırıldıktan sonra, kurulumun davranışını kontrol etmeye yönelik testler başlatılır. Test için Yara, CodeBuild test raporları. Bu özellik, geliştiricilerin dağıtım öncesi ve sonrası birim testleri, yapılandırma testleri ve işlevsel testler yapmasına olanak tanır. Bu durumda Yara, test yüklerini SageMaker uç noktalarına geçirerek ve yanıtı değerlendirerek işlevsel testler yürütür. Bu testler geçildikten sonra boru hattı, SageMaker uç noktalarını TEST'e konuşlandırmaya devam eder. ELC arka ucu, bu ortamda uygulamanın uçtan uca test edilmesini mümkün kılan TEST'e de dağıtılır. Ek olarak Yara, TEST'te kullanıcı kabul testi gerçekleştirir. TEST'ten PROD dağıtımına kadar olan tetikleyici, manuel bir onay eylemidir. Yeni model sürümü, TEST'te hem işlev hem de kullanıcı kabul testini geçtikten sonra, mühendislik ekibi model dağıtımını PROD'a onaylar.

Aşağıdaki şekil bu iş akışını göstermektedir.

Ortak bileşenler

ELC için, tüm dağıtım aşamaları (DEV, TEST, PROD) ve modeller için ortak olan birkaç bileşen kullanıyoruz. Bu bileşenler dağıtım hesabımızda bulunur ve model sürüm kontrolü, bir kapsayıcı görüntü deposu, bir şifreleme anahtarı ve ortak yapıtları depolamak için bir grup içerir.

Ortak eserler kullanmanın çeşitli avantajları vardır. Örneğin, kaynakların her hesap için oluşturulması gerekmez, bu da hesaplar arasında uyumluluğu zorunlu kılar. Bu, kapsayıcı görüntülerini bir kez oluşturduğumuz ve bunları tüm hedef hesaplarda yeniden kullandığımız ve oluşturma süresini kısalttığımız anlamına gelir.

Bu ardışık düzen, farklı model sürümlerini dağıtım hesabındaki ortak bir model kayıt defterinde depolar. Modeller, bu merkezi konumdan tüm hesaplara aktarılmadan dağıtılabilir. Benzer şekilde, merkezi olarak depolanan bir şifreleme anahtarının kullanılması, anahtarın ve hesaplar arası izinlerin yönetilmesini kolaylaştırır.

Yaygın yapıtları kullanmanın bir dezavantajı, yeni bir kullanım senaryosunun yerleştirme adımının daha ayrıntılı hale gelebilmesidir. Yeni bir kullanım durumunu dahil etmek için yeni bir model kayıt defteri ve gerekirse yeni bir kapsayıcı görüntü deposu oluşturulmalıdır. Kaynakları ve saklanan verileri kesinlikle ayırmak için yeni bir şifreleme anahtarı oluşturmanızı da öneririz.

Sonuç

Bu gönderide, Yara'nın yüksek düzeyde ölçeklenebilir bir MLOps platformu oluşturmak için SageMaker ve ADF'yi nasıl kullandığını gösterdik. Makine öğrenimi, işlevler arası bir yetenektir ve ekipler, modelleri farklı iş birimi hesaplarına dağıtır. Bu nedenle Kuruluşlarla yerel entegrasyon sunan ADF, CI/CD ardışık düzenleri kurmak için hesapları önyüklemek için onu ideal bir aday yapar. Operasyonel olarak ADF ardışık düzenleri merkezi dağıtım hesabında çalışır ve bu da dağıtımların genel sağlık görünümünü almayı kolaylaştırır. Son olarak ADF, yapılandırmayı ve bakımı kolaylaştıran CodeBuild, CodeDeploy, CodePipeline ve CloudFormation gibi AWS tarafından yönetilen hizmetleri kullanır.

SageMaker, ekiplerin altyapı oluşturmaya ve sürdürmeye daha az, iş sorunlarını çözmeye daha fazla odaklanmasını sağlayan geniş bir makine öğrenimi yetenekleri yelpazesi sunar. Ek olarak SageMaker Pipelines, makine öğrenimi iş akışlarını oluşturmak, güncellemek ve devreye almak için zengin bir API seti sağlar ve bu da onu MLOps için mükemmel bir uyum haline getirir.

Son olarak MLOps, makine öğrenimi modellerini üretimde güvenilir ve verimli bir şekilde dağıtmak ve sürdürmek için en iyi uygulamaları sağlar. MLOps'u uygulamak için ML çözümleri oluşturan ve dağıtan ekipler için kritik öneme sahiptir. Yara'nın durumunda MLOps, yeni bir fabrikayı devreye almak, ELC'ye güncellemeler sunmak ve modellerin kalite açısından izlenmesini sağlamak için gereken çabayı önemli ölçüde azaltır.

ADF kullanarak uygulamaların nasıl dağıtılacağı hakkında daha fazla bilgi için bkz. örnekler.

---

yazarlar hakkında

Shaheer Mansur AWS'de bir Veri Bilimcisidir. Odak noktası, yapay zeka çözümlerini geniş ölçekte barındırabilen makine öğrenimi platformları oluşturmaktır. İlgi alanları MLOps, özellikli mağazalar, model barındırma ve model izlemedir.

Tim Becker Yara International'da Kıdemli Veri Bilimcisidir. Dijital Üretim kapsamında, amonyak ve nitrik asit üretiminin süreç optimizasyonuna odaklanıyor. Termodinamik alanında doktora sahibidir ve süreç mühendisliği ile makine öğrenimini bir araya getirme konusunda tutkuludur.

Yongyos Kaewpitakkun Yara International'da Dijital Üretim ekibinde kıdemli bir veri bilimcisidir. Yapay zeka/makine öğrenimi alanında doktora derecesine ve zorlu iş sorunlarını çözmek için makine öğrenimi, bilgisayar görüşü ve doğal dil işleme modellerinden yararlanan uzun yıllara dayanan uygulamalı deneyime sahiptir.