Python Araç Kutusu'nu kullanarak Amazon Lookout for Equipment modellerini oluşturun, eğitin ve dağıtın

Tahmine dayalı bakım, ekipmanınızın durumunu proaktif olarak izleyerek endüstriyel makine arızalarını ve pahalı arıza sürelerini önlemenin etkili bir yolu olabilir, böylece ekipman arızaları meydana gelmeden önce herhangi bir anormallik konusunda uyarı alabilirsiniz. Veri bağlantısı, depolama, analitik ve uyarı için sensörleri ve gerekli altyapıyı kurmak, kestirimci bakım çözümlerini etkinleştirmek için temel unsurlardır. Ancak, geçici altyapıyı kurduktan sonra bile birçok şirket, arıza süresini önlemek için sorunları yeterince erken tespit etmede genellikle etkisiz olan temel veri analitiği ve basit modelleme yaklaşımlarını kullanır. Ayrıca, ekipmanınız için bir makine öğrenimi (ML) çözümü uygulamak zor ve zaman alıcı olabilir.

İle Ekipman için Amazon Gözetleme, makine öğrenimi deneyimi gerektirmeden anormal makine davranışını algılamak için endüstriyel ekipmanınız için sensör verilerini otomatik olarak analiz edebilirsiniz. Bu, ekipman anormalliklerini hız ve hassasiyetle tespit edebileceğiniz, sorunları hızla teşhis edebileceğiniz ve pahalı arıza süresini azaltmak için harekete geçebileceğiniz anlamına gelir.

Lookout for Equipment, verilerinize dayalı olarak ekipmanınıza özel bir modeli otomatik olarak eğitmek için sensörlerinizden ve basınç, akış hızı, RPM'ler, sıcaklık ve güç gibi sistemlerinizden gelen verileri analiz eder. Gelen sensör verilerini gerçek zamanlı olarak analiz etmek için benzersiz ML modelinizi kullanır ve makine arızalarına yol açabilecek erken uyarı işaretlerini tanımlar. Tespit edilen her uyarı için, Ekipman Arama, sorunu hangi sensörlerin gösterdiğini ve tespit edilen olay üzerindeki etkinin büyüklüğünü saptar.

Makine öğrenimini her geliştiricinin eline verme misyonuyla, Lookout for Equipment'a başka bir eklenti sunmak istiyoruz: açık kaynaklı Python araç kutusu Bu, geliştiricilerin ve veri bilimcilerin, alışkın olduğunuza benzer şekilde Ekipman için Lookout modellerini oluşturmasına, eğitmesine ve dağıtmasına olanak tanır. Amazon Adaçayı Yapıcı. Bu kitaplık, Lookout for Equipment boto3 python API'sinin üzerindeki bir sarmalayıcıdır ve bu hizmetle yolculuğunuza başlamanız için sağlanmıştır. Bildirmeniz gereken herhangi bir iyileştirme öneriniz veya hatanız varsa, lütfen araç kutusuna bir sorun bildirin. GitHub deposu.

Bu gönderide, bir SageMaker not defterinden Lookout for Equipment açık kaynaklı Python araç kutusunu kullanmak için adım adım bir kılavuz sunuyoruz.

Ortam kurulumu

Bir SageMaker not defterinden açık kaynaklı Ekipman için Lookout araç kutusunu kullanmak için, SageMaker not defterine Ekipman için Lookout API'lerini çağırmak için gerekli izinleri vermemiz gerekir. Bu gönderi için, zaten bir SageMaker not defteri örneği oluşturduğunuzu varsayıyoruz. Talimatlar için bkz. Amazon SageMaker Notebook Örneklerini Kullanmaya Başlayın. Not defteri örneği, bir yürütme rolüyle otomatik olarak ilişkilendirilir.

1. Örneğe eklenen rolü bulmak için SageMaker konsolunda örneği seçin.
   
2. Bir sonraki ekranda, bulmak için aşağı kaydırın. AWS Kimlik ve Erişim Yönetimi örneğe eklenen (IAM) rolü İzinler ve şifreleme Bölüm.
3. IAM konsolunu açmak için rolü seçin.
   

Ardından, SageMaker IAM rolümüze bir satır içi politika ekliyoruz.

4. Üzerinde İzinler açtığınız rolün sekmesini seçin Satır içi politika ekle.
   
5. Üzerinde JSON sekmesinde aşağıdaki kodu girin. Bir joker eylem kullanıyoruz (lookoutequipment:*) demo amaçlı hizmet için. Gerçek kullanım durumları için, uygun SDK API çağrılarını çalıştırmak için yalnızca gerekli izinleri sağlayın.

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "lookoutequipment:*" ], "Resource": "*" } ] }

6. Klinik İnceleme politikası.
7. İlke için bir ad girin ve ilkeyi oluşturun.

Önceki satır içi politikaya ek olarak, aynı IAM rolünde, Lookout for Equipment'ın bu rolü üstlenmesine izin vermek için bir güven ilişkisi kurmamız gerekiyor. SageMaker rolü zaten uygun veri erişimine sahip Amazon Basit Depolama Hizmeti (Amazon S3); Lookout for Equipment'ın bu rolü üstlenmesine izin vermek, onun verilere dizüstü bilgisayarınızla aynı erişime sahip olmasını sağlar. Ortamınızda, Lookout for Equipment'ın verilerinize erişmesini sağlayan belirli bir rolünüz zaten olabilir; bu durumda bu ortak rolün güven ilişkisini ayarlamanız gerekmez.

8. SageMaker IAM rolümüzün içinde Güven ilişkileri sekmesini seçin Güven ilişkisini düzenle.
9. Politika belgesinin altında, tüm politikayı aşağıdaki kodla değiştirin:

    { "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Principal": { "Service": "lookoutequipment.amazonaws.com" }, "Action": "sts:AssumeRole" } ] }

10. Klinik Güven politikasını güncelle.

Artık SageMaker notebook ortamımızda Lookout for Equipment araç kutusunu kullanmaya hazırız. Ekipman için Lookout araç kutusu, veri bilimcilerin ve yazılım geliştiricilerin Ekipman için Lookout kullanarak zaman serisi anormallik algılama modellerini kolayca oluşturmasına ve dağıtmasına olanak tanıyan açık kaynaklı bir Python paketidir. Araç kutusu sayesinde neleri daha kolay elde edebileceğinize bir göz atalım!

Bağımlılıklar

Yazma sırasında, araç kutusunda aşağıdakilerin kurulu olması gerekir:

• Python(>=3.6)
• boto3 (>= 1.17.48)
• markdown
• dizi
• pandalar
• piramit
• s3fs

Bu bağımlılıkları karşıladıktan sonra, bir Jupyter terminalinden aşağıdaki komutla Lookout for Equipment araç kutusunu kurabilir ve başlatabilirsiniz:

pip install lookoutequipment

Araç kutusu artık kullanıma hazırdır. Bu gönderide, bir anormallik algılama modelini eğiterek ve dağıtarak araç kutusunun nasıl kullanılacağını gösteriyoruz. Tipik bir makine öğrenimi geliştirme yaşam döngüsü, eğitim için veri kümesi oluşturmak, modeli eğitmek, modeli dağıtmak ve model üzerinde çıkarım yapmaktan oluşur. Araç kutusu, sağladığı işlevler açısından oldukça kapsamlıdır, ancak bu yazıda aşağıdaki yeteneklere odaklanıyoruz:

• Veri kümesini hazırlayın
• Lookout for Equipment'ı kullanarak bir anormallik algılama modeli eğitin
• Model değerlendirmeniz için görselleştirmeler oluşturun
• Bir çıkarım planlayıcıyı yapılandırın ve başlatın
• Zamanlayıcı çıkarım sonuçlarını görselleştirin

Bu yeteneklerin her biri için araç kutusunu nasıl kullanabileceğimizi anlayalım.

Veri kümesini hazırlayın

Lookout for Equipment, bir veri kümesinin oluşturulmasını ve alınmasını gerektirir. Veri kümesini hazırlamak için aşağıdaki adımları tamamlayın:

1. Veri kümesini oluşturmadan önce, örnek bir veri kümesi yüklememiz ve onu bir veri kümesine yüklememiz gerekiyor. Amazon Basit Depolama Hizmeti (Amazon S3) kova. Bu gönderide kullandığımız expander veri kümesi:

   from lookoutequipment import dataset data = dataset.load_dataset(dataset_name='expander', target_dir='expander-data')
   dataset.upload_dataset('expander-data', bucket, prefix)

iade edilen data nesne, aşağıdakileri içeren bir sözlüğü temsil eder:

• • Bir eğitim verisi DataFrame
  • A etiketleri DataFrame
  • Eğitim başlangıç ​​ve bitiş tarihleri
  • Değerlendirme başlangıç ​​ve bitiş tarihleri
  • Bir etiket açıklaması DataFrame

Eğitim ve etiket verileri, hedef dizinden paket/ön ek konumunda Amazon S3'e yüklenir.

2. Veri setini S3'e yükledikten sonra bir nesne oluşturuyoruz. LookoutEquipmentDataset veri kümesini yöneten sınıf:

   lookout_dataset = dataset.LookoutEquipmentDataset( dataset_name='my_dataset', access_role_arn=role_arn, component_root_dir=f's3://{bucket}/{prefix}training-data'
   ) # creates the dataset
   lookout_dataset.create()

The access_role_arn sağlananların, verilerin bulunduğu S3 klasörüne erişimi olmalıdır. SageMaker not defteri örneğinin ARN rolünü öncekinden alabilirsiniz. Ortam kurulumu bölümüne gidin ve S3 klasörünüze erişim izni vermek için bir IAM politikası ekleyin. Daha fazla bilgi için, bkz IAM Politikaları Yazma: Bir Amazon S3 Paketine Erişim Sağlama.

The component_root_dir parametresi, Amazon S3'te eğitim verilerinin depolandığı konumu belirtmelidir.

Önceki API'leri başlattıktan sonra veri setimiz oluşturuldu.

3. Verileri veri kümesine alın:

   response = lookout_dataset.ingest_data(bucket, prefix + 'training-data/')

Artık verileriniz Amazon S3'te mevcut olduğuna göre, bir veri kümesi oluşturmak ve içindeki verileri almak yalnızca üç satırlık bir kod meselesidir. El ile uzun bir JSON şeması oluşturmanız gerekmez; araç kutusu dosya yapınızı algılar ve sizin için oluşturur. Verileriniz alındıktan sonra, eğitime geçme zamanı!

Bir anormallik algılama modeli eğitin

Veriler veri setine alındıktan sonra model eğitim sürecine başlayabiliriz. Aşağıdaki koda bakın:

from lookoutequipment import model lookout_model = model.LookoutEquipmentModel(model_name='my_model', dataset_name='my_dataset') lookout_model.set_time_periods(data['evaluation_start'],data['evaluation_end'],data['training_start'],data['training_end'])
lookout_model.set_label_data(bucket=bucket,prefix=prefix + 'label-data/',access_role_arn=role_arn)
lookout_model.set_target_sampling_rate(sampling_rate='PT5M') #trigger training job
response = lookout_model.train() #poll every 5 minutes to check the status of the training job
lookout_model.poll_model_training(sleep_time=300)

Eğitimi başlatmadan önce veri seti içerisinde eğitim ve değerlendirme dönemlerini belirtmemiz gerekiyor. Ayrıca Amazon S3'te etiketli verilerin depolandığı konumu ve örnekleme hızını 5 dakikaya ayarladık. Eğitimi başlattıktan sonra, poll_model_training eğitim başarılı olana kadar her 5 dakikada bir eğitim iş durumunu yoklar.

Lookout for Equipment araç kutusunun eğitim modülü, 10 satırdan az kod içeren bir modeli eğitmenize olanak tanır. Düşük seviyeli API'nin ihtiyaç duyduğu tüm uzunluk oluşturma isteği dizelerini sizin adınıza oluşturarak uzun, hataya açık JSON belgeleri oluşturma ihtiyacınızı ortadan kaldırır.

Model eğitildikten sonra, sonuçları değerlendirme süresi boyunca kontrol edebilir veya araç kutusunu kullanarak bir çıkarım planlayıcı yapılandırabiliriz.

Eğitilmiş bir modeli değerlendirin

Model eğitildikten sonra, TanımlaModel Lookout for Equipment API, eğitimle ilişkili ölçümleri kaydeder. Bu API, değerlendirme sonuçlarını çizmek için iki ilgi alanına sahip bir JSON belgesi döndürür: labeled_ranges ve predicted_rangessırasıyla değerlendirme aralığındaki bilinen ve tahmin edilen anormallikleri içeren . Araç kutusu, bunların yerine bunları bir Pandas DataFrame'e yüklemek için yardımcı programlar sağlar:

from lookoutequipment import evaluation LookoutDiagnostics = evaluation.LookoutEquipmentAnalysis(model_name='my_model', tags_df=data['data']) predicted_ranges = LookoutDiagnostics.get_predictions()
labels_fname = os.path.join('expander-data', 'labels.csv')
labeled_range = LookoutDiagnostics.get_labels(labels_fname)

Aralıkları bir DataFrame'e yüklemenin avantajı, orijinal zaman serisi sinyallerinden birini çizerek güzel görselleştirmeler oluşturabilmemiz ve TimeSeriesVisualization araç kutusunun sınıfı:

from lookoutequipment import plot TSViz = plot.TimeSeriesVisualization(timeseries_df=data['data'], data_format='tabular')
TSViz.add_signal(['signal-001'])
TSViz.add_labels(labeled_range)
TSViz.add_predictions([predicted_ranges])
TSViz.add_train_test_split(data['evaluation_start'])
TSViz.add_rolling_average(60*24)
TSViz.legend_format = {'loc': 'upper left', 'framealpha': 0.4, 'ncol': 3}
fig, axis = TSViz.plot()

Bu birkaç kod satırı, aşağıdaki özelliklere sahip bir grafik oluşturur:

• Seçilen sinyal için bir çizgi grafiği; modeli eğitmek için kullanılan kısım mavi, değerlendirme kısmı gri renkte görünür
• Dönen ortalama, zaman serisinin üzerine yerleştirilmiş ince bir kırmızı çizgi olarak görünür
• Etiketler, "Bilinen anormallikler" etiketli yeşil bir şeritte gösterilir (varsayılan olarak)
• Öngörülen olaylar, "Algılanan olaylar" etiketli kırmızı bir şeritte gösterilir.

Araç kutusu, JSON dosyalarının bulunması, yüklenmesi ve ayrıştırılması gibi tüm ağır işlerin üstesinden gelirken, anormallik algılama modellerinizden öngörü alma süresini daha da azaltan kullanıma hazır görselleştirmeler sağlar. Bu aşamada araç kutusu, sonuçları yorumlamaya ve son kullanıcılarınıza doğrudan iş değeri sağlamak için eylemler gerçekleştirmeye odaklanmanıza olanak tanır. Bu zaman serisi görselleştirmelerine ek olarak, SDK, normal ve anormal zamanlar arasındaki sinyallerinizin değerlerinin histogram karşılaştırması gibi başka grafikler de sağlar. Kutudan çıkar çıkmaz kullanabileceğiniz diğer görselleştirme yetenekleri hakkında daha fazla bilgi edinmek için bkz. Ekipman araç kutusu belgelerine göz atın.

zamanlama çıkarımı

Araç kutusunu kullanarak çıkarımları nasıl planlayabileceğimizi görelim:

from lookout import scheduler #prepare dummy inference data
dataset.prepare_inference_data( root_dir='expander-data', sample_data_dict=data, bucket=bucket, prefix=prefix
) #setup the scheduler
lookout_scheduler = scheduler.LookoutEquipmentScheduler(scheduler_name='my_scheduler',model_name='my_model')
scheduler_params = { 'input_bucket': bucket, 'input_prefix': prefix + 'inference-data/input/', 'output_bucket': bucket, 'output_prefix': prefix + 'inference-data/output/', 'role_arn': role_arn, 'upload_frequency': 'PT5M', 'delay_offset': None, 'timezone_offset': '+00:00', 'component_delimiter': '_', 'timestamp_format': 'yyyyMMddHHmmss' } lookout_scheduler.set_parameters(**scheduler_params)
response = lookout_scheduler.create()

Bu kod, her 5 dakikada bir dosya işleyen bir zamanlayıcı oluşturur (zamanlayıcı yapılandırılırken ayarlanan yükleme sıklığıyla eşleşir). 15 dakika kadar sonra, bazı sonuçlar elde edebiliriz. Pandas DataFrame'deki zamanlayıcıdan bu sonuçları almak için aşağıdaki komutu çalıştırmamız yeterlidir:

results_df = lookout_scheduler.get_predictions()

Buradan, araç kutusunun görselleştirme API'lerini kullanarak bir tahmin için özellik önemini de çizebiliriz:

event_details = pd.DataFrame(results_df.iloc[0, 1:]).reset_index()
fig, ax = plot.plot_event_barh(event_details)

Örnek veriler üzerinde aşağıdaki özellik önem görselleştirmesini üretir.

Araç kutusu ayrıca zamanlayıcıyı durdurmak için bir API sağlar. Aşağıdaki kod parçacığına bakın:

scheduler.stop()

Temizlemek

Daha önce oluşturulan tüm eserleri silmek için, delete_dataset Veri kümemizin adıyla API:

dataset.delete_dataset(dataset_name='my_dataset', delete_children=True, verbose=True)

Sonuç

Endüstriyel ve üretim müşterileriyle konuşurken, AI ve ML'den yararlanma konusunda duyduğumuz ortak bir zorluk, güvenilir ve eyleme geçirilebilir sonuçlar elde etmek için gereken büyük miktarda özelleştirme ve spesifik geliştirme ve veri bilimi çalışmasıdır. Anormallik algılama modellerini eğitmek ve birçok farklı endüstriyel makine için eyleme geçirilebilir ön uyarı almak, bakım çabasını azaltmak, yeniden çalışmayı veya israfı azaltmak, ürün kalitesini artırmak ve genel ekipman verimliliğini (OEE) veya ürün hatlarını iyileştirmek için bir ön koşuldur. Şimdiye kadar bu, zaman içinde ölçeklenmesi ve sürdürülmesi zor olan büyük miktarda özel geliştirme çalışması gerektiriyordu.

Lookout for Equipment gibi Amazon Applied AI hizmetleri, üreticilerin çok yönlü bir veri bilimcileri, veri mühendisleri ve süreç mühendisleri ekibine erişmeden AI modelleri oluşturmasına olanak tanır. Artık, Ekipman Arama araç kutusuyla geliştiricileriniz, zaman serisi verilerinizdeki öngörüleri keşfetmek ve harekete geçmek için gereken süreyi daha da azaltabilir. Bu araç kutusu, Lookout for Equipment'ı kullanarak anormallik algılama modellerini hızla oluşturmak için kullanımı kolay, geliştirici dostu bir arayüz sağlar. Araç kutusu açık kaynak kodludur ve tüm SDK kodu şu adreste bulunabilir: amazon-ekipman-arama-python-sdk GitHub deposu. olarak da mevcuttur PyPi paketi.

Bu gönderi, en önemli API'lerden yalnızca birkaçını kapsar. İlgilenen okuyucular şuraya bakabilir: araç kutusu belgeleri araç kutusunun daha gelişmiş özelliklerine bakmak için. Bir deneyin ve yorumlarda ne düşündüğünüzü bize bildirin!

Yazarlar Hakkında

vikeş pandey AWS'de Makine Öğrenimi Uzmanı Uzman Çözüm Mimarıdır ve Birleşik Krallık'taki ve daha geniş EMEA bölgesindeki müşterilere makine öğrenimi çözümleri tasarlama ve oluşturma konusunda yardımcı olur. Vikesh, iş dışında farklı mutfakları denemekten ve açık hava sporları yapmaktan hoşlanıyor.

İoan Katanası AWS'de Yapay Zeka ve Makine Öğrenimi Uzmanı Çözüm Mimarıdır. Müşterilerin AWS Cloud'da makine öğrenimi çözümlerini geliştirmelerine ve ölçeklendirmelerine yardımcı olur. Ioan, çoğunlukla yazılım mimarisi tasarımı ve bulut mühendisliği alanlarında 20 yılı aşkın deneyime sahiptir.

Michael Hoarau AWS'de zamana bağlı olarak veri bilimcisi ve makine öğrenimi mimarı arasında geçiş yapan bir AI/ML Uzman Çözüm Mimarıdır. AI/ML'nin gücünü endüstriyel müşterilerinin atölyelerine getirme konusunda tutkulu ve anormallik tespitinden tahmine dayalı ürün kalitesine veya üretim optimizasyonuna kadar çok çeşitli ML kullanım durumları üzerinde çalıştı. Müşterilerin bir sonraki en iyi makine öğrenimi deneyimlerini geliştirmelerine yardımcı olmadığı zamanlarda yıldızları gözlemlemekten, seyahat etmekten veya piyano çalmaktan hoşlanıyor.

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/build-train-and-deploy-amazon-lookout-for-equipment-models-using-the-python-toolbox/