Amazon SageMaker Data Wrangler ve Amazon SageMaker Autopilot ile birleşik veri hazırlama ve model eğitimi

Veri, makine öğrenimini (ML) besler; veri kalitesi, makine öğrenimi modellerinin kalitesi üzerinde doğrudan bir etkiye sahiptir. Bu nedenle, veri kalitesini iyileştirmek ve doğru özellik mühendisliği tekniklerini kullanmak, doğru ML modelleri oluşturmak için kritik öneme sahiptir. ML uygulayıcıları, gerçek dünya verilerini iyi bir şekilde genelleştiren ve istenen sonuçları veren optimal modeller arayışında, sık sık özellik mühendisliği, algoritma seçimi ve ML'nin diğer yönleri üzerinde sıkıcı bir şekilde yinelenir. İş yapma hızı orantısız bir şekilde önemli olduğundan, bu son derece sıkıcı ve yinelemeli süreç, proje gecikmelerine ve iş fırsatlarının kaybedilmesine neden olabilir.

Amazon SageMaker Veri Düzenleyicisi Makine öğrenimi için veri toplama ve hazırlama süresini haftalardan dakikalara düşürür ve Amazon SageMaker Otomatik Pilot verilerinize dayalı olarak en iyi ML modellerini otomatik olarak oluşturur, eğitir ve ayarlar. Autopilot ile verileriniz ve modeliniz üzerinde tam kontrol ve görünürlük sağlamaya devam edersiniz. Her iki hizmet de makine öğrenimi uygulayıcılarını daha üretken kılmak ve değer elde etme süresini hızlandırmak için amaca yöneliktir.

Data Wrangler artık verileri hazırlamanıza ve bir ML modelini Autopilot'ta sorunsuz bir şekilde eğitmenize olanak tanıyan birleşik bir deneyim sunuyor. Yeni başlatılan bu özellik ile artık verilerinizi Data Wrangler'da hazırlayabilir ve Autopilot deneylerini doğrudan Data Wrangler kullanıcı arayüzünden (UI) kolayca başlatabilirsiniz. Yalnızca birkaç tıklamayla, makine öğrenimi modellerini otomatik olarak oluşturabilir, eğitebilir ve ayarlayabilir, bu da en son teknoloji mühendislik tekniklerini kullanmayı, yüksek kaliteli makine öğrenimi modellerini eğitmeyi ve verilerinizden daha hızlı içgörüler elde etmeyi kolaylaştırır.

Bu yazıda, veri kümelerini analiz etmek ve Autopilot'ta yüksek kaliteli makine öğrenimi modellerini kolayca oluşturmak için Data Wrangler'daki bu yeni entegre deneyimi nasıl kullanabileceğinizi tartışıyoruz.

Veri kümesine genel bakış

Pima Kızılderilileri, Meksika ve Arizona, ABD'de yaşayan Yerli bir gruptur. Yapılan çalışmalar Pima Kızılderililerini diyabetes mellitus için yüksek riskli bir popülasyon grubu olarak göstermektedir. Bir bireyin diyabet gibi kronik bir hastalığa karşı duyarlılığının ve riskinin olasılığını tahmin etmek, genellikle yeterince temsil edilmeyen bu azınlık grubunun sağlığını ve esenliğini iyileştirmede önemli bir görevdir.

Biz kullanın Pima Indian Diabetes genel veri seti Bireyin diyabete yatkınlığını tahmin etmek için. Verileri hazırlamak ve tek bir kod satırı yazmadan otomatik olarak bir ML modeli oluşturmak için Data Wrangler ve Autopilot arasındaki yeni entegrasyona odaklanıyoruz.

Veri seti 21 yaş ve üzeri Pima Kızılderili kadınları hakkında bilgi içerir ve birkaç tıbbi öngörücü (bağımsız) değişken ve bir hedef (bağımlı) değişken olan Sonuç içerir. Aşağıdaki grafik, veri kümemizdeki sütunları açıklamaktadır.

Sütun Name	Açıklama
gebelikler	hamile kalma sayısı
Glikoz	2 saat içinde oral glukoz tolerans testinde plazma glukoz konsantrasyonu
Tansiyon	Diyastolik kan basıncı (mm Hg)
Cilt Kalınlığı	Triseps deri kıvrım kalınlığı (mm)
Ensülin	2 saatlik serum insülini (mu U/ml)
BMI	Vücut kitle indeksi (kg cinsinden ağırlık/(m cinsinden boy)^2)
Şeker Hastalığı	Diyabet soyağacı işlevi
Yaş	Yıllar içinde yaş
Sonuç	hedef değişken

Veri seti toplam 768 özelliğe sahip 9 kayıt içermektedir. Bu veri setini şurada saklıyoruz: Amazon Basit Depolama Kovası (Amazon S3) bir CSV dosyası olarak kaydedin ve ardından CSV'yi doğrudan Amazon S3'ten bir Data Wrangler akışına aktarın.

Çözüme genel bakış

Aşağıdaki şema, bu gönderide başardıklarımızı özetlemektedir.[KT1]

Veri bilimcileri, doktorlar ve diğer tıbbi alan uzmanları, hasta verilerine glikoz seviyeleri, kan basıncı, vücut kitle indeksi ve diyabet olma olasılığını tahmin etmek için kullanılan diğer özellikler hakkında bilgi sağlar. Amazon S3'teki veri kümesiyle, keşif amaçlı veri analizi (EDA), veri profili oluşturma, özellik mühendisliği ve model oluşturma ve değerlendirme için veri kümesini trene ve teste bölmek için veri kümesini Data Wrangler'a aktarırız.

Ardından, doğrudan Data Wrangler arayüzünden bir modeli hızlı bir şekilde oluşturmak için Autopilot'un yeni özellik entegrasyonunu kullanıyoruz. En yüksek F-beta puanına sahip modele göre Autopilot'un en iyi modelini seçiyoruz. Otopilot en iyi modeli bulduktan sonra, bir SageMaker Toplu Dönüştürme değerlendirme için en iyi modelin model artefaktları ile ayarlanan testte (beklemede) iş.

Tıp uzmanları, bir hastanın diyabet hastası olup olmayacağını görmek için bir tahmin elde etmek için doğrulanmış modele yeni veriler sağlayabilir. Bu bilgiler sayesinde tıp uzmanları, savunmasız toplulukların sağlığını ve esenliğini iyileştirmek için tedaviye erken başlayabilir. Tıp uzmanları, modelin açıklanabilirliği, performansı ve yapaylıkları konusunda tam bir görünürlüğe sahip olduklarından, bir modelin tahminini Otopilot'ta modelin ayrıntılarına başvurarak da açıklayabilirler. Modelin test setinden doğrulanmasına ek olarak bu görünürlük, tıp uzmanlarına modelin tahmin yeteneği konusunda daha fazla güven verir.

Aşağıdaki üst düzey adımlarda size yol gösteriyoruz.

1. Veri kümesini Amazon S3'ten içe aktarın.
2. Data Wrangler ile EDA ve veri profili oluşturma işlemini gerçekleştirin.
3. Aykırı değerleri ve eksik değerleri işlemek için özellik mühendisliği gerçekleştirin.
4. Verileri tren ve test setlerine ayırın.
5. Autopilot ile bir model eğitin ve oluşturun.
6. Modeli bir SageMaker not defteri ile bir bekleme örneği üzerinde test edin.
7. Doğrulama ve test seti performansını analiz edin.

Önkoşullar

Aşağıdaki ön koşul adımlarını tamamlayın:

1. Veri kümesini yükleyin seçtiğiniz bir S3 kovasına.
2. Gerekli izinlere sahip olduğunuzdan emin olun. Daha fazla bilgi için bkz. Data Wrangler'ı Kullanmaya Başlayın.
3. Data Wrangler'ı kullanmak için yapılandırılmış bir SageMaker etki alanı ayarlayın. Talimatlar için bkz. Amazon SageMaker Etki Alanında Yerleşik.

Data Wrangler ile veri kümenizi içe aktarın

Veri ön işlemeyi ve özellik mühendisliğini çok az veya hiç kodlama kullanarak basitleştirmek ve düzene sokmak için bir Veri Wrangler veri akışını makine öğrenimi iş akışlarınıza entegre edebilirsiniz. Aşağıdaki adımları tamamlayın:

1. Yeni bir tane oluştur Veri Wrangler akışı.

Data Wrangler'ı ilk kez açıyorsanız, hazır olması için birkaç dakika beklemeniz gerekebilir.

2. Amazon S3'te depolanan veri kümesini seçin ve Data Wrangler'a aktarın.

Veri kümesini içe aktardıktan sonra, Veri Wrangler Kullanıcı Arayüzü içinde bir veri akışının başlangıcını görmelisiniz. Artık bir akış diyagramınız var.

3. yanındaki artı işaretini seçin Veri tipleri Ve seç Düzenle Data Wrangler'ın veri sütunlarınız için doğru veri türlerini otomatik olarak çıkardığını doğrulamak için.

Veri türleri doğru değilse, bunları UI aracılığıyla kolayca değiştirebilirsiniz. Birden fazla veri kaynağı varsa, bunları birleştirebilir veya birleştirebilirsiniz.

Artık bir analiz oluşturabilir ve dönüşümler ekleyebiliriz.

Veri içgörüleri raporuyla keşif amaçlı veri analizi gerçekleştirin

Keşif amaçlı veri analizi, makine öğrenimi iş akışının kritik bir parçasıdır. Verilerimizin profilini ve dağılımını daha iyi anlamak için Data Wrangler'ın yeni veri içgörüleri raporunu kullanabiliriz. Rapor, özet istatistikleri, veri kalitesi uyarılarını, hedef sütun içgörülerini, hızlı bir modeli ve anormal ve yinelenen satırlarla ilgili bilgileri içerir.

1. yanındaki artı işaretini seçin Veri tipleri Ve seç Veri içgörüleri alın.

2. İçin Hedef sütun, seçmek Sonuç.
3. İçin Sorun tipive (isteğe bağlı olarak) seçin Sınıflandırma.
4. Klinik oluşturmak.

Sonuçlar, veri kümesi istatistikleriyle birlikte bir özet veri gösterir.

Ayrıca bir histogram ile etiketlenmiş satırların dağılımını, hızlı model özelliği ile modelin beklenen tahmini kalitesinin bir tahminini ve bir özellik özet tablosunu görebiliriz.

Veri içgörüleri raporunu analiz etmenin ayrıntılarına girmiyoruz; başvurmak Amazon SageMaker Data Wrangler'da veri kalitesi ve öngörülerle veri hazırlamayı hızlandırın Veri hazırlama adımlarınızı hızlandırmak için veri içgörüleri raporunu nasıl kullanabileceğinizle ilgili ek ayrıntılar için.

Özellik mühendisliği gerçekleştirin

Artık girdi sütunlarımızın dağılımını yüksek düzeyde profilleyip analiz ettiğimize göre, verilerimizin kalitesini iyileştirmeye yönelik ilk düşünce, eksik değerleri ele almak olabilir.

Örneğin, sıfır (0) olduğunu biliyoruz. Insulin sütun eksik değerleri temsil eder. Sıfırları değiştirmek için tavsiyeyi takip edebiliriz NaN. Ancak daha yakından incelendiğinde, aşağıdaki gibi diğer sütunlar için minimum değerin 0 olduğunu görüyoruz. Glucose, BloodPressure, SkinThickness, ve BMI. Eksik değerleri işlemek için bir yola ihtiyacımız var, ancak geçerli veri olarak sıfır içeren sütunlara duyarlı olmamız gerekiyor. Bunu nasıl düzeltebileceğimize bir bakalım.

içinde Özellik Detayları bölümünde, rapor bir Gizli eksik değer özellik için uyarı Insulin.

Çünkü içindeki sıfırlar Insulin sütun aslında eksik veriler, biz Normal ifadeyi eksike dönüştür sıfır değerlerini boş (eksik değerler) dönüştürmek için dönüştürün.

1. yanındaki artı işaretini seçin Veri türleri Ve seç Ekle dönüştürmek.
2.  Klinik Ara ve düzenle.
3. İçin Dönüştürmek, seçmek Normal ifadeyi eksike dönüştür.
4. İçin Giriş sütunlar, sütunları seçin Insulin, Glucose, BloodPressure, SkinThickness, ve BMI.
5. İçin model, girmek 0.
6. Klinik Önizleme ve Ekle Bu adımı kaydetmek için

altındaki 0 ​​giriş Insulin, Glucose, BloodPressure, SkinThickness, ve BMI artık değerler eksik.

Data Wrangler, eksik değerleri düzeltmeniz için size birkaç seçenek daha sunar.

7. için yaklaşık medyanı uygulayarak eksik değerleri ele alıyoruz. Glucose sütun.

Ayrıca özelliklerimizin aynı ölçekte olmasını sağlamak istiyoruz. Daha geniş bir sayısal aralık içerdiği için belirli bir özelliğe yanlışlıkla daha fazla ağırlık vermek istemiyoruz. Bunu yapmak için özelliklerimizi normalleştiriyoruz.

8. Yeni Ekle İşlem sayısal dönüştür ve seç Ölçek değerleri.
9. İçin Ölçekleyici, seçmek Min-maks ölçekleyici.
10. İçin Giriş sütunları, sütunları seçin Pregnancies, BloodPressure, Glucose, SkinThickness, Insulin, BMI, ve Age.
11. set min için 0 ve maksimum için 1.

Bu, özelliklerimizin değerler arasında olmasını sağlar. 0 ve 1.

Şimdi bazı özellikler yarattık, bir model oluşturmadan önce veri setimizi eğitim ve test olarak ayırdık.

Verileri eğitim ve test olarak ayırın

ML iş akışınızın model oluşturma aşamasında, toplu tahminler çalıştırarak modelinizin etkinliğini test edersiniz. Tahminleri temel gerçekle karşılaştırarak modelinizin nasıl performans gösterdiğini görmek için değerlendirme için bir test veya bekleme veri kümesi ayırabilirsiniz. Genel olarak, modelin tahminlerinin çoğu şu şekilde eşleşirse true etiketler, modelin iyi performans gösterdiğini belirleyebiliriz.

Veri setimizi test için bölmek için Data Wrangler kullanıyoruz. Nispeten küçük bir veri setimiz olduğu için veri setimizin %90'ını eğitim için tutuyoruz. Veri setimizin kalan %10'u test veri seti olarak hizmet vermektedir. Bu veri setini, bu yazının ilerleyen bölümlerinde Otopilot modelini doğrulamak için kullanıyoruz.

seçerek verilerimizi böldük. Bölünmüş veriler dönüştürmek ve seçmek rastgele bölünmüş yöntem olarak. 0.9'u eğitim için bölünmüş yüzde ve 0.1'i test için belirledik.

Veri dönüştürme ve mühendislik adımlarının tamamlanmasıyla artık bir modeli eğitmeye hazırız.

Modeli eğitin ve doğrulayın

Data Wrangler veri akışı kullanıcı arabiriminden bir modeli doğrudan eğitmek için Autopilot ile yeni Data Wrangler entegrasyonunu kullanabiliriz.

1. yanındaki artı işaretini seçin Veri kümesi Ve seç Modeli eğit.

2. İçin Amazon S3 konumu, SageMaker'ın verilerinizi dışa aktardığı Amazon S3 konumunu belirtin.

Autopilot, bir modeli otomatik olarak eğitmek için bu konumu kullanır; bu, Data Wrangler akışının çıkış konumunu tanımlama ve ardından Autopilot eğitim verilerinin giriş konumunu tanımlama zorunluluğundan size zaman kazandırır. Bu, daha sorunsuz bir deneyim sağlar.

3. Klinik Ihracat ve tren Otopilot ile model oluşturmaya başlamak için.

Otomatik pilot, eğitim verisi giriş ve çıkış konumlarını otomatik olarak seçer. Yalnızca hedef sütunu belirtmeniz ve tıklamanız yeterlidir. Deneme Oluşturun modelinizi eğitmek için.

Modeli bir bekleme örneği üzerinde test edin

Autopilot deneyi tamamladığında, eğitim sonuçlarını görüntüleyebilir ve en iyi modeli keşfedebiliriz.

1. Klinik Model ayrıntılarını görüntüle istediğiniz model için seçin, ardından Performans Model ayrıntıları sayfasındaki sekme.

The Performans sekmesi, bir karışıklık matrisi, hassasiyet/hatırlatma eğrisi (AUCPR) altındaki alan ve alıcı işletim karakteristik eğrisi (ROC) altındaki alan dahil olmak üzere çeşitli model ölçüm testlerini görüntüler. Bunlar, modelin genel doğrulama performansını gösterir, ancak modelin iyi genelleşip genelleşmeyeceğini bize söylemezler. Modelin bir bireyin diyabetli olup olmayacağını ne kadar doğru tahmin ettiğini görmek için görünmeyen test verileri üzerinde hala değerlendirmeler yapmamız gerekiyor.

Modelin yeterince genellenmesini sağlamak için test örneğini bağımsız örnekleme için ayırdık. Bunu Data Wrangler akış kullanıcı arayüzünde yapabiliriz.

2.  yanındaki artı işaretini seçin Veri kümesi, seçmek İhracat, ve Seç Amazon S3.

3. Bir Amazon S3 yolu belirtin.

Bir sonraki bölümde doğrulama için toplu çıkarım çalıştırdığımızda bu yola başvuruyoruz.

4. Bekletme örneğinde toplu çıkarım yapmak ve test performansını değerlendirmek için yeni bir SageMaker not defteri oluşturun. Aşağıdakilere bakın GitHub repo Bir için örnek dizüstü doğrulama için toplu çıkarımı çalıştırmak için.

Doğrulama ve test seti performansını analiz edin

Toplu dönüştürme tamamlandığında, bekleme veri kümesinin gerçek ve tahmin edilen sonuçlarını karşılaştırmak için bir karışıklık matrisi oluştururuz.

Sonuçlarımızdan 23 gerçek pozitif ve 33 gerçek negatif görüyoruz. Bizim durumumuzda, gerçek pozitifler, bir bireyi diyabetli olarak doğru bir şekilde öngören modele atıfta bulunur. Buna karşılık, gerçek negatifler, bir bireyin diyabetli olmadığını doğru bir şekilde öngören modele atıfta bulunur.

Bizim durumumuzda, kesinlik ve hatırlama önemli ölçütlerdir. Kesinlik esasen diyabetli olduğu tahmin edilen tüm bireyleri ölçer, kaç tanesi gerçekten diyabetlidir? Buna karşılık, hatırlama, gerçekten diyabetli olan tüm bireylerin ölçülmesine yardımcı olur, kaç tanesinin diyabetli olduğu tahmin edilir? Örneğin, özellikle tedavinin ilk aşamasının diyabeti olmayan bireyler üzerinde hiçbir etkisi yoksa (bunlar yanlış pozitiflerdir - diyabetli olarak etiketlenenler) mümkün olduğu kadar çok kişiyi tedavi etmek istediğiniz için yüksek hassasiyetli bir model kullanmak isteyebilirsiniz. aslında yapmadıklarında).

Sonuçları değerlendirmek için ROC eğrisi (AUC) grafiğinin altındaki alanı da çizeriz. AUC ne kadar yüksekse, model sınıfları ayırt etmede o kadar iyidir; bizim durumumuzda bu, modelin diyabetli ve diyabetsiz hastaları ayırt etmede ne kadar iyi performans gösterdiğidir.

Sonuç

Bu gönderide, Data Wrangler ve Autopilot kullanarak veri işleme, mühendislik ve model oluşturma işlemlerinizi nasıl entegre edeceğinizi gösterdik. Bir modeli Autopilot ile doğrudan Data Wrangler kullanıcı arayüzünden nasıl kolayca eğitip ayarlayabileceğinizi vurguladık. Bu entegrasyon özelliği ile özellik mühendisliğini tamamladıktan sonra herhangi bir kod yazmadan hızlı bir şekilde model oluşturabiliyoruz. Ardından, SageMaker Python SDK ile AutoML sınıfını kullanarak toplu tahminleri çalıştırmak için Autopilot'un en iyi modeline başvurduk.

Data Wrangler ve Autopilot gibi düşük kodlu ve AutoML çözümleri, sağlam ML modelleri oluşturmak için derin kodlama bilgisine sahip olma ihtiyacını ortadan kaldırır. Data Wrangler'ı kullanmaya başlayın kullanarak ML modelleri oluşturmanın ne kadar kolay olduğunu deneyimlemek için bugün SageMaker Otomatik Pilot.

---

Yazarlar Hakkında

Peter Chung AWS için bir Çözüm Mimarıdır ve müşterilerin verilerinden içgörüler elde etmesine yardımcı olma konusunda tutkuludur. Hem kamu hem de özel sektörde kuruluşların veriye dayalı kararlar almasına yardımcı olacak çözümler geliştiriyor. Tüm AWS sertifikalarının yanı sıra iki GCP sertifikasına sahiptir. Kahveyi, yemek yapmayı, aktif olmayı ve ailesiyle vakit geçirmeyi seviyor.

Pradeep Reddy SageMaker Autopilot, SageMaker Automatic Model Tuner'ı içeren SageMaker Low/No Code ML ekibinde Kıdemli Ürün Müdürüdür. Pradeep, iş dışında, ahududu pi gibi avuç içi boyutundaki bilgisayarlar ve diğer ev otomasyon teknolojileri ile okumaktan, koşmaktan ve geek yapmaktan hoşlanıyor.

Arunprasath Şankar AWS'li bir Yapay Zeka ve Makine Öğrenimi (AI / ML) Uzman Çözüm Mimarıdır ve küresel müşterilerin yapay zeka çözümlerini bulutta etkili ve verimli bir şekilde ölçeklendirmelerine yardımcı olur. Arun boş zamanlarında bilim kurgu filmleri izlemekten ve klasik müzik dinlemekten hoşlanıyor.

Srujan Gopu SageMaker Low Code/No Code ML'de Autopilot ve Canvas ürünlerinin müşterilerine yardımcı olan Kıdemli Ön Uç Mühendisidir. Kod yazmadığı zamanlarda Srujan, köpeği Max ile koşuya çıkmaktan, sesli kitaplar dinlemekten ve VR oyun geliştirmesinden hoşlanıyor.

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/unified-data-preparation-and-model-training-with-amazon-sagemaker-data-wrangler-and-amazon-sagemaker-autopilot/