Renate ile sinir ağlarını otomatik olarak yeniden eğitin

Bugün genel kullanıma sunulduğunu duyuruyoruz Renate, otomatik model yeniden eğitimi için açık kaynaklı bir Python kitaplığı. Kitaplık, daha fazla veri kullanılabilir hale geldikçe bir sinir ağını artımlı olarak eğitebilen sürekli öğrenme algoritmaları sağlar.

Renate'i açık kaynak kullanarak, gerçek dünyadaki makine öğrenimi sistemleri üzerinde çalışan uygulayıcıların ve otomatik makine öğrenimi, sürekli öğrenme ve yaşam boyu öğrenmede en son teknolojiyi geliştirmekle ilgilenen araştırmacıların bir araya geldiği bir yer yaratmak istiyoruz. Bu iki topluluk arasındaki sinerjinin, makine öğrenimi araştırma topluluğunda yeni fikirler üreteceğine ve gerçek dünya uygulamalarında somut bir pozitif etki sağlayacağına inanıyoruz.

Model yeniden eğitimi ve feci unutma

Sinir ağlarını aşamalı olarak eğitmek basit bir iş değildir. Uygulamada, zamanın farklı noktalarında sağlanan veriler genellikle farklı dağılımlardan örneklenir. Örneğin, soru cevap sistemlerinde, soruların içindeki konuların dağılımı zaman içinde önemli ölçüde değişebilir. Sınıflandırma sistemlerinde, veriler dünyanın farklı yerlerinde toplandığında yeni kategorilerin eklenmesi gerekebilir. Bu durumlarda önceden eğitilmiş modellere yeni verilerle ince ayar yapmak, "yıkıcı unutma" adı verilen bir olguya yol açacaktır. En son örneklerde iyi bir performans olacaktır, ancak geçmişte toplanan veriler için yapılan tahminlerin kalitesi önemli ölçüde düşecektir. Ayrıca, yeniden eğitim operasyonu düzenli olarak gerçekleştiğinde (örn. günlük veya haftalık) performans düşüşü daha da şiddetli olacaktır.

Küçük bir veri yığınını depolamak mümkün olduğunda, yeniden eğitim sırasında eski verilerin yeniden kullanılmasına dayalı yöntemler yıkıcı unutma sorununu kısmen hafifletebilir. Bu fikirden sonra çeşitli yöntemler geliştirilmiştir. Bazıları yalnızca ham verileri depolarken, daha gelişmiş olanları ek meta verileri de kaydeder (örneğin, veri noktalarının bellekteki ara temsili). Az miktarda veriyi (örn. binlerce veri noktası) depolamak ve bunları dikkatli bir şekilde kullanmak, aşağıdaki şekilde gösterilen üstün performansa yol açtı.

Kendi modelinizi ve veri kümenizi getirin

Sinir ağı modellerini eğitirken, ağ yapısını, veri dönüşümünü ve diğer önemli detayları değiştirmek gerekebilir. Kod değişiklikleri sınırlı olmakla birlikte, bu modeller büyük bir yazılım kitaplığının parçası olduğunda karmaşık bir görev haline gelebilir. Bu rahatsızlıklardan kaçınmak için Renate, müşterilere modellerini ve veri kümelerini bir yapılandırma dosyasının parçası olarak önceden tanımlanmış Python işlevlerinde tanımlama yeteneği sunar. Bu, müşterilerin kodunu kitaplığın geri kalanından açıkça ayrı tutma avantajına sahiptir ve Renate'nin iç yapısı hakkında herhangi bir bilgisi olmayan müşterilerin kitaplığı etkili bir şekilde kullanmasına izin verir.

Ayrıca, model tanımı da dahil olmak üzere tüm işlevler çok esnektir. Aslında, model tanımlama işlevi, kullanıcıların kendi ihtiyaçlarını takip ederek sıfırdan sinir ağları oluşturmasına veya aşağıdakiler gibi açık kaynak kitaplıklarından iyi bilinen modelleri başlatmasına olanak tanır: transformatörler or meşale. Sadece gerekli bağımlılıkların gereksinimler dosyasına eklenmesini gerektirir.

Yapılandırma dosyasının nasıl yazılacağına ilişkin bir eğitim şu adreste mevcuttur: Yapılandırma Dosyası Nasıl Yazılır?.

Hiperparametre optimizasyonunun faydası

Makine öğreniminde sıklıkla olduğu gibi, sürekli öğrenme algoritmaları bir dizi hiperparametre ile birlikte gelir. Ayarları, genel performansta önemli bir fark yaratabilir ve dikkatli ayarlama, tahmini performansı olumlu yönde etkileyebilir. Renate, yeni bir modeli eğitirken Amazon SageMaker'da birden çok paralel işi çalıştırma yeteneğinden yararlanmak için ASHA gibi son teknoloji algoritmaları kullanarak hiperparametre optimizasyonunu (HPO) etkinleştirebilir. Sonuçların bir örneği aşağıdaki şekilde gösterilmektedir.

HPO'yu etkinleştirmek için, kullanıcının arama alanını tanımlaması veya kitaplıkla sağlanan varsayılan arama alanlarından birini kullanması gerekir. adresindeki örneğe bakın HPO ile bir eğitim işi yürütün. Daha hızlı yeniden ayarlama arayan müşteriler, transfer öğrenme işlevlerine sahip algoritmaları seçerek önceki ayarlama işlerinin sonuçlarından da yararlanabilirler. Bu şekilde, optimize ediciler, farklı ayarlama işlerinde hangi hiperparametrelerin iyi performans gösterdiği hakkında bilgilendirilecek ve bunlara odaklanarak ayarlama süresini azaltabilecektir.

Bulutta çalıştırın

Renate, kullanıcıların SageMaker kullanarak büyük ölçekli sinir ağlarını eğitmek için yerel bir makinedeki eğitim modellerinden hızla geçiş yapmasına olanak tanır. Aslında, özellikle büyük ölçekli modelleri eğitirken, yerel bir makinede eğitim işleri yürütmek oldukça sıra dışıdır. Aynı zamanda, ayrıntıları doğrulayabilmek ve kodu yerel olarak test edebilmek son derece yararlı olabilir. Bu ihtiyaca cevap vermek için Renate, yalnızca yapılandırma dosyasındaki basit bir bayrağı değiştirerek yerel makine ile SageMaker hizmeti arasında hızlı geçişe izin verir.

Örneğin, bir ayarlama işini başlatırken, yerel olarak çalıştırmak mümkündür. execute_tuning_job(..., backend='local') ve kodu aşağıdaki gibi değiştirerek hızla SageMaker'a geçin:

execute_tuning_job(
...,
backend="sagemaker",
role=get_execution_role(),      # requires importing the function from Syne Tune
instance_type="ml.g4dn.2xlarge" # the desired instance type
job_name="name_prefix_",             # a prefix to be used to identify the job
...
)

Komut dosyasını çalıştırdıktan sonra, SageMaker web arayüzünden çalışan işi görmek mümkün olacaktır:

CloudWatch'ta eğitim işini izlemek ve günlükleri okumak da mümkün olacak:

Tüm bunlar herhangi bir ek kod veya çaba gerektirmeden.

Eğitim işlerini bulutta çalıştırmanın tam bir örneğini şu adreste bulabilirsiniz: Eğitim İşi Nasıl Yürütülür?.

Sonuç

Bu gönderide, sinir ağlarını yeniden eğitmekle ilgili sorunları ve süreçte Renate kitaplığının temel faydalarını açıkladık. Kütüphane hakkında daha fazla bilgi edinmek için şuraya göz atın: GitHub deposuhakkında üst düzey bir genel bakış bulacaksınız. kütüphane ve onun algoritmalariçin talimatlar Kurulum, ve örnekler başlamanıza yardımcı olabilir.

seni bekliyoruz katkıları, geri bildirim ve bunu ilgilenen herkesle daha fazla tartışmak ve kitaplığın gerçek dünyadaki yeniden eğitim boru hatlarına entegre edildiğini görmek.

yazarlar hakkında

Giovanni Zappella AWS Sagemaker'da Uzun vadeli bilim üzerinde çalışan Kıdemli Uygulamalı Bilim Adamıdır. Halen sürekli öğrenme, model izleme ve AutoML üzerinde çalışıyor. Bundan önce, Amazon Music'te büyük ölçekli tavsiye sistemleri için çok kollu haydutların uygulamaları üzerinde çalıştı.

martin wistuba AWS Sagemaker'daki Uzun vadeli bilim ekibinde bir Uygulamalı Bilim Adamıdır. Araştırmaları otomatik makine öğrenimine odaklanmaktadır.

 Lukas Topları AWS'de Uygulamalı Bilim Adamı. Sürekli öğrenme ve model izleme ile ilgili konular üzerinde çalışıyor.

Cedric Archambeau AWS'de Baş Uygulamalı Bilim Adamı ve Öğrenme ve Akıllı Sistemler için Avrupa Laboratuvarı Üyesidir.