AWS amaca yönelik hızlandırıcılarla makine öğrenimi iş yüklerinizin enerji tüketimini %90'a kadar azaltın | Amazon Web Hizmetleri

Makine öğrenimi (ML) mühendisleri geleneksel olarak model eğitimi ile dağıtım maliyetine karşı performans arasında bir denge kurmaya odaklanmıştır. Sürdürülebilirlik (enerji verimliliği) giderek müşteriler için ek bir hedef haline geliyor. Bu önemlidir çünkü makine öğrenimi modellerini eğitmek ve ardından eğitilen modelleri tahminlerde bulunmak (çıkarım) için kullanmak oldukça enerji yoğun görevler olabilir. Ek olarak, etrafımızda giderek daha fazla uygulama makine öğrenimi ile aşılanmıştır ve her gün makine öğrenimi destekli yeni uygulamalar tasarlanmaktadır. Popüler bir örnek, OpenAI'nin en gelişmiş büyük dil modeli (LMM) tarafından desteklenen ChatGPT'sidir. Referans için, GPT-3, önceki nesil LLM 175 milyar parametreye sahiptir ve binlerce hızlandırılmış işlemciden oluşan bir küme üzerinde aylarca aralıksız eğitim gerektirir. bu Carbontracker çalışması GPT-3'ün sıfırdan eğitilmesinin, özel donanım hızlandırıcı kümeleri kullanılarak 85 metrik tona kadar CO2 eşdeğeri salabileceğini tahmin ediyor.

AWS'nin makine öğrenimi uygulayıcılarının iş yüklerinin çevresel etkisini azaltmasına olanak sağlamasının birkaç yolu vardır. Bunun bir yolu sağlamaktan geçiyor AI/ML iş yüklerinizi sürdürülebilirlik için tasarlama konusunda kuralcı rehberlik. Diğer bir yol da, yönetilen makine öğrenimi eğitimi ve düzenleme hizmetleri sunmaktır. Amazon SageMaker StüdyosuML kaynaklarını kullanılmadığında otomatik olarak parçalara ayırıp ölçeklendiren ve maliyet ve kaynak tasarrufu sağlayan bir dizi kullanıma hazır araç sağlayan. Bir diğer önemli kolaylaştırıcı, enerji verimli, yüksek performanslı, amaca yönelik hızlandırıcılar ML modellerini eğitmek ve dağıtmak için.

Bu gönderinin odak noktası, sürdürülebilir makine öğrenimi için bir kaldıraç olarak donanımdır. Derin öğrenme iş yüklerinizi diğer çıkarım ve eğitim için optimize edilmiş hızlandırılmış yazılımlardan geçirirken bekleyebileceğiniz enerji verimliliği avantajlarını ölçen, AWS tarafından gerçekleştirilen en son performans ve güç çekme deneylerinin sonuçlarını sunuyoruz. Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) bulut sunucuları AWS Çıkarımları ve AWS Eğitimi. Inferentia ve Trainium AWS'nin amaca yönelik hızlandırıcı portföyüne yakın zamanda eklenmesi Amazon tarafından özel olarak tasarlanmış Annapurna Laboratuvarları makine öğrenimi çıkarımı ve eğitim iş yükleri için.

Sürdürülebilir makine öğrenimi için AWS Inferentia ve AWS Trainium

Size AWS Inferentia ve AWS Trainium'un gerçek dünya uygulamasındaki enerji tasarrufu potansiyeline dair gerçekçi rakamlar sağlamak için birkaç güç çekişi kıyaslama deneyi gerçekleştirdik. Bu kriterleri aşağıdaki temel kriterleri göz önünde bulundurarak tasarladık:

• İlk olarak, yalnızca makine öğrenimi hızlandırıcısını değil aynı zamanda bilgi işlem, bellek ve ağ dahil olmak üzere test iş yüküne atfedilebilen doğrudan enerji tüketimini yakaladığımızdan emin olmak istedik. Bu nedenle, test kurulumumuzda güç çekişini o seviyede ölçtük.
• İkinci olarak, eğitim ve çıkarım iş yüklerini çalıştırırken, tüm örneklerin ilgili fiziksel donanım limitlerinde çalışmasını sağladık ve karşılaştırılabilirliği sağlamak için ancak bu limite ulaşıldıktan sonra ölçümler aldık.
• Son olarak, bu yazıda bildirilen enerji tasarrufunun pratik bir gerçek dünya uygulamasında elde edilebileceğinden emin olmak istedik. Bu nedenle, kıyaslama ve test için müşterilerden ilham alan yaygın makine öğrenimi kullanım senaryolarını kullandık.

Sonuçlar aşağıdaki bölümlerde rapor edilmiştir.

Çıkarım deneyi: LayoutLM ile gerçek zamanlı belge anlama

Çıkarım, eğitimin aksine, tanımlanmış bir tamamlanma noktasına sahip olmayan sürekli, sınırsız bir iş yüküdür. Bu nedenle, bir makine öğrenimi iş yükünün ömür boyu kaynak tüketiminin büyük bir bölümünü oluşturur. Doğru çıkarım yapmak, tüm ML yaşam döngüsü boyunca yüksek performans, düşük maliyet ve sürdürülebilirlik (daha iyi enerji verimliliği) elde etmenin anahtarıdır. Çıkarım görevlerinde, müşteriler genellikle alım talebine ayak uydurmak için belirli bir çıkarım oranına ulaşmakla ilgilenir.

Bu gönderide sunulan deney, bankacılık veya sigortacılık gibi sektörlerde (örneğin, talepler veya başvuru formu işleme için) yaygın bir uygulama olan gerçek zamanlı bir belge anlayışı kullanım senaryosundan esinlenmiştir. Özellikle, seçiyoruz DüzenLM, belge görüntü işleme ve bilgi çıkarma için kullanılan önceden eğitilmiş bir transformatör modeli. Genellikle gerçek zamanlı olarak kabul edilen bir değer olan saatte 1,000,000 çıkarımlık bir hedef SLA belirledik ve ardından bu gereksinimi karşılayabilecek iki donanım yapılandırması belirledik: Amazon EC2 Inf1 bulut sunucuları, AWS Inferentia özelliğine sahip ve biri çıkarım görevleri için optimize edilmiş karşılaştırılabilir hızlandırılmış EC2 bulut sunucularını kullanıyor. Deney boyunca, her iki donanım yapılandırmasının çıkarım performansını, maliyetini ve enerji verimliliğini ölçmek için çeşitli göstergeler izliyoruz. Sonuçlar aşağıdaki şekilde sunulmuştur.

AWS Inferentia, 6.3 kat daha yüksek çıkarım verimi sağlar. Sonuç olarak, Inferentia ile aynı gerçek zamanlı LayoutLM tabanlı belge anlama iş yükünü daha az sayıda örnekte çalıştırabilirsiniz (6 AWS Inferentia bulut sunucusuna karşı 33 diğer çıkarım için optimize edilmiş hızlandırılmış EC2 bulut sunucusu, %82 azalmaya eşdeğer), daha az kullanın süreçteki enerjinin onda birinden (-%92) daha fazlasını elde ederken, tüm bunlar önemli ölçüde daha düşük çıkarım başına maliyet elde eder (bir milyon çıkarım başına 2 ABD Doları'na karşı 25 ABD Doları, %91'lik bir maliyet düşüşüne eşdeğer).

Eğitim deneyi: BERT Large'ı sıfırdan eğitmek

Eğitim, çıkarımın aksine, çok daha az tekrarlanan sonlu bir süreçtir. Makine öğrenimi mühendisleri, maliyeti kontrol altında tutarken eğitim süresini azaltmak için genellikle yüksek küme performansıyla ilgilenir. Enerji verimliliği ikincil (henüz büyüyen) bir endişe kaynağıdır. AWS Trainium ile ödün verme kararı yoktur: Makine öğrenimi mühendisleri yüksek eğitim performansından faydalanırken aynı zamanda maliyeti optimize edebilir ve çevresel etkiyi azaltabilir.

Bunu göstermek için seçiyoruz BERT Büyük, chatbot tabanlı soru yanıtlama ve konuşma yanıtı tahmini gibi doğal dil kullanım durumlarını anlamak için kullanılan popüler bir dil modeli. İyi performans gösteren bir BERT Large modelini sıfırdan eğitmek, genellikle 450 milyon sekansın işlenmesini gerektirir. Her biri 16 örneklik sabit bir boyuta sahip olan ve BERT Large'ı bir günden daha kısa bir sürede sıfırdan (işlenen 450 milyon dizi) eğitebilen iki küme yapılandırmasını karşılaştırıyoruz. İlki, geleneksel hızlandırılmış EC2 bulut sunucularını kullanır. İkinci kurulum kullanır Amazon EC2 Trn1 bulut sunucuları AWS Trainium'a sahiptir. Yine, her iki konfigürasyonu da eğitim performansı, maliyet ve çevresel etki (enerji verimliliği) açısından karşılaştırıyoruz. Sonuçlar aşağıdaki şekilde gösterilmektedir.

Deneylerde, AWS Trainium tabanlı bulut sunucuları, saat başına işlenen diziler açısından benzer eğitim için optimize edilmiş hızlandırılmış EC2 bulut sunucularından 1.7 kat daha iyi performans göstererek toplam eğitim süresini %43 oranında azalttı (karşılaştırılabilir hızlandırılmış EC2.3 bulut sunucularında 4 saate karşı 2 saat) . Sonuç olarak, Trainium tabanlı bir bulut sunucusu kümesi kullanıldığında, BERT Large'ı sıfırdan eğitmek için toplam enerji tüketimi, karşılaştırılabilir hızlandırılmış EC29 bulut sunucularının aynı boyuttaki bir kümesine kıyasla yaklaşık %2 daha düşüktür. Yine, bu performans ve enerji verimliliği avantajları aynı zamanda önemli maliyet iyileştirmeleriyle birlikte gelir: Trainium bulut sunucularında BERT ML iş yükü için eğitim maliyeti yaklaşık %62 daha düşüktür (tam eğitim çalıştırması başına 787 USD'ye karşılık 2091 USD).

Makine öğrenimi için AWS amaca yönelik hızlandırıcıları kullanmaya başlama

Burada gerçekleştirilen deneylerin tümü, doğal dil işleme (NLP) alanındaki standart modelleri kullansa da, AWS Inferentia ve AWS Trainium, LLM'ler ve en zorlu olanlar da dahil olmak üzere diğer birçok karmaşık model mimarisiyle öne çıkar. üretken yapay zeka kullanıcıların oluşturduğu mimariler (GPT-3 gibi). Bu hızlandırıcılar, özellikle 10 milyardan fazla parametreye sahip modellerde veya kararlı difüzyon gibi bilgisayarla görme modellerinde başarılıdır (bkz. Model Mimarisi Uyum Yönergeleri daha fazla ayrıntı için). Gerçekten de, müşterilerimizin çoğu zaten Inferentia ve Trainium'u çok çeşitli uygulamalar için kullanıyor. makine öğrenimi kullanım durumları.

Uçtan uca derin öğrenme iş yüklerinizi AWS Inferentia ve AWS Trainium tabanlı bulut sunucularında çalıştırmak için şunları kullanabilirsiniz: AWS Nöron. Neuron, bir derin öğrenme derleyicisi, çalışma zamanı ve TensorFlow ve PyTorch gibi en popüler makine öğrenimi çerçevelerine yerel olarak entegre edilmiş araçlar içeren uçtan uca bir yazılım geliştirme kitidir (SDK). Mevcut TensorFlow veya PyTorch derin öğrenme ML iş yüklerinizi Inferentia ve Trainium'a kolayca taşımak ve aynı iyi bilinen ML çerçevelerini kullanarak yeni modeller oluşturmaya başlamak için Neuron SDK'yı kullanabilirsiniz. Daha kolay kurulum için, Derin öğrenme için Amazon Makine Görüntüleri (AMI'ler), gerekli paketlerin ve bağımlılıkların çoğuyla birlikte gelir. Daha da basit: Inferentia ve Trainium'da yerel olarak TensorFlow ve PyTorch'u destekleyen Amazon SageMaker Studio'yu kullanabilirsiniz (bkz. aws-samples GitHub deposu örnek olarak).

Son bir not: Inferentia ve Trainium, derin öğrenme iş yükleri için özel olarak oluşturulmuş olsa da, daha az karmaşık birçok makine öğrenimi algoritması, CPU tabanlı örneklerde iyi performans gösterebilir (örneğin, XGBoost ve LightGBM ve hatta bazı CNN'ler). Bu durumlarda göç AWS Graviton3 makine öğrenimi iş yüklerinizin çevresel etkisini önemli ölçüde azaltabilir. AWS Graviton tabanlı bulut sunucuları, karşılaştırılabilir hızlandırılmış EC60 bulut sunucularından aynı performans için %2'a kadar daha az enerji kullanır.

Sonuç

Makine öğrenimi iş yüklerini sürdürülebilir ve enerji açısından verimli bir şekilde çalıştırmanın, performanstan veya maliyetten ödün vermek anlamına geldiğine dair yaygın bir yanlış kanı vardır. Makine öğrenimi için amaca yönelik AWS hızlandırıcıları sayesinde makine öğrenimi mühendisleri bu ödünleşimi yapmak zorunda kalmaz. Bunun yerine, derin öğrenme iş yüklerini AWS Inferentia ve AWS Trainium gibi, karşılaştırılabilir hızlandırılmış EC2 bulut sunucusu türlerinden önemli ölçüde daha iyi performans gösteren, daha düşük maliyet, daha yüksek performans ve daha iyi enerji verimliliği sağlayan AWS Inferentia ve AWS Trainium gibi son derece özel amaca yönelik derin öğrenme donanımlarında çalıştırabilirler. %90 - hepsi aynı anda. Makine öğrenimi iş yüklerinizi Inferentia ve Trainium'da çalıştırmaya başlamak için şuraya göz atın: AWS Nöron belgeleri veya birini döndürün örnek defterler. Ayrıca AWS re:Invent 2022 konuşmasını da izleyebilirsiniz. Sürdürülebilirlik ve AWS silikon (SUS206), bu yazıda tartışılan konuların çoğunu kapsar.

---

Yazarlar Hakkında

Karsten Schröer AWS'de bir Çözüm Mimarıdır. Müşterileri, BT altyapılarının sürdürülebilirliğini sağlamak ve kendi sektörlerinde sürdürülebilir operasyonlara olanak sağlayan veri odaklı çözümler oluşturmak için veri ve teknolojiden yararlanma konusunda destekler. Karsten, uygulamalı makine öğrenimi ve operasyon yönetimi alanındaki doktora çalışmalarının ardından AWS'ye katıldı. Toplumsal zorluklara yönelik teknoloji destekli çözümler konusunda gerçekten tutkulu ve bu çözümlerin altında yatan yöntemlere ve uygulama mimarilerine derinlemesine dalmayı seviyor.

Kamran Han AWS Annapurna Labs'ta Kıdemli Teknik Ürün Müdürüdür. Amazon'un Annapurna Laboratuvarlarından çıkan AWS amaca yönelik silikon inovasyonlarının yol haritasını şekillendirmek için AI/ML müşterileriyle yakın bir şekilde çalışıyor. AWS Trainium ve AWS Inferentia dahil olmak üzere hızlandırılmış derin öğrenme çiplerine özel olarak odaklanmaktadır. Kamran yarı iletken sektöründe 18 yıllık bir deneyime sahiptir. Kamran, geliştiricilerin makine öğrenimi hedeflerine ulaşmalarına yardımcı olan on yılı aşkın bir deneyime sahiptir.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• EVM Finans. Merkezi Olmayan Finans için Birleşik Arayüz. Buradan Erişin.
• Kuantum Medya Grubu. IR/PR Güçlendirilmiş. Buradan Erişin.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/reduce-energy-consumption-of-your-machine-learning-workloads-by-up-to-90-with-aws-purpose-built-accelerators/