Bugün, önizlemesini duyurmaktan mutluluk duyuyoruz. Amazon SageMaker Profil Oluşturucu, yeteneği Amazon Adaçayı Yapıcı Bu, SageMaker'da derin öğrenme modellerinin eğitimi sırasında sağlanan AWS bilgi işlem kaynaklarına ilişkin ayrıntılı bir görünüm sağlar. SageMaker Profiler ile CPU ve GPU kullanımları, GPU'larda çekirdek çalıştırmaları, CPU'larda çekirdek başlatmaları, senkronizasyon işlemleri, GPU'lar arasındaki bellek işlemleri, çekirdek başlatmaları ve karşılık gelen çalıştırmalar arasındaki gecikmeler ve veri aktarımı gibi CPU'lar ve GPU'lar üzerindeki tüm etkinlikleri izleyebilirsiniz. CPU'lar ve GPU'lar arasında. Bu yazıda size SageMaker Profiler'ın yeteneklerini anlatacağız.
SageMaker Profiler, PyTorch veya TensorFlow eğitim komut dosyalarına açıklama eklemek ve SageMaker Profiler'ı etkinleştirmek için Python modülleri sağlar. Aynı zamanda görselleştiren bir kullanıcı arayüzü (UI) sunar. profil, profilli olayların istatistiksel bir özeti ve GPU'lar ile CPU'lar arasındaki olayların zaman ilişkisini izlemek ve anlamak için bir eğitim işinin zaman çizelgesi.
Eğitim işlerinin profilini çıkarma ihtiyacı
Derin öğrenmenin (DL) yükselişiyle birlikte makine öğrenimi (ML), genellikle çok düğümlü, çok GPU kümeleri gerektiren, bilgi işlem ve veri açısından yoğun hale geldi. Son teknoloji modellerin boyutları trilyonlarca parametre mertebesinde büyüdükçe, hesaplama karmaşıklıkları ve maliyetleri de hızla artıyor. Makine öğrenimi uygulayıcıları, bu kadar büyük modelleri eğitirken, verimli kaynak kullanımına ilişkin ortak zorluklarla baş etmek zorundadır. Bu, özellikle milyarlarca parametreye sahip olan ve bu nedenle onları verimli bir şekilde eğitmek için büyük çok düğümlü GPU kümeleri gerektiren büyük dil modellerinde (LLM'ler) özellikle belirgindir.
Bu modelleri büyük bilgi işlem kümeleri üzerinde eğitirken, G/Ç darboğazları, çekirdek başlatma gecikmeleri, bellek sınırları ve düşük kaynak kullanımları gibi bilgi işlem kaynağı optimizasyonu zorluklarıyla karşılaşabiliriz. Eğitim işi yapılandırması optimize edilmezse bu zorluklar, verimsiz donanım kullanımına ve daha uzun eğitim sürelerine veya eksik eğitim çalışmalarına neden olabilir ve bu da projenin genel maliyetlerini ve zaman çizelgelerini artırır.
Önkoşullar
SageMaker Profiler'ı kullanmaya başlamanın önkoşulları şunlardır:
- AWS hesabınızdaki bir SageMaker alanı – Alan adı kurulumuna ilişkin talimatlar için bkz. Hızlı kurulumu kullanarak Amazon SageMaker Etki Alanına katılım. Ayrıca bireysel kullanıcıların SageMaker Profiler UI uygulamasına erişmesi için etki alanı kullanıcı profilleri eklemeniz gerekir. Daha fazla bilgi için bakınız SageMaker Etki Alanı kullanıcı profillerini ekleme ve kaldırma.
- İzinler – Aşağıdaki liste, SageMaker Profiler UI uygulamasını kullanmak için yürütme rolüne atanması gereken minimum izin kümesidir:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:SearchTrainingJobs
s3:GetObject
s3:ListBucket
SageMaker Profiler ile bir eğitim işi hazırlayın ve çalıştırın
Eğitim işi çalışırken GPU'larda çekirdek çalıştırmalarını yakalamaya başlamak için SageMaker Profiler Python modüllerini kullanarak eğitim komut dosyanızı değiştirin. Kütüphaneyi içe aktarın ve ekleyin start_profiling()
ve stop_profiling()
Profil oluşturmanın başlangıcını ve sonunu tanımlama yöntemleri. Her adımdaki belirli işlemler sırasında donanım etkinliklerini görselleştirmek amacıyla eğitim komut dosyasına işaretçiler eklemek için isteğe bağlı özel açıklamaları da kullanabilirsiniz.
SageMaker Profiler ile eğitim senaryolarınızın profilini çıkarmak için kullanabileceğiniz iki yaklaşım vardır. İlk yaklaşım, tüm işlevlerin profilinin çıkarılmasına dayanmaktadır; ikinci yaklaşım, işlevlerdeki belirli kod satırlarının profilinin çıkarılmasına dayanmaktadır.
İşlevlere göre profil oluşturmak için içerik yöneticisini kullanın smppy.annotate
tam işlevlere açıklama eklemek için. Aşağıdaki örnek komut dosyası, her yinelemede eğitim döngüsünü ve tüm işlevleri sarmak için bağlam yöneticisinin nasıl uygulanacağını gösterir:
Ayrıca kullanabilirsiniz smppy.annotation_begin()
ve smppy.annotation_end()
işlevlerdeki belirli kod satırlarına açıklama eklemek için. Daha fazla bilgi için bkz. belgeleme.
SageMaker eğitim işi başlatıcısını yapılandırma
Profil oluşturucu başlatma modüllerine açıklama eklemeyi ve ayarlamayı tamamladıktan sonra, eğitim komut dosyasını kaydedin ve SageMaker Python SDK'yı kullanarak SageMaker çerçeve tahmincisini eğitim için hazırlayın.
- Ayarlamak
profiler_config
kullanarak nesneProfilerConfig
veProfiler
modüller şu şekilde: - Aşağıdakilerle bir SageMaker tahmincisi oluşturun:
profiler_config
önceki adımda oluşturulan nesne. Aşağıdaki kod, PyTorch tahmincisi oluşturmanın bir örneğini gösterir:
Bir TensorFlow tahmincisi oluşturmak istiyorsanız içe aktarın sagemaker.tensorflow.TensorFlow
bunun yerine SageMaker Profiler tarafından desteklenen TensorFlow sürümlerinden birini belirtin. Desteklenen çerçeveler ve örnek türleri hakkında daha fazla bilgi için bkz. Desteklenen çerçeveler.
- Fit yöntemini çalıştırarak eğitim işini başlatın:
SageMaker Profiler Kullanıcı Arayüzü'nü başlatın
Eğitim işi tamamlandığında, eğitim işinin profilini görselleştirmek ve keşfetmek için SageMaker Profiler Kullanıcı Arayüzünü başlatabilirsiniz. SageMaker Profiler Kullanıcı Arayüzü uygulamasına, SageMaker konsolundaki SageMaker Profiler açılış sayfasından veya SageMaker etki alanı üzerinden erişebilirsiniz.
SageMaker Profiler UI uygulamasını SageMaker konsolunda başlatmak için aşağıdaki adımları tamamlayın:
- SageMaker konsolunda, Profiler Gezinti bölmesinde.
- Altında BAŞLAYIN, SageMaker Profiler UI uygulamasını başlatmak istediğiniz etki alanını seçin.
Kullanıcı profiliniz yalnızca bir alan adına aitse alan adı seçme seçeneğini görmezsiniz.
- SageMaker Profiler UI uygulamasını başlatmak istediğiniz kullanıcı profilini seçin.
Alan adında kullanıcı profili yoksa, Kullanıcı profili oluştur. Yeni bir kullanıcı profili oluşturma hakkında daha fazla bilgi için bkz. Kullanıcı Profilleri Ekleme ve Kaldırma.
- Klinik Profil Oluşturucuyu Aç.
Ayrıca şunları da yapabilirsiniz SageMaker Profiler kullanıcı arayüzünü etki alanı ayrıntıları sayfasından başlatın.
SageMaker Profiler'dan bilgi edinin
SageMaker Profiler kullanıcı arayüzünü açtığınızda, Bir profil seçin ve yükleyin sayfa aşağıdaki ekran görüntüsünde gösterildiği gibi açılır.
SageMaker Profiler'a gönderilen tüm eğitim işlerinin bir listesini görüntüleyebilir ve belirli bir eğitim işini adına, oluşturulma zamanına ve çalıştırma durumuna (Devam Ediyor, Tamamlandı, Başarısız, Durduruldu veya Durduruluyor) göre arayabilirsiniz. Profil yüklemek için görüntülemek istediğiniz eğitim işini seçin ve Yük. İşin adı şu şekilde görünmelidir: Yüklenen profil üst kısımdaki bölüm.
Kontrol panelini ve zaman çizelgesini oluşturmak için iş adını seçin. İşi seçtiğinizde kullanıcı arayüzünün otomatik olarak kontrol panelini açtığını unutmayın. Tek seferde bir profil yükleyebilir ve görselleştirebilirsiniz. Başka bir profil yüklemek için önce önceden yüklenen profili kaldırmanız gerekir. Bir profili kaldırmak için profildeki çöp kutusu simgesini seçin. Yüklenen profil Bölüm.
Bu yazı için bir kişinin profilini görüntülüyoruz ALBEF iki ml.p4d.24xlarge örneği üzerinde eğitim işi.
Eğitim işini yüklemeyi ve seçmeyi bitirdikten sonra kullanıcı arayüzü, Kullanıcı Paneli sayfa, aşağıdaki ekran görüntüsünde gösterildiği gibi.
GPU aktif süresi, zaman içinde GPU kullanımı, CPU aktif süresi ve zaman içinde CPU kullanımı gibi önemli ölçümlerin grafiklerini görebilirsiniz. GPU aktif süre pasta grafiği, GPU aktif süresinin GPU boşta kalma süresine göre yüzdesini gösterir; bu, tüm eğitim işi boyunca GPU'ların boşta olmaktan daha aktif olup olmadığını kontrol etmemizi sağlar. Zamana göre GPU kullanımı zaman çizelgesi grafiği, tüm düğümleri tek bir grafikte toplayarak, düğüm başına zaman içinde ortalama GPU kullanım oranını gösterir. Belirli zaman aralıklarında GPU'larda dengesiz iş yükü, yetersiz kullanım sorunları, darboğazlar veya boşta kalma sorunları olup olmadığını kontrol edebilirsiniz.. Bu ölçümlerin yorumlanmasına ilişkin daha fazla ayrıntı için bkz. belgeleme.
Aşağıdaki ekran görüntüsünde gösterildiği gibi kontrol paneli size tüm GPU çekirdeklerinin harcadığı süre, en iyi 15 GPU çekirdeğinin harcadığı süre, tüm GPU çekirdeklerinin başlatma sayıları ve en iyi 15 GPU çekirdeğinin başlatma sayıları dahil olmak üzere ek grafikler sağlar.
Son olarak, kontrol paneli, GPU'lardaki adım sürelerinin dağılımını gösteren bir histogram olan adım süresi dağılımı ve çekirdekleri çalıştırmak için harcanan sürenin yüzdesini gösteren çekirdek hassas dağıtım pasta grafiği gibi ek ölçümleri görselleştirmenize olanak tanır. FP32, FP16, INT32 ve INT8 gibi farklı veri türlerinde.
Ayrıca GPU etkinlik dağılımında, çekirdeklerin çalıştırılması, bellek (memcpy
ve memset
) ve senkronizasyon (sync
). GPU bellek işlemleri dağıtım pasta grafiğinden GPU bellek işlemlerine harcanan sürenin yüzdesini görselleştirebilirsiniz.
Ayrıca bu yazıda daha önce açıklandığı gibi manuel olarak eklediğiniz özel bir metriğe dayalı olarak kendi histogramlarınızı da oluşturabilirsiniz. Yeni bir histograma özel bir açıklama eklerken eğitim komut dosyasına eklediğiniz açıklamanın adını seçin veya girin.
Zaman çizelgesi arayüzü
SageMaker Profiler Kullanıcı Arayüzü ayrıca, CPU'larda programlanan ve GPU'larda çalıştırılan işlemler ve çekirdekler düzeyinde bilgi işlem kaynaklarına ilişkin ayrıntılı bir görünüm sağlayan bir zaman çizelgesi arayüzü de içerir. Zaman çizelgesi, aşağıdaki ekran görüntüsünde gösterildiği gibi size ana bilgisayar seviyesinden cihaz seviyesine kadar bilgi veren bir ağaç yapısında düzenlenmiştir.
Her CPU için aşağıdakiler gibi CPU performans sayaçlarını takip edebilirsiniz: clk_unhalted_ref.tsc
ve itlb_misses.miss_causes_a_walk
. 2x p4d.24xlarge örneğindeki her GPU için bir ana bilgisayar zaman çizelgesi ve bir cihaz zaman çizelgesi görebilirsiniz. Çekirdek başlatmaları ana bilgisayar zaman çizelgesindedir ve çekirdek çalıştırmaları cihazın zaman çizelgesindedir.
Ayrıca bireysel adımları da yakınlaştırabilirsiniz. Aşağıdaki ekran görüntüsünde step_41'i yakınlaştırdık. Aşağıdaki ekran görüntüsünde seçilen zaman çizelgesi şeridi AllReduce
Dağıtılmış eğitimde önemli bir iletişim ve senkronizasyon adımı olan işlem, GPU-0 üzerinde yürütülür. Ekran görüntüsünde, GPU-0 ana bilgisayarındaki çekirdek başlatma işleminin, camgöbeği okla gösterilen GPU-0 aygıt akışı 1'deki çekirdek çalışmasına bağlandığını unutmayın.
Kullanılabilirlik ve dikkat edilecek noktalar
SageMaker Profiler, PyTorch (versiyon 2.0.0 ve 1.13.1) ve TensorFlow'da (versiyon 2.12.0 ve 2.11.1) mevcuttur. Aşağıdaki tabloda desteklenen bağlantılara bağlantılar verilmektedir: SageMaker için AWS Derin Öğrenme Container'ları.
iskelet | Sürümü | AWS DLC Görüntü URI'sı |
PyTorch | 2.0.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
PyTorch | 1.13.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker |
TensorFlow | 2.12.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
TensorFlow | 2.11.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.1-gpu-py39-cu112-ubuntu20.04-sagemaker |
SageMaker Profiler şu anda aşağıdaki Bölgelerde mevcuttur: ABD Doğu (Ohio, K. Virginia), ABD Batı (Oregon) ve Avrupa (Frankfurt, İrlanda).
SageMaker Profiler, ml.p4d.24xlarge, ml.p3dn.24xlarge ve ml.g4dn.12xlarge eğitim örneği tiplerinde mevcuttur.
Desteklenen çerçevelerin ve sürümlerin tam listesi için bkz. belgeleme.
SageMaker Profiler, SageMaker Ücretsiz Kullanımı veya özelliğin ücretsiz deneme süresi sona erdikten sonra ücrete tabidir. Daha fazla bilgi için bakınız Amazon SageMaker Fiyatlandırması.
SageMaker Profiler'ın Performansı
SageMaker Profiler'ın yükünü çeşitli açık kaynaklı profil oluşturucularla karşılaştırdık. Karşılaştırma için kullanılan temel, eğitim işinin profil oluşturucu olmadan çalıştırılmasıyla elde edildi.
Temel bulgumuz, SageMaker Profiler'ın uçtan uca eğitim çalıştırmalarında daha az ek yük süresine sahip olması nedeniyle genellikle daha kısa faturalandırılabilir eğitim süresiyle sonuçlandığını ortaya çıkardı. Ayrıca açık kaynak alternatifleriyle karşılaştırıldığında daha az profil oluşturma verisi (10 kata kadar daha az) üretti. SageMaker Profiler tarafından oluşturulan daha küçük profil oluşturma yapıları daha az depolama gerektirir, dolayısıyla maliyetlerden de tasarruf edilir.
Sonuç
SageMaker Profiler, derin öğrenme modellerinizi eğitirken bilgi işlem kaynaklarının kullanımına ilişkin ayrıntılı bilgiler edinmenizi sağlar. Bu, sonuçta eğitim maliyetlerini düşürecek ve genel eğitim süresini kısaltacak verimli kaynak kullanımı sağlamak için performansın sıcak noktalarını ve darboğazlarını çözmenize olanak sağlayabilir.
SageMaker Profiler'ı kullanmaya başlamak için bkz. belgeleme.
Yazarlar Hakkında
Roy Allela Münih, Almanya merkezli AWS'de Kıdemli Yapay Zeka/ML Uzmanı Çözüm Mimarıdır. Roy, küçük startup'lardan büyük işletmelere kadar AWS müşterilerinin büyük dil modellerini AWS üzerinde verimli bir şekilde eğitmesine ve devreye almasına yardımcı olur. Roy, hesaplamalı optimizasyon sorunları ve yapay zeka iş yüklerinin performansını iyileştirme konusunda tutkulu.
Sushant Ayı AWS, Hindistan'da müşterilere AI/ML çabaları boyunca rehberlik etme konusunda uzmanlaşmış bir Veri Bilimcisidir. Perakende, finans ve sigorta alanlarını kapsayan geniş bir geçmişe sahip olup, yenilikçi ve özel çözümler sunmaktadır. Sushant, profesyonel yaşamının ötesinde yüzmede yenilenme buluyor ve farklı yerlere yaptığı seyahatlerden ilham alıyor.
Dikşa Sharma Dünya Çapındaki Uzman Organizasyonda AI/ML Uzman Çözüm Mimarıdır. AWS'de üretken yapay zeka çözümleri de dahil olmak üzere verimli, güvenli ve ölçeklenebilir makine öğrenimi uygulamaları tasarlamalarına yardımcı olmak için kamu sektörü müşterileriyle birlikte çalışıyor. Diksha boş zamanlarında okumayı, resim yapmayı ve ailesiyle vakit geçirmeyi seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. Otomotiv / EV'ler, karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- ChartPrime. Ticaret Oyununuzu ChartPrime ile yükseltin. Buradan Erişin.
- Blok Ofsetleri. Çevre Dengeleme Sahipliğini Modernleştirme. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/announcing-the-preview-of-amazon-sagemaker-profiler-track-and-visualize-detailed-hardware-performance-data-for-your-model-training-workloads/
- :vardır
- :dır-dir
- :olumsuzluk
- $UP
- 1
- 10
- 100
- 11
- 12
- 125
- 13
- %15
- 17
- 20
- 7
- 9
- a
- Hakkımızda
- erişim
- karşısında
- aktive
- aktif
- faaliyetler
- etkinlik
- eklemek
- katma
- ekleme
- Ek
- Sonra
- karşı
- toplama
- AI
- AI / ML
- Türkiye
- Ayrıca
- alternatifleri
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon Web Servisleri
- an
- ve
- duyurmak
- Duyurusu
- Başka
- herhangi
- görünmek
- Uygulama
- uygulamaları
- yaklaşım
- yaklaşımlar
- ARE
- AS
- atanmış
- At
- otomatik olarak
- mevcut
- ortalama
- AWS
- arka fon
- merkezli
- Temel
- BE
- Çünkü
- müşterimiz
- olmuştur
- Başlangıç
- aittir
- arasında
- Ötesinde
- milyarlarca
- BIN
- by
- CAN
- yetenekleri
- kabiliyet
- Yakalama
- belli
- zorluklar
- yükler
- Grafik
- Kontrol
- Klinik
- kod
- ortak
- Yakın İletişim
- karşılaştırıldığında
- karşılaştırma
- tamamlamak
- Tamamlandı
- karmaşıklık
- hesaplamak
- yapılandırma
- bağlanır
- konsolos
- Konteynerler
- bağlam
- uyan
- Ücret
- maliyetler
- sayaçlar
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- Oluşturma
- oluşturma
- Şu anda
- görenek
- Müşteriler
- mavi
- gösterge paneli
- veri
- veri bilimcisi
- derin
- derin öğrenme
- tanımlamak
- sağlıyor
- dağıtmak
- tarif edilen
- detaylı
- ayrıntılar
- cihaz
- farklı
- dağıtıldı
- dağıtılmış eğitim
- dağıtım
- çeşitli
- domain
- etki
- yapılmış
- aşağı
- sürücü
- süre
- sırasında
- her
- Daha erken
- Doğu
- verimli
- verimli biçimde
- etkinleştirmek
- sağlar
- son
- son uca
- çabaları
- uçları
- sağlamak
- Keşfet
- Tüm
- giriş
- çağ
- devirler
- gerekli
- AVRUPA
- olaylar
- belirgin
- örnek
- infaz
- keşfetmek
- başarısız
- aile
- Özellikler(Hazırlık aşamasında)
- maliye
- bulma
- bulur
- bitiş
- Ad
- uygun
- takip etme
- şu
- İçin
- ileri
- iskelet
- çerçeveler
- Ücretsiz
- ücretsiz deneme
- itibaren
- tam
- fonksiyonlar
- genellikle
- oluşturmak
- oluşturulan
- üretken
- üretken yapay zeka
- Almanya
- almak
- Verilmesi
- GPU
- GPU'lar
- grafik
- Büyümek
- vardı
- donanım
- Var
- he
- yardım et
- yardımcı olur
- onu
- onun
- ev sahibi
- Ne kadar
- Nasıl Yapılır
- HTML
- http
- HTTPS
- i
- ICON
- boş
- if
- görüntü
- uygulamak
- ithalat
- geliştirme
- in
- içerir
- Dahil olmak üzere
- Artırmak
- Hindistan
- belirtilen
- bireysel
- verimsiz
- bilgi
- yenilikçi
- girişler
- anlayışlar
- ilham
- örnek
- yerine
- talimatlar
- sigorta
- arayüzey
- içine
- İrlanda
- sorunlar
- IT
- tekrarlama
- ONUN
- İş
- Mesleki Öğretiler
- jpg
- anahtar
- Etiketler
- iniş
- dil
- büyük
- başlatmak
- başlattı
- öğrenme
- az
- seviye
- Kütüphane
- hayat
- sınırları
- hatları
- bağlantılar
- Liste
- yük
- yükleme
- uzun
- kayıp
- seviyor
- Düşük
- makine
- makine öğrenme
- müdür
- el ile
- Bellek
- yöntem
- yöntemleri
- metrik
- Metrikleri
- asgari
- ML
- model
- modelleri
- değiştirmek
- Modüller
- Daha
- şart
- isim
- yani
- Navigasyon
- gerek
- yeni
- yok hayır
- düğüm
- düğümler
- nesne
- elde etmek
- elde
- of
- Teklifler
- Ohio
- on
- ONE
- bir tek
- açık
- açık kaynak
- açılır
- operasyon
- Operasyon
- optimizasyon
- optimize
- seçenek
- or
- sipariş
- Oregon
- kuruluşlar
- Düzenlenmiş
- tekrar
- tüm
- kendi
- Kanal
- bölmesi
- parametreler
- belirli
- özellikle
- tutkulu
- başına
- yüzde
- performans
- dönem
- izinleri
- Platon
- Plato Veri Zekası
- PlatoVeri
- memnun
- Nokta
- Çivi
- Hassas
- Hazırlamak
- önkoşullar
- Önizleme
- önceki
- Önceden
- sorunlar
- profesyonel
- Profil
- Profiller
- profilleme
- Ilerleme
- proje
- sağlar
- halka açık
- Python
- pytorch
- Hızlı
- hızla
- oran
- Okumak
- azaltmak
- bölgeler
- gençleştirme
- ilişki
- Kaldır
- gerektirir
- kaynak
- Kaynaklar
- sonuç
- perakende
- Açığa
- Yükselmek
- Rol
- roy
- koşmak
- koşu
- ishal
- sagemaker
- İndirim
- tasarruf
- ölçeklenebilir
- tarifeli
- bilim adamı
- scriptler
- sdk
- Ara
- İkinci
- Bölüm
- sektör
- güvenli
- görmek
- Arıyor
- seçilmiş
- seçme
- kıdemli
- Hizmetler
- set
- ayar
- o
- meli
- gösterilen
- Gösteriler
- tek
- beden
- küçük
- daha küçük
- Çözümler
- Kaynak
- gerginlik
- uzman
- uzmanlaşmış
- özel
- geçirmek
- harcanmış
- başlama
- başladı
- Startups
- state-of-the-art
- istatistiksel
- Durum
- adım
- Basamaklar
- durdu
- durdurma
- hafızası
- dere
- yapı
- gönderilen
- böyle
- ÖZET
- destekli
- senkronizasyon
- tablo
- ısmarlama
- Bizi daha iyi tanımak için
- tensorflow
- göre
- o
- The
- ve bazı Asya
- Onları
- Orada.
- böylece
- bu nedenle
- Bunlar
- Re-Tweet
- İçinden
- boyunca
- aşama
- zaman
- zaman çizelgesi
- zaman çizelgeleri
- zamanlar
- için
- üst
- iz
- Takip
- Tren
- Eğitim
- transfer
- seyahatleriniz
- ağaç
- deneme
- trilyonlar
- iki
- türleri
- tipik
- ui
- eninde sonunda
- anlayış
- us
- kullanım
- Kullanılmış
- kullanıcı
- Kullanıcı Arayüzü
- kullanıcılar
- kullanma
- çeşitli
- versiyon
- sürümler
- Görüntüle
- Virjinya
- vs
- istemek
- oldu
- we
- ağ
- web hizmetleri
- Batısında
- ne zaman
- hangi
- süre
- irade
- ile
- olmadan
- çalışır
- Dünya çapında
- olur
- sarın
- Sen
- zefirnet
- yakınlaştırma