2021'de başlattık AWS Support Proaktif Hizmetler bir parçası olarak AWS Kurumsal Desteği plan. Piyasaya sürülmesinden bu yana yüzlerce müşterinin iş yüklerini optimize etmesine, güvenlik önlemleri almasına ve makine öğrenimi (ML) iş yüklerinin maliyet ve kullanımının görünürlüğünü artırmasına yardımcı olduk.
Bu yazı dizisinde, maliyetleri optimize etme konusunda öğrenilen dersleri paylaşıyoruz. Amazon Adaçayı Yapıcı. içinde Bölüm 1kullanmaya nasıl başlayacağımızı gösterdik AWS Maliyet Gezgini SageMaker'da maliyet optimizasyonu fırsatlarını belirlemek. Bu yazıda SageMaker çıkarım ortamlarına odaklanıyoruz: gerçek zamanlı çıkarım, toplu dönüşüm, eşzamansız çıkarım ve sunucusuz çıkarım.
SageMaker birden fazla çıkarım seçeneği sunar iş yükü gereksinimlerinize göre aşağıdakiler arasından seçim yapabilirsiniz:
- Gerçek zamanlı çıkarım çevrimiçi, düşük gecikme süresi veya yüksek verim gereksinimleri için
- Toplu dönüştürme çevrimdışı, planlanmış işlemler için ve kalıcı bir uç noktaya ihtiyacınız olmadığında
- asenkron çıkarım Uzun işlem süreleri olan büyük verileriniz olduğunda ve istekleri sıraya koymak istediğinizde
- Sunucusuz çıkarım aralıklı veya öngörülemeyen trafik düzenleriniz olduğunda ve soğuk başlatmaları tolere edebildiğinizde
Aşağıdaki bölümlerde her çıkarım seçeneğini daha ayrıntılı olarak tartışacağız.
SageMaker gerçek zamanlı çıkarım
Bir uç nokta oluşturduğunuzda, SageMaker bir uç nokta ekler. Amazon Elastik Blok Mağazası (Amazon EBS) depolama hacmini Amazon Elastik Bilgi İşlem Bulutu Uç noktayı barındıran (Amazon EC2) bulut sunucusu. Bu, SSD depolama alanıyla birlikte gelmeyen tüm bulut sunucusu türleri için geçerlidir. d* bulut sunucusu türleri bir NVMe SSD depolama alanıyla birlikte geldiğinden, SageMaker bu ML bilgi işlem bulut sunucularına bir EBS depolama birimi eklemez. Bakınız Ana örnek depolama birimleri SageMaker'ın tek bir uç nokta ve çok modelli bir uç nokta için her bulut sunucusu tipine eklediği depolama birimlerinin boyutu için.
SageMaker gerçek zamanlı uç noktalarının maliyeti, uç nokta çalışırken her örnek için tüketilen bulut sunucusu saati başına, sağlanan depolamanın (EBS birimi) GB-ay maliyetinin yanı sıra giriş ve çıkışta işlenen GB verilerine dayanır. belirtildiği gibi uç nokta örneğinin Amazon SageMaker Fiyatlandırması. Maliyet Gezgini'nde kullanım türüne filtre uygulayarak gerçek zamanlı uç nokta maliyetlerini görüntüleyebilirsiniz. Bu kullanım türlerinin isimleri şu şekilde yapılandırılmıştır:
REGION-Host:instanceType
(Örneğin,USE1-Host:ml.c5.9xlarge
)REGION-Host:VolumeUsage.gp2
(Örneğin,USE1-Host:VolumeUsage.gp2
)REGION-Hst:Data-Bytes-Out
(Örneğin,USE2-Hst:Data-Bytes-In
)REGION-Hst:Data-Bytes-Out
(Örneğin,USW2-Hst:Data-Bytes-Out)
Aşağıdaki ekran görüntüsünde görüldüğü gibi kullanım türüne göre filtreleme Host:
bir hesaptaki gerçek zamanlı barındırma kullanım türlerinin bir listesini gösterecektir.
Belirli kullanım türlerini seçebilir veya Tümünü Seç Ve seç Tamam SageMaker gerçek zamanlı barındırma kullanımının maliyet dökümünü görüntülemek için. Bulut sunucusu saatlerine göre maliyet ve kullanım dökümünü görmek için tüm seçeneklerin seçimini kaldırmanız gerekir. REGION-Host:VolumeUsage.gp2
kullanım türü filtresini uygulamadan önce kullanım türleri. Ayrıca hesap numarası, EC2 bulut sunucusu türü, maliyet tahsis etiketi, Bölge ve gibi ek filtreler de uygulayabilirsiniz. Daha. Aşağıdaki ekran görüntüsü seçilen barındırma kullanım türlerine ilişkin maliyet ve kullanım grafiklerini göstermektedir.
Ek olarak, bir veya daha fazla barındırma örneğiyle ilişkili maliyeti aşağıdakileri kullanarak inceleyebilirsiniz: Örnek türü filtre. Aşağıdaki ekran görüntüsü ml.p2.xlarge barındırma örneğinin maliyet ve kullanım dökümünü göstermektedir.
Benzer şekilde, işlenen ve işlenen GB verilerinin maliyeti, aşağıdaki ekran görüntüsünde gösterildiği gibi, uygulanan filtre olarak ilgili kullanım türleri seçilerek görüntülenebilir.
Filtreler ve gruplamalar ile istediğiniz sonuçlara ulaştıktan sonra sonuçlarınızı seçerek indirebilirsiniz. CSV olarak indir veya seçerek raporu kaydedin. Rapor kitaplığına kaydet. Cost Explorer'ın kullanımına ilişkin genel rehberlik için bkz. AWS Cost Explorer'ın Yeni Görünümü ve Yaygın Kullanım Durumları.
İsteğe bağlı olarak etkinleştirebilirsiniz AWS Maliyet ve Kullanım Raporları (AWS CUR) hesaplarınızın maliyet ve kullanım verilerine ilişkin öngörüler elde etmek için. AWS CUR, saatlik AWS tüketim ayrıntılarını içerir. İçinde saklanır Amazon Basit Depolama Hizmeti (Amazon S3) tüm bağlı hesaplara ait verileri birleştiren ödeme yapan hesapta. Kullanımınızdaki eğilimleri analiz etmek için sorgular çalıştırabilir ve maliyeti optimize etmek için uygun eylemi gerçekleştirebilirsiniz. Amazon Atina Amazon S3'te AWS CUR'daki verileri standart SQL kullanarak analiz etmek için kullanabileceğiniz sunucusuz bir sorgu hizmetidir. Daha fazla bilgi ve örnek sorguları şurada bulabilirsiniz: AWS CUR Sorgu Kitaplığı.
Ayrıca AWS CUR verilerini de Amazon QuickSight, raporlama veya görselleştirme amacıyla onu istediğiniz şekilde dilimleyebileceğiniz ve parçalara ayırabileceğiniz yer. Talimatlar için bkz. AWS Maliyet ve Kullanım Raporunu (CUR) Amazon QuickSight'a nasıl alır ve görselleştiririm.
Uç nokta ARN'si, uç nokta bulut sunucusu türleri, saatlik bulut sunucusu hızı, günlük kullanım saatleri ve daha fazlası gibi kaynak düzeyindeki bilgileri AWS CUR'dan alabilirsiniz. Daha fazla ayrıntı düzeyi sağlamak için sorgunuza maliyet tahsisi etiketlerini de ekleyebilirsiniz. Aşağıdaki örnek sorgu, belirli ödeme yapan hesap için son 3 aya ait gerçek zamanlı barındırma kaynağı kullanımını döndürür:
Aşağıdaki ekran görüntüsü, sorgunun Athena kullanılarak çalıştırılmasından elde edilen sonuçları göstermektedir. Daha fazla bilgi için bkz. Amazon Athena kullanarak Maliyet ve Kullanım Raporlarını Sorgulama.
Sorgunun sonucu, uç noktayı gösterir mme-xgboost-housing
ml.x4.xlarge örneği, birbirini takip eden birden fazla gün boyunca 24 saatlik çalışma süresi bildiriyor. Bulut sunucusu ücreti saat başına 0.24 ABD dolarıdır ve 24 saat çalıştırmanın günlük maliyeti 5.76 ABD dolarıdır.
AWS CUR sonuçları, bağlı hesapların her birinde art arda günler boyunca çalışan uç nokta modellerinin yanı sıra en yüksek aylık maliyete sahip uç noktaları belirlemenize yardımcı olabilir. Bu aynı zamanda üretim dışı hesaplardaki uç noktaların maliyetten tasarruf etmek için silinip silinemeyeceğine karar vermenize de yardımcı olabilir.
Gerçek zamanlı uç noktalar için maliyetleri optimize edin
Maliyet yönetimi açısından bakıldığında, az kullanılan (veya aşırı büyük) bulut sunucularını tespit etmek ve gerekirse bulut sunucusu boyutunu ve sayılarını iş yükü gereksinimlerine uygun hale getirmek önemlidir. CPU/GPU kullanımı ve bellek kullanımı gibi ortak sistem ölçümleri şuraya yazılır: Amazon Bulut İzleme tüm barındırma örnekleri için. Gerçek zamanlı uç noktalar için SageMaker, CloudWatch'ta çeşitli ek ölçümler sunar. Yaygın olarak izlenen ölçümlerden bazıları, çağrı sayılarını ve çağrı 4xx/5xx hatalarını içerir. Metriklerin tam listesi için bkz. Amazon CloudWatch ile Amazon SageMaker'ı izleyin.
Metrik CPUUtilization
her bir CPU çekirdeğinin kullanımının toplamını sağlar. Her çekirdek aralığının CPU kullanımı 0-100'dür. Örneğin, dört CPU varsa, CPUUtilization
aralık %0–400'dür. Metrik MemoryUtilization
bir örnekteki kapsayıcılar tarafından kullanılan belleğin yüzdesidir. Bu değer aralığı %0–100'dür. Aşağıdaki ekran görüntüsünde CloudWatch ölçümlerinin bir örneği gösterilmektedir CPUUtilization
ve MemoryUtilization
4.10 vCPU ve 40 GiB bellekle birlikte gelen ml.m160xlarge uç nokta örneği için.
Bu ölçüm grafikleri, 3,000 vCPU'ya eşdeğer olan yaklaşık %30'lik maksimum CPU kullanımını gösterir. Bu, bu uç noktanın toplam 30 vCPU kapasitesinin 40'dan fazlasını kullanmadığı anlamına gelir. Benzer şekilde bellek kullanımı da %6'nın altında. Bu bilgiyi kullanarak muhtemelen bu kaynak ihtiyacını karşılayabilecek daha küçük bir örnekle denemeler yapabilirsiniz. Ayrıca, CPUUtilization
metrik, periyodik yüksek ve düşük CPU talebinin klasik modelini gösterir; bu da bu uç noktayı otomatik ölçeklendirme için iyi bir aday haline getirir. Daha küçük bir örnekle başlayabilir ve işlem talebiniz değiştikçe önce ölçeği genişletebilirsiniz. Bilgi için bkz. Amazon SageMaker Modellerini Otomatik Olarak Ölçeklendirin.
SageMaker, yeni modelleri test etmek için mükemmeldir çünkü bunları kullanarak kolayca bir A/B test ortamına dağıtabilirsiniz. üretim varyantlarıve yalnızca kullandığınız kadar ödersiniz. Her üretim varyantı kendi işlem örneğinde çalışır ve varyant çalışırken her örnek için tüketilen bulut sunucusu saati başına ücretlendirilirsiniz.
SageMaker ayrıca destekler gölge varyantlarıBir üretim varyantıyla aynı bileşenlere sahip olan ve kendi bilgi işlem örneğinde çalışan. Gölge varyantlarıyla SageMaker, modeli otomatik olarak bir test ortamında dağıtır, üretim modeli tarafından alınan çıkarım isteklerinin bir kopyasını gerçek zamanlı olarak test modeline yönlendirir ve gecikme ve aktarım hızı gibi performans ölçümlerini toplar. Bu, model sunum yığınınızın herhangi bir yeni aday bileşenini üretime geçirmeden önce doğrulamanıza olanak tanır.
Testlerinizi tamamladığınızda ve uç noktayı veya varyantları artık kapsamlı bir şekilde kullanmadığınızda, maliyetten tasarruf etmek için onu silmelisiniz. Model Amazon S3'te depolandığından gerektiğinde yeniden oluşturabilirsiniz. Bu uç noktaları otomatik olarak tespit edebilir ve aşağıdakileri kullanarak düzeltici eylemler (bunları silmek gibi) gerçekleştirebilirsiniz. Amazon CloudWatch Etkinlikleri ve AWS Lambda işlevler. Örneğin, şunları kullanabilirsiniz: Invocations
Bir model uç noktasına gönderilen isteklerin toplam sayısını almak ve ardından uç noktaların son birkaç saat boyunca boşta kalıp kalmadığını (24 saat gibi belirli bir süre boyunca hiçbir çağrı yapılmadan) tespit etmek için metrik.
Yeterince kullanılmayan birkaç uç nokta örneğiniz varsa aşağıdakiler gibi barındırma seçeneklerini değerlendirin: çok modelli uç noktalar (MME'ler), çok kapsayıcılı uç noktalar (MCE'ler) ve seri çıkarım boru hatları kullanımı daha az sayıda uç nokta örneğinde birleştirmek için.
Gerçek zamanlı ve eşzamansız çıkarım modeli dağıtımı için, SageMaker'da modelleri dağıtarak maliyeti ve performansı optimize edebilirsiniz. AWS Graviton. AWS Graviton, AWS tarafından tasarlanan, en iyi fiyat performansını sağlayan ve x86 muadillerine göre enerji açısından daha verimli olan bir işlemci ailesidir. AWS Graviton tabanlı bulut sunucularına bir makine öğrenimi modeli dağıtma konusunda rehberlik ve fiyat performans avantajına ilişkin ayrıntılar için bkz. Amazon SageMaker ile AWS Graviton tabanlı bulut sunucularında makine öğrenimi çıkarım iş yüklerini çalıştırın. SageMaker ayrıca destekler AWS Çıkarımları hızlandırıcılar aracılığıyla ml.inf2 Gerçek zamanlı ve eşzamansız çıkarım için makine öğrenimi modellerini dağıtmaya yönelik örnek ailesi. Büyük dil modelleri (LLM'ler) ve görüntü transformatörleri de dahil olmak üzere üretken yapay zeka (AI) modelleri için düşük maliyetle yüksek performans elde etmek amacıyla SageMaker'da bu örnekleri kullanabilirsiniz.
Ek olarak, kullanabilirsiniz Amazon SageMaker Çıkarım Öneri Aracı yük testleri yürütmek ve modelinizi bu örneklere dağıtmanın fiyat performans avantajlarını değerlendirmek için. Boştaki SageMaker uç noktalarının otomatik olarak algılanmasının yanı sıra SageMaker uç noktaları için örnek doğru boyutlandırma ve otomatik ölçeklendirme hakkında ek rehberlik için bkz. Amazon SageMaker'da verimli bilgi işlem kaynakları sağlayın.
SageMaker toplu dönüşümü
Toplu çıkarım veya çevrimdışı çıkarım, bir dizi gözlem üzerine tahminler üretme sürecidir. Çevrimdışı tahminler, daha büyük veri kümeleri için ve yanıt için birkaç dakika veya saat beklemeyi göze alabileceğiniz durumlarda uygundur.
SageMaker toplu dönüşümünün maliyeti, toplu dönüşüm işi çalışırken her bir bulut sunucusu için tüketilen bulut sunucusu saati başına, şu şekilde özetlendiği gibi temel alınır: Amazon SageMaker Fiyatlandırması. Maliyet Gezgini'nde, kullanım türüne bir filtre uygulayarak toplu dönüştürme maliyetlerini keşfedebilirsiniz. Bu kullanım tipinin adı şu şekilde yapılandırılmıştır: REGION-Tsform:instanceType
(Örneğin, USE1-Tsform:ml.c5.9xlarge
).
Aşağıdaki ekran görüntüsünde gösterildiği gibi kullanım türüne göre filtreleme Tsform:
bir hesaptaki SageMaker toplu dönüşüm kullanım türlerinin bir listesini gösterecektir.
Belirli kullanım türlerini seçebilir veya Tümünü Seç Ve seç Tamam Seçilen türler için toplu dönüşüm örneği kullanımının maliyet dökümünü görüntülemek için. Daha önce de belirtildiği gibi ek filtreler de uygulayabilirsiniz. Aşağıdaki ekran görüntüsü seçilen toplu dönüşüm kullanım türlerine ilişkin maliyet ve kullanım grafiklerini göstermektedir.
Toplu dönüşüm için maliyetleri optimize edin
SageMaker toplu dönüşümü, sizden yalnızca işleriniz çalışırken kullanılan bulut sunucuları için ücret alır. Verileriniz zaten Amazon S3'te bulunuyorsa Amazon S3'ten giriş verilerinin okunması ve çıkış verilerinin Amazon S3'e yazılmasının herhangi bir maliyeti yoktur. Tüm çıktı nesneleri Amazon S3'e yüklenmeye çalışılır. Hepsi başarılıysa toplu dönüştürme işi tamamlandı olarak işaretlenir. Bir veya daha fazla nesne başarısız olursa toplu dönüştürme işi başarısız olarak işaretlenir.
Toplu dönüştürme işlerine ilişkin ücretler aşağıdaki senaryolarda uygulanır:
- İş başarılı
- nedeniyle başarısızlık
ClientError
ve model kabı SageMaker veya SageMaker tarafından yönetilen bir çerçeve - nedeniyle başarısızlık
AlgorithmError
orClientError
ve model konteyneri kendi özel konteynerinizdir (BYOC)
Aşağıda SageMaker toplu dönüştürme işini optimize etmeye yönelik en iyi uygulamalardan bazıları yer almaktadır. Bu öneriler toplu dönüştürme işinizin toplam çalışma süresini kısaltarak maliyetleri düşürebilir:
- set Toplu Strateji için
MultiRecord
veSplitType
içinLine
girdi dosyasından mini toplu işler yapmak için toplu dönüştürme işine ihtiyacınız varsa. Veri kümesini otomatik olarak mini gruplara ayıramıyorsa, her bir grubu veri kaynağı S3 kovasına yerleştirilmiş ayrı bir giriş dosyasına koyarak mini gruplara bölebilirsiniz. - Parti boyutunun belleğe sığdığından emin olun. SageMaker genellikle bunu otomatik olarak halleder; ancak partileri manuel olarak bölerken bunun belleğe göre ayarlanması gerekir.
- Toplu dönüşüm, girişteki S3 nesnelerini anahtara göre bölümlere ayırır ve bu nesneleri örneklerle eşler. Birden fazla dosyanız olduğunda bir örnek işlenebilir
input1.csv
ve başka bir örnek işlenebilirinput2.csv
. Bir giriş dosyanız varsa ancak birden fazla işlem örneğini başlatırsanız, giriş dosyasını yalnızca bir örnek işler ve geri kalan örnekler boşta kalır. Dosya sayısının örnek sayısına eşit veya bundan daha fazla olduğundan emin olun. - Çok sayıda küçük dosyanız varsa Amazon S3 etkileşim süresini azaltmak için birden fazla dosyayı az sayıda daha büyük dosya halinde birleştirmek faydalı olabilir.
- Kullanıyorsanız YaratDönüşİş API gibi parametreler için en uygun değerleri kullanarak toplu dönüştürme işlerini tamamlamak için gereken süreyi azaltabilirsiniz. MaxPayloadInMB, MaxConcurrentTransformsya da Toplu Strateji:
MaxConcurrentTransforms
bir dönüştürme işinde her bir örneğe gönderilebilecek maksimum paralel istek sayısını belirtir. için ideal değerMaxConcurrentTransforms
bir örnekteki vCPU çekirdeği sayısına eşittir.MaxPayloadInMB
MB cinsinden izin verilen maksimum yük boyutudur. İçindeki değerMaxPayloadInMB
tek bir kaydın boyutundan büyük veya ona eşit olmalıdır. Bir kaydın boyutunu MB cinsinden tahmin etmek için veri kümenizin boyutunu kayıt sayısına bölün. Kayıtların maksimum yük boyutuna sığmasını sağlamak için biraz daha büyük bir değer kullanmanızı öneririz. Varsayılan değer 6 MB'tır.MaxPayloadInMB
100 MB'tan büyük olmamalıdır. İsteğe bağlı olarak belirtirsenizMaxConcurrentTransforms
parametresi, ardından ('nin değeriMaxConcurrentTransforms
*MaxPayloadInMB
) ayrıca 100 MB'ı aşmamalıdır.- Yükün keyfi olarak büyük olabileceği ve HTTP parçalı kodlama kullanılarak iletildiği durumlarda MaxPayloadInMB değerini 0 olarak ayarlayın. Bu özellik yalnızca desteklenen algoritmalarda çalışır. Şu anda SageMaker yerleşik algoritmaları HTTP parçalı kodlamayı desteklememektedir.
- Toplu çıkarım görevleri genellikle yatay ölçeklendirme için iyi adaylardır. Bir küme içindeki her çalışan, diğer çalışanlarla bilgi alışverişine gerek kalmadan farklı bir veri alt kümesi üzerinde çalışabilir. AWS, yatay ölçeklendirmeye olanak tanıyan birden fazla depolama ve işlem seçeneği sunar. Tek bir bulut sunucusu performans gereksinimlerinizi karşılamak için yeterli değilse iş yükünü dağıtmak için birden çok örneği paralel olarak kullanmayı düşünün. Toplu dönüşüm işlerini tasarlarken dikkate alınması gereken önemli noktalar için bkz. Amazon SageMaker ile Geniş Ölçekte Toplu Çıkarım.
- CloudWatch'u kullanarak SageMaker toplu dönüşüm işlerinizin performans ölçümlerini sürekli olarak izleyin. Bulut sunucusu boyutlarını veya yapılandırmalarını ayarlamanız gerekip gerekmediğini belirlemek için yüksek CPU veya GPU kullanımı, bellek kullanımı veya ağ aktarım hızı gibi performans sorunlarını arayın.
- SageMaker Amazon S3'ü kullanıyor çok parçalı yükleme API'si toplu dönüştürme işinden sonuçları Amazon S3'e yüklemek için. Bir hata oluşursa yüklenen sonuçlar Amazon S3'ten kaldırılır. Ağ kesintisi gibi bazı durumlarda, tamamlanmamış çok parçalı bir yükleme Amazon S3'te kalabilir. Depolama ücretlerinin tahakkuk etmesini önlemek için şunları eklemenizi öneririz: S3 grup politikası S3 kova yaşam döngüsü kurallarına göre. Bu politika, S3 paketinde depolanabilecek tamamlanmamış çok parçalı yüklemeleri siler. Daha fazla bilgi için bakınız Depolama yaşam döngünüzü yönetme.
SageMaker eşzamansız çıkarım
Eşzamansız çıkarım, büyük yüklere ve patlama trafiğine sahip, maliyet açısından hassas iş yükleri için mükemmel bir seçimdir. İsteklerin işlenmesi 1 saate kadar sürebilir ve 1 GB'a kadar veri yükü boyutlarına sahip olabilir; dolayısıyla, gecikme gereksinimleri hafifletilmiş iş yükleri için daha uygundur.
Eşzamansız uç noktaların çağrılması, gerçek zamanlı uç noktalardan farklıdır. Bir istek yükünü istekle eş zamanlı olarak iletmek yerine yükü Amazon S3'e yükler ve isteğin bir parçası olarak bir S3 URI'sini iletirsiniz. SageMaker dahili olarak bu isteklerle ilgili bir kuyruk tutar ve bunları işler. Uç nokta oluşturma sırasında isteğe bağlı olarak bir Amazon Basit Bildirim Servisi Başarı veya hata bildirimlerini almak için (Amazon SNS) konusu. Çıkarım isteğinizin başarıyla işlendiğine dair bildirim aldığınızda çıktı Amazon S3 konumundan sonuca erişebilirsiniz.
Eşzamansız çıkarımın maliyeti, uç nokta çalışırken her örnek için tüketilen örnek saati başına, sağlanan depolamanın GB-ay maliyetinin yanı sıra uç nokta örneğinde ve uç nokta örneğinin dışında işlenen GB verilerine dayanmaktadır. Amazon SageMaker Fiyatlandırması. Maliyet Gezgini'nde, kullanım türüne bir filtre uygulayarak eşzamansız çıkarım maliyetlerini filtreleyebilirsiniz. Bu kullanım tipinin adı şu şekilde yapılandırılmıştır: REGION-AsyncInf:instanceType
(Örneğin, USE1-AsyncInf:ml.c5.9xlarge
). Bu yazıda daha önce belirtildiği gibi, GB hacmi ve GB verilerinin işlenen kullanım türlerinin gerçek zamanlı uç noktalarla aynı olduğunu unutmayın.
Aşağıdaki ekran görüntüsünde görüldüğü gibi kullanım türüne göre filtreleme AsyncInf:
Maliyet Gezgini'nde, eşzamansız uç nokta kullanım türlerine göre maliyet dökümü görüntülenir.
Bulut sunucusu saatlerine göre maliyet ve kullanım dökümünü görmek için tüm seçeneklerin seçimini kaldırmanız gerekir. REGION-Host:VolumeUsage.gp2
kullanım türü filtresini uygulamadan önce kullanım türleri. Ayrıca ek filtreler de uygulayabilirsiniz. Uç nokta ARN'si, uç nokta bulut sunucusu türleri, saatlik bulut sunucusu ücreti ve günlük kullanım saatleri gibi kaynak düzeyindeki bilgiler AWS CUR'dan edinilebilir. Aşağıda, son 3 aydaki eşzamansız barındırma kaynağı kullanımını elde etmeye yönelik bir AWS CUR sorgusu örneği verilmiştir:
Aşağıdaki ekran görüntüsü Athena kullanılarak AWS CUR sorgusunun çalıştırılmasıyla elde edilen sonuçları göstermektedir.
Sorgunun sonucu, uç noktayı gösterir sagemaker-abc-model-5
ml.m5.xlarge örneği, birbirini takip eden birden fazla gün boyunca 24 saatlik çalışma süresi bildiriyor. Bulut sunucusu ücreti saat başına 0.23 ABD dolarıdır ve 24 saat çalıştırmanın günlük maliyeti 5.52 ABD dolarıdır.
Daha önce de belirtildiği gibi, AWS CUR sonuçları, birbirini takip eden günler boyunca çalışan uç nokta modellerinin yanı sıra en yüksek aylık maliyete sahip uç noktaları belirlemenize yardımcı olabilir. Bu aynı zamanda üretim dışı hesaplardaki uç noktaların maliyetten tasarruf etmek için silinip silinemeyeceğine karar vermenize de yardımcı olabilir.
Eşzamansız çıkarım için maliyetleri optimize edin
Tıpkı gerçek zamanlı uç noktalarda olduğu gibi, eşzamansız uç noktaların maliyeti de bulut sunucusu tipi kullanımına bağlıdır. Bu nedenle, az kullanılan bulut sunucularını belirlemek ve bunları iş yükü gereksinimlerine göre yeniden boyutlandırmak önemlidir. Eşzamansız uç noktaları izlemek için SageMaker şunları yapar: birkaç metrik gibi ApproximateBacklogSize
, HasBacklogWithoutCapacity
ve daha fazlasını CloudWatch'ta bulabilirsiniz. Bu ölçümler bir örnek için kuyruktaki istekleri gösterebilir ve bir uç noktayı otomatik olarak ölçeklendirmek için kullanılabilir. SageMaker eşzamansız çıkarımı aynı zamanda ana bilgisayar düzeyinde ölçümleri de içerir. Ana bilgisayar düzeyindeki ölçümler hakkında bilgi için bkz. SageMaker İşleri ve Uç Nokta Metrikleri. Bu ölçümler, örneği doğru boyutlandırmanıza yardımcı olabilecek kaynak kullanımını gösterebilir.
SageMaker destekler otomatik ölçeklendirme eşzamansız uç noktalar için. Gerçek zamanlı olarak barındırılan uç noktaların aksine, eşzamansız çıkarım uç noktaları, minimum kapasiteyi sıfıra ayarlayarak örneklerin ölçeğinin sıfıra düşürülmesini destekler. Eşzamansız uç noktalar için SageMaker, konuşlandırılmış bir model (varyant) için hedef izleme ölçeklendirmesine yönelik bir politika yapılandırması oluşturmanızı önemle önerir. Ölçeklenen ölçeklendirme politikasını tanımlamanız gerekir. ApproximateBacklogPerInstance
özel metriği seçin ve MinCapacity
değeri sıfıra indir.
Eşzamansız çıkarım, işlenecek istek olmadığında örnek sayısını otomatik olarak sıfıra ölçeklendirerek maliyetlerden tasarruf etmenize olanak tanır; böylece yalnızca uç noktanız istekleri işlerken ödeme yaparsınız. Sıfır örnek olduğunda alınan istekler, uç nokta ölçeklendikten sonra işlenmek üzere sıraya alınır. Bu nedenle, birkaç dakikalık soğuk başlatma cezasını tolere edebilen kullanım senaryoları için, isteğe bağlı olarak, bekleyen istek olmadığında uç nokta bulut sunucusu sayısını sıfıra düşürebilir ve yeni istekler geldikçe ölçeği artırabilirsiniz. Soğuk başlangıç süresi, sıfırdan yeni bir uç nokta başlatmak için gereken süreye bağlıdır. Ayrıca modelin kendisi büyükse süre daha uzun olabilir. İşinizin 1 saatlik işlem süresinden daha uzun sürmesi bekleniyorsa SageMaker toplu dönüşümünü düşünebilirsiniz.
Ayrıca, örnek türünü seçmek için isteğinizin sıraya alınma süresini işlem süresiyle birlikte değerlendirebilirsiniz. Örneğin, kullanım durumunuz saatlerce bekleme süresini tolere edebiliyorsa maliyetten tasarruf etmek için daha küçük bir örnek seçebilirsiniz.
SageMaker uç noktaları için örnek doğru boyutlandırma ve otomatik ölçeklendirme hakkında ek rehberlik için bkz. Amazon SageMaker'da verimli bilgi işlem kaynakları sağlayın.
Sunucusuz çıkarım
Sunucusuz çıkarım, temel altyapıyı yapılandırmanıza veya yönetmenize gerek kalmadan çıkarım için ML modellerini dağıtmanıza olanak tanır. Modelinizin aldığı çıkarım isteklerinin hacmine bağlı olarak SageMaker sunucusuz çıkarım, işlem kapasitesini otomatik olarak hazırlar, ölçeklendirir ve kapatır. Sonuç olarak, boşta kalma süresi için değil, yalnızca çıkarım kodunuzu çalıştırmak için gereken işlem süresi ve işlenen veri miktarı için ödeme yaparsınız. Sunucusuz uç noktalar için örnek provizyonu gerekli değildir. şunları sağlamanız gerekir: bellek boyutu ve maksimum eşzamanlılık. Sunucusuz uç noktalar isteğe bağlı olarak bilgi işlem kaynakları sağladığından uç noktanız, boşta geçen bir sürenin ardından ilk çağrıda fazladan birkaç saniyelik gecikme (soğuk başlatma) yaşayabilir. Çıkarım isteklerini işlemek için kullanılan işlem kapasitesi için ödeme yaparsınız; milisaniye, GB-ay sağlanan depolama alanı ve işlenen veri miktarına göre faturalandırılırsınız. İşlem ücreti seçtiğiniz bellek yapılandırmasına bağlıdır.
Maliyet Gezgini'nde, kullanım türüne bir filtre uygulayarak sunucusuz uç nokta maliyetlerini filtreleyebilirsiniz. Bu kullanım tipinin adı şu şekilde yapılandırılmıştır: REGION-ServerlessInf:Mem-MemorySize
(Örneğin, USE2-ServerlessInf:Mem-4GB
). GB hacmi ve GB verilerinin işlendiği kullanım türlerinin gerçek zamanlı uç noktalarla aynı olduğunu unutmayın.
Hesap numarası, bulut sunucusu türü, Bölge ve daha fazlası gibi ek filtreler uygulayarak maliyet dökümünü görebilirsiniz. Aşağıdaki ekran görüntüsü, sunucusuz çıkarım kullanım türü için filtreler uygulanarak maliyet dökümünü göstermektedir.
Sunucusuz çıkarım için maliyeti optimize edin
Sunucusuz uç noktanızı yapılandırırken bellek boyutunu ve maksimum eşzamanlı çağrı sayısını belirtebilirsiniz. SageMaker sunucusuz çıkarım, işlem kaynaklarını seçtiğiniz belleğe orantılı olarak otomatik olarak atar. Daha büyük bir bellek boyutu seçerseniz kapsayıcınız daha fazla vCPU'ya erişebilir. Sunucusuz çıkarımla yalnızca milisaniye cinsinden faturalandırılan, çıkarım isteklerini işlemek için kullanılan işlem kapasitesi ve işlenen veri miktarı için ödeme yaparsınız. İşlem ücreti seçtiğiniz bellek yapılandırmasına bağlıdır. Seçebileceğiniz bellek boyutları 1024 MB, 2048 MB, 3072 MB, 4096 MB, 5120 MB ve 6144 MB'dir. Fiyatlandırma, aşağıda açıklandığı gibi, bellek boyutu artışlarıyla birlikte artar. Amazon SageMaker Fiyatlandırmasıbu nedenle doğru bellek boyutunu seçmek önemlidir. Genel bir kural olarak bellek boyutunun en az model boyutunuz kadar büyük olması gerekir. Ancak uç nokta bellek boyutuna karar verirken model boyutunun yanı sıra bellek kullanımına da bakmak iyi bir uygulamadır.
SageMaker çıkarım maliyetlerini optimize etmek için genel en iyi uygulamalar
Barındırma maliyetlerini optimize etmek tek seferlik bir olay değildir. Bu, konuşlandırılan altyapıyı, kullanım kalıplarını ve performansı sürekli olarak izleyen ve aynı zamanda AWS'nin piyasaya sürdüğü ve maliyeti etkileyebilecek yeni yenilikçi çözümleri yakından takip eden bir süreçtir. Aşağıdaki en iyi uygulamaları göz önünde bulundurun:
- Uygun bir örnek türü seçin – SageMaker, her biri farklı CPU, GPU, bellek ve depolama kapasitesi kombinasyonlarına sahip birden fazla bulut sunucusu tipini destekler. Modelinizin kaynak gereksinimlerine göre, aşırı kaynak sağlamadan gerekli kaynakları sağlayan bir bulut sunucusu tipi seçin. Mevcut SageMaker bulut sunucusu türleri, bunların özellikleri ve doğru bulut sunucusunu seçme konusunda rehberlik hakkında bilgi için bkz. Amazon SageMaker'da verimli bilgi işlem kaynakları sağlayın.
- Yerel modu kullanarak test edin – Arızaları daha hızlı tespit etmek ve hata ayıklamak için kodun ve konteynerin (BYOC durumunda) test edilmesi önerilir. yerel mod Çıkarım iş yükünü uzak SageMaker örneğinde çalıştırmadan önce. Yerel mod, komut dosyalarınızı SageMaker tarafından yönetilen bir barındırma ortamında çalıştırmadan önce test etmenin harika bir yoludur.
- Modelleri daha performanslı olacak şekilde optimize edin – Optimize edilmemiş modeller daha uzun çalışma sürelerine ve daha fazla kaynak kullanımına yol açabilir. Performansı artırmak için daha fazla veya daha büyük örnekler kullanmayı seçebilirsiniz; ancak bu daha yüksek maliyetlere yol açar. Modellerinizi daha performanslı olacak şekilde optimize ederek aynı veya daha iyi performans özelliklerini korurken daha az veya daha küçük örnekler kullanarak maliyetleri düşürebilirsiniz. Kullanabilirsiniz Amazon SageMaker Neo Modelleri otomatik olarak optimize etmek için SageMaker çıkarımıyla. Daha fazla ayrıntı ve örnekler için bkz. Neo'yu kullanarak model performansını optimize edin.
- Etiketleri ve maliyet yönetimi araçlarını kullanın – Çıkarım iş yüklerinizin görünürlüğünü korumak için etiketlerin yanı sıra aşağıdaki gibi AWS maliyet yönetimi araçlarını kullanmanız önerilir: AWS Bütçeleri, AWS Faturalandırma konsoluve Cost Explorer'ın tahmin özelliği. Ayrıca SageMaker Tasarruf Planlarını esnek bir fiyatlandırma modeli olarak da keşfedebilirsiniz. Bu seçenekler hakkında daha fazla bilgi için bkz. Bölüm 1 bu serinin.
Sonuç
Bu yazıda, SageMaker çıkarım seçeneklerini kullanırken maliyet analizi ve en iyi uygulamalar konusunda rehberlik sağladık. Makine öğrenimi kendisini endüstriler genelinde güçlü bir araç olarak kabul ettirdikçe, makine öğrenimi modellerinin eğitimi ve çalıştırılmasının uygun maliyetli kalması gerekiyor. SageMaker, makine öğrenimi hattındaki her adımı kolaylaştırmak için geniş ve derin bir özellik seti sunar ve performansı veya çevikliği etkilemeden maliyet optimizasyonu fırsatları sunar. SageMaker iş yüklerinize ilişkin maliyet rehberliği için AWS ekibinize ulaşın.
Yazarlar Hakkında
Deepali Rajale AWS'de Kıdemli AI/ML Uzmanıdır. AWS ekosisteminde AI/ML çözümlerini dağıtmak ve sürdürmek için en iyi uygulamalarla teknik rehberlik sağlayan kurumsal müşterilerle birlikte çalışıyor. NLP ve bilgisayarlı görmeyi içeren çeşitli derin öğrenme kullanım senaryoları üzerinde çok çeşitli kuruluşlarla çalıştı. Kullanım deneyimlerini geliştirmek için kuruluşların üretken yapay zekadan yararlanmalarını sağlama konusunda tutkulu. Boş zamanlarında film, müzik ve edebiyattan hoşlanıyor.
Uri Rosenberg Avrupa, Orta Doğu ve Afrika'nın Yapay Zeka ve Öğrenim Uzmanı Teknik Müdürüdür. Merkezi İsrail'de bulunan Uri, kurumsal müşterilere makine öğrenimi ile ilgili her konuda geniş ölçekte tasarlama, oluşturma ve çalıştırma konusunda destek sağlamak için çalışıyor. Boş zamanlarında bisiklete binmeyi, yürüyüş yapmayı ve rock and roll tırmanışını seviyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
- Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
- PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/part-5-analyze-amazon-sagemaker-spend-and-determine-cost-optimization-opportunities-based-on-usage-part-5-hosting/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 000
- 1
- 100
- 2021
- 24
- 30
- 40
- 500
- 7
- 8
- a
- Yapabilmek
- Hakkımızda
- hızlandırıcılar
- erişim
- Hesap
- Hesaplar
- Başarmak
- elde
- karşısında
- Action
- eylemler
- eklemek
- ilave
- Ek
- Afrika
- Sonra
- AI
- AI / ML
- algoritmalar
- Türkiye
- tahsis
- veriyor
- zaten
- Ayrıca
- Amazon
- Amazon EC2
- Amazon Adaçayı Yapıcı
- Amazon Web Servisleri
- miktar
- an
- analiz
- çözümlemek
- ve
- Başka
- herhangi
- artık
- api
- uygulamalı
- Tamam
- Uygulanması
- uygun
- yaklaşık olarak
- ARE
- yapay
- yapay zeka
- Yapay zeka (AI)
- AS
- ilişkili
- At
- iliştirmek
- teşebbüs
- Oto
- otomatik olarak
- mevcut
- önlemek
- AWS
- Arka
- merkezli
- BE
- Çünkü
- olmuştur
- önce
- altında
- faydalı
- yarar
- faydaları
- İYİ
- en iyi uygulamalar
- Daha iyi
- Büyük
- büyük
- fatura
- Engellemek
- Arıza
- getirmek
- inşa etmek
- yerleşik
- fakat
- by
- CAN
- aday
- adaylar
- kapasiteleri
- Kapasite
- dava
- durumlarda
- belli
- değişiklikler
- özellikleri
- ücret
- yüklü
- yükler
- seçim
- Klinik
- seçme
- klasik
- Tırmanma
- Küme
- kod
- soğuk
- kombinasyonları
- birleştirmek
- kombine
- nasıl
- geliyor
- ortak
- çoğunlukla
- tamamlamak
- bileşen
- bileşenler
- hesaplamak
- bilgisayar
- Bilgisayar görüşü
- eşzamanlı
- yapılandırma
- ardışık
- Düşünmek
- hususlar
- pekiştirmek
- Birleşti
- tüketilen
- tüketim
- Konteyner
- Konteynerler
- içeren
- sürekli
- çekirdek
- doğru
- Ücret
- Maliyet yönetimi
- uygun maliyetli
- maliyetler
- olabilir
- yaratmak
- oluşturma
- Şu anda
- görenek
- Müşteriler
- günlük
- veri
- veri kümeleri
- Günler
- karar vermek
- Karar verme
- derin
- derin öğrenme
- Varsayılan
- Talep
- bağlıdır
- dağıtmak
- konuşlandırılmış
- dağıtma
- açılma
- dağıtır
- Dizayn
- tasarlanmış
- İstediğiniz
- ayrıntı
- ayrıntılar
- Belirlemek
- farklı
- tartışmak
- ekran
- görüntüler
- dağıtmak
- do
- Değil
- yapılmış
- Dont
- çift
- aşağı
- indir
- gereken
- sırasında
- her
- Daha erken
- kolayca
- Doğu
- ekosistem
- verimli
- ya
- güçlendirmek
- güçlendirici
- etkinleştirmek
- sağlar
- Son nokta
- enerji
- artırmak
- sağlamak
- kuruluş
- çevre
- ortamları
- eşit
- Eşdeğer
- hata
- Hatalar
- kurar
- tahmin
- AVRUPA
- değerlendirmek
- Etkinlikler
- örnek
- aşmak
- takas
- beklenen
- deneyim
- deneme
- açıkladı
- keşfetmek
- kâşif
- yaygın olarak
- ekstra
- göz
- kolaylaştırıcı
- FAIL
- başarısız
- aile
- Daha hızlı
- Özellikler(Hazırlık aşamasında)
- az
- daha az
- fileto
- dosyalar
- filtre
- süzme
- filtreler
- Ad
- uygun
- esnek
- odak
- takip etme
- şu
- İçin
- bulundu
- dört
- itibaren
- tam
- fonksiyonlar
- Ayrıca
- Kazanç
- genel
- üreten
- üretken
- üretken yapay zeka
- almak
- verilmiş
- Tercih Etmenizin
- GPU
- grafikler
- harika
- büyük
- grup
- rehberlik
- Kolları
- Var
- sahip olan
- he
- yardım et
- yardım
- onu
- Yüksek
- daha yüksek
- en yüksek
- onun
- Yatay
- ev sahipliği yaptı
- hosting
- barındırma maliyetleri
- ana
- saat
- SAAT
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- http
- HTTPS
- Yüzlerce
- i
- ideal
- belirlemek
- boş
- if
- darbe
- etkileyen
- önemli
- iyileştirmek
- in
- dahil
- içerir
- Dahil olmak üzere
- Artışlar
- gösterir
- bireysel
- Endüstri
- bilgi
- Altyapı
- yenilikçi
- giriş
- anlayışlar
- örnek
- talimatlar
- İstihbarat
- etkileşim
- içten
- içine
- Giriş
- içeren
- Israil
- IT
- ONUN
- kendisi
- İş
- Mesleki Öğretiler
- jpg
- Keskin
- koruma
- anahtar
- dil
- büyük
- büyük
- Soyad
- Gecikme
- başlatmak
- başlattı
- öncülük etmek
- İlanlar
- öğrendim
- öğrenme
- en az
- Dersler
- Öğrenilen Dersler
- seviye
- Kaldıraç
- yaşam döngüsü
- sevmek
- çizgi
- bağlantılı
- Liste
- Edebiyat
- yük
- yerel
- yer
- Uzun
- uzun
- Bakın
- Düşük
- alt
- Indirme
- makine
- makine öğrenme
- korumak
- Bakımı
- tutar
- yapmak
- YAPAR
- yönetmek
- yönetilen
- yönetim
- yönetim Araçları
- müdür
- el ile
- Haritalar
- işaretlenmiş
- Maç
- maksimum
- Mayıs..
- anlamına geliyor
- Neden
- Bellek
- adı geçen
- metrik
- Metrikleri
- Orta
- Orta Doğu
- olabilir
- asgari
- dakika
- ML
- Moda
- model
- modelleri
- izlemek
- izlenen
- izleme
- Ay
- aylık
- ay
- Daha
- filmler
- Çok Modelli Uç Nokta
- çoklu
- Music
- şart
- isim
- isimleri
- gerekli
- gerek
- gerekli
- ihtiyaçlar
- ağ
- ŞEBEKE KESİNTİSİ
- yeni
- nlp
- yok hayır
- tebliğ
- bildirimleri
- numara
- nesneler
- elde etmek
- elde
- of
- kapalı
- Teklifler
- çevrimdışı
- on
- ONE
- Online
- bir tek
- işletmek
- Fırsatlar
- optimum
- optimizasyon
- optimize
- optimize
- seçenek
- Opsiyonlar
- or
- sipariş
- organizasyonlar
- Diğer
- dışarı
- fire
- özetlenen
- çıktı
- ödenmemiş
- tekrar
- kendi
- Paralel
- parametre
- parametreler
- Bölüm
- geçmek
- Geçen
- tutkulu
- geçmiş
- model
- desen
- yüzde
- performans
- dönem
- periyodik
- perspektif
- seçmek
- boru hattı
- plan
- ağladım
- Platon
- Plato Veri Zekası
- PlatoVeri
- politika
- belki
- Çivi
- Mesajlar
- güçlü
- uygulama
- uygulamalar
- Tahminler
- fiyat
- fiyatlandırma
- fiyatlandırma modeli
- Proaktif
- süreç
- İşlenmiş
- Süreçler
- işleme
- işlemciler
- üretim
- teşvik
- sağlamak
- sağlanan
- sağlar
- sağlama
- hüküm
- amaçlı
- koymak
- sorgular
- menzil
- oran
- daha doğrusu
- ulaşmak
- Okuma
- gerçek
- gerçek zaman
- teslim almak
- Alınan
- alır
- tavsiye etmek
- tavsiyeler
- Tavsiye edilen
- önerir
- kayıt
- kayıtlar
- azaltmak
- bölge
- Bildirileri
- kalmak
- uzak
- çıkarıldı
- rapor
- Raporlama
- Raporlar
- talep
- isteklerinizi
- gereklidir
- Yer Alan Kurallar
- kaynak
- Kaynaklar
- yanıt
- DİNLENME
- sonuç
- Sonuçlar
- İade
- krallar gibi yaşamaya
- kaya
- Rulo
- yolları
- Kural
- kurallar
- koşmak
- koşu
- sagemaker
- SageMaker Çıkarımı
- aynı
- İndirim
- Tasarruf
- ölçek
- terazi
- ölçekleme
- senaryolar
- tarifeli
- çizik
- scriptler
- saniye
- bölümler
- görmek
- seçilmiş
- seçme
- kıdemli
- gönderdi
- ayrı
- Dizi
- Serverless
- hizmet
- Hizmetler
- servis
- set
- ayar
- birkaç
- gölge
- paylaş
- o
- meli
- şov
- gösterdi
- gösterilen
- Gösteriler
- benzer şekilde
- Basit
- beri
- tek
- beden
- boyutları
- Dilim
- küçük
- daha küçük
- So
- Çözümler
- biraz
- Kaynak
- uzman
- özel
- özellikler
- geçirmek
- bölmek
- yığın
- standart
- başlama
- başladı
- adım
- hafızası
- saklı
- şiddetle
- yapılandırılmış
- başarı
- başarılı
- Başarılı olarak
- böyle
- yeterli
- uygun
- destek
- proaktif destek
- destekli
- Destekler
- sistem
- TAG
- Bizi daha iyi tanımak için
- alır
- görevleri
- takım
- Teknik
- test
- Test yapmak
- testleri
- göre
- o
- The
- ve bazı Asya
- Onları
- sonra
- Orada.
- böylece
- bu nedenle
- Bunlar
- işler
- Re-Tweet
- Bu
- İçinden
- verim
- zaman
- zamanlar
- için
- araç
- araçlar
- konu
- Toplam
- trafik
- Eğitim
- Dönüştürmek
- transformatörler
- Trendler
- gerçek
- döner
- tip
- türleri
- altında yatan
- aksine
- öngörülemeyen
- Yüklenen
- kullanım
- kullanım
- kullanım durumu
- Kullanılmış
- kullanım
- kullanma
- genellikle
- Kullanılması
- DOĞRULA
- değer
- Değerler
- Varyant
- çeşitli
- Görüntüle
- görünürlük
- vizyonumuz
- görüntüleme
- hacim
- hacimleri
- beklemek
- istemek
- Yol..
- we
- ağ
- web hizmetleri
- İYİ
- Ne
- ne zaman
- olup olmadığını
- hangi
- süre
- geniş
- Geniş ürün yelpazesi
- irade
- ile
- içinde
- olmadan
- işlenmiş
- işçi
- işçiler
- çalışır
- yazı yazıyor
- yazılı
- Sen
- zefirnet
- sıfır