Son birkaç yılda yapılan araştırmalar, makine öğrenimi (ML) modellerinin aşağıdakilere karşı savunmasız olduğunu göstermiştir. karşıt girdiler, bir düşmanın modelin çıktısını stratejik olarak değiştirmek için girdiler oluşturabileceği ( görüntü sınıflandırması, Konuşma tanımaya da sahtekarlık tespiti). Örneğin, çalışanlarınızı yüzlerinin görüntülerine göre tanımlayan bir model uyguladığınızı hayal edin. Teknik incelemede gösterildiği gibi Bir Suçu Aksesuarlandırın: Son Teknoloji Yüz Tanıma Sistemine Gerçek ve Gizli Saldırılar, kötü niyetli çalışanlar, imajlarına ince ama dikkatle tasarlanmış değişiklikler uygulayabilir ve diğer çalışanlar olarak kimliklerini doğrulamak için modeli kandırabilir. Açıkçası, bu tür olumsuz girdiler - özellikle de önemli miktarda varsa - yıkıcı bir iş etkisine sahip olabilir.
İdeal olarak, rakip girdilerin modelinizi ve işinizi nasıl etkilediğini ölçmek için modele her bir olumsuz girdi gönderildiğinde algılamak isteriz. Bu amaçla, geniş bir yöntem sınıfı, düşmanca davranışı kontrol etmek için bireysel model girdilerini analiz eder. Bununla birlikte, çekişmeli ML'de aktif araştırma, birçoğunun algılamayı etkisiz kıldığı bilinen, giderek daha karmaşık hale gelen karşıt girdilere yol açmıştır. Bu eksikliğin nedeni, bireysel bir girdiden muhalif olup olmadığı konusunda sonuç çıkarmanın zor olmasıdır. Bu amaçla, yeni bir yöntem sınıfı, aynı anda birden çok girdiyi analiz ederek dağıtım düzeyinde kontrollere odaklanır. Bu yeni yöntemlerin arkasındaki ana fikir, aynı anda birden fazla girdiyi dikkate almanın, bireysel girdilerle mümkün olmayan daha güçlü istatistiksel analizlere olanak sağlamasıdır. Ancak, model hakkında derin bilgiye sahip kararlı bir düşman karşısında, bu gelişmiş tespit yöntemleri bile başarısız olabilir.
Ancak savunma yöntemlerine ek bilgiler sağlayarak bu kararlı düşmanları bile yenebiliriz. Spesifik olarak, sadece model girdilerini analiz etmek yerine, derin bir sinir ağında ara katmanlardan toplanan gizli temsilleri analiz etmek, savunmayı önemli ölçüde güçlendirir.
Bu gönderide, kullanarak karşıt girdilerin nasıl tespit edileceği konusunda size yol göstereceğiz. Amazon SageMaker Model Monitörü ve Amazon SageMaker Hata Ayıklayıcısı üzerinde barındırılan bir görüntü sınıflandırma modeli için Amazon Adaçayı Yapıcı.
Bu gönderide listelenen farklı adımları ve sonuçları yeniden oluşturmak için depoyu klonlayın -karşıt-örnekleri-kullanarak-sagemaker tespit etmek Amazon SageMaker not defteri bulut sunucunuza girin ve not defterini çalıştırın.
Karşıt girdileri algılama
Derin bir sinir ağından toplanan temsilleri kullanarak karşıt girdileri nasıl tespit edeceğinizi gösteriyoruz. Aşağıdaki dört görüntü, soldaki orijinal eğitim görüntüsünü (Tiny ImageNet veri kümesinden alınmıştır) ve farklı pertürbasyon parametreleri ϵ ile Yansıtılan Gradient Descent (PGD) saldırısı [1] tarafından üretilen üç görüntüyü göstermektedir. Burada kullanılan model ResNet18 idi. ϵ parametresi, görüntülere eklenen olumsuz gürültü miktarını tanımlar. Orijinal görüntü (solda) sınıf 67 (goose
). Düşmanca değiştirilmiş 2, 3 ve 4 numaralı resimler, sınıf 51 olarak yanlış tahmin edilmiştir (mantis
) ResNet18 modeline göre. Küçük ϵ ile oluşturulan görüntülerin orijinal giriş görüntüsünden algısal olarak ayırt edilemez olduğunu da görebiliriz.
Ardından, bir dizi normal ve muhalif görüntü oluşturuyoruz ve t-Dağıtılmış Stokastik Komşu Gömme (t-SNE [2]) dağılımlarını görsel olarak karşılaştırmak için. t-SNE, yüksek boyutlu verileri 2 veya 3 boyutlu bir alana eşleyen bir boyutluluk azaltma yöntemidir. Aşağıdaki görüntüdeki her veri noktası bir giriş görüntüsü sunar. Turuncu veri noktaları, test setinden alınan normal girdileri gösterir ve mavi veri noktaları, 0.003'lük bir epsilon ile oluşturulan karşılık gelen çekişmeli görüntüleri gösterir. Normal ve karşıt girdiler ayırt edilebilirse, t-SNE görselleştirmesinde ayrı kümeler olmasını bekleriz. Her ikisi de aynı kümeye ait olduğundan, bu, yalnızca model girdi dağılımındaki değişikliklere odaklanan bir algılama tekniğinin bu girdileri ayırt edemeyeceği anlamına gelir.
ResNet18 modelinde farklı katmanlar tarafından üretilen katman temsillerine daha yakından bakalım. ResNet18, 18 katmandan oluşur; Aşağıdaki resimde, bu katmanların altısı için temsiller için t-SNE yerleştirmelerini görselleştiriyoruz.
Önceki şeklin gösterdiği gibi, ResNet18 modelinin daha derin katmanları için doğal ve rakip girdiler daha ayırt edilebilir hale gelir.
Bu gözlemlere dayanarak, hipotez testi ile ayırt edilebilirliği ölçen istatistiksel bir yöntem kullanıyoruz. Yöntem oluşur iki örnek testi kullanma maksimum ortalama tutarsızlık (MMD). MMD, verileri üreten iki dağıtım arasındaki benzerliği ölçmek için çekirdek tabanlı bir ölçümdür. İki örnekli bir test, iki dağılımdan alınan girdileri içeren iki küme alır ve bu dağılımların aynı olup olmadığını belirler. Eğitim verilerinde gözlemlenen girdilerin dağılımını karşılaştırır ve çıkarım sırasında alınan girdilerin dağılımıyla karşılaştırırız.
Bizim yöntemimiz bu girdileri MMD kullanarak p-değerini tahmin etmek için kullanır. Eğer p değeri kullanıcıya özel anlamlılık eşiğinden büyükse (bizim durumumuzda %5), her iki dağılımın da farklı olduğu sonucuna varırız. Eşik, yanlış pozitifler ve yanlış negatifler arasındaki dengeyi ayarlar. %10 gibi daha yüksek bir eşik, yanlış negatif oranını azaltır (her iki dağılımın farklı olduğu ancak testin bunu göstermediği daha az vaka vardır). Bununla birlikte, aynı zamanda daha fazla yanlış pozitif sonuç verir (test, durum böyle olmasa bile her iki dağılımın da farklı olduğunu gösterir). Öte yandan, %1 gibi daha düşük bir eşik, daha az yanlış pozitif ancak daha fazla yanlış negatif ile sonuçlanır.
Bu yöntemi sadece ham model girdilerine (görüntülere) uygulamak yerine, modelimizin ara katmanları tarafından üretilen gizli temsilleri kullanıyoruz. Olasılıklı doğasını hesaba katmak için, rastgele seçilmiş 100 doğal girdi ve rastgele seçilmiş 100 karşıt girdi üzerinde hipotez testini 100 kez uygularız. Ardından algılama oranını, %5 anlamlılık eşiğimize göre bir algılama olayıyla sonuçlanan testlerin yüzdesi olarak bildiririz. Daha yüksek algılama oranı, iki dağılımın farklı olduğunun daha güçlü bir göstergesidir. Bu prosedür bize aşağıdaki algılama oranlarını verir:
- Katman 1: %3
- Katman 4: %7
- Katman 8: %84
- Katman 12: %95
- Katman 14: %100
- Katman 15: %100
İlk katmanlarda algılama oranı oldukça düşüktür (%10'dan az), ancak daha derin katmanlarda %100'e yükselir. Yöntem, istatistiksel testi kullanarak, daha derin katmanlardaki rakip girdileri güvenle tespit edebilir. Sondan bir önceki katman (bir modelde sınıflandırma katmanından önceki son katman) tarafından oluşturulan temsilleri kullanmak genellikle yeterlidir. Daha karmaşık rakip girdiler için, diğer katmanlardan temsilleri kullanmak ve algılama oranlarını toplamak yararlıdır.
Çözüme genel bakış
Önceki bölümde, sondan bir önceki katmandaki temsilleri kullanarak karşıt girdilerin nasıl tespit edileceğini gördük. Ardından, Model Monitor ve Debugger kullanarak SageMaker'da bu testlerin nasıl otomatikleştirileceğini göstereceğiz. Bu örnek için, önce küçük ImageNet veri kümesi üzerinde bir görüntü sınıflandırma ResNet18 modeli eğitiyoruz. Ardından, modeli SageMaker'da dağıtır ve istatistiksel testi çalıştıran özel bir Model İzleme programı oluştururuz. Daha sonra, yöntemin ne kadar etkili olduğunu görmek için normal ve karşıt girdilerle çıkarım yapıyoruz.
Hata Ayıklayıcı kullanarak tensörleri yakalayın
Model eğitimi sırasında, daha sonra normal girdilerin dağılımı hakkında bilgi elde etmek için kullanılan sondan bir önceki katman tarafından oluşturulan temsilleri yakalamak için Hata Ayıklayıcı'yı kullanırız. Hata Ayıklayıcı, model eğitimi sırasında model parametreleri, degradeler ve etkinleştirmeler gibi bilgileri yakalamanıza ve analiz etmenize olanak tanıyan bir SageMaker özelliğidir. Bu parametre, gradyan ve aktivasyon tensörleri şuraya yüklenir: Amazon Basit Depolama Hizmeti (Amazon S3) eğitim devam ederken. Fazla sığdırma ve kaybolan gradyanlar gibi sorunlar için bunları analiz eden kuralları yapılandırabilirsiniz. Kullanım durumumuz için, modelin yalnızca sondan bir önceki katmanını yakalamak istiyoruz (.*avgpool_output
) ve model çıktıları (tahminler). Toplanacak katman temsilleri için düzenli bir ifade tanımlayan bir Hata Ayıklayıcı kanca konfigürasyonu belirtiriz. Ayrıca bir belirtiyoruz save_interval
Bu, Hata Ayıklayıcı'ya doğrulama aşamasında her 100 ileri geçişte bir bu verileri toplamasını söyler. Aşağıdaki koda bakın:
SageMaker eğitimini çalıştırın
Hata Ayıklayıcı yapılandırmasını SageMaker tahmincisine geçiriyoruz ve eğitime başlıyoruz:
Bir görüntü sınıflandırma modeli dağıtın
Model eğitimi tamamlandıktan sonra modeli SageMaker üzerinde bir uç nokta olarak dağıtıyoruz. bir çıkarım komut dosyası tanımlayan model_fn
ve transform_fn
fonksiyonlar. Bu işlevler, modelin nasıl yüklendiğini ve model çıkarımını gerçekleştirmek için gelen verilerin nasıl önceden işlenmesi gerektiğini belirtir. Kullanım durumumuz için, Hata Ayıklayıcı'nın çıkarım sırasında ilgili verileri yakalamasını sağlıyoruz. İçinde model_fn
işlevinde bir Hata Ayıklayıcı kancası ve bir save_config
Bu, her çıkarım talebi için model girdilerinin (görüntüler), model çıktılarının (tahminler) ve sondan bir önceki katmanın kaydedildiğini belirtir (.*avgpool_output
). Daha sonra kancayı modele kaydederiz. Aşağıdaki koda bakın:
Şimdi notebooktan yapabileceğimiz modeli iki şekilde konuşlandırıyoruz. biz de arayabiliriz pytorch_estimator.deploy()
veya Amazon S3'te SageMaker eğitim işi tarafından oluşturulmuş model yapıt dosyalarına işaret eden bir PyTorch modeli oluşturun. Bu yazıda, ikincisini yapıyoruz. Bu, ortam değişkenlerini SageMaker tarafından oluşturulan ve dağıtılan Docker kapsayıcısına aktarmamızı sağlar. Ortam değişkenine ihtiyacımız var tensors_output
komut dosyasına çıkarım sırasında SageMaker Hata Ayıklayıcı tarafından toplanan tensörlerin nereye yükleneceğini söylemek. Aşağıdaki koda bakın:
Ardından, tahmin ediciyi bir ml.m5.xlarge bulut sunucusu tipine yerleştiririz:
Özel bir Model Monitör programı oluşturun
Uç nokta çalışır durumdayken, özelleştirilmiş bir Model İzleme planı oluştururuz. Bu bir SageMaker işleme işi periyodik aralıklarla (saatlik veya günlük gibi) çalışan ve çıkarım verilerini analiz eden. Model Monitor, veri kaymasını analiz eden ve algılayan önceden yapılandırılmış bir kapsayıcı sağlar. Bizim durumumuzda, onu Hata Ayıklayıcı verilerini alacak şekilde özelleştirmek ve alınan katman temsillerinde MMD iki örnek testini çalıştırmak istiyoruz.
Bunu özelleştirmek için önce, bu işlerin hangi örnek türünde çalışacağını ve özel Model Monitor kapsayıcımızın konumunu belirten Model Monitor nesnesini tanımlarız:
Bu işi saatlik olarak çalıştırmak istiyoruz, bu yüzden belirtiyoruz CronExpressionGenerator.hourly()
ve analiz sonuçlarının yüklendiği çıktı konumları. Bunun için tanımlamamız gerekiyor ProcessingOutput
SageMaker işleme çıktısı için:
Özel Model Monitor kapsayıcımızın ne çalıştığına daha yakından bakalım. biz değerlendirme komut dosyası, Hata Ayıklayıcı tarafından yakalanan verileri yükler. Biz de bir deneme nesnesiBu, Debugger'ın kaydettiği verilere erişmemizi, sorgulamamızı ve filtrelememizi sağlar. Deneme nesnesi ile, çıkarım ve eğitim aşamalarında kaydedilen adımları yineleyebiliriz. trial.steps(mode)
.
İlk önce model çıktılarını alıyoruz (trial.tensor("ResNet_output_0")
) yanı sıra sondan bir önceki katman (trial.tensor_names(regex=".*avgpool_output")
). Bunu eğitimin çıkarım ve doğrulama aşamaları için yapıyoruz (modes.EVAL
ve modes.PREDICT
). Doğrulama aşamasındaki tensörler, daha sonra çıkarım verilerinin dağılımını karşılaştırmak için kullandığımız normal dağılımın bir tahmini olarak hizmet eder. bir sınıf oluşturduk LADİLER (Katmanlı İstatistikler Yoluyla Olumsuz Girdi Dağılımlarını Tespit Etme). Bu sınıf, iki örnek testi gerçekleştirmek için ilgili işlevleri sağlar. Çıkarım ve doğrulama aşamalarından tensörlerin listesini alır ve iki örnek testi çalıştırır. %0-100 arasında bir değer olan bir algılama oranı döndürür. Değer ne kadar yüksek olursa, çıkarım verilerinin farklı bir dağılımı izlemesi o kadar olasıdır. Ayrıca, her numune için, bir numunenin ne kadar olası olduğunu gösteren bir puan hesaplıyoruz ve ilk 100 numune kaydediliyor, böylece kullanıcılar bunları daha fazla inceleyebilir. Aşağıdaki koda bakın:
Karşıt girdilere karşı test edin
Artık özel Model Monitör programımız dağıtıldığına göre, bazı çıkarım sonuçları üretebiliriz.
İlk olarak, holdout kümesindeki verilerle ve ardından rakip girdilerle çalışırız:
Daha sonra Model Monitör ekranını kontrol edebiliriz. Amazon SageMaker Stüdyosu veya kullanım Amazon Bulut İzleme bir sorun bulunup bulunmadığını görmek için günlükler.
Ardından, SageMaker'da barındırılan modele karşı rakip girdileri kullanırız. Tiny ImageNet veri kümesinin test veri kümesini kullanırız ve modelin doğru sınıfları tanımaması için piksel düzeyinde bozulmalara neden olan PGD saldırısını uygularız. Aşağıdaki resimlerde, soldaki sütun iki orijinal test görüntüsünü, ortadaki sütun, bunların olumsuz şekilde bozulan versiyonlarını ve sağdaki sütun, her iki görüntü arasındaki farkı göstermektedir.
Şimdi Model Monitor durumunu kontrol edebilir ve bazı çıkarım görüntülerinin farklı bir dağılımdan çekildiğini görebiliriz.
Sonuçlar ve kullanıcı eylemi
Özel Model İzleme işi, her bir çıkarım isteği için puanları belirler; bu, örneğin MMD testine göre ne kadar düşmanca olduğunu gösterir. Bu puanlar tüm çıkarım istekleri için toplanır. Karşılık gelen Hata Ayıklayıcı adım numarasıyla puanları bir JSON dosyasına kaydedilir ve Amazon S3'e yüklenir. Model Monitoring işi tamamlandıktan sonra JSON dosyasını indiriyor, adım numaralarını alıyoruz ve bu adımlar için karşılık gelen model girişlerini almak için Debugger kullanıyoruz. Bu, düşmanca olarak algılanan görüntüleri incelememize olanak tanır.
Aşağıdaki kod bloğu, düşmanca olma olasılığı en yüksek olduğu belirlenen ilk iki resmi çizer:
Örnek test çalıştırmamızda aşağıdaki çıktıyı alıyoruz. Denizanası görüntüsü yanlış bir şekilde portakal, deve görüntüsü ise panda olarak tahmin edildi. Açıkçası, model bu girdilerde başarısız oldu ve Japon balığı veya at gibi benzer bir görüntü sınıfını bile öngörmedi. Karşılaştırma için, sağ tarafta test setinden karşılık gelen doğal numuneleri de gösteriyoruz. Saldırganın getirdiği rastgele bozulmaların her iki görüntünün de arka planında çok görünür olduğunu gözlemleyebiliriz.
Özel Model İzleme işi, algılama oranını CloudWatch'a yayınlar, böylece bu oranın zaman içinde nasıl değiştiğini araştırabiliriz. İki veri noktası arasındaki önemli bir değişiklik, bir rakibin belirli bir zaman diliminde modeli kandırmaya çalıştığını gösterebilir. Ayrıca, her Model İzleme işinde işlenmekte olan çıkarım isteklerinin sayısını ve doğrulama veri kümesi üzerinden hesaplanan temel algılama oranını da çizebilirsiniz. Temel oran genellikle 0'a yakındır ve yalnızca bir karşılaştırma metriği olarak hizmet eder.
Aşağıdaki ekran görüntüsü, 3 saat boyunca üç Model İzleme işi çalıştıran test çalıştırmalarımız tarafından oluşturulan ölçümleri göstermektedir. Her iş, bir seferde yaklaşık 200–300 çıkarım isteğini işler. Algılama oranı 100:5 ile 00:6 arasında %00'dür ve sonrasında düşer.
Ayrıca, modelin ara katmanları tarafından üretilen temsillerin dağılımlarını da inceleyebiliriz. Debugger ile, eğitim işinin doğrulama aşamasındaki verilere ve çıkarım aşamasından tensörlere erişebilir ve belirli tahmin edilen sınıflar için dağılımlarını görselleştirmek için t-SNE'yi kullanabiliriz. Aşağıdaki koda bakın:
Test durumumuzda, ikinci görüntü sınıfı için aşağıdaki t-SNE görselleştirmesini elde ederiz. Rakip örneklerin doğal olanlardan farklı şekilde kümelendiğini gözlemleyebiliriz.
Özet
Bu gönderide, rakip girdileri tespit etmek için maksimum ortalama tutarsızlığı kullanarak iki örnekli bir testin nasıl kullanılacağını gösterdik. Hata Ayıklayıcı ve Model İzleyici kullanarak bu tür algılama mekanizmalarını nasıl dağıtabileceğinizi gösterdik. Bu iş akışı, SageMaker'da barındırılan modellerinizi ölçekte izlemenize ve karşıt girdileri otomatik olarak algılamanıza olanak tanır. Bu konuda daha fazla bilgi edinmek için GitHub repo.
Referanslar
[1] Aleksander Madry, Aleksandar Makelov, Ludwig Schmidt, Dimitris Tsipras ve Adrian Vladu. Düşman saldırılarına dayanıklı derin öğrenme modellerine doğru. İçinde Uluslararası Öğrenme Temsilcileri Konferansı, 2018.
[2] Laurens van der Maaten ve Geoffrey Hinton. t-SNE kullanarak verileri görselleştirme. Journal of Machine Learning Research, 9:2579–2605, 2008. URL http://www.jmlr.org/papers/v9/vandermaaten08a.html.
Yazarlar Hakkında
Nathalie Rauschmayr AWS'de Kıdemli Uygulamalı Bilim Adamıdır ve müşterilerin derin öğrenme uygulamaları geliştirmesine yardımcı olur.
Yiğitcan Kaya Maryland Üniversitesi'nde beşinci sınıf doktora öğrencisi ve AWS'de uygulamalı bilim insanı stajyeri, makine öğrenimi güvenliği ve güvenlik için makine öğrenimi uygulamaları üzerinde çalışıyor.
Bilal Zafer AWS'de Makine Öğreniminde Adalet, Açıklanabilirlik ve Güvenlik üzerinde çalışan bir Uygulamalı Bilim Adamıdır.
Sergül Aydore AWS'de Makine Öğreniminde Gizlilik ve Güvenlik üzerinde çalışan Kıdemli Uygulamalı Bilim Adamıdır
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/detect-adversarial-inputs-using-amazon-sagemaker-model-monitor-and-amazon-sagemaker-debugger/
- "
- 10
- 100
- 67
- 9
- Hakkımızda
- erişim
- Göre
- Hesap
- aktif
- Ek
- ileri
- Türkiye
- Amazon
- miktar
- analiz
- uygulamaları
- Uygulanması
- yaklaşık olarak
- AWS
- arka fon
- Temel
- temel
- müşterimiz
- olmak
- Engellemek
- iş
- çağrı
- ele geçirmek
- durumlarda
- değişiklik
- Çekler
- sınıf
- sınıflar
- sınıflandırma
- yakın
- kod
- toplamak
- Sütun
- hesaplamak
- Konferans
- yapılandırma
- Konteyner
- katkıda bulunmak
- çevrimiçi kurslar düzenliyorlar.
- Suç
- görenek
- Müşteriler
- veri
- derin
- Savunma
- gösterdi
- dağıtmak
- konuşlandırılmış
- algılandı
- Bulma
- geliştirmek
- farklı
- zor
- ekran
- dağıtım
- liman işçisi
- Değil
- Etkili
- çalışanların
- etkinleştirmek
- Son nokta
- çevre
- tahmin
- Etkinlikler
- örnek
- beklemek
- Yüz
- yüzler
- Özellikler(Hazırlık aşamasında)
- şekil
- Ad
- odaklanır
- takip etme
- ileri
- bulundu
- ÇERÇEVE
- tam
- işlev
- daha fazla
- üreten
- gidiş
- büyük
- yardımcı olur
- okuyun
- daha yüksek
- Ne kadar
- Nasıl Yapılır
- HTTPS
- Fikir
- görüntü
- darbe
- indeks
- bireysel
- bilgi
- giriş
- araştırmak
- konu
- sorunlar
- IT
- İş
- Mesleki Öğretiler
- dergi
- anahtar
- bilgi
- bilinen
- Etiketler
- büyük
- ÖĞRENİN
- öğrenme
- Led
- seviye
- Muhtemelen
- Liste
- Listelenmiş
- yer
- yerleri
- makine
- makine öğrenme
- Haritalar
- Maryland
- Metrikleri
- İLE
- ML
- model
- modelleri
- izlemek
- izleme
- Daha
- çoğu
- çoklu
- Doğal (Madenden)
- Tabiat
- ağ
- Gürültü
- normal
- defter
- numara
- sayılar
- Diğer
- yüzde
- faz
- Nokta
- mümkün
- güçlü
- tahmin
- tahmin
- Tahminler
- mevcut
- gizlilik
- Gizlilik ve Güvenlik
- Süreçler
- üretmek
- Üretilmiş
- sağlar
- sağlama
- oranlar
- Çiğ
- tanımak
- kayıt olmak
- düzenli
- uygun
- rapor
- Depo
- talep
- isteklerinizi
- araştırma
- Sonuçlar
- İade
- kurallar
- koşmak
- koşu
- ölçek
- bilim adamı
- güvenlik
- seçilmiş
- set
- önemli
- benzer
- Basit
- ALTINCI
- küçük
- So
- biraz
- sofistike
- uzay
- özellikle
- başlama
- state-of-the-art
- istatistiksel
- istatistik
- istatistikler
- Durum
- hafızası
- Öğrenci
- test
- Test yapmak
- testleri
- İçinden
- zaman
- üst
- karşı
- Eğitim
- deneme
- üniversite
- us
- kullanım
- kullanıcılar
- genellikle
- değer
- gözle görülür
- görüntüleme
- Savunmasız
- Ne
- olup olmadığını
- süre
- Tanıtım Belgesi
- Vikipedi
- çalışma
- olur
- yıl
- yıl