Amazon Rekognition ve diğer içerik denetleme hizmetlerinde içerik denetlemeyi değerlendirmeye yönelik metrikler

İçerik denetleme, kullanıcı tarafından oluşturulan içeriği çevrimiçi olarak tarama ve izleme sürecidir. Hem kullanıcılar hem de markalar için güvenli bir ortam sağlamak için platformlar, içeriğin, platforma ve hedef kitlesine özgü, önceden belirlenmiş kabul edilebilir davranış yönergelerine uymasını sağlamak için denetlemelidir.

Bir platform içeriği yönettiğinde, kabul edilebilir kullanıcı tarafından oluşturulan içerik (UGC) oluşturulabilir ve diğer kullanıcılarla paylaşılabilir. Uygunsuz, toksik veya yasaklanmış davranışlar, platformun sahip olduğu içerik denetleme araçlarına ve prosedürlerine bağlı olarak önlenebilir, gerçek zamanlı olarak engellenebilir veya olaydan sonra kaldırılabilir.

Sen kullanabilirsiniz Amazon Rekognition İçerik Denetleme uygunsuz, istenmeyen veya saldırgan içeriği tespit etmek, daha güvenli bir kullanıcı deneyimi oluşturmak, reklamcılara marka güvenliği güvenceleri sağlamak ve yerel ve küresel düzenlemelere uymak.

Bu gönderide, bir içerik denetleme hizmetinin performans yönünü çeşitli doğruluk ölçümleri açısından değerlendirmek için gereken temel unsurları tartışıyoruz ve Amazon Rekognition'ı kullanan bir örnek sunuyoruz İçerik Denetleme API'leri.

Neyi değerlendirmeli

Bir içerik denetleme hizmetini değerlendirirken aşağıdaki adımları öneririz.

API'nin performansını kullanım senaryolarınızda değerlendirebilmeniz için, temsili bir test veri seti hazırlamanız gerekir. Aşağıda bazı üst düzey yönergeler verilmiştir:

• Koleksiyon – Sonunda Amazon Rekognition aracılığıyla çalıştırmak istediğiniz verilerin yeterince büyük bir rastgele örneğini (resimler veya videolar) alın. Örneğin, kullanıcı tarafından yüklenen görselleri denetlemeyi planlıyorsanız, test için bir haftalık kullanıcı görseli alabilirsiniz. Daha büyük kümeler daha iyi olsa da, işlenemeyecek kadar büyük olmayan (1,000–10,000 görüntü gibi) yeterli görüntüye sahip bir küme seçmenizi öneririz.
• Tanım – Amazon Rekognition'dan hangi tür güvenli olmayan içeriği tespit etmek istediğinize karar vermek için uygulamanızın içerik yönergelerini kullanın. moderasyon kavramları sınıflandırması. Örneğin, her türlü müstehcen çıplaklık ve sansürlenmemiş şiddet veya kanın tespit edilmesi ilginizi çekebilir.
• not – Artık, makine tahminlerini bunlarla karşılaştırabilmeniz için, seçilen etiketleri kullanan test setiniz için insan tarafından oluşturulan bir temel gerçeğe ihtiyacınız var. Bu, her görüntünün, seçtiğiniz kavramların varlığı veya yokluğu için açıklamalı olduğu anlamına gelir. Görüntü verilerinize açıklama eklemek için şunları kullanabilirsiniz: Amazon SageMaker Yer Gerçeği (GT)görüntü açıklamasını yönetmek için. başvurabilirsiniz Görüntü etiketleme için GT, açıklamaları birleştirme ve işleme açıklama çıktısı.

Amazon Rekognition ile test veri kümeniz hakkında tahminler alın

Ardından, test veri kümeniz hakkında tahminler almak istiyorsunuz.

İlk adım, sonuçları ölçmek istediğiniz minimum güven puanına (%50 gibi bir eşik değeri) karar vermektir. Varsayılan eşiğimiz 50'ye ayarlanmıştır; bu, güvenli içerik hakkında çok fazla yanlış tahminde bulunmadan büyük miktarlarda güvenli olmayan içeriğin alınması arasında iyi bir denge sunar. Ancak platformunuzun farklı iş ihtiyaçları olabilir, bu nedenle bu güven eşiğini gerektiği gibi özelleştirmelisiniz. kullanabilirsiniz MinConfidence API isteklerinizdeki içerik algılama (geri çağırma) ile algılama doğruluğu (kesinlik) arasında denge kurmak için parametre. eğer azaltırsan MinConfidence, uygunsuz içeriğin çoğunu tespit etmeniz olasıdır, ancak aynı zamanda gerçekten uygunsuz olmayan içeriği de yakalamanız olasıdır. eğer arttırırsan MinConfidence Algılanan tüm içeriğinizin gerçekten uygunsuz olduğundan emin olabilirsiniz ancak bazı içerikler etiketlenmemiş olabilir. Birkaç deneme yapmanızı öneririz MinConfidence veri kümenizdeki değerleri ve nicel olarak veri etki alanınız için en iyi değeri seçin.

Ardından, test setinizin her bir örneğini (resim veya video) Amazon Rekognition denetleme API'si aracılığıyla çalıştırın (AlgılamaDenetleme Etiketleri).

Görüntülerde model doğruluğunu ölçün

Bir modelin doğruluğunu, insan tarafından oluşturulan gerçek bilgi açıklamalarını model tahminleriyle karşılaştırarak değerlendirebilirsiniz. Bu karşılaştırmayı her görüntü için bağımsız olarak tekrarlar ve ardından tüm test seti üzerinde toplanırsınız:

• Görüntü başına sonuçlar – Bir model tahmini, çift olarak tanımlanır {label_name, confidence_score} (burada güven puanı >= daha önce seçtiğiniz eşik). Her görüntü için, temel gerçekle (GT) eşleştiğinde bir tahmin doğru kabul edilir. Bir tahmin, aşağıdaki seçeneklerden biridir:
  • Gerçek Pozitif (TP): hem tahmin hem de GT “güvenli değil”
  • Gerçek Negatif (TN): hem tahmin hem de GT “güvenli”
  • sahte Pozitif (FP): tahmin "güvenli değil" diyor, ancak GT "güvenli"
  • Yanlış Negatif (FN): tahmin "güvenli", ancak GT "güvensiz"
• Tüm resimler üzerinde toplu sonuçlar – Ardından, bu tahminleri veri kümesi düzeyindeki sonuçlarda toplayabilirsiniz:
  • Yanlış pozitif oran (FPR) – Bu, model tarafından yanlış bir şekilde güvenli olmayan içerik içerdiği için işaretlenen test kümesindeki görüntülerin yüzdesidir: (FP): FP / (TN+FP).
  • Yanlış negatif oran (FNR) – Bu, model tarafından kaçırılan test kümesindeki güvenli olmayan görüntülerin yüzdesidir: (FN): FN / (FN+TP).
  • Gerçek pozitif oran (TPR) – Geri çağırma olarak da adlandırılan bu, model tarafından doğru bir şekilde keşfedilen veya tahmin edilen güvenli olmayan içeriğin (temel gerçeği) yüzdesini hesaplar: TP / (TP + FN) = 1 – FNR.
  • Hassas – Bu, yapılan toplam tahmin sayısına göre doğru tahminlerin (güvenli olmayan içerik) yüzdesini hesaplar: TP / (TP+FP).

Bir örnek inceleyelim. Test setinizin 10,000 görüntü içerdiğini varsayalım: 9,950 güvenli ve 50 güvensiz. Model, 9,800 görüntüden 9,950'ünü güvenli ve 45'den 50'ini güvensiz olarak doğru bir şekilde tahmin ediyor:

• TP = 45
• TN = 9800
• FP = 9950 - 9800 = 150
• FN = 50 - 45 = 5
• FPR = 150 / (9950 + 150) = 0.015 = %1.5
• FNR = 5 / (5 + 45) = 0.1 = %10
• TPR/Geri Çağırma = 45 / (45 + 5) = 0.9 = %90
• Hassas = 45 / (45 + 150) = 0.23 = %23

Videolarda model doğruluğunu ölçün

Videolardaki performansı değerlendirmek istiyorsanız, birkaç ek adım gereklidir:

1. Her videodan bir kare alt kümesini örnekleyin. Saniyede 0.3–1 kare (fps) hızında eşit örnekleme yapmanızı öneririz. Örneğin, bir video 24 fps'de kodlanmışsa ve her 3 saniyede bir (0.3 fps) bir kare örneklemek istiyorsanız, her 72 kareden birini seçmeniz gerekir.
2. Bu örneklenmiş çerçeveleri Amazon Rekognition içerik denetimi aracılığıyla çalıştırın. Çerçeveleri zaten sizin için örnekleyen (3 fps hızında) video API'mizi kullanabilir veya görüntü API'sini kullanabilirsiniz, bu durumda daha seyrek örnekleme yapmak istersiniz. Videolardaki bilgilerin fazlalığı göz önüne alındığında ikinci seçeneği öneriyoruz (ardışık kareler çok benzerdir).
3. Önceki bölümde açıklandığı gibi kare başına sonuçları hesaplayın (görüntü başına sonuçlar).
4. Sonuçları tüm test seti üzerinden toplayın. Burada, işiniz için önemli olan sonucun türüne bağlı olarak iki seçeneğiniz vardır:
   1. Çerçeve düzeyinde sonuçlar – Bu, örneklenen tüm kareleri bağımsız görüntüler olarak kabul eder ve sonuçları tam olarak daha önce görüntüler için açıklandığı şekilde toplar (FPR, FNR, geri çağırma, kesinlik). Bazı videolar diğerlerinden çok daha uzunsa, toplam sayıya daha fazla kare katacak ve karşılaştırmayı dengesiz hale getirecektir. Bu durumda, ilk örnekleme stratejisini video başına sabit sayıda kareyle değiştirmenizi öneririz. Örneğin, video başına 50–100 kareyi tek tip olarak örnekleyebilirsiniz (videoların en az 2–3 dakika uzunluğunda olduğu varsayılarak).
   2. Video düzeyinde sonuçlar – Bazı kullanım durumlarında, modelin bir videodaki karelerin %50'sini mi yoksa %99'unu mu doğru tahmin edebildiğinin bir önemi yoktur. Tek bir karede tek bir yanlış güvenli olmayan tahmin bile aşağı yönlü bir insan değerlendirmesini tetikleyebilir ve yalnızca %100 doğru tahminlere sahip videolar gerçekten doğru olarak kabul edilir. Kullanım durumunuz buysa, her videonun kareleri üzerinden FPR/FNR/TPR'yi hesaplamanızı ve videoyu aşağıdaki gibi değerlendirmenizi öneririz:

Bunları her video için bağımsız olarak hesapladıktan sonra, daha önce tanıttığımız tüm metrikleri hesaplayabilirsiniz:

• Yanlış işaretlenen (FP) veya kaçırılan (FN) videoların yüzdesi
• Hassasiyet ve hatırlama

Hedeflere karşı performansı ölçün

Son olarak, bu sonuçları hedefleriniz ve yetenekleriniz bağlamında yorumlamanız gerekir.

İlk olarak, aşağıdakilerle ilgili olarak iş ihtiyaçlarınızı göz önünde bulundurun:

• Veri – Verileriniz (günlük hacim, veri türü vb.) ve güvenli olmayan ve güvenli içeriğinizin dağılımı hakkında bilgi edinin. Örneğin, dengeli mi (50/50), çarpık mı (10/90) veya çok çarpık mı (1/99, yani sadece %1 güvensiz)? Bu dağılımı anlamak, gerçek metrik hedeflerinizi tanımlamanıza yardımcı olabilir. Örneğin, güvenli içeriğin sayısı genellikle güvenli olmayan içerikten (çok çarpık) daha büyüktür, bu da bunu neredeyse bir anormallik algılama sorunu haline getirir. Bu senaryoda, yanlış pozitiflerin sayısı gerçek pozitiflerin sayısından fazla olabilir ve birlikte çalışabileceğiniz FPR'ye karar vermek için veri bilgilerinizi (dağılım çarpıklığı, veri hacmi vb.) kullanabilirsiniz.
• Metrik hedefler – İşinizin en kritik yönleri nelerdir? FPR'yi düşürmek genellikle daha yüksek bir FNR'ye (ve tam tersi) mal olur ve sizin için uygun olan doğru dengeyi bulmak önemlidir. Güvenli olmayan herhangi bir içeriği kaçıramıyorsanız, muhtemelen %0'a yakın FNR (%100 geri çağırma) istersiniz. Ancak bu, en fazla sayıda yanlış pozitife neden olacaktır ve birlikte çalışabileceğiniz hedef (maksimum) FPR'ye, tahmin sonrası hattınıza göre karar vermeniz gerekir. Daha iyi bir denge bulabilmek ve FPR'nizi düşürmek için bir miktar yanlış negatife izin vermek isteyebilirsiniz: örneğin, %5 yerine %0'lik bir FNR'yi kabul etmek, FPR'yi %2'den %0.5'e düşürebilir, bu da sayıyı önemli ölçüde azaltabilir. işaretli içerikler.

Ardından, işaretli görüntüleri ayrıştırmak için hangi mekanizmaları kullanacağınızı kendinize sorun. API'ler %0 FPR ve FNR sağlamasa bile, yine de büyük tasarruflar ve ölçek sağlayabilir (örneğin, resimlerinizin yalnızca %3'ünü işaretleyerek içeriğinizin %97'sini filtrelemiş olursunuz). API'yi, işaretlenen içeriği inceleyen bir insan gücü gibi bazı alt mekanizmalarla eşleştirdiğinizde, hedeflerinize kolayca ulaşabilirsiniz (örneğin, %0.5 işaretli içerik). Bu eşleştirmenin, içeriğinizin %100'ü üzerinde insan incelemesi yapmaktan çok daha ucuz olduğunu unutmayın.

Aşağı akış mekanizmalarınıza karar verdiğinizde, destekleyebileceğiniz verimi değerlendirmenizi öneririz. Örneğin, günlük içeriğinizin yalnızca %2'sini doğrulayabilen bir iş gücünüz varsa, içerik denetleme API'mızdan hedef hedefiniz %2'lik bir işaret oranıdır (FPR+TPR).

Son olarak, kesin bilgi notları elde etmek çok zor veya çok pahalıysa (örneğin, veri hacminiz çok büyükse), API tarafından işaretlenen az sayıda görüntüye açıklama eklemenizi öneririz. Bu, FNR değerlendirmelerine izin vermese de (çünkü verileriniz herhangi bir yanlış negatif içermediğinden), yine de TPR ve FPR'yi ölçebilirsiniz.

Aşağıdaki bölümde, görüntü denetleme değerlendirmesi için bir çözüm sunuyoruz. Video moderasyon değerlendirmesi için benzer bir yaklaşım benimseyebilirsiniz.

Çözüme genel bakış

Aşağıdaki şema, test veri kümenizde Amazon Rekognition içerik denetiminin performansını değerlendirmek için kullanabileceğiniz çeşitli AWS hizmetlerini gösterir.

İçerik denetleme değerlendirmesi aşağıdaki adımları içerir:

1. Değerlendirme veri kümenizi şuraya yükleyin: Amazon Basit Depolama Hizmeti (Amazon S3).
2. Temel gerçeklik denetleme etiketleri atamak için Temel Gerçeği kullanın.
3. Birkaç eşik değeri kullanarak Amazon Rekognition önceden eğitilmiş denetleme API'sini kullanarak tahmin edilen denetleme etiketlerini oluşturun. (Örneğin %70, %75 ve %80).
4. Gerçek pozitifleri, gerçek negatifleri, yanlış pozitifleri ve yanlış negatifleri hesaplayarak her bir eşik için performansı değerlendirin. Kullanım durumunuz için optimum eşik değerini belirleyin.
5. İsteğe bağlı olarak, doğru ve yanlış pozitiflere dayalı olarak işgücünün boyutunu özelleştirebilir ve Amazon Artırılmış AI (Amazon A2I) ile işaretlenen tüm içeriği, manuel inceleme için belirlenmiş iş gücünüze otomatik olarak gönderir.

Aşağıdaki bölümlerde 1., 2. ve 3. adımlar için kod parçacıkları sağlanmaktadır. Uçtan uca kaynak kodunun tamamı için sağlananlara bakın. Jupyter dizüstü bilgisayar.

Önkoşullar

Başlamadan önce Jupyter not defterini ayarlamak için aşağıdaki adımları tamamlayın:

1. Bir defter örneği oluşturma in Amazon Adaçayı Yapıcı.
2. Dizüstü bilgisayar etkinken, Jupyter'ı aç.
3. Jupyter kontrol panelinde şunu seçin: yeni, ve Seç terminal.
4. Terminalde aşağıdaki kodu girin:

   cd SageMaker
   git clone https://github.com/aws-samples/amazon-rekognition-code-samples.git

5. Bu gönderi için not defterini açın: content-moderation-evaluation/Evaluating-Amazon-Rekognition-Content-Moderation-Service.ipynb.
6. Değerlendirme veri kümenizi şuraya yükleyin: Amazon Basit Depolama Hizmeti (Amazon S3).

Şimdi Jupyter not defterinde 2'den 4'e kadar olan adımlardan geçeceğiz.

Denetleme etiketleri atamak için Temel Gerçeği kullanın

Temel Gerçeğe etiket atamak için aşağıdaki adımları tamamlayın:

1. Bir bildirim girdi dosyası oluşturun Ground Truth işiniz için kullanın ve onu Amazon S3'e yükleyin.
2. Temel Doğrusu etiketleme işi için gereken tüm denetleme etiketlerini içeren etiketleme yapılandırmasını oluşturun. Kullanabileceğiniz etiket kategorisi sayısı sınırını kontrol etmek için, bkz. Etiket Kategorisi Kotaları. Aşağıdaki kod parçacığında beş etiket kullanıyoruz (bkz. Amazon Rekognition'da kullanılan hiyerarşik sınıflandırma daha fazla ayrıntı için) artı bir etiket (Safe_Content) içeriği güvenli olarak işaretleyen:

   # customize CLASS_LIST to include all labels that can be used to classify sameple data, it's up to 10 labels
   # In order to easily match image label with content moderation service supported taxonomy, 
   
   CLASS_LIST = ["", "", "", "", "", "Safe_Content"]
   print("Label space is {}".format(CLASS_LIST))
   
   json_body = {"labels": [{"label": label} for label in CLASS_LIST]}
   with open("class_labels.json", "w") as f:
       json.dump(json_body, f)
   
   s3.upload_file("class_labels.json", BUCKET, EXP_NAME + "/class_labels.json")

3. Ground Truth iş gücüne etiketleme talimatları sağlamak için özel bir çalışan görev şablonu oluşturun ve bunu Amazon S3'e yükleyin.
   Temel Doğruluk etiketi işi, bir görüntü sınıflandırma (çoklu etiket) görevi olarak tanımlanır. Talimat şablonunu özelleştirmeye yönelik talimatlar için kaynak koduna bakın.
4. Temel Gerçeği işini tamamlamak için hangi işgücünü kullanmak istediğinize karar verin. İki seçeneğiniz var (detaylar için kaynak koduna bakın):
   1. Kullanmak özel işgücü değerlendirme veri kümesini etiketlemek için kendi kuruluşunuzda.
   2. Kullanmak kamu işgücü değerlendirme veri kümesini etiketlemek için.
5. Bir Temel Gerçeği etiketleme işi oluşturun ve gönderin. yapılandırmak için aşağıdaki kodu da ayarlayabilirsiniz. etiketleme işi parametreleri özel iş gereksinimlerinizi karşılamak için. Ground Truth işinin oluşturulması ve yapılandırılmasıyla ilgili tüm talimatlar için kaynak koduna bakın.

   human_task_config = {
       "AnnotationConsolidationConfig": {
           "AnnotationConsolidationLambdaArn": acs_arn,
       },
       "PreHumanTaskLambdaArn": prehuman_arn,
       "MaxConcurrentTaskCount": 200,  # 200 images will be sent at a time to the workteam.
       "NumberOfHumanWorkersPerDataObject": 3,  # 3 separate workers will be required to label each image.
       "TaskAvailabilityLifetimeInSeconds": 21600,  # Your workteam has 6 hours to complete all pending tasks.
       "TaskDescription": task_description,
       "TaskKeywords": task_keywords,
       "TaskTimeLimitInSeconds": 180,  # Each image must be labeled within 3 minutes.
       "TaskTitle": task_title,
       "UiConfig": {
           "UiTemplateS3Uri": "s3://{}/{}/instructions.template".format(BUCKET, EXP_NAME),
       },
   }

İş gönderildikten sonra aşağıdakine benzer bir çıktı görmelisiniz:

Labeling job name is: ground-truth-cm-1662738403

Değerlendirme veri kümesindeki etiketleme işinin başarıyla tamamlanmasını bekleyin, ardından bir sonraki adıma geçin.

Tahmin edilen denetleme etiketleri oluşturmak için Amazon Rekognition denetleme API'sini kullanın.

Aşağıdaki kod parçacığı, Amazon Rekognition'ın nasıl kullanılacağını gösterir denetleme API'sı moderasyon etiketleri oluşturmak için:

client=boto3.client('rekognition')
def moderate_image(photo, bucket):
    response = client.detect_moderation_labels(Image={'S3Object':{'Bucket':bucket,'Name':photo}})
    return len(response['ModerationLabels'])

Performansı değerlendirin

Önce değerlendirme veri kümesi için Temel Doğruluk etiketleme iş sonuçlarından kesin bilgi denetleme etiketlerini aldınız, ardından aynı veri kümesi için tahmin edilen denetleme etiketlerini almak için Amazon Rekognition denetleme API'sini çalıştırdınız. Bu bir ikili sınıflandırma sorunu olduğundan (güvenli içeriğe karşı güvenli olmayan içerik), aşağıdaki ölçümleri hesaplarız (güvenli olmayan içeriğin pozitif olduğu varsayılarak):

Ayrıca ilgili değerlendirme metriklerini de hesaplarız:

Aşağıdaki kod parçacığı, bu metriklerin nasıl hesaplanacağını gösterir:

FPR = FP / (FP + TN)
FNR = FN / (FN + TP)
Recall = TP / (TP + FN)
Precision = TP / (TP + FP)

Sonuç

Bu gönderi, içerik denetleme hizmetinizin performans yönünü çeşitli doğruluk ölçütleri açısından değerlendirmek için gereken temel unsurları tartışır. Ancak doğruluk, belirli bir içerik denetleme hizmetini seçerken değerlendirmeniz gereken birçok boyuttan yalnızca biridir. Hizmetin toplam özellik seti, kullanım kolaylığı, mevcut entegrasyonlar, gizlilik ve güvenlik, özelleştirme seçenekleri, ölçeklenebilirlik etkileri, müşteri hizmetleri ve fiyatlandırma gibi diğer parametreleri dahil etmeniz çok önemlidir. Amazon Rekognition'da içerik denetimi hakkında daha fazla bilgi edinmek için şu adresi ziyaret edin: Amazon Rekognition İçerik Denetleme.

yazarlar hakkında

Amit Gupta AWS'de Kıdemli Yapay Zeka Hizmetleri Çözümleri Mimarıdır. Müşterilere geniş ölçekte iyi tasarlanmış makine öğrenimi çözümleri sağlama konusunda tutkulu.

davide modolo AWS AI Labs'ta Uygulamalı Bilimler Yöneticisidir. Edinburgh Üniversitesi'nden (İngiltere) bilgisayarla görü alanında doktora derecesine sahiptir ve gerçek dünyadaki müşteri sorunları için yeni bilimsel çözümler geliştirme konusunda tutkuludur. İş dışında seyahat etmekten ve özellikle futbol olmak üzere her türlü sporu yapmaktan hoşlanır.

Jian Wu AWS'de Kıdemli Kurumsal Çözümler Mimarıdır. 6 yıldır AWS'de her büyüklükteki müşteriyle çalışıyor. Bulut ve AI/ML'nin benimsenmesi yoluyla müşterilerin daha hızlı yenilik yapmalarına yardımcı olma konusunda tutkulu. AWS'ye katılmadan önce Jian, yazılım geliştirme, sistem uygulaması ve altyapı yönetimine odaklanarak 10 yılı aşkın bir süre geçirdi. İş dışında aktif olmayı ve ailesiyle vakit geçirmeyi seviyor.