Kullanıcı tarafından oluşturulan içerik (UGC), içeriği ve çevrimiçi toplulukları güvenli ve uyumlu tutma gereksinimleri ve maliyetinin yanı sıra katlanarak büyüyor. Modern web ve mobil platformlar, işletmeleri besler ve yeni başlayanlardan büyük kuruluşlara kadar sosyal özellikler aracılığıyla kullanıcı katılımını artırır. Çevrimiçi topluluk üyeleri, görüntüleri, videoları, metinleri ve sesleri özgürce tüketebilecekleri ve katkıda bulunabilecekleri güvenli ve kapsayıcı deneyimler bekler. UGC'nin sürekli artan hacmi, çeşitliliği ve karmaşıklığı, geleneksel insan denetleme iş akışlarını kullanıcıları korumak için ölçeklendirmeyi zorlaştırıyor. Bu sınırlamalar, müşterileri, kullanıcılar ve işletme için gereksiz bir risk taşıyan verimsiz, pahalı ve reaktif azaltma süreçlerine zorlar. Sonuç, kullanıcıları birbirinden ayıran, topluluğu ve iş hedeflerini olumsuz yönde etkileyen zayıf, zararlı ve kapsayıcı olmayan bir topluluk deneyimidir.
Çözüm, yapay zeka (AI), makine öğrenimi (ML), derin öğrenme (DL) ve doğal dil işleme (NLP) teknolojilerine dayanan ölçeklenebilir içerik denetleme iş akışlarıdır. Bu yapılar, doğruluğu ve süreç verimliliğini artırırken ve operasyonel maliyetleri düşürürken kullanıcıları güvende ve etkileşimde tutmak için gereken eylemleri yürütmek için tercüme eder, kopyalar, tanır, tespit eder, maskeler, yeniden düzenler ve stratejik olarak insan yeteneğini moderasyon iş akışına getirir.
Bu gönderi, AWS AI hizmetlerini kullanarak içerik denetleme iş akışlarının nasıl oluşturulacağını inceler. Otomatik içerik denetiminin sosyal medya, oyun, e-ticaret ve reklam sektörlerine getirdiği iş ihtiyaçları, etkisi ve maliyet düşüşleri hakkında daha fazla bilgi edinmek için bkz. İçerik denetlemeyi ve uyumluluğu otomatikleştirmek için AWS AI hizmetlerinden yararlanın.
Çözüme genel bakış
Bu iş akışlarını uygulamak için makine öğreniminde uzmanlığa ihtiyacınız yok ve bu kalıpları özel iş ihtiyaçlarınıza göre uyarlayabilirsiniz! AWS, bu yetenekleri, bir veri bilimi ekibi olmadan, operasyonel karmaşıklığı ve farklılaşmamış ağır yükleri ortadan kaldıran tam olarak yönetilen hizmetler aracılığıyla sunar.
Bu gönderide, müşterilerin metin, ses, resim, video ve hatta PDF dosyalarını kullanarak ürünleri tartıştığı ve incelediği alanların nasıl verimli bir şekilde yönetileceğini gösteriyoruz. Aşağıdaki diyagram, çözüm mimarisini göstermektedir.
Önkoşullar
Varsayılan olarak, bu kalıplar, yalnızca kullandığınız kadar ödediğiniz sunucusuz bir metodolojiyi gösterir. Aşağıdakiler gibi işlem kaynakları için ödeme yapmaya devam edersiniz: AWS Fargate konteynerler ve depolama gibi Amazon Basit Depolama Hizmeti (Amazon S3), siz bu kaynakları silene kadar. Tartışılan AWS AI hizmetleri ayrıca operasyon başına bir tüketim fiyatlandırma modelini takip eder.
Üretim dışı ortamlar, hesabınızın uygunluğunu varsayarak bu kalıpların her birini Ücretsiz Kullanım kapsamında test edebilir.
Düz metin orta
İlk olarak, düz metin için içerik denetimi uygulamanız gerekir. Bu prosedür, daha karmaşık medya türleri için temel görevi görür ve iki üst düzey adım içerir:
- Metni Çevir.
- Metni analiz edin.
Küresel müşteriler, kendi ana dillerinde sosyal platformlarla işbirliği yapmak istiyor. Tasarım ekiplerinin her dil için bir iş akışı veya adımlar oluşturması gerektiğinden, bu beklentiyi karşılamak karmaşıklığı artırabilir. Bunun yerine, kullanabilirsiniz Amazon Tercüme metni 70'ten fazla dile ve 15'ten fazla bölgedeki türevlere dönüştürmek için. Bu yetenek, tek bir dil için analiz kuralları yazmanıza ve bu kuralları küresel çevrimiçi toplulukta uygulamanıza olanak tanır.
Amazon Translate, hızlı, yüksek kaliteli, uygun fiyatlı ve özelleştirilebilir dil çevirisi sunan bir sinirsel makine çevirisi hizmetidir. Baskın dili tespit etmek için iş akışlarınıza entegre edebilir ve metni Çevir. Aşağıdaki şema iş akışını göstermektedir.
API'ler aşağıdaki gibi çalışır:
- The Baskın Dili Algıla API, giriş metninin baskın dilini belirler. Amazon Comprehend'in algılayabildiği dillerin listesi için bkz. baskın dil.
- The Metni Çevir API, isteğe bağlı olarak giriş metnini kaynak dilden hedef dile çevirir küfür maskelemesi. Mevcut dillerin ve dil kodlarının listesi için bkz. Desteklenen diller ve dil kodları.
- The Yürütmeyi Başlat ve Senkronizasyonu Başlat API'ler bir AWS Basamak İşlevleri durum makinesi.
Ardından, anahtar ifadeleri keşfetmek, duyguları analiz etmek ve kişisel olarak tanımlanabilir bilgileri (PII) tespit etmek gibi metindeki bağlantıları ortaya çıkarmak için NLP'yi kullanabilirsiniz. Amazon Kavramak API'ler bu değerli bilgileri çıkarır ve bunları özel işlev işleyicilerine iletir.
Bu işleyicileri içeride çalıştırmak AWS Lambda işlevleri, sunucuları veya kümeleri düşünmeden kodunuzu esnek bir şekilde ölçeklendirir. Alternatif olarak, Amazon Comprehend'den gelen bilgileri şu şekilde işleyebilirsiniz: mikro hizmet mimarisi kalıpları. Çalışma zamanından bağımsız olarak, kodunuz metni ayrıştırmaya değil sonuçları kullanmaya odaklanır.
Aşağıdaki şema iş akışını göstermektedir.
Lambda işlevleri aşağıdaki API'lerle etkileşime girer:
- The Varlıkları Algıla API, metindeki insanlar ve yerler gibi gerçek dünyadaki nesnelerin adlarını keşfeder ve gruplandırır. Uygunsuz ve işletmeye özel varlık türlerini yeniden düzenlemek için özel bir sözlük kullanabilirsiniz.
- The Algılama Duygusu API, metnin genel duyarlılığını olumlu, olumsuz veya nötr olarak tanımlar. Sektöre özel ilgi durumlarını tanımak ve metnin kavramsal anlamını çıkarmak için özel sınıflandırıcılar eğitebilirsiniz.
- The PIIE Varlıkları Algıla API, metninizdeki adres, banka hesap numarası veya telefon numarası gibi PII'yi tanımlar. Çıktı, PII varlığının türünü ve buna karşılık gelen konumu içerir.
Orta düzeyde ses dosyaları
Ses dosyalarını denetlemek için dosyayı metne dönüştürmeniz ve ardından analiz etmeniz gerekir. Bu işlemin, tek tek dosyaları (eşzamanlı) veya canlı ses akışlarını (eşzamansız) işlemenize bağlı olarak iki çeşidi vardır. Senkronize iş akışları, arayanın tam bir yanıt almasıyla toplu işleme için idealdir. Buna karşılık, ses akışları, çoklu transkripsiyon sonuçlarıyla periyodik örnekleme gerektirir.
Amazon Yazısı sesi metne dönüştürmek için ML modellerini kullanan otomatik bir konuşma tanıma hizmetidir. Senkronize iş akışlarına şu şekilde entegre edebilirsiniz: bir transkripsiyon işi başlatmak ve periyodik olarak işin durumunu sorgulama. İş tamamlandıktan sonra, önceki adımdaki düz metin denetleme iş akışını kullanarak çıktıyı analiz edebilirsiniz.
Aşağıdaki şema iş akışını göstermektedir.
API'ler aşağıdaki gibi çalışır:
- The Başlangıç Transcriptionİş API, konuşmayı metne dönüştürmek için eşzamansız bir iş başlatır.
- The GetTransscriptionİş API, bir transkripsiyon işi hakkında bilgi verir. İşin durumunu görmek için,
TranscriptionJobStatus
tarla. durum özelliği iseCOMPLETED
, sonuçları belirtilen yerde bulabilirsiniz.TranscriptFileUri
tarla. İçerik redaksiyonunu etkinleştirirseniz, redaksiyonu yapılmış transkript şurada görünür:RedactedTranscriptFileUri
.
Canlı ses akışları, gerçek zamanlı bir dağıtım modelini destekleyen farklı bir modele ihtiyaç duyar. Akış, filmler, müzik ve podcast'ler gibi önceden kaydedilmiş ortamları ve canlı haber yayınları gibi gerçek zamanlı ortamları içerebilir. kullanarak ses parçalarını anında kopyalayabilirsiniz. Amazon Transcribe akışı HTTP/2 ve WebSockets protokolleri üzerinden. Hizmete bir yığın gönderdikten sonra, bir veya daha fazla transkripsiyon sonucu nesneleri kısmi ve tam transkripsiyon bölümlerini açıklayan. Denetleme gerektiren segmentler, önceki bölümdeki düz metin iş akışını yeniden kullanabilir. Aşağıdaki diyagram bu işlemi göstermektedir.
The StartStreamingTranskripsiyon API, sesin Amazon Transcribe'a aktığı ve transkripsiyon sonuçlarını uygulamanıza aktardığı iki yönlü bir HTTP/2 akışı başlatır.
Görüntüleri ve fotoğrafları denetleyin
Görüntüleri denetlemek, görüntülerden ve fotoğraf içeriklerinden çıplaklık, müstehcenlik, şiddet ve diğer kategorileri içeren uygunsuz, istenmeyen veya rahatsız edici içeriğin tespit edilmesini gerektirir.
Amazon Rekognisyon ML uzmanlığı gerektirmeden görüntü ve video denetleme iş akışlarınızı düzene koymanıza veya otomatikleştirmenize olanak tanır. Amazon Rekognition, denetlemeyle ilgili etiketlerin hiyerarşik bir sınıflandırmasını döndürür. Bu bilgiler, standartlarınız ve uygulamalarınız, kullanıcı güvenliği ve uyumluluk yönergelerinize göre ayrıntılı iş kurallarını tanımlamayı kolaylaştırır. Bu yetenekleri kullanmak için makine öğrenimi deneyimi gerekli değildir. Amazon Rekognition, bir görüntüdeki metni algılayıp okuyabilir ve bulunan her kelime için sınırlayıcı kutular döndürebilir. Amazon Rekognition, İngilizce, Arapça, Rusça, Almanca, Fransızca, İtalyanca, Portekizce ve İspanyolca dillerinde yazılmış metin algılamayı destekler!
Belirli denetleme görevlerini tamamen otomatikleştirmek için makine tahminlerini kullanabilirsiniz. Bu yetenek, insan moderatörlerin daha yüksek dereceli işlere odaklanmasını sağlar. Ayrıca Amazon Rekognition, makine öğrenimi kullanarak milyonlarca görüntüyü veya binlerce videoyu hızla inceleyebilir ve daha fazla işlem gerektiren varlık alt kümesini işaretleyebilir. Ön filtreleme, insan ekiplerinin yönettiği içerik miktarını azaltırken kapsamlı ancak uygun maliyetli denetleme kapsamı sağlamaya yardımcı olur.
Aşağıdaki şema iş akışını göstermektedir.
API'ler aşağıdaki gibi çalışır:
- The AlgılamaDenetleme Etiketleri API, belirtilen JPEG veya PNG formatlı görüntülerde güvenli olmayan içeriği algılar. Gereksinimlerinize bağlı olarak resimleri denetlemek için DetectModerationLabels'ı kullanın. Örneğin, çıplaklık içeren ancak müstehcen içerik içeren resimleri filtrelemek isteyebilirsiniz.
- The Metin Algıla API, giriş görüntüsündeki metni algılar ve onu makine tarafından okunabilir metne dönüştürür.
Orta düzeyde zengin metin belgeleri
Sonra kullanabilirsiniz Amazon Metin Yazısı Taranan belgelerden el yazısı metin ve verileri çıkarmak için. Bu süreç, çağrılmasıyla başlar. Belge Analizini Başlat Microsoft Word ve Adobe PDF dosyalarını ayrıştırma eylemi. ile işin ilerlemesini izleyebilirsiniz. GetDocumentAnaliz eylem.
Analiz sonucu, belgedeki kapsanmayan her sayfayı, paragrafı, tabloyu ve anahtar/değer çiftini belirtir. Örneğin, bir sağlık hizmeti sağlayıcısının hasta adlarını yalnızca talep açıklaması alanında maskelemesi gerektiğini varsayalım. Bu durumda, analiz raporu güç sağlayabilir akıllı belge işleme boru hatları belirli veri alanını yöneten ve düzelten. Aşağıdaki şema boru hattını göstermektedir.
API'ler aşağıdaki gibi çalışır:
- The Belge Analizini Başlat API, anahtar/değer çiftleri, tablolar ve seçim öğeleri gibi algılanan öğeler arasındaki ilişkiler için bir girdi belgesinin eşzamansız analizini başlatır
- The GetDocumentAnaliz API, bir belgedeki metni analiz eden bir Amazon Textract eşzamansız işlemi için sonuçları alır
videoları denetle
Video içeriği denetlemeye yönelik standart bir yaklaşım, bir çerçeve örnekleme prosedürüdür. Birçok kullanım örneğinin her kareyi kontrol etmesi gerekmez ve her 15-30 saniyede bir birini seçmek yeterlidir. Örneklenen video kareleri, önceki bölümdeki görüntüleri yönetmek için durum makinesini yeniden kullanabilir. Benzer şekilde, sesi denetlemek için mevcut süreç, dosyanın sesli içeriğini destekleyebilir. Aşağıdaki diyagram bu iş akışını göstermektedir.
The çağırmak API, bir Lambda işlevi çalıştırır ve yanıtı eşzamanlı olarak bekler.
Medya dosyasının birden fazla sahne içeren bir filmin tamamı olduğunu varsayalım. Bu durumda, Amazon Tanıma Segmenti API'si, teknik ipuçlarını veya atış algılamayı tespit etmek için birleşik bir API. Ardından, aşağıdaki şemada gösterildiği gibi, her bölümü önceki video denetleme modeliyle paralel işlemek için bu zaman farklarını kullanabilirsiniz.
API'ler aşağıdaki gibi çalışır:
- The BaşlangıçSegmentasyonAlgılama API, depolanan bir videoda eşzamansız segment algılama algılamasını başlatır
- The Segmentasyon Algılama Getir API, StartSegmentDetection API tarafından başlatılan bir Amazon Rekognition Video analizinin segment algılama sonuçlarını alır
Filmden tek tek karelerin ayıklanması, nesnenin Amazon S3'ten birden çok kez alınmasını gerektirmez. Naif bir çözüm, videoyu belleğe okumayı ve sonuna kadar sayfalandırmayı içerir. Bu model, kısa klipler ve değerlendirmelerin zamana duyarlı olmadığı durumlar için idealdir.
Başka bir strateji, dosyayı bir kez Amazon Elastik Dosya Sistemi (Amazon EFS), Lambda gibi diğer AWS hizmetleri için tam olarak yönetilen, ölçeklenebilir, paylaşılan bir dosya sistemi. İle Lambda için Amazon EFS, verileri işlev çağrıları arasında verimli bir şekilde dağıtabilirsiniz. Her çağrı, küçük bir yığını verimli bir şekilde işleyerek, büyük ölçüde paralel işleme ve daha hızlı işlem süreleri potansiyelini ortaya çıkarır.
Temizlemek
Bu gönderideki yöntemleri denedikten sonra, gelecekteki maliyetlerden kaçınmak için S3 paketlerindeki tüm içeriği silmelisiniz. Bu kalıpları aşağıdaki gibi sağlanan işlem kaynaklarıyla uyguladıysanız Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) veya Amazon Elastik Konteyner Hizmeti (Amazon ECS), daha fazla ücret ödememek için bu örnekleri durdurmalısınız.
Sonuç
Kullanıcı tarafından oluşturulan içerik ve bunun oyun, sosyal medya, e-ticaret, finans ve sağlık hizmetleri organizasyonları için değeri büyümeye devam edecek. Yine de, yeni başlayanlar ve büyük kuruluşlar, işletme maliyetlerini düşürürken kullanıcıları, bilgileri ve işletmeyi korumak için verimli denetleme süreçleri oluşturmalıdır. Bu çözüm, AI, ML ve NLP teknolojilerinin içeriği geniş ölçekte denetlemenize nasıl verimli bir şekilde yardımcı olabileceğini gösterir. AWS AI hizmetlerini özel denetleme ihtiyaçlarınızı karşılayacak şekilde özelleştirebilirsiniz! Bu tam olarak yönetilen yetenekler, operasyonel karmaşıklıkları ortadan kaldırır. Bu esneklik, stratejik olarak bağlamsal içgörüleri ve insan yeteneklerini moderasyon süreçlerinize entegre eder.
Ek bilgi, kaynaklar ve bugün ücretsiz olarak başlamak için şu adresi ziyaret edin: AWS içerik denetleme ana sayfası.
Yazarlar Hakkında
Nate Bachmeier Her seferinde bir bulut entegrasyonuyla New York'u göçebe bir şekilde keşfeden bir AWS Kıdemli Çözüm Mimarıdır. Uygulamaları taşıma ve modernleştirme konusunda uzmanlaşmıştır. Bunun yanı sıra, Nate tam zamanlı bir öğrencidir ve iki çocuğu vardır.
Ram Patangi San Francisco Körfez Bölgesi'ndeki Amazon Web Services'de Çözüm Mimarıdır. Tarım, sigorta, bankacılık, perakende, sağlık ve yaşam bilimleri, konaklama ve yüksek teknoloji sektörlerindeki müşterilerin işlerini AWS Cloud'da başarılı bir şekilde yürütmelerine yardımcı oldu. Veritabanları, analitik ve makine öğrenimi konusunda uzmanlaşmıştır.
Roop Bainleri AWS'de AI/ML'ye odaklanan bir Çözüm Mimarıdır. Müşterilerin yapay zeka ve makine öğrenimi kullanarak yenilik yapmalarına ve iş hedeflerine ulaşmalarına yardımcı olma konusunda tutkulu. Roop boş zamanlarında kitap okumaktan ve yürüyüş yapmaktan hoşlanır.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/content-moderation-design-patterns-with-aws-managed-ai-services/
- "
- 100
- 70
- Hakkımızda
- ÖZET
- Hesap
- karşısında
- Action
- eylemler
- ilave
- Ek
- adres
- reklâm
- tarım
- AI
- AI hizmetleri
- Amazon
- Amazon Web Servisleri
- miktar
- analiz
- analytics
- api
- API'ler
- Uygulama
- uygulamaları
- yaklaşım
- mimari
- ALAN
- yapay
- yapay zeka
- Yapay zeka (AI)
- Yapay Zeka ve Makine Öğrenimi
- Varlıklar
- ses
- otomatikleştirmek
- Otomatik
- Otomatik
- mevcut
- AWS
- Banka
- banka hesabı
- Bankacılık
- Defne
- inşa etmek
- iş
- işletmeler
- Arayan
- yetenekleri
- taşımak
- durumlarda
- zor
- yükler
- klipleri
- bulut
- kod
- işbirliği yapmak
- nasıl
- topluluklar
- topluluk
- karmaşıklıklar
- uyma
- uyumlu
- kapsamlı
- hesaplamak
- Bağlantılar
- tüketmek
- tüketim
- Konteyner
- Konteynerler
- içeren
- içerik
- devam etmek
- katkıda bulunmak
- uyan
- uygun maliyetli
- maliyetler
- yaratmak
- görenek
- Müşteriler
- özelleştirilebilir
- veri
- veri bilimi
- veritabanları
- sağlıyor
- teslim
- göstermek
- bağlı
- Dizayn
- algılandı
- Bulma
- farklı
- tartışmak
- evraklar
- Değil
- sürücü
- e-ticaret
- e-ticaret
- verim
- verimli
- verimli biçimde
- etkinleştirmek
- nişan
- İngilizce
- varlık
- örnek
- mevcut
- beklemek
- deneyim
- Deneyimler
- deneme
- Uzmanlık
- katlanarak
- HIZLI
- Daha hızlı
- Özellikler
- mali
- Esneklik
- akış
- odak
- odaklanır
- takip et
- takip etme
- bulundu
- vakıf
- ÇERÇEVE
- Francisco
- Ücretsiz
- Fransızca
- Yakıt
- işlev
- daha fazla
- gelecek
- kumar
- Küresel
- Grubun
- Büyümek
- kuralları yenileyerek
- Sağlık
- sağlık
- yardım et
- yardım
- yardımcı olur
- Yüksek kaliteli
- Ne kadar
- Nasıl Yapılır
- HTTPS
- insan
- görüntü
- darbe
- uygulamak
- uygulanan
- dahil
- artan
- bireysel
- Endüstri
- bilgi
- giriş
- anlayışlar
- sigorta
- entegre
- bütünleşme
- İstihbarat
- faiz
- IT
- İş
- anahtar
- çocuklar
- Etiketler
- dil
- Diller
- büyük
- ÖĞRENİN
- öğrenme
- Yaşam Bilimleri
- kaldırma
- Liste
- yer
- makine
- makine öğrenme
- YAPAR
- yönetilen
- maske
- anlam
- medya
- toplantı
- Üyeler
- Bellek
- Microsoft
- olabilir
- milyonlarca
- ML
- Telefon
- model
- modelleri
- izlemek
- Daha
- film
- filmler
- hareketli
- çoklu
- Music
- isimleri
- Doğal (Madenden)
- negatif
- New York
- haber
- numara
- Online
- işletmek
- operasyon
- organizasyonlar
- Diğer
- tüm
- tutkulu
- model
- İnsanlar
- ifadeler
- Platformlar
- Podcast
- yoksul
- Portekizce
- pozitif
- potansiyel
- güç kelimesini seçerim
- Tahminler
- önceki
- fiyatlandırma
- süreç
- Süreçler
- işleme
- Ürünler
- özellik
- korumak
- protokolleri
- sağlamak
- hızla
- Okuma
- gerçek zaman
- teslim almak
- tanımak
- azaltarak
- İlişkiler
- rapor
- gerektirir
- gereklidir
- Yer Alan Kurallar
- Kaynaklar
- yanıt
- Sonuçlar
- perakende
- dönüş
- İade
- yorum
- Yorumları
- Risk
- kurallar
- koşmak
- güvenli
- Güvenlik
- San
- San Francisco
- ölçeklenebilir
- ölçek
- Sahneler
- Bilim
- BİLİMLERİ
- saniye
- bölüm
- segmentler
- duygu
- Serverless
- hizmet
- Hizmetler
- Paylaşılan
- kısa
- gösterilen
- benzer şekilde
- Basit
- küçük
- Sosyal Medya
- sosyal medya
- çözüm
- Çözümler
- sofistike
- alanlarda
- uzmanlaşmış
- standart
- standartlar
- başlama
- başladı
- başlar
- Startups
- Eyalet
- Durum
- hafızası
- Stratejileri
- dere
- akış
- Öğrenci
- Başarılı olarak
- destek
- Destekler
- sistem
- Yetenek
- Hedef
- görevleri
- takım
- Teknik
- Teknolojileri
- test
- Kaynak
- Düşünme
- Binlerce
- İçinden
- zaman
- bugün
- birlikte
- geleneksel
- Transkript
- Çeviri
- türleri
- ortaya çıkarmak
- kullanım
- kullanıcılar
- değer
- çeşitlilik
- sektörler
- Video
- Videolar
- hacim
- ağ
- web hizmetleri
- Ne
- olup olmadığını
- süre
- içinde
- olmadan
- İş