Konten buatan pengguna (UGC) tumbuh secara eksponensial, serta persyaratan dan biaya untuk menjaga konten dan komunitas online tetap aman dan sesuai. Platform web dan seluler modern mendorong bisnis dan mendorong keterlibatan pengguna melalui fitur sosial, mulai dari perusahaan rintisan hingga organisasi besar. Anggota komunitas online mengharapkan pengalaman yang aman dan inklusif di mana mereka dapat dengan bebas mengkonsumsi dan menyumbangkan gambar, video, teks, dan audio. Volume, variasi, dan kompleksitas UGC yang terus meningkat membuat alur kerja moderasi manusia tradisional menantang untuk diskalakan guna melindungi pengguna. Keterbatasan ini memaksa pelanggan ke dalam proses mitigasi yang tidak efisien, mahal, dan reaktif yang membawa risiko yang tidak perlu bagi pengguna dan bisnis. Hasilnya adalah pengalaman komunitas yang buruk, berbahaya, dan tidak inklusif yang melepaskan pengguna, berdampak negatif pada komunitas, dan tujuan bisnis.
Solusinya adalah alur kerja moderasi konten skalabel yang mengandalkan kecerdasan buatan (AI), pembelajaran mesin (ML), pembelajaran mendalam (DL), dan teknologi pemrosesan bahasa alami (NLP). Konstruksi ini menerjemahkan, menyalin, mengenali, mendeteksi, menutupi, menyunting, dan secara strategis membawa bakat manusia ke dalam alur kerja moderasi, untuk menjalankan tindakan yang diperlukan agar pengguna tetap aman dan terlibat sambil meningkatkan akurasi dan efisiensi proses, serta menurunkan biaya operasional.
Postingan ini mengulas cara membangun alur kerja moderasi konten menggunakan layanan AWS AI. Untuk mempelajari lebih lanjut tentang kebutuhan bisnis, dampak, dan pengurangan biaya yang dibawa oleh moderasi konten otomatis ke media sosial, game, e-commerce, dan industri periklanan, lihat Manfaatkan layanan AWS AI untuk mengotomatiskan moderasi dan kepatuhan konten.
Ikhtisar solusi
Anda tidak memerlukan keahlian dalam ML untuk menerapkan alur kerja ini dan dapat menyesuaikan pola ini dengan kebutuhan bisnis spesifik Anda! AWS memberikan kemampuan ini melalui layanan terkelola sepenuhnya yang menghilangkan kompleksitas operasional dan pekerjaan berat yang tidak dapat dibedakan, dan tanpa tim ilmu data.
Dalam posting ini, kami mendemonstrasikan cara memoderasi ruang secara efisien tempat pelanggan mendiskusikan dan meninjau produk menggunakan teks, audio, gambar, video, dan bahkan file PDF. Diagram berikut menggambarkan arsitektur solusi.
Prasyarat
Secara default, pola ini menunjukkan metodologi tanpa server, di mana Anda hanya membayar untuk apa yang Anda gunakan. Anda terus membayar untuk sumber daya komputasi, seperti Fargate AWS wadah, dan penyimpanan, seperti: Layanan Penyimpanan Sederhana Amazon (Amazon S3), hingga Anda menghapus sumber daya tersebut. Layanan AWS AI yang dibahas juga mengikuti model harga konsumsi per operasi.
Lingkungan non-produksi dapat menguji setiap pola ini dalam Tingkat Gratis, dengan asumsi kelayakan akun Anda.
Teks biasa sedang
Pertama, Anda perlu menerapkan moderasi konten untuk teks biasa. Prosedur ini berfungsi sebagai dasar untuk jenis media yang lebih canggih dan memerlukan dua langkah tingkat tinggi:
- Terjemahkan teks.
- Analisis teksnya.
Pelanggan global ingin berkolaborasi dengan platform sosial dalam bahasa asli mereka. Memenuhi harapan ini dapat menambah kerumitan karena tim desain harus menyusun alur kerja atau langkah-langkah untuk setiap bahasa. Sebagai gantinya, Anda dapat menggunakan Amazon Terjemahan untuk mengonversi teks ke lebih dari 70 bahasa dan varian di lebih dari 15 wilayah. Kemampuan ini memungkinkan Anda untuk menulis aturan analisis untuk satu bahasa dan menerapkan aturan tersebut di seluruh komunitas online global.
Amazon Translate adalah layanan terjemahan mesin saraf yang memberikan terjemahan bahasa yang cepat, berkualitas tinggi, terjangkau, dan dapat disesuaikan. Anda dapat mengintegrasikannya ke dalam alur kerja Anda untuk mendeteksi bahasa yang dominan dan Terjemahkan teks. Diagram berikut menggambarkan alur kerja.
API beroperasi sebagai berikut:
- Grafik DeteksiBahasa Dominan API menentukan bahasa dominan dari teks masukan. Untuk daftar bahasa yang dapat dideteksi oleh Amazon Comprehend, lihat Bahasa yang dominan.
- Grafik TerjemahkanTeks API menerjemahkan teks input dari bahasa sumber ke bahasa target dengan opsional penyamaran kata-kata kotor. Untuk daftar bahasa dan kode bahasa yang tersedia, lihat Bahasa dan kode bahasa yang didukung.
- Grafik Mulai Eksekusi dan Mulai Sinkronisasi Eksekusi API memulai Fungsi Langkah AWS mesin negara.
Selanjutnya, Anda dapat menggunakan NLP untuk mengungkap koneksi dalam teks, seperti menemukan frasa kunci, menganalisis sentimen, dan mendeteksi informasi pengenal pribadi (PII). Amazon Comprehend API mengekstrak wawasan berharga tersebut dan meneruskannya ke pengendali fungsi khusus.
Menjalankan penangan itu di dalam AWS Lambda fungsi secara elastis menskalakan kode Anda tanpa memikirkan server atau cluster. Atau, Anda dapat memproses wawasan dari Amazon Comprehend dengan pola arsitektur layanan mikro. Terlepas dari runtime, kode Anda berfokus pada penggunaan hasil, bukan penguraian teks.
Diagram berikut menggambarkan alur kerja.
Fungsi Lambda berinteraksi dengan API berikut:
- Grafik DeteksiEntitas API menemukan dan mengelompokkan nama objek dunia nyata seperti orang dan tempat dalam teks. Anda dapat menggunakan kosakata khusus untuk menyunting jenis entitas yang tidak sesuai dan khusus bisnis.
- Grafik Deteksi Sentimen API mengidentifikasi keseluruhan sentimen teks sebagai positif, negatif, atau netral. Anda dapat melatih pengklasifikasi khusus untuk mengenali situasi minat khusus industri dan mengekstrak makna konseptual teks.
- Grafik DeteksiPIIIEntitas API mengidentifikasi PII dalam teks Anda, seperti alamat, nomor rekening bank, atau nomor telepon. Outputnya berisi jenis entitas PII dan lokasinya yang sesuai.
File audio sedang
Untuk memoderasi file audio, Anda harus menyalin file ke teks dan kemudian menganalisisnya. Proses ini memiliki dua varian bergantung pada apakah Anda sedang memproses file individual (sinkron) atau streaming audio langsung (asinkron). Alur kerja sinkron ideal untuk pemrosesan batch, dengan penelepon menerima satu respons lengkap. Sebaliknya, aliran audio memerlukan pengambilan sampel berkala dengan beberapa hasil transkripsi.
Amazon Transkripsikan adalah layanan pengenalan ucapan otomatis yang menggunakan model ML untuk mengonversi audio menjadi teks. Anda dapat mengintegrasikannya ke dalam alur kerja sinkron dengan memulai pekerjaan transkripsi dan secara berkala menanyakan status pekerjaan. Setelah pekerjaan selesai, Anda dapat menganalisis output menggunakan alur kerja moderasi teks biasa dari langkah sebelumnya.
Diagram berikut menggambarkan alur kerja.
API beroperasi sebagai berikut:
- Grafik MulaiTranskripsiJob API memulai tugas asinkron untuk mentranskripsi ucapan ke teks.
- Grafik DapatkanTranskripsiPekerjaan API mengembalikan informasi tentang tugas transkripsi. Untuk melihat status pekerjaan, periksa
TranscriptionJobStatus
bidang. Jika properti statusnya adalahCOMPLETED
, Anda dapat menemukan hasilnya di lokasi yang ditentukan dalamTranscriptFileUri
bidang. Jika Anda mengaktifkan redaksi konten, transkrip yang disunting akan muncul diRedactedTranscriptFileUri
.
Streaming audio langsung memerlukan pola berbeda yang mendukung model pengiriman waktu nyata. Streaming dapat mencakup media yang telah direkam sebelumnya, seperti film, musik, dan podcast, dan media waktu nyata, seperti siaran berita langsung. Anda dapat menyalin potongan audio secara instan menggunakan Streaming Amazon Transkripsikan melalui protokol HTTP/2 dan WebSockets. Setelah memposting sepotong ke layanan, Anda menerima satu atau lebih objek hasil transkripsi menggambarkan segmen transkripsi parsial dan lengkap. Segmen yang memerlukan moderasi dapat menggunakan kembali alur kerja teks biasa dari bagian sebelumnya. Diagram berikut menggambarkan proses ini.
Grafik StartStreamingTranskripsi API memulai aliran HTTP/2 dua arah di mana audio mengalir ke Amazon Transcribe, mengalirkan hasil transkripsi ke aplikasi Anda.
Moderasi gambar dan foto
Moderasi gambar memerlukan pendeteksian konten yang tidak pantas, tidak diinginkan, atau menyinggung yang mengandung ketelanjangan, sugesti, kekerasan, dan kategori lain dari konten gambar dan foto.
Rekognisi Amazon memungkinkan Anda merampingkan atau mengotomatiskan alur kerja moderasi gambar dan video tanpa memerlukan keahlian ML. Amazon Rekognition mengembalikan taksonomi hierarkis dari label terkait moderasi. Informasi ini memudahkan untuk menentukan aturan bisnis terperinci sesuai standar dan praktik Anda, keselamatan pengguna, dan pedoman kepatuhan. Pengalaman ML tidak diperlukan untuk menggunakan kemampuan ini. Amazon Rekognition dapat mendeteksi dan membaca teks dalam gambar dan mengembalikan kotak pembatas untuk setiap kata yang ditemukan. Amazon Rekognition mendukung deteksi teks yang ditulis dalam bahasa Inggris, Arab, Rusia, Jerman, Prancis, Italia, Portugis, dan Spanyol!
Anda dapat menggunakan prediksi mesin untuk mengotomatiskan tugas moderasi tertentu sepenuhnya. Kemampuan ini memungkinkan moderator manusia untuk fokus pada pekerjaan tingkat tinggi. Selain itu, Amazon Rekognition dapat dengan cepat meninjau jutaan gambar atau ribuan video menggunakan ML dan menandai subset aset yang memerlukan tindakan lebih lanjut. Prefiltering membantu memberikan cakupan moderasi yang komprehensif namun hemat biaya sekaligus mengurangi jumlah konten yang dimoderasi oleh tim manusia.
Diagram berikut menggambarkan alur kerja.
API beroperasi sebagai berikut:
- Grafik DeteksiModerationLabels API mendeteksi konten yang tidak aman dalam gambar berformat JPEG atau PNG tertentu. Gunakan DetectModerationLabels untuk memoderasi gambar tergantung pada kebutuhan Anda. Misalnya, Anda mungkin ingin memfilter gambar yang berisi ketelanjangan tetapi bukan gambar yang berisi konten sugestif.
- Grafik DeteksiTeks API mendeteksi teks dalam gambar input dan mengubahnya menjadi teks yang dapat dibaca mesin.
Memoderasi dokumen teks kaya
Selanjutnya, Anda bisa menggunakan Teks Amazon untuk mengekstrak teks dan data tulisan tangan dari dokumen yang dipindai. Proses ini dimulai dengan memanggil MulaiAnalisis Dokumen tindakan untuk mengurai file Microsoft Word dan Adobe PDF. Anda dapat memantau kemajuan pekerjaan dengan DapatkanAnalisis Dokumen tindakan.
Hasil analisis menentukan setiap halaman, paragraf, tabel, dan pasangan nilai kunci yang tidak ditemukan dalam dokumen. Misalnya, penyedia layanan kesehatan harus menutupi nama pasien hanya di bidang deskripsi klaim. Dalam hal ini, laporan analisis dapat memberi kekuatan pipa pemrosesan dokumen cerdas yang memoderasi dan menyunting bidang data tertentu. Diagram berikut mengilustrasikan pipa.
API beroperasi sebagai berikut:
- Grafik MulaiAnalisis Dokumen API memulai analisis asinkron dari dokumen input untuk hubungan antara item yang terdeteksi seperti pasangan nilai kunci, tabel, dan elemen pilihan
- Grafik DapatkanAnalisis Dokumen API mendapatkan hasil untuk operasi asinkron Amazon Textract yang menganalisis teks dalam dokumen
Video sedang
Pendekatan standar untuk moderasi konten video adalah melalui prosedur pengambilan sampel bingkai. Banyak kasus penggunaan tidak perlu memeriksa setiap frame, dan memilih satu setiap 15โ30 detik sudah cukup. Bingkai video sampel dapat menggunakan kembali mesin status untuk memoderasi gambar dari bagian sebelumnya. Demikian pula, proses yang ada untuk memoderasi audio dapat mendukung konten file yang dapat didengar. Diagram berikut menggambarkan alur kerja ini.
Grafik memohon API menjalankan fungsi Lambda dan secara sinkron menunggu respons.
Misalkan file media adalah seluruh film dengan beberapa adegan. Dalam hal ini, Anda dapat menggunakan API Segmen Pengakuan Amazon, API komposit untuk mendeteksi isyarat teknis atau deteksi tembakan. Selanjutnya, Anda dapat menggunakan offset waktu ini untuk memproses secara paralel setiap segmen dengan pola moderasi video sebelumnya, seperti yang ditunjukkan pada diagram berikut.
API beroperasi sebagai berikut:
- Grafik Deteksi Segmentasi Mulai API memulai deteksi asinkron dari deteksi segmen dalam video yang disimpan
- Grafik Dapatkan Deteksi Segmentasi API mendapatkan hasil deteksi segmen dari analisis Video Pengakuan Amazon yang dimulai oleh API StartSegmentDetection
Mengekstrak setiap frame dari film tidak perlu mengambil objek dari Amazon S3 beberapa kali. Sebuah solusi naif melibatkan membaca video ke dalam memori dan paginasi sampai akhir. Pola ini ideal untuk klip pendek dan di mana penilaian tidak sensitif terhadap waktu.
Strategi lain memerlukan memindahkan file sekali ke Sistem File Amazon Elastis (Amazon EFS), sistem file bersama yang terkelola sepenuhnya, skalabel, untuk layanan AWS lainnya, seperti Lambda. Dengan Amazon EFS untuk Lambda, Anda dapat mendistribusikan data secara efisien di seluruh pemanggilan fungsi. Setiap pemanggilan secara efisien menangani sepotong kecil, membuka potensi pemrosesan paralel secara besar-besaran dan waktu pemrosesan yang lebih cepat.
Membersihkan
Setelah Anda bereksperimen dengan metode dalam posting ini, Anda harus menghapus konten apa pun di bucket S3 untuk menghindari biaya di masa mendatang. Jika Anda menerapkan pola ini dengan sumber daya komputasi yang disediakan seperti Cloud komputasi elastis Amazon (Amazon EC2) atau Layanan Kontainer Amazon Elastic (Amazon ECS), Anda harus menghentikan instans tersebut untuk menghindari tagihan lebih lanjut.
Kesimpulan
Konten buatan pengguna dan nilainya untuk game, media sosial, e-niaga, serta organisasi layanan keuangan dan kesehatan akan terus tumbuh. Namun, perusahaan rintisan dan organisasi besar perlu menciptakan proses moderasi yang efisien untuk melindungi pengguna, informasi, dan bisnis, sekaligus menurunkan biaya operasional. Solusi ini menunjukkan bagaimana teknologi AI, ML, dan NLP dapat membantu Anda memoderasi konten secara efisien dalam skala besar. Anda dapat menyesuaikan layanan AWS AI untuk memenuhi kebutuhan moderasi spesifik Anda! Kemampuan yang terkelola sepenuhnya ini menghilangkan kerumitan operasional. Fleksibilitas itu secara strategis mengintegrasikan wawasan kontekstual dan bakat manusia ke dalam proses moderasi Anda.
Untuk informasi tambahan, sumber daya, dan untuk memulai secara gratis hari ini, kunjungi Beranda moderasi konten AWS.
Tentang Penulis
Nate Bachmeier adalah Arsitek Solusi Senior AWS yang menjelajahi New York secara nomaden, satu demi satu integrasi cloud. Dia berspesialisasi dalam migrasi dan modernisasi aplikasi. Selain itu, Nate adalah siswa penuh waktu dan memiliki dua anak.
Ram Pathangi adalah Arsitek Solusi di Amazon Web Services di San Francisco Bay Area. Dia telah membantu pelanggan di bidang pertanian, asuransi, perbankan, ritel, perawatan kesehatan dan ilmu kehidupan, perhotelan, dan vertikal hi-tech menjalankan bisnis mereka dengan sukses di AWS Cloud. Dia berspesialisasi dalam database, analitik, dan pembelajaran mesin.
Roop Bain adalah Arsitek Solusi di AWS yang berfokus pada AI/ML. Dia bersemangat membantu pelanggan berinovasi dan mencapai tujuan bisnis mereka menggunakan kecerdasan buatan dan pembelajaran mesin. Di waktu luangnya, Roop senang membaca dan mendaki.
- "
- 100
- 70
- Tentang Kami
- ABSTRAK
- Akun
- di seluruh
- Tindakan
- tindakan
- tambahan
- Tambahan
- alamat
- pengiklanan
- pertanian
- AI
- Layanan AI
- Amazon
- Amazon Web Services
- jumlah
- analisis
- analisis
- api
- Lebah
- Aplikasi
- aplikasi
- pendekatan
- arsitektur
- DAERAH
- buatan
- kecerdasan buatan
- Kecerdasan buatan (AI)
- Kecerdasan Buatan dan Pembelajaran Mesin
- Aktiva
- audio
- mengotomatisasikan
- Otomatis
- secara otomatis
- tersedia
- AWS
- Bank
- akun bank
- Perbankan
- Teluk
- membangun
- bisnis
- bisnis
- pemanggil
- kemampuan
- membawa
- kasus
- menantang
- beban
- klip
- awan
- kode
- Berkolaborasi
- bagaimana
- Masyarakat
- masyarakat
- kompleksitas
- pemenuhan
- compliant
- luas
- menghitung
- Koneksi
- memakan
- konsumsi
- Wadah
- Wadah
- mengandung
- Konten
- terus
- menyumbang
- Sesuai
- hemat biaya
- Biaya
- membuat
- adat
- pelanggan
- disesuaikan
- data
- ilmu data
- database
- memberikan
- pengiriman
- mendemonstrasikan
- Tergantung
- Mendesain
- terdeteksi
- Deteksi
- berbeda
- membahas
- dokumen
- Tidak
- mendorong
- e-commerce
- e-commerce
- efisiensi
- efisien
- efisien
- aktif
- interaksi
- Inggris
- entitas
- contoh
- ada
- mengharapkan
- pengalaman
- Pengalaman
- eksperimen
- keahlian
- eksponensial
- FAST
- lebih cepat
- Fitur
- keuangan
- keluwesan
- aliran
- Fokus
- berfokus
- mengikuti
- berikut
- ditemukan
- Prinsip Dasar
- FRAME
- Francisco
- Gratis
- Perancis
- Bahan bakar
- fungsi
- lebih lanjut
- masa depan
- game
- Aksi
- Grup
- Tumbuh
- pedoman
- Kesehatan
- kesehatan
- membantu
- membantu
- membantu
- berkualitas tinggi
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- manusia
- gambar
- Dampak
- melaksanakan
- diimplementasikan
- memasukkan
- meningkatkan
- sendiri-sendiri
- industri
- informasi
- memasukkan
- wawasan
- asuransi
- mengintegrasikan
- integrasi
- Intelijen
- bunga
- IT
- Pekerjaan
- kunci
- anak
- Label
- bahasa
- Bahasa
- besar
- BELAJAR
- pengetahuan
- Biologi
- pengangkatan
- Daftar
- tempat
- mesin
- Mesin belajar
- MEMBUAT
- berhasil
- masker
- makna
- Media
- pertemuan
- Anggota
- Memori
- Microsoft
- mungkin
- jutaan
- ML
- mobil
- model
- model
- Memantau
- lebih
- film
- bioskop
- bergerak
- beberapa
- musik
- nama
- Alam
- negatif
- NY
- berita
- jumlah
- secara online
- beroperasi
- operasi
- organisasi
- Lainnya
- secara keseluruhan
- bergairah
- pola
- Membayar
- Konsultan Ahli
- frase
- Platform
- Podcast
- miskin
- Portugis
- positif
- potensi
- kekuasaan
- Prediksi
- sebelumnya
- di harga
- proses
- proses
- pengolahan
- Produk
- milik
- melindungi
- protokol
- memberikan
- segera
- Bacaan
- real-time
- menerima
- mengenali
- mengurangi
- Hubungan
- melaporkan
- membutuhkan
- wajib
- Persyaratan
- Sumber
- tanggapan
- Hasil
- eceran
- kembali
- Pengembalian
- ulasan
- Review
- Risiko
- aturan
- Run
- aman
- Safety/keselamatan
- San
- San Fransisco
- terukur
- Skala
- adegan
- Ilmu
- ILMU PENGETAHUAN
- detik
- ruas
- segmen
- sentimen
- Tanpa Server
- layanan
- Layanan
- berbagi
- Pendek
- ditunjukkan
- Demikian pula
- Sederhana
- kecil
- Sosial
- media sosial
- larutan
- Solusi
- mutakhir
- spasi
- spesialisasi
- standar
- standar
- awal
- mulai
- dimulai
- Startups
- Negara
- Status
- penyimpanan
- Penyelarasan
- aliran
- Streaming
- mahasiswa
- berhasil
- mendukung
- Mendukung
- sistem
- Bakat
- target
- tugas
- tim
- Teknis
- Teknologi
- uji
- Sumber
- Pikir
- ribuan
- Melalui
- waktu
- hari ini
- bersama
- tradisional
- Salinan
- Terjemahan
- jenis
- menemukan
- menggunakan
- Pengguna
- nilai
- variasi
- vertikal
- Video
- Video
- volume
- jaringan
- layanan web
- Apa
- apakah
- sementara
- dalam
- tanpa
- Kerja