Amazon Rekognition Labels menambahkan 600 label baru, termasuk landmark, dan kini mendeteksi warna dominan

Rekognisi Amazon menawarkan kemampuan visi komputer terlatih dan dapat disesuaikan untuk mengekstrak informasi dan wawasan dari gambar dan video. Salah satu kemampuan tersebut adalah Label Pengakuan Amazon, yang mendeteksi objek, adegan, tindakan, dan konsep dalam gambar. Pelanggan seperti Synchronoss, Shutterstock, dan Nomad Media menggunakan Amazon Rekognition Labels untuk secara otomatis menambahkan metadata ke pustaka konten mereka dan mengaktifkan hasil pencarian berbasis konten. TripleLift menggunakan Amazon Rekognition Labels untuk menentukan momen terbaik untuk menyisipkan iklan secara dinamis yang melengkapi pengalaman menonton bagi audiens. vidmob menggunakan Amazon Rekognition Labels untuk mengekstrak metadata dari materi iklan untuk memahami peran unik pengambilan keputusan kreatif dalam kinerja iklan, sehingga pemasar dapat membuat iklan yang berdampak pada tujuan utama yang paling mereka pedulikan. Selain itu, ribuan pelanggan lainnya menggunakan Amazon Rekognition Labels untuk mendukung banyak kasus penggunaan lainnya, seperti mengklasifikasikan foto jalan setapak atau pendakian, mendeteksi orang atau kendaraan dalam rekaman kamera keamanan, dan mengklasifikasikan gambar dokumen identitas.

Amazon Rekognition Labels untuk gambar mendeteksi 600 label baru, termasuk landmark dan aktivitas, serta meningkatkan akurasi untuk lebih dari 2,000 label yang ada. Selain itu, Amazon Rekognition Labels kini mendukung Properti Gambar untuk mendeteksi warna dominan gambar, latar depan dan latar belakangnya, serta objek yang terdeteksi dengan kotak pembatas. Properti Gambar juga mengukur kecerahan, ketajaman, dan kontras gambar. Terakhir, Amazon Rekognition Labels kini mengatur hasil label menggunakan dua bidang tambahan, aliases dan categories, dan mendukung pemfilteran hasil tersebut. Di bagian berikut, kami meninjau kemampuan baru dan manfaatnya secara lebih mendetail dengan beberapa contoh.

Label baru

Amazon Rekognition Labels telah menambahkan lebih dari 600 label baru, memperluas daftar label yang didukung. Berikut adalah beberapa contoh label baru:

• Landmark populer – Jembatan Brooklyn, Colosseum, Menara Eiffel, Machu Picchu, Taj Mahal, dll.
• Kegiatan – Tepuk tangan, Bersepeda, Merayakan, Melompat, Anjing Berjalan, dll.
• Deteksi kerusakan – Penyok Mobil, Goresan Mobil, Korosi, Kerusakan Rumah, Kerusakan Atap, Kerusakan Rayap, dll.
• Teks dan dokumen – Diagram Batang, Boarding Pass, Diagram Alir, Buku Catatan, Faktur, Kwitansi, dll.
• Olahraga – Game Baseball, Cricket Bat, Figure Skating, Rugby, Water Polo, dll.
• Masih banyak lagi – Balap Perahu, Kesenangan, Cityscape, Desa, Proposal Pernikahan, Perjamuan, dll.

Dengan label ini, pelanggan dalam berbagi gambar, stok fotografi, atau media penyiaran dapat secara otomatis menambahkan metadata baru ke pustaka konten mereka untuk meningkatkan kemampuan pencarian mereka.

Mari kita lihat contoh pendeteksian label untuk Jembatan Brooklyn.

Tabel berikut menampilkan label dan skor keyakinan yang ditampilkan dalam respons API.

Label yang ditingkatkan

Amazon Rekognition Labels juga telah meningkatkan akurasi untuk lebih dari 2,000 label. Berikut adalah beberapa contoh label yang disempurnakan:

• Kegiatan – Menyelam, Mengemudi, Membaca, Duduk, Berdiri, dll.
• Pakaian dan aksesoris – Ransel, Sabuk, Blus, Hoodie, Jaket, Sepatu, dll.
• Rumah dan di dalam ruangan – Kolam Renang, Pot Tanaman, Bantal, Perapian, Selimut, dll.
• Teknologi dan komputasi – Headphone, Ponsel, Komputer Tablet, Membaca, Laptop, dll.
• Kendaraan dan otomotif – Truk, Velg, Ban, Bumper, Jok Mobil, Spion Mobil, dll.
• Teks dan dokumen – Paspor, SIM, Kartu Nama, Dokumen, dll.
• Masih banyak lagi – Anjing, Kanguru, Alun-alun Kota, Festival, Tertawa, dll.

Properti Gambar untuk deteksi warna dominan dan kualitas gambar

Properti Gambar adalah kemampuan baru Amazon Rekognition Labels untuk gambar, dan dapat digunakan dengan atau tanpa fungsi deteksi label. Catatan: Properti Gambar adalah harga terpisah dari Amazon Rekognition Labels, dan hanya tersedia dengan SDK yang diperbarui.

Deteksi warna dominan

Properti Gambar mengidentifikasi warna dominan dalam gambar berdasarkan persentase piksel. Warna-warna dominan ini dipetakan ke 140 palet warna CSS, RGB, kode hex, dan 12 warna yang disederhanakan (hijau, merah muda, hitam, merah, kuning, cyan, coklat, oranye, putih, ungu, biru, abu-abu). Secara default, API menampilkan hingga 10 warna dominan kecuali jika Anda menentukan jumlah warna yang akan ditampilkan. Jumlah maksimum warna dominan yang dapat dikembalikan oleh API adalah 12.

Saat digunakan mandiri, Image Properties mendeteksi warna dominan dari seluruh gambar serta latar depan dan latar belakangnya. Saat digunakan bersama dengan fungsi deteksi label, Image Properties juga mengidentifikasi warna dominan dari objek yang terdeteksi dengan kotak pembatas.

Pelanggan dalam berbagi gambar atau stok fotografi dapat menggunakan deteksi warna dominan untuk memperkaya metadata pustaka gambar mereka guna meningkatkan penemuan konten, memungkinkan pengguna akhir memfilter menurut warna atau menelusuri objek dengan warna tertentu, seperti "kursi biru" atau "sepatu merah". ” Selain itu, pelanggan dalam periklanan dapat menentukan performa iklan berdasarkan warna aset materi iklan mereka.

Kualitas gambar

Selain deteksi warna dominan, Properti Gambar juga mengukur kualitas gambar melalui skor kecerahan, ketajaman, dan kontras. Masing-masing skor ini berkisar antara 0–100. Misalnya, gambar yang sangat gelap akan mengembalikan nilai kecerahan rendah, sedangkan gambar yang terang akan mengembalikan nilai tinggi.

Dengan skor ini, pelanggan dalam berbagi gambar, iklan, atau e-niaga dapat melakukan pemeriksaan kualitas dan memfilter gambar dengan kecerahan dan ketajaman rendah untuk mengurangi prediksi label yang salah.

Gambar berikut menunjukkan contoh dengan Menara Eiffel.

Tabel berikut adalah contoh data Properti Gambar yang dikembalikan dalam respons API.

Gambar berikut adalah contoh kursi merah.

Berikut adalah contoh data Properti Gambar yang dikembalikan dalam respons API.

Gambar berikut adalah contoh anjing dengan latar belakang kuning.

Berikut adalah contoh data Properti Gambar yang dikembalikan dalam respons API.

Kolom alias dan kategori baru

Amazon Rekognition Labels kini mengembalikan dua bidang baru, aliases dan categories, dalam respons API. Alias ​​adalah nama lain untuk label dan kategori yang sama mengelompokkan masing-masing label berdasarkan 40 tema umum, seperti Food and Beverage dan Animals and Pets. Dengan pembaruan model deteksi label, alias tidak lagi dikembalikan dalam daftar utama nama label. Sebagai gantinya, alias dikembalikan dengan yang baru aliases dalam respons API. Catatan: Alias ​​​​dan kategori hanya dikembalikan dengan SDK yang diperbarui.

Pelanggan dalam berbagi foto, e-niaga, atau iklan dapat menggunakan alias dan kategori untuk mengatur taksonomi metadata konten mereka untuk lebih menyempurnakan pencarian dan pemfilteran konten:

• Contoh alias - Karena Car dan Automobile adalah alias, Anda dapat menambahkan metadata ke gambar Car dan Automobile pada saat yang sama
• Contoh kategori – Anda dapat menggunakan kategori untuk membuat filter kategori atau menampilkan semua gambar yang terkait dengan kategori tertentu, seperti Food and Beverage, tanpa harus menambahkan metadata secara eksplisit ke setiap gambar Food and Beverage

Gambar berikut menunjukkan contoh deteksi label dengan alias dan kategori untuk penyelam.

Tabel berikut menampilkan label, skor kepercayaan, alias, dan kategori yang dikembalikan dalam respons API.

Gambar berikut adalah contoh untuk pengendara sepeda.

Tabel berikut berisi label, skor keyakinan, alias, dan kategori yang dikembalikan dalam respons API.

Filter penyertaan dan pengecualian

Amazon Rekognition Labels memperkenalkan opsi pemfilteran inklusi dan pengecualian baru dalam parameter input API untuk mempersempit daftar spesifik label yang dikembalikan dalam respons API. Anda dapat memberikan daftar eksplisit label atau kategori yang ingin disertakan atau dikecualikan. Catatan: Filter ini tersedia dengan SDK yang diperbarui.

Pelanggan dapat menggunakan filter penyertaan dan pengecualian untuk mendapatkan label atau kategori tertentu yang mereka minati tanpa harus membuat logika tambahan dalam aplikasi mereka. Misalnya, pelanggan dalam asuransi dapat menggunakan LabelCategoriesInclusionFilter untuk hanya menyertakan hasil label di Damage Detection kategori.

Kode berikut adalah permintaan sampel API dengan filter penyertaan dan pengecualian:

{
    "Image": {
        "S3Object": {
            "Bucket": "bucket",
            "Name": "input.jpg" 
        } 
    },
    "MaxLabels": 10, 
    "MinConfidence": 75,
    "Features": [ "GENERAL_LABELS", "IMAGE_PROPERTIES" ],
    "Settings": {
        "GeneralLabels": {
            "LabelsInclusionFilter": [],
            "LabelsExclusionFilter": [],
            "LabelCategoriesInclusionFilter": [],
            "LabelCategoriesExclusionFilter": [] 
        },
        "ImageProperties": {
            "MaxDominantColors":10
        }
    }
 }

Berikut adalah contoh cara kerja filter penyertaan dan pengecualian:

• Jika Anda hanya ingin mendeteksi Person dan Car, dan tidak peduli dengan label lain, Anda dapat menentukan [“Person”,”Car”] di LabelsInclusionFilter.
• Jika Anda ingin mendeteksi semua label kecuali Clothing, Anda dapat menentukan [“Clothing”] di LabelsExclusionFilter.
• Jika Anda ingin mendeteksi hanya label di dalam Animal and Pets kategori kecuali untuk Dog dan Cat, Anda dapat menentukan ["Animal and Pets"] dalam LabelCategoriesInclusionFilter, dengan ["Dog", "Cat"] di LabelsExclusionFilter.
• Jika label ditentukan di LabelsInclusionFilter or LabelsExclusionFilter, alias mereka akan disertakan atau dikecualikan karena aliases adalah sub-taksonomi label. Misalnya, karena Automobile adalah alias dari Car, jika Anda tentukan Car in LabelsInclusionFilter, API akan mengembalikan Car label dengan Automobile dalam aliases lapangan.

Kesimpulan

Amazon Rekognition Labels mendeteksi 600 label baru dan meningkatkan akurasi untuk lebih dari 2,000 label yang ada. Seiring dengan pembaruan ini, Amazon Rekognition Labels kini mendukung Properti Gambar, alias dan kategori, serta filter penyertaan dan penyertaan.

Untuk mencoba model deteksi label baru dengan fitur barunya, masuk ke akun AWS Anda dan periksa Konsol Amazon Rekognition untuk deteksi label dan properti gambar. Untuk mempelajari lebih lanjut, kunjungi Mendeteksi label.

Tentang penulis

Maria Handoko adalah Manajer Produk Senior di AWS. Dia berfokus untuk membantu pelanggan memecahkan tantangan bisnis mereka melalui pembelajaran mesin dan visi komputer. Di waktu luangnya, dia menikmati hiking, mendengarkan podcast, dan menjelajahi berbagai masakan.

Shipra Kanoria adalah Manajer Produk Utama di AWS. Dia bersemangat membantu pelanggan memecahkan masalah mereka yang paling kompleks dengan kekuatan pembelajaran mesin dan kecerdasan buatan. Sebelum bergabung dengan AWS, Shipra menghabiskan lebih dari 4 tahun di Amazon Alexa, di mana dia meluncurkan banyak fitur terkait produktivitas pada asisten suara Alexa.