Penerbit digital terus mencari cara untuk merampingkan dan mengotomatiskan alur kerja media mereka untuk menghasilkan dan menerbitkan konten baru secepat mungkin.
Penerbit dapat memiliki repositori yang berisi jutaan gambar dan untuk menghemat uang, mereka harus dapat menggunakan kembali gambar-gambar tersebut di seluruh artikel. Menemukan gambar yang paling cocok dengan artikel di repositori sebesar ini dapat menjadi tugas manual yang memakan waktu, berulang, dan dapat diotomatisasi. Hal ini juga bergantung pada gambar dalam repositori yang diberi tag dengan benar, yang juga dapat diotomatisasi (untuk kisah sukses pelanggan, lihat Aller Media Menemukan Kesuksesan dengan KeyCore dan AWS).
Dalam posting ini, kami menunjukkan cara menggunakan Rekognisi Amazon, Mulai Lompatan Amazon SageMaker, dan Layanan Pencarian Terbuka Amazon untuk mengatasi masalah bisnis ini. Amazon Rekognition memudahkan penambahan kemampuan analisis gambar ke aplikasi Anda tanpa keahlian pembelajaran mesin (ML) apa pun dan dilengkapi dengan berbagai API untuk memenuhi kasus penggunaan seperti deteksi objek, moderasi konten, deteksi dan analisis wajah, serta pengenalan teks dan selebriti, yang kami gunakan dalam contoh ini. SageMaker JumpStart adalah layanan kode rendah yang dilengkapi dengan solusi siap pakai, contoh notebook, dan banyak model terlatih canggih dari sumber yang tersedia untuk umum yang mudah diterapkan hanya dengan satu klik ke akun AWS Anda . Model-model ini telah dikemas agar dapat diterapkan dengan aman dan mudah melalui Amazon SageMaker Lebah. SageMaker JumpStart Foundation Hub yang baru memungkinkan Anda menerapkan model bahasa besar (LLM) dengan mudah dan mengintegrasikannya dengan aplikasi Anda. OpenSearch Service adalah layanan terkelola sepenuhnya yang memudahkan penerapan, penskalaan, dan pengoperasian OpenSearch. Layanan OpenSearch memungkinkan Anda menyimpan vektor dan tipe data lainnya dalam indeks, dan menawarkan fungsionalitas kaya yang memungkinkan Anda mencari dokumen menggunakan vektor dan mengukur keterhubungan semantik, yang kami gunakan dalam posting ini.
Tujuan akhir dari postingan ini adalah untuk menunjukkan bagaimana kita dapat menampilkan sekumpulan gambar yang secara semantik mirip dengan beberapa teks, baik itu artikel atau sinopsis TV.
Tangkapan layar berikut menunjukkan contoh menggunakan artikel mini sebagai masukan pencarian Anda, daripada menggunakan kata kunci, dan mampu menampilkan gambar yang serupa secara semantik.
Ikhtisar solusi
Solusinya dibagi menjadi dua bagian utama. Pertama, Anda mengekstrak metadata label dan selebriti dari gambar, menggunakan Amazon Rekognition. Anda kemudian membuat penyematan metadata menggunakan LLM. Anda menyimpan nama selebriti, dan penyematan metadata di Layanan OpenSearch. Di bagian utama kedua, Anda memiliki API untuk menanyakan indeks Layanan OpenSearch Anda untuk gambar menggunakan kemampuan pencarian cerdas OpenSearch untuk menemukan gambar yang secara semantik mirip dengan teks Anda.
Solusi ini menggunakan layanan berbasis peristiwa kami Jembatan Acara Amazon, Fungsi Langkah AWS, dan AWS Lambda untuk mengatur proses mengekstraksi metadata dari gambar menggunakan Amazon Rekognition. Amazon Rekognition akan melakukan dua panggilan API untuk mengekstrak label dan selebriti terkenal dari gambar.
API deteksi selebriti Amazon Rekognition, mengembalikan sejumlah elemen dalam respons. Untuk posting ini, Anda menggunakan yang berikut ini:
- Nama, Id, dan Url โ Nama selebriti, ID Amazon Rekognition unik, dan daftar URL seperti tautan IMDb atau Wikipedia selebriti untuk informasi lebih lanjut.
- Keyakinan Pertandingan โ Skor keyakinan kecocokan yang dapat digunakan untuk mengontrol perilaku API. Kami merekomendasikan untuk menerapkan ambang batas yang sesuai untuk skor ini di aplikasi Anda untuk memilih titik operasi pilihan Anda. Misalnya, dengan menetapkan ambang batas sebesar 99%, Anda dapat menghilangkan lebih banyak kesalahan positif namun mungkin kehilangan beberapa potensi kecocokan.
Dalam panggilan API kedua Anda, API deteksi label Amazon Rekognition, mengembalikan sejumlah elemen dalam respons. Anda menggunakan yang berikut ini:
- Nama โ Nama label yang terdeteksi
- Keyakinan โ Tingkat kepercayaan terhadap label yang diberikan pada objek yang terdeteksi
Konsep kunci dalam penelusuran semantik adalah penyematan. Penyematan kata adalah representasi numerik dari sebuah kata atau sekelompok kata, dalam bentuk vektor. Jika Anda memiliki banyak vektor, Anda dapat mengukur jarak di antara vektor-vektor tersebut, dan vektor-vektor yang jaraknya berdekatan secara semantik serupa. Oleh karena itu, jika Anda membuat penyematan semua metadata gambar Anda, lalu membuat penyematan teks Anda, baik itu artikel atau sinopsis TV misalnya, dengan menggunakan model yang sama, Anda kemudian dapat menemukan gambar yang secara semantik mirip dengan gambar Anda. teks yang diberikan.
Ada banyak model yang tersedia dalam SageMaker JumpStart untuk menghasilkan embeddings. Untuk solusi ini, Anda menggunakan Penyematan GPT-J 6B dari Wajah Memeluk. Ini menghasilkan embeddings berkualitas tinggi dan memiliki salah satu metrik kinerja terbaik menurut Hugging Face's hasil evaluasi. Batuan Dasar Amazon adalah opsi lain, masih dalam pratinjau, di mana Anda dapat memilih model Amazon Titan Text Embeddings untuk menghasilkan embeddings.
Anda menggunakan model terlatih GPT-J dari SageMaker JumpStart untuk membuat penyematan metadata gambar dan menyimpannya sebagai vektor k-NN di indeks Layanan OpenSearch Anda, bersama dengan nama selebriti di bidang lainnya.
Bagian kedua dari solusinya adalah mengembalikan 10 gambar teratas kepada pengguna yang secara semantik mirip dengan teks mereka, baik itu artikel atau sinopsis TV, termasuk selebriti mana pun jika ada. Saat memilih gambar untuk menemani sebuah artikel, Anda ingin gambar tersebut sesuai dengan poin-poin terkait dari artikel tersebut. SageMaker JumpStart menampung banyak model peringkasan yang dapat mengambil teks panjang dan menguranginya menjadi poin utama dari aslinya. Untuk model peringkasan, Anda menggunakan Laboratorium AI21 Ringkaslah modelnya. Model ini memberikan rekap artikel berita berkualitas tinggi dan teks sumber dapat berisi sekitar 10,000 kata, yang memungkinkan pengguna meringkas keseluruhan artikel sekaligus.
Untuk mendeteksi apakah teks tersebut berisi nama, selebriti yang mungkin dikenal, Anda gunakan Amazon Comprehend yang dapat mengekstrak entitas kunci dari string teks. Anda kemudian memfilter berdasarkan entitas Person, yang Anda gunakan sebagai parameter pencarian input.
Kemudian Anda mengambil artikel yang diringkas dan membuat penyematan untuk digunakan sebagai parameter pencarian masukan lainnya. Penting untuk diperhatikan bahwa Anda menggunakan model yang sama yang diterapkan pada infrastruktur yang sama untuk menghasilkan penyematan artikel seperti yang Anda lakukan pada gambar. Anda kemudian menggunakan K-NN yang tepat dengan skrip penilaian sehingga Anda dapat mencari berdasarkan dua bidang: nama selebriti dan vektor yang menangkap informasi semantik artikel tersebut. Lihat posting ini, Penjelasan kemampuan database vektor Amazon OpenSearch Service, tentang skalabilitas skrip Score dan bagaimana pendekatan pada indeks besar ini dapat menyebabkan latensi tinggi.
Walkthrough
Diagram berikut menggambarkan arsitektur solusi.
Mengikuti label bernomor:
- Anda mengunggah gambar ke Amazon S3 ember
- Jembatan Acara Amazon mendengarkan acara ini, dan kemudian memicu Fungsi Langkah AWS eksekusi
- Fungsi Langkah mengambil masukan gambar, mengekstrak label dan metadata selebriti
- Grafik AWS Lambda fungsi mengambil metadata gambar dan menghasilkan penyematan
- Grafik Lambda fungsi kemudian menyisipkan nama selebriti (jika ada) dan penyematannya sebagai vektor k-NN ke dalam indeks Layanan OpenSearch
- Amazon S3 menghosting situs web statis sederhana, dilayani oleh Amazon CloudFront distribusi. Antarmuka pengguna front-end (UI) memungkinkan Anda mengautentikasi dengan aplikasi yang menggunakan Amazon Kognito untuk mencari gambar
- Anda mengirimkan artikel atau teks melalui UI
- Lain Lambda panggilan fungsi Amazon Comprehend untuk mendeteksi nama apa pun dalam teks
- Fungsi tersebut kemudian merangkum teks untuk mendapatkan poin terkait dari artikel tersebut
- Fungsi ini menghasilkan penyematan artikel yang diringkas
- Fungsi tersebut kemudian mencari Layanan OpenSearch indeks gambar untuk gambar apa pun yang cocok dengan nama selebriti dan k-tetangga terdekat untuk vektor menggunakan kesamaan kosinus
- amazoncloudwatch dan Sinar-X AWS memberi Anda kemampuan observasi terhadap alur kerja ujung ke ujung untuk memperingatkan Anda tentang masalah apa pun.
Ekstrak dan simpan metadata gambar utama
API Amazon Rekognition DetectLabels dan RecognizeCelebrities memberi Anda metadata dari gambar Andaโlabel teks yang dapat Anda gunakan untuk membentuk kalimat untuk menghasilkan penyematan. Artikel ini memberi Anda masukan teks yang dapat Anda gunakan untuk menghasilkan penyematan.
Menghasilkan dan menyimpan penyematan kata
Gambar berikut menunjukkan pembuatan plot vektor gambar kita dalam ruang 2 dimensi, di mana untuk bantuan visual, kami telah mengklasifikasikan embeddings berdasarkan kategori utamanya.
Anda juga membuat penyematan artikel yang baru ditulis ini, sehingga Anda dapat mencari OpenSearch Service untuk gambar terdekat dengan artikel dalam ruang vektor ini. Dengan menggunakan algoritme k-nearest neighbours (k-NN), Anda menentukan berapa banyak gambar yang akan ditampilkan dalam hasil Anda.
Jika diperbesar ke gambar sebelumnya, vektor diberi peringkat berdasarkan jaraknya dari artikel dan kemudian mengembalikan gambar K-terdekat, dengan K dalam contoh ini adalah 10.
OpenSearch Service menawarkan kemampuan untuk menyimpan vektor besar dalam sebuah indeks, dan juga menawarkan fungsionalitas untuk menjalankan kueri terhadap indeks menggunakan k-NN, sehingga Anda dapat melakukan kueri dengan vektor untuk mengembalikan k dokumen terdekat yang memiliki vektor dalam jarak dekat menggunakan berbagai pengukuran. Untuk contoh ini, kami menggunakan kesamaan cosinus.
Temukan nama-nama di artikel
Anda menggunakan Amazon Comprehend, layanan pemrosesan bahasa alami (NLP) AI, untuk mengekstrak entitas kunci dari artikel. Dalam contoh ini, Anda menggunakan Amazon Comprehend untuk mengekstrak entitas dan memfilter berdasarkan entitas Person, yang mengembalikan nama apa pun yang dapat ditemukan Amazon Comprehend dalam cerita jurnalis, hanya dengan beberapa baris kode:
Dalam contoh ini, Anda mengunggah gambar ke Layanan Penyimpanan Sederhana Amazon (Amazon S3), yang memicu alur kerja saat Anda mengekstrak metadata dari gambar termasuk label dan selebriti mana pun. Anda kemudian mengubah metadata yang diekstraksi menjadi penyematan dan menyimpan semua data ini di Layanan OpenSearch.
Ringkas artikel dan buat penyematan
Meringkas artikel merupakan langkah penting untuk memastikan bahwa penyematan kata menangkap poin-poin terkait artikel, dan dengan demikian menghasilkan gambar yang sesuai dengan tema artikel.
Model AI21 Labs Summarize sangat mudah digunakan tanpa perintah apa pun dan hanya beberapa baris kode:
Anda kemudian menggunakan model GPT-J untuk menghasilkan penyematan
Anda kemudian mencari Layanan OpenSearch untuk gambar Anda
Berikut ini adalah contoh cuplikan kueri tersebut:
Arsitekturnya berisi aplikasi web sederhana untuk mewakili sistem manajemen konten (CMS).
Untuk contoh artikel, kami menggunakan masukan berikut:
โWerner Vogels senang bepergian keliling dunia dengan Toyota miliknya. Kami melihat Toyota-nya muncul dalam banyak adegan saat ia berkendara untuk pergi dan menemui berbagai pelanggan di kota asal mereka.โ
Tak satu pun dari gambar tersebut memiliki metadata dengan kata โToyotaโ, namun semantik kata โToyotaโ identik dengan mobil dan mengemudi. Oleh karena itu, dengan contoh ini, kami dapat mendemonstrasikan bagaimana kami dapat melampaui pencarian kata kunci dan mengembalikan gambar yang serupa secara semantik. Pada tangkapan layar UI di atas, keterangan di bawah gambar menunjukkan metadata Amazon Rekognition yang diekstrak.
Anda dapat memasukkan solusi ini dalam a alur kerja yang lebih besar di mana Anda menggunakan metadata yang telah Anda ekstrak dari gambar Anda untuk mulai menggunakan pencarian vektor bersama dengan istilah kunci lainnya, seperti nama selebriti, untuk menghasilkan gambar dan dokumen yang paling beresonansi untuk permintaan pencarian Anda.
Kesimpulan
Dalam postingan ini, kami menunjukkan bagaimana Anda dapat menggunakan Amazon Rekognition, Amazon Comprehend, SageMaker, dan OpenSearch Service untuk mengekstrak metadata dari gambar Anda dan kemudian menggunakan teknik ML untuk menemukannya secara otomatis menggunakan pencarian selebriti dan semantik. Hal ini sangat penting dalam industri penerbitan, di mana kecepatan merupakan hal yang penting dalam menyebarkan konten segar dengan cepat dan ke berbagai platform.
Untuk informasi selengkapnya tentang bekerja dengan aset media, lihat Kecerdasan media semakin pintar dengan Media2Cloud 3.0.
tentang Penulis
Tandai Watkins adalah Arsitek Solusi dalam tim Media dan Hiburan, mendukung pelanggannya memecahkan banyak masalah data dan ML. Jauh dari kehidupan profesional, dia suka menghabiskan waktu bersama keluarganya dan melihat kedua anaknya tumbuh dewasa.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- ChartPrime. Tingkatkan Game Trading Anda dengan ChartPrime. Akses Di Sini.
- BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/semantic-image-search-for-articles-using-amazon-rekognition-amazon-sagemaker-foundation-models-and-amazon-opensearch-service/
- :memiliki
- :adalah
- :Di mana
- $NAIK
- 000
- 10
- 100
- 11
- 12
- 13
- 20
- 610
- 7
- a
- Sanggup
- Tentang Kami
- atas
- menemani
- Menurut
- Akun
- di seluruh
- menambahkan
- terhadap
- AI
- Membantu
- Waspada
- algoritma
- Semua
- memungkinkan
- sepanjang
- sudah
- juga
- Amazon
- Amazon Comprehend
- Layanan Pencarian Terbuka Amazon
- Rekognisi Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- analisis
- dan
- Lain
- Apa pun
- api
- Lebah
- aplikasi
- Aplikasi
- aplikasi
- Menerapkan
- pendekatan
- arsitektur
- ADALAH
- sekitar
- artikel
- artikel
- AS
- Aktiva
- ditugaskan
- mengotentikasi
- mengotomatisasikan
- Otomatis
- secara otomatis
- tersedia
- jauh
- AWS
- berdasarkan
- BE
- menjadi
- laku
- makhluk
- TERBAIK
- antara
- Luar
- tubuh
- bisnis
- tapi
- by
- panggilan
- Panggilan
- CAN
- kemampuan
- kemampuan
- ditangkap
- Menangkap
- mobil
- kasus
- Kategori
- selebriti
- Selebriti
- Pilih
- memilih
- tergolong
- Klik
- Penyelesaian
- cm
- kode
- bagaimana
- datang
- memahami
- konsep
- kepercayaan
- mengandung
- mengandung
- Konten
- terus menerus
- kontrol
- bisa
- membuat
- pelanggan
- Kesuksesan Pelanggan
- pelanggan
- data
- Basis Data
- menetapkan
- mendemonstrasikan
- menunjukkan
- menyebarkan
- dikerahkan
- menemukan
- terdeteksi
- Deteksi
- MELAKUKAN
- menemukan
- jarak
- distribusi
- Terbagi
- dokumen
- drive
- penggerak
- mudah
- Mudah
- elemen
- menghapuskan
- embedding
- akhir
- Menghibur
- Seluruh
- entitas
- entitas
- Acara
- contoh
- keahlian
- ekstrak
- Ekstrak
- Menghadapi
- palsu
- keluarga
- beberapa
- bidang
- Fields
- Angka
- menyaring
- Menemukan
- temuan
- menemukan
- Pertama
- berikut
- Untuk
- bentuk
- Prinsip Dasar
- segar
- dari
- sepenuhnya
- fungsi
- fungsi
- lebih lanjut
- menghasilkan
- menghasilkan
- mendapatkan
- mendapatkan
- Memberikan
- diberikan
- memberikan
- bumi
- Go
- tujuan
- Kelompok
- Pertumbuhan
- Memiliki
- he
- High
- berkualitas tinggi
- -nya
- Beranda
- host
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTML
- http
- HTTPS
- Pusat
- ID
- if
- menggambarkan
- gambar
- Pencarian gambar
- gambar
- penting
- in
- memasukkan
- Termasuk
- indeks
- indeks
- industri
- informasi
- Infrastruktur
- memasukkan
- Sisipan
- mengintegrasikan
- Intelijen
- Cerdas
- Antarmuka
- ke
- masalah
- IT
- wartawan
- jpg
- json
- hanya
- kunci
- kata kunci
- dikenal
- label
- Label
- Labs
- BAHASA
- bahasa
- besar
- memimpin
- pengetahuan
- Tingkat
- Hidup
- baris
- LINK
- Daftar
- sedikit
- LLM
- Panjang
- mencari
- dicintai
- mencintai
- mesin
- Mesin belajar
- Utama
- membuat
- MEMBUAT
- berhasil
- pengelolaan
- panduan
- banyak
- Cocok
- sesuai
- Hal-hal
- Mungkin..
- mengukur
- pengukuran
- ukur
- Media
- Pelajari
- Metadata
- Metrik
- jutaan
- ML
- model
- model
- moderasi
- uang
- lebih
- beberapa
- nama
- nama
- Alam
- Pengolahan Bahasa alami
- Perlu
- tetangga
- New
- baru saja
- berita
- nLP
- jumlah
- bernomor
- obyek
- Deteksi Objek
- of
- Penawaran
- on
- ONE
- yang
- beroperasi
- operasi
- pilihan
- or
- urutan
- asli
- OS
- Lainnya
- kami
- di luar
- dikemas
- parameter
- bagian
- khususnya
- Melakukan
- prestasi
- orang
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- Titik
- poin
- Pos
- potensi
- berpotensi
- disukai
- menyajikan
- Preview
- primer
- Masalah
- masalah
- proses
- pengolahan
- menghasilkan
- profesional
- menyediakan
- di depan umum
- menerbitkan
- penerbit
- Penerbitan
- query
- segera
- peringkat
- cepat
- agak
- pengakuan
- sarankan
- menurunkan
- lihat
- berulang-ulang
- gudang
- mewakili
- perwakilan
- Beresonansi
- beresonansi
- tanggapan
- Hasil
- kembali
- kembali
- Pengembalian
- menggunakan kembali
- Kaya
- kira-kira
- Run
- pembuat bijak
- sama
- Save
- Skalabilitas
- Skala
- adegan
- skor
- mencetak gol
- naskah
- Pencarian
- pencarian
- Kedua
- Bagian
- bagian
- aman
- melihat
- semantik
- putusan pengadilan
- layanan
- Layanan
- set
- pengaturan
- Menunjukkan
- menunjukkan
- Pertunjukkan
- mirip
- Sederhana
- tunggal
- Ukuran
- cerdas
- potongan
- So
- larutan
- Solusi
- MEMECAHKAN
- beberapa
- sumber
- sumber
- Space
- kecepatan
- Pengeluaran
- awal
- state-of-the-art
- Langkah
- Masih
- penyimpanan
- menyimpan
- Cerita
- mudah
- mempersingkat
- Tali
- menyerahkan
- sukses
- cerita sukses
- seperti itu
- cocok
- meringkaskan
- RINGKASAN
- pendukung
- yakin
- Permukaan
- identik
- ringkasan
- sistem
- Mengambil
- Dibutuhkan
- pengambilan
- tugas
- tim
- teknik
- istilah
- teks
- dari
- bahwa
- Grafik
- Sumber
- mereka
- Mereka
- tema
- kemudian
- karena itu
- Ini
- mereka
- ini
- ambang
- waktu
- membuang-buang waktu
- titan
- untuk
- puncak
- Top 10
- kota-kota
- toyota
- Mengubah
- tv
- dua
- mengetik
- jenis
- ui
- bawah
- unik
- menggunakan
- bekas
- Pengguna
- User Interface
- kegunaan
- menggunakan
- berbagai
- sangat
- melalui
- ingin
- menonton
- cara
- we
- jaringan
- layanan web
- Situs Web
- ketika
- yang
- Wikipedia
- akan
- dengan
- dalam
- tanpa
- Word
- kata
- alur kerja
- Alur kerja
- kerja
- tertulis
- Kamu
- Anda
- zephyrnet.dll