Wydawcy treści cyfrowych nieustannie szukają sposobów usprawnienia i zautomatyzowania przepływu pracy w mediach, aby generować i publikować nowe treści tak szybko, jak to możliwe, ale bez utraty jakości.
Dodawanie obrazów w celu uchwycenia istoty tekstu może poprawić komfort czytania. Techniki uczenia maszynowego mogą pomóc w odkryciu takich obrazów. „Uderzający obraz to jeden z najskuteczniejszych sposobów na przyciągnięcie uwagi odbiorców i wywołanie zaangażowania w historię, ale musi też mieć sens".
Połączenia poprzedni post omówiliśmy, w jaki sposób można wykorzystać usługi uczenia maszynowego Amazon (ML), aby pomóc Ci znaleźć najlepsze obrazy do umieszczenia obok artykułu lub streszczenia programu telewizyjnego bez wpisywania słów kluczowych. W poprzednim poście użyłeś Amazon Rekognition aby wyodrębnić metadane z obrazu. Następnie użyłeś modelu osadzania tekstu, aby wygenerować osadzanie słów z metadanymi, które można później wykorzystać do znalezienia najlepszych obrazów.
W tym poście zobaczysz, jak możesz wykorzystać modele fundamentów Amazon Titan, aby szybko zrozumieć artykuł i znaleźć najlepsze obrazy do niego towarzyszące. Tym razem generujesz osadzanie bezpośrednio z obrazu.
Kluczową koncepcją w wyszukiwaniu semantycznym jest osadzanie. Osadzanie to numeryczna reprezentacja danych wejściowych — obrazu, tekstu lub obu — w postaci wektora. Jeśli masz wiele wektorów, możesz zmierzyć odległość między nimi, a wektory znajdujące się w niewielkiej odległości są semantycznie podobne lub powiązane.
Amazońska skała macierzysta to w pełni zarządzana usługa oferująca wybór wysokowydajnych modeli podstawowych (FM) od wiodących firm zajmujących się sztuczną inteligencją, w tym AI21 Labs, Anthropic, Cohere, Meta, Stability AI i Amazon, za pomocą jednego interfejsu API, wraz z szerokim zestawem możliwości pomóc w tworzeniu generatywnych aplikacji AI, upraszczając programowanie przy jednoczesnym zachowaniu prywatności i bezpieczeństwa.
Amazon Tytan dodała niedawno do swojej kolekcji nowy model osadzania, Titan Multimodal Embeddings. Ten nowy model można wykorzystać do wyszukiwania multimodalnego, systemów rekomendacji i innych dalszych zastosowań.
Modele multimodalne mogą rozumieć i analizować dane w wielu modalnościach, takich jak tekst, obraz, wideo i audio. Ten najnowszy model Amazon Titan obsługuje tekst, obrazy lub jedno i drugie. Oznacza to, że używasz tego samego modelu do generowania osadzonych obrazów i tekstu, a następnie wykorzystujesz te osadzania do obliczenia podobieństwa obu elementów.
Omówienie rozwiązania
Na poniższym zrzucie ekranu możesz zobaczyć, jak utworzyć miniartykuł, przeprowadzić wyszukiwanie i znaleźć obrazy pasujące do artykułu. W tym przykładzie weźmiesz zdanie opisujące Wernera Vogelsa noszącego białe szaliki podczas podróży po Indiach. Wektor zdania jest semantycznie powiązany z wektorami obrazów Wernera w szaliku i dlatego jest zwracany jako najpopularniejsze obrazy w tym wyszukiwaniu.
Na wysokim poziomie obraz jest przesyłany do Usługa Amazon Simple Storage (Amazon S3) i wyodrębniane są metadane, łącznie z osadzeniem obrazu.
Aby wyodrębnić metadane tekstowe z obrazu, użyj metody funkcja rozpoznawania celebrytów oraz funkcja wykrywania etykiet in Amazon Rekognition. Amazon Rekognition automatycznie rozpoznaje dziesiątki tysięcy znanych osobistości na obrazach i filmach za pomocą ML. Używasz tej funkcji do rozpoznawania gwiazd na obrazach i przechowywania tych metadanych Usługa Amazon OpenSearch. Wykrywanie etykiet wyszukuje obiekty i koncepcje z obrazu, tak jak na powyższym zrzucie ekranu, na którym znajdują się metadane etykiety pod obrazem.
Model Titan Multimodal Embeddings służy do generowania osadzania obrazu, który jest również metadanymi z możliwością wyszukiwania.
Wszystkie metadane są następnie przechowywane w Usługa OpenSearch w przypadku późniejszych zapytań, gdy musisz znaleźć obraz lub obrazy.
Druga część architektury polega na przesłaniu artykułu w celu znalezienia nowo pobranych obrazów.
Po przesłaniu artykułu należy go wyodrębnić i przekształcić w dane wejściowe wyszukiwania dla usługi OpenSearch. Używasz Amazon Comprehend aby wykryć w tekście nazwiska, które mogą być potencjalnymi gwiazdami. Podsumujesz artykuł, ponieważ prawdopodobnie wybierzesz tylko jeden lub dwa obrazy, aby uchwycić istotę artykułu. Wygenerowanie streszczenia tekstu to dobry sposób, aby upewnić się, że osadzanie oddaje istotne punkty historii. W tym celu użyj Amazon Titan Text G1 – Express model z monitem typu „Proszę podać streszczenie poniższego tekstu. Nie dodawaj żadnych informacji, które nie są wymienione w poniższym tekście.” W przypadku podsumowanego artykułu używasz modelu Amazon Titan Multimodal Embeddings, aby wygenerować osadzenie podsumowanego artykułu. Model osadzania ma również maksymalną liczbę wejściowych tokenów, dlatego podsumowanie artykułu jest jeszcze ważniejsze, aby upewnić się, że możesz uzyskać jak najwięcej informacji przechwyconych podczas osadzania. Mówiąc najprościej, token to pojedyncze słowo, podsłowo lub znak.
Następnie przeprowadzasz wyszukiwanie w usłudze OpenSearch na podstawie nazw i osadzania z artykułu, aby znaleźć obrazy, które są semantycznie podobne do obecności danej gwiazdy, jeśli jest obecna.
Jako użytkownik po prostu szukasz obrazów, używając artykułu jako danych wejściowych.
Opis przejścia
Poniższy diagram przedstawia architekturę zapewniającą ten przypadek użycia.
Poniższe kroki opisują sekwencję działań (przedstawioną na diagramie), które umożliwiają semantyczne wyszukiwanie obrazów i gwiazd.
- Przesyłasz obraz do pliku Amazon S3 wiadro.
- Most zdarzeń Amazona nasłuchuje tego zdarzenia, a następnie inicjuje krok AWS Step Functions.
- Krok Funkcje kroku obejmuje Amazon S3 szczegóły obrazu i uruchamia trzy równoległe akcje:
- Wywołanie API do Amazon Rekognition Wykryj etykiety aby wyodrębnić metadane obiektu
- Wywołanie API do Amazon Rekognition Rozpoznaj gwiazdy Interfejsy API umożliwiające wyodrębnienie znanych gwiazd
- A AWS Lambda funkcja zmienia rozmiar obrazu do maksymalnych wymiarów akceptowanych dla modelu osadzania ML i generuje osadzenie bezpośrednio z wejściowego obrazu.
- Połączenia Lambda następnie wstawia metadane obiektu obrazu i nazwiska gwiazd, jeśli są obecne, oraz osadza jako wektor k-NN w indeksie usługi OpenSearch.
- Amazon S3 hostuje prostą statyczną witrynę internetową, dystrybuowaną przez firmę an Amazon CloudFront. Interfejs użytkownika front-end (UI) umożliwia uwierzytelnianie w aplikacji za pomocą Amazon Cognito aby wyszukać obrazy.
- Przesyłasz artykuł lub tekst za pomocą interfejsu użytkownika.
- Inne Lambda wywołania funkcji Amazon Comprehend aby rozpoznać w tekście nazwiska potencjalnych celebrytów.
- Funkcja następnie podsumowuje tekst, aby uzyskać istotne punkty z artykułu za pomocą Titan Text G1 – Express.
- Funkcja generuje osadzenie podsumowanego artykułu przy użyciu modelu Amazon Titan Multimodal Embeddings.
- Następnie funkcja przeszukuje Usługa OpenSearch indeks obrazów dla obrazów pasujących do nazwiska gwiazdy i k-najbliżsi sąsiedzi dla wektora za pomocą podobieństwo cosinusowe za pomocą Dokładne k-NN ze skryptem punktacji.
- Amazon Cloud Watch i RTG AWS zapewnia możliwość obserwacji całego przepływu pracy i powiadamia o wszelkich problemach.
Poniższy rysunek przedstawia wizualnego projektanta przepływu pracy w ramach przepływu pracy Step Functions.
Oto przykład osadzania:
Powyższa tablica liczb przechwytuje znaczenie obiektu tekstowego lub obrazu w formie, na podstawie której można wykonywać obliczenia i funkcje.
Osadzenia charakteryzują się dużą wymiarowością, od kilkuset do wielu tysięcy wymiarów. Model ten ma wymiarowość 1,024, co oznacza, że poprzednia tablica będzie zawierać 1,024 elementy, które oddają semantykę danego obiektu.
Osadzanie multimodalne a osadzanie tekstu
Omawiamy dwie opcje zapewniania semantycznego wyszukiwania obrazów, gdzie główną różnicą jest sposób generowania osadzania obrazów. W naszym poprzedni post, generujesz osadzenie na podstawie metadanych tekstowych, które są wyodrębniane za pomocą Amazon Rekognition. W tym poście używasz modelu Titan Multimodal Embeddings i możesz bezpośrednio wygenerować osadzenie obrazu.
Wykonując szybki test i uruchamiając zapytanie w interfejsie użytkownika względem obu podejść, można zauważyć, że wyniki są zauważalnie różne. Przykładowy artykuł zapytania brzmi: „Werner Vogels uwielbia nosić białe szaliki podczas podróży po Indiach”.
Wynik z modelu multimodalnego wyżej ocenia obrazy z chustą. Słowo szalik jest obecny w przesłanym przez nas artykule i osadzenie to rozpoznało.
W interfejsie użytkownika możesz zobaczyć metadane wyodrębnione przez Amazon Rekognition, a metadane nie zawierają słowa szalik i dlatego pominęły pewne informacje z obrazu, czego, jak można założyć, nie ma w modelu osadzania obrazu, a zatem w modelu multimodalnym może mieć przewagę w zależności od przypadku użycia. Korzystając z Amazon Rekognition, możesz filtrować obiekty wykryte na obrazie przed utworzeniem osadzania, dzięki czemu możesz uzyskać inne odpowiednie przypadki użycia, które mogą działać lepiej w zależności od pożądanego rezultatu.
Poniższy rysunek przedstawia wyniki z modelu Amazon Titan Multimodal Embeddings.
Poniższy rysunek przedstawia wyniki modelu osadzania tekstu Amazon Titan przy użyciu metadanych wyodrębnionych z usługi Amazon Rekognition w celu wygenerowania osadzania.
Wymagania wstępne
W przypadku tego przewodnika musisz mieć następujące wymagania wstępne:
- An Konto AWS
- Interfejs wiersza poleceń modelu aplikacji bezserwerowej AWS (AWS SAM CLI)
- Rozwiązanie wykorzystuje do wdrożenia interfejs CLI AWS SAM.
- Upewnij się, że używasz najnowszej wersji AWS SAM CLI.
- Doker
- Rozwiązanie wykorzystuje opcję AWS SAM CLI do budowania wewnątrz kontenera, aby uniknąć konieczności tworzenia lokalnych zależności. Potrzebujesz do tego Dockera.
- Node
- Frontendem tego rozwiązania jest aplikacja internetowa React, którą można uruchomić lokalnie przy użyciu Node.
- Npm
- Instalacja pakietów wymaganych do lokalnego uruchomienia aplikacji internetowej lub zbudowania jej do zdalnego wdrożenia wymaga npm.
Kompiluj i wdrażaj aplikację z pełnym stosem
- Sklonuj repozytorium
- Zmień katalog na nowo sklonowany projekt.
- Uruchom npm install, aby pobrać wszystkie pakiety wymagane do uruchomienia aplikacji.
- Uruchom skrypt wdrażania, który uruchamia serię skryptów w kolejności, która wykona: sama konstrukcja, sam wdrażam, zaktualizuj pliki konfiguracyjne, a następnie hostuj pliki aplikacji internetowej w Amazon S3, gotowe do udostępnienia przez Amazon CloudFront
- Jednym z końcowych wyników skryptu jest adres URL Amazon CloudFront, czyli sposób, w jaki uzyskasz dostęp do aplikacji. Aby się zalogować, musisz utworzyć nowego użytkownika w konsoli zarządzania AWS. Zanotuj adres URL, którego będziesz mógł użyć później.
Poniższy zrzut ekranu pokazuje, jak skrypt użył AWS SAM do wdrożenia stosu i wygenerował adres URL Amazon CloudFront, którego możesz użyć, aby uzyskać dostęp do aplikacji.
Utwórz nowego użytkownika, aby zalogować się do aplikacji
- Idź do Amazon Cognito konsoli i wybierz nowy Pula użytkowników.
- Utwórz nowego użytkownika z nowym hasłem.
Zaloguj się i przetestuj aplikację internetową
- Znajdź Amazon CloudFront Adres URL umożliwiający przejście do strony logowania. Jest to wyświetlane w ostatniej linii, jak pokazano na poprzednim zrzucie ekranu.
- Wprowadź nową kombinację nazwy użytkownika i hasła, aby się zalogować.
- Prześlij kilka przykładowych obrazów za pomocą interfejsu użytkownika.
- Dodaj Wybierz plik a następnie wybierz Prześlij.
Uwaga: Możesz także przesłać zbiorczo bezpośrednio do segmentu S3, dodając pliki do pliku /przesłane teczka. - Napisz lub skopiuj i wklej artykuł i wybierz Prześlij aby sprawdzić, czy obrazy zostały zwrócone zgodnie z oczekiwaną kolejnością.
- Dodaj Wybierz plik a następnie wybierz Prześlij.
Sprzątanie
Aby uniknąć przyszłych opłat, usuń zasoby.
- Znajdź wiadro S3 wdrożone z tym rozwiązaniem i opróżnij wiadro.
- Przejdź do konsoli CloudFormation, wybierz stos wdrożony za pomocą wspomnianego wcześniej skryptu wdrażania i usuń stos.
Wnioski
W tym poście pokazałeś, jak używać Amazon Rekognition, Amazon Comprehend, Amazon Bedrock i OpenSearch Service do wyodrębniania metadanych ze swoich obrazów, a następnie korzystania z technik uczenia maszynowego w celu automatycznego odkrywania blisko powiązanych treści za pomocą wyszukiwania gwiazd i wyszukiwania semantycznego. Jest to szczególnie ważne w branży wydawniczej, gdzie szybkość ma znaczenie w szybkim udostępnianiu nowych treści na wielu platformach.
Następnym krokiem będzie wdrożenie rozwiązania na koncie AWS i przesłanie kilku własnych obrazów, aby przetestować, jak wyszukiwanie semantyczne może działać w Twoim przypadku. Daj mi znać kilka swoich opinii w komentarzach poniżej.
O autorach
Marka Watkinsa jest Architektem Rozwiązań w zespole Media and Entertainment, wspierając swoich klientów w rozwiązywaniu wielu problemów związanych z danymi i ML. Z dala od życia zawodowego uwielbia spędzać czas z rodziną i obserwować dorastającą dwójkę swoich maluchów.
Dana Johnsa jest inżynierem architektem rozwiązań, wspierającym swoich klientów w budowaniu rozwiązań na platformie AWS i spełnianiu wymagań biznesowych. Poza życiem zawodowym uwielbia czytać, spędzać czas z rodziną i automatyzować zadania w domu.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/easily-build-semantic-image-search-using-amazon-titan/
- :ma
- :Jest
- :nie
- :Gdzie
- $W GÓRĘ
- 1
- 100
- 24
- 7
- a
- Akceptuj
- zaakceptowany
- dostęp
- towarzyszyć
- Konto
- działania
- Dodaj
- w dodatku
- dodanie
- Korzyść
- przed
- AI
- Alarm
- Wszystkie kategorie
- pozwala
- wzdłuż
- również
- Amazonka
- Amazon Comprehend
- Uczenie maszynowe Amazon
- Amazon Rekognition
- Amazon Web Services
- an
- w czasie rzeczywistym sprawiają,
- i
- Antropiczny
- każdy
- api
- Pszczoła
- odpowiedni
- Zastosowanie
- aplikacje
- awanse
- architektura
- SĄ
- na około
- Szyk
- artykuł
- AS
- założyć
- Uwaga
- audio
- uwierzytelniać
- zautomatyzować
- automatycznie
- automatyzacja
- uniknąć
- z dala
- AWS
- Konsola zarządzania AWS
- Funkcje kroków AWS
- BE
- zanim
- poniżej
- BEST
- Ulepsz Swój
- pomiędzy
- obie
- szeroki
- budować
- biznes
- ale
- by
- obliczać
- Obliczenia
- wezwanie
- Połączenia
- CAN
- Może uzyskać
- możliwości
- zdobyć
- Zajęte
- przechwytuje
- Przechwytywanie
- walizka
- Etui
- Gwiazdy
- Celebrytki
- charakter
- Opłaty
- wybór
- Dodaj
- Zamknij
- dokładnie
- CO
- kolekcja
- połączenie
- komentarze
- Firmy
- zrozumieć
- pojęcie
- Koncepcje
- systemu
- Konsola
- Pojemnik
- zawartość
- bez przerwy
- mógłby
- Stwórz
- Tworzenie
- Klientów
- dane
- dostarczyć
- dostarczanie
- Zależności
- W zależności
- rozwijać
- wdrażane
- Wdrożenie
- projektant
- życzenia
- detale
- wykryć
- wykryte
- Wykrywanie
- oprogramowania
- różnica
- różne
- Wymiary
- kierować
- bezpośrednio
- odkryj
- dyskutować
- omówione
- dystans
- dystrybuowane
- do
- Doker
- Nie
- pobieranie
- z łatwością
- Efektywne
- Elementy
- osadzanie
- umożliwiać
- zakończenia
- koniec końców
- zaręczynowy
- inżynier
- rozrywka
- istota
- Parzyste
- wydarzenie
- przykład
- spodziewany
- doświadczenie
- ekspresowy
- wyciąg
- członków Twojej rodziny
- Cecha
- informacja zwrotna
- kilka
- Postać
- Akta
- filtrować
- finał
- Znajdź
- znajduje
- następujący
- W razie zamówieenia projektu
- Nasz formularz
- Fundacja
- świeży
- od
- z przodu
- Zaczepy
- pełny
- Pełny stos
- w pełni
- funkcjonować
- Funkcje
- przyszłość
- g1
- Generować
- generuje
- generujący
- generatywny
- generatywna sztuczna inteligencja
- otrzymać
- miejsce
- Dać
- dany
- dobry
- Rozwój
- Have
- he
- pomoc
- stąd
- Wysoki
- wydajny
- wyższy
- jego
- Strona główna
- gospodarz
- gospodarze
- W jaki sposób
- How To
- HTML
- HTTPS
- cetnar
- if
- obraz
- Wyszukiwanie obrazka
- zdjęcia
- ważny
- podnieść
- in
- zawierać
- Włącznie z
- wskaźnik
- Indie
- przemysł
- Informacja
- Inicjuje
- wkład
- Wkłady
- wewnątrz
- zainstalować
- instalacja
- Interfejs
- najnowszych
- problemy
- IT
- JEGO
- dziennikarstwo
- jpg
- właśnie
- Klawisz
- słowa kluczowe
- Wiedzieć
- znany
- Etykieta
- Labs
- później
- firmy
- prowadzący
- nauka
- niech
- poziom
- życie
- Prawdopodobnie
- Linia
- słucha
- mało
- miejscowy
- lokalnie
- poszukuje
- kocha
- maszyna
- uczenie maszynowe
- Główny
- Utrzymywanie
- robić
- zarządzane
- i konserwacjami
- wiele
- dopasowywanie
- Matters
- maksymalny
- me
- znaczenie
- znaczy
- zmierzyć
- Media
- wzmiankowany
- Meta
- Metadane
- może
- nieodebranych
- ML
- model
- modele
- jeszcze
- większość
- dużo
- wielokrotność
- musi
- Nazwa
- Nazwy
- Potrzebować
- Nowości
- nowo
- Następny
- węzeł
- noty
- zauważalnie
- z naszej
- przedmiot
- obiekty
- of
- Oferty
- on
- ONE
- te
- tylko
- Option
- Opcje
- or
- zamówienie
- Inne
- ludzkiej,
- na zewnątrz
- Wynik
- wydajność
- Wyjścia
- własny
- Pakiety
- strona
- Parallel
- część
- szczególnie
- Hasło
- wykonać
- Osobistości
- zbierając
- Platformy
- plato
- Analiza danych Platona
- PlatoDane
- zwrotnica
- możliwy
- Post
- potencjał
- warunki wstępne
- obecność
- teraźniejszość
- poprzedni
- poprzednio
- prywatność
- Prywatność i bezpieczeństwo
- problemy
- profesjonalny
- projekt
- zapewniać
- publikować
- wydawcy
- Wydawniczy
- jakość
- zapytania
- Szybki
- szybko
- szybko
- React
- Czytający
- gotowy
- niedawno
- uznanie
- rozpoznać
- uznane
- rozpoznaje
- Rekomendacja
- związane z
- zdalny
- składnica
- reprezentacja
- wymagać
- wymagany
- wymagania
- rezonator
- Zasoby
- dalsze
- Efekt
- run
- bieganie
- działa
- Sam
- taki sam
- zobaczył
- szalik
- punktacji
- scenariusz
- skrypty
- Szukaj
- wyszukiwania
- poszukiwania
- druga
- bezpieczeństwo
- widzieć
- wybierać
- semantyka
- wyrok
- Sekwencja
- Serie
- Bezserwerowe
- usługa
- Usługi
- służąc
- zestaw
- pokazane
- Targi
- znak
- podobny
- Prosty
- upraszczanie
- pojedynczy
- rozwiązanie
- Rozwiązania
- ROZWIĄZANIA
- kilka
- prędkość
- Spędzanie
- Stabilność
- stos
- Półki na książki
- statyczny
- Ewolucja krok po kroku
- Cel
- przechowywanie
- sklep
- przechowywany
- Historia
- opływowy
- Zatwierdź
- składane
- taki
- streszczać
- PODSUMOWANIE
- Wspierający
- pewnie
- streszczenie
- systemy
- Brać
- trwa
- Mówić
- zadania
- zespół
- Techniki
- kilkadziesiąt
- REGULAMIN
- test
- Testowanie
- XNUMX
- tekstowy
- że
- Połączenia
- ich
- Im
- następnie
- w związku z tym
- Te
- one
- to
- tych
- tysiące
- trzy
- Przez
- czas
- tytan
- do
- żeton
- Top
- Przekształcać
- podróże
- tv
- drugiej
- ui
- zrozumieć
- Aktualizacja
- przesłanych
- URL
- posługiwać się
- przypadek użycia
- używany
- Użytkownik
- Interfejs użytkownika
- zastosowania
- za pomocą
- wersja
- Przeciw
- Wideo
- Filmy
- wizualny
- solucja
- oglądania
- Droga..
- sposoby
- sieć
- Aplikacja internetowa
- usługi internetowe
- Strona internetowa
- znane
- Co
- jeśli chodzi o komunikację i motywację
- który
- Podczas
- biały
- Wikipedia
- będzie
- w
- w ciągu
- bez
- słowo
- Praca
- workflow
- przepływów pracy
- You
- Twój
- zefirnet