Kontekstuaalse ja semantilise otsingu kasv on muutnud e-kaubanduse ja jaemüügiettevõtted tarbijate jaoks lihtsaks otsimise. Generatiivsel tehisintellektil töötavad otsingumootorid ja soovitussüsteemid võivad tooteotsingu kogemust plahvatuslikult parandada, mõistes loomuliku keele päringuid ja tagastades täpsemaid tulemusi. See parandab üldist kasutajakogemust, aidates klientidel leida täpselt seda, mida nad otsivad.
Amazon OpenSearchi teenus toetab nüüd koosinuse sarnasus k-NN indeksite mõõdik. Koosinussarnasus mõõdab kahe vektori vahelise nurga koosinust, kus väiksem koosinusnurk tähistab vektorite suuremat sarnasust. Koosinussarnasuse abil saate mõõta kahe vektori vahelist orientatsiooni, mistõttu on see hea valik mõne konkreetse semantilise otsingurakenduse jaoks.
Selles postituses näitame, kuidas luua kontekstipõhine teksti- ja pildiotsingumootor tootesoovituste jaoks, kasutades Amazon Titan Multimodal Embeddingsi mudel, saadaval Amazonase aluspõhiKoos Amazon OpenSearch Serverita.
Multimodaalsete manustamismudel on loodud selleks, et õppida erinevate viiside (nt teksti, kujutiste ja heli) ühiseid esitusi. Kujutiste ja nende vastavaid pealdisi sisaldavate suuremahuliste andmekogude koolitusel õpib multimodaalse manustamise mudel manustama pilte ja tekste jagatud varjatud ruumi. Järgnev on kõrgetasemeline ülevaade selle kontseptuaalsest toimimisest.
- Eraldi kodeerijad – Nendel mudelitel on iga modaalsuse jaoks eraldi kodeerijad – teksti kodeerija teksti jaoks (näiteks BERT või RoBERTa), kujutiste kodeerija (näiteks CNN piltide jaoks) ja helikooderid heli jaoks (näiteks mudelid nagu Wav2Vec). . Iga kodeerija loob manuseid, mis hõivavad nende vastavate modaalsuste semantilisi tunnuseid
- Modaalsuse sulandumine – Unimodaalsete kodeerijate manused kombineeritakse täiendavate närvivõrgukihtide abil. Eesmärk on õppida modaalsuste vahelisi interaktsioone ja korrelatsioone. Levinud fusioonimeetodid hõlmavad konkateneerimist, elemendipõhiseid toiminguid, ühendamist ja tähelepanumehhanisme.
- Ühine esindusruum – Liitkihid aitavad projitseerida üksikuid modaalsusi jagatud esitusruumi. Multimodaalsete andmekogumitega treenides õpib mudel ühist manustamisruumi, kus iga modaalsuse manustused, mis esindavad sama aluseks olevat semantilist sisu, on üksteisele lähemal.
- Järgmised ülesanded – Loodud ühiseid multimodaalseid manuseid saab seejärel kasutada mitmesugusteks järgnevateks ülesanneteks, nagu multimodaalne otsimine, klassifitseerimine või tõlkimine. Mudel kasutab modaalsuste vahelisi korrelatsioone, et parandada nende ülesannete toimivust võrreldes üksikute modaalsete manustamistega. Peamine eelis on võime mõista interaktsioone ja semantikat modaalsuste, nagu tekst, pildid ja heli, vahel ühise modelleerimise kaudu.
Lahenduse ülevaade
Lahendus pakub teostust suure keelemudeli (LLM) toega otsingumootori prototüübi loomiseks, et otsida ja soovitada tooteid teksti- või pildipäringute põhjal. Üksikasjalikult kirjeldame an Amazoni Titani multimodaalsed manused mudel, et kodeerida kujutisi ja teksti manusteks, manustada neid OpenSearch Service'i registrisse ja teha indeksi kohta päringuid OpenSearch Service'i abil k-lähimate naabrite (k-NN) funktsionaalsus.
See lahendus sisaldab järgmisi komponente:
- Amazon Titan Multimodal Embeddingsi mudel - See alusmudel (FM) genereerib selles postituses kasutatud tootepiltide manuseid. Amazon Titan Multimodal Embeddingsi abil saate luua oma sisule manuseid ja salvestada need vektorandmebaasi. Kui lõppkasutaja esitab otsingupäringuna mis tahes teksti ja pildi kombinatsiooni, genereerib mudel otsingupäringu jaoks manused ja sobitab need salvestatud manustega, et pakkuda lõppkasutajatele asjakohaseid otsingu- ja soovitustulemusi. Saate mudelit veelgi kohandada, et parandada selle arusaamist teie ainulaadsest sisust ja pakkuda tähendusrikkamaid tulemusi, kasutades peenhäälestamiseks pildi-teksti paare. Vaikimisi genereerib mudel 1,024 mõõtmega vektoreid (manustused) ja sellele pääseb juurde Amazon Bedrocki kaudu. Kiiruse ja jõudluse optimeerimiseks saate luua ka väiksemaid mõõtmeid
- Amazon OpenSearch Serverita - See on OpenSearchi teenuse tellitav serverita konfiguratsioon. Kasutame Amazon OpenSearch Serverlessi vektorandmebaasina Amazon Titan Multimodal Embeddingsi mudeli loodud manuste salvestamiseks. Amazon OpenSearch Serverless kollektsioonis loodud register toimib meie otsingu laiendatud genereerimise (RAG) lahenduse vektorite salvestusena.
- Amazon SageMaker Studio - See on masinõppe (ML) integreeritud arenduskeskkond (IDE). ML-i praktikud saavad teha kõiki ML-i arendamise etappe – alates teie andmete ettevalmistamisest kuni ML-mudelite loomise, koolitamise ja juurutamiseni.
Lahenduse disain koosneb kahest osast: andmete indekseerimine ja kontekstipõhine otsing. Andmete indekseerimise ajal töötlete tootekujutisi, et luua nende kujutiste manustamine ja seejärel sisestada vektorandmete salv. Need sammud tehakse enne kasutajaga suhtlemise etappe.
Kontekstuaalse otsingu faasis teisendatakse kasutajalt päring (tekst või pilt) manusteks ja sarnasuse otsingul põhinevate sarnaste tootepiltide leidmiseks käivitatakse vektorandmebaasis sarnasuse otsing. Seejärel kuvatakse populaarseimad sarnased tulemused. Kogu selle postituse kood on saadaval aadressil GitHub repo.
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Lahenduse töövoo etapid on järgmised.
- Laadige avalikkusest alla tootekirjelduse tekst ja pildid Amazoni lihtne salvestusteenus (Amazon S3) kopp.
- Andmekogum üle vaadata ja ette valmistada.
- Genereerige tootepiltide manuseid, kasutades Amazon Titan Multimodal Embeddingsi mudelit (amazon.titan-embed-image-v1). Kui teil on palju pilte ja kirjeldusi, saate valikuliselt kasutada Amazon Bedrocki partii järeldused.
- Salvestage manustused Amazon OpenSearch Serverita otsingumootorina.
- Lõpuks hankige kasutajapäring loomulikus keeles, teisendage see Amazon Titan Multimodal Embeddingsi mudeli abil manusteks ja tehke asjakohaste otsingutulemuste saamiseks k-NN otsing.
Lahenduse arendamiseks kasutame IDE-na SageMaker Studiot (pole joonisel näidatud).
Neid samme käsitletakse üksikasjalikult järgmistes jaotistes. Lisame ka ekraanipilte ja väljundi üksikasju.
Eeldused
Selles postituses pakutava lahenduse rakendamiseks peaks teil olema järgmine:
- An AWS-i konto ja FM-ide, Amazon Bedrocki tundmine, Amazon SageMakerja OpenSearch Service.
- Amazon Bedrockis lubatud Amazon Titan Multimodal Embeddingsi mudel. Saate kinnitada, et see on sisse lülitatud Juurdepääs mudelile Amazon Bedrocki konsooli leht. Kui Amazon Titan Multimodal Embeddings on lubatud, kuvatakse juurdepääsu olek kujul Juurdepääs antud, nagu on näidatud järgmisel ekraanipildil.
Kui mudel pole saadaval, lubage mudelile juurdepääs valides Mudeli juurdepääsu haldamine, valides Amazon Titan Multimodaalsed manused G1ja valides Taotlege juurdepääsu mudelile. Mudel lubatakse kohe kasutamiseks.
Seadistage lahendus
Kui eeltingimused on täidetud, olete valmis lahendust seadistama.
- Avage oma AWS-i kontol SageMakeri konsool ja valige stuudio navigeerimispaanil.
- Valige oma domeen ja kasutajaprofiil ning seejärel valige Avage Studio.
Teie domeeni ja kasutajaprofiili nimi võivad erineda.
- Vali Süsteemi terminal all Utiliidid ja failid.
- Käivitage järgmine käsk, et kloonida GitHub repo SageMaker Studio eksemplari:
- Liikuge
multimodal/Titan/titan-multimodal-embeddings/amazon-bedrock-multimodal-oss-searchengine-e2e
kausta. - avage
titan_mm_embed_search_blog.ipynb
märkmik.
Käivitage lahendus
Avage fail titan_mm_embed_search_blog.ipynb
ja kasutage Data Science Python 3 tuuma. peal jooks menüüst valige Käivitage kõik rakud koodi käivitamiseks selles märkmikus.
See märkmik täidab järgmised toimingud.
- Installige selle lahenduse jaoks vajalikud paketid ja teegid.
- Laadige avalikult kättesaadavad Amazon Berkeley objektide andmestik ja metaandmed pandade andmeraamis.
Andmekogum koosneb 147,702 398,212 tooteloendist koos mitmekeelsete metaandmete ja 1,600 XNUMX ainulaadse kataloogipildiga. Selle postituse jaoks kasutate ainult USA inglisekeelseid üksuste pilte ja üksuste nimesid. Kasutate ligikaudu XNUMX toodet.
- Looge üksuse kujutiste jaoks manused, kasutades Amazon Titan Multimodal Embeddingsi mudelit, kasutades
get_titan_multomodal_embedding()
funktsiooni. Abstraktsiooni huvides oleme määratlenud kõik selles märkmikus kasutatavad olulised funktsioonidutils.py
faili.
Järgmisena loote ja seadistate Amazon OpenSearchi serverita vektorpoe (kogu ja register).
- Enne uue vektorotsingu kogu ja indeksi loomist peate esmalt looma kolm seotud OpenSearch Service'i poliitikat: krüptimise turvapoliitika, võrguturbepoliitika ja andmetele juurdepääsu poliitika.
- Lõpuks manustage pilt vektorindeksisse.
Nüüd saate teha reaalajas multimodaalset otsingut.
Käivitage kontekstuaalne otsing
Selles jaotises näitame teksti- või pildipäringu põhjal kontekstipõhise otsingu tulemusi.
Esmalt teeme tekstisisestuse põhjal pildiotsingu. Järgmises näites kasutame tekstisisestust “jooginõu klaas” ja saadame selle sarnaste esemete leidmiseks otsingumootorisse.
Järgmine ekraanipilt näitab tulemusi.
Nüüd vaatame tulemusi lihtsa pildi põhjal. Sisendpilt teisendatakse vektormanustusteks ja sarnasuse otsingu põhjal tagastab mudel tulemuse.
Võite kasutada mis tahes pilti, kuid järgmise näite puhul kasutame andmestiku juhuslikku pilti, mis põhineb üksuse ID-l (näiteks item_id
= "B07JCDQWM6") ja seejärel saatke see pilt sarnaste üksuste leidmiseks otsingumootorisse.
Järgmine ekraanipilt näitab tulemusi.
Koristage
Edaspidiste tasude vältimiseks kustutage selles lahenduses kasutatud ressursid. Seda saate teha, käivitades sülearvuti puhastamise jaotise.
Järeldus
See postitus tutvustas Amazon Titan Multimodal Embeddingsi mudeli kasutamist Amazon Bedrockis võimsate kontekstipõhiste otsingurakenduste loomiseks. Eelkõige demonstreerisime tooteloendi otsingurakenduse näidet. Nägime, kuidas manustamismudel võimaldab tõhusalt ja täpselt leida teavet piltidest ja tekstiandmetest, parandades seeläbi kasutajakogemust asjakohaste üksuste otsimisel.
Amazon Titan Multimodal Embeddings aitab teil pakkuda lõppkasutajatele täpsemaid ja kontekstipõhiseid multimodaalseid otsingu-, soovitus- ja isikupärastamiskogemusi. Näiteks võib sadade miljonite piltidega börsifotograafia ettevõte kasutada mudelit oma otsingufunktsioonide käivitamiseks, et kasutajad saaksid otsida pilte fraasi, pildi või pildi ja teksti kombinatsiooni abil.
Amazon Bedrockis asuv Amazon Titan Multimodal Embeddingsi mudel on nüüd saadaval USA idaosas (N. Virginia) ja USA läänes (Oregon) AWS piirkondades. Lisateabe saamiseks vaadake Amazon Titan Image Generator, Multimodal Embeddings ja Text mudelid on nüüd saadaval Amazon Bedrockis, Amazon Titani tootelehtJa Amazon Bedrocki kasutusjuhend. Amazon Titan Multimodal Embeddingsi kasutamise alustamiseks Amazon Bedrockis külastage veebilehte Amazon Bedrocki konsool.
Alustage ehitamist Amazon Titan Multimodal Embeddingsi mudeliga Amazonase aluspõhi täna.
Autoritest
Sandeep Singh on Amazon Web Servicesi vanem generatiivse tehisintellekti andmeteadlane, kes aitab ettevõtetel generatiivse AI abil uuendusi teha. Ta on spetsialiseerunud generatiivsele AI-le, tehisintellektile, masinõppele ja süsteemikujundusele. Ta on kirglik arendada tipptasemel AI/ML-põhiseid lahendusi, et lahendada keerulisi äriprobleeme erinevate tööstusharude jaoks, optimeerides tõhusust ja mastaapsust.
Mani Khanuja on Tech Lead – Generative AI Specialists, raamatu Applied Machine Learning and High Performance Computing on AWS autor ning Women in Manufacturing Education Foundationi juhatuse liige. Ta juhib masinõppeprojekte erinevates valdkondades, nagu arvutinägemine, loomuliku keele töötlemine ja generatiivne AI. Ta esineb sise- ja väliskonverentsidel, nagu AWS re:Invent, Women in Manufacturing West, YouTube'i veebiseminarid ja GHC 23. Vabal ajal meeldib talle rannas pikki jookse teha.
Rupinder Grewal on AWS-iga AI/ML-lahenduste vanemarhitekt. Praegu keskendub ta mudelite ja MLO-de teenindamisele Amazon SageMakeris. Enne seda rolli töötas ta masinõppeinsenerina, ehitades ja majutades mudeleid. Töövälisel ajal meeldib talle tennist mängida ja mägiradadel jalgrattaga sõita.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/build-a-contextual-text-and-image-search-engine-for-product-recommendations-using-amazon-bedrock-and-amazon-opensearch-serverless/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 100
- 125
- 212
- 23
- 258
- 411
- 600
- 7
- 89
- a
- võime
- MEIST
- abstraktsioon
- juurdepääs
- pääses
- konto
- täpne
- üle
- Täiendavad lisad
- ADEelis
- AI
- AI andmed
- AI / ML
- Materjal: BPA ja flataatide vaba plastik
- mööda
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- ja
- nurk
- mistahes
- taotlus
- rakendused
- rakendatud
- lähenemisviisid
- umbes
- arhitektuur
- OLEME
- kunstlik
- tehisintellekti
- AS
- seotud
- At
- tähelepanu
- heli-
- suurendatud
- autor
- saadaval
- vältima
- AWS
- AWS re: leiutada
- põhineb
- BE
- rand
- Berkeley
- vahel
- juhatus
- juhatus
- raamat
- ehitama
- Ehitus
- äri
- ettevõtted
- kuid
- by
- CAN
- tekste
- Püüdmine
- koormuste
- valik
- Vali
- valimine
- klassifikatsioon
- lähemale
- CNN
- kood
- kogumine
- kombinatsioon
- kombineeritud
- ühine
- ettevõte
- võrreldes
- täitma
- Lõpetatud
- keeruline
- komponendid
- arvuti
- Arvuti visioon
- arvutustehnika
- Kontseptuaalselt
- konverentsid
- konfiguratsioon
- Kinnitama
- koosneb
- konsool
- Tarbijad
- sisu
- kontekstuaalne
- muutma
- ümber
- korrelatsioonid
- Vastav
- looma
- loodud
- Praegu
- Kliendid
- kohandada
- andmed
- juurdepääs andmetele
- andmeteadus
- andmeteadlane
- andmebaas
- andmekogumid
- vaikimisi
- määratletud
- Näidatud
- tähistab
- juurutamine
- kirjeldus
- Disain
- kavandatud
- detail
- detailid
- arendama
- arenev
- & Tarkvaraarendus
- skeem
- erinev
- mõõdud
- Direktorid
- avastus
- arutatud
- Ekraan
- mitu
- do
- domeen
- Domeenid
- ajal
- iga
- Ida
- pood
- Käsitöö
- efektiivsus
- tõhus
- Embed
- kinnistamine
- võimaldama
- lubatud
- võimaldab
- krüpteerimist
- Mootor
- insener
- Mootorid
- Inglise
- suurendama
- Parandab
- suurendamine
- keskkond
- täpselt
- näide
- kogemus
- Kogemused
- eksponentsiaalselt
- väline
- Tuttav
- FUNKTSIOONID
- fail
- leidma
- esimene
- keskendub
- Järel
- eest
- Sihtasutus
- FRAME
- tasuta
- Alates
- funktsioon
- funktsionaalsus
- funktsioonid
- edasi
- fusioon
- tulevik
- tekitama
- loodud
- genereerib
- põlvkond
- generatiivne
- Generatiivne AI
- generaator
- saama
- saab
- Go
- eesmärk
- hea
- Olema
- he
- aitama
- aidates
- aitab
- siin
- Suur
- kõrgetasemeline
- rohkem
- Hosting
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- tohutu
- sajad
- sadu miljoneid
- ID
- if
- illustreerib
- pilt
- Pildiotsing
- pildid
- kohe
- rakendada
- täitmine
- oluline
- parandama
- in
- sisaldama
- hõlmab
- indeks
- indeksid
- eraldi
- tööstusharudes
- info
- uuendama
- sisend
- Näiteks
- integreeritud
- Intelligentsus
- suhtlemist
- interaktsioonid
- sisemine
- sisse
- IT
- kirjed
- ITS
- ühine
- jpeg
- Võti
- keel
- suur
- suuremahuline
- kihid
- viima
- Leads
- Õppida
- õppimine
- õpib
- raamatukogud
- nagu
- meeldib
- loetelu
- Näita
- LLM
- Pikk
- Vaata
- otsin
- masin
- masinõpe
- tehtud
- TEEB
- tootmine
- tikud
- mai..
- tähendusrikas
- mõõtma
- meetmed
- mehhanismid
- liige
- menüü
- Metaandmed
- meetriline
- miljonid
- ML
- MLOps
- mudel
- modelleerimine
- mudelid
- rohkem
- Mountain
- peab
- nimi
- nimed
- Natural
- Natural Language Processing
- NAVIGATSIOON
- naabrid
- võrk
- Network Security
- närvi-
- Närvivõrgus
- Uus
- märkmik
- nüüd
- number
- esemeid
- of
- on
- On-Demand
- ainult
- avatud
- Operations
- optimeerima
- optimeerimine
- or
- Oregon
- meie
- väljund
- väljaspool
- üldine
- ülevaade
- pakette
- paari
- pandas
- pane
- eriline
- osad
- kirglik
- täitma
- jõudlus
- täidab
- Isikupärastamine
- faas
- fotograafia
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängimine
- Poliitika
- poliitika
- ühendamine
- post
- võim
- sisse
- võimas
- Valmistama
- ettevalmistamisel
- eeltingimus
- esitatud
- Eelnev
- probleeme
- protsess
- töötlemine
- Toode
- Toodet
- profiil
- projekt
- projektid
- prototüüp
- anda
- tingimusel
- annab
- avalik
- avalikult
- Python
- päringud
- päringu
- rag
- juhuslik
- RE
- valmis
- reaalajas
- soovitama
- Soovitus
- soovitused
- viitama
- piirkondades
- asjakohane
- esindama
- esindamine
- nõutav
- Vahendid
- need
- kaasa
- Tulemused
- jaemüük
- otsing
- tagasi
- Tulu
- Tõusma
- Roll
- jooks
- jooksmine
- jookseb
- salveitegija
- sake
- sama
- nägin
- Skaalautuvus
- teadus
- teadlane
- ekraanipilte
- Otsing
- otsingumootor
- Otsingumootorid
- otsimine
- Osa
- lõigud
- turvalisus
- valides
- semantiline
- semantika
- saatma
- vanem
- eri
- Serverita
- teenib
- teenus
- teenused
- teenindavad
- komplekt
- jagatud
- ta
- peaks
- näitama
- näidatud
- Näitused
- sarnane
- lihtne
- väiksem
- So
- lahendus
- Lahendused
- LAHENDAGE
- mõned
- Ruum
- Räägib
- spetsialist
- spetsialistid
- spetsialiseerunud
- konkreetse
- kiirus
- alustatud
- modernne
- olek
- Sammud
- varu
- ladustamine
- salvestada
- ladustatud
- ladustamine
- lihtne
- stuudio
- selline
- Toetab
- süsteem
- süsteemid
- ülesanded
- tech
- tennis
- tekst
- tekstiline
- et
- .
- liiges
- oma
- Neile
- SIIS
- sellega
- Need
- see
- kolm
- Läbi
- aeg
- Titan
- et
- täna
- kokku
- ülemine
- koolitus
- Tõlge
- kaks
- all
- aluseks
- mõistma
- mõistmine
- ainulaadne
- us
- kasutama
- Kasutatud
- Kasutaja
- User Experience
- Kasutajad
- kasutusalad
- kasutamine
- eri
- kaudu
- virginia
- nägemus
- visiit
- läbikäiguks
- we
- web
- veebiteenused
- Webinars
- Läände
- M
- millal
- mis
- kuigi
- Wikipedia
- will
- koos
- Naised
- Töö
- töötas
- töövoog
- töötab
- sa
- Sinu
- youtube
- sephyrnet