At AWS uudelleen: keksintö 2023, julkistimme yleisen saatavuuden Amazon Bedrockin tietokannat. Amazon Bedrockin Knowledge Bases -tietokannan avulla voit liittää perusmallit (FM) turvallisesti sisään Amazonin kallioperä yrityksesi tietoihin käyttämällä täysin hallittua RAG (Retrieval Augmented Generation) -mallia.
RAG-pohjaisissa sovelluksissa FM:istä luotujen vastausten tarkkuus riippuu mallille tarjotusta kontekstista. Kontekstit haetaan vektorivarastoista käyttäjän kyselyjen perusteella. Amazon Bedrockin Knowledge Basesin äskettäin julkaistussa ominaisuudessa hybridihaku, voit yhdistää semanttisen haun avainsanahakuun. Monissa tilanteissa saatat kuitenkin joutua hakemaan asiakirjat, jotka on luotu tietyllä ajanjaksolla tai merkitty tietyillä luokilla. Voit tarkentaa hakutuloksia suodattamalla asiakirjan metatietojen perusteella hakutarkkuuden parantamiseksi, mikä puolestaan johtaa kiinnostavampiin FM-sukupolviin, jotka vastaavat kiinnostuksen kohteitasi.
Tässä viestissä käsittelemme Amazon Bedrockin Knowledge Basesin uutta mukautettua metatietojen suodatusominaisuutta, jonka avulla voit parantaa hakutuloksia esisuodattamalla haut vektorikaupoista.
Metatietojen suodatuksen yleiskatsaus
Ennen metatietosuodatuksen vapauttamista kaikki semanttisesti merkitykselliset palaset ennalta asetettuun enimmäismäärään asti palautettaisiin kontekstiksi, jota FM käyttää vastauksen luomiseen. Nyt metatietosuodattimien avulla voit noutaa semanttisesti relevanttien osien lisäksi hyvin määritellyn osajoukon kyseisistä osuvista käytettyjen metatietosuodattimien ja niihin liittyvien arvojen perusteella.
Tämän ominaisuuden avulla voit nyt toimittaa mukautetun metatietotiedoston (kukin enintään 10 kt) jokaiselle tietokannan asiakirjalle. Voit käyttää suodattimia hakuihisi ja ohjeistaa vektorivarastoa esisuodattamaan asiakirjan metatietojen perusteella ja etsimään sitten asiaankuuluvia asiakirjoja. Tällä tavalla voit hallita haettuja asiakirjoja, varsinkin jos kyselysi ovat epäselviä. Voit esimerkiksi käyttää oikeudellisia asiakirjoja, joissa on samanlaiset termit eri yhteyksissä, tai elokuvia, joilla on samanlainen juoni, joka on julkaistu eri vuosina. Lisäksi vähentämällä haettavien osien määrää saavutat tarkkuuden parantamisen lisäksi suorituskykyetuja, kuten prosessorin syklien vähenemisen ja vektorivaraston kyselyn kustannukset.
Jotta voit käyttää metatietojen suodatusominaisuutta, sinun on annettava lähdetietotiedostojen rinnalle metatietotiedostoja, joilla on sama nimi kuin lähdetietotiedostolla ja .metadata.json
pääte. Metatiedot voivat olla merkkijonoa, numeroa tai loogista. Seuraavassa on esimerkki metatietotiedoston sisällöstä:
Amazon Bedrockin Knowledge Basesin metatietojen suodatusominaisuus on saatavilla AWS-alueilla US East (N. Virginia) ja US West (Oregon).
Seuraavat ovat yleisiä metatietojen suodatuksen käyttötapauksia:
- Dokumentoi chatbot ohjelmistoyritykselle – Näin käyttäjät voivat löytää tuotetietoja ja vianetsintäoppaita. Esimerkiksi käyttöjärjestelmän tai sovellusversion suodattimet voivat auttaa välttämään vanhentuneiden tai asiaankuulumattomien asiakirjojen hakemisen.
- Keskusteleva haku organisaation sovelluksesta – Tämän avulla käyttäjät voivat etsiä asiakirjoja, kanbaneja, kokoustallennuksen transkriptioita ja muuta sisältöä. Käyttämällä metatietosuodattimia työryhmissä, liiketoimintayksiköissä tai projektitunnuksissa voit mukauttaa chat-kokemusta ja parantaa yhteistyötä. Esimerkki voisi olla "Mikä on Sphinx-projektin tila ja riskit", jossa käyttäjät voivat suodattaa asiakirjoja tietyn projektin tai lähdetyypin mukaan (kuten sähköposti- tai kokousasiakirjat).
- Älykäs haku ohjelmistokehittäjille – Näin kehittäjät voivat etsiä tietoja tietystä julkaisusta. Julkaisuversion, asiakirjatyypin (kuten koodin, API-viittauksen tai ongelman) suodattimet voivat auttaa paikantamaan asiaankuuluvat asiakirjat.
Ratkaisun yleiskatsaus
Seuraavissa osissa esittelemme, kuinka tietojoukko valmistetaan käytettäväksi tietokantana ja sitten tehdään kysely metatietosuodatuksella. Voit tehdä kyselyn käyttämällä joko AWS-hallintakonsoli tai SDK.
Valmistele tietojoukko Knowledge Bases for Amazon Bedrockia varten
Tässä viestissä käytämme a näytetiedosto fiktiivisistä videopeleistä, jotka havainnollistavat metatietojen nielemistä ja hakemista Amazon Bedrockin Knowledge Bases -sovelluksen avulla. Jos haluat seurata mukana omalla AWS-tililläsi, lataa tiedosto.
Jos haluat lisätä metatietoja asiakirjoihin olemassa olevassa tietokannassa, luo metatietotiedostot odotetuilla tiedostonimillä ja skeemoilla ja siirry sitten vaiheeseen synkronoidaksesi tietosi tietokannan kanssa aloittaaksesi asteittaisen tiedonkeruun.
Esimerkkitietojoukossamme jokaisen pelin asiakirja on erillinen CSV-tiedosto (esim. s3://$bucket_name/video_game/$game_id.csv
) seuraavilla sarakkeilla:
title
, description
, genres
, year
, publisher
, score
Jokaisen pelin metatiedoissa on pääte .metadata.json
(esimerkiksi, s3://$bucket_name/video_game/$game_id.csv.metadata.json
) seuraavalla skeemalla:
Luo tietokanta Amazon Bedrockille
Katso ohjeet uuden tietokannan luomiseen Luo tietokanta. Tässä esimerkissä käytämme seuraavia asetuksia:
- On Määritä tietolähde sivun alla Purkamisstrategiavalitse Ei nykimistä, koska olet jo esikäsitellyt asiakirjat edellisessä vaiheessa.
- In Upotusmalli osiossa, valitse Titan G1 Embeddings – teksti.
- In Vektoritietokanta osiossa, valitse Luo nopeasti uusi vektorikauppa. Metatietojen suodatusominaisuus on käytettävissä kaikissa tuetuissa vektorikaupoissa.
Synkronoi tietojoukko tietokannan kanssa
Kun olet luonut tietokannan ja datatiedostosi ja metatietotiedostosi ovat tiedostossa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri, voit aloittaa asteittaisen nielemisen. Katso ohjeet Synkronoi siirtääksesi tietolähteesi tietokantaan.
Tee kysely metatietojen suodatuksella Amazon Bedrock -konsolissa
Voit käyttää Amazon Bedrock -konsolin metatietojen suodatusasetuksia seuraavasti:
- Valitse Amazon Bedrock -konsolista Tietopohjat navigointipaneelissa.
- Valitse luomasi tietokanta.
- Valita Testaa tietopohjaa.
- Valitse Kokoonpanot -kuvaketta ja laajenna sitten Suodattimet.
- Syötä ehto muodossa: avain = arvo (esimerkiksi genret = strategia) ja paina enter.
- Jos haluat muuttaa avainta, arvoa tai operaattoria, valitse ehto.
- Jatka muilla ehdoilla (esimerkiksi (genret = strategia JA vuosi >= 2023) TAI (arvio >= 9))
- Kun olet valmis, kirjoita kyselysi viestiruutuun ja valitse sitten ajaa.
Kirjoitamme tähän viestiin kyselyn "Vuoden 2023 jälkeen julkaistu strategiapeli hienolla grafiikalla."
Tee kysely metatietojen suodatuksella SDK:n avulla
Jos haluat käyttää SDK:ta, luo ensin asiakas Amazon Bedrockin edustajat käyttöaika:
Rakenna sitten suodatin (seuraavia esimerkkejä):
Ohjaa suodatin retrievalConfiguration
että Retrieval API or RetrieveAndGenerate API:t:
Seuraavassa taulukossa on lueteltu muutamia vastauksia erilaisilla metatietojen suodatusehdoilla.
Kysymys | Metatietojen suodatus | Haetut asiakirjat | Havainnot |
"Vuoden 2023 jälkeen julkaistu strategiapeli hienolla grafiikalla" | pois |
* Viking Saga: The Sea Raider, vuosi: 2023, genret: Strategia * Keskiaikainen linna: piiritys ja valloitus, vuosi:2022, genret: Strategia * Kybernetic Revolution: Rise of the Machines, vuosi:2022, genret: Strategia |
2/5 peliä täyttää ehdon (genret = strategia ja vuosi >= 2023) |
On | * Viking Saga: The Sea Raider, vuosi: 2023, genret: Strategia * Fantasy Kingdoms: Chronicles of Eldoria, vuosi: 2023, genret: Strategia |
2/2 peliä täyttää ehdon (genret = strategia ja vuosi >= 2023) |
Mukautetun metatietojen lisäksi voit suodattaa myös S3-etuliitteillä (joka on sisäänrakennettu metatieto, joten sinun ei tarvitse antaa metatietotiedostoja). Jos esimerkiksi järjestät pelidokumentit julkaisijakohtaisiin etuliitteisiin (esim. s3://$bucket_name/video_game/$publisher/$game_id.csv
), voit suodattaa tietyn julkaisijan mukaan (esim. neo_tokyo_games
) käyttämällä seuraavaa syntaksia:
Puhdistaa
Voit puhdistaa resurssit suorittamalla seuraavat vaiheet:
- Poista tietokanta:
- Valitse Amazon Bedrock -konsolista Tietopohjat varten orkestrointi navigointipaneelissa.
- Valitse luomasi tietokanta.
- Ota huomioon AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) palveluroolin nimi Tietokannan yleiskatsaus osiossa.
- In Vektoritietokanta -osiossa, ota huomioon kokoelma ARN.
- Valita Poistaja vahvista sitten kirjoittamalla delete.
- Poista vektoritietokanta:
- On Amazon OpenSearch-palvelu valitse konsoli Kaikki tuotteet varten serverless navigointipaneelissa.
- Kirjoita hakupalkkiin tallentamasi ARN-kokoelma.
- Valitse kokoelma ja valitse Poista.
- Kirjoita Vahvista vahvistuskehotteeseen ja valitse sitten Poista.
- Poista IAM-palvelurooli:
- Valitse IAM-konsolista Roolit navigointipaneelissa.
- Etsi aiemmin merkitsemäsi roolin nimi.
- Valitse rooli ja valitse Poista.
- Kirjoita roolin nimi vahvistuskehotteeseen ja poista rooli.
- Poista mallitietojoukko:
- Siirry Amazon S3 -konsolissa käyttämääsi S3-alueelle.
- Valitse etuliite ja tiedostot ja valitse sitten Poista.
- Kirjoita pysyvästi poisto vahvistuskehotteeseen poistaaksesi.
Yhteenveto
Tässä viestissä käsittelimme Amazon Bedrockin Knowledge Basesin metatietojen suodatusominaisuutta. Opit lisäämään mukautettuja metatietoja asiakirjoihin ja käyttämään niitä suodattimina, kun haet ja teet asiakirjoja Amazon Bedrock -konsolin ja SDK:n avulla. Tämä auttaa parantamaan kontekstin tarkkuutta, tehden kyselyvastauksista entistä merkityksellisempiä samalla, kun vektoritietokannan kyselykustannukset pienenevät.
Katso lisäresurssit seuraavista:
Tietoja Tekijät
Corvus Lee on vanhempi GenAI Labs Solutions -arkkitehti Lontoossa. Hän on intohimoinen sellaisten prototyyppien suunnittelusta ja kehittämisestä, jotka käyttävät generatiivista tekoälyä asiakkaiden ongelmien ratkaisemiseen. Hän seuraa myös generatiivisen tekoälyn ja hakutekniikoiden viimeisintä kehitystä soveltamalla niitä tosielämän skenaarioihin.
Ahmed Ewis on AWS GenAI Labsin vanhempi ratkaisuarkkitehti, joka auttaa asiakkaita rakentamaan generatiivisia tekoälyprototyyppejä yritysongelmien ratkaisemiseksi. Kun hän ei tee yhteistyötä asiakkaiden kanssa, hän leikkii lastensa kanssa ja kokkaa.
Chris Pecora on Generatiivinen AI Data Scientist Amazon Web Services -palvelussa. Hän on intohimoinen innovatiivisten tuotteiden ja ratkaisujen rakentamiseen keskittyen samalla asiakkaiden pakkomielle tieteeseen. Kun hän ei suorita kokeita ja pysy ajan tasalla GenAI:n uusimmasta kehityksestä, hän rakastaa viettää aikaa lastensa kanssa.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-metadata-filtering-to-improve-retrieval-accuracy/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 10
- 100
- 12
- 14
- 150
- 19
- 2016
- 2023
- 28
- 500
- 7
- 9
- a
- Meistä
- pääsy
- Tili
- tarkkuus
- Saavuttaa
- saavuttamisessa
- lisätä
- Lisäksi
- lisä-
- etuja
- Jälkeen
- AI
- AI -tiedot
- linjassa
- Kaikki
- mahdollistaa
- pitkin
- rinnalla
- jo
- Myös
- Amazon
- Amazon Web Services
- an
- ja
- ilmoitti
- Kaikki
- api
- Hakemus
- sovellukset
- sovellettu
- käyttää
- Hakeminen
- OVAT
- AS
- Varat
- liittyvä
- At
- täydennetty
- saatavuus
- saatavissa
- välttää
- AWS
- baari
- pohja
- perustua
- BE
- koska
- ovat
- Laatikko
- rakentaa
- Rakentaminen
- sisäänrakennettu
- liiketoiminta
- mutta
- by
- CAN
- tapauksissa
- luokat
- tietty
- muuttaa
- jutella
- chatbot
- Valita
- valitsi
- puhdas
- asiakas
- kellokoneisto
- koodi
- yhteistyössä
- yhteistyö
- kokoelma
- Pylväät
- yhdistää
- Yhteinen
- yritys
- täydellinen
- ehto
- olosuhteet
- Vahvistaa
- vahvistus
- kytkeä
- Console
- rakentaa
- pitoisuus
- tausta
- yhteyksissä
- ohjaus
- Viileä
- Hinta
- katettu
- luoda
- luotu
- asiakassuhde
- asiakas
- Asiakkaat
- jaksoa
- tiedot
- tietojen tutkija
- tietokanta
- määritelty
- osoittaa
- riippua
- suunnittelu
- kehittäjille
- kehittämällä
- kehitys
- eri
- pohtia
- asiakirja
- asiakirjat
- Dont
- download
- kukin
- Aikaisemmin
- Itään
- myöskään
- enter
- Yhtä
- erityisesti
- Eeva
- Jopa
- esimerkki
- Esimerkit
- olemassa
- Laajentaa
- odotettu
- experience
- kokeiluja
- FANTASIA
- Ominaisuus
- harvat
- fiktiivinen
- filee
- Asiakirjat
- suodattaa
- suodatus
- suodattimet
- Löytää
- Etunimi
- tarkennus
- seurata
- jälkeen
- varten
- muoto
- perusta
- alkaen
- täysin
- g1
- peli
- Pelit
- genai
- general
- tuottaa
- syntyy
- sukupolvi
- sukupolvet
- generatiivinen
- Generatiivinen AI
- tyylilajit
- Graafinen
- Ryhmän
- Oppaat
- Olla
- he
- auttaa
- auttaa
- auttaa
- hänen
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- ID
- Identiteetti
- ids
- if
- valaista
- parantaa
- parannus
- in
- inkrementaalinen
- tiedot
- innovatiivinen
- ohjeet
- etu
- tulee
- kysymys
- jpg
- pito
- pitää
- avain
- Lasten
- tuntemus
- Labs
- uusin
- viimeisin kehitys
- Liidit
- oppinut
- juridinen
- pitää
- Listat
- Lontoo
- katso
- rakastaa
- Koneet
- Tekeminen
- onnistui
- johto
- monet
- maksimi
- Saattaa..
- keskiaikainen
- Tavata
- kokous
- viesti
- Metadata
- malli
- mallit
- lisää
- Elokuvat
- nimi
- Navigoida
- suunnistus
- Tarve
- Uusi
- ninjoja
- huomata
- huomattava
- nyt
- numero
- vanhentunut
- of
- on
- vain
- toiminta
- käyttöjärjestelmän
- operaattori
- Vaihtoehdot
- or
- Oregon
- Muut
- meidän
- yli
- oma
- sivulla
- lasi
- intohimoinen
- suorituskyky
- aika
- vakinaisesti
- Personoida
- Platon
- Platonin tietotieto
- PlatonData
- pelaa
- juoni
- Kirje
- Valmistella
- painaa
- edellinen
- ongelmia
- Tuotteet
- Tuotetiedot
- Tuotteemme
- projekti
- prototyyppejä
- toimittaa
- mikäli
- kustantaja
- kyselyt
- kysymys
- rätti
- esille
- luokitus
- RE
- todellinen maailma
- äskettäin
- äänitys
- vähentämällä
- vähentäminen
- katso
- viite
- tarkentaa
- alueet
- vapauta
- julkaistu
- merkityksellinen
- jäljellä oleva
- Esittelymateriaalit
- vastaus
- vasteet
- tulokset
- haku
- Vallankumous
- Nousta
- riskit
- Rooli
- juoksu
- runtime
- saaga
- sama
- näyte
- Esimerkkitietojoukko
- tallennettu
- skenaariot
- tiede
- Tiedemies
- pisteet
- sdk
- SEA
- Haku
- Osa
- osiot
- turvallisesti
- nähdä
- valita
- semanttinen
- vanhempi
- erillinen
- palvelu
- Palvelut
- settings
- samankaltainen
- Yksinkertainen
- tilanteita
- So
- Tuotteemme
- Ratkaisumme
- SOLVE
- jonkin verran
- lähde
- Lähteet
- erityinen
- menot
- Alkaa
- Tila
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- varastot
- Strategia
- jono
- niin
- toimittaa
- Tuetut
- Tukee
- synkronointi.
- syntaksi
- järjestelmä
- taulukko
- TAG
- ottaa
- joukkue-
- tekniikat
- ehdot
- että
- -
- Lähde
- Niitä
- sitten
- tätä
- ne
- Kautta
- aika
- että
- VUORO
- tyyppi
- varten
- yksiköt
- us
- käyttää
- käytetty
- käyttäjä
- Käyttäjät
- käyttämällä
- arvo
- arvot
- versio
- Video
- Videopelit
- virginia
- haluta
- Tapa..
- we
- verkko
- verkkopalvelut
- tarkkarajainen
- Länsi
- kun
- joka
- vaikka
- with
- Referenssit
- olisi
- vuosi
- vuotta
- Voit
- Sinun
- zephyrnet
- Postinumero