Avaa Insights Amazon S3 -tiedoistasi älykkäällä haulla | Amazon Web Services

Amazon Kendra on älykäs hakupalvelu, joka perustuu koneoppimiseen (ML). Amazon Kendra suunnittelee uudelleen yrityshaun verkkosivustoillesi ja sovelluksillesi, jotta työntekijäsi ja asiakkaasi löytävät helposti etsimästään sisällön, vaikka se olisi hajallaan organisaatiosi sisällä useisiin eri kohteisiin ja sisältövarastoihin. Avainsanoilla tai luonnollisen kielen kysymyksillä voidaan etsiä tärkeimpiä ML:n tuottamia asiakirjoja, jotta saadaan vastauksia ja asiakirjoja järjestykseen. Amazon Kendra voi indeksoida tietoja Amazonin yksinkertainen tallennuspalvelu (Amazon S3) tai kolmannen osapuolen asiakirjavarastosta. Amazon S3 on objektitallennuspalvelu, joka tarjoaa skaalautuvuuden ja saatavuuden, johon voit tallentaa suuria määriä tietoa, mukaan lukien tuoteoppaat, projekti- ja tutkimusasiakirjat ja paljon muuta.

Tässä viestissä voit oppia ottamaan käyttöön tarjotun AWS-pilven muodostuminen malli, jolla voit indeksoida asiakirjasi Amazon S3 -ämpäriin. Malli luo Amazon Kendra -tietolähteen indeksille ja synkronoi tietolähteesi tarpeidesi mukaan: tarpeen mukaan, tunneittain, päivittäin, viikoittain tai kuukausittain. AWS CloudFormationin avulla voimme tarjota infrastruktuurin koodina (IaC), joten voit käyttää vähemmän aikaa resurssien hallintaan, monistaa infrastruktuurisi nopeasti sekä hallita ja seurata infrastruktuurin muutoksia.

Yleiskatsaus ratkaisuun

CloudFormation-malli määrittää Amazon Kendra -tietolähteen, joka on yhteydessä Amazon S3:een. Malli luo myös yhden roolin Amazon Kendra -tietolähdepalvelulle. Voit määrittää S3-ryhmän, synkronointiaikataulun ja sisällyttämis-/poissulkemismallit. Kun synkronointityö on valmis, voit etsiä indeksoidusta sisällöstä hakukonsolin kautta. Seuraava kaavio havainnollistaa tätä työnkulkua.

Tämä viesti opastaa sinut seuraaviin vaiheisiin:

1. Ota toimitettu malli käyttöön.
2. Lataa asiakirjat luomaasi S3-ämpäriin. Jos toimitat ämpäriin asiakirjoja, voit ohittaa tämän vaiheen.
3. Odota, kunnes hakemisto lopettaa tietolähteen indeksoinnin.

Edellytykset

Tätä kävelyä varten sinulla tulisi olla seuraavat edellytykset:

• An AWS-tili jossa ehdotettu ratkaisu voidaan ottaa käyttöön.
• Amazon Kendra -indeksi tietolähteen liittämiseksi pinoon.
• Asiakirjajoukko, jota käytetään Amazon Kendra -indeksin luomiseen. Tässä ratkaisussa käytät pakattua tiedostoa AWS valkoiset paperit.

Ota ratkaisu käyttöön AWS CloudFormation -sovelluksella

Ota CloudFormation-malli käyttöön suorittamalla seuraavat vaiheet:

1. Valita
   

Sinut ohjataan AWS CloudFormation -konsoliin.

2. Voit muokata parametreja tai käyttää oletusarvoja:
   • Amazon Kendra -tietolähteen nimi asetetaan automaattisesti käyttämällä pinon nimeä ja siihen liittyvää segmentin nimeä.
   • varten KendraIndexId, anna Amazon Kendra -indeksitunnus, johon liität tietolähteen.
   • Voit myös valita, milloin haluat suorittaa tietolähteen synkronoinnin käyttämällä KendraSyncSchedule. Oletuksena se on asetettu Tarpeen vaatiessa.
   • varten S3BucketName, voit joko syöttää jo luomasi sängyn tai jättää sen tyhjäksi. Jos jätät sen tyhjäksi, sinulle luodaan ämpäri. Joka tapauksessa ämpäriä käytetään Amazon Kendra -tietolähteenä. Tätä viestiä varten jätämme sen tyhjäksi.

Kestää noin 5 minuuttia, ennen kuin pino ottaa käyttöön Amazon Kendra -indeksiin liitetyn Amazon Kendra -tietolähteen.

3. On Lähdöt CloudFormation-pinon välilehti, kopioi luodun ryhmän nimi, tietolähteen nimi ja tunnus.

Luodulla pinolla on yksi rooli: <stack-name>-KendraDataSourceRole. On paras käytäntö ottaa käyttöön rooli jokaiselle luotavalle tietolähteelle. Tämä rooli antaa Amazon Kendra -tietolähteen lisätä tai poistaa tiedostoja Amazon Kendra -hakemistosta ja saada objekteja Amazon S3 -ämpäristä.

Lataa tiedostot S3-ämpäriin

Amazon Kendra pystyy käsittelemään useita asiakirjatyyppejä, kuten .html, .pdf, .csv, .json, .docx ja .ppt. Voit myös yhdistää asiakirjoja yhteen hakemistoon. Näiden asiakirjojen sisältämä teksti on indeksoitu toimitettuun Amazon Kendra -hakemistoon. Voit etsiä avainsanoja AWS-aiheista parhaista käytännöistä, tietokannoista, koneoppimisesta, turvallisuudesta ja muusta käyttämällä yli 60 pdf-tiedostoa, jotka voit download. Jos esimerkiksi haluat tietää, mistä löydät lisätietoa AWS-selvitysten välimuistista, Amazon Kendra voi auttaa sinua löytämään tietokantoihin ja parhaisiin käytäntöihin liittyviä asiakirjoja.

Kun lataat AWS Whitepapers.zip tiedosto ja pura tiedosto, näet nämä kuusi kansiota: Best_Practices, Databases, General, Machine_Learning, Security, Well_Architected. Lataa nämä kansiot S3-ämpäriisi.

Synkronoi Amazon Kendra -tietolähde

Amazon Kendra -tietolähdetiedot voivat synkronoida tietosi ennalta määritetyn aikataulun perusteella tai ne voidaan käynnistää manuaalisesti pyynnöstä. Oletusarvoisesti CloudFormation-malli määrittää tietolähteen on-demand-synkronointiaikataulun, joka käynnistetään tarvittaessa manuaalisesti.

Jos haluat käynnistää synkronointityön manuaalisesti AWS Amazon Kendra -konsolista, siirry Amazon Kendra -hakemistoon, jota käytetään osana CloudFormation-pinon käyttöönottoa, kohdassa Tiedonhallinta valitse siirtymisruudussa Tietolähteet ja valitse sitten Synkronoi nyt. Tämä saa S3-ämpäri synkronoitumaan tietolähteen kanssa.

Kun Amazon Kendra -tietolähde alkaa synkronoida, sinun pitäisi nähdä Nykyinen synkronointitila as Synkronointi.

Kun tietolähde on valmis, Viimeisimmän synkronoinnin tila näkyy nimellä onnistui ja Nykyinen synkronointitila as Idle. Nyt voit etsiä indeksoidusta sisällöstä.

Määritä synkronointiaikataulu

Mallin avulla voit ajaa aikataulun tunnin välein minuutilla 0, esimerkiksi 13:00, 14:00 tai 15:00. Sinulla on myös mahdollisuus suorittaa se päivittäin klo 00 UTC. The Viikoittain asetus suoritetaan maanantaisin klo 00:00 UTC, ja Kuukausittain asetus suoritetaan joka kuukauden ensimmäinen päivä klo 00:00 UTC.

Voit muuttaa aikataulua Amazon Kendra -tietolähteen luomisen jälkeen osoitteessa Toiminnot valikosta, valitse muokata. Alla Määritä synkronointiasetukset, löydät Synkronoi säännön aikataulu osiossa.

Alle Taajuus, voit valita tunti-, päivittäin, viikoittain, kuukausittaintai asiakassuhde, joiden avulla voit ajoittaa synkronoinnin minuuttiin.

Lisää poissulkemismalleja

Mukana toimitetun CloudFormation-mallin avulla voit lisätä poissulkemismalleja. Oletusarvoisesti .png- ja .jpg-tiedostot lisätään tiedostoon Poissulkemismallit parametri. Muita tiedostomuotoja voidaan lisätä pilkuilla eroteltuna luettelona poissulkemismalliin. Samalla lailla, Inclusion Patterns -parametria voidaan käyttää lisää pilkkuluettelotiedostomuotoja sisällyttämismallin määrittämiseen. Jos et anna sisällyttämismallia, kaikki tiedostot indeksoidaan paitsi poissulkemisparametriin sisältyvät tiedostot.

Puhdistaa

Kustannusten välttämiseksi voit poistaa pinon AWS CloudFormation -konsolista. Käytössä Stacks sivu, valitse luomasi pino, valitse Poistaja vahvista pinon poistaminen.

Jos et ole toimittanut S3-säilöä, pino luo kauhan. Jos ämpäri on tyhjä, se poistetaan automaattisesti. Muussa tapauksessa sinun on tyhjennettävä kansio ja poistettava se manuaalisesti. Jos annoit sängyn, vaikka se olisi tyhjä, sitä ei poisteta. Amazon Kendra -indeksiä ei poisteta. Vain pinon luoma Amazon Kendra -tietolähde poistetaan.

Yhteenveto

Tässä viestissä toimitimme CloudFormation-mallin, jonka avulla voit helposti synkronoida tekstidokumentit S3-ämpäriin Amazon Kendra -hakemistoosi. Tämä ratkaisu on hyödyllinen, jos sinulla on useita S3-ryhmiä, jotka haluat indeksoida, koska voit luoda kaikki tarvittavat komponentit asiakirjojen kyselyyn muutamalla napsautuksella johdonmukaisella ja toistettavalla tavalla. Voit myös nähdä, kuinka kuvapohjaisia ​​tekstidokumentteja voidaan käsitellä Amazon Kendrassa. Lisätietoja tietyistä aikataulumalleista on kohdassa Aikataululausekkeet sääntöille.

Jätä kommentti ja lue lisää Amazon Kendra -indeksin luomisesta seuraavassa Amazon Kendra Essentials+ -työpaja.

Erityiset kiitokset Jose Mauricio Mani Yanezille hänen avustaan ​​esimerkkikoodin luomisessa ja tämän viestin sisällön kokoamisessa.

---

Kirjailijasta

Rajesh Kumar Ravi on AI/ML Specialist Solutions -arkkitehti Amazon Web Servicesissä, joka on erikoistunut älykkääseen asiakirjahakuun Amazon Kendran avulla ja generatiiviseen tekoälyyn. Hän on rakentaja ja ongelmanratkaisija ja osallistuu uusien ideoiden kehittämiseen. Hän nauttii kävelystä ja tykkää käydä lyhyillä vaellusmatkoilla työn ulkopuolella.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
• Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
• Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/unlock-insights-from-your-amazon-s3-data-with-intelligent-search/