Avage Insights oma Amazon S3 andmetest intelligentse otsingu abil | Amazoni veebiteenused

Amazon Kendra on intelligentne otsinguteenus, mis põhineb masinõppel (ML). Amazon Kendra kujundab teie veebisaitide ja rakenduste jaoks ettevõtteotsingu ümber, et teie töötajad ja kliendid leiaksid otsitava sisu hõlpsalt üles isegi siis, kui see on teie organisatsioonis mitmesse asukohta ja sisuhoidlatesse laiali. Märksõnu või loomuliku keele küsimusi saab kasutada ML-i toel kõige asjakohasemate dokumentide otsimiseks, et pakkuda vastuseid ja järjestada dokumente. Amazon Kendra saab andmeid indekseerida Amazoni lihtne salvestusteenus (Amazon S3) või kolmanda osapoole dokumendihoidlast. Amazon S3 on objektide salvestamise teenus, mis pakub skaleeritavust ja kättesaadavust, kus saate salvestada suurel hulgal andmeid, sealhulgas tootejuhendeid, projekti- ja uurimisdokumente ning palju muud.

Sellest postitusest saate teada, kuidas pakutavat juurutada AWS CloudFormation mall oma dokumentide indekseerimiseks Amazon S3 ämbris. Mall loob indeksi jaoks Amazon Kendra andmeallika ja sünkroonib teie andmeallika vastavalt teie vajadustele: nõudmisel, tunnis, päevas, nädalas või kuus. AWS CloudFormation võimaldab meil taristut varustada koodina (IaC), et saaksite kulutada vähem aega ressursside haldamisele, oma infrastruktuuri kiiresti kopeerida ning infrastruktuuri muutusi juhtida ja jälgida.

Ülevaade lahendusest

CloudFormationi mall seadistab Amazon Kendra andmeallika ühendusega Amazon S3-ga. Mall loob ka ühe rolli Amazon Kendra andmeallika teenusele. Saate määrata S3 ämbri, sünkroonimisgraafiku ja kaasamise/välistamise mustrid. Kui sünkroonimistöö on lõppenud, saate otsida indekseeritud sisu otsingukonsooli kaudu. Järgmine diagramm illustreerib seda töövoogu.

See postitus juhendab teid järgmiste sammudeni.

1. Juurutage pakutud mall.
2. Laadige dokumendid üles loodud S3 ämbrisse. Kui annate dokumentidega ämbri, võite selle sammu vahele jätta.
3. Oodake, kuni register lõpetab andmeallika roomamise.

Eeldused

Selle ülevaate jaoks peaksid teil olema järgmised eeltingimused.

• An AWS-i konto kus saab pakutud lahendust kasutusele võtta.
• Amazon Kendra indeks andmeallika virnale kinnitamiseks.
• Dokumentide kogum, mida kasutatakse Amazon Kendra indeksi loomiseks. Selles lahenduses kasutate tihendatud faili AWS valged paberid.

Juurutage lahendus AWS CloudFormationiga

CloudFormationi malli juurutamiseks toimige järgmiselt.

1. Vali
   

Teid suunatakse AWS CloudFormationi konsooli.

2. Saate parameetreid muuta või kasutada vaikeväärtusi:
   • Amazon Kendra andmeallika nimi määratakse automaatselt, kasutades virna nime ja sellega seotud ämbri nime.
   • eest KendraIndexId, sisestage Amazon Kendra indeksi ID, kuhu lisate andmeallika.
   • Samuti saate valida, millal soovite andmeallika sünkroonimist käivitada KendraSynci ajakava. Vaikimisi on see seatud Nõudlusel.
   • eest S3BucketName, võite sisestada juba loodud ämbri või jätta selle tühjaks. Kui jätate selle tühjaks, luuakse teile ämber. Mõlemal juhul kasutatakse ämbrit Amazon Kendra andmeallikana. Selle postituse puhul jätame selle tühjaks.

Amazon Kendra indeksiga seotud Amazon Kendra andmeallika juurutamiseks kulub virnal umbes 5 minutit.

3. Kohta Väljundid CloudFormationi virna vahekaardilt kopeerige loodud ämbri nimi, andmeallika nimi ja ID.

Loodud virn kasutab ühte rolli: <stack-name>-KendraDataSourceRole. Parim tava on juurutada roll iga loodava andmeallika jaoks. See roll võimaldab Amazon Kendra andmeallikal lisada või eemaldada faile Amazon Kendra indeksist, et hankida objekte Amazon S3 ämbrist.

Laadige failid üles S3 ämbrisse

Amazon Kendra saab hallata mitut tüüpi dokumendid, nagu .html, .pdf, .csv, .json, .docx ja .ppt. Ühel registril võib olla ka dokumentide kombinatsioon. Nendes dokumentides sisalduv tekst on indekseeritud Amazon Kendra indeksiga. Saate otsida märksõnu AWS-i teemadel parimate tavade, andmebaaside, masinõppe, turvalisuse ja muu kohta, kasutades üle 60 pdf-faili, mida saate lae alla. Näiteks kui soovite teada, kust leiate lisateavet vahemällu salvestamise kohta AWS-i valgetes paberites, võib Amazon Kendra aidata teil leida andmebaaside ja parimate tavadega seotud dokumente.

Kui laadite alla AWS Whitepapers.zip faili ja pakkige fail lahti, näete neid kuut kausta: Best_Practices, Databases, General, Machine_Learning, Security, Well_Architected. Laadige need kaustad üles oma S3 ämbrisse.

Sünkroonige Amazon Kendra andmeallikas

Amazon Kendra andmeallika andmed võivad teie andmeid sünkroonida eelkonfigureeritud ajakava alusel või neid saab nõudmisel käsitsi käivitada. Vaikimisi konfigureerib CloudFormationi mall andmeallika nõudmisel sünkroonimise ajakava järgi, et see käivitataks vastavalt vajadusele käsitsi.

Sünkroonimistöö käsitsi käivitamiseks AWS Amazon Kendra konsoolist navigeerige jaotises CloudFormationi virna juurutamise osana kasutatud Amazon Kendra indeks. Andmehaldus valige navigeerimispaanil Andmeallikad ja siis vali Sünkroonige kohe. See sünkroonib S3 ämbri andmeallikaga.

Kui Amazon Kendra andmeallikas hakkab sünkroonima, peaksite nägema Praegune sünkroonimise olek as Sünkroonimine.

Kui andmeallikas on lõpetatud, kuvatakse Viimase sünkroonimise olek ilmub kui Õnnestus ja Praegune sünkroonimise olek as Idle. Nüüd saate otsida indekseeritud sisu.

Sünkroonimise ajakava seadistamine

Mall võimaldab teil ajakava käitada iga tund minutiga 0, näiteks 13:00, 14:00 või 15:00. Teil on ka võimalus seda käivitada iga päev kell 00:00 UTC. The Iganädalane seade töötab esmaspäeviti kell 00:00 UTC ja Igakuine seadistus käivitub igal kuu esimesel päeval kell 00:00 UTC.

Ajakava muutmiseks pärast Amazon Kendra andmeallika loomist, Meetmete menüüst valige Edit. Alla Sünkroonimisseadete konfigureerimine, leiate Sünkrooni reegli ajakava sektsiooni.

alla Sagedus, saate valida iga tund, iga päev, iga nädal, igakuinevõi tava, mis kõik võimaldavad teil sünkroonimise ajastada minuti kaupa.

Lisage välistamismustrid

Kaasasolev CloudFormationi mall võimaldab teil lisada välistamismustreid. Vaikimisi lisatakse .png- ja .jpg-failid Välistamismustrid parameeter. Täiendavaid failivorminguid saab lisada välistamismustrisse komadega eraldatud loendina. Samamoodi Kaasamismustrid Kaasamismustri seadistamiseks võib kasutada komaloendi failivormingute lisamist. Kui te kaasamismustrit ei esita, indekseeritakse kõik failid, välja arvatud need, mis sisalduvad välistamisparameetris.

Koristage

Kulude vältimiseks saate virna AWS CloudFormationi konsoolist kustutada. peal Hoidla lehele, valige loodud virn, valige kustutamaja kinnitage virna kustutamine.

Kui te pole S3 ämbrit esitanud, loob virn ämbri. Kui ämber on tühi, kustutatakse see automaatselt. Vastasel juhul peate kausta tühjendama ja käsitsi kustutama. Kui andsite ämbri, isegi kui see on tühi, siis seda ei kustutata. Amazon Kendra indeksit ei kustutata. Kustutatakse ainult virna loodud Amazon Kendra andmeallikas.

Järeldus

Selles postituses pakkusime CloudFormationi malli, et hõlpsasti sünkroonida S3 ämbris olevad tekstidokumendid teie Amazon Kendra registriga. See lahendus on abiks, kui teil on mitu S3 ämbrit, mida soovite indekseerida, kuna saate luua kõik vajalikud komponendid, et dokumentide päringuid teha mõne klõpsuga järjepidevalt ja korrataval viisil. Samuti näete, kuidas saab Amazon Kendras pildipõhiseid tekstidokumente käsitleda. Konkreetsete ajakavamustrite kohta lisateabe saamiseks vaadake Reeglite avaldiste ajastamine.

Jätke kommentaar ja vaadake Amazon Kendra indeksi loomise kohta lisateavet järgmiselt Amazon Kendra Essentials+ töötuba.

Eriline tänu Jose Mauricio Mani Yanezile abi eest näidiskoodi loomisel ja selle postituse sisu koostamisel.

---

Andmeid autor

Rajesh Kumar Ravi on AI/ML spetsialistilahenduste arhitekt ettevõttes Amazon Web Services, kes on spetsialiseerunud intelligentsele dokumendiotsingule Amazon Kendra ja generatiivse AI abil. Ta on ehitaja ja probleemide lahendaja ning aitab kaasa uute ideede arendamisele. Talle meeldib jalutada ja talle meeldib väljaspool tööd teha lühikesi matkareise.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoAiStream. Web3 andmete luure. Täiustatud teadmised. Juurdepääs siia.
• Tuleviku rahapaja Adryenn Ashley. Juurdepääs siia.
• Ostke ja müüge IPO-eelsete ettevõtete aktsiaid koos PREIPO®-ga. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/unlock-insights-from-your-amazon-s3-data-with-intelligent-search/