ปลดล็อกข้อมูลเชิงลึกจากข้อมูล Amazon S3 ของคุณด้วยการค้นหาอัจฉริยะ | บริการเว็บอเมซอน

อเมซอน เคนดรา เป็นบริการค้นหาอัจฉริยะที่ขับเคลื่อนโดยแมชชีนเลิร์นนิง (ML) Amazon Kendra พลิกโฉมการค้นหาระดับองค์กรสำหรับเว็บไซต์และแอปพลิเคชันของคุณ เพื่อให้พนักงานและลูกค้าของคุณสามารถค้นหาเนื้อหาที่ต้องการได้อย่างง่ายดาย แม้ว่าเนื้อหาจะกระจัดกระจายไปตามสถานที่ต่างๆ และที่เก็บเนื้อหาภายในองค์กรของคุณ สามารถใช้คำหลักหรือคำถามภาษาธรรมชาติเพื่อค้นหาเอกสารที่เกี่ยวข้องส่วนใหญ่ที่ขับเคลื่อนโดย ML เพื่อส่งคำตอบและจัดอันดับเอกสาร Amazon Kendra สามารถจัดทำดัชนีข้อมูลจาก บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) หรือจากที่เก็บเอกสารบุคคลที่สาม Amazon S3 เป็นบริการพื้นที่จัดเก็บแบบอ็อบเจกต์ที่มอบความสามารถในการปรับขนาดและความพร้อมใช้งาน ซึ่งคุณสามารถจัดเก็บข้อมูลจำนวนมาก รวมถึงคู่มือผลิตภัณฑ์ เอกสารโครงการและการวิจัย และอื่นๆ

ในโพสต์นี้ คุณสามารถเรียนรู้วิธีปรับใช้สิ่งที่มีให้ การก่อตัวของ AWS Cloud เทมเพลตเพื่อสร้างดัชนีเอกสารของคุณในบัคเก็ต Amazon S3 เทมเพลตสร้างแหล่งข้อมูล Amazon Kendra สำหรับดัชนีและซิงโครไนซ์แหล่งข้อมูลตามความต้องการของคุณ: ตามต้องการ รายชั่วโมง รายวัน รายสัปดาห์ หรือรายเดือน AWS CloudFormation ช่วยให้เราสามารถจัดเตรียมโครงสร้างพื้นฐานในรูปแบบโค้ด (IaC) เพื่อให้คุณใช้เวลาน้อยลงในการจัดการทรัพยากร จำลองโครงสร้างพื้นฐานของคุณอย่างรวดเร็ว และควบคุมและติดตามการเปลี่ยนแปลงในโครงสร้างพื้นฐาน

ภาพรวมของโซลูชัน

เทมเพลต CloudFormation ตั้งค่าแหล่งข้อมูล Amazon Kendra ด้วยการเชื่อมต่อกับ Amazon S3 เทมเพลตยังสร้างหนึ่งบทบาทสำหรับบริการแหล่งข้อมูล Amazon Kendra คุณสามารถระบุบัคเก็ต S3 กำหนดการซิงโครไนซ์ และรูปแบบการรวม/การยกเว้น เมื่องานซิงโครไนซ์เสร็จสิ้น คุณสามารถค้นหาเนื้อหาที่ทำดัชนีผ่านคอนโซลการค้นหา ไดอะแกรมต่อไปนี้แสดงเวิร์กโฟลว์นี้

โพสต์นี้จะแนะนำคุณเกี่ยวกับขั้นตอนต่อไปนี้:

1. ปรับใช้เทมเพลตที่ให้มา
2. อัปโหลดเอกสารไปยังบัคเก็ต S3 ที่คุณสร้างขึ้น หากคุณจัดเตรียมบัคเก็ตเอกสาร คุณสามารถข้ามขั้นตอนนี้ได้
3. รอจนกว่าดัชนีจะเสร็จสิ้นการรวบรวมข้อมูลแหล่งข้อมูล

เบื้องต้น

สำหรับคำแนะนำนี้ คุณควรมีข้อกำหนดเบื้องต้นต่อไปนี้:

• An บัญชี AWS ซึ่งสามารถนำโซลูชันที่เสนอไปใช้ได้
• ดัชนี Amazon Kendra สำหรับแนบแหล่งข้อมูลเข้ากับสแต็ก
• ชุดเอกสารที่ใช้สร้างดัชนี Amazon Kendra ในโซลูชันนี้ คุณกำลังใช้ไฟล์บีบอัดของ เอกสารรายงาน AWS.

ปรับใช้โซลูชันด้วย AWS CloudFormation

ในการปรับใช้เทมเพลต CloudFormation ให้ทำตามขั้นตอนต่อไปนี้:

1. Choose
   

คุณถูกเปลี่ยนเส้นทางไปยังคอนโซล AWS CloudFormation

2. คุณสามารถแก้ไขพารามิเตอร์หรือใช้ค่าเริ่มต้น:
   • ชื่อแหล่งข้อมูล Amazon Kendra จะถูกตั้งค่าโดยอัตโนมัติโดยใช้ชื่อสแตกและชื่อบัคเก็ตที่เกี่ยวข้อง
   • สำหรับ Kendraดัชนีรหัสให้ป้อน ID ดัชนี Amazon Kendra ที่คุณจะแนบแหล่งข้อมูล
   • คุณยังสามารถเลือกเวลาที่คุณต้องการเรียกใช้การซิงโครไนซ์แหล่งข้อมูลโดยใช้ KendraSyncSchedule โดยค่าเริ่มต้น จะถูกตั้งค่าเป็น ตามความต้องการ.
   • สำหรับ S3ชื่อบัคเก็ต, คุณสามารถป้อนบัคเก็ตที่คุณสร้างไว้แล้วหรือเว้นว่างไว้ก็ได้ หากคุณเว้นว่างไว้ ระบบจะสร้างบัคเก็ตให้คุณ ไม่ว่าจะด้วยวิธีใด บัคเก็ตจะถูกใช้เป็นแหล่งข้อมูลของ Amazon Kendra สำหรับกระทู้นี้เราเว้นว่างไว้

สแตกจะใช้เวลาประมาณ 5 นาทีในการปรับใช้แหล่งข้อมูล Amazon Kendra ที่แนบกับดัชนี Amazon Kendra

3. เกี่ยวกับ Outputs ของสแต็ก CloudFormation ให้คัดลอกชื่อของบัคเก็ตที่สร้าง ชื่อแหล่งข้อมูล และ ID

สแต็กที่สร้างขึ้นปรับใช้หนึ่งบทบาท: <stack-name>-KendraDataSourceRole. เป็นแนวทางปฏิบัติที่ดีที่สุดในการปรับใช้บทบาทสำหรับแหล่งข้อมูลแต่ละแห่งที่คุณสร้างขึ้น บทบาทนี้ทำให้แหล่งข้อมูลของ Amazon Kendra สามารถเพิ่มหรือลบไฟล์ออกจากดัชนีของ Amazon Kendra เพื่อรับวัตถุจากบัคเก็ต Amazon S3

อัปโหลดไฟล์ไปยังบัคเก็ต S3

Amazon Kendra สามารถจัดการเอกสารได้หลายประเภท เช่น .html, .pdf, .csv, .json, .docx และ .ppt คุณยังสามารถรวมเอกสารไว้ในดัชนีเดียว ข้อความที่อยู่ในเอกสารเหล่านั้นได้รับการจัดทำดัชนีเป็นดัชนี Amazon Kendra ที่ให้มา คุณสามารถค้นหาคำหลักในหัวข้อ AWS เกี่ยวกับแนวทางปฏิบัติที่ดีที่สุด ฐานข้อมูล แมชชีนเลิร์นนิง ความปลอดภัย และอื่นๆ โดยใช้ไฟล์ PDF กว่า 60 ไฟล์ที่คุณทำได้ ดาวน์โหลด. ตัวอย่างเช่น หากคุณต้องการทราบว่าคุณสามารถค้นหาข้อมูลเพิ่มเติมเกี่ยวกับการแคชในเอกสารรายงานของ AWS ได้จากที่ใด Amazon Kendra สามารถช่วยคุณค้นหาเอกสารที่เกี่ยวข้องกับฐานข้อมูลและแนวทางปฏิบัติที่ดีที่สุด

เมื่อคุณดาวน์โหลด AWS Whitepapers.zip ไฟล์และคลายการบีบอัดไฟล์ คุณจะเห็นโฟลเดอร์เหล่านี้หกโฟลเดอร์: Best_Practices, Databases, General, Machine_Learning, Security, Well_Architected. อัปโหลดโฟลเดอร์เหล่านี้ไปยังบัคเก็ต S3 ของคุณ

ซิงโครไนซ์แหล่งข้อมูล Amazon Kendra

ข้อมูลแหล่งข้อมูลของ Amazon Kendra สามารถซิงโครไนซ์ข้อมูลของคุณตามกำหนดเวลาที่กำหนดไว้ล่วงหน้า หรือสามารถเรียกใช้ด้วยตนเองตามต้องการ ตามค่าเริ่มต้น เทมเพลต CloudFormation จะกำหนดค่าแหล่งข้อมูลเป็นกำหนดการซิงโครไนซ์ตามต้องการเพื่อทริกเกอร์ด้วยตนเองตามความจำเป็น

หากต้องการทริกเกอร์งานซิงโครไนซ์ด้วยตนเองจากคอนโซล AWS Amazon Kendra ให้ไปที่ดัชนี Amazon Kendra ที่ใช้เป็นส่วนหนึ่งของการปรับใช้สแต็ก CloudFormation ภายใต้ การจัดการข้อมูล ในบานหน้าต่างนำทาง ให้เลือก แหล่งข้อมูล แล้วเลือก ซิงค์ทันที. สิ่งนี้ทำให้บัคเก็ต S3 ซิงโครไนซ์กับแหล่งข้อมูล

เมื่อแหล่งข้อมูล Amazon Kendra เริ่มซิงค์ คุณควรจะเห็น สถานะการซิงค์ปัจจุบัน as ซิงค์.

เมื่อแหล่งข้อมูลเสร็จสิ้นแล้ว สถานะการซิงค์ล่าสุด ปรากฏเป็น ประสบความสำเร็จ และ สถานะการซิงค์ปัจจุบัน as Idle. คุณสามารถค้นหาเนื้อหาที่จัดทำดัชนีได้แล้ว

กำหนดตารางเวลาการซิงโครไนซ์

เทมเพลตอนุญาตให้คุณเรียกใช้กำหนดการทุกชั่วโมงในนาทีที่ 0 เช่น 13:00, 14:00 หรือ 15:00 น. คุณยังมีตัวเลือกให้เรียกใช้ทุกวันเวลา 00:00 UTC เดอะ ทุกสัปดาห์ การตั้งค่าจะทำงานในวันจันทร์เวลา 00:00 UTC และ ทุกเดือน การตั้งค่าจะทำงานทุกวันแรกของเดือนเวลา 00:00 UTC

หากต้องการเปลี่ยนกำหนดการหลังจากสร้างแหล่งข้อมูล Amazon Kendra แล้ว ให้ไปที่ สถานะ เมนูให้เลือก Edit. ภายใต้ กำหนดการตั้งค่าการซิงค์, คุณพบว่า ตารางกฎการซิงค์ มาตรา.

ภายใต้ เวลาคุณสามารถเลือก ทุกๆชั่วโมง, ประจำวัน, รายสัปดาห์, รายเดือน,หรือ ประเพณีทั้งหมดนี้ทำให้คุณสามารถกำหนดเวลาการซิงค์ของคุณเป็นนาทีได้

เพิ่มรูปแบบการยกเว้น

เทมเพลต CloudFormation ที่ให้มาช่วยให้คุณเพิ่มรูปแบบการยกเว้นได้ ตามค่าเริ่มต้น ไฟล์ .png และ .jpg จะถูกเพิ่มไปยัง รูปแบบการยกเว้น พารามิเตอร์. สามารถเพิ่มรูปแบบไฟล์เพิ่มเติมเป็นรายการที่คั่นด้วยเครื่องหมายจุลภาคให้กับรูปแบบการยกเว้น ในทำนองเดียวกัน รวมรูปแบบ อาจใช้พารามิเตอร์เพิ่มรูปแบบไฟล์รายการจุลภาคเพื่อตั้งค่ารูปแบบการรวม หากคุณไม่ระบุรูปแบบการรวม ไฟล์ทั้งหมดจะถูกจัดทำดัชนี ยกเว้นไฟล์ที่อยู่ในพารามิเตอร์การยกเว้น

ทำความสะอาด

เพื่อหลีกเลี่ยงค่าใช้จ่าย คุณสามารถลบสแตกออกจากคอนโซล AWS CloudFormation บน สแต็ค หน้า เลือกกองที่คุณสร้างขึ้น เลือก ลบและยืนยันการลบสแต็ก

หากคุณไม่ได้ระบุบัคเก็ต S3 สแต็คจะสร้างบัคเก็ต หากบัคเก็ตว่างเปล่า บัคเก็ตนั้นจะถูกลบโดยอัตโนมัติ มิฉะนั้น คุณต้องล้างโฟลเดอร์และลบออกด้วยตนเอง หากคุณให้ที่เก็บข้อมูลไว้ แม้ว่าจะว่างเปล่า แต่จะไม่ถูกลบ ดัชนี Amazon Kendra จะไม่ถูกลบ เฉพาะแหล่งข้อมูล Amazon Kendra ที่สร้างโดยสแต็กเท่านั้นที่จะถูกลบ

สรุป

ในโพสต์นี้ เราได้จัดทำเทมเพลต CloudFormation เพื่อซิงโครไนซ์เอกสารข้อความของคุณบนบัคเก็ต S3 กับดัชนี Amazon Kendra ของคุณได้อย่างง่ายดาย โซลูชันนี้มีประโยชน์หากคุณมีบัคเก็ต S3 หลายตัวที่คุณต้องการสร้างดัชนี เนื่องจากคุณสามารถสร้างส่วนประกอบที่จำเป็นทั้งหมดเพื่อสืบค้นเอกสารด้วยการคลิกเพียงไม่กี่ครั้งในลักษณะที่สอดคล้องและทำซ้ำได้ คุณยังสามารถดูว่าสามารถจัดการเอกสารข้อความแบบรูปภาพใน Amazon Kendra ได้อย่างไร หากต้องการเรียนรู้เพิ่มเติมเกี่ยวกับรูปแบบกำหนดการเฉพาะ โปรดดูที่ กำหนดการนิพจน์สำหรับกฎ.

แสดงความคิดเห็นและเรียนรู้เพิ่มเติมเกี่ยวกับการสร้างดัชนี Amazon Kendra ในหัวข้อต่อไปนี้ เวิร์กช็อป Amazon Kendra Essentials+.

ขอขอบคุณเป็นพิเศษสำหรับ Jose Mauricio Mani Yanez สำหรับความช่วยเหลือในการสร้างโค้ดตัวอย่างและรวบรวมเนื้อหาสำหรับโพสต์นี้

---

เกี่ยวกับผู้เขียน

ราเจช กุมาร ราวี เป็นสถาปนิก AI/ML Specialist Solutions ที่ Amazon Web Services ซึ่งเชี่ยวชาญด้านการค้นหาเอกสารอัจฉริยะด้วย Amazon Kendra และ generative AI เขาเป็นผู้สร้างและแก้ปัญหา และมีส่วนช่วยในการพัฒนาแนวคิดใหม่ๆ เขาชอบเดินและชอบไปเดินป่าระยะสั้นๆ นอกที่ทำงาน

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• เพลโตไอสตรีม. ข้อมูลอัจฉริยะ Web3 ขยายความรู้ เข้าถึงได้ที่นี่.
• การสร้างอนาคตโดย Adryenn Ashley เข้าถึงได้ที่นี่.
• ซื้อและขายหุ้นในบริษัท PRE-IPO ด้วย PREIPO® เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/unlock-insights-from-your-amazon-s3-data-with-intelligent-search/