Akıllı arama ile Amazon S3 verilerinizden İçgörülerin kilidini açın | Amazon Web Hizmetleri

Amazon Kendrası makine öğrenimi (ML) tarafından desteklenen akıllı bir arama hizmetidir. Amazon Kendra, web siteleriniz ve uygulamalarınız için kurumsal aramayı yeniden tasarlar; böylece çalışanlarınız ve müşterileriniz, aradıkları içeriği kuruluşunuzdaki birden fazla konuma ve içerik havuzuna dağılmış olsa bile kolayca bulabilir. Anahtar sözcükler veya doğal dil soruları, yanıtları teslim etmek ve belgeleri sıralamak için makine öğrenimi tarafından desteklenen en alakalı belgeleri aramak için kullanılabilir. Amazon Kendra şuradaki verileri dizine ekleyebilir: Amazon Basit Depolama Hizmeti (Amazon S3) veya bir üçüncü taraf belge havuzundan. Amazon S3; ürün kılavuzları, proje ve araştırma belgeleri ve daha fazlası dahil olmak üzere büyük miktarda veriyi depolayabileceğiniz ölçeklenebilirlik ve kullanılabilirlik sunan bir nesne depolama hizmetidir.

Bu gönderide, sağlanan bir yazılımın nasıl dağıtılacağını öğrenebilirsiniz. AWS CloudFormation belgelerinizi bir Amazon S3 klasöründe dizine eklemek için şablon. Şablon, bir dizin için bir Amazon Kendra veri kaynağı oluşturur ve veri kaynağınızı ihtiyaçlarınıza göre senkronize eder: isteğe bağlı, saatlik, günlük, haftalık veya aylık. AWS CloudFormation, altyapıyı kod olarak (IaC) sağlamamıza olanak tanır, böylece kaynakları yönetmek için daha az zaman harcayabilir, altyapınızı hızla çoğaltabilir ve altyapıdaki değişiklikleri kontrol edip takip edebilirsiniz.

Çözüme genel bakış

CloudFormation şablonu, Amazon S3 bağlantısı olan bir Amazon Kendra veri kaynağı kurar. Şablon ayrıca Amazon Kendra veri kaynağı hizmeti için bir rol oluşturur. Bir S3 grubu, senkronizasyon programı ve dahil etme/hariç tutma kalıpları belirleyebilirsiniz. Senkronizasyon işi bittiğinde, dizine alınan içeriği Arama konsolu aracılığıyla arayabilirsiniz. Aşağıdaki diyagram bu iş akışını göstermektedir.

Bu gönderi sizi aşağıdaki adımlara yönlendirir:

1. Sağlanan şablonu dağıtın.
2. Belgeleri, oluşturduğunuz S3 klasörüne yükleyin. Bir grup belge sağlarsanız bu adımı atlayabilirsiniz.
3. Dizin, veri kaynağını taramayı bitirene kadar bekleyin.

Önkoşullar

Bu izlenecek yol için aşağıdaki ön koşullara sahip olmalısınız:

• An AWS hesabı Önerilen çözümün devreye alınabileceği yer.
• Yığına bir veri kaynağı eklemek için bir Amazon Kendra dizini.
• Amazon Kendra dizinini oluşturmak için kullanılan belge kümesi. Bu çözümde, sıkıştırılmış bir dosya kullanıyorsunuz. AWS teknik incelemeleri.

Çözümü AWS CloudFormation ile dağıtın

CloudFormation şablonunu dağıtmak için aşağıdaki adımları tamamlayın:

1. Klinik
   

AWS CloudFormation konsoluna yönlendirilirsiniz.

2. Parametreleri değiştirebilir veya varsayılan değerleri kullanabilirsiniz:
   • Amazon Kendra veri kaynağı adı, yığın adı ve ilişkili grup adı kullanılarak otomatik olarak ayarlanır.
   • İçin KendraIndexKimliği, veri kaynağını ekleyeceğiniz Amazon Kendra dizin kimliğini girin.
   • Veri kaynağı eşitlemesini ne zaman çalıştırmak istediğinizi de seçebilirsiniz. KendraSyncSchedule. Varsayılan olarak, Talep üzerine.
   • İçin S3BucketAdı, daha önce oluşturduğunuz bir grubu girebilir veya boş bırakabilirsiniz. Boş bırakırsanız sizin için bir kova oluşturulur. Her iki durumda da klasör, Amazon Kendra veri kaynağı olarak kullanılır. Bu yazı için boş bırakıyoruz.

Yığının Amazon Kendra dizinine bağlı Amazon Kendra veri kaynağını dağıtması yaklaşık 5 dakika sürer.

3. Üzerinde Çıkışlar CloudFormation yığınının sekmesinde, oluşturulan paketin adını, veri kaynağı adını ve kimliği kopyalayın.

Oluşturulan yığın bir rolü dağıtır: <stack-name>-KendraDataSourceRole. Oluşturduğunuz her veri kaynağı için bir rol dağıtmak en iyi uygulamadır. Bu rol, Amazon Kendra veri kaynağına, Amazon S3 klasöründen nesneler almak için Amazon Kendra dizinine dosya ekleme veya kaldırma olanağı sağlar.

Dosyaları S3 klasörüne yükleyin

Amazon Kendra, .html, .pdf, .csv, .json, .docx ve .ppt gibi birden çok belge türünü işleyebilir. Ayrıca, tek bir dizinde belge kombinasyonuna sahip olabilirsiniz. Bu belgelerde yer alan metin, sağlanan Amazon Kendra dizinine göre dizine eklenir. 60'tan fazla pdf dosyasını kullanarak en iyi uygulamalar, veritabanları, makine öğrenimi, güvenlik ve daha fazlası hakkında AWS konularında anahtar kelimeler arayabilirsiniz. indir. Örneğin, AWS teknik incelemelerinde önbelleğe alma hakkında daha fazla bilgiyi nerede bulabileceğinizi öğrenmek istiyorsanız Amazon Kendra, veritabanları ve en iyi uygulamalarla ilgili belgeleri bulmanıza yardımcı olabilir.

İndirdiğinizde AWS Teknik İncelemeleri.zip dosyasını açın ve dosyayı açın, şu altı klasörü görürsünüz: Best_Practices, Databases, General, Machine_Learning, Security, Well_Architected. Bu klasörleri S3 klasörünüze yükleyin.

Amazon Kendra veri kaynağını senkronize edin

Amazon Kendra veri kaynağı verileri, verilerinizi önceden yapılandırılmış programa göre senkronize edebilir veya talep üzerine manuel olarak tetiklenebilir. Varsayılan olarak, CloudFormation şablonu, veri kaynağını gerektiği gibi manuel olarak tetiklenecek isteğe bağlı senkronizasyon planına göre yapılandırır.

AWS Amazon Kendra konsolundan senkronizasyon işini manuel olarak tetiklemek için CloudFormation yığın dağıtımının bir parçası olarak kullanılan Amazon Kendra dizinine gidin. Veri yönetimi gezinme bölmesinde öğesini seçin. Veri kaynakları ve sonra seç Şimdi senkronize et. Bu, S3 kovasının veri kaynağıyla senkronize olmasını sağlar.

Amazon Kendra veri kaynağı eşitlemeye başladığında şunu görmeniz gerekir: Mevcut senkronizasyon durumu as Eşitleme.

Veri kaynağı bittiğinde, Son senkronizasyon durumu olarak görünür başarılı ve Mevcut senkronizasyon durumu as boş. Artık indekslenmiş içeriği arayabilirsiniz.

Senkronizasyon zamanlamasını yapılandırın

Şablon, programı her saat 0 dakikasında, örneğin 13:00, 14:00 veya 15:00 çalıştırmanıza izin verir. Ayrıca her gün 00:00 UTC'de çalıştırma seçeneğine de sahipsiniz. bu Haftalık ayar Pazartesi günleri 00:00 UTC'de çalışır ve Aylık ayar her ayın ilk günü 00:00 UTC'de çalışır.

Amazon Kendra veri kaynağı oluşturulduktan sonra programı değiştirmek için İşlemler menü seç Düzenle. Altında Senkronizasyon ayarlarını yapılandırın, bulursun kural programını senkronize et Bölüm.

Altında Sıklıkseçeneğini belirleyebilirsiniz. saatlik, günlük, haftalık, aylıkya da görenek, bunların tümü senkronizasyonunuzu dakikaya kadar planlamanıza olanak tanır.

Hariç tutma kalıpları ekle

Sağlanan CloudFormation şablonu, hariç tutma kalıpları eklemenizi sağlar. Varsayılan olarak .png ve .jpg dosyaları Hariç Tutma Modelleri parametre. Ek dosya biçimleri, hariç tutma düzenine virgülle ayrılmış bir liste olarak eklenebilir. Benzer şekilde, Dahil Etme Modelleri parametresi, bir dahil etme modeli ayarlamak için virgül listesi dosya formatları eklemek için kullanılabilir. Bir dahil etme modeli sağlamazsanız, hariç tutma parametresine dahil olanlar dışındaki tüm dosyalar dizine eklenir.

Temizlemek

Maliyetlerden kaçınmak için yığını AWS CloudFormation konsolundan silebilirsiniz. Üzerinde Yığınları sayfasında, oluşturduğunuz yığını seçin, seçin Sil, ve yığının silinmesini onaylayın.

Bir S3 grubu sağlamadıysanız yığın bir grup oluşturur. Kova boşsa otomatik olarak silinir. Aksi takdirde, klasörü boşaltmanız ve manuel olarak silmeniz gerekir. Bir paket sağladıysanız, boş olsa bile silinmez. Amazon Kendra dizini silinmeyecek. Yalnızca yığın tarafından oluşturulan Amazon Kendra veri kaynağı silinecektir.

Sonuç

Bu gönderide, bir S3 klasöründeki metin belgelerinizi Amazon Kendra dizininize kolayca senkronize etmek için bir CloudFormation şablonu sağladık. Dizine eklemek istediğiniz birden çok S3 klasörünüz varsa bu çözüm yararlıdır çünkü belgeleri birkaç tıklamayla tutarlı ve tekrarlanabilir bir şekilde sorgulamak için gerekli tüm bileşenleri oluşturabilirsiniz. Görüntü tabanlı metin belgelerinin Amazon Kendra'da nasıl işlenebileceğini de görebilirsiniz. Belirli zamanlama kalıpları hakkında daha fazla bilgi edinmek için bkz. Kurallar için İfadeler Planla.

Bir yorum bırakın ve aşağıda Amazon Kendra dizini oluşturma hakkında daha fazla bilgi edinin Amazon Kendra Essentials+ atölyesi.

Jose Mauricio Mani Yanez'e örnek kodu oluşturma ve bu yazının içeriğini derleme konusundaki yardımları için özel teşekkürler.

---

Yazar hakkında

Rajesh Kumar Ravi Amazon Web Services'ta Amazon Kendra ve üretken yapay zeka ile akıllı belge arama konusunda uzmanlaşmış bir AI/ML Uzman Çözüm Mimarıdır. Kurucu ve problem çözücüdür ve yeni fikirlerin geliştirilmesine katkıda bulunur. Yürümeyi sever ve iş dışında kısa yürüyüş gezilerine çıkmayı sever.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoAiStream. Web3 Veri Zekası. Bilgi Genişletildi. Buradan Erişin.
• Adryenn Ashley ile Geleceği Basmak. Buradan Erişin.
• PREIPO® ile PRE-IPO Şirketlerinde Hisse Al ve Sat. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/unlock-insights-from-your-amazon-s3-data-with-intelligent-search/