Nowa rozszerzona obsługa formatu danych w Amazon Kendra

Przedsiębiorstwa na całym świecie chcą wykorzystywać wiele źródeł danych, aby wdrożyć ujednolicone wyszukiwanie dla swoich pracowników i klientów końcowych. Biorąc pod uwagę dużą ilość danych, które należy zbadać i zindeksować, szybkość wyszukiwania, skalowalność rozwiązania i wydajność wyszukiwania stają się kluczowymi czynnikami, które należy wziąć pod uwagę przy wyborze inteligentnego rozwiązania wyszukiwania dla przedsiębiorstw. Ponadto te unikalne źródła danych obejmują ustrukturyzowane i nieustrukturyzowane repozytoria treści — w tym różne typy plików — co może powodować problemy ze zgodnością.

Amazonka Kendra to wysoce dokładna i inteligentna usługa wyszukiwania, która umożliwia użytkownikom wyszukiwanie odpowiedzi na pytania w nieustrukturyzowanych i ustrukturyzowanych danych przy użyciu przetwarzania języka naturalnego i zaawansowanych algorytmów wyszukiwania. Zwraca konkretne odpowiedzi na pytania, zapewniając użytkownikom wrażenia zbliżone do interakcji z ludzkim ekspertem.

Dzisiaj Amazon Kendra uruchomił siedem dodatkowych opcji obsługi formatu danych, z których możesz skorzystać. Pozwala to na łatwą integrację istniejących źródeł danych i przeprowadzanie inteligentnego wyszukiwania w wielu repozytoriach treści.

W tym poście omawiamy nowe obsługiwane formaty danych i sposób ich używania.

Nowe obsługiwane formaty danych

Wcześniej Amazonka Kendra obsługiwane dokumenty który zawierał tekst strukturalny w postaci często zadawanych pytań i odpowiedzi, a także tekst nieustrukturyzowany w postaci plików HTML, prezentacji Microsoft PowerPoint, dokumentów Microsoft Word, zwykłych dokumentów tekstowych i plików PDF.

Dzięki tej premierze Amazon Kendra oferuje teraz obsługę siedmiu dodatkowych formatów danych:

• Format tekstu sformatowanego (RTF)
• Notacja obiektów JavaScript (JSON)
• Przecena (MD)
• Wartości oddzielone przecinkami (CSV)
• Microsoft Excel (MS Excel)
• Rozszerzalny język znaczników (XML)
• Rozszerzalne przekształcenia języka arkusza stylów (XSLT)

Użytkownicy Amazon Kendra mogą pobierać te dokumenty z różnymi formatami danych do swojego indeksu na dwa następujące sposoby:

Omówienie rozwiązania

W poniższych sekcjach omówimy kroki dodawania dokumentów ze źródła danych i przeprowadzania wyszukiwania w tych dokumentach.

Poniższy diagram przedstawia naszą architekturę rozwiązania.

Aby przetestować to rozwiązanie dla dowolnego obsługiwanego formatu, musisz użyć własnych danych. Możesz przetestować, przesyłając dokumenty w tym samym lub różnych formatach do zasobnika S3.

Utwórz indeks Amazon Kendra

Aby uzyskać instrukcje dotyczące tworzenia indeksu Amazon Kendra, zobacz Tworzenie indeksu.

Możesz pominąć ten krok, jeśli masz wcześniej istniejący indeks do wykorzystania w tej wersji demonstracyjnej.

Prześlij dokumenty do zasobnika S3 i pozyskuj do indeksu za pomocą łącznika S3

Wykonaj następujące kroki, aby połączyć zasobnik S3 z indeksem:

1. Utwórz wiadro S3 do przechowywania dokumentów.
2. Utwórz folder nazwane przykładowe dane.
3. Prześlij do folderu dokumenty, które chcesz przetestować.
4. Na konsoli Amazon Kendra przejdź do swojego indeksu i wybierz Źródła danych.
5. Dodaj Dodaj źródło danych.
6. Pod Dostępne źródła danych, Wybierz S3 i wybierz Dodaj złącze.
7. Wprowadź nazwę łącznika (np Demo_S3_connector) i wybierz Następna.
8. Dodaj Przeglądaj S3 i wybierz zasobnik S3, do którego załadowałeś dokumenty.
9. W razie zamówieenia projektu Rola uprawnień, utwórz nową rolę.
10. W razie zamówieenia projektu Ustaw harmonogram uruchamiania synchronizacji, Wybierz Uruchom na żądanie.
11. Dodaj Następna.
12. Na Przejrzyj i utwórz wybierz stronę Dodaj źródło danych.
13. Po zakończeniu procesu tworzenia wybierz Synchronizuj teraz.

Po przetworzeniu niektórych dokumentów możesz przejść do wbudowanej konsoli wyszukiwania, aby przetestować zapytania.

Przeszukuj swoje dokumenty za pomocą konsoli wyszukiwania Amazon Kendra

Na konsoli Amazon Kendra wybierz Wyszukaj zindeksowaną treść w okienku nawigacji.

Poniżej przedstawiono przykłady wyników wyszukiwania różnych typów dokumentów:

• RTF – Wprowadź dane w formacie RTF przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

• JSON – Wprowadź dane w formacie JSON przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

• Obniżka cen – Wprowadź dane w formacie MD przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

• CSV – Wprowadź dane w formacie CSV przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

• przewyższać – Wprowadź dane w formacie Excel przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

• XML – Wprowadź dane w formacie XML przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

• XSLT – Wprowadź dane w formacie XSLT przesłane do zasobnika S3 i zsynchronizuj źródło danych:

Poniższy zrzut ekranu przedstawia wyniki wyszukiwania.

Sprzątać

Aby uniknąć ponoszenia przyszłych kosztów, wyczyść zasoby utworzone w ramach tego rozwiązania, wykonując następujące czynności:

1. Na konsoli Amazon Kendra wybierz Indeksy w okienku nawigacji.
2. Wybierz indeks zawierający źródło danych do usunięcia.
3. W okienku nawigacji wybierz Źródła danych.
4. Wybierz źródło danych do usunięcia, a następnie wybierz Usuń.

Kiedy usuwasz źródło danych, Amazon Kendra usuwa wszystkie zapisane informacje o źródle danych. Amazon Kendra usuwa wszystkie dane dokumentów przechowywane w indeksie oraz wszystkie historie uruchomień i metryki powiązane ze źródłem danych. Usunięcie źródła danych nie powoduje usunięcia oryginalnych dokumentów z magazynu.

5. Na konsoli Amazon Kendra wybierz Indeksy w okienku nawigacji.
6. Wybierz indeks do usunięcia, a następnie wybierz Usuń.

Odnosić się do Usuwanie indeksu i źródła danych by uzyskać więcej szczegółów.

7. Na konsoli Amazon S3 wybierz Wiadra w okienku nawigacji.
8. Wybierz zasobnik, który chcesz usunąć, a następnie wybierz Usuń.
9. Wprowadź nazwę zasobnika, aby potwierdzić usunięcie, a następnie wybierz Usuń zasobnik.

Jeśli zasobnik zawiera jakiekolwiek obiekty, otrzymasz alert o błędzie. Opróżnij wiadro przed usunięciem, wybierając łącze w komunikacie o błędzie i postępując zgodnie z instrukcjami na stronie Puste wiadro strona. Następnie wróć do Usuń zasobnik stronę i usuń wiadro.

10. Aby sprawdzić, czy zasobnik został usunięty, otwórz plik Wiadra stronę i wprowadź nazwę zasobnika, który usunąłeś. Jeśli nie można znaleźć zasobnika, usunięcie powiodło się.

Odnosić się do Usuwanie strony zasobnika by uzyskać więcej szczegółów.

Wnioski

W tym poście omówiliśmy nowe formaty danych obsługiwane teraz przez Amazon Kendra. Ponadto omówiliśmy, jak używać Amazon Kendra do pozyskiwania i wyszukiwania tych nowych typów dokumentów przechowywanych w zasobniku S3. Aby dowiedzieć się więcej o różnych obsługiwanych formatach danych, zobacz Rodzaje dokumentów.

Przedstawiliśmy Ci podstawy, ale istnieje wiele dodatkowych funkcji, których nie omówiliśmy w tym poście, takich jak:

• Możesz włączyć kontrolę dostępu opartą na użytkownikach dla swojego indeksu Amazon Kendra i ograniczyć dostęp do skonfigurowanych użytkowników i grup.
• Możesz mapować dodatkowe pola na atrybuty indeksu Amazon Kendra i włączać je do facetingu, wyszukiwania i wyświetlania w wynikach wyszukiwania.
• Możesz zintegrować różne łączniki źródeł danych innych firm, takie jak Service Now i Salesforce, z funkcją Custom Document Enrichment (CDE) w Amazon Kendra, aby wykonać dodatkową logikę mapowania atrybutów, a nawet niestandardowe przekształcenia treści podczas przetwarzania. Aby uzyskać pełną listę obsługiwanych złączy, patrz Złącza.

Aby dowiedzieć się więcej o tych możliwościach i nie tylko, zapoznaj się z Przewodnik dla programistów Amazon Kendra.

---

O autorach

Rishabh Yadav jest architektem rozwiązań partnerskich w AWS z rozległym doświadczeniem w DevOps i ofertach bezpieczeństwa w AWS. Współpracuje z partnerami ASEAN, aby zapewnić wytyczne dotyczące wdrażania chmury korporacyjnej i przeglądów architektury, a także budować praktykę AWS poprzez wdrażanie Well-Architected Framework. Poza pracą lubi spędzać czas na boisku sportowym i grach FPS.

Kruthi Dżajasimha Rao jest architektem rozwiązań partnerskich ze specjalizacją w AI i ML. Udziela wskazówek technicznych Partnerom AWS w zakresie stosowania najlepszych praktyk w celu budowania bezpiecznych, odpornych i wysoce dostępnych rozwiązań w AWS Cloud.

Keerthi Kumar Kallur jest inżynierem rozwoju oprogramowania w AWS. Jest w zespole AWS Kendra od ostatnich 2 lat i pracował nad różnymi funkcjami oraz klientami. W wolnym czasie lubi zajęcia na świeżym powietrzu, takie jak piesze wędrówki, sporty, takie jak siatkówka.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/new-expanded-data-format-support-in-amazon-kendra/