Индексируйте содержимое Dropbox с помощью коннектора Dropbox для Amazon Kendra.

Амазон Кендра — это высокоточный и простой в использовании интеллектуальный поисковый сервис, основанный на машинном обучении (ML). Amazon Kendra предлагает набор соединителей источников данных, упрощающих процесс загрузки и индексации вашего контента, где бы он ни находился.

Ценные данные в организациях хранятся как в структурированных, так и в неструктурированных репозиториях. Решение корпоративного поиска должно быть способно собирать данные из нескольких структурированных и неструктурированных репозиториев для индексации и поиска.

Одним из таких хранилищ данных является Dropbox. Корпоративные пользователи используют Dropbox для загрузки, передачи и хранения документов в облаке. Помимо возможности хранить документы, Dropbox предлагает Dropbox Paper, инструмент совместного редактирования, который позволяет пользователям совместно работать и создавать контент в одном месте. Dropbox Paper может дополнительно использовать шаблоны для структурирования документов. Помимо файлов и бумаги, Dropbox также позволяет хранить ярлыки веб-страниц в ваших папках.

Мы рады сообщить, что теперь вы можете использовать коннектор Amazon Kendra для Dropbox для поиска информации, хранящейся в вашей учетной записи Dropbox. В этом посте мы покажем, как индексировать информацию, хранящуюся в Dropbox, и использовать функцию интеллектуального поиска Amazon Kendra. Кроме того, интеллектуальный поиск Amazon Kendra на основе машинного обучения может точно находить информацию в неструктурированных документах с повествовательным содержанием на естественном языке, для которых поиск по ключевым словам не очень эффективен.

Обзор решения

С помощью Amazon Kendra вы можете настроить несколько источников данных, чтобы обеспечить центральное место для поиска в вашем репозитории документов. Для нашего решения мы демонстрируем, как индексировать репозиторий или папку Dropbox с помощью соединителя Amazon Kendra для Dropbox. Решение состоит из следующих шагов:

1. Настройте приложение в Dropbox и получите сведения о подключении.
2. Сохраните детали в Менеджер секретов AWS.
3. Создайте источник данных Dropbox через консоль Amazon Kendra.
4. Индексируйте данные в репозитории Dropbox.
5. Запустите пример запроса, чтобы получить информацию.

Предпосылки

Чтобы опробовать коннектор Amazon Kendra для Dropbox, вам потребуется следующее:

Настройте приложение Dropbox и соберите сведения о подключении

Прежде чем мы настроим источник данных Dropbox, нам нужно несколько подробностей о вашем репозитории Dropbox. Давайте соберем их заранее.

1. Перейдите на www.dropbox.com/developers.
2. Выберите Консоль приложения.
   
3. Войдите в систему, используя свои учетные данные (убедитесь, что вы входите в учетную запись Enterprise).
   
4. Выберите Создать приложение.
   
5. Выберите Ограниченный доступ.
6. Выберите Полный Dropbox (или имя конкретной папки, которую вы хотите проиндексировать).
7. Введите имя для вашего приложения.
8. Выберите Создать приложение.
   
   Вы можете увидеть экран конфигурации с набором вкладок.
9. Чтобы настроить разрешения, выберите Разрешения... меню.
   
10. Выберите минимальный набор разрешений, как показано на следующих снимках экрана.
    
11. Выберите Отправить.
    
    Появится сообщение о том, что изменение разрешений прошло успешно.
    
12. На Настройки вкладку, скопируйте ключ приложения.
13. Выберите Показать рядом с Секрет приложения и скопируйте секрет.
14. Под Сгенерированный токен доступа, выберите Порождать и скопируйте токен.
    

Сохраните эти значения в надежном месте — нам нужно будет обратиться к ним позже.

Токен сеанса действителен до 4 часов. Вы должны генерировать новый токен сеанса каждый раз, когда вы индексируете контент.

Храните учетные данные Dropbox в диспетчере секретов

Чтобы сохранить свои учетные данные Dropbox в диспетчере секретов, выполните следующие действия:

1. На консоли диспетчера секретов выберите Храните новый секрет.
2. Выберите Другой тип секрета.
3. Создайте три пары ключ-значение для appKey, appSecretкачества refreshToken и введите значения, сохраненные в Dropbox.
4. Выберите Сохранить.
   
5. Что касается Секретное имявведите имя (например, AmazonKendra-dropbox-secret).
6. Введите необязательное описание.
7. Выберите Следующая.
   
8. В Настроить ротацию раздел, оставьте все настройки по умолчанию и выберите Следующая.
   
9. На Обзор выберите страницу Магазин.
   

Настройте коннектор Amazon Kendra для Dropbox

Чтобы настроить коннектор Amazon Kendra, выполните следующие действия.

1. На консоли Amazon Kendra выберите Создать индекс.
   
2. Что касается Индекс, введите имя индекса (например, my-dropbox-index).
3. Введите необязательное описание.
4. Что касается Название роли, введите имя роли IAM.
5. Настройте дополнительные параметры шифрования и теги.
6. Выберите Следующая.
   
7. В Настроить контроль доступа пользователей раздел, оставьте настройки по умолчанию и выберите Следующая.
   
8. Что касается Предоставление выпусков, наведите на Редакция для разработчиков.
9. Выберите Создавай.
   
   При этом создается и распространяется роль IAM, а затем создается индекс Amazon Kendra, что может занять до 30 минут.
10. Выберите Источники данных в навигационной панели.
    
11. Под Dropbox, выберите Добавить разъем.
    
12. Что касается Имя источника данныхвведите имя (например, my-dropbox-connector).
13. Введите необязательное описание.
14. Выберите Следующая.
    
15. Что касается Тип токена аутентификации, наведите на Токен доступа (временное использование).
16. Что касается Секрет AWS Secrets Manager, выберите секрет, который вы создали ранее.
17. Что касается Роль IAM, выберите Создать новую роль.
18. Что касается Название роливведите имя (например, AmazonKendra-dropbox-role).
19. Выберите Следующая.
    
20. Что касается Выберите объекты или типы контента, выберите типы контента.
21. Что касается частота, выберите Запуск по требованию.
22. Выберите Следующая.
    
23. Установите любые дополнительные сопоставления полей и выберите Следующая.
24. Выберите Просмотр и создание , а затем выбрать Добавить источник данных.
25. Выберите Синхронизировать сейчас.
    
26. Дождитесь завершения синхронизации.
    

Проверить решение

Теперь, когда вы добавили контент из своей учетной записи Dropbox в свой индекс Amazon Kendra, вы можете протестировать некоторые запросы.

Зайдите в свой индекс и выберите Поиск по проиндексированному контенту. Введите образец поискового запроса и проверьте результаты поиска (ваш запрос будет зависеть от содержимого вашей учетной записи).

Коннектор Dropbox также сканирует локальную идентификационную информацию из Dropbox. Для пользователей он устанавливает идентификатор электронной почты пользователя в качестве основного. Для групп он устанавливает идентификатор группы в качестве основного. Чтобы отфильтровать результаты поиска по пользователям/группам, перейдите в Search Console.

Нажмите на "Тестовый запрос с именем пользователя или группами», чтобы развернуть его, и нажмите кнопку с надписью «применить имя пользователя или группы».

Введите имя пользователя и/или группы и нажмите Применить. Далее введите поисковый запрос и нажмите Enter. Это приносит вам отфильтрованный набор результатов на основе ваших критериев.

Поздравляем! Вы успешно использовали Amazon Kendra для поиска ответов и идей на основе контента, проиндексированного из вашей учетной записи Dropbox.

Создание постоянных токенов для автономного доступа

Инструкции в этом посте помогут вам создать, настроить и использовать временный токен доступа. Приложения также могут получить долгосрочный доступ, запросив автономный доступ, и в этом случае приложение получает маркер обновления, который можно использовать для получения новых краткосрочных маркеров доступа по мере необходимости без дальнейшего ручного вмешательства пользователя. Дополнительную информацию вы можете найти в Руководство Dropbox OAuth и Документация по авторизации Dropbox. Выполните следующие действия, чтобы создать постоянный токен обновления (например, чтобы настроить запуск синхронизации по расписанию):

1. Получите ключ приложения и секрет приложения, как и раньше.
2. В новом браузере перейдите к https://www.dropbox.com/oauth2/authorize?token_access_type=offline&response_type=code&client_id=.
3. Примите значения по умолчанию и выберите Отправить.
4. Выберите Продолжить.
   
5. Выберите Разрешить.
   
   Код доступа генерируется для вас.
6. Скопируйте код доступа.
   
   Теперь вы получаете токен обновления из кода доступа.
7. В окне терминала выполните следующую команду curl:

   curl https://api.dropbox.com/oauth2/token -d code= -d grant_type=authorization_code -u :

   

Этот токен обновления можно сохранить вместе с ключом приложения и секретом приложения, чтобы настроить постоянный токен в конфигурации источника данных для Amazon Kendra. Amazon Kendra создает токен доступа и использует его по мере необходимости для доступа.

ограничения

Это решение имеет следующие ограничения:

• Комментарии к файлу не импортируются в индекс
• У вас нет возможности добавлять собственные метаданные для Dropbox.
• Документы, листы и слайды Google требуют рабочей области Google или учетной записи Google и не включены

Заключение

С помощью соединителя Dropbox для Amazon Kendra организации могут безопасно подключаться к репозиторию информации, хранящейся в их учетной записи, с помощью интеллектуального поиска на базе Amazon Kendra.

В этом посте мы познакомили вас с основами, но есть много дополнительных функций, которые мы не рассмотрели. Например:

• Вы можете включить управление доступом на основе пользователей для своего индекса Amazon Kendra и ограничить доступ пользователям и группам, которые вы настроили.
• Вы можете указать allowedUsersColumn и allowedGroupsColumn так что вы можете применять контроль доступа на основе пользователей и групп, соответственно
• Вы можете сопоставить дополнительные поля с атрибутами индекса Amazon Kendra и включить их фасетирование, поиск и отображение в результатах поиска.
• Вы можете интегрировать источник данных Dropbox с функцией Custom Document Enrichment (CDE) в Amazon Kendra для выполнения дополнительной логики сопоставления атрибутов и даже преобразования пользовательского содержимого во время загрузки.

Чтобы узнать об этих и других возможностях, см. Руководство разработчика по Amazon Kendra.

---

Об авторе

Ашиш Лагванкар является старшим архитектором корпоративных решений в AWS. Его основные интересы включают AI/ML, бессерверные и контейнерные технологии. Ашиш живет в Бостоне, штат Массачусетс, и любит читать, проводить время на свежем воздухе и проводить время со своей семьей.