Indexe seu conteúdo do Dropbox usando o conector do Dropbox para Amazon Kendra

Amazona Kendra é um serviço de pesquisa inteligente altamente preciso e simples de usar, desenvolvido com aprendizado de máquina (ML). O Amazon Kendra oferece um conjunto de conectores de fonte de dados para simplificar o processo de ingestão e indexação de seu conteúdo, onde quer que ele resida.

Dados valiosos nas organizações são armazenados em repositórios estruturados e não estruturados. Uma solução de pesquisa corporativa deve ser capaz de reunir dados em vários repositórios estruturados e não estruturados para indexar e pesquisar.

Um desses repositórios de dados é o Dropbox. Os usuários corporativos usam o Dropbox para fazer upload, transferir e armazenar documentos na nuvem. Junto com a capacidade de armazenar documentos, o Dropbox oferece o Dropbox Paper, uma ferramenta de coedição que permite aos usuários colaborar e criar conteúdo em um só lugar. Opcionalmente, o Dropbox Paper pode usar modelos para adicionar estrutura aos documentos. Além de arquivos e papéis, o Dropbox também permite armazenar atalhos para páginas da web em suas pastas.

Temos o prazer de anunciar que agora você pode usar o conector Amazon Kendra para Dropbox para pesquisar informações armazenadas em sua conta do Dropbox. Neste post, mostramos como indexar informações armazenadas no Dropbox e usar a função de pesquisa inteligente Amazon Kendra. Além disso, a pesquisa inteligente baseada em ML do Amazon Kendra pode encontrar com precisão informações de documentos não estruturados com conteúdo narrativo em linguagem natural, para os quais a pesquisa por palavra-chave não é muito eficaz.

Visão geral da solução

Com o Amazon Kendra, você pode configurar diversas fontes de dados para fornecer um local central para pesquisar em seu repositório de documentos. Para nossa solução, demonstramos como indexar um repositório ou pasta do Dropbox usando o conector Amazon Kendra para Dropbox. A solução consiste nas seguintes etapas:

1. Configure um aplicativo no Dropbox e obtenha os detalhes da conexão.
2. Armazene os detalhes em Gerenciador de segredos da AWS.
3. Crie uma fonte de dados do Dropbox por meio do console Amazon Kendra.
4. Indexe os dados no repositório do Dropbox.
5. Execute uma consulta de amostra para obter as informações.

Pré-requisitos

Para experimentar o conector Amazon Kendra para Dropbox, você precisa do seguinte:

Configure um aplicativo Dropbox e reúna detalhes de conexão

Antes de configurarmos a fonte de dados do Dropbox, precisamos de alguns detalhes sobre o seu repositório do Dropbox. Vamos reuni-los com antecedência.

1. Acesse www.dropbox.com/developers.
2. Escolha Console de aplicativos.
   
3. Faça login com suas credenciais (certifique-se de estar fazendo login em uma conta Enterprise).
   
4. Escolha Criar aplicativo.
   
5. Selecionar Acesso com escopo.
6. Selecionar Dropbox completo (ou o nome da pasta específica que você deseja indexar).
7. Insira um nome para seu aplicativo.
8. Escolha Criar aplicativo.
   
   Você pode ver a tela de configuração com um conjunto de guias.
9. Para configurar permissões, escolha o Permissões aba.
   
10. Selecione um conjunto mínimo de permissões, conforme mostrado nas capturas de tela a seguir.
    
11. Escolha Submeter.
    
    Uma mensagem aparece informando que a alteração da permissão foi bem-sucedida.
    
12. No Configurações guia, copie a chave do aplicativo.
13. Escolha Mostrar próximo de Segredo do aplicativo e copie o segredo.
14. Debaixo Token de acesso gerado, escolha Gerar e copie o token.
    

Armazene esses valores em um local seguro – precisaremos consultá-los mais tarde.

O token de sessão é válido por até 4 horas. Você deve gerar um novo token de sessão sempre que indexar o conteúdo.

Armazene credenciais do Dropbox no Secrets Manager

Para armazenar suas credenciais do Dropbox no Secrets Manager, execute as seguintes etapas:

1. No console do Secrets Manager, escolha Guarde um novo segredo.
2. Escolha Outro tipo de segredo.
3. Crie três pares de valores-chave para appKey, appSecret e refreshToken e insira os valores salvos no Dropbox.
4. Escolha Salvar.
   
5. Escolha Nome secreto, insira um nome (por exemplo, AmazonKendra-dropbox-secret).
6. Insira uma descrição opcional.
7. Escolha Próximo.
   
8. No Configurar rotação seção, mantenha todas as configurações em seus padrões e escolha Próximo.
   
9. No Avaliações página, escolha Loja.
   

Configurar o conector Amazon Kendra para Dropbox

Para configurar o conector do Amazon Kendra, conclua as seguintes etapas:

1. No console Amazon Kendra, escolha Criar um índice.
   
2. Escolha Nome do índice, insira um nome para o índice (por exemplo, my-dropbox-index).
3. Insira uma descrição opcional.
4. Escolha Nome do papel, insira um nome de função do IAM.
5. Defina as configurações e tags de criptografia opcionais.
6. Escolha Próximo.
   
7. No Configurar o controle de acesso do usuário seção, deixe as configurações em seus padrões e escolha Próximo.
   
8. Escolha Edições de provisionamento, selecione Edição de desenvolvedor.
9. Escolha Crie.
   
   Isso cria e propaga a função do IAM e, em seguida, cria o índice do Amazon Kendra, que pode levar até 30 minutos.
10. Escolha As fontes de dados no painel de navegação.
    
11. Debaixo Dropbox, escolha Adicionar conector.
    
12. Escolha Nome da fonte de dados, insira um nome (por exemplo, my-dropbox-connector).
13. Insira uma descrição opcional.
14. Escolha Próximo.
    
15. Escolha Tipo de token de autenticação, selecione Token de acesso (uso temporário).
16. Escolha Segredo do AWS Secrets Manager, escolha o segredo que você criou anteriormente.
17. Escolha Papel do IAM, escolha Crie uma nova função.
18. Escolha Nome do papel, insira um nome (por exemplo, AmazonKendra-dropbox-role).
19. Escolha Próximo.
    
20. Escolha Selecione entidades ou tipos de conteúdo, escolha seus tipos de conteúdo.
21. Escolha Frequência, escolha Executar sob demanda.
22. Escolha Próximo.
    
23. Defina qualquer mapeamento de campo opcional e escolha Próximo.
24. Escolha Revisar e criar e escolha Adicionar fonte de dados.
25. Escolha Sincronize agora.
    
26. Aguarde a conclusão da sincronização.
    

Teste a solução

Agora que ingeriu o conteúdo da sua conta do Dropbox no índice do Amazon Kendra, você pode testar algumas consultas.

Vá para o seu índice e escolha Pesquisar conteúdo indexado. Insira uma consulta de pesquisa de amostra e teste seus resultados de pesquisa (sua consulta varia de acordo com o conteúdo de sua conta).

O conector do Dropbox também rastreia informações de identidade local do Dropbox. Para usuários, ele define o ID de e-mail do usuário como principal. Para grupos, define o ID do grupo como principal. Para filtrar os resultados da pesquisa por usuários/grupos, acesse o Search Console.

Clique em "Consulta de teste com nome de usuário ou grupos”Para expandi-lo e clique no botão que diz“aplicar nome de usuário ou grupos".

Insira os nomes de usuário e/ou grupo e clique em Aplicar. Em seguida, insira a consulta de pesquisa e pressione Enter. Isso traz a você um conjunto filtrado de resultados com base em seus critérios.

Parabéns! Você usou o Amazon Kendra com sucesso para obter respostas e insights com base no conteúdo indexado da sua conta do Dropbox.

Gere tokens permanentes para acesso offline

As instruções nesta postagem orientam você na criação, configuração e uso de um token de acesso temporário. Os aplicativos também podem obter acesso de longo prazo solicitando acesso offline. Nesse caso, o aplicativo recebe um token de atualização que pode ser usado para recuperar novos tokens de acesso de curta duração conforme necessário, sem intervenção manual adicional do usuário. Você pode encontrar mais informações no Guia OAuth do Dropbox e Documentação de autorização do Dropbox. Use as etapas a seguir para criar um token de atualização permanente (por exemplo, para definir a sincronização para ser acionada de acordo com uma programação):

1. Obtenha a chave e o segredo do aplicativo como antes.
2. Em um novo navegador, navegue até https://www.dropbox.com/oauth2/authorize?token_access_type=offline&response_type=code&client_id=.
3. Aceite os padrões e escolha Submeter.
4. Escolha Continuar.
   
5. Escolha Permitir.
   
   Um código de acesso é gerado para você.
6. Copie o código de acesso.
   
   Agora você obtém o token de atualização do código de acesso.
7. Em uma janela de terminal, execute o seguinte comando curl:

   curl https://api.dropbox.com/oauth2/token -d code= -d grant_type=authorization_code -u :

   

Você pode armazenar esse token de atualização junto com a chave e o segredo do aplicativo para configurar um token permanente na configuração da fonte de dados do Amazon Kendra. O Amazon Kendra gera o token de acesso e o utiliza conforme necessário para acesso.

Limitações

Esta solução tem as seguintes limitações:

• Os comentários do arquivo não são importados para o índice
• Você não tem a opção de adicionar metadados personalizados ao Dropbox
• Documentos, planilhas e slides do Google precisam de um espaço de trabalho ou conta do Google e não estão incluídos

Conclusão

Com o conector Dropbox para Amazon Kendra, as organizações podem acessar o repositório de informações armazenadas em suas contas com segurança usando pesquisa inteligente desenvolvida pela Amazon Kendra.

Neste post, apresentamos o básico, mas há muitos recursos adicionais que não abordamos. Por exemplo:

• Você pode habilitar o controle de acesso baseado em usuário para seu índice do Amazon Kendra e restringir o acesso a usuários e grupos que você configurar
• Você pode especificar allowedUsersColumn e allowedGroupsColumn para que você possa aplicar controles de acesso com base em usuários e grupos, respectivamente
• Você pode mapear campos adicionais para atributos de índice do Amazon Kendra e habilitá-los para facetação, pesquisa e exibição nos resultados da pesquisa
• Você pode integrar a fonte de dados do Dropbox com o recurso Custom Document Enrichment (CDE) no Amazon Kendra para executar lógica de mapeamento de atributos adicional e até mesmo transformação de conteúdo personalizado durante a ingestão

Para saber mais sobre essas possibilidades e muito mais, consulte o Guia do desenvolvedor do Amazon Kendra.

---

Sobre o autor

Ashish Lagwankar é arquiteto de soluções corporativas sênior na AWS. Seus principais interesses incluem tecnologias de IA/ML, serverless e de contêiner. Ashish está baseado na área de Boston, MA, e gosta de ler, ao ar livre e passar tempo com sua família.