Indexați conținutul Dropbox folosind conectorul Dropbox pentru Amazon Kendra

Amazon Kendra este un serviciu de căutare inteligentă extrem de precis și simplu de utilizat, alimentat de machine learning (ML). Amazon Kendra oferă o suită de conectori pentru sursa de date pentru a simplifica procesul de asimilare și indexare a conținutului dvs., oriunde ar fi acesta.

Datele valoroase din organizații sunt stocate atât în ​​depozite structurate, cât și în cele nestructurate. O soluție de căutare pentru întreprinderi ar trebui să poată strânge date în mai multe depozite structurate și nestructurate pentru a indexa și a căuta.

One such data repository is Dropbox. Enterprise users use Dropbox to upload, transfer, and store documents to the cloud. Along with the ability to store documents, Dropbox offers Dropbox Paper, a coediting tool that lets users collaborate and create content in one place. Dropbox Paper can optionally use templates to add structure to documents. In addition to files and paper, Dropbox also allows you to store shortcuts to webpages in your folders.

We’re excited to announce that you can now use the Amazon Kendra connector for Dropbox to search information stored in your Dropbox account. In this post, we show how to index information stored in Dropbox and use the Amazon Kendra intelligent search function. In addition, Amazon Kendra’s ML powered intelligent search can accurately find information from unstructured documents having natural language narrative content, for which keyword search is not very effective.

Prezentare generală a soluțiilor

With Amazon Kendra, you can configure multiple data sources to provide a central place to search across your document repository. For our solution, we demonstrate how to index a Dropbox repository or folder using the Amazon Kendra connector for Dropbox. The solution consists of the following steps:

1. Configure an app on Dropbox and get the connection details.
2. Stocați detaliile în Manager de secrete AWS.
3. Create a Dropbox data source via the Amazon Kendra console.
4. Index the data in the Dropbox repository.
5. Rulați un exemplu de interogare pentru a obține informațiile.

Cerințe preliminare

To try out the Amazon Kendra connector for Dropbox, you need the following:

Configure a Dropbox app and gather connection details

Before we set up the Dropbox data source, we need a few details about your Dropbox repository. Let’s gather those in advance.

1. Mergi la pagina www.dropbox.com/developers.
2. Alege App console.
   
3. Sign in with your credentials (make sure you’re signing in to an Enterprise account).
   
4. Alege Creați aplicație.
   
5. Selectați Scoped access.
6. Selectați Full Dropbox (or the name of the specific folder you want to index).
7. Enter a name for your app.
8. Alege Creați aplicație.
   
   You can see the configuration screen with a set of tabs.
9. To set up permissions, choose the Permisiuni tab.
   
10. Select a minimal set of permissions, as shown in the following screenshots.
    
11. Alege Trimite mesaj.
    
    A message appears saying that the permission change was successful.
    
12. Pe setări cont tab, copy the app key.
13. Alege Spectacol chiar lângă App secret and copy the secret.
14. În Generated access token, alege Genera and copy the token.
    

Store these values in a safe place—we need to refer to these later.

The session token is valid for up to 4 hours. You have to generate a new session token each time you index the content.

Store Dropbox credentials in Secrets Manager

To store your Dropbox credentials in Secrets Manager, compete the following steps:

1. Pe consola Secrets Manager, alegeți Stocați un nou secret.
2. Alege Alt tip de secret.
3. Create three key-value pairs for appKey, appSecret, și refreshToken and enter the values saved from Dropbox.
4. Alege Economisiți.
   
5. Pentru Numele secret, introduceți un nume (de exemplu, AmazonKendra-dropbox-secret).
6. Introduceți o descriere opțională.
7. Alege Pagina Următoare →.
   
8. În Configurați rotația secțiunea, păstrați toate setările la valorile implicite și alegeți Pagina Următoare →.
   
9. Pe Recenzie pagina, alege Magazin.
   

Configure the Amazon Kendra connector for Dropbox

Pentru a configura conectorul Amazon Kendra, parcurgeți următorii pași:

1. Pe consola Amazon Kendra, alegeți Creați un index.
   
2. Pentru Numele indexului, introduceți un nume pentru index (de exemplu, my-dropbox-index).
3. Introduceți o descriere opțională.
4. Pentru Nume rol, introduceți un nume de rol IAM.
5. Configurați setările și etichetele opționale de criptare.
6. Alege Pagina Următoare →.
   
7. În Configurați controlul accesului utilizatorului secțiunea, lăsați setările la valorile implicite și alegeți Pagina Următoare →.
   
8. Pentru Ediții de aprovizionare, Selectați Ediție pentru dezvoltatori.
9. Alege Crea.
   
   Acest lucru creează și propagă rolul IAM și apoi creează indexul Amazon Kendra, care poate dura până la 30 de minute.
10. Alege Surse de date în panoul de navigare.
    
11. În dropbox, alege Adăugați conector.
    
12. Pentru Numele sursei de date, introduceți un nume (de exemplu, my-dropbox-connector).
13. Introduceți o descriere opțională.
14. Alege Pagina Următoare →.
    
15. Pentru Tipul de jeton de autentificare, Selectați Access Token (temporary use).
16. Pentru Secretul AWS Secrets Manager, alege secretul pe care l-ai creat mai devreme.
17. Pentru Rolul IAM, alege Creați un nou rol.
18. Pentru Nume rol, introduceți un nume (de exemplu, AmazonKendra-dropbox-role).
19. Alege Pagina Următoare →.
    
20. Pentru Selectați entități sau tipuri de conținut, alegeți tipurile de conținut.
21. Pentru Frecvență, alege Fugi la cerere.
22. Alege Pagina Următoare →.
    
23. Setați orice mapări de câmp opționale și alegeți Pagina Următoare →.
24. Alege Examinați și creați Și alegeți Adăugați o sursă de date.
25. Alege Sincronizează acum.
    
26. Așteptați finalizarea sincronizării.
    

Testați soluția

Now that you have ingested the content from your Dropbox account into your Amazon Kendra index, you can test some queries.

Accesați indexul dvs. și alegeți Căutați conținut indexat. Introduceți un exemplu de interogare de căutare și testați rezultatele căutării (interogarea dvs. va varia în funcție de conținutul contului dvs.).

The Dropbox connector also crawls local identity information from Dropbox. For users, it sets user email id as principal. For groups, it sets group id as principal. To filter search results by users/groups, go to the Search Console.

Click pe "Testați interogarea cu numele de utilizator sau grupuri” to expand it and click on the button that says “aplicați nume de utilizator sau grupuri".

Enter the user and/or group names and click Aplică. Next, enter the search query and hit enter. This brings you a filtered set of results based on your criteria.

Congratulations! You have successfully used Amazon Kendra to surface answers and insights based on the content indexed from your Dropbox account.

Generate permanent tokens for offline access

The instructions in this post walk you through creating, configuring, and using a temporary access token. Apps can also get long-term access by requesting offline access, in which case the app receives a refresh token that can be used to retrieve new short-lived access tokens as needed, without further manual user intervention. You can find more information in the Dropbox OAuth Guide și Dropbox authorization documentation. Use the following steps to create a permanent refresh token (for example to set the sync to trigger on a schedule):

1. Get the app key and app secret as before.
2. In a new browser, navigate to https://www.dropbox.com/oauth2/authorize?token_access_type=offline&response_type=code&client_id=.
3. Accept the defaults and choose Trimite mesaj.
4. Alege A continua.
   
5. Alege Permite.
   
   An access code is generated for you.
6. Copy the access code.
   
   Now you get the refresh token from the access code.
7. In a terminal window, run the following curl command:

   curl https://api.dropbox.com/oauth2/token -d code= -d grant_type=authorization_code -u :

   

You can store this refresh token along with the app key and app secret to configure a permanent token in the data source configuration for Amazon Kendra. Amazon Kendra generates the access token and uses it as needed for access.

Limitări

Această soluție are următoarele limitări:

• File comments are not imported into the index
• You don’t have the option to add custom metadata for Dropbox
• Google docs, sheets, and slides need a Google workspace or Google account and are not included

Concluzie

With the Dropbox connector for Amazon Kendra, organizations can tap into the repository of information stored in their account securely using intelligent search powered by Amazon Kendra.

În această postare, v-am prezentat elementele de bază, dar există multe funcții suplimentare pe care nu le-am acoperit. De exemplu:

• Puteți activa controlul accesului bazat pe utilizator pentru indexul dvs. Amazon Kendra și puteți restricționa accesul la utilizatorii și grupurile pe care le configurați
• Puteți specifica allowedUsersColumn și allowedGroupsColumn so you can apply access controls based on users and groups, respectively
• Puteți mapa câmpuri suplimentare la atributele indexului Amazon Kendra și le puteți activa pentru fațetare, căutare și afișare în rezultatele căutării
• You can integrate the Dropbox data source with the Custom Document Enrichment (CDE) capability in Amazon Kendra to perform additional attribute mapping logic and even custom content transformation during ingestion

Pentru a afla despre aceste posibilități și mai multe, consultați Ghidul dezvoltatorului Amazon Kendra.

---

Despre autor

Ashish Lagwankar este arhitect senior de soluții pentru întreprinderi la AWS. Interesele sale principale includ tehnologiile AI/ML, serverless și containere. Ashish are sediul în zona Boston, MA și îi place să citească, în aer liber și să petreacă timpul cu familia sa.