Importuj dane z ponad 40 źródeł danych do uczenia maszynowego bez użycia kodu za pomocą Amazon SageMaker Canvas

Dane są sercem uczenia maszynowego (ML). Uwzględnienie odpowiednich danych w celu kompleksowego przedstawienia problemu biznesowego zapewnia skuteczne uchwycenie trendów i relacji, dzięki czemu można uzyskać wgląd potrzebny do podejmowania decyzji biznesowych. Z Płótno Amazon SageMaker, możesz teraz importować dane z ponad 40 źródeł danych do użycia w ML bez kodu. Kanwa rozszerza dostęp do uczenia maszynowego, udostępniając analitykom biznesowym interfejs wizualny, który umożliwia im samodzielne generowanie dokładnych prognoz uczenia maszynowego — bez konieczności posiadania doświadczenia w uczeniu maszynowym lub pisania choćby jednego wiersza kodu. Teraz możesz importować dane w aplikacji z popularnych relacyjnych magazynów danych, takich jak Amazonka Atena a także oprogramowanie innych firm jako usługa (SaaS) obsługiwane przez platformy Przepływ aplikacji Amazon takich jak Salesforce, SAP OData i Google Analytics.

Proces gromadzenia wysokiej jakości danych na potrzeby uczenia maszynowego może być złożony i czasochłonny, ponieważ rozprzestrzenianie się aplikacji SaaS i usług przechowywania danych spowodowało rozproszenie danych w wielu systemach. Na przykład może być konieczne przeprowadzenie analizy odpływu klientów przy użyciu danych klientów z Salesforce, danych finansowych z SAP i danych logistycznych z Snowflake. Aby utworzyć zestaw danych obejmujący te źródła, należy zalogować się do każdej aplikacji z osobna, wybrać żądane dane i wyeksportować je lokalnie, gdzie można je następnie zagregować za pomocą innego narzędzia. Ten zestaw danych należy następnie zaimportować do oddzielnej aplikacji dla ML.

Dzięki tej premierze Canvas umożliwia wykorzystanie danych przechowywanych w różnych źródłach, obsługując import i agregację danych w aplikacji z ponad 40 źródeł danych. Ta funkcja jest możliwa dzięki nowym natywnym łącznikom do Atheny i do Amazon AppFlow za pośrednictwem Klej AWS Katalog danych. Amazon AppFlow to usługa zarządzana, która umożliwia bezpieczne przesyłanie danych z aplikacji SaaS innych firm do Usługa Amazon Simple Storage (Amazon S3) i skataloguj dane za pomocą Data Catalog za pomocą zaledwie kilku kliknięć. Po przesłaniu danych możesz po prostu uzyskać dostęp do źródła danych w kanwie, gdzie możesz przeglądać schematy tabel, łączyć tabele w źródłach danych lub między nimi, pisać zapytania Athena oraz wyświetlać podgląd i importować dane. Po zaimportowaniu danych możesz korzystać z istniejących funkcji Canvas, takich jak budowanie modelu ML, wyświetlanie danych wpływu na kolumny lub generowanie prognoz. Możesz zautomatyzować proces przesyłania danych w Amazon AppFlow, aby aktywować go zgodnie z harmonogramem, aby mieć zawsze dostęp do najnowszych danych w Canvas.

Omówienie rozwiązania

Kroki opisane w tym poście zawierają dwa przykłady importowania danych do kanwy w przypadku uczenia maszynowego bez użycia kodu. W pierwszym przykładzie pokazujemy, jak zaimportować dane za pośrednictwem Atheny. W drugim przykładzie pokazujemy, jak zaimportować dane z aplikacji SaaS innej firmy za pośrednictwem Amazon AppFlow.

Importuj dane z Atheny

W tej sekcji pokazujemy przykład importu danych do Canvas z Atheny w celu przeprowadzenia analizy segmentacji klientów. Tworzymy model klasyfikacji ML, aby podzielić naszą bazę klientów na cztery różne klasy, a ostatecznym celem jest wykorzystanie modelu do przewidywania, do której klasy należeć będzie nowy klient. Wykonujemy trzy główne kroki: import danych, uczenie modelu i generowanie prognoz. Zacznijmy.

Importuj dane

Aby zaimportować dane z Atheny, wykonaj następujące kroki:

1. W konsoli Canvas wybierz Zbiory danych w okienku nawigacji, a następnie wybierz import.
   
2. rozwiń Źródło danych menu i wybierz Athena.
   
3. Wybierz poprawną bazę danych i tabelę, z której chcesz importować. Opcjonalnie możesz wyświetlić podgląd tabeli, wybierając ikonę podglądu.
   

Poniższy zrzut ekranu przedstawia przykładową tabelę podglądu.

W naszym przykładzie segmentujemy klientów na podstawie kanału marketingowego, za pośrednictwem którego skorzystali z naszych usług. Jest to określone przez kolumnę segmentation, gdzie A to media drukowane, B to urządzenia mobilne, C to promocje w sklepach, a D to telewizja.

4. Gdy jesteś zadowolony, że masz odpowiednią tabelę, przeciągnij żądaną tabelę do Przeciągnij i upuść zestawy danych, aby dołączyć
   
5. Możesz teraz opcjonalnie zaznaczać lub odznaczać kolumny, łączyć tabele, przeciągając inną tabelę do Przeciągnij i upuść zestawy danych, aby dołączyć sekcję lub napisz zapytania SQL, aby określić wycinek danych. W tym poście wykorzystujemy wszystkie dane z tabeli.
6. Aby zaimportować dane, wybierz Zaimportować dane.
   
   

Twoje dane są importowane do Canvas jako zestaw danych z określonej tabeli w Athenie.

Wytrenuj model

Po zaimportowaniu danych pojawiają się one na stronie Zbiory danych strona. Na tym etapie możesz zbudować model. Aby to zrobić, wykonaj następujące kroki:

1. Wybierz swój zestaw danych i wybierz Stwórz model.
   
2. W razie zamówieenia projektu Nazwa modelu, wprowadź nazwę swojego modelu (w tym poście my_first_model).
3. Kanwa umożliwia tworzenie modeli do analizy predykcyjnej, analizy obrazu i analizy tekstu. Ponieważ chcemy kategoryzować klientów, wybierz Analiza predykcyjna dla Typ problemu.
4. Aby kontynuować, wybierz Stwórz.
   

Na Budować możesz zobaczyć statystyki swojego zbioru danych, takie jak procent brakujących wartości i średnia danych.

4. W razie zamówieenia projektu Kolumna docelowa, wybierz kolumnę (dla tego posta, segmentation).
   

Kanwa oferuje dwa rodzaje modeli, które mogą generować prognozy. Szybka budowa przedkłada szybkość nad dokładność, zapewniając model w ciągu 2–15 minut. Standardowa konstrukcja przedkłada dokładność nad szybkość, zapewniając model w ciągu 2–4 godzin.

5. W przypadku tego posta wybierz Szybka budowa.
   
6. Po przeszkoleniu modelu można przeanalizować dokładność modelu.

Poniższy model poprawnie kategoryzuje klientów w 94.67% przypadków.

7. Opcjonalnie możesz również zobaczyć, jak każda kolumna wpływa na kategoryzację. W tym przykładzie, gdy klient się starzeje, kolumna ma mniejszy wpływ na kategoryzację. Aby wygenerować prognozy z nowym modelem, wybierz Przewiduj.
   

Generuj prognozy

Na Przewiduj można generować zarówno prognozy wsadowe, jak i prognozy pojedyncze. Wykonaj następujące kroki:

1. W przypadku tego posta wybierz Pojedyncza prognoza aby zrozumieć, jakie wyniki segmentacji klientów przyniesie nowemu klientowi.
   

Na potrzeby naszej prognozy chcemy zrozumieć, jaką segmentację będzie miał klient, jeśli ma 32 lata i jest z zawodu prawnikiem.

2. Zastąp odpowiednie wartości tymi danymi wejściowymi.
3. Dodaj Aktualizacja.
   

Zaktualizowana prognoza jest wyświetlana w oknie prognozy. W tym przykładzie 32-letni prawnik jest klasyfikowany w segmencie D.

Importuj dane z aplikacji SaaS innej firmy do AWS

Aby zaimportować dane z aplikacji SaaS innych firm do Canvas w celu ML bez użycia kodu, musisz najpierw przesłać dane z aplikacji do Amazon S3 za pośrednictwem Amazon AppFlow. W tym przykładzie przenosimy dane produkcyjne z SAP OData.

Aby przenieść swoje dane, wykonaj następujące czynności:

1. W konsoli Amazon AppFlow wybierz Utwórz przepływ.
   
2. W razie zamówieenia projektu Nazwa przepływu, Wpisz imię.
3. Dodaj Następna.
   
4. W razie zamówieenia projektu Nazwa źródła, wybierz żądaną aplikację SaaS innej firmy (w przypadku tego stanowiska SAP OData).
5. Dodaj Utwórz nowe połączenie.
   
6. W Połącz się z SAP OData wyskakujące okienko, wypełnij dane uwierzytelniające i wybierz Skontaktuj się.
   
7. W razie zamówieenia projektu Obiekt SAP OData, wybierz obiekt zawierający Twoje dane w SAP OData.
8. W razie zamówieenia projektu Nazwa celuwybierz Amazon S3.
9. W razie zamówieenia projektu Szczegóły wiadra, podaj szczegóły zasobnika S3.
10. Wybierz Kataloguj swoje dane w AWS Glue Data Catalog.
11. W razie zamówieenia projektu Rola użytkownika, Wybierz AWS Zarządzanie tożsamością i dostępem (IAM), z której użytkownik Canvas będzie korzystał w celu uzyskania dostępu do danych.
12. W razie zamówieenia projektu Spust przepływu, Wybierz Uruchom na żądanie.

Alternatywnie możesz zautomatyzować transfer przepływu, wybierając Uruchom przepływ zgodnie z harmonogramem.

13. Dodaj Następna.
    
14. Wybierz sposób mapowania pól i zakończ mapowanie pól. W przypadku tego posta, ponieważ nie ma odpowiedniej docelowej bazy danych do mapowania, nie ma potrzeby określania mapowania.
15. Dodaj Dalej.
    
    
16. Opcjonalnie dodaj filtry, jeśli to konieczne, aby ograniczyć przesyłanie danych.
17. Dodaj Następna.
    
18. Sprawdź swoje dane i wybierz Utwórz przepływ.
    

Po utworzeniu przepływu zielona wstążka zostanie wypełniona u góry strony, wskazując, że została pomyślnie zaktualizowana.

18. Dodaj Uruchom przepływ.
    

Na tym etapie pomyślnie przeniosłeś swoje dane z SAP OData do Amazon S3.

Teraz możesz importować dane z poziomu aplikacji Canvas. Aby zaimportować dane z kanwy, wykonaj te same czynności, które opisano w sekcji Import danych sekcja wcześniej w tym poście. Dla tego przykładu na Źródło danych menu rozwijane w Import danych stronę, możesz zobaczyć Dane SAP OD katalogowany.

Możesz teraz korzystać ze wszystkich istniejących funkcji Canvas, takich jak czyszczenie danych, budowanie modelu ML, przeglądanie danych wpływu na kolumny i generowanie prognoz.

Sprzątać

Aby wyczyścić udostępnione zasoby, wyloguj się z aplikacji Canvas, wybierając opcję Wyloguj w okienku nawigacji.

Wnioski

Dzięki Canvas możesz teraz importować dane do ML bez kodu z 47 źródeł danych za pośrednictwem natywnych konektorów z Athena i Amazon AppFlow za pośrednictwem AWS Glue Data Catalog. Ten proces umożliwia bezpośredni dostęp i agregowanie danych ze źródeł danych w ramach Canvas po przesłaniu danych za pośrednictwem Amazon AppFlow. Możesz zautomatyzować transfer danych, aby aktywować go zgodnie z harmonogramem, co oznacza, że ​​nie musisz ponownie przechodzić przez ten proces, aby odświeżyć dane. Dzięki temu procesowi możesz tworzyć nowe zestawy danych z najnowszymi danymi bez konieczności opuszczania aplikacji Canvas. Ta funkcja jest teraz dostępna we wszystkich regionach AWS, w których dostępny jest kanwa. Aby rozpocząć importowanie danych, przejdź do konsoli Canvas i wykonaj czynności opisane w tym poście. Aby dowiedzieć się więcej, patrz Połącz się ze źródłami danych.

---

O autorach

Brandona Naira jest starszym menedżerem produktu w Amazon SageMaker Canvas. Jego zainteresowania zawodowe koncentrują się na tworzeniu skalowalnych usług i aplikacji uczenia maszynowego. Poza pracą można go spotkać na zwiedzaniu parków narodowych, doskonaleniu zamachu golfowego lub planowaniu wyprawy pełnej przygód.

Sanjana Kambalapally jest Software Development Manager dla AWS Sagemaker Canvas, którego celem jest demokratyzacja uczenia maszynowego poprzez tworzenie aplikacji ML bez kodu.

Xin Xu jest inżynierem rozwoju oprogramowania w zespole Canvas, gdzie zajmuje się przygotowaniem danych m.in. w produktach do uczenia maszynowego bez kodu. W wolnym czasie lubi biegać, czytać i oglądać filmy.

Volkana Unsala jest starszym inżynierem frontendu w zespole Canvas, gdzie buduje produkty bez kodu, aby sztuczna inteligencja była dostępna dla ludzi. W wolnym czasie biega, czyta, ogląda e-sport i sztuki walki.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/import-data-from-over-40-data-sources-for-no-code-machine-learning-with-amazon-sagemaker-canvas/