Współautorem tego postu jest Hesham Fahim z Thomson Reuters.
Thomson Reuters (TR) jest jedną z najbardziej zaufanych na świecie organizacji informacyjnych dla firm i profesjonalistów. Zapewnia firmom inteligencję, technologię i wiedzę, których potrzebują, aby znaleźć wiarygodne odpowiedzi, umożliwiając im szybsze podejmowanie lepszych decyzji. Klienci TR obejmują rynki finansowe, ryzyka, prawne, podatkowe, księgowe i medialne.
Thomson Reuters oferuje wiodące na rynku produkty w kampaniach podatkowych, prawnych i informacyjnych, do których użytkownicy mogą się zapisać, korzystając z modelu licencjonowania subskrypcyjnego. Aby udoskonalić to doświadczenie dla swoich klientów, firma TR chciała stworzyć scentralizowaną platformę rekomendacji, która umożliwiłaby ich zespołowi ds. dobór produktów na miarę.
Przed zbudowaniem tej scentralizowanej platformy TR dysponował starszym silnikiem opartym na regułach do generowania zaleceń dotyczących odnowienia. Reguły w tym silniku były predefiniowane i napisane w języku SQL, który oprócz tego, że stanowił wyzwanie w zarządzaniu, miał również trudności z radzeniem sobie z mnożeniem się danych z różnych zintegrowanych źródeł danych TR. Dane klientów TR zmieniają się szybciej niż reguły biznesowe mogą ewoluować w celu odzwierciedlenia zmieniających się potrzeb klientów. Kluczowym wymaganiem dla nowego silnika personalizacji TR opartego na uczeniu maszynowym (ML) było skupienie się na dokładnym systemie rekomendacji, który uwzględnia najnowsze trendy wśród klientów. Pożądanym rozwiązaniem byłoby rozwiązanie charakteryzujące się niskimi kosztami operacyjnymi, możliwością przyspieszenia realizacji celów biznesowych oraz silnikiem personalizacji, który mógłby być stale szkolony na podstawie aktualnych danych, aby radzić sobie ze zmieniającymi się nawykami konsumentów i nowymi produktami.
Personalizacja rekomendacji odnowienia na podstawie tego, jakie produkty byłyby wartościowe dla klientów TR, była ważnym wyzwaniem biznesowym dla zespołu sprzedaży i marketingu. TR dysponuje bogactwem danych, które można wykorzystać do personalizacji, zebranych podczas interakcji z klientami i przechowywanych w scentralizowanej hurtowni danych. TR był jednym z pierwszych użytkowników ML z Amazon Sage Maker, a ich dojrzałość w domenie AI/ML oznaczała, że zebrali znaczący zbiór odpowiednich danych w hurtowni danych, na których zespół mógł trenować model personalizacji. TR kontynuuje innowacje AI/ML i niedawno opracowało ulepszoną platformę rekomendacji Amazon Personalizuj, która jest w pełni zarządzaną usługą uczenia maszynowego, która wykorzystuje interakcje użytkowników i elementy do generowania rekomendacji dla użytkowników. W tym poście wyjaśniamy, w jaki sposób firma TR wykorzystała Amazon Personalize do zbudowania skalowalnego systemu rekomendacji dla wielu dzierżawców, który zapewnia swoim klientom najlepsze plany subskrypcji produktów i powiązane ceny.
Architektura rozwiązania
Rozwiązanie musiało zostać zaprojektowane z uwzględnieniem podstawowych operacji TR związanych z rozumieniem użytkowników poprzez dane; zapewnienie tym użytkownikom spersonalizowanych i odpowiednich treści z dużego zbioru danych było wymogiem o znaczeniu krytycznym. Posiadanie dobrze zaprojektowanego systemu rekomendacji jest kluczem do uzyskiwania wysokiej jakości rekomendacji dostosowanych do wymagań każdego użytkownika.
Rozwiązanie wymagało zebrania i przygotowania danych o zachowaniu użytkowników, wytrenowania modelu ML przy użyciu Amazon Personalize, generowania spersonalizowanych rekomendacji za pomocą przeszkolonego modelu oraz kierowania kampaniami marketingowymi za pomocą spersonalizowanych rekomendacji.
Firma TR chciała w miarę możliwości skorzystać z usług zarządzanych przez AWS, aby uprościć operacje i ograniczyć niezróżnicowane podnoszenie ciężkich przedmiotów. używany TR DataBrew kleju AWS i Partia AWS jobs do wykonywania zadań wyodrębniania, przekształcania i ładowania (ETL) w potokach ML oraz SageMaker wraz z Amazon Personalize w celu dostosowania zaleceń. Z punktu widzenia wolumenu danych szkoleniowych i czasu pracy rozwiązanie musiało być skalowalne, aby przetwarzać miliony rekordów w ramach czasowych, które zostały już przydzielone dalszym konsumentom w zespołach biznesowych TR.
W poniższych sekcjach wyjaśniono składniki biorące udział w rozwiązaniu.
Potok szkoleniowy ML
Interakcje między użytkownikami a treścią są gromadzone w postaci danych typu „clickstream”, które są generowane, gdy klient klika w treść. TR analizuje, czy jest to część ich planu subskrypcji, czy wykracza poza jego plan, aby móc podać dodatkowe szczegóły dotyczące ceny i opcji rejestracji w planie. Dane interakcji użytkowników z różnych źródeł są utrwalane w ich hurtowni danych.
Poniższy diagram ilustruje potok szkolenia ML.
Potok rozpoczyna się od zadania AWS Batch, które wyodrębnia dane z hurtowni danych i przekształca je w celu utworzenia zestawów danych interakcji, użytkowników i elementów.
Następujące zestawy danych są używane do uczenia modelu:
- Ustrukturyzowane dane produktów – Subskrypcje, zamówienia, katalog produktów, transakcje i dane klienta
- Częściowo ustrukturyzowane dane dotyczące zachowania – Użytkownicy, użycie i interakcje
Te przekształcone dane są przechowywane w pliku Usługa Amazon Simple Storage (Amazon S3), który jest importowany do Amazon Personalize w celu szkolenia ML. Ponieważ TR chce generować spersonalizowane rekomendacje dla swoich użytkowników, używa tzw USER_PERSONALIZACJA przepis na trenowanie modeli ML dla ich danych niestandardowych, co jest określane jako tworzenie wersji rozwiązania. Po utworzeniu wersji rozwiązania jest ona wykorzystywana do generowania spersonalizowanych rekomendacji dla użytkowników.
Cały przepływ pracy jest zorganizowany przy użyciu Funkcje kroków AWS. Alerty i powiadomienia są przechwytywane i publikowane w Microsoft Teams za pomocą Usługa prostego powiadomienia Amazon (Amazon SNS) i Most zdarzeń Amazona.
Generowanie potoku spersonalizowanych rekomendacji: wnioskowanie wsadowe
Wymagania i preferencje klientów zmieniają się bardzo często, a najnowsze interakcje zarejestrowane w danych strumienia kliknięć służą jako kluczowy punkt danych pozwalający zrozumieć zmieniające się preferencje klienta. Aby dostosować się do ciągle zmieniających się preferencji klientów, TR codziennie generuje spersonalizowane rekomendacje.
Na poniższym diagramie przedstawiono potok służący do generowania spersonalizowanych rekomendacji.
Zadanie DataBrew wyodrębnia dane z hurtowni danych TR dla użytkowników, którzy są uprawnieni do przedstawiania rekomendacji podczas odnowienia na podstawie bieżącego planu subskrypcji i ostatniej aktywności. Narzędzie do wizualnego przygotowywania danych DataBrew ułatwia analitykom danych TR i analitykom danych czyszczenie i normalizację danych w celu przygotowania ich do analizy i uczenia maszynowego. Ważną cechą była możliwość wyboru spośród ponad 250 gotowych transformacji w ramach wizualnego narzędzia do przygotowywania danych w celu zautomatyzowania zadań związanych z przygotowywaniem danych, a wszystko to bez konieczności pisania jakiegokolwiek kodu. Zadanie DataBrew generuje przyrostowy zestaw danych dla interakcji i danych wejściowych dla zadania rekomendacji wsadowych i przechowuje dane wyjściowe w zasobniku S3. Nowo wygenerowany przyrostowy zbiór danych jest importowany do zbioru danych interakcji. Gdy zadanie importu przyrostowego zestawu danych zakończy się pomyślnie, z danymi wejściowymi zostanie wyzwolone zadanie wsadowe rekomendacji Amazon Personalize. Amazon Personalize generuje najnowsze rekomendacje dla użytkowników podane w danych wejściowych i przechowuje je w zasobniku rekomendacji S3.
Optymalizacja cen to ostatni krok przed przygotowaniem nowo utworzonych rekomendacji do użycia. TR przeprowadza zadanie optymalizacji kosztów na podstawie wygenerowanych rekomendacji i wykorzystuje SageMaker do uruchamiania niestandardowych modeli na podstawie rekomendacji w ramach tego ostatniego kroku. Zadanie AWS Glue wybiera dane wyjściowe wygenerowane przez Amazon Personalize i przekształca je w format wejściowy wymagany przez niestandardowy model SageMaker. TR jest w stanie wykorzystać szeroki zakres usług, które zapewnia AWS, wykorzystując zarówno Amazon Personalize, jak i SageMaker na platformie rekomendacji, aby dostosować rekomendacje w oparciu o rodzaj firmy klienta i użytkowników końcowych.
Cały przepływ pracy jest oddzielony i zorganizowany przy użyciu funkcji krokowych, co zapewnia elastyczność skalowania potoku w zależności od wymagań przetwarzania danych. Alerty i powiadomienia są przechwytywane za pomocą Amazon SNS i EventBridge.
Prowadzenie kampanii e-mailowych
Rekomendacje generowane wraz z wynikami cenowymi służą do kierowania kampanii e-mailowych do klientów TR. Zadanie AWS Batch służy do selekcjonowania rekomendacji dla każdego klienta i wzbogacania ich o zoptymalizowane informacje o cenach. Rekomendacje te są przetwarzane przez systemy kampanii TR, które napędzają następujące kampanie e-mailowe:
- Zautomatyzowane kampanie odnawiania lub uaktualniania subskrypcji o nowe produkty, które mogą zainteresować klienta
- Kampanie odnawiania umów w połowie z lepszymi ofertami i bardziej odpowiednimi produktami oraz materiałami o treści prawnej
Informacje z tego procesu są również replikowane w portalu klienta, dzięki czemu klienci przeglądający swoją bieżącą subskrypcję mogą zobaczyć nowe zalecenia dotyczące odnowienia. Od czasu wdrożenia nowej platformy rekomendacji firma TR odnotowała wyższy współczynnik konwersji z kampanii e-mailowych, co doprowadziło do zwiększenia liczby zamówień sprzedaży.
Co dalej: potok rekomendacji w czasie rzeczywistym
Wymagania klientów i zachowania zakupowe zmieniają się w czasie rzeczywistym, a dostosowywanie rekomendacji do zmian w czasie rzeczywistym jest kluczem do serwowania odpowiednich treści. Po ogromnym sukcesie wdrożenia systemu rekomendacji wsadowych TR planuje teraz przenieść to rozwiązanie na wyższy poziom, wdrażając potok rekomendacji w czasie rzeczywistym w celu generowania rekomendacji za pomocą Amazon Personalize.
Poniższy diagram ilustruje architekturę zapewniającą rekomendacje w czasie rzeczywistym.
Integracja w czasie rzeczywistym rozpoczyna się od zebrania danych o zaangażowaniu użytkowników na żywo i przesłania ich strumieniowo do Amazon Personalize. Gdy użytkownicy wchodzą w interakcję z aplikacjami TR, generują zdarzenia typu clickstream, które są publikowane w Strumienie danych Amazon Kinesis. Następnie wydarzenia są przetwarzane na scentralizowaną platformę streamingową TR, która jest na niej zbudowana Amazon Managed Streaming dla Kafki (Amazon MSK). Amazon MSK ułatwia pozyskiwanie i przetwarzanie danych przesyłanych strumieniowo w czasie rzeczywistym dzięki w pełni zarządzanej platformie Apache Kafka. W tej architekturze Amazon MSK służy jako platforma przesyłania strumieniowego i wykonuje wszelkie wymagane transformacje danych w surowych przychodzących zdarzeniach strumienia kliknięć. następnie AWS Lambda funkcja jest wyzwalana w celu filtrowania zdarzeń do schematu zgodnego z zestawem danych Amazon Personalize i przekazywania tych zdarzeń do modułu śledzenia zdarzeń Amazon Personalize przy użyciu putEvent
API. Dzięki temu Amazon Personalize może uczyć się na podstawie ostatniego zachowania użytkownika i uwzględniać odpowiednie elementy w rekomendacjach.
Aplikacje internetowe TR wywołują interfejs API wdrożony w Brama Amazon API aby uzyskać rekomendacje, które wyzwalają funkcję Lambda w celu wywołania a GetRecommendations
Wywołanie API z Amazon Personalize. Amazon Personalize zapewnia najnowszy zestaw spersonalizowanych rekomendacji dostosowanych do zachowania użytkownika, które są dostarczane z powrotem do aplikacji internetowych za pośrednictwem Lambda i API Gateway.
Dzięki tej architekturze działającej w czasie rzeczywistym TR może służyć swoim klientom spersonalizowanymi rekomendacjami dostosowanymi do ich najnowszych zachowań i lepiej zaspokajać ich potrzeby.
Wnioski
W tym poście pokazaliśmy, jak TR wykorzystał Amazon Personalize i inne usługi AWS do wdrożenia silnika rekomendacji. Amazon Personalize umożliwił firmie TR przyspieszenie opracowywania i wdrażania wysokowydajnych modeli w celu dostarczania rekomendacji swoim klientom. TR jest w stanie wdrożyć nowy pakiet produktów w ciągu kilku tygodni, w porównaniu z miesiącami wcześniej. Dzięki Amazon Personalize i SageMaker TR jest w stanie podnieść jakość obsługi klienta dzięki lepszym planom subskrypcji treści i cenom dla swoich klientów.
Jeśli podobała Ci się lektura tego bloga i chciałbyś dowiedzieć się więcej o Amazon Personalize i o tym, jak może pomóc Twojej organizacji w tworzeniu systemów rekomendacji, zapoznaj się z przewodnik programisty.
O autorach
Heszam Fahim jest głównym inżynierem uczenia maszynowego i architektem mechanizmu personalizacji w Thomson Reuters. Pracował z organizacjami akademickimi i przemysłowymi, od dużych przedsiębiorstw po średnie startupy. Koncentrując się na skalowalnych architekturach głębokiego uczenia, ma doświadczenie w robotyce mobilnej, analizie obrazów biomedycznych oraz systemach rekomendujących. Poza komputerami lubi astrofotografię, czytanie i długodystansowe wycieczki rowerowe.
Srinivasa Shaik jest architektem rozwiązań w firmie AWS z siedzibą w Bostonie. Pomaga klientom korporacyjnym przyspieszyć ich podróż do chmury. Pasjonuje się kontenerami i technologiami uczenia maszynowego. W wolnym czasie lubi spędzać czas z rodziną, gotować i podróżować.
Wamszi Kryszna Enabotala jest starszym architektem specjalizującym się w sztucznej inteligencji w AWS. Współpracuje z klientami z różnych sektorów, aby przyspieszyć inicjatywy dotyczące danych, analiz i uczenia maszynowego o dużym wpływie. Pasjonuje się systemami rekomendacji, NLP oraz obszarami widzenia komputerowego w AI i ML. Poza pracą Vamshi jest entuzjastą RC, buduje sprzęt RC (samoloty, samochody i drony), a także lubi ogrodnictwo.
Simone Zucchet jest starszym architektem rozwiązań w AWS. Z ponad 6-letnim doświadczeniem jako Cloud Architect Simone lubi pracować nad innowacyjnymi projektami, które pomagają zmienić sposób, w jaki organizacje podchodzą do problemów biznesowych. Pomaga wspierać dużych klientów korporacyjnych w AWS i jest częścią Machine Learning TFC. Poza życiem zawodowym lubi zajmować się samochodami i fotografią.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/how-thomson-reuters-delivers-personalized-content-subscription-plans-at-scale-using-amazon-personalize/
- 100
- 7
- a
- zdolność
- Zdolny
- O nas
- Akademia
- przyśpieszyć
- Konto
- Księgowość
- dokładny
- w poprzek
- działalność
- przystosować
- Dodatkowy
- Korzyść
- Po
- AI
- AI / ML
- Wszystkie kategorie
- pozwala
- już
- Amazonka
- Amazon Personalizuj
- analiza
- analitycy
- analityka
- ćwiczenie
- i
- odpowiedzi
- Apache
- api
- aplikacje
- stosowany
- Zastosowana sztuczna inteligencja
- podejście
- architektura
- obszary
- na około
- powiązany
- zautomatyzować
- świadomość
- AWS
- Klej AWS
- z powrotem
- na podstawie
- podstawa
- bo
- zanim
- BEST
- Ulepsz Swój
- pomiędzy
- Poza
- biomedyczny
- Blog
- boston
- szerokość
- budować
- Budowanie
- wybudowany
- biznes
- biznes
- wezwanie
- Kampania
- prowadzenie kampanii
- Kampanie
- samochody
- katalog
- wyśrodkowany
- scentralizowane
- wyzwanie
- zmiana
- Zmiany
- wymiana pieniędzy
- Dodaj
- Chmura
- kod
- Zbieranie
- zobowiązany
- Firmy
- w porównaniu
- zgodny
- składniki
- komputer
- Wizja komputerowa
- komputery
- wobec
- stale
- konsument
- Konsumenci
- Pojemniki
- zawartość
- nadal
- Konwersja
- rdzeń
- Koszty:
- mógłby
- Stwórz
- stworzony
- Tworzenie
- kurator
- wikary
- Aktualny
- zwyczaj
- klient
- dane klienta
- doświadczenie klienta
- Klientów
- codziennie
- dane
- Przygotowywanie danych
- analiza danych
- zbiory danych
- sprawa
- Decyzje
- głęboko
- głęboka nauka
- dostarczanie
- dostarcza
- W zależności
- wdrażane
- wdrażanie
- Wdrożenie
- zaprojektowany
- detale
- rozwinięty
- oprogramowania
- różne
- dystans
- domena
- napęd
- jazdy
- Drony
- podczas
- każdy
- Wcześniej
- Wcześnie
- ELEWACJA
- kwalifikowalne
- włączony
- umożliwiając
- zaręczynowy
- silnik
- inżynier
- wzbogacać
- Enterprise
- przedsiębiorstwa
- entuzjasta
- Cały
- sprzęt
- wydarzenie
- wydarzenia
- ciągle się zmienia
- ewoluuje
- doświadczenie
- ekspertyza
- Wyjaśniać
- wyciąg
- Wyciągi
- członków Twojej rodziny
- szybciej
- Cecha
- filtrować
- finał
- budżetowy
- Znajdź
- Firma
- Elastyczność
- Skupiać
- następujący
- Nasz formularz
- format
- utworzony
- FRAME
- od
- w pełni
- funkcjonować
- Funkcje
- Bramka
- Generować
- wygenerowane
- generuje
- generujący
- otrzymać
- miejsce
- daje
- Gole
- wspaniały
- mający
- pomoc
- pomaga
- wysoka wydajność
- wyższy
- W jaki sposób
- HTML
- HTTPS
- człowiek
- obraz
- wdrożenia
- wykonawczych
- importować
- ważny
- in
- zawierać
- Przybywający
- wzrosła
- przemysł
- Informacja
- inicjatywy
- Innowacja
- Innowacyjny
- wkład
- zintegrowany
- integracja
- Inteligencja
- interakcji
- Interakcje
- odsetki
- zaangażowany
- IT
- szt
- Praca
- Oferty pracy
- podróż
- Klawisz
- duży
- Nazwisko
- firmy
- prowadzić
- prowadzący
- UCZYĆ SIĘ
- nauka
- Dziedzictwo
- Regulamin
- poziom
- Koncesjonowanie
- życie
- Modernizacja
- relacja na żywo
- załadować
- długo
- niski
- maszyna
- uczenie maszynowe
- robić
- WYKONUJE
- zarządzanie
- zarządzane
- rynek
- wiodący na rynku
- Marketing
- rynki
- dojrzałość
- Media
- Microsoft
- zespoły Microsoft
- może
- miliony
- ML
- Aplikacje mobilne
- model
- modele
- miesięcy
- jeszcze
- większość
- Potrzebować
- wymagania
- Nowości
- Nowe produkty
- aktualności
- Następny
- nlp
- powiadomienie
- Powiadomienia
- Oferty
- Onboard
- ONE
- operacyjny
- operacje
- optymalizacja
- zoptymalizowane
- Opcje
- Zlecenia
- organizacja
- organizacji
- Inne
- zewnętrzne
- Pakiety
- część
- namiętny
- wykonać
- wykonuje
- personalizacja
- personalizować
- Personalizowany
- perspektywa
- fotografia
- rurociąg
- krok po kroku
- planowanie
- plany
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- Proszę
- punkt
- Portal
- możliwy
- Post
- preferencje
- Przygotować
- przygotowanie
- Cena
- Cennik
- wycena
- problemy
- wygląda tak
- przetwarzanie
- Produkt
- Produkty
- profesjonalny
- specjalistów
- projektowanie
- zapewniać
- pod warunkiem,
- zapewnia
- że
- opublikowany
- Naciskać
- jakość
- szybko
- podnieść
- nośny
- Kurs
- Surowy
- Czytający
- gotowy
- real
- w czasie rzeczywistym
- niedawny
- niedawno
- Przepis
- Rekomendacja
- zalecenia
- dokumentacja
- zmniejszyć
- , o którym mowa
- odzwierciedlić
- replikowane
- wymagany
- wymaganie
- wymagania
- Efekt
- Reuters
- recenzowanie
- Ryzyko
- robotyka
- reguły
- run
- sagemaker
- sole
- skalowalny
- Skala
- skalowaniem
- Naukowcy
- działy
- Sektory
- widzenie
- senior
- służyć
- służy
- usługa
- Usługi
- służąc
- zestaw
- Zakupy
- znak
- znaczący
- Prosty
- upraszczać
- ponieważ
- So
- rozwiązanie
- Rozwiązania
- Źródło
- Źródła
- specjalista
- Spędzanie
- rozpocznie
- Startups
- Ewolucja krok po kroku
- przechowywanie
- przechowywany
- sklep
- Streaming
- subskrypcja
- subskrypcje
- sukces
- udany
- apartament
- wsparcie
- system
- systemy
- dostosowane
- Brać
- trwa
- zadania
- podatek
- zespół
- Zespoły
- Technologies
- Technologia
- Połączenia
- ich
- Thomson Reuters
- Przez
- czas
- do
- narzędzie
- Top
- Pociąg
- przeszkolony
- Trening
- transakcje
- Przekształcać
- przemiany
- przekształcony
- Podróżowanie
- Trendy
- rozsierdzony
- zaufany
- zrozumieć
- zrozumienie
- nowomodny
- uaktualnienie
- Stosowanie
- posługiwać się
- Użytkownik
- Użytkownicy
- Cenny
- różnorodny
- wersja
- przez
- wizja
- Tom
- poszukiwany
- Bogactwo
- sieć
- Aplikacje internetowe
- tygodni
- Co
- który
- KIM
- w ciągu
- bez
- Praca
- pracował
- pracujący
- działa
- świat
- by
- napisać
- napisany
- lat
- You
- Twój
- zefirnet