Ускорьте процесс инвестирования с помощью сервисов AWS Low Code-No Code

За последние несколько лет произошел огромный сдвиг парадигмы в том, как институциональные управляющие активами получают и интегрируют несколько источников данных в свой инвестиционный процесс. В связи с частыми изменениями корреляции рисков, неожиданными источниками волатильности и усилением конкуренции со стороны пассивных стратегий управляющие активами используют более широкий набор сторонних источников данных, чтобы получить конкурентное преимущество и повысить доходность с поправкой на риск. Однако процесс извлечения выгод из нескольких источников данных может быть чрезвычайно сложным. Группы инженеров по управлению активами перегружены сбором и предварительной обработкой данных, в то время как группы по анализу данных извлекают данные для получения инвестиционной информации.

Сторонние или альтернативные данные относятся к данным, используемым в инвестиционном процессе и полученным не от традиционных поставщиков рыночных данных. Институциональные инвесторы часто дополняют свои традиционные источники данных сторонними или альтернативными данными, чтобы получить преимущество в своем инвестиционном процессе. Обычно приводимые примеры включают, помимо прочего, спутниковые снимки, данные кредитных карт и настроения в социальных сетях. Управляющие фондами ежегодно инвестируют около 3 миллиардов долларов во внешние наборы данных, при этом ежегодные расходы растут на 20–30 процентов.

С экспоненциальным ростом доступных сторонних и альтернативных наборов данных возможность быстро проанализировать, добавляет ли новый набор данных новые инвестиционные идеи, является конкурентным отличием в отрасли управления инвестициями. Данные AWS без кода с низким кодом (LCNC) и сервисы искусственного интеллекта позволяют нетехническим командам выполнять первоначальную проверку данных, расставлять приоритеты при загрузке данных, ускорять получение аналитических сведений и высвобождать ценные технические ресурсы, создавая прочное конкурентное преимущество.

В этой записи блога мы обсуждаем, как вы, как управляющий корпоративными активами, можете использовать данные AWS LCNC и сервисы искусственного интеллекта, чтобы масштабировать первоначальный анализ данных и процесс определения приоритетов за пределами технических групп и ускорить процесс принятия решений. С помощью сервисов AWS LCNC вы можете быстро подписаться на разнообразные сторонние наборы данных и оценивать их, предварительно обрабатывать данные и проверять их прогностическую силу с помощью моделей машинного обучения (ML) без написания единого фрагмента кода.

Обзор решения

Наш вариант использования — проанализировать способность внешнего набора данных прогнозировать цену акций и определить важность его функций — какие поля больше всего влияют на поведение цены акций. Это служит первоначальным тестом для определения того, какие из нескольких полей в наборе данных должны быть более тщательно оценены с использованием традиционных количественных методологий, чтобы соответствовать вашему инвестиционному процессу. Аналитики могут быстро выполнить этот тип предварительного теста, что сэкономит время и позволит вам быстрее расставить приоритеты при вводе наборов данных. Кроме того, хотя в качестве целевого примера мы используем цену акций, можно также использовать и другие показатели, такие как прибыльность, коэффициенты оценки или объемы торгов. Все наборы данных, используемые для этого варианта использования, опубликованы в Обмен данными AWS.

На следующей диаграмме поясняется сквозная архитектура и сервисы AWS LCNC, используемые для принятия решений.

Наше решение состоит из следующих шагов и решений:

1. Прием данных: AWS Data Exchange для подписки на опубликованные альтернативные наборы данных и их загрузки на Простой сервис хранения Amazon (Amazon S3) ведро.
2. Инжиниринг данных: AWS Glue Data Brew для обработки данных и преобразования данных, хранящихся в Amazon S3.
3. Машинное обучение: Холст Amazon SageMaker для построения модели прогнозирования временных рядов для предсказания и выявления влияния данных на прогноз.
4. Бизнес-аналитика: Amazon QuickSight или Amazon SageMaker Canvas для проверки важности функций для прогноза при принятии решений.

Прием данных

Обмен данными AWS упрощает поиск, подписку и использование сторонних данных в облаке. Вы можете просмотреть каталог AWS Data Exchange и найти продукты данных, которые имеют отношение к вашему бизнесу и подписаться к данным от провайдеров без какой-либо дальнейшей обработки и без необходимости в процессе ETL. Обратите внимание, что многие провайдеры предлагают бесплатные начальные подписки, которые позволяют вам анализировать их данные без предварительных затрат.

В этом случае найдите и подпишитесь на следующие наборы данных в AWS Data Exchange:

• Данные об акциях на конец дня для 20 крупнейших компаний США по рыночной капитализации за 10 лет опубликовано Альфа Преимущество. Этот бесплатный набор данных содержит исторические данные по 20 крупнейшим акциям США по рыночной капитализации за 10 лет по состоянию на 5 сентября 2020 г. Набор данных содержит следующие 10 символов: AAPL: Apple Inc.; АМЗН: Amazon.com, Inc.; BRK-A: Berkshire Hathaway Inc. (класс A); ФБ: Facebook, Inc.; GOOG: Alphabet Inc.; JNJ: Джонсон и Джонсон; Массачусетс: Mastercard Incorporated; MSFT: Microsoft Corporation V: Visa Inc.; и WMT: Walmart Inc.
• Ключевые поля данных включают
  • Open: текущая цена открытия дня
  • High: текущая максимальная цена дня
  • Low: текущая минимальная цена дня
  • Close: текущая цена закрытия дня
  • Объем: объем торгов за день
  • Скорректированное закрытие: сплит и цена закрытия дня с поправкой на дивиденды
  • Коэффициент разделения: соотношение нового и старого количества акций на дату вступления в силу
  • Дивиденд: сумма выплаты дивидендов наличными
• S3 Короткие процентные данные и финансовые данные по ценным бумагам опубликовано Партнеры S3. Этот набор данных содержит следующие поля:

Поиск	Описание
Дата работы	Дата вступления в силу ставки
Идентификаторы безопасности	Идентификаторы ценных бумаг содержат Sedol, ISIN, FIGI, Ticker, Bloomberg ID.
Имя	Имя безопасности
Предложить цену	Плата за рыночное композитное финансирование, уплачиваемая за существующие короткие позиции
Ставка	Рыночная комиссионная плата за ссуду, полученная за существующие акции, предоставленные держателями длинных позиций взаймы
Последняя ставка	Рыночная комбинированная комиссия за кредит, полученная за дополнительные акции, предоставленные в кредит на эту дату (спотовая ставка)
Вытеснение	Индикатор импульса измеряет ежедневные короткие и закрывающие события относительно рыночного плавания.
Короткий интерес	Короткий интерес в режиме реального времени, выраженный в количестве акций
Короткий интересНоминальный	Короткая процентная ставка * Цена (долл. США)
ShortInterestPct	Короткие проценты в режиме реального времени, выраженные в процентах от акций в обращении
S3Плавающий	Количество торгуемых акций, включая синтетические длинные позиции, созданные в результате коротких продаж.
S3SIPctFloat	Прогноз краткосрочной процентной ставки в режиме реального времени, разделенный на число с плавающей запятой S3
Ориентировочная доступность	S3 прогнозируемое доступное кредитуемое количество
использование	Короткие проценты в режиме реального времени, разделенные на общее кредитное предложение
DaystoCover10День	Это показатель ликвидности = короткий процент / 10-дневный средний ADTV.
DaystoCover30День	Это показатель ликвидности = короткий процент / 30-дневный средний ADTV.
DaystoCover90День	Это показатель ликвидности = короткий процент / 90-дневный средний ADTV.
Исходный СИ	Момент времени короткие проценты

Чтобы получить данные, сначала выполните поиск набора данных в AWS Data Exchange и подпишитесь на набор данных:

Как только издатель наборов данных одобрит ваши запросы на подписку, вы получите наборы данных, доступные для загрузки в корзину S3:

Выберите Добавить назначение задания автоматического экспорта, укажите сведения о корзине S3 и загрузите набор данных:

Повторите шаги, чтобы получить набор данных Alpha Vantage. После завершения у вас будут оба набора данных в корзине S3.

Инженерия данных

Как только набор данных окажется в ваших корзинах S3, вы можете использовать AWS Glue Data Brew для преобразования данных. AWS Glue DataBrew предлагает более 350 готовых преобразований для автоматизации задач подготовки данных (таких как фильтрация аномалий, стандартизация форматов и исправление недопустимых значений), которые в противном случае потребовали бы дней или недель написания преобразований вручную.

Чтобы создать консолидированный набор данных для прогнозирования в AWS DataBrew, выполните следующие действия. Для получения подробной информации, пожалуйста, обратитесь к этому Блог.

1. Создайте наборы данных DataBrew.
2. Загружайте наборы данных DataBrew в проекты DataBrew.
3. Создайте рецепты DataBrew.
4. Запустите задания DataBrew.

Создание наборов данных DataBrew: в AWS Glue DataBrew Набор данных представляет данные, загруженные из корзины S3. Мы создадим два набора данных DataBrew — как для цены акций на конец дня, так и для коротких процентов S3. Когда вы создаете свой набор данных, вы вводите данные подключения S3 только один раз. С этого момента DataBrew может получить для вас доступ к базовым данным.

Загрузите наборы данных DataBrew в проекты DataBrew.: в AWS Glue DataBrew Проект является центральным элементом ваших усилий по анализу и преобразованию данных. Проект DataBrew объединяет наборы данных DataBrew и позволяет разработать преобразование данных (рецепт DataBrew). Здесь мы снова создадим два проекта DataBrew, для цены акций на конец дня и короткого интереса S3.

Создание рецептов DataBrew: В DataBrew рецепт представляет собой набор шагов преобразования данных. Вы можете применить эти шаги к вашему набору данных. Для варианта использования мы создадим два преобразования. Первый изменит формат столбца временной метки цены акций на конец дня, чтобы набор данных можно было присоединить к короткому интересу S3:

Второе преобразование курирует данные, а его последний шаг гарантирует, что мы объединим наборы данных в один курируемый набор данных. Дополнительные сведения о создании рецептов преобразования данных см. Блог.

Вакансии DataBrew: после создания рецептов DataBrew вы можете запустить сначала задание DataBrew по цене акций на конец дня, а затем рецепт коротких процентов S3. Обратитесь к этому Блог для создания единого сводного набора данных. Сохраните окончательный набор данных в корзине S3.

Сквозной рабочий процесс обработки данных будет выглядеть следующим образом:

Машинное обучение

С кураторским набором данных, созданным после разработки данных, вы можете использовать Холст Amazon SageMaker чтобы построить свою модель прогнозирования и проанализировать влияние функций на прогноз. Холст Amazon SageMaker предоставляет бизнес-пользователям визуальный интерфейс «укажи и щелкни», который позволяет им самостоятельно создавать модели и генерировать точные прогнозы машинного обучения, не требуя опыта машинного обучения или написания единой строки кода.

Чтобы создать модель прогнозирования временных рядов в Amazon SageMaker Canvas, выполните следующие действия. Подробную информацию см. в этом Блог:

1. Выберите кураторский набор данных в SageMaker Canvas.
2. Постройте модель прогнозирования временных рядов.
3. Проанализируйте результаты и определите важность.

Построить модель прогнозирования временных рядов: после того, как вы выбрали набор данных, выберите целевой столбец для прогнозирования. В нашем случае это будет цена закрытия биржевого тикера. SageMaker Canvas автоматически определяет, что это постановка задачи прогнозирования временных рядов.

Вам нужно будет настроить модель следующим образом для прогнозирования временных рядов. В качестве идентификатора элемента выберите название биржевого тикера. Помните, что в нашем наборе данных есть биржевые котировки для 10 лучших акций. Выберите столбец метки времени для метки времени и, наконец, введите количество дней, которые вы хотите спрогнозировать в будущем [Горизонт прогноза].

Теперь вы готовы построить модель. SageMaker Canvas предоставляет два варианта построения модели: быстрая сборка и стандартная сборка. В нашем случае мы будем использовать «Стандартную сборку».

Стандартная сборка занимает около трех часов для построения модели и использует Прогноз Амазонки, служба прогнозирования временных рядов, основанная на машинном обучении в качестве основного механизма прогнозирования. Forecast создает высокоточные прогнозы за счет объединения традиционных моделей и моделей глубокого обучения, не требуя опыта машинного обучения.

После того, как модель построена, вы можете просмотреть ее производительность (точность прогноза) и важность функций. Как видно из рисунка ниже, модель определяет Crowding и DaysToCover10Day как две главные функции, определяющие прогнозные значения. Это согласуется с нашей рыночной интуицией, поскольку толпа — это индикатор импульса, измеряющий ежедневные короткие позиции и события покрытия, а краткосрочные короткие проценты — это показатель ликвидности, показывающий, как инвесторы относятся к акции. И импульс, и ликвидность могут влиять на волатильность цен.

Этот результат указывает на то, что эти две функции (или поля) имеют тесную связь с движением цен на акции и могут иметь более высокий приоритет для адаптации и дальнейшего анализа.

Бизнес-аналитика

В контексте прогнозирования временных рядов понятие бэктестинга относится к процессу оценки точности метода прогнозирования с использованием существующих исторических данных. Этот процесс обычно является итеративным и повторяется в течение нескольких дат, присутствующих в исторических данных.

Как мы уже говорили, SageMaker Canvas использует Amazon Forecast в качестве механизма прогнозирования временных рядов. Прогноз создает бэктест как часть процесса построения модели. Теперь вы можете просмотреть сведения о предикторах, войдя в Amazon Forecast. Для более глубокого понимания объяснимости модели см. Блог.

Amazon Forecast предоставляет дополнительные сведения о показателях предикторов, таких как взвешенная абсолютная ошибка в процентах (WAPE), среднеквадратическая ошибка (RMSE), средняя абсолютная ошибка в процентах (MAPE) и средняя абсолютная ошибка в процентах (MASE). Вы можете экспортировать показатели качества предикторов из Amazon Forecast.

Amazon Forecast выполняет одно ретроспективное тестирование предоставленного набора данных временных рядов. Результаты тестирования доступны для скачивания с помощью Экспорт результатов тестирования кнопка. Экспортированные результаты ретроспективного тестирования загружаются в корзину S3.

Теперь мы нанесем на график результаты обратного тестирования в Amazon QuickSight. Чтобы визуализировать результаты ретроспективного тестирования в Amazon QuickSight, подключитесь к набору данных в Amazon S3 из QuickSight и создайте визуализацию.

Убирать

Сервисы AWS, используемые в этом решении, являются управляемыми и бессерверными по своей природе. SageMaker Canvas предназначен для длительного обучения машинному обучению и всегда будет включен. Убедитесь, что вы явно вышли из SageMaker Canvas. Пожалуйста, обратитесь к документы Больше подробностей.

Заключение

В этой записи блога мы обсудили, как управляющий активами организации может использовать данные AWS с низким кодом и без кода (LCNC) и сервисы искусственного интеллекта для ускорения оценки внешних наборов данных, возложив первоначальную проверку наборов данных на нетехнический персонал. Этот первичный анализ может быть выполнен быстро, чтобы помочь вам решить, какие наборы данных должны быть приоритетными для адаптации и дальнейшего анализа.

Мы пошагово продемонстрировали, как аналитик данных может получать новые сторонние данные через AWS Data Exchange, использовать сервисы ETL без кода AWS Glue DataBrew для предварительной обработки данных и оценки того, какие функции в наборе данных оказывают наибольшее влияние на прогноз модели. .

Как только данные готовы к анализу, аналитик использует SageMaker Canvas для построения прогностической модели, оценки ее соответствия и выявления важных функций. В нашем примере MAPE (05) и WAPE (045) модели показали хорошее соответствие и показали «Crowding» и «DaysToCover10Day» как сигналы в наборе данных с наибольшим влиянием на прогноз. Этот анализ количественно определил, какие данные больше всего повлияли на модель и, следовательно, могут быть расставлены по приоритетам для дальнейшего изучения и потенциального включения в ваши альфа-сигналы или процесс управления рисками. И, что не менее важно, показатели объяснимости показывают, какие данные играют относительно небольшую роль в определении прогноза и, следовательно, могут иметь меньший приоритет для дальнейшего исследования.

Чтобы быстрее оценить способность сторонних финансовых данных поддерживать ваш инвестиционный процесс, просмотрите Источники данных финансовых услуг, доступные на AWS Data Exchange, и дать ДанныеБрю и холст попробуйте сегодня.

---

Об авторах

Борис Литвин является главным архитектором решений, отвечающим за инновации в отрасли финансовых услуг. Он бывший основатель Quant и FinTech, увлеченный систематическим инвестированием.

Минакшисундарам Тандавараян является старшим специалистом по AI/ML в AWS. Он помогает высокотехнологичным стратегическим клиентам в их путешествии по искусственному интеллекту и машинному обучению. Он очень увлечен искусственным интеллектом, управляемым данными.

Камилло Анания является старшим архитектором решений для стартапов AWS в Великобритании. Он страстный технолог, помогающий создавать и развивать стартапы любого размера.

Дэн Синнрайх — старший менеджер по продуктам AWS, который помогает компаниям принимать более эффективные решения с помощью машинного обучения. Ранее он создавал платформы для портфельной аналитики и модели риска для нескольких классов активов для крупных институциональных инвесторов.