Это гостевой пост, написанный в соавторстве с Бабу Шринивасаном из MongoDB.
Поскольку отрасли развиваются в современном быстро меняющемся бизнес-среде, невозможность прогнозирования в реальном времени создает серьезные проблемы для отраслей, в значительной степени зависящих от точной и своевременной информации. Отсутствие прогнозов в реальном времени в различных отраслях создает серьезные проблемы для бизнеса, которые могут существенно повлиять на принятие решений и операционную эффективность. Без информации в реальном времени предприятиям сложно адаптироваться к динамичным рыночным условиям, точно прогнозировать потребительский спрос, оптимизировать уровень запасов и принимать упреждающие стратегические решения. Такие отрасли, как финансы, розничная торговля, управление цепочками поставок и логистика, сталкиваются с риском упущенных возможностей, увеличения затрат, неэффективного распределения ресурсов и неспособности удовлетворить ожидания клиентов. Изучая эти проблемы, организации могут осознать важность прогнозирования в реальном времени и изучить инновационные решения для преодоления этих препятствий, что позволит им оставаться конкурентоспособными, принимать обоснованные решения и преуспевать в современной быстро меняющейся бизнес-среде.
Используя преобразующий потенциал встроенной среды MongoDB Временные ряды возможности обработки данных и их интеграция с возможностями Холст Amazon SageMaker, организации могут преодолеть эти проблемы и открыть новые уровни гибкости. Надежное управление данными временных рядов MongoDB позволяет хранить и извлекать большие объемы данных временных рядов в режиме реального времени, а передовые алгоритмы машинного обучения и возможности прогнозирования обеспечивают точные и динамичные модели прогнозирования с помощью SageMaker Canvas.
В этом посте мы рассмотрим потенциал использования данных временных рядов MongoDB и SageMaker Canvas в качестве комплексного решения.
Атлас MongoDB
Атлас MongoDB — это полностью управляемая платформа данных для разработчиков, которая упрощает развертывание и масштабирование баз данных MongoDB в облаке. Это хранилище документов, которое предоставляет полностью управляемую базу данных со встроенными полнотекстовыми и векторными функциями. Поиск, Поддержка для Геопространственной запросы, Графики и встроенная поддержка для эффективного Временные ряды возможности хранения и запроса. MongoDB Atlas предлагает автоматическое сегментирование, горизонтальную масштабируемость и гибкую индексацию для приема больших объемов данных. Среди прочего, встроенные возможности временных рядов являются выдающейся функцией, которая делает их идеальными для управления большими объемами данных временных рядов, таких как данные критически важных бизнес-приложений, телеметрия, журналы сервера и многое другое. Благодаря эффективным запросам, агрегированию и аналитике компании могут извлекать ценную информацию из данных с отметками времени. Используя эти возможности, компании могут эффективно хранить, управлять и анализировать данные временных рядов, позволяя принимать решения на основе данных и получать конкурентные преимущества.
Холст Amazon SageMaker
Холст Amazon SageMaker — это сервис визуального машинного обучения (ML), который позволяет бизнес-аналитикам и специалистам по обработке данных создавать и развертывать собственные модели ML без необходимости иметь какой-либо опыт ML или писать единую строку кода. SageMaker Canvas поддерживает ряд вариантов использования, в том числе прогнозирование временных рядов, который позволяет предприятиям точно прогнозировать будущий спрос, продажи, потребности в ресурсах и другие данные временных рядов. Сервис использует методы глубокого обучения для обработки сложных шаблонов данных и позволяет предприятиям генерировать точные прогнозы даже с минимальными историческими данными. Используя возможности Amazon SageMaker Canvas, компании могут принимать обоснованные решения, оптимизировать уровень запасов, повышать операционную эффективность и повышать удовлетворенность клиентов.
Пользовательский интерфейс SageMaker Canvas позволяет легко интегрировать источники данных из облака или локально, легко объединять наборы данных, обучать точные модели и делать прогнозы на основе новых данных — и все это без программирования. Если вам нужен автоматизированный рабочий процесс или прямая интеграция модели ML в приложения, функции прогнозирования Canvas доступны через API.
Обзор решения
Пользователи сохраняют данные временных рядов транзакций в MongoDB Atlas. Через Atlas Data Federation данные извлекаются в корзину Amazon S3. Amazon SageMaker Canvas получает доступ к данным для построения моделей и прогнозов. Результаты прогнозирования сохраняются в корзине S3. Используя сервисы федерации данных MongoDB, прогнозы представляются визуально через диаграммы MongoDB.
На следующей диаграмме представлена предлагаемая архитектура решения.
Предпосылки
В этом решении мы используем MongoDB Atlas для хранения данных временных рядов, Amazon SageMaker Canvas для обучения модели и создания прогнозов и Amazon S3 для хранения данных, извлеченных из MongoDB Atlas.
Убедитесь, что у вас есть следующие предпосылки:
Настройка кластера MongoDB Atlas
Создайте бесплатный кластер MongoDB Atlas, следуя инструкциям в Создать кластер. Настройте Доступ к базе данных и Доступ к сети.
Заполнение коллекции временных рядов в MongoDB Atlas
Для целей этой демонстрации вы можете использовать образец набора данных из Kaggle и загрузите то же самое в MongoDB Atlas с помощью MongoDB. инструменты , Предпочтительно Компас MongoDB.
В следующем коде показан пример набора данных для коллекции временных рядов:
{ "store": "1 1", "timestamp": { "2010-02-05T00:00:00.000Z"}, "temperature": "42.31", "target_value": 2.572, "IsHoliday": false
}
На следующем снимке экрана показаны примеры данных временных рядов в MongoDB Atlas:
Создайте корзину S3
Создавай сегмент S3 в AWS, где необходимо хранить и анализировать данные временных рядов. Обратите внимание, что у нас есть две папки. sales-train-data
используется для хранения данных, извлеченных из MongoDB Atlas, а sales-forecast-output
содержит прогнозы от Canvas.
Создайте Федерацию данных
Настройте Федерация данных в Atlas и зарегистрируйте созданную ранее корзину S3 как часть источника данных. Обратите внимание, что три разные базы данных/коллекции создаются в объединении данных для кластера Atlas, ведре S3 для данных MongoDB Atlas и ведре S3 для хранения результатов Canvas.
На следующих снимках экрана показана настройка объединения данных.
Настройка службы приложений Atlas
Создайте Службы приложений MongoDB развернуть функции для переноса данных из кластера MongoDB Atlas в корзину S3 с помощью $ вне агрегация.
Проверка конфигурации источника данных
Службы приложений создают новое имя службы Altas, которое необходимо назвать службами данных в следующей функции. Убедитесь, что имя службы Atlas создано, и запишите его для дальнейшего использования.
Создайте функцию
Настройте службы приложения Atlas для создания триггер и функции. Триггеры должны быть запланированы для записи данных в S3 с периодичностью, зависящей от потребности бизнеса в обучении моделей.
Следующий скрипт показывает функцию для записи в корзину S3:
exports = function () { const service = context.services.get(""); const db = service.db("") const events = db.collection(""); const pipeline = [ { "$out": { "s3": { "bucket": "<S3_bucket_name>", "region": "<AWS_Region>", "filename": {$concat: ["<S3path>/<filename>_",{"$toString": new Date(Date.now())}]}, "format": { "name": "json", "maxFileSize": "10GB" } } } } ]; return events.aggregate(pipeline);
};
Образец функции
Функцию можно запустить на вкладке «Выполнить», а ошибки можно отладить с помощью функций журнала в службах приложений. Кроме того, ошибки можно отладить с помощью меню «Журналы» на левой панели.
На следующем снимке экрана показано выполнение функции вместе с выводом:
Создайте набор данных в Amazon SageMaker Canvas.
Следующие шаги предполагают, что вы создали домен SageMaker и профиль пользователя. Если вы еще этого не сделали, убедитесь, что вы настроили Домен SageMaker и профиль пользователя. В профиле пользователя обновите корзину S3, сделав ее пользовательской, и укажите имя корзины.
По завершении перейдите в SageMaker Canvas, выберите свой домен и профиль, а затем выберите Canvas.
Создайте набор данных, предоставляющий источник данных.
Выберите источник набора данных как S3.
Выберите расположение данных из корзины S3 и выберите Создать набор данных.
Просмотрите схему и нажмите «Создать набор данных».
После успешного импорта набор данных появится в списке, как показано на следующем снимке экрана.
Тренируй модель
Далее мы будем использовать Canvas для настройки обучения модели. Выберите набор данных и нажмите «Создать».
Создайте имя модели, выберите Прогнозный анализ и выберите Создать.
Выберите целевой столбец
Затем нажмите «Настроить модель временных рядов» и выберите item_id в столбце «Идентификатор элемента».
Выберите tm
для столбца отметки времени
Чтобы указать период времени, на который вы хотите прогнозировать, выберите 8 недель.
Теперь вы готовы просмотреть модель или запустить процесс сборки.
После предварительного просмотра модели или запуска сборки ваша модель будет создана, и это может занять до четырех часов. Вы можете выйти из экрана и вернуться, чтобы увидеть статус обучения модели.
Когда модель будет готова, выберите модель и нажмите на последнюю версию.
Просмотрите метрики модели и влияние столбцов и, если вас устраивает производительность модели, нажмите «Прогнозировать».
Затем выберите «Пакетное прогнозирование» и нажмите «Выбрать набор данных».
Выберите набор данных и нажмите «Выбрать набор данных».
Затем нажмите «Начать прогнозирование».
Наблюдайте за созданным заданием или наблюдайте за его ходом в SageMaker в разделе «Вывод», «Задания пакетного преобразования».
Когда задание завершится, выберите его и запишите путь S3, по которому Canvas сохранил прогнозы.
Визуализация данных прогноза в диаграммах Atlas
Чтобы визуализировать данные прогноза, создайте Диаграммы Атласа MongoDB на основе федеральных данных (amazon-forecast-data) для прогнозов P10, P50 и P90, как показано на следующей диаграмме.
Убирать
- Удалите кластер MongoDB Atlas.
- Удаление конфигурации объединения данных Atlas
- Удаление приложения службы приложений Atlas
- Удалить корзину S3
- Удаление набора данных и моделей Amazon SageMaker Canvas
- Удалить диаграммы Атласа
- Выйдите из Amazon SageMaker Canvas
Заключение
В этом посте мы извлекли данные временных рядов из коллекции временных рядов MongoDB. Это специальная коллекция, оптимизированная для хранения и скорости запроса данных временных рядов. Мы использовали Amazon SageMaker Canvas для обучения моделей и создания прогнозов, а также визуализировали прогнозы в диаграммах Atlas.
Для получения дополнительной информации обратитесь к следующим ресурсам.
Об авторах
Игорь Алексеев является старшим архитектором партнерских решений в AWS в области данных и аналитики. В своей роли Игорь работает со стратегическими партнерами, помогая им создавать сложные архитектуры, оптимизированные для AWS. До прихода в AWS в качестве архитектора данных/решений он реализовал множество проектов в области больших данных, в том числе несколько озер данных в экосистеме Hadoop. В качестве инженера по обработке данных он занимался применением ИИ/МО для обнаружения мошенничества и автоматизации делопроизводства.
Бабу Сринивасан является старшим архитектором партнерских решений в MongoDB. В своей текущей роли он работает с AWS над созданием технических интеграций и эталонных архитектур для решений AWS и MongoDB. Он имеет более чем двадцатилетний опыт работы с базами данных и облачными технологиями. Он увлечен предоставлением технических решений клиентам, работающим с несколькими глобальными системными интеграторами (GSI) в разных регионах.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/accelerating-time-to-insight-with-mongodb-time-series-collections-and-amazon-sagemaker-canvas/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 100
- 1222
- 1239
- 140
- 31
- 321
- 7
- 8
- a
- О нас
- ускоряющий
- доступ
- доступной
- точный
- точно
- через
- приспосабливать
- дополнение
- продвинутый
- агрегирование
- AI / ML
- алгоритмы
- Все
- распределение
- позволяет
- вдоль
- уже
- Amazon
- Создатель мудреца Амазонки
- Холст Amazon SageMaker
- Amazon Web Services
- среди
- количество
- an
- анализ
- Аналитики
- аналитика
- анализировать
- проанализированы
- и
- предвидеть
- любой
- появиться
- Применение
- Применение
- Программы
- архитектура
- МЫ
- AS
- предполагать
- At
- Автоматизированный
- Автоматический
- автоматизация
- AWS
- основанный
- BE
- большой
- Big Data
- строить
- встроенный
- бизнес
- бизнес
- by
- CAN
- холст
- возможности
- случаев
- цепь
- проблемы
- График
- Графики
- Выберите
- нажмите на
- облако
- Кластер
- код
- Кодирование
- лыжных шлемов
- Коллекции
- Column
- конкурентоспособный
- полный
- зАВЕРШАЕТ
- комплекс
- комплексный
- Условия
- содержит
- контекст
- Расходы
- Создайте
- создали
- критической
- Текущий
- изготовленный на заказ
- клиент
- ожидания клиентов
- Удовлетворенность клиентов
- Клиенты
- данным
- управление данными
- Платформа данных
- набор данных
- управляемых данными
- База данных
- базы данных
- Наборы данных
- Время
- десятилетия
- Принятие решений
- решения
- глубоко
- глубокое обучение
- Спрос
- развертывание
- развертывание
- обнаружение
- Застройщик
- различный
- направлять
- документ
- домен
- сделанный
- динамический
- экосистема
- Edge
- затрат
- эффективный
- эффективно
- легко
- появление
- Наделяет
- позволяет
- позволяет
- инженер
- повышать
- Окружающая среда
- ошибки
- Даже
- События
- развивается
- выполнение
- ожидания
- опыт
- Больше
- Исследование
- извлечение
- Face
- ложный
- быстрый темп
- Особенность
- Особенности
- федерация
- финансы
- гибкого
- после
- Что касается
- Прогноз
- Прогнозы
- формат
- 4
- мошенничество
- обнаружение мошенничества
- Бесплатно
- частота
- от
- полностью
- функция
- Функции
- будущее
- получение
- порождать
- географии
- Глобальный
- GUEST
- Guest Post
- обрабатывать
- Освоение
- Есть
- имеющий
- he
- сильно
- помощь
- High
- его
- исторический
- горизонтальный
- ЧАСЫ
- HTML
- HTTPS
- барьерный бег
- ID
- идеальный
- if
- Влияние
- в XNUMX году
- Импортировать
- значение
- улучшать
- in
- неспособность
- В том числе
- расширились
- промышленности
- неэффективное
- информация
- сообщил
- инновационный
- размышления
- инструкции
- интегрировать
- Интегрируя
- интеграции.
- интеграций
- в
- инвентаризация
- вовлеченный
- IT
- работа
- Джобс
- присоединение
- JSON
- озера
- пейзаж
- большой
- последний
- запуск
- изучение
- Оставлять
- оставил
- Lets
- уровни
- линия
- Список
- расположение
- журнал
- логистика
- машина
- обучение с помощью машины
- сделать
- Создание
- управлять
- управляемого
- управление
- управления
- многих
- рынок
- рыночные условия
- Встречайте
- Меню
- идти
- Метрика
- минимальный
- пропущенный
- ML
- модель
- Модели
- MongoDB
- БОЛЕЕ
- с разными
- имя
- родной
- Откройте
- Необходимость
- потребности
- Новые
- в своих размышлениях
- Уведомление..
- номер
- наблюдать
- of
- Предложения
- Офис
- on
- оперативный
- Возможности
- Оптимизировать
- оптимизированный
- or
- организации
- Другое
- внешний
- контуры
- выходной
- Преодолеть
- хлеб
- часть
- партнер
- партнеры
- страстный
- путь
- паттеранами
- производительность
- период
- трубопровод
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- представляет
- После
- потенциал
- мощностью
- необходимость
- предсказывать
- прогноз
- Predictions
- предпосылки
- представлены
- разрабатывает
- прессование
- предварительный просмотр
- предварительно
- Предварительный
- Проактивная
- процесс
- производит
- Профиль
- Прогресс
- проектов
- предложило
- обеспечивать
- приводит
- обеспечение
- целей
- Запросы
- готовый
- реального времени
- признавать
- относиться
- ссылка
- назвало
- область
- зарегистрироваться
- Требования
- ресурс
- Полезные ресурсы
- Итоги
- розничный
- возвращают
- Снижение
- надежный
- Роли
- Run
- sagemaker
- главная
- то же
- удовлетворение
- довольный
- доволен
- Масштабируемость
- масштабирование
- считаться
- Ученые
- экран
- скриншоты
- скрипт
- легко
- посмотреть
- выберите
- старший
- Серии
- сервер
- обслуживание
- Услуги
- набор
- установка
- несколько
- Sharding
- показанный
- Шоу
- значительный
- существенно
- упрощает
- одинарной
- So
- Решение
- Решения
- Источник
- Источники
- особый
- скорость
- Шринивасан
- печать
- Начало
- Статус:
- оставаться
- Шаги
- диск
- магазин
- хранить
- Стратегический
- стратегические партнеры
- Бороться
- успешный
- такие
- поставка
- цепочками поставок
- система управления цепями поставок
- поставки
- поддержка
- Поддержка
- Убедитесь
- система
- взять
- цель
- Технический
- снижения вреда
- технологии
- чем
- который
- Ассоциация
- их
- Их
- Эти
- этой
- три
- Thrive
- Через
- время
- Временные ряды
- своевременно
- отметка времени
- в
- Сегодняшних
- Train
- Обучение
- транзакционный
- перевод
- Transform
- преобразующей
- два
- ui
- под
- отпереть
- Обновление ПО
- использование
- используемый
- Информация о пользователе
- использования
- через
- ценный
- различный
- проверить
- визуальный
- визуализации
- визуально
- объем
- тома
- хотеть
- законопроект
- we
- Web
- веб-сервисы
- Недели
- который
- в то время как
- будете
- без
- рабочий
- работает
- записывать
- Ты
- ВАШЕ
- зефирнет