С ростом внедрения онлайн-приложений и ростом числа интернет-пользователей цифровое мошенничество растет из года в год. Амазон детектор мошенничества предоставляет полностью управляемую услугу, которая поможет вам лучше выявлять потенциально мошеннические действия в Интернете с использованием передовых методов машинного обучения (ML) и более чем 20-летнего опыта Amazon в области обнаружения мошенничества.
Чтобы помочь вам быстрее выявлять мошенничество в различных сценариях использования, Amazon Fraud Detector предлагает специальные модели с адаптированными алгоритмами, расширениями и преобразованиями функций. Обучение модели полностью автоматизировано и не вызывает затруднений, и вы можете следовать инструкциям в гид пользователя или связанные Сообщения в блоге для начала. Однако с обученными моделями необходимо решить, готова ли модель к развертыванию. Это требует определенных знаний в области машинного обучения, статистики и обнаружения мошенничества, и может быть полезно знать некоторые типичные подходы.
Этот пост поможет вам диагностировать производительность модели и выбрать правильную модель для развертывания. Мы рассмотрим метрики, предоставляемые Amazon Fraud Detector, поможем диагностировать потенциальные проблемы и предложим рекомендации по повышению производительности модели. Подходы применимы как к шаблонам моделей Online Fraud Insights (OFI), так и к Transaction Fraud Insights (TFI).
Обзор решения
В этом посте представлен сквозной процесс диагностики производительности вашей модели. Сначала в нем представлены все метрики модели, отображаемые в консоли Amazon Fraud Detector, включая AUC, распределение баллов, матрицу путаницы, кривую ROC и важность переменных модели. Затем мы представляем трехэтапный подход к диагностике производительности модели с использованием различных показателей. Наконец, мы предоставляем предложения по улучшению производительности модели для типичных проблем.
Предпосылки
Прежде чем углубляться в модель Amazon Fraud Detector, необходимо выполнить следующие предварительные условия:
- Создайте учетную запись AWS.
- Создать набор данных событий для обучения модели.
- Загрузите свои данные в Простой сервис хранения Amazon (Amazon S3) или импортировать данные о событиях в Amazon Fraud Detector.
- Создание модели Amazon Fraud Detector.
Интерпретация метрик модели
После завершения обучения модели Amazon Fraud Detector оценивает вашу модель, используя часть данных моделирования, которые не использовались при обучении модели. Он возвращает метрики оценки на Версия модели страницу этой модели. Эти показатели отражают производительность модели, которую вы можете ожидать на реальных данных после развертывания в рабочей среде.
На следующем снимке экрана показан пример производительности модели, возвращенный Amazon Fraud Detector. Вы можете выбрать различные пороговые значения для распределения баллов (слева), и матрица путаницы (справа) будет соответственно обновлена.
Вы можете использовать следующие результаты, чтобы проверить производительность и принять решение о правилах стратегии:
- AUC (площадь под кривой) - Общая производительность этой модели. Модель с AUC 0.50 не лучше, чем подбрасывание монеты, потому что она представляет собой случайный случай, тогда как «идеальная» модель будет иметь оценку 1.0. Чем выше AUC, тем лучше ваша модель может отличать мошенников от легитимных.
- Распределение баллов – Гистограмма распределений оценок модели, предполагающая примерную совокупность из 100,000 0 событий. Amazon Fraud Detector генерирует оценки модели в диапазоне от 1000 до XNUMX, где чем ниже оценка, тем ниже риск мошенничества. Лучшее разделение между законными (зелеными) и мошенническими (синими) популяциями обычно указывает на лучшую модель. Подробнее см. Оценка модели.
- Матрица путаницы – Таблица, описывающая производительность модели для выбранного заданного порога оценки, включая истинно положительные, истинно отрицательные, ложноположительные, ложноотрицательные, процент истинно положительных (TPR) и коэффициент ложноположительных результатов (FPR). Количество в таблице предполагает примерную совокупность 100,0000 XNUMX событий. Подробнее см. Метрики производительности модели.
- Кривая ROC (характеристика оператора приемника) – График, иллюстрирующий диагностические возможности модели, как показано на следующем снимке экрана. Он отображает частоту истинных положительных результатов как функцию частоты ложных положительных результатов по всем возможным пороговым значениям оценки модели. Просмотрите эту диаграмму, выбрав Расширенные метрики. Если вы обучили несколько версий одной модели, вы можете выбрать разные пороги FPR, чтобы проверить изменение производительности.
- Важность переменной модели – Ранг переменных модели на основе их вклада в сгенерированную модель, как показано на следующем снимке экрана. Переменная модели с наибольшим значением более важна для модели, чем другие переменные модели в наборе данных для этой версии модели, и по умолчанию указывается вверху. Подробнее см. Важность переменной модели.
Диагностика производительности модели
Перед развертыванием модели в рабочей среде следует использовать метрики, возвращенные Amazon Fraud Detector, чтобы понять производительность модели и диагностировать возможные проблемы. Общие проблемы моделей ML можно разделить на две основные категории: проблемы, связанные с данными, и проблемы, связанные с моделями. Amazon Fraud Detector позаботился о проблемах, связанных с моделью, тщательно используя наборы для проверки и тестирования для оценки и настройки вашей модели на серверной части. Вы можете выполнить следующие шаги, чтобы проверить, готова ли ваша модель к развертыванию или есть ли возможные проблемы, связанные с данными:
- Проверьте общую производительность модели (AUC и распределение баллов).
- Просмотрите бизнес-требования (матрица путаницы и таблица).
- Проверьте важность переменной модели.
Проверьте общую производительность модели: AUC и распределение баллов
Более точное предсказание будущих событий всегда является основной целью прогностической модели. AUC, возвращаемый Amazon Fraud Detector, рассчитывается на правильно выбранном тестовом наборе, который не использовался при обучении. В целом модель с AUC больше 0.9 считается хорошей моделью.
Если вы наблюдаете модель с производительностью менее 0.8, это обычно означает, что у модели есть возможности для улучшения (мы обсудим общие проблемы с низкой производительностью модели позже в этом посте). Обратите внимание, что определение «хорошей» производительности сильно зависит от вашего бизнеса и базовой модели. Вы все равно можете выполнить шаги, описанные в этом посте, чтобы улучшить свою модель Amazon Fraud Detector, даже если ее AUC больше 0.8.
С другой стороны, если AUC превышает 0.99, это означает, что модель может почти идеально разделить мошенничество и законные события в тестовом наборе. Иногда это сценарий «слишком хорош, чтобы быть правдой» (мы обсудим распространенные проблемы с очень высокой производительностью модели далее в этом посте).
Помимо общего AUC, распределение баллов также может сказать вам, насколько хорошо подходит модель. В идеале вы должны увидеть, что основная часть законных и мошеннических действий находится на двух концах шкалы, что указывает на то, что оценка модели может точно ранжировать события в тестовом наборе.
В следующем примере распределение баллов имеет AUC 0.96.
Если законное распределение и распределение мошенничества перекрываются или концентрируются в центре, это, вероятно, означает, что модель плохо работает при различении событий мошенничества от законных событий, что может указывать на изменение распределения исторических данных или на то, что вам нужно больше данных или функций.
Ниже приведен пример распределения баллов с AUC, равным 0.64.
Если вы можете найти точку разделения, которая может почти идеально разделить мошенничество и законные события, существует высокая вероятность того, что в модели есть проблема с утечкой метки или шаблоны мошенничества слишком легко обнаружить, что должно привлечь ваше внимание.
В следующем примере распределение баллов имеет AUC 1.0.
Ознакомьтесь с бизнес-требованиями: матрица и таблица путаницы
Хотя AUC является удобным индикатором производительности модели, он может не соответствовать вашим бизнес-требованиям. Amazon Fraud Detector также предоставляет такие метрики, как уровень обнаружения мошенничества (доля истинного срабатывания), процент законных событий, которые ошибочно прогнозируются как мошенничество (коэффициент ложного срабатывания), и другие, которые чаще используются в качестве бизнес-требований. После того, как вы обучите модель с достаточно хорошим AUC, вам нужно сравнить модель с вашими бизнес-требованиями с этими показателями.
Матрица путаницы и таблица предоставляют вам интерфейс для анализа влияния и проверки того, соответствует ли оно потребностям вашего бизнеса. Обратите внимание, что числа зависят от порога модели, где события с оценкой выше порога классифицируются как мошенничество, а события с оценкой ниже порога классифицируются как законные. Вы можете выбрать, какое пороговое значение использовать в зависимости от ваших бизнес-требований.
Например, если ваша цель — зафиксировать 73% случаев мошенничества, то (как показано в примере ниже) вы можете выбрать такой порог, как 855, что позволит вам зафиксировать 73% всех случаев мошенничества. Однако модель также ошибочно классифицирует 3% законных событий как мошеннические. Если этот FPR приемлем для вашего бизнеса, то модель подходит для развертывания. В противном случае вам необходимо улучшить производительность модели.
Другой пример: если стоимость блокировки или оспаривания законного клиента чрезвычайно высока, вам нужен низкий FPR и высокая точность. В этом случае вы можете выбрать пороговое значение 950, как показано в следующем примере, что приведет к ошибочной классификации 1 % законных клиентов как мошенников, а 80 % выявленных мошенников на самом деле будут мошенниками.
Кроме того, вы можете выбрать несколько пороговых значений и назначить разные результаты, например блокировать, исследовать, пройти. Если вы не можете найти надлежащие пороговые значения и правила, удовлетворяющие всем вашим бизнес-требованиям, вам следует рассмотреть возможность обучения модели с использованием дополнительных данных и атрибутов.
Проверить важность переменной модели
Ассоциация Важность переменной модели панель показывает, как каждая переменная влияет на вашу модель. Если одна переменная имеет значительно более высокое значение важности, чем другие, это может указывать на утечку меток или на то, что схемы мошенничества слишком легко обнаружить. Обратите внимание, что важность переменной агрегируется обратно к вашим входным переменным. Если вы наблюдаете несколько более высокую важность IP_ADDRESS
, CARD_BIN
, EMAIL_ADDRESS
, PHONE_NUMBER
, BILLING_ZIP
или SHIPPING_ZIP
, это может быть из-за силы обогащения.
В следующем примере показана важность переменной модели с потенциальной утечкой этикетки с использованием investigation_status
.
Важность переменных модели также дает вам подсказки о том, какие дополнительные переменные потенциально могут улучшить модель. Например, если вы наблюдаете низкую AUC, а функции, связанные с продавцом, имеют большое значение, вы можете рассмотреть возможность сбора дополнительных функций заказа, таких как SELLER_CATEGORY
, SELLER_ADDRESS
качества SELLER_ACTIVE_YEARS
и добавьте эти переменные в свою модель.
Распространенные проблемы с низкой производительностью модели
В этом разделе мы обсудим распространенные проблемы, с которыми вы можете столкнуться в связи с низкой производительностью модели.
Распределение исторических данных изменено
Дрейф распределения исторических данных происходит, когда у вас происходят большие изменения в бизнесе или возникают проблемы со сбором данных. Например, если вы недавно выпустили свой продукт на новый рынок, IP_ADDRESS
, EMAIL
качества ADDRESS
связанные с этим функции могут быть совершенно другими, а способ мошенничества также может измениться. Amazon Fraud Detector использует EVENT_TIMESTAMP
для разделения данных и оценки вашей модели на соответствующем подмножестве событий в вашем наборе данных. Если ваше распределение исторических данных значительно изменится, набор для оценки может сильно отличаться от обучающих данных, и сообщаемая производительность модели может быть низкой.
Вы можете проверить потенциальную проблему изменения распределения данных, изучив свои исторические данные:
- Использовать Профилировщик данных Amazon Fraud Detector инструмент, чтобы проверить, изменился ли уровень мошенничества и уровень отсутствия этикетки с течением времени.
- Проверьте, значительно ли изменилось распределение переменных с течением времени, особенно для объектов с высокой значимостью переменных.
- Проверьте распределение переменных во времени по целевым переменным. Если вы наблюдаете значительно больше случаев мошенничества из одной категории в последних данных, вы можете проверить, является ли изменение разумным, используя свои деловые суждения.
Если вы обнаружите, что уровень отсутствующих ярлыков очень высок или уровень мошенничества постоянно снижался в течение последних дат, это может быть признаком того, что ярлыки не полностью созрели. Вы должны исключить самые последние данные или подождать дольше, чтобы собрать точные метки, а затем повторно обучить свою модель.
Если вы наблюдаете резкий всплеск уровня мошенничества и переменных в определенные даты, вы можете перепроверить, является ли это выбросом или проблемой сбора данных. В этом случае вы должны удалить эти события и переобучить модель.
Если вы обнаружите, что устаревшие данные не могут отражать ваш текущий и будущий бизнес, вам следует исключить данные старого периода из обучения. Если вы используете сохраненные события в Amazon Fraud Detector, вы можете просто повторно обучить новую версию и выбрать правильный диапазон дат при настройке задания обучения. Это также может указывать на то, что методы мошенничества в вашем бизнесе со временем меняются относительно быстро. После развертывания модели может потребоваться частое повторное обучение модели.
Неверное сопоставление типов переменных
Amazon Fraud Detector обогащает и преобразует данные на основе типов переменных. Важно, чтобы вы сопоставили свои переменные с правильным типом, чтобы модель Amazon Fraud Detector могла принимать максимальное значение ваших данных. Например, если вы сопоставляете IP
до CATEGORICAL
тип вместо IP_ADDRESS
, ты не понимаешь IP-
соответствующие улучшения в бэкэнде.
В целом Amazon Fraud Detector предлагает следующие действия:
- Сопоставьте свои переменные с определенными типами, такими как
IP_ADDRESS
,EMAIL_ADDRESS
,CARD_BIN
качестваPHONE_NUMBER
, чтобы Amazon Fraud Detector мог извлекать и дополнять дополнительную информацию. - Если вы не можете найти конкретный тип переменной, сопоставьте его с одним из трех универсальных типов:
NUMERIC
,CATEGORICAL
илиFREE_FORM_TEXT
. - Если переменная представлена в текстовой форме и имеет большое количество элементов, например отзыв клиента или описание продукта, ее следует сопоставить с
FREE_FORM_TEXT
тип переменной, чтобы Amazon Fraud Detector извлекал для вас текстовые функции и встраивания на серверной части. Например, если вы сопоставляетеurl_string
вFREE_FORM_TEXT
, он может токенизировать URL-адрес и извлекать информацию для передачи в нижестоящую модель, что поможет ему узнать больше скрытых шаблонов из URL-адреса.
Если вы обнаружите, что какой-либо из ваших типов переменных неправильно отображается в конфигурации переменных, вы можете изменить свой тип переменной, а затем повторно обучить модель.
Недостаточно данных или функций
Amazon Fraud Detector требуется не менее 10,000 400 записей для обучения модели Online Fraud Insights (OFI) или Transaction Fraud Insights (TFI), причем не менее 100 из этих записей идентифицированы как мошеннические. TFI также требует, чтобы как мошеннические, так и легитимные записи исходили как минимум от XNUMX различных объектов, чтобы обеспечить разнообразие набора данных. Кроме того, Amazon Fraud Detector требует, чтобы данные моделирования содержали как минимум две переменные. Это минимальные требования к данным для построения полезной модели Amazon Fraud Detector. Однако использование большего количества записей и переменных обычно помогает моделям машинного обучения лучше изучать базовые закономерности из ваших данных. Когда вы наблюдаете низкую AUC или не можете найти пороговые значения, соответствующие вашим бизнес-требованиям, вам следует подумать о переобучении модели с использованием дополнительных данных или добавлении новых функций в модель. Обычно мы находим EMAIL_ADDRESS
, IP
, PAYMENT_TYPE
, BILLING_ADDRESS
, SHIPPING_ADDRESS
качества DEVICE
связанные переменные важны для обнаружения мошенничества.
Другая возможная причина заключается в том, что некоторые из ваших переменных содержат слишком много пропущенных значений. Чтобы узнать, происходит ли это, проверьте обучающие сообщения модели и см. Устранение неполадок с обучающими данными для предложений.
Общие проблемы для очень высокой производительности модели
В этом разделе мы обсудим общие проблемы, связанные с очень высокой производительностью модели.
Утечка этикетки
Утечка меток происходит, когда обучающие наборы данных используют информацию, доступность которой во время прогнозирования не ожидается. Это переоценивает полезность модели при запуске в производственной среде.
Высокий показатель AUC (близкий к 1), идеально разделенное распределение баллов и значительно более высокая важность одной переменной могут быть индикаторами потенциальных проблем с утечкой этикетки. Вы также можете проверить корреляцию между функциями и меткой, используя Профилировщик данных, Корреляция функций и меток график показывает корреляцию между каждой функцией и меткой. Если одна функция имеет корреляцию более 0.99 с меткой, вы должны проверить, правильно ли используется эта функция, основываясь на бизнес-оценках. Например, чтобы построить модель риска для одобрения или отклонения заявки на получение кредита, вам не следует использовать такие функции, как AMOUNT_PAID
, потому что платежи происходят после процесса андеррайтинга. Если во время прогнозирования переменная недоступна, следует удалить эту переменную из конфигурации модели и заново обучить новую модель.
В следующем примере показана корреляция между каждой переменной и меткой. investigation_status
имеет высокую корреляцию (близкую к 1) с этикеткой, поэтому вам следует перепроверить наличие проблемы с утечкой этикетки.
Простые схемы мошенничества
Когда модели мошенничества в ваших данных просты, вы также можете наблюдать очень высокую производительность модели. Например, предположим, что все случаи мошенничества в данных моделирования происходят через одного и того же внутреннего поставщика услуг; Модель легко выбирает IP-
связанные переменные и возвращают «идеальную» модель с высокой важностью IP
.
Простые схемы мошенничества не всегда указывают на проблему с данными. Вполне возможно, что способ мошенничества в вашем бизнесе легко выявить. Однако, прежде чем делать вывод, нужно убедиться, что метки, используемые при обучении модели, точны, а данные моделирования охватывают как можно больше шаблонов мошенничества. Например, если вы маркируете свои события мошенничества на основе правил, таких как маркировка всех приложений из определенного BILLING_ZIP
плюс PRODUCT_CATEGORY
как мошенничество, модель может легко обнаружить эти мошенничества, имитируя правила и достигая высокого AUC.
Вы можете проверить распределение меток по различным категориям или бинам каждого объекта, используя Профилировщик данных. Например, если вы обнаружите, что большинство случаев мошенничества связано с одной или несколькими категориями продуктов, это может указывать на простые модели мошенничества, и вам необходимо подтвердить, что это не ошибка сбора данных или обработки. Если функция похожа CUSTOMER_ID
, вы должны исключить эту функцию из обучения модели.
В следующем примере показано распределение меток по различным категориям product_category
. Все мошенничество происходит из двух категорий продуктов.
Неправильная выборка данных
Неправильная выборка данных может произойти, если вы выбрали и отправили только часть своих данных в Amazon Fraud Detector. Если данные не отобраны должным образом и не отражают трафик в рабочей среде, заявленная производительность модели будет неточной, и модель может оказаться бесполезной для прогнозирования рабочей среды. Например, если все события мошенничества в данных моделирования взяты из Азии, а все законные события взяты из США, модель может научиться разделять мошенничество и законность на основе BILLING_COUNTRY
. В этом случае модель не является универсальной для применения к другим группам населения.
Обычно мы предлагаем отправлять все последние события без выборки. В зависимости от размера данных и уровня мошенничества Amazon Fraud Detector выполняет выборку перед обучением модели. Если ваши данные слишком велики (более 100 ГБ) и вы решили отобрать и отправить только подмножество, вам следует произвести выборку случайным образом и убедиться, что выборка репрезентативна для всего населения. Для TFI вы должны выбирать свои данные по объектам, что означает, что если выбран один объект, вы должны включить всю его историю, чтобы агрегаты на уровне объектов были рассчитаны правильно. Обратите внимание: если вы отправляете в Amazon Fraud Detector только подмножество данных, агрегаты в реальном времени во время логического вывода могут быть неточными, если предыдущие события сущностей не отправляются.
Другой неправильной выборкой данных может быть использование только данных за короткий период, например данных за один день, для построения модели. Данные могут быть необъективными, особенно если ваш бизнес или мошеннические атаки имеют сезонный характер. Обычно мы рекомендуем включать в моделирование данные как минимум за два цикла (например, за 2 недели или 2 месяца), чтобы обеспечить разнообразие типов мошенничества.
Заключение
После диагностики и решения всех потенциальных проблем вы должны получить полезную модель Amazon Fraud Detector и быть уверенными в ее производительности. Для следующего шага вы может создать детектор с моделью и вашими бизнес-правилами, и будьте готовы развернуть его в рабочей среде для оценки теневого режима.
Приложение
Как исключить переменные для обучения модели
После глубокого погружения вы можете определить переменную целевую информацию о утечке и исключить ее из обучения модели. Вы можете переобучить версию модели, исключив ненужные переменные, выполнив следующие шаги:
- В консоли Amazon Fraud Detector на панели навигации выберите Модели.
- На Модели выберите модель, которую хотите переобучить.
- На Действия Меню, выберите Обучить новую версию.
- Выберите диапазон дат, который вы хотите использовать, и выберите Следующая.
- На Настроить обучение на странице отмените выбор переменной, которую вы не хотите использовать в обучении модели.
- Укажите свои метки мошенничества и законные метки, а также то, как вы хотите, чтобы Amazon Fraud Detector использовал немаркированные события, а затем выберите Следующая.
- Просмотрите конфигурацию модели и выберите Создать и обучить модель.
Как изменить тип переменной события
Переменные представляют собой элементы данных, используемые для предотвращения мошенничества. В Amazon Fraud Detector все переменные являются глобальными и общими для всех событий и моделей, что означает, что одну переменную можно использовать в нескольких событиях. Например, IP может быть связан с событиями входа в систему, а также может быть связан с событиями транзакций. Естественно, Amazon Fraud Detector блокирует тип переменной и тип данных после создания переменной. Чтобы удалить существующую переменную, необходимо сначала удалить все связанные типы событий и модели. Вы можете проверить ресурсы, связанные с определенной переменной, перейдя к Amazon Fraud Detector, выбрав Переменные в панели навигации и выбрав имя переменной и Связанные ресурсы.
Удалить переменную и все связанные типы событий
Чтобы удалить переменную, выполните следующие шаги:
- В консоли Amazon Fraud Detector на панели навигации выберите Переменные.
- Выберите переменную, которую хотите удалить.
- Выберите Связанные ресурсы для просмотра списка всех типов событий, использующих эту переменную.
Перед удалением переменной необходимо удалить эти связанные типы событий. - Выберите типы событий в списке, чтобы перейти на страницу соответствующего типа события.
- Выберите Сохраненные события чтобы проверить, хранятся ли какие-либо данные под этим типом события.
- Если в Amazon Fraud Detector хранятся события, выберите Удалить сохраненные события для удаления сохраненных событий.
По завершении задания удаления появляется сообщение «Сохраненные события для этого типа событий успешно удалены». - Выберите Связанные ресурсы.
Если детекторы и модели связаны с этим типом событий, вам необходимо сначала удалить эти ресурсы. - Если детекторы связаны, выполните следующие шаги, чтобы удалить все связанные детекторы:
- Выберите детектор, чтобы перейти к Детали детектора стр.
- В Версии модели выберите версию детектора.
- На странице версии детектора выберите Действия.
- Если версия детектора активна, выберите Отключите, выберите Деактивируйте эту версию детектора, не заменяя ее другой версией, и выберите Деактивировать версию детектора.
- После деактивации версии детектора выберите Действия , а затем Удалить.
- Повторите эти шаги, чтобы удалить все версии детектора.
- На Детали детектора выберите страницу Связанные правила.
- Выберите правило для удаления.
- Выберите Действия и Удалить версию правила.
- Введите имя правила для подтверждения и выберите Удалить версию.
- Повторите эти шаги, чтобы удалить все связанные правила.
- После того, как все версии детектора и связанные с ними правила будут удалены, перейдите к Детали детектора выберите страницу Действия, и выберите Удалить детектор.
- Введите имя детектора и выберите Удалить детектор.
- Повторите эти шаги, чтобы удалить следующий датчик.
- Если какие-либо модели связаны с типом события, выполните следующие действия, чтобы удалить их:
- Выберите название модели.
- В Версии модели панели, выберите версию.
- Если статус модели
Active
, выберите Действия и Отменить развертывание версии модели. - Enter
undeploy
подтвердить и выбрать Отменить развертывание версии модели.
Статус изменится наUndeploying
. Процесс занимает несколько минут. - После того, как статус станет
Ready to deploy
, выберите Действия и Удалить. - Повторите эти шаги, чтобы удалить все версии модели.
- На странице сведений о модели выберите Действия и Удалить модель.
- Введите название модели и выберите Удалить модель.
- Повторите эти шаги, чтобы удалить следующую модель.
- После того, как все связанные детекторы и модели будут удалены, выберите Действия и Удалить тип события на Информация о событии стр.
- Введите название типа события и выберите Удалить тип события.
- На панели навигации выберите Переменныеи выберите переменную, которую хотите удалить.
- Повторите предыдущие шаги, чтобы удалить все типы событий, связанные с переменной.
- На Переменная информация выберите страницу Действия и Удалить.
- Введите имя переменной и выберите Удалить переменную.
Создайте новую переменную с правильным типом переменной
После того как вы удалили переменную и все связанные типы событий, сохраненные события, модели и детекторы из Amazon Fraud Detector, вы можете создать новую переменную с тем же именем и сопоставить ее с правильным типом переменной.
- В консоли Amazon Fraud Detector на панели навигации выберите Переменные.
- Выберите Создавай.
- Введите имя переменной, которую вы хотите изменить (которое вы удалили ранее).
- Выберите правильный тип переменной, которую вы хотите изменить.
- Выберите Создать переменную.
Загрузите данные и переобучите модель
После обновления типа переменной вы можете снова загрузить данные и обучить новую модель. Инструкции см. Обнаружение мошенничества с онлайн-транзакциями с помощью новых функций Amazon Fraud Detector.
Как добавить новые переменные к существующему типу события
Чтобы добавить новые переменные к существующему типу события, выполните следующие шаги:
- Добавьте новые переменные в предыдущий обучающий файл CVS.
- Загрузите новый файл данных обучения в корзину S3. Обратите внимание на расположение файла обучения в Amazon S3 (например,
s3://bucketname/path/to/some/object.csv
) и имя вашей роли. - В консоли Amazon Fraud Detector на панели навигации выберите Мероприятия.
- На Типы событий на странице выберите имя типа события, к которому вы хотите добавить переменные.
- На Тип события страница сведений, выберите Действия, то Добавить переменные.
- Под Выберите, как определять переменные этого события, выберите Выберите переменные из набора обучающих данных.
- Для роли IAM выберите существующую роль IAM или создайте новую роль для доступа к данным в Amazon S3.
- Что касается Расположение данных, введите местоположение S3 нового тренировочного файла и выберите Загрузить.
Новые переменные, отсутствующие в существующем типе события, должны появиться в списке.
- Выберите Добавьте переменные.
Теперь к существующему типу события добавлены новые переменные. Если вы используете сохраненные события в Amazon Fraud Detector, новые переменные сохраненных событий по-прежнему отсутствуют. Вам необходимо импортировать обучающие данные с новыми переменными в Amazon Fraud Detector, а затем повторно обучить новую версию модели. При загрузке новых тренировочных данных с тем же EVENT_ID
и EVENT_TIMESTAMP
, новые переменные события перезаписывают предыдущие переменные события, хранящиеся в Amazon Fraud Detector.
Об авторах
Юлия Сюй — научный сотрудник Amazon Fraud Detector. Она увлечена решением проблем клиентов с помощью методов машинного обучения. В свободное время она любит ходить в походы, рисовать и исследовать новые кофейни.
Хао Чжоу — научный сотрудник Amazon Fraud Detector. Он имеет докторскую степень в области электротехники, полученную в Северо-Западном университете США. Он увлечен применением методов машинного обучения для борьбы с мошенничеством и злоупотреблениями.
Абхишек Рави является старшим менеджером по продуктам Amazon Fraud Detector. Он увлечен использованием технических возможностей для создания продуктов, которые радуют клиентов.
- Коинсмарт. Лучшая в Европе биржа биткойнов и криптовалют.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. БЕСПЛАТНЫЙ ДОСТУП.
- КриптоХок. Альткоин Радар. Бесплатная пробная версия.
- Источник: https://aws.amazon.com/blogs/machine-learning/diagnose-model-performance-before-deployment-for-amazon-fraud-detector/
- "
- 000
- 10
- 100
- 20 лет
- 9
- a
- способность
- О нас
- доступ
- соответственно
- Учетная запись
- точный
- через
- действия
- активный
- активно
- добавленный
- дополнение
- дополнительный
- Принятие
- продвинутый
- алгоритмы
- Все
- позволяет
- всегда
- Amazon
- отношение
- Применение
- Приложения
- прикладной
- Применение
- подхода
- подходы
- соответствующий
- утвердить
- ПЛОЩАДЬ
- Азия
- связанный
- внимание
- Атрибуты
- Автоматизированный
- доступен
- AWS
- Базовая линия
- , так как:
- до
- ниже
- Лучшая
- между
- Заблокировать
- граница
- приносить
- строить
- бизнес
- рассчитанный
- возможности
- захватить
- заботится
- случаев
- случаев
- Привлекайте
- Категории
- Вызывать
- определенный
- проблемы
- сложные
- изменение
- Выберите
- классифицированный
- Кофе
- Монета
- собирать
- Сбор
- лыжных шлемов
- борьбы с
- как
- Общий
- полный
- полностью
- комплектующие
- уверенный
- Конфигурация
- замешательство
- Рассматривать
- Консоли
- Удобно
- может
- Создайте
- создали
- Текущий
- кривая
- клиент
- Клиенты
- данным
- Финики
- глубоко
- в зависимости
- зависит
- развертывание
- развертывание
- развертывание
- описание
- подробнее
- обнаружение
- различный
- Интернет
- непосредственно
- обсуждать
- дисплеев
- распределение
- распределения
- Разнообразие
- не
- упал
- в течение
- каждый
- легко
- элементы
- впритык
- окончания поездки
- Проект и
- обогащать
- Enter
- лиц
- организация
- Окружающая среда
- особенно
- оценивать
- оценка
- События
- События
- пример
- без учета
- существующий
- ожидать
- ожидаемый
- опыта
- Экстракты
- быстрее
- Особенность
- Особенности
- в заключение
- First
- следовать
- после
- форма
- мошенничество
- Бесплатно
- от
- функция
- будущее
- Общие
- генерируется
- Глобальный
- цель
- хорошо
- большой
- Зелёная
- Рост
- происходить
- помощь
- полезный
- помогает
- High
- высший
- очень
- исторический
- история
- имеет
- Как
- How To
- Однако
- HTTPS
- определения
- Влияние
- значение
- важную
- улучшать
- улучшение
- включают
- В том числе
- указывать
- информация
- вход
- размышления
- Интерфейс
- Интернет
- исследовать
- IP
- вопрос
- вопросы
- IT
- работа
- суждения
- Знать
- знания
- этикетка
- маркировка
- Этикетки
- большой
- больше
- последний
- запустили
- утечка
- УЧИТЬСЯ
- изучение
- уровень
- Используя
- Список
- Включенный в список
- расположение
- запертый
- машина
- обучение с помощью машины
- сделать
- Создание
- управляемого
- менеджер
- карта
- рынок
- матрица
- означает
- Сообщения
- Метрика
- может быть
- минимальный
- ML
- модель
- Модели
- месяцев
- БОЛЕЕ
- самых
- с разными
- навигационный
- Навигация
- потребности
- отрицательный
- Новые функции
- Новый рынок
- следующий
- номер
- номера
- Предложения
- онлайн
- оператор
- заказ
- Другие контрактные услуги
- в противном случае
- общий
- часть
- страстный
- платежи
- процент
- производительность
- период
- Точка
- население
- положительный
- возможное
- потенциал
- мощностью
- прогноз
- представить
- предотвращение
- предыдущий
- первичный
- проблемам
- процесс
- Продукт
- Производство
- Продукция
- обеспечивать
- при условии
- Недвижимости
- приводит
- быстро
- ассортимент
- реального времени
- разумный
- последний
- недавно
- рекомендовать
- учет
- отражать
- по
- представлять
- представитель
- представляет
- Требования
- требуется
- исследованиям
- Полезные ресурсы
- возвращают
- Возвращает
- обзоре
- повышение
- Снижение
- Роли
- условиями,
- Run
- то же
- Шкала
- Ученый
- выбранный
- обслуживание
- набор
- Shadow
- общие
- магазинов
- Короткое
- показывать
- показанный
- просто
- Размер
- So
- твердый
- Решение
- некоторые
- конкретный
- раскол
- и политические лидеры
- статистика
- Статус:
- По-прежнему
- диск
- Стратегия
- Успешно
- цель
- Технический
- снижения вреда
- шаблоны
- тестXNUMX
- Тестирование
- Ассоциация
- три
- порог
- Через
- время
- инструментом
- топ
- TPR
- трафик
- Train
- Обучение
- сделка
- преобразований
- Типы
- типично
- под
- понимать
- Университет
- Обновление ПО
- us
- США
- использование
- пользователей
- обычно
- утилита
- Проверка
- ценностное
- версия
- Вид
- ждать
- Что
- будь то
- в то время как
- без
- стоимость
- бы
- год
- лет
- ВАШЕ