В первый пост В этой серии из трех частей мы представили решение, которое демонстрирует, как можно автоматизировать обнаружение фальсификации документов и мошенничества в больших масштабах с помощью сервисов искусственного интеллекта AWS и машинного обучения (ML) для сценария использования ипотечного андеррайтинга.
В вторая должностьМы обсудили подход к разработке модели компьютерного зрения на основе глубокого обучения для обнаружения и выделения поддельных изображений при выдаче ипотечных кредитов.
В этом посте мы представляем решение для автоматизации обнаружения мошенничества с ипотечными документами с использованием модели машинного обучения и определенных бизнес-правил с Амазон детектор мошенничества.
Обзор решения
Мы используем Amazon Fraud Detector, полностью управляемый сервис обнаружения мошенничества, чтобы автоматизировать обнаружение мошеннических действий. Целью Amazon Fraud Detector является повышение точности прогнозирования мошенничества за счет упреждающего выявления мошенничества с документами и повышения точности андеррайтинга. Он помогает создавать индивидуальные модели обнаружения мошенничества с использованием набора исторических данных, настраивать индивидуальную логику принятия решений с помощью встроенного механизма правил и организовывать принятие решений о рисках. рабочие процессы одним нажатием кнопки.
На следующей диаграмме представлены все этапы процесса обнаружения мошенничества с ипотечными документами.
Теперь мы рассмотрим третий компонент процесса обнаружения мошенничества с ипотечными документами. Шаги по развертыванию этого компонента следующие:
- Загрузите исторические данные в Простой сервис хранения Amazon (Amazon S3).
- Выберите параметры и обучите модель.
- Создайте модель.
- Проверьте производительность модели.
- Разверните модель.
- Создайте детектор.
- Добавьте правила для интерпретации оценок модели.
- Разверните API для прогнозирования.
Предпосылки
Ниже приведены необходимые шаги для этого решения:
- Зарегистрируйте учетную запись AWS.
- Настройте разрешения, которые позволят вашей учетной записи AWS получить доступ к Amazon Fraud Detector.
- Соберите исторические данные о мошенничестве, которые будут использоваться для обучения модели обнаружения мошенничества, соблюдая следующие требования:
- Данные должны быть в формате CSV и иметь заголовки.
- Требуется два заголовка:
EVENT_TIMESTAMP
иEVENT_LABEL
. - Данные должны находиться в Amazon S3 в регионе AWS, поддерживаемом сервисом.
- Перед тренировкой настоятельно рекомендуется запустить профиль данных (используйте автоматизированный профилировщик данных для Amazon Fraud Detector).
- Рекомендуется использовать данные как минимум за 3–6 месяцев.
- Чтобы мошенничество созрело, требуется время; рекомендуется использовать данные 1–3-месячной давности (не слишком свежие).
- Некоторые значения NULL и пропущенные значения допустимы (но если их слишком много, переменная игнорируется, как описано в разделе Отсутствует или неправильный тип переменной.).
Загрузить исторические данные в Amazon S3
После того как у вас появятся файлы пользовательских исторических данных для обучения модели обнаружения мошенничества, создайте корзину S3 и загрузите в нее данные.
Выберите параметры и обучите модель
Следующим шагом на пути к построению и обучению модели обнаружения мошенничества является определение бизнес-деятельности (события), которую необходимо оценить на предмет мошенничества. Определение события включает установку переменных в вашем наборе данных, сущности, инициирующей событие, и меток, которые классифицируют событие.
Выполните следующие шаги, чтобы определить событие мошенничества с документами для обнаружения мошенничества с документами, которое инициировано организацией-заявителем ипотеки, ссылаясь на новую заявку на ипотеку:
- На консоли Amazon Fraud Detector выберите Мероприятия в навигационной панели.
- Выберите Создавай.
- Под Подробности о типе события, войти
docfraud
в качестве имени типа события и, при необходимости, введите описание события. - Выберите Создать сущность.
- На Создать сущность страница, введите
applicant_mortgage
в качестве имени типа сущности и, при необходимости, введите описание типа сущности. - Выберите Создать сущность.
- Под Переменные события, Для Выберите, как определять переменные этого события, выберите Выберите переменные из набора обучающих данных.
- Что касается Роль IAM, выберите Создать роль IAM.
- На Создать роль IAM странице введите имя сегмента S3 с данными вашего примера и выберите Создать роль.
- Что касается Расположение данных, введите путь к вашим историческим данным. Это путь URI S3, который вы сохранили после загрузки исторических данных. Путь похож на
S3://your-bucket-name/example dataset filename.csv
. - Выберите Загрузите.
Переменные представляют собой элементы данных, которые вы хотите использовать при прогнозировании мошенничества. Эти переменные можно взять из набора данных о событиях, который вы подготовили для обучения своей модели, из выходных данных оценки риска вашей модели Amazon Fraud Detector или из Создатель мудреца Амазонки модели. Дополнительные сведения о переменных, взятых из набора данных событий, см. Получите требования к набору данных событий с помощью проводника моделей данных..
- Под Этикетки – по желанию, Для Этикетки, выберите Создать новые ярлыки.
- На Создать ярлык страница, введите
fraud
как имя. Эта метка соответствует значению, которое представляет мошенническую заявку на ипотеку в примере набора данных. - Выберите Создать ярлык.
- Создайте вторую метку под названием
legit
. Эта метка соответствует значению, которое представляет законную заявку на ипотеку в примере набора данных. - Выберите Создать тип события.
На следующем снимке экрана показаны сведения о типе нашего события.
На следующем снимке экрана показаны наши переменные.
На следующем снимке экрана показаны наши метки.
Создать модель
После того, как вы загрузили исторические данные и выбрали необходимые параметры для обучения модели, выполните следующие шаги для создания модели:
- На консоли Amazon Fraud Detector выберите Модели в навигационной панели.
- Выберите Добавить модель, а затем выберите Создать модель.
- На Определить детали модели страница, введите
mortgage_fraud_detection_model
в качестве названия модели и необязательного описания модели. - Что касается Тип модели, выбрать Статистика онлайн-мошенничества модели.
- Что касается Тип события, выберите
docfraud
. Это тип события, который вы создали ранее. - В Исторические данные о событиях раздел, укажите следующую информацию:
- Что касается Источник данных о событии, выберите Данные о событиях сохраняются и загружаются в S3 (или AFD)..
- Что касается Роль IAM, выберите роль, которую вы создали ранее.
- Что касается Расположение данных обучения, введите URI-путь S3 к файлу данных примера.
- Выберите Следующая.
- В Модель входов раздел, оставьте все флажки отмеченными. По умолчанию Amazon Fraud Detector использует все переменные из вашего набора данных исторических событий в качестве входных данных модели.
- В Классификация этикеток раздел, для Этикетки для мошенничества, выберите
fraud
, что соответствует значению, которое представляет мошеннические события в примере набора данных. - Что касается Законные ярлыки, выберите
legit
, что соответствует значению, представляющему законные события в примере набора данных. - Что касается Немаркированные события, сохранить выбор по умолчанию Игнорировать непомеченные события для этого примера набора данных.
- Выберите Следующая.
- Проверьте настройки, затем выберите Создать и обучить модель.
Amazon Fraud Detector создает модель и начинает обучение новой версии модели.
На Версии модели страницы, Статус: столбец указывает статус обучения модели. Обучение модели с использованием примера набора данных занимает около 45 минут. Статус изменится на Готов к развертыванию после завершения обучения модели.
Обзор производительности модели
После завершения обучения модели Amazon Fraud Detector проверяет производительность модели, используя 15 % ваших данных, которые не использовались для обучения модели, и предоставляет различные инструменты, включая диаграмму распределения оценок и матрицу неточностей, для оценки производительности модели.
Чтобы просмотреть производительность модели, выполните следующие действия:
- На консоли Amazon Fraud Detector выберите Модели в навигационной панели.
- Выберите модель, которую вы только что обучили (
sample_fraud_detection_model
), тогда выбирай 1.0. Это версия вашей модели, созданная Amazon Fraud Detector. - Обзор Модель производительности общий балл и все другие показатели, созданные Amazon Fraud Detector для этой модели.
Развернуть модель
После того, как вы просмотрели показатели производительности вашей обученной модели и готовы использовать ее для прогнозирования мошенничества, вы можете развернуть модель:
- На консоли Amazon Fraud Detector выберите Модели в навигационной панели.
- Выбери модель
sample_fraud_detection_model
, а затем выберите конкретную версию модели, которую вы хотите развернуть. Для этого поста выберите 1.0. - На Версия модели страницу, на Действия Меню, выберите Развернуть версию модели.
На Версии модели страницы, Статус: показывает статус развертывания. Статус изменится на Активные когда развертывание будет завершено. Это означает, что версия модели активирована и доступна для прогнозирования мошенничества.
Создать детектор
После развертывания модели вы создаете детектор для docfraud
тип события и добавьте развернутую модель. Выполните следующие шаги:
- На консоли Amazon Fraud Detector выберите Детекторы в навигационной панели.
- Выберите Создать детектор.
- На Определите детали детектора страница, введите
fraud_detector
для имени детектора и, при необходимости, введите описание детектора, например мой детектор мошенничества с образцами. - Что касается Тип события, выберите
docfraud
. Это событие, которое вы создали ранее. - Выберите Следующая.
Добавьте правила для интерпретации
После создания модели Amazon Fraud Detector вы можете использовать консоль Amazon Fraud Detector или интерфейс прикладного программирования (API) для определения бизнес-правил (условий, которые сообщают Amazon Fraud Detector, как интерпретировать показатель производительности модели при оценке прогнозирования мошенничества). . Чтобы согласовать процесс андеррайтинга ипотеки, вы можете создать правила для пометки заявок на ипотеку в соответствии с уровнями риска, связанными с мошенничеством, законностью или необходимостью проверки.
Например, вы можете захотеть автоматически отклонять заявки на ипотеку с высоким риском мошенничества, учитывая такие параметры, как поддельные изображения необходимых документов, недостающие документы, такие как платежные квитанции или требования к доходу, и так далее. С другой стороны, некоторым приложениям может потребоваться участие человека для принятия эффективных решений.
Amazon Fraud Detector использует агрегированное значение (рассчитанное путем объединения набора необработанных переменных) и необработанное значение (значение, указанное для переменной) для создания оценок модели. Оценки модели могут находиться в диапазоне от 0 до 1000, где 0 указывает на низкий риск мошенничества, а 1000 — на высокий риск мошенничества.
Чтобы добавить соответствующие бизнес-правила, выполните следующие действия:
- На консоли Amazon Fraud Detector выберите Правила в навигационной панели.
- Выберите Добавить правил.
- В Определить правило раздел введите фрод в качестве имени правила и, при необходимости, введите описание.
- Что касается Выражениевведите выражение правила, используя упрощенный язык выражения правил Amazon Fraud Detector.
$docdraud_insightscore >= 900
- Что касается Результаты, выберите Создать новый результат (Результат — это результат прогнозирования мошенничества, который возвращается, если правило соответствует во время оценки.)
- В Создать новый результат В разделе введите «Отклонение» в качестве названия результата и необязательного описания.
- Выберите Сохранить результат
- Выберите Добавить правил для запуска проверки проверки правил и сохранения правила.
- После создания Amazon Fraud Detector выполняет следующие действия:
high_risk
правило, доступное для использования в вашем металлоискателе.- Название правила:
fraud
- Результат:
decline
- Выражение:
$docdraud_insightscore >= 900
- Название правила:
- Выберите Добавить другое правило, а затем выберите Создать правило вкладка, чтобы добавить еще 2 правила, как показано ниже:
- Создайте
low_risk
правило со следующими деталями:- Название правила:
legit
- Результат:
approve
- Выражение:
$docdraud_insightscore <= 500
- Название правила:
- Создайте
medium_risk
правило со следующими деталями:- Название правила:
review needed
- Результат:
review
- Выражение:
$docdraud_insightscore <= 900 and docdraud_insightscore >=500
- Название правила:
Эти значения являются примерами, использованными в этом посте. При создании правил для собственного детектора используйте значения, соответствующие вашей модели и варианту использования.
- После того, как вы создали все три правила, выберите Следующая.
Разверните API для прогнозирования
После запуска действий на основе правил вы можете развернуть API-интерфейс Amazon Fraud Detector для оценки кредитных заявок и прогнозирования потенциального мошенничества. Прогнозы могут выполняться в пакетном режиме или в режиме реального времени.
Интегрируйте свою модель SageMaker (необязательно)
Если у вас уже есть модель обнаружения мошенничества в SageMaker, вы можете интегрировать ее с Amazon Fraud Detector для достижения желаемых результатов.
Это означает, что вы можете использовать в своем приложении модели SageMaker и Amazon Fraud Detector для обнаружения различных типов мошенничества. Например, ваше приложение может использовать модель Amazon Fraud Detector для оценки риска мошенничества в учетных записях клиентов и одновременно использовать вашу модель PageMaker для проверки риска компрометации учетной записи.
Убирать
Чтобы избежать каких-либо расходов в будущем, удалите ресурсы, созданные для решения, включая следующие:
- Ковш S3
- Конечная точка Amazon Fraud Detector
Заключение
В этом посте вы познакомились с автоматизированным и индивидуальным решением для обнаружения мошенничества в процессе андеррайтинга ипотеки. Это решение позволяет обнаруживать попытки мошенничества ближе к моменту совершения мошенничества и помогает андеррайтерам эффективно принимать решения. Кроме того, гибкость реализации позволяет определять бизнес-правила для классификации и отслеживания попыток мошенничества, адаптированных к конкретным бизнес-потребностям.
Для получения дополнительной информации о создании комплексного решения для обнаружения мошенничества с ипотечными документами см. Часть 1 и Часть 2 в этой серии.
Об авторах
Ануп Равиндранат — старший архитектор решений в Amazon Web Services (AWS) в Торонто, Канада, работающий с организациями финансовых услуг. Он помогает клиентам трансформировать свой бизнес и внедрять инновации в облаке.
Винни Сайни — старший архитектор решений в Amazon Web Services (AWS) в Торонто, Канада. Она помогает клиентам финансовых услуг трансформироваться в облако, используя решения на основе искусственного интеллекта и машинного обучения, заложенные на прочной основе архитектурного совершенства.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/automate-mortgage-document-fraud-detection-using-an-ml-model-and-business-defined-rules-with-amazon-fraud-detector-part-3/
- :имеет
- :является
- :нет
- :куда
- $UP
- 100
- 15%
- 7
- 900
- a
- О нас
- приемлемый
- доступ
- По
- Учетная запись
- Учетные записи
- действия
- активно
- деятельность
- Добавить
- дополнительный
- Дополнительно
- После
- AI
- выравнивать
- Все
- позволяет
- уже
- Amazon
- Амазон детектор мошенничества
- Amazon Web Services
- Веб-службы Amazon (AWS)
- an
- и
- Другой
- любой
- API
- Применение
- Приложения
- подхода
- соответствующий
- примерно
- архитектурный
- архитектура
- МЫ
- AS
- оценить
- связанный
- At
- попытки
- автоматизировать
- Автоматизированный
- автоматически
- доступен
- избежать
- AWS
- основанный
- BE
- было
- до
- начинается
- ниже
- между
- изоферменты печени
- строить
- Строительство
- встроенный
- бизнес
- бизнес
- но
- кнопка
- by
- рассчитанный
- под названием
- CAN
- Канада
- захватить
- случаев
- определенный
- изменения
- расходы
- График
- проверка
- проверил
- Выберите
- классификация
- классифицировать
- нажмите на
- ближе
- облако
- Column
- комбинируя
- полный
- компонент
- скомпрометированы
- компьютер
- Компьютерное зрение
- концептуальный
- Условия
- замешательство
- принимая во внимание
- Консоли
- соответствует
- покрытие
- Создайте
- создали
- создает
- изготовленный на заказ
- клиент
- Клиенты
- подгонянный
- данным
- решение
- Принятие решений
- решения
- Отклонить
- глубоко
- По умолчанию
- определять
- определяющий
- демонстрирует
- развертывание
- развернуть
- развертывание
- описание
- подробнее
- обнаруживать
- обнаружение
- развивать
- диаграмма
- различный
- обсуждается
- распределение
- документ
- Документация
- управляемый
- в течение
- каждый
- Ранее
- Эффективный
- элементы
- впритык
- Двигатель
- Enter
- организация
- оценивать
- оценки
- оценка
- События
- События
- пример
- Примеры
- Превосходство
- выражение
- Файл
- Файлы
- финансовый
- финансовые услуги
- Трансформируемость
- после
- следующим образом
- Что касается
- кованый
- формат
- основополагающий
- мошенничество
- обнаружение мошенничества
- и мошенническими
- от
- полностью
- будущее
- порождать
- генерируется
- рука
- Есть
- he
- Заголовки
- помощь
- помогает
- High
- Выделите
- очень
- исторический
- Как
- How To
- HTTP
- HTTPS
- человек
- идентифицирующий
- if
- изображений
- реализация
- улучшать
- улучшение
- in
- В том числе
- доход
- неправильный
- указывает
- информация
- начатый
- обновлять
- затраты
- интегрировать
- Интерфейс
- включает в себя
- IT
- JPG
- всего
- Сохранить
- этикетка
- Этикетки
- заложены
- язык
- изучение
- наименее
- Оставлять
- законный
- кредитование
- уровни
- такое как
- логика
- Низкий
- машина
- обучение с помощью машины
- сделать
- ДЕЛАЕТ
- Создание
- управляемого
- многих
- спички
- матрица
- зрелый
- Май..
- Метрика
- Минут
- отсутствующий
- ML
- модель
- Модели
- месяцев
- БОЛЕЕ
- Ипотека
- должен
- my
- имя
- Навигация
- Необходимость
- необходимый
- потребности
- Новые
- следующий
- сейчас
- цель
- вхождение
- of
- Старый
- on
- Опции
- or
- организации
- Другое
- наши
- Результат
- выходы
- общий
- собственный
- страница
- хлеб
- параметры
- часть
- путь
- производительность
- выполнены
- Разрешения
- столбы
- трубопровод
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- После
- потенциал
- предсказывать
- прогноз
- Predictions
- привилегированный
- (например,
- предпосылка
- представить
- представлены
- процесс
- Профиль
- Программирование
- обеспечивать
- при условии
- приводит
- Сырье
- готовый
- реальные
- реального времени
- последний
- Управление по борьбе с наркотиками (DEA)
- относиться
- область
- представлять
- представляет
- обязательный
- Требования
- Полезные ресурсы
- те
- результат
- Итоги
- обзоре
- отзывы
- Снижение
- Роли
- Правило
- условиями,
- Run
- sagemaker
- образец
- Сохранить
- сохраняются
- Шкала
- Гол
- Во-вторых
- Раздел
- посмотреть
- выбранный
- выбор
- старший
- Серии
- обслуживание
- Услуги
- набор
- установка
- настройки
- она
- Шоу
- аналогичный
- просто
- одновременно
- So
- Решение
- Решения
- конкретный
- Этап
- Статус:
- Шаг
- Шаги
- диск
- хранить
- сильный
- такие
- Поддержанный
- приняты
- принимает
- сказать
- который
- Ассоциация
- их
- тогда
- Эти
- В третьих
- этой
- три
- Через
- время
- в
- слишком
- инструменты
- Торонто
- к
- Train
- специалистов
- Обучение
- Transform
- срабатывает
- напишите
- Типы
- андеррайтинг
- загружено
- Загрузка
- использование
- прецедент
- используемый
- использования
- через
- Проверка
- ценностное
- Наши ценности
- переменная
- различный
- версия
- версии
- Вид
- видение
- ходил
- хотеть
- законопроект
- we
- Web
- веб-сервисы
- когда
- , которые
- в то время как
- будете
- Рабочие процессы
- работает
- Ты
- ВАШЕ
- зефирнет