Amazon Lookout para métricas es un servicio de AWS que utiliza el aprendizaje automático (ML) para monitorear automáticamente las métricas más importantes para las empresas con mayor velocidad y precisión. El servicio también facilita el diagnóstico de la causa raíz de las anomalías, como caídas inesperadas en los ingresos, altas tasas de carritos de compras abandonados, picos en las fallas de las transacciones de pago, aumentos en las suscripciones de nuevos usuarios y mucho más. Lookout for Metrics va más allá de la simple detección de anomalías. Permite a los desarrolladores configurar un monitoreo autónomo para métricas importantes para detectar anomalías e identificar su causa raíz en cuestión de unos pocos clics para detectar anomalías en sus métricas, todo sin necesidad de experiencia en ML.
Atenea amazónica es un servicio de consulta interactivo que facilita el análisis de datos en Servicio de almacenamiento simple de Amazon (Amazon S3) utilizando SQL estándar. Simplemente apunte a sus datos en Amazon S3, defina el esquema y comience a consultar usando SQL estándar. La mayoría de los resultados se entregan en segundos. Con Athena, no es necesario realizar trabajos complejos de ETL para preparar sus datos para el análisis. Esto facilita que cualquier persona con conocimientos de SQL analice rápidamente conjuntos de datos a gran escala.
Con el lanzamiento de hoy, Lookout for Metrics ahora puede conectarse sin problemas a sus datos en Athena para configurar detectores de anomalías de alta precisión. Esto le permite implementar rápidamente la detección de anomalías de última generación a través de ML con Lookout for Metrics en cualquier conjunto de datos que esté disponible en Athena.
La conectividad de Athena amplía las capacidades de Lookout for Metrics al brindar los siguientes beneficios:
- Amplía las capacidades de Lookout for Metrics en términos de soporte de tipo de archivo. Antes de esto, Lookout for Metrics admitía archivos con formato CSV y JSONLines, pero con Athena esto se ha ampliado a Parquet, Avro, Plaintext y más. Si puede analizarlo a través de Athena, ahora es posible importarlo y aprovecharlo con Lookout for Metrics.
- También introduce soporte para datos con consultas federadas. Antes de este lanzamiento, si sus datos estaban almacenados en varias bases de datos o fuentes, tendría que definir un proceso ETL completo y complejo, así como administrar sus características de rendimiento antes de poder exportar todos los datos a un archivo CSV o JSONLines e ingresarlos. en Lookout for Metrics for Anomaly Detection. Con las consultas federadas de Athena, usted define las fuentes dispares, así como también cómo se debe realizar la unión y cuando los datos se han procesado y Athena puede consultarlos, están listos de inmediato para Lookout for Metrics. Esto le permite transferir la carga de la transformación, agregación y ubicación de entrega de datos a Athena y solo concentrarse en las anomalías identificadas de Lookout for Metrics.
Resumen de la solución
En esta publicación, demostramos cómo integrar una tabla de Athena y detectar anomalías en las métricas de ingresos. También hacemos un seguimiento de cómo se ven afectadas la tasa de pedidos y las métricas de inventario. Los datos de origen se encuentran en Amazon S3 y hemos configurado las tablas de Athena para poder consultar los datos que contiene. Un AWS Lambda es responsable de actualizar las particiones dentro de Athena, que son utilizadas por Lookout for Metrics para detectar anomalías. Esta solución le permite utilizar una fuente de datos de Athena para Lookout for Metrics.
Puede utilizar el proporcionado Formación en la nube de AWS stack para configurar recursos para el tutorial. Contiene recursos para generar continuamente datos en vivo y los hace consultables en Athena.
- Inicie la pila desde el siguiente enlace y seleccione Next en la página Crear pila.
- En Especificar detalles de la pila página, agregue los valores de arriba, asígnele un nombre de pila (por ejemplo,
L4MAthenaDetector
) y seleccione Siguiente. - En Configurar opciones de pila página, deje todo como está y seleccione Siguiente.
Configurar un nuevo detector con Athena como fuente de datos
Paso 1
Inicie sesión en el AWS Console para comenzar a crear un detector de anomalías con Lookout for Metrics. El primer paso es seleccionar el botón “Crear detector”.
Paso 2
Complete los campos obligatorios del detector como el nombre. Seleccione el intervalo de detección para el detector, que está determinado por la frecuencia con la que desea que Lookout for Metrics consulte sus datos y los supervise en busca de anomalías. La información de cifrado no es obligatoria. La información de encriptación permite que Lookout for Metrics encripte sus datos usando su Servicio de administración de claves de AWS (KMS) llave. En este ejemplo, omitiremos agregar una clave de cifrado, Lookout for Metrics usaría el cifrado predeterminado para cifrar sus datos si no se proporciona información de cifrado, y procederá seleccionando el botón "Crear".
Paso 3
Tras la creación del detector de anomalías, verá una confirmación en un banner en la parte superior. Puede continuar seleccionando "Agregar un conjunto de datos" a través del banner o el botón debajo de "Agregar un conjunto de datos".
Complete la información básica para la fuente de datos. La zona horaria es un campo opcional. Seleccione el menú desplegable para seleccionar una fuente de datos.
Lookout for Metrics admite múltiples fuentes de datos para comodidad de los clientes. Para este ejemplo, seleccionaremos Athena.
Una vez que se selecciona Athena como fuente de datos, tendrá la opción de seleccionar el modo Backtest o Continuo para el detector. Para este ejemplo, procederemos usando el modo Continuo. Continúe agregando detalles para la tabla de Athena que desea monitorear en busca de anomalías.
Puede permitir que el servicio cree un rol de Servicio o puede usar un rol existente Administración de acceso e identidad de AWS (IAM) en su cuenta para consultas federadas. Tenga en cuenta que Lookout for Metrics no admite la creación automática de roles de IAM para consultas federadas. Por lo tanto, tendría que crear un nuevo rol de IAM para permitir que Athena realice las siguientes acciones en sus datos:
CreatePreparedStatement
GetPreparedStatement
GetQueryResultsStream
DeletePreparedStatement
GetDatabase
GetQueryResults
GetWorkGroup
GetTableMetadata
StartQueryExecution
GetQueryExecution
El rol de IAM creado por el servicio tiene el siguiente aspecto:
Paso 4
Ahora definiremos métricas relevantes para el detector. Lookout for Metrics completará los menús desplegables con las columnas presentes en la tabla de Athena suministrada. Puede seleccionar hasta cinco métricas y cinco dimensiones. Lookout for Metrics requiere que los datos de su tabla se particionen como marcas de tiempo para la columna de marca de tiempo. También tendrá la opción de estimar el costo de este detector agregando la cantidad de valores en sus dimensiones.
Una vez que haya seleccionado todas las métricas, continúe seleccionando el botón "Siguiente". Revise los detalles y seleccione el botón "Guardar conjunto de datos" para guardar el conjunto de datos.
Paso 5
Una vez que se crea el conjunto de datos, activaremos el detector seleccionando el botón "Activar" en la parte superior o el botón "Activar detector" en la sección "Cómo funciona".
Se le pedirá que confirme si desea activar el detector para la detección continua. Seleccione "Activar" para confirmar.
Verá una confirmación informando que el detector se está activando.
Paso 6
Una vez que el detector de anomalías está activo, puede usar la pestaña "Registro del detector" en la página de detalles del detector para revisar las ejecuciones de detección que ha realizado el servicio.
Paso 7
Puede seleccionar el botón "Ver anomalías" en la página de detalles del detector para inspeccionar manualmente las anomalías que puede haber detectado el servicio.
Paso 8
En la página de revisión de anomalías, puede ajustar el umbral de puntuación de gravedad en el dial de umbral para filtrar anomalías por encima de una puntuación seleccionada.
Revisar y analizar los resultados.
Al detectar una anomalía, Lookout for Metrics lo ayuda a concentrarse en lo que más importa al asignar un puntaje de gravedad para ayudar a la priorización. Para ayudarlo a encontrar la causa raíz, agrupa de manera inteligente las anomalías que pueden estar relacionadas con el mismo incidente y luego resume las diferentes fuentes de impacto.
Lookout for Metrics también le permite proporcionar comentarios en tiempo real sobre la relevancia de las anomalías detectadas, lo que habilita un poderoso mecanismo humano en el circuito. Esta información se retroalimenta al modelo de detección de anomalías para mejorar su precisión casi en tiempo real.
Limpiar
Para evitar incurrir en cargos adicionales por el recurso configurado para la demostración, puede eliminar el detector creado en Lookout for Metrics y la pila creada a través de CloudFormation.
Conclusión
Puede conectarse sin problemas a sus datos en Athena con Lookout for Metrics para configurar un detector de anomalías de alta precisión en todas las métricas y dimensiones dentro de sus tablas de Athena. Para comenzar con esta capacidad, consulte Uso de Amazon Athena con Lookout para métricas. Puede usar esta capacidad en todas las regiones donde Lookout for Metrics está disponible públicamente. Para obtener más información sobre la disponibilidad de regiones, consulte Servicios regionales de AWS.
Acerca de los autores
Devesh Ratho es ingeniero de desarrollo de software en el equipo Lookout for Metrics. Sus intereses radican en la construcción de sistemas distribuidos escalables. En su tiempo libre, disfruta de las carreras de simulación.
Chris King es un arquitecto de soluciones sénior en IA aplicada con AWS. Tiene un interés especial en el lanzamiento de servicios de inteligencia artificial y ayudó a crecer y construir Amazon Personalize y Amazon Forecast antes de enfocarse en Amazon Lookout for Metrics. En su tiempo libre le gusta cocinar, leer, boxear y construir modelos para predecir el resultado de los deportes de combate.
- Coinsmart. El mejor intercambio de Bitcoin y criptografía de Europa.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. ACCESO LIBRE.
- CriptoHawk. Radar de altcoins. Prueba gratis.
- Fuente: https://aws.amazon.com/blogs/machine-learning/seamfully-connect-amazon-athena-with-amazon-lookout-for-metrics-to-detect-anomalies/
- "
- 100
- Nuestra Empresa
- de la máquina
- Mi Cuenta
- preciso
- a través de
- la columna Acción
- acciones
- lector activo
- Adicionales
- AI
- Servicios de IA
- Todos
- Amazon
- análisis
- nadie
- Confirmación de Viaje
- autónomo
- disponibilidad
- Hoy Disponibles
- AWS
- bandera
- antes
- beneficios
- Más allá de
- frontera
- Boxeo
- build
- Construir la
- negocios
- capacidades
- Causar
- cargos
- Columna
- luchar contra la
- integraciones
- condición
- Contacto
- Conectividad
- contiene
- comodidad
- podría
- Para crear
- creado
- Creamos
- creación
- Clientes
- datos
- bases de datos
- liberado
- entrega
- demostrar
- desplegar
- detalles
- detectado
- Detección
- desarrolladores
- Desarrollo
- una experiencia diferente
- distribuidos
- No
- efecto
- permitiendo
- cifrado
- ingeniero
- estimación
- todo
- ejemplo
- existente
- expandido
- experience
- Fed
- realimentación
- Terrenos
- Nombre
- Focus
- enfoque
- siguiendo
- generar
- mayor
- Grupo
- Crecer
- ayuda
- ayuda
- Alta
- altamente
- Cómo
- Como Hacer
- HTTPS
- Identifique
- Identidad
- Impacto
- importante
- mejorar
- información
- Las opciones de entrada
- integrar
- interactivo
- intereses
- intereses
- inventario
- IT
- Empleo
- únete
- Clave
- King
- lanzamiento
- lanzamiento
- aprendizaje
- Abandonar
- Apalancamiento
- LINK
- Ubicación
- máquina
- máquina de aprendizaje
- HACE
- gestionan
- Management
- obligatorio
- a mano
- Materia
- Cuestiones
- Métrica
- ML
- modelo
- modelos
- Monitorear
- monitoreo
- más,
- MEJOR DE TU
- múltiples
- número
- Optión
- solicite
- pago
- actuación
- personalizar
- punto
- posible
- poderoso
- predecir
- Preparar
- presente
- proporcionar
- con rapidez
- carreras
- Tarifas
- Reading
- en tiempo real
- regional
- Requisitos
- requiere
- Recurso
- Recursos
- responsable
- Resultados
- ingresos
- una estrategia SEO para aparecer en las búsquedas de Google.
- escalable
- sin problemas
- segundos
- seleccionado
- de coches
- Servicios
- set
- Compras
- Tarjeta SIM
- sencillos
- habilidades
- Software
- Desarrollo de software ad-hoc
- sólido
- a medida
- Soluciones
- especial
- velocidad
- Deportes
- montón
- estándar
- comienzo
- fundó
- el estado de la técnica
- Posicionamiento
- STORAGE
- SOPORTE
- Soportado
- soportes
- Todas las funciones a su disposición
- equipo
- La Fuente
- por lo tanto
- umbral
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- de hoy
- parte superior
- seguir
- transaccional
- bajo
- actualización
- utilizan el
- versión
- ¿
- dentro de
- se