Esta es una publicación de blog de invitado coescrita con Vik Pant y Kyle Bassett de PwC.
Dado que las organizaciones invierten cada vez más en aprendizaje automático (ML), la adopción de ML se ha convertido en una parte integral de las estrategias de transformación empresarial. Un reciente CEO de PwC encuesta dio a conocer que el 84 % de los directores ejecutivos canadienses están de acuerdo en que la inteligencia artificial (IA) cambiará significativamente su negocio en los próximos 5 años, lo que hará que esta tecnología sea más crítica que nunca. Sin embargo, la implementación de ML en producción conlleva varias consideraciones, en particular, poder navegar por el mundo de la IA de manera segura, estratégica y responsable. Uno de los primeros pasos y, en particular, un gran desafío para convertirse en impulsado por IA, es desarrollar de manera efectiva canalizaciones de ML que puedan escalar de manera sostenible en la nube. Pensar en ML en términos de canalizaciones que generan y mantienen modelos en lugar de modelos por sí mismos ayuda a construir sistemas de predicción versátiles y resistentes que pueden resistir mejor los cambios significativos en los datos relevantes a lo largo del tiempo.
Muchas organizaciones comienzan su viaje al mundo de ML con un punto de vista centrado en el modelo. En las primeras etapas de la creación de una práctica de ML, la atención se centra en el entrenamiento de modelos de ML supervisados, que son representaciones matemáticas de relaciones entre entradas (variables independientes) y salidas (variables dependientes) que se aprenden a partir de datos (normalmente históricos). Los modelos son artefactos matemáticos que toman datos de entrada, realizan cálculos y cálculos sobre ellos y generan predicciones o inferencias.
Si bien este enfoque es un punto de partida razonable y relativamente simple, no es intrínsecamente escalable ni intrínsecamente sostenible debido a la naturaleza manual y ad hoc de las actividades de capacitación, ajuste, prueba y prueba del modelo. Las organizaciones con mayor madurez en el dominio de ML adoptan un paradigma de operaciones de ML (MLOps) que incorpora integración continua, entrega continua, implementación continua y capacitación continua. Un elemento central de este paradigma es un punto de vista centrado en la canalización para desarrollar y operar sistemas de ML de potencia industrial.
En esta publicación, comenzamos con una descripción general de MLOps y sus beneficios, describimos una solución para simplificar sus implementaciones y brindamos detalles sobre la arquitectura. Terminamos con un estudio de caso que destaca los beneficios obtenidos por un gran cliente de AWS y PwC que implementó esta solución.
Antecedentes
Una canalización de MLOps es un conjunto de secuencias de pasos interrelacionados que se utilizan para crear, implementar, operar y administrar uno o más modelos de ML en producción. Dicha canalización abarca las etapas involucradas en la creación, prueba, ajuste e implementación de modelos ML, que incluyen, entre otros, la preparación de datos, la ingeniería de características, la capacitación, evaluación, implementación y monitoreo de modelos. Como tal, un modelo de ML es el producto de una canalización de MLOps y una canalización es un flujo de trabajo para crear uno o más modelos de ML. Tales canalizaciones admiten procesos estructurados y sistemáticos para construir, calibrar, evaluar e implementar modelos de ML, y los propios modelos generan predicciones e inferencias. Al automatizar el desarrollo y la puesta en funcionamiento de las etapas de las canalizaciones, las organizaciones pueden reducir el tiempo de entrega de modelos, aumentar la estabilidad de los modelos en producción y mejorar la colaboración entre equipos de científicos de datos, ingenieros de software y administradores de TI.
Resumen de la solución
AWS ofrece una cartera integral de servicios nativos de la nube para desarrollar y ejecutar canalizaciones de MLOps de manera escalable y sostenible. Amazon SageMaker comprende una cartera integral de capacidades como un servicio MLOps completamente administrado para permitir que los desarrolladores creen, entrenen, implementen, operen y administren modelos ML en la nube. SageMaker cubre todo el flujo de trabajo de MLOps, desde la recopilación hasta la preparación y el entrenamiento de los datos con algoritmos integrados de alto rendimiento y sofisticados experimentos automatizados de aprendizaje automático (AutoML) para que las empresas puedan elegir modelos específicos que se ajusten a sus prioridades y preferencias comerciales. SageMaker permite a las organizaciones automatizar de forma colaborativa la mayor parte del ciclo de vida de sus MLOps para que puedan centrarse en los resultados empresariales sin arriesgarse a sufrir retrasos en los proyectos o aumentar los costes. De esta forma, SageMaker permite a las empresas centrarse en los resultados sin preocuparse por la infraestructura, el desarrollo y el mantenimiento asociados con la potenciación de los servicios de predicción de potencia industrial.
SageMaker incluye JumpStart de Amazon SageMaker, que ofrece patrones de solución listos para usar para organizaciones que buscan acelerar su proceso de MLOps. Las organizaciones pueden comenzar con modelos preentrenados y de código abierto que se pueden ajustar para satisfacer sus necesidades específicas mediante el reciclaje y la transferencia del aprendizaje. Además, JumpStart proporciona plantillas de solución diseñadas para abordar casos de uso comunes, así como ejemplos de notebooks Jupyter con código de inicio preescrito. Se puede acceder a estos recursos simplemente visitando la página de inicio de JumpStart dentro de Estudio Amazon SageMaker.
PwC ha creado un acelerador de MLOps preempaquetado que acelera aún más el tiempo de generación de valor y aumenta el retorno de la inversión para las organizaciones que usan SageMaker. Este acelerador de MLOps mejora las capacidades nativas de JumpStart mediante la integración de servicios complementarios de AWS. Con un conjunto integral de artefactos técnicos, que incluyen scripts de infraestructura como código (IaC), flujos de trabajo de procesamiento de datos, código de integración de servicios y plantillas de configuración de canalización, el acelerador MLOps de PwC simplifica el proceso de desarrollo y operación de sistemas de predicción de clase de producción.
Descripción de la arquitectura
La inclusión de servicios sin servidor nativos en la nube de AWS se prioriza en la arquitectura del acelerador PwC MLOps. El punto de entrada a este acelerador es cualquier herramienta de colaboración, como Slack, que un científico de datos o un ingeniero de datos puede usar para solicitar un entorno de AWS para MLOps. Dicha solicitud se analiza y luego se aprueba de forma total o semiautomática utilizando las funciones de flujo de trabajo en esa herramienta de colaboración. Una vez que se aprueba una solicitud, sus detalles se utilizan para parametrizar las plantillas de IaC. El código fuente de estas plantillas IaC se gestiona en Compromiso de código de AWS. Estas plantillas IaC parametrizadas se envían a Formación en la nube de AWS para modelar, aprovisionar y administrar pilas de recursos de AWS y de terceros.
El siguiente diagrama ilustra el flujo de trabajo.
Una vez que AWS CloudFormation aprovisiona un entorno para MLOps en AWS, el entorno está listo para que lo utilicen los científicos de datos, los ingenieros de datos y sus colaboradores. El acelerador PWC incluye roles predefinidos en Gestión de identidades y accesos de AWS (IAM) que están relacionados con las actividades y tareas de MLOps. Estos roles especifican los servicios y recursos en el entorno de MLOps a los que pueden acceder varios usuarios en función de sus perfiles de trabajo. Después de acceder al entorno de MLOps, los usuarios pueden acceder a cualquiera de las modalidades de SageMaker para realizar sus funciones. Estos incluyen instancias de cuadernos de SageMaker, Piloto automático Amazon SageMaker experimentos y Studio. Puede beneficiarse de todas las características y funciones de SageMaker, incluida la capacitación, el ajuste, la evaluación, la implementación y la supervisión de modelos.
El acelerador también incluye conexiones con Zona de datos de Amazon para compartir, buscar y descubrir datos a escala a través de los límites de la organización para generar y enriquecer modelos. Del mismo modo, los datos para entrenar, probar, validar y detectar la desviación del modelo pueden generar una variedad de servicios, que incluyen Desplazamiento al rojo de Amazon, Servicio de base de datos relacional de Amazon (Amazon RDS), Sistema de archivos elástico de Amazon (Amazon EFS), y Servicio de almacenamiento simple de Amazon (Amazon S3). Los sistemas de predicción se pueden implementar de muchas maneras, incluso como puntos finales de SageMaker directamente, puntos finales de SageMaker envueltos en AWS Lambda funciones y extremos de SageMaker invocados a través de código personalizado en Servicio Amazon Elastic Kubernetes (Amazon EKS) o Nube informática elástica de Amazon (Amazon EC2). Reloj en la nube de Amazon se utiliza para monitorear el entorno para MLOps en AWS de manera integral para observar alarmas, registros y datos de eventos de toda la pila (aplicaciones, infraestructura, red y servicios).
El siguiente diagrama ilustra esta arquitectura.
Estudio de caso
En esta sección, compartimos un estudio de caso ilustrativo de una gran compañía de seguros en Canadá. Se centra en el impacto transformador de la implementación del acelerador MLOps de PwC Canadá y las plantillas JumpStart.
Este cliente se asoció con PwC Canadá y AWS para abordar los desafíos con el desarrollo de modelos ineficientes y los procesos de implementación ineficaces, la falta de coherencia y colaboración, y la dificultad para escalar modelos de ML. La implementación de este MLOps Accelerator junto con las plantillas JumpStart logró lo siguiente:
- Automatización de un extremo a otro – La automatización redujo casi a la mitad la cantidad de tiempo para el preprocesamiento de datos, la capacitación de modelos, el ajuste de hiperparámetros y la implementación y el monitoreo de modelos.
- Colaboración y estandarización – Las herramientas y marcos estandarizados para promover la coherencia en toda la organización casi duplicaron la tasa de innovación del modelo.
- Gobernanza modelo y cumplimiento – Implementaron un marco de gobierno modelo para garantizar que todos los modelos de ML cumplieran con los requisitos reglamentarios y se adhirieran a las pautas éticas de la empresa, lo que redujo los costos de gestión de riesgos en un 40 %.
- Infraestructura de nube escalable – Invirtieron en infraestructura escalable para administrar de manera efectiva volúmenes de datos masivos e implementar múltiples modelos de ML simultáneamente, reduciendo los costos de infraestructura y plataforma en un 50 %.
- Despliegue rápido – La solución preempaquetada redujo el tiempo de producción en un 70 %
Al ofrecer las mejores prácticas de MLOps a través de paquetes de implementación rápida, nuestro cliente pudo eliminar el riesgo de su implementación de MLOps y desbloquear todo el potencial de ML para una variedad de funciones comerciales, como la predicción de riesgos y la fijación de precios de activos. En general, la sinergia entre el acelerador PwC MLOps y JumpStart permitió a nuestro cliente optimizar, escalar, asegurar y mantener sus actividades de ingeniería y ciencia de datos.
Cabe señalar que la solución de PwC y AWS no es específica de la industria y es relevante en todas las industrias y sectores.
Conclusión
SageMaker y sus aceleradores permiten a las organizaciones mejorar la productividad de su programa ML. Hay muchos beneficios, incluidos, entre otros, los siguientes:
- Cree en colaboración casos de uso de IaC, MLOps y AutoML para obtener beneficios comerciales de la estandarización
- Habilite la creación de prototipos experimentales eficientes, con y sin código, para impulsar la IA desde el desarrollo hasta la implementación con IaC, MLOps y AutoML
- Automatice tareas tediosas y que consumen mucho tiempo, como la ingeniería de características y el ajuste de hiperparámetros con AutoML
- Emplee un paradigma de monitoreo continuo de modelos para alinear el riesgo del uso del modelo ML con el apetito de riesgo empresarial
Por favor, póngase en contacto con los autores de esta publicación, Asesoría de AWS Canadáo PwC Canadá para obtener más información sobre Jumpstart y el acelerador MLOps de PwC.
Acerca de los autores
Vik es socio en la práctica de Cloud & Data en PwC Canadá. Obtuvo un doctorado en Ciencias de la Información de la Universidad de Toronto. Está convencido de que existe una conexión telepática entre su red neuronal biológica y las redes neuronales artificiales que entrena en SageMaker. Conéctate con él en Etiqueta LinkedIn.
Kyle es socio en la práctica de Cloud & Data en PwC Canada, junto con su equipo de alquimistas tecnológicos, tejen encantadoras soluciones MLOP que hipnotizan a los clientes con un valor comercial acelerado. Armado con el poder de la inteligencia artificial y una pizca de magia, Kyle convierte desafíos complejos en cuentos de hadas digitales, haciendo posible lo imposible. Conéctate con él en Etiqueta LinkedIn.
Francois es consultor asesor principal de AWS Professional Services Canada y líder de la práctica canadiense de asesoramiento en materia de datos e innovación. Guía a los clientes para que establezcan e implementen su viaje general a la nube y sus programas de datos, centrándose en la visión, la estrategia, los impulsores comerciales, la gobernanza, los modelos operativos objetivo y las hojas de ruta. Conéctate con él en Etiqueta LinkedIn.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Acuñando el futuro con Adryenn Ashley. Accede Aquí.
- Compra y Vende Acciones en Empresas PRE-IPO con PREIPO®. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/machine-learning/accelerate-machine-learning-time-to-value-with-amazon-sagemaker-jumpstart-and-pwcs-mlops-accelerator/
- :posee
- :es
- :no
- $ UP
- 100
- 7
- a
- Poder
- Nuestra Empresa
- acelerar
- acelerado
- acelerador
- aceleradores
- de la máquina
- visitada
- el acceso
- alcanzado
- a través de
- actividades
- Ad
- Adicionalmente
- dirección
- administradores
- adoptar
- Adopción
- asesor
- Después
- AI
- algoritmos
- alinear
- Todos
- permitir
- permite
- a lo largo de
- también
- Amazon
- Amazon EC2
- RDS de Amazon
- Amazon SageMaker
- JumpStart de Amazon SageMaker
- Amazon Web Services
- cantidad
- an
- y
- cualquier
- aplicaciones
- enfoque
- aprobado
- arquitectura
- somos
- armado
- artificial
- inteligencia artificial
- Inteligencia Artificial (AI)
- AS
- Evaluación
- activo
- asociado
- At
- Autorzy
- automatizado
- Confirmación de Viaje
- automatizar
- Automatización
- AutoML
- AWS
- Formación en la nube de AWS
- Servicios profesionales de AWS
- basado
- BE
- a las que has recomendado
- cada vez
- "Ser"
- es el beneficio
- beneficios
- MEJOR
- y las mejores prácticas
- mejores
- entre
- Blog
- límites
- build
- Construir la
- construido
- incorporado
- funciones de negocios
- Transformación del negocio
- negocios
- pero
- by
- cálculos
- PUEDEN
- Ubicación: Canadá
- canadiense
- capacidades
- case
- ejemplo
- cases
- central
- ceo
- CEOs
- Reto
- retos
- el cambio
- Cambios
- Elige
- cliente
- clientes
- Soluciones
- infraestructura de nube
- código
- colaboración
- El cobro
- COM
- proviene
- Algunos
- Empresas
- compañía
- De la empresa
- complementario
- completar
- integraciones
- exhaustivo
- incluido
- computaciones
- Calcular
- octubre
- Configuración
- Contacto
- conexión
- Conexiones
- consideraciones
- consultor
- contacte
- continuo
- Precio
- Cubiertas
- grieta
- Para crear
- Creamos
- crítico
- personalizado
- cliente
- Clientes
- datos
- Preparación de datos
- proceso de datos
- Ciencia de los datos
- científico de datos
- Base de datos
- retrasos
- entregar
- entrega
- dependiente
- desplegar
- desplegado
- Desplegando
- despliegue
- describir
- diseñado
- detalles
- desarrolladores
- el desarrollo
- Desarrollo
- Dificultad
- digital
- directamente
- descubrir
- dominio
- duplicado
- conductores
- dos
- Temprano en la
- ganado
- de manera eficaz
- eficiente
- habilitar
- facilita
- permite
- engloba
- ingeniero
- Ingeniería
- certificados
- mejorar
- Mejora
- enriquecer
- garantizar
- Empresa
- Todo
- entrada
- Entorno
- establecer
- ético
- evaluación
- Eventos
- NUNCA
- ejemplo
- experimentos
- Feature
- Caracteristicas
- Archive
- acabado
- Nombre
- primeros pasos
- cómodo
- Focus
- se centra
- enfoque
- siguiendo
- Marco conceptual
- marcos
- Desde
- ser completados
- completamente
- funciones
- promover
- generar
- gobierno
- maravillosa
- mayor
- Invitad@s
- orientaciones
- Guías
- cortado por la mitad
- he
- ayuda
- Alto rendimiento
- destacando
- su
- histórico
- Sin embargo
- HTML
- http
- HTTPS
- Ajuste de hiperparámetros
- Identidad
- ilustra
- Impacto
- implementar
- implementación
- implementado
- implementación
- imposible
- mejorar
- in
- incluir
- incluye
- Incluye
- inclusión
- aumente
- Los aumentos
- cada vez más
- independientes
- industrias
- energético
- ineficiente
- info
- información
- EN LA MINA
- Innovation
- Las opciones de entrada
- entradas
- aseguradora
- un elemento indispensable
- Integración
- integración
- Intelligence
- dentro
- intrínsecamente
- será invertido
- metas de
- inversión extranjera
- invocado
- involucra
- IT
- SUS
- Trabajos
- jpg
- Falta
- aterrizaje
- large
- Lead
- APRENDE:
- aprendido
- aprendizaje
- ciclo de vida
- Limitada
- Etiqueta LinkedIn
- máquina
- máquina de aprendizaje
- mantener
- un mejor mantenimiento.
- Mayoría
- Realizar
- gestionan
- gestionado
- Management
- administrar
- manera
- manual
- muchos
- masivo
- matemático
- madurez
- significativo
- Conoce a
- ML
- MLOps
- modelo
- modelos
- Monitorear
- monitoreo
- más,
- múltiples
- nativo
- Naturaleza
- Navegar
- hace casi
- del sistema,
- telecomunicaciones
- red neural
- redes neuronales
- Next
- notablemente
- cuaderno
- señaló
- observar
- of
- Ofertas
- on
- ONE
- de código abierto
- funcionar
- funcionamiento
- Operaciones
- or
- organización
- organizativo
- para las fiestas.
- nuestros
- Más de
- total
- visión de conjunto
- paquetes
- página
- paradigma
- parte
- Socio
- asociado
- .
- Realizar
- industrial
- plataforma
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- punto
- portafolio
- posible
- Publicación
- posible
- industria
- alimentado
- Alimentación
- prácticas
- predicción
- Predicciones
- preferencias
- preparación
- cotización
- Director de la escuela
- priorizado
- en costes
- tratamiento
- Producto
- Producción
- productividad
- Profesional
- Perfiles
- Programa
- Programas
- proyecto
- promover
- prototipado
- proporcionar
- proporciona un
- PWC
- distancia
- rápido
- Rate
- más bien
- ready
- darse cuenta de
- mejor
- reciente
- reducir
- Reducción
- la reducción de
- regulador
- relacionado
- Relaciones
- relativamente
- solicita
- Requisitos
- resistente
- Recursos
- Resultados
- volvemos
- Riesgo
- Gestión sistemática del riesgo,
- arriesgando
- hojas de ruta
- También soy miembro del cuerpo docente de World Extreme Medicine (WEM) y embajadora europea de igualdad para The Transformational Travel Council (TTC). En mi tiempo libre, soy una incansable aventurera, escaladora, patrona de día, buceadora y defensora de la igualdad de género en el deporte y la aventura. En XNUMX, fundé Almas Libres, una ONG nacida para involucrar, educar y empoderar a mujeres y niñas a través del deporte urbano, la cultura y la tecnología.
- correr
- de manera segura
- sabio
- escalable
- Escala
- la ampliación
- Ciencia:
- Científico
- los científicos
- guiones
- búsqueda
- Sección
- Sectores
- seguro
- la búsqueda de
- Sin servidor
- de coches
- Servicios
- set
- Compartir
- compartir
- tienes
- significativamente
- Del mismo modo
- sencillos
- simplificar
- simplemente
- simultáneamente
- flojo
- So
- Software
- a medida
- Soluciones
- sofisticado
- Fuente
- código fuente
- soluciones y
- velocidades
- Estabilidad
- montón
- Stacks
- etapas
- comienzo
- Comience a
- pasos
- STORAGE
- Estratégicamente
- estrategias
- Estrategia
- aerodinamizar
- estructurado
- estudio
- ESTUDIO
- Subido
- tal
- suite
- SOPORTE
- sostenible,
- sinergia
- Todas las funciones a su disposición
- entrada
- ¡Prepárate!
- Target
- tareas
- equipo
- equipos
- tecnología
- Técnico
- Tecnología
- plantillas
- términos
- Pruebas
- que
- esa
- La
- La Fuente
- el mundo
- su
- Les
- sí mismos
- luego
- Ahí.
- Estas
- ellos
- Ideas
- terceros.
- así
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- prolongado
- a
- del IRS
- Toronto
- Entrenar
- Formación
- trenes
- transferir
- transformador
- se convierte
- típicamente
- universidad
- desbloquear
- dio a conocer
- Uso
- utilizan el
- usado
- usuarios
- usando
- propuesta de
- variedad
- diversos
- versátil
- visión
- volúmenes
- fue
- Camino..
- formas
- we
- Acabado
- web
- servicios web
- WELL
- que
- QUIENES
- seguirá
- dentro de
- sin
- flujos de trabajo
- mundo
- Envuelto
- años
- Usted
- zephyrnet