Hoy nos complace anunciar que el Mixtral-8x7B El modelo de lenguaje grande (LLM), desarrollado por Mistral AI, está disponible para los clientes a través de JumpStart de Amazon SageMaker para implementar con un clic para ejecutar la inferencia. El LLM Mixtral-8x7B es una mezcla dispersa previamente entrenada de un modelo experto, basado en una columna vertebral de 7 mil millones de parámetros con ocho expertos por capa de retroalimentación. Puede probar este modelo con SageMaker JumpStart, un centro de aprendizaje automático (ML) que brinda acceso a algoritmos y modelos para que pueda comenzar rápidamente con ML. En esta publicación, explicamos cómo descubrir e implementar el modelo Mixtral-8x7B.
¿Qué es Mixtral-8x7B?
Mixtral-8x7B es un modelo básico desarrollado por Mistral AI, que admite texto en inglés, francés, alemán, italiano y español, con capacidades de generación de código. Admite una variedad de casos de uso, como resumen de texto, clasificación, finalización de texto y finalización de código. Se comporta bien en modo chat. Para demostrar la sencilla personalización del modelo, Mistral AI también lanzó un modelo de instrucciones Mixtral-8x7B para casos de uso de chat, ajustado utilizando una variedad de conjuntos de datos de conversación disponibles públicamente. Los modelos Mixtral tienen una gran longitud de contexto de hasta 32,000 tokens.
Mixtral-8x7B proporciona importantes mejoras de rendimiento con respecto a los modelos anteriores de última generación. Su escasa combinación de arquitectura experta le permite lograr mejores resultados de rendimiento en 9 de 12 puntos de referencia de procesamiento del lenguaje natural (NLP) probados por Mistral IA. Mixtral iguala o supera el rendimiento de modelos hasta 10 veces su tamaño. Al utilizar solo una fracción de parámetros por token, logra velocidades de inferencia más rápidas y un menor costo computacional en comparación con modelos densos de tamaños equivalentes; por ejemplo, con 46.7 mil millones de parámetros en total pero solo 12.9 mil millones utilizados por token. Esta combinación de alto rendimiento, soporte multilingüe y eficiencia computacional hace que Mixtral-8x7B sea una opción atractiva para aplicaciones de PNL.
El modelo está disponible bajo la licencia permisiva Apache 2.0, para su uso sin restricciones.
¿Qué es SageMaker JumpStart?
Con SageMaker JumpStart, los profesionales del aprendizaje automático pueden elegir entre una lista cada vez mayor de modelos básicos de mejor rendimiento. Los profesionales del aprendizaje automático pueden implementar modelos básicos en sitios dedicados. Amazon SageMaker instancias dentro de un entorno aislado de red y personalice modelos utilizando SageMaker para el entrenamiento e implementación de modelos.
Ahora puede descubrir e implementar Mixtral-8x7B con unos pocos clics en Estudio Amazon SageMaker o programáticamente a través de SageMaker Python SDK, lo que le permite derivar el rendimiento del modelo y los controles de MLOps con funciones de SageMaker como Canalizaciones de Amazon SageMaker, Depurador de Amazon SageMakero registros de contenedor. El modelo se implementa en un entorno seguro de AWS y bajo los controles de su VPC, lo que ayuda a garantizar la seguridad de los datos.
Descubre modelos
Puede acceder a los modelos básicos de Mixtral-8x7B a través de SageMaker JumpStart en la interfaz de usuario de SageMaker Studio y el SDK de SageMaker Python. En esta sección, repasamos cómo descubrir los modelos en SageMaker Studio.
SageMaker Studio es un entorno de desarrollo integrado (IDE) que proporciona una única interfaz visual basada en web donde puede acceder a herramientas especialmente diseñadas para realizar todos los pasos de desarrollo de ML, desde la preparación de datos hasta la creación, capacitación e implementación de sus modelos de ML. Para obtener más detalles sobre cómo comenzar y configurar SageMaker Studio, consulte Estudio Amazon SageMaker.
En SageMaker Studio, puede acceder a SageMaker JumpStart eligiendo Buen inicio en el panel de navegación.
Desde la página de inicio de SageMaker JumpStart, puede buscar "Mixtral" en el cuadro de búsqueda. Verá resultados de búsqueda que muestran Mixtral 8x7B y Mixtral 8x7B Instruct.
Puede elegir la tarjeta de modelo para ver detalles sobre el modelo, como la licencia, los datos utilizados para entrenar y cómo utilizarlo. También encontrarás el Despliegue , que puede utilizar para implementar el modelo y crear un punto final.
Implementar un modelo
La implementación comienza cuando usted elija Despliegue. Una vez finalizada la implementación, se habrá creado un punto final. Puede probar el punto final pasando una carga útil de solicitud de inferencia de muestra o seleccionando su opción de prueba mediante el SDK. Cuando seleccione la opción para usar el SDK, verá un código de ejemplo que puede usar en su editor de cuaderno preferido en SageMaker Studio.
Para implementar usando el SDK, comenzamos seleccionando el modelo Mixtral-8x7B, especificado por el model_id with value huggingface-llm-mixtral-8x7b
. Puede implementar cualquiera de los modelos seleccionados en SageMaker con el siguiente código. De manera similar, puede implementar la instrucción Mixtral-8x7B usando su propio ID de modelo:
Esto implementa el modelo en SageMaker con configuraciones predeterminadas, incluido el tipo de instancia predeterminado y las configuraciones de VPC predeterminadas. Puede cambiar estas configuraciones especificando valores no predeterminados en JumpStartModelo.
Una vez implementado, puede ejecutar inferencias contra el punto final implementado a través del predictor de SageMaker:
Indicaciones de ejemplo
Puede interactuar con un modelo Mixtral-8x7B como cualquier modelo de generación de texto estándar, donde el modelo procesa una secuencia de entrada y genera las siguientes palabras predichas en la secuencia. En esta sección, proporcionamos indicaciones de ejemplo.
Codigo de GENERACION
Usando el ejemplo anterior, podemos usar mensajes de generación de código como los siguientes:
Obtiene el siguiente resultado:
Mensaje de análisis de sentimiento
Puede realizar un análisis de sentimiento utilizando un mensaje como el siguiente con Mixtral 8x7B:
Obtiene el siguiente resultado:
Indicaciones para responder preguntas
Puede utilizar un mensaje de respuesta a preguntas como el siguiente con Mixtral-8x7B:
Obtiene el siguiente resultado:
Instrucciones Mixtral-8x7B
La versión adaptada a las instrucciones de Mixtral-8x7B acepta instrucciones formateadas en las que los roles de conversación deben comenzar con un mensaje del usuario y alternar entre instrucciones del usuario y asistente (respuesta modelo). El formato de instrucción debe respetarse estrictamente; de lo contrario, el modelo generará resultados subóptimos. La plantilla utilizada para crear un mensaje para el modelo Instruct se define de la siguiente manera:
Tenga en cuenta que <s>
y </s>
son tokens especiales para el comienzo de la cadena (BOS) y el final de la cadena (EOS), mientras que [INST]
y [/INST]
son cadenas regulares.
El siguiente código muestra cómo puede formatear el mensaje en formato de instrucción:
Recuperación de conocimiento
Puede utilizar el siguiente código para un mensaje de recuperación de conocimientos:
Obtiene el siguiente resultado:
Codificación
Los modelos Mixtral pueden demostrar fortalezas comparadas para tareas de codificación, como se muestra en el siguiente código:
Matemáticas y razonamiento
Los modelos Mixtral también reportan fortalezas en la precisión matemática:
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/machine-learning/mixtral-8x7b-is-now-available-in-amazon-sagemaker-jumpstart/
- :posee
- :es
- :no
- :dónde
- $ UP
- 000
- 1
- 10
- 100
- 11
- 12
- 120
- 13
- 130
- 14
- 15%
- 16
- 17
- 1M
- 200
- 25
- 26%
- 30
- 32
- 50
- 600
- 7
- 72
- 8
- 9
- a
- <del>
- Nuestra Empresa
- arriba
- acelerador
- Acepta
- de la máquina
- Cuentas
- la exactitud
- Lograr
- Logra
- a través de
- lector activo
- adicional
- la adición de
- Después
- en contra
- AI
- AI / ML
- algoritmos
- Todos
- también
- Amazon
- Amazon SageMaker
- JumpStart de Amazon SageMaker
- Amazon Web Services
- cantidad
- an
- análisis
- y
- e infraestructura
- Anunciar
- https://www.youtube.com/watch?v=xB-eutXNUMXJtA&feature=youtu.be
- cualquier
- APACHE
- atractivo
- aplicaciones
- aplicada
- La aplicación de
- arquitectura
- somos
- argumento
- artículo
- AS
- Legal
- At
- Hoy Disponibles
- AWS
- Atrás
- Columna vertebral
- basado
- golpear
- agresión con lesiones
- Bayesiano
- BE
- porque
- esto
- antes
- Comienzo
- cree
- Campana
- comparado
- los puntos de referencia
- mejores
- entre
- Bill
- facturación
- mil millones
- compró
- Box
- Descanso
- llevar
- build
- Construir la
- incorporado
- pero
- by
- calcular
- llamar al
- , que son
- Calls
- PUEDEN
- tarjeta
- case
- cases
- el cambio
- chat
- manera?
- Elige
- la elección de
- Chris
- clasificación
- clic
- código
- Codificación
- combinación
- en comparación con
- compilado
- terminación
- computational
- Calcular
- computadora
- Visión por computador
- conferencias
- constantemente
- Envase
- contenido
- contexto
- continúa
- continuamente
- controles
- Conversación
- Cost
- Precio
- podría
- Para crear
- creado
- crucial
- Vaso
- Current
- Clientes
- personalización
- personalizan
- datos
- seguridad de datos
- conjuntos de datos
- día
- Días
- a dedicados
- Predeterminado
- se define
- Democratizando
- demostrar
- desplegar
- desplegado
- Desplegando
- despliegue
- despliega
- derivar
- detalles
- desarrollar
- desarrollado
- Developer
- Desarrollo
- DICT
- HIZO
- descrubrir
- do
- sí
- dólares
- dominios
- hecho
- DE INSCRIPCIÓN
- Soltar
- Duque
- duke university
- cada una
- Economic
- editor
- eficiencia
- Óvulos
- más
- habilitar
- permite
- permitiendo
- final
- Punto final
- Ingeniería
- Inglés
- garantizar
- Entorno
- EOS
- igual
- Equivalente a
- ético
- ejemplo
- excede
- excitado
- excluyendo
- experto
- expertos
- Explicar
- explicación
- extensión
- familia
- más rápida
- Caracteristicas
- pocos
- archivos
- filtros
- Encuentre
- Nombre
- siguiendo
- siguiente
- formato
- Fundación
- fracción
- Francés
- Desde
- función
- futuras
- propósito general
- generar
- generado
- generación de AHSS
- generativo
- IA generativa
- Alemán
- obtener
- Go
- candidato
- tiene
- Creciendo
- odio
- Tienen
- he
- ayuda
- ayudando
- ayuda
- aquí
- esta página
- Alta
- Hills
- su
- Cómo
- Como Hacer
- HTML
- HTTPS
- Bujes
- i
- HIELO
- helado
- ID
- if
- Illinois
- enfermedad
- importar
- importante
- mejorar
- mejoras
- in
- incluir
- Incluye
- Incorporado
- EN LA MINA
- Las opciones de entrada
- entradas
- ejemplo
- Instrucciones
- integrar
- COMPLETAMENTE
- interactuar
- intereses
- Interfaz
- inventado
- aislado
- IT
- italiano
- SUS
- sí mismo
- jpg
- Niños
- especialistas
- kyle
- labs
- aterrizaje
- idioma
- large
- Apellidos
- .
- Prospectos
- aprendizaje
- Longitud Mínima
- dejar
- Licencia
- como
- Me gusta
- límites
- LINK
- Lista
- Escucha Activa
- pequeño
- LLM
- lógica
- mirando
- inferior
- máquina
- máquina de aprendizaje
- hecho
- HACE
- Realizar
- gerente
- muchos
- cerillas
- las matemáticas
- matemáticas
- me
- mediano
- mezcla
- ML
- MLOps
- Moda
- modelo
- modelos
- modificado
- Mes
- más,
- motocicleta
- mucho más
- multiplicado
- Música
- debe
- my
- Natural
- Procesamiento natural del lenguaje
- Navegación
- negativas
- del sistema,
- Neutro
- Nuevo
- Next
- nlp
- Ninguna
- nota
- cuaderno
- ahora
- número
- of
- Aceite
- on
- una vez
- ONE
- , solamente
- funcionamiento
- sistema operativo
- Optión
- or
- Otro
- de otra manera
- salir
- salida
- salidas
- afuera
- Más de
- EL DESARROLLADOR
- página
- dinero
- cristal
- papeles
- parámetro
- parámetros
- Pasando (Paso)
- pasión
- apasionado
- caminos
- para
- Realizar
- actuación
- Doctor en Filosofía
- teléfono
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- punto
- portátil
- positivo
- Publicación
- anterior
- previsto
- Predictor
- preferido
- preparación
- anterior
- Director de la escuela
- Imprimir
- procesal
- en costes
- tratamiento
- Producto
- Programa
- Programación
- ideas
- prosperidad
- proporcionar
- los proveedores
- proporciona un
- en público
- publicado
- Python
- Trimestre
- pregunta
- con rapidez
- RE
- Reading
- recetas
- recursiva
- reducir
- remitir
- regular
- liberado
- reporte
- solicita
- la investigación
- investigador
- Recursos
- respetado
- respuesta
- responsable
- restricciones
- resultado
- Resultados
- volvemos
- devoluciones
- equitación
- Riesgo
- Función
- También soy miembro del cuerpo docente de World Extreme Medicine (WEM) y embajadora europea de igualdad para The Transformational Travel Council (TTC). En mi tiempo libre, soy una incansable aventurera, escaladora, patrona de día, buceadora y defensora de la igualdad de género en el deporte y la aventura. En XNUMX, fundé Almas Libres, una ONG nacida para involucrar, educar y empoderar a mujeres y niñas a través del deporte urbano, la cultura y la tecnología.
- Conferencia
- Ejecutar
- correr
- s
- SA
- sabio
- sal
- escalable
- Escala
- Ciencia:
- Científico
- Sdk
- Buscar
- Sección
- seguro
- EN LINEA
- ver
- selecciona
- seleccionado
- seleccionar
- selección
- mayor
- sentimiento
- separado
- Secuencia
- Serie
- Servicios
- set
- mostró
- mostrado
- Shows
- importante
- Del mismo modo
- sencillos
- desde
- soltero
- Tamaño
- So
- Social
- Sociedades
- Software
- a medida
- Español
- especial
- especialista
- especificado
- velocidades
- Gastos
- estándar
- comienzo
- fundó
- comienza
- el estado de la técnica
- estadístico
- paso
- pasos
- Sin embargo
- detenido
- tienda
- sencillo
- Estratégico
- stream
- fortalezas
- Cordón
- estructurado
- estudio
- tal
- SOPORTE
- Apoyar
- soportes
- te
- toma
- tareas
- llaves
- equipo
- Tecnología
- plantilla
- test
- probado
- Pruebas
- texto
- esa
- La
- El futuro de las
- luego
- Estas
- ellos
- así
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- Series de tiempo
- veces
- a
- juntos
- ficha
- Tokens
- demasiado
- Total
- Entrenar
- Formación
- verdadero
- try
- Tweet
- tipo
- ui
- bajo
- universidad
- UNIX
- desbloquear
- hasta
- utilizan el
- caso de uso
- usado
- Usuario
- usos
- usando
- Utilizando
- Valle
- propuesta de
- Valores
- variedad
- versión
- Video
- Ver
- visión
- Visite
- visual
- caminar
- fue
- Agua
- we
- web
- servicios web
- Basado en la Web
- WELL
- ¿
- Que es
- cuando
- mientras
- que
- complejo de salvador blanco
- QUIENES
- seguirá
- dentro de
- sin
- palabras
- Actividades:
- se
- escribir
- escrito
- Usted
- tú
- zephyrnet