Amazon SageMaker Tierra Verdad Plus le ayuda a preparar conjuntos de datos de entrenamiento de alta calidad eliminando el trabajo pesado indiferenciado asociado con la creación de aplicaciones de etiquetado de datos y la gestión de la fuerza laboral de etiquetado. Todo lo que debe hacer es compartir datos junto con los requisitos de etiquetado, y Ground Truth Plus configura y administra su flujo de trabajo de etiquetado de datos en función de estos requisitos. A partir de ahí, una fuerza laboral experta y capacitada en una variedad de tareas de aprendizaje automático (ML) etiqueta sus datos. Ni siquiera necesita una gran experiencia en aprendizaje automático o conocimientos de diseño de flujo de trabajo y gestión de calidad para utilizar Ground Truth Plus. Ahora, Ground Truth Plus presta servicios a clientes que necesitan etiquetado de datos y retroalimentación humana para ajustar los modelos básicos para aplicaciones de IA generativa.
En esta publicación, conocerá los avances recientes en la retroalimentación humana para la IA generativa disponibles a través de SageMaker Ground Truth Plus. Esto incluye nuevos flujos de trabajo e interfaces de usuario (UI) disponibles para preparar conjuntos de datos de demostración utilizados en ajustes supervisados, recopilar comentarios humanos de alta calidad para crear conjuntos de datos de preferencias para alinear los modelos básicos de IA generativa con las preferencias humanas, así como personalizar los modelos para los creadores de aplicaciones. 'Requisitos de estilo, sustancia y voz.
Desafíos de comenzar con la IA generativa
Las aplicaciones de IA generativa en todo el mundo incorporan modelos básicos monomodo y multimodal para resolver muchos casos de uso diferentes. Entre ellos se encuentran los chatbots, los generadores de imágenes y los generadores de vídeo. Los grandes modelos de lenguaje (LLM) se utilizan en chatbots para actividades creativas, asistentes académicos y personales, herramientas de inteligencia empresarial y herramientas de productividad. Puede utilizar modelos de texto a imagen para generar recursos artísticos y de marketing de IA abstractos o realistas. Los modelos de texto a vídeo se utilizan para generar vídeos para proyectos de arte, anuncios muy atractivos, desarrollo de videojuegos e incluso desarrollo de películas.
Dos de los problemas más importantes que deben resolver tanto los productores de modelos que crean modelos básicos como los creadores de aplicaciones que utilizan modelos básicos generativos existentes para crear sus propias herramientas y aplicaciones son:
- Ajustar estos modelos básicos para poder realizar tareas específicas
- Alinearlos con las preferencias humanas para garantizar que generen información útil, precisa e inofensiva.
Los modelos básicos suelen estar entrenados previamente en grandes corpus de datos sin etiquetar y, por lo tanto, no funcionan bien siguiendo instrucciones en lenguaje natural. Para un LLM, eso significa que es posible que pueda analizar y generar lenguaje en general, pero es posible que no pueda responder preguntas de manera coherente o resumir el texto con la calidad requerida por el usuario. Por ejemplo, cuando un usuario solicita un resumen de un texto en un mensaje, un modelo que no ha sido afinado en cómo resumir el texto puede simplemente recitar el texto del mensaje al usuario o responder con algo irrelevante. Si un usuario hace una pregunta sobre un tema, la respuesta de un modelo podría ser simplemente una recitación de la pregunta. Para modelos multimodales, como modelos de texto a imagen o de texto a video, los modelos pueden generar contenido no relacionado con el mensaje. Por ejemplo, si un diseñador gráfico corporativo solicita a un modelo de texto a imagen que cree un nuevo logotipo o una imagen para un anuncio, es posible que el modelo no genere un gráfico relevante relacionado con el mensaje si solo tiene un concepto general de una imagen. y elementos de una imagen. En algunos casos, un modelo puede generar una imagen o un vídeo dañino, poniendo en riesgo la confianza del usuario o la reputación de la empresa.
Incluso si los modelos están ajustados para realizar tareas específicas, es posible que no estén alineados con las preferencias humanas con respecto al significado, estilo o sustancia de su contenido. En un LLM, esto podría manifestarse como contenido inexacto o incluso dañino generado por el modelo. Por ejemplo, un modelo que no está alineado con las preferencias humanas mediante ajustes puede generar instrucciones peligrosas, poco éticas o incluso ilegales cuando lo solicita un usuario. No se habrá tenido cuidado de limitar el contenido generado por el modelo para garantizar que esté alineado con las preferencias humanas para que sea preciso, relevante y útil. Esta desalineación puede ser un problema para las empresas que dependen de modelos de IA generativa para sus aplicaciones, como los chatbots y la creación multimedia. Para los modelos multimodales, esto puede tomar la forma de generación de imágenes o videos tóxicos, peligrosos o abusivos. Esto es un riesgo cuando se ingresan mensajes al modelo sin la intención de generar contenido confidencial, y también si el productor del modelo o el creador de la aplicación no tenía la intención de permitir que el modelo generara ese tipo de contenido, pero se generó de todos modos.
Para resolver los problemas de capacidad específica de tareas y alinear los modelos básicos generativos con las preferencias humanas, los productores de modelos y los creadores de aplicaciones deben ajustar los modelos con datos utilizando demostraciones dirigidas por humanos y comentarios humanos de los resultados del modelo.
Tipos de datos y entrenamiento
Existen varios tipos de métodos de ajuste fino con diferentes tipos de datos etiquetados que se clasifican como ajuste de instrucciones (o enseñar a un modelo cómo seguir instrucciones). Entre ellos se encuentran el ajuste fino supervisado (SFT) utilizando datos de demostración y el aprendizaje reforzado a partir de retroalimentación humana (RLHF) utilizando datos de preferencia.
Datos de demostración para ajuste supervisado
Para ajustar los modelos básicos para realizar tareas específicas, como responder preguntas o resumir texto con alta calidad, los modelos se someten a SFT con datos de demostración. El propósito de los datos de demostración es guiar el modelo proporcionándole ejemplos etiquetados (demostraciones) de tareas completadas realizadas por humanos. Por ejemplo, para enseñar a un LLM cómo responder preguntas, un anotador humano creará un conjunto de datos etiquetados de pares de preguntas y respuestas generados por humanos para demostrar cómo funciona lingüísticamente una interacción de preguntas y respuestas y qué significa semánticamente el contenido. Este tipo de SFT entrena el modelo para reconocer patrones de comportamiento demostrados por los humanos en los datos del entrenamiento de demostración. Los productores de modelos deben realizar este tipo de ajustes para demostrar que sus modelos son capaces de realizar tales tareas para los adoptantes posteriores. Los creadores de aplicaciones que utilizan modelos básicos existentes para sus aplicaciones de IA generativa pueden necesitar ajustar sus modelos con datos de demostración sobre estas tareas con datos específicos de la industria o de la empresa para mejorar la relevancia y precisión de sus aplicaciones.
Datos de preferencia para el ajuste de instrucciones como RLHF
Para alinear aún más los modelos básicos con las preferencias humanas, los productores de modelos (y especialmente los creadores de aplicaciones) deben generar conjuntos de datos de preferencias para realizar ajustes de instrucciones. Los datos de preferencia en el contexto del ajuste de instrucciones son datos etiquetados que capturan la retroalimentación humana con respecto a un conjunto de opciones generadas por un modelo básico generativo. Por lo general, incluye calificar o clasificar varias inferencias o comparar por pares dos inferencias de un modelo básico de acuerdo con algún atributo específico. Para los LLM, estos atributos pueden ser utilidad, precisión e inofensividad. Para los modelos de texto a imagen, puede ser una calidad estética o una alineación de texto e imagen. Estos datos de preferencias basados en la retroalimentación humana se pueden usar en varios métodos de ajuste de instrucciones, incluido RLHF, para ajustar aún más un modelo para alinearlo con las preferencias humanas.
El ajuste de instrucciones utilizando datos de preferencias juega un papel crucial en la mejora de la personalización y la eficacia de los modelos básicos. Este es un paso clave en la creación de aplicaciones personalizadas sobre modelos básicos previamente entrenados y es un método poderoso para garantizar que los modelos generen contenido útil, preciso e inofensivo. Un ejemplo común de ajuste de instrucciones es indicarle a un chatbot que genere tres respuestas a una consulta y hacer que un humano lea y clasifique las tres según alguna dimensión específica, como toxicidad, precisión objetiva o legibilidad. Por ejemplo, una empresa puede utilizar un chatbot para su departamento de marketing y quiere asegurarse de que el contenido esté alineado con el mensaje de su marca, no muestre sesgos y sea claramente legible. La empresa solicitaría al chatbot durante el ajuste de instrucciones que produjera tres ejemplos y haría que sus expertos internos seleccionaran los que más se alinearan con su objetivo. Con el tiempo, construyen un conjunto de datos que utilizan para enseñarle al modelo qué estilo de contenido prefieren los humanos a través del aprendizaje por refuerzo. Esto permite que la aplicación de chatbot genere contenido más relevante, legible y seguro.
SageMaker Tierra Verdad Plus
Ground Truth Plus lo ayuda a abordar ambos desafíos: generar conjuntos de datos de demostración con capacidades específicas de tareas, así como recopilar conjuntos de datos de preferencias a partir de comentarios humanos para alinear modelos con las preferencias humanas. Puede solicitar proyectos para LLM y modelos multimodales como texto a imagen y texto a video. Para los LLM, los conjuntos de datos de demostración clave incluyen la generación de preguntas y respuestas (Preguntas y respuestas), resumen de texto, generación de texto y reelaboración de texto con fines de moderación de contenido, cambio de estilo o cambio de longitud. Los conjuntos de datos clave de preferencias de LLM incluyen clasificar y clasificar resultados de texto. Para los modelos multimodales, los tipos de tareas clave incluyen subtitular imágenes o vídeos, así como registrar marcas de tiempo de eventos en vídeos. Por lo tanto, Ground Truth Plus puede ayudar tanto a los productores de modelos como a los creadores de aplicaciones en su viaje de IA generativa.
En esta publicación, profundizamos en el viaje del anotador humano y la retroalimentación en cuatro casos que cubren tanto datos de demostración como datos de preferencia tanto para LLM como para modelos multimodales: generación de pares de preguntas y respuestas y clasificación de texto para LLM, así como subtítulos de imágenes y subtítulos de vídeo para modelos multimodales.
Grandes modelos de idiomas
En esta sección, analizamos los pares de preguntas y respuestas y la clasificación de texto para LLM, junto con las personalizaciones que quizás desee para su caso de uso.
Parejas de preguntas y respuestas
La siguiente captura de pantalla muestra una interfaz de usuario de etiquetado en la que un anotador humano leerá un pasaje de texto y generará preguntas y respuestas en el proceso de creación de un conjunto de datos de demostración de preguntas y respuestas.
Hagamos un recorrido por la interfaz de usuario en el lugar del anotador. En el lado izquierdo de la interfaz de usuario, se presentan al anotador las instrucciones específicas del solicitante del trabajo. En este caso, se supone que el anotador debe leer el pasaje de texto presentado en el centro de la interfaz de usuario y crear preguntas y respuestas basadas en el texto. En el lado derecho se muestran las preguntas y respuestas que ha escrito el anotador. El solicitante del trabajo puede personalizar el pasaje del texto, así como el tipo, la extensión y la cantidad de preguntas y respuestas durante la configuración del proyecto con el equipo de Ground Truth Plus. En este caso, el anotador ha creado una pregunta que requiere comprender todo el pasaje del texto para responder y está marcada con un Hace referencia al pasaje completo. casilla de verificación. Las otras dos preguntas y respuestas se basan en partes específicas del pasaje de texto, como lo muestran los resaltados del anotador con coincidencias codificadas por colores. Opcionalmente, es posible que desee solicitar que las preguntas y respuestas se generen sin un pasaje de texto proporcionado y proporcionar otras pautas para los anotadores humanos; esto también es compatible con Ground Truth Plus.
Una vez enviadas las preguntas y respuestas, pueden pasar a un flujo de trabajo de bucle de control de calidad opcional donde otros revisores humanos confirmarán que se han creado la distribución definida por el cliente y los tipos de preguntas y respuestas. Si hay una discrepancia entre los requisitos del cliente y lo que ha producido el anotador humano, el trabajo se canalizará de regreso a un humano para que lo vuelva a trabajar antes de exportarlo como parte del conjunto de datos para entregarlo al cliente. Cuando se le devuelva el conjunto de datos, estará listo para incorporarlo al flujo de trabajo de ajuste supervisado a su discreción.
Clasificación de texto
La siguiente captura de pantalla muestra una interfaz de usuario para clasificar los resultados de un LLM según un mensaje.
Simplemente puede escribir las instrucciones para el revisor humano y brindar indicaciones y respuestas generadas previamente al equipo del proyecto Ground Truth Plus para comenzar el trabajo. En este caso, hemos solicitado que un revisor humano clasifique tres respuestas por pregunta de un LLM en la dimensión de claridad de escritura (legibilidad). Nuevamente, el panel izquierdo muestra las instrucciones dadas al revisor por el solicitante del trabajo. En el centro, el mensaje se encuentra en la parte superior de la página y las tres respuestas generadas previamente son el cuerpo principal para facilitar su uso. En el lado derecho de la interfaz de usuario, el revisor humano los clasificará de escritura más a menos clara.
Los clientes que desean generar este tipo de conjunto de datos de preferencias incluyen creadores de aplicaciones interesados en crear chatbots con apariencia humana y, por lo tanto, desean personalizar las instrucciones para su propio uso. La duración del mensaje, el número de respuestas y la dimensión de clasificación se pueden personalizar. Por ejemplo, es posible que desee clasificar cinco respuestas en orden de mayor a menor precisión objetiva, sesgada o tóxica, o incluso clasificar varias dimensiones simultáneamente. Estas personalizaciones son compatibles con Ground Truth Plus.
Modelos multimodales
En esta sección, analizamos los subtítulos de imágenes y videos para entrenar modelos multimodales, como modelos de texto a imagen y de texto a video, así como las personalizaciones que quizás desee realizar para su caso de uso particular.
Subtítulos de imagen
La siguiente captura de pantalla muestra una interfaz de usuario de etiquetado para subtítulos de imágenes. Puede solicitar un proyecto con subtítulos de imágenes para recopilar datos para entrenar un modelo de texto a imagen o un modelo de imagen a texto.
En este caso, hemos solicitado entrenar un modelo de texto a imagen y hemos establecido requisitos específicos para el título en términos de longitud y detalle. La interfaz de usuario está diseñada para guiar a los anotadores humanos a través del proceso cognitivo de generar subtítulos enriquecidos proporcionando un marco mental a través de herramientas descriptivas y de asistencia. Hemos descubierto que proporcionar este marco mental a los anotadores da como resultado títulos más descriptivos y precisos que simplemente proporcionar un cuadro de texto editable únicamente.
El primer paso en el marco es que el anotador humano identifique objetos clave en la imagen. Cuando el anotador elige un objeto en la imagen, aparece un punto codificado por colores en el objeto. En este caso, el anotador ha elegido tanto al perro como al gato, creando dos campos editables en el lado derecho de la interfaz de usuario donde el anotador ingresará los nombres de los objetos (gato y perro) junto con una descripción detallada de cada objeto. A continuación, se guía al anotador para que identifique todas las relaciones entre todos los objetos de la imagen. En este caso, el gato se relaja junto al perro. A continuación, se le pide al anotador que identifique atributos específicos de la imagen, como la configuración, el fondo o el entorno. Finalmente, en el cuadro de texto de entrada de título, se le indica al anotador que combine todo lo que escribió en los campos de objetos, relaciones y configuración de imagen en un título descriptivo único y completo de la imagen.
Opcionalmente, puede configurar el título de esta imagen para que pase por un ciclo de control de calidad humano con instrucciones específicas para garantizar que el título cumpla con los requisitos. Si se identifica un problema, como un objeto clave faltante, ese título se puede enviar de vuelta para que un humano corrija el problema antes de exportarlo como parte del conjunto de datos de entrenamiento.
Subtítulos de video
La siguiente captura de pantalla muestra una interfaz de usuario de subtítulos de video para generar subtítulos de video enriquecidos con etiquetas de marca de tiempo. Puede solicitar un proyecto de subtítulos de video para recopilar datos para crear modelos de texto a video o de video a texto.
En esta interfaz de usuario de etiquetado, hemos creado un marco mental similar para garantizar que se escriban subtítulos de alta calidad. El anotador humano puede controlar el video en el lado izquierdo y crear descripciones y marcas de tiempo para cada actividad que se muestra en el video en el lado derecho con los elementos de la interfaz de usuario. De manera similar a la interfaz de usuario de subtítulos de imágenes, también hay un lugar para que el anotador escriba una descripción detallada de la configuración, el fondo y el entorno del video. Finalmente, se le indica al anotador que combine todos los elementos en un título de video coherente.
De manera similar al caso de los subtítulos de imágenes, los subtítulos de los videos pueden, opcionalmente, pasar por un flujo de trabajo de control de calidad humano para determinar si se cumplen sus requisitos. Si hay un problema con los subtítulos del video, el equipo de anotadores humanos lo enviará para que lo vuelva a trabajar.
Conclusión
Ground Truth Plus puede ayudarlo a preparar conjuntos de datos de alta calidad para ajustar los modelos básicos para tareas generativas de IA, desde responder preguntas hasta generar imágenes y videos. También permite que la fuerza laboral humana calificada revise los resultados del modelo para garantizar que estén alineados con las preferencias humanas. Además, permite a los creadores de aplicaciones personalizar modelos utilizando los datos de su industria o empresa para garantizar que su aplicación represente su voz y estilo preferidos. Estas son las primeras de muchas innovaciones en Ground Truth Plus, y hay más en desarrollo. Estén atentos a futuras publicaciones.
¿Está interesado en iniciar un proyecto para construir o mejorar sus modelos y aplicaciones de IA generativa? Comience con Ground Truth Plus por conectando con nuestro equipo .
Sobre los autores
Jesse Manders es gerente sénior de productos en el equipo de servicios humanos de IA/ML en el bucle de AWS. Trabaja en la intersección de la IA y la interacción humana con el objetivo de crear y mejorar productos y servicios de IA/ML para satisfacer nuestras necesidades. Anteriormente, Jesse ocupó puestos de liderazgo en ingeniería en Apple y Lumileds, y fue científico senior en una startup de Silicon Valley. Tiene una maestría y un doctorado. de la Universidad de Florida y un MBA de la Universidad de California, Berkeley, Haas School of Business.
Romi Datta es gerente sénior de gestión de productos en el equipo de Amazon SageMaker responsable de los servicios Human in the Loop. Ha estado en AWS durante más de 4 años, ocupando varios puestos de liderazgo en gestión de productos en SageMaker, S3 e IoT. Antes de AWS, trabajó en varios puestos de gestión de productos, ingeniería y liderazgo operativo en IBM, Texas Instruments y Nvidia. Tiene una maestría y un doctorado. en Ingeniería Eléctrica e Informática de la Universidad de Texas en Austin y un MBA de la Escuela de Negocios Booth de la Universidad de Chicago.
jonathan dólar es ingeniero de software en Amazon Web Services y trabaja en la intersección del aprendizaje automático y los sistemas distribuidos. Su trabajo implica la producción de modelos de aprendizaje automático y el desarrollo de aplicaciones de software novedosas impulsadas por el aprendizaje automático para poner las capacidades más recientes en manos de los clientes.
Alex Williams es un científico aplicado en el equipo científico de humanos en el circuito de AWS AI, donde lleva a cabo investigaciones de sistemas interactivos en la intersección de la interacción persona-computadora (HCI) y el aprendizaje automático. Antes de incorporarse a Amazon, fue profesor en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación de la Universidad de Tennessee, donde codirigió el laboratorio de investigación de Personas, Agentes, Interacciones y Sistemas (PAIRS). También ocupó puestos de investigación en Microsoft Research, Mozilla Research y la Universidad de Oxford. Publica regularmente su trabajo en los principales lugares de publicación de HCI, como CHI, CSCW y UIST. Tiene un doctorado de la Universidad de Waterloo.
Sara Gao es gerente de desarrollo de software en Amazon SageMaker Human In the Loop (HIL) responsable de crear la plataforma de etiquetado basada en ML. Sarah ha estado en AWS durante más de 4 años, ocupando varios puestos de liderazgo en gestión de software en seguridad EC2 y SageMaker. Antes de AWS, trabajó en varios puestos de gestión de ingeniería en Oracle y Sun Microsystem.
erran li es el gerente de ciencias aplicadas de servicios humanos en el circuito, AWS AI, Amazon. Sus intereses de investigación son el aprendizaje profundo en 3D y el aprendizaje de representación de visión y lenguaje. Anteriormente, fue científico senior en Alexa AI, jefe de aprendizaje automático en Scale AI y científico jefe en Pony.ai. Antes de eso, estuvo en el equipo de percepción de Uber ATG y en el equipo de plataforma de aprendizaje automático de Uber trabajando en aprendizaje automático para conducción autónoma, sistemas de aprendizaje automático e iniciativas estratégicas de IA. Comenzó su carrera en Bell Labs y fue profesor adjunto en la Universidad de Columbia. Co-impartió tutoriales en ICML'17 e ICCV'19, y coorganizó varios talleres en NeurIPS, ICML, CVPR, ICCV sobre aprendizaje automático para conducción autónoma, visión 3D y robótica, sistemas de aprendizaje automático y aprendizaje automático adversario. Tiene un doctorado en informática en la Universidad de Cornell. Es miembro de ACM y miembro de IEEE.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoAiStream. Inteligencia de datos Web3. Conocimiento amplificado. Accede Aquí.
- Acuñando el futuro con Adryenn Ashley. Accede Aquí.
- Compra y Vende Acciones en Empresas PRE-IPO con PREIPO®. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/machine-learning/high-quality-human-feedback-for-your-generative-ai-applications-from-amazon-sagemaker-ground-truth-plus/
- :posee
- :es
- :no
- :dónde
- $ UP
- 100
- 3d
- 7
- a
- Poder
- Nuestra Empresa
- RESUMEN
- académico
- Conforme
- la exactitud
- preciso
- ACM
- actividad
- Adicionalmente
- dirección
- adoptantes
- avances
- adversario
- Anuncio
- de nuevo
- agentes
- AI
- arte ai
- AI / ML
- Alexa
- alinear
- alineado
- alineación
- Todos
- permitir
- permite
- solo
- a lo largo de
- también
- Amazon
- Amazon SageMaker
- Verdad fundamental de Amazon SageMaker
- Amazon Web Services
- entre
- an
- y
- https://www.youtube.com/watch?v=xB-eutXNUMXJtA&feature=youtu.be
- respuestas
- aparece
- Apple
- Aplicación
- aplicaciones
- aplicada
- somos
- en torno a
- Arte
- AS
- Activos
- asistentes
- asociado
- At
- atributos
- Austin
- autónomo
- Hoy Disponibles
- AWS
- Atrás
- fondo
- basado
- BE
- esto
- antes
- "Ser"
- Campana
- Berkeley
- entre
- parcial
- los prejuicios
- cuerpo
- ambas
- Box
- marca
- llevar
- build
- constructor
- constructores
- Construir la
- construido
- inteligencia empresarial
- pero
- by
- California
- PUEDEN
- capacidades
- capaz
- subtítulos
- capturas
- servicios sociales
- Propósito
- case
- cases
- CAT
- Reubicación
- el cambio
- chatterbot
- Chatbots
- comprobar
- Chicago
- jefe
- elegido
- transparencia
- clasificar
- limpiar
- con claridad.
- cognitivo
- COHERENTE
- COLUMBIA
- combinar
- Algunos
- Empresas
- compañía
- comparar
- completar
- Completado
- computadora
- Ingeniería Informática
- Ciencias de la Computación
- concepto
- conduce
- confianza
- Confirmar
- contenido
- contexto
- control
- Cornell
- Sector empresarial
- correcta
- podría
- cubierta
- Para crear
- creado
- Creamos
- creación
- Estudio
- crucial
- personalizado
- cliente
- Clientes
- personalizan
- se adaptan
- peligroso
- datos
- conjuntos de datos
- profundo
- deep learning
- más profundo
- entregamos
- liberado
- demostrar
- demostrado
- Departamento
- descripción
- Diseño
- diseñado
- Designer
- detalle
- detallado
- Determinar
- el desarrollo
- Desarrollo
- una experiencia diferente
- Dimensiones
- dimensiones
- discreción
- discutir
- distribuidos
- sistemas distribuidos
- do
- No
- Perro
- hecho
- No
- DOT
- conducción
- durante
- cada una
- facilidad
- facilidad de uso
- eficacia
- elementos
- permite
- interactuando
- ingeniero
- Ingeniería
- mejorar
- garantizar
- Participar
- Todo
- Entorno
- especialmente
- Incluso
- Eventos
- ejemplo
- ejemplos
- exhibir
- existente
- experto
- Experiencia
- expertos
- realimentación
- Compañero
- Terrenos
- Film
- Finalmente
- Nombre
- Florida
- de tus señales
- seguir
- siguiendo
- formulario
- encontrado
- Fundación
- Digital XNUMXk
- Marco conceptual
- Desde
- promover
- futuras
- juego
- desarrollo de juegos
- GAO
- reunir
- reunión
- General
- generar
- generado
- la generación de
- generación de AHSS
- generativo
- IA generativa
- generadores
- obtener
- conseguir
- dado
- objetivo
- Gráfico
- Polo a Tierra
- guía
- orientaciones
- tenido
- Manos
- perjudicial
- Tienen
- HCI
- he
- cabeza
- pesado
- levantar objetos pesados
- Retenida
- ayuda
- serviciales
- ayuda
- Alta
- alta calidad
- destacados
- altamente
- su
- tenencia
- mantiene
- Cómo
- Como Hacer
- HTML
- HTTPS
- humana
- Humanos
- IBM
- no haber aun identificado una solucion para el problema
- Identifique
- IEEE
- if
- ilegal
- imagen
- imágenes
- importante
- mejorar
- la mejora de
- in
- incorrecto
- incluir
- incluye
- incorporar
- energético
- específico de la industria
- iniciativas
- innovaciones
- Las opciones de entrada
- Instrucciones
- instrumentos
- Intelligence
- Destinado a
- Intención
- interacción
- interacciones
- interactivo
- interesado
- intereses
- las interfaces
- interno
- intersección
- dentro
- IOT
- cuestiones
- IT
- SUS
- sí mismo
- Trabajos
- unión
- jpg
- solo
- Clave
- Tipo
- especialistas
- etiquetado
- Etiquetas
- laboratorio
- labs
- idioma
- large
- más reciente
- Liderazgo
- APRENDE:
- aprendizaje
- menos
- izquierda
- Longitud Mínima
- cirugía estética
- LIMITE LAS
- LLM
- registro
- logo
- máquina
- máquina de aprendizaje
- Inicio
- para lograr
- Management
- gerente
- gestiona
- administrar
- muchos
- marcado
- Marketing
- pareo
- Puede..
- sentido
- significa
- Conoce a
- se une a la
- mental
- mensaje
- Método
- métodos
- Microsoft
- que falta
- ML
- modelo
- modelos
- moderación
- más,
- MEJOR DE TU
- Mozilla
- Multimedia
- múltiples
- debe
- nombres
- Natural
- ¿ Necesita ayuda
- Nuevo
- Next
- no
- novela
- ahora
- número
- Nvidia
- objeto
- objetos
- of
- on
- las
- , solamente
- operativos.
- Opciones
- or
- oráculo
- solicite
- Otro
- nuestros
- salida
- Más de
- EL DESARROLLADOR
- Oxford
- página
- par
- pares
- cristal
- parte
- particular
- partes
- pasado
- .
- Personas
- percepción
- Realizar
- realizar
- con
- personalización
- Colocar
- plataforma
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- juega
- más
- abiertas
- Publicación
- Artículos
- alimentado
- poderoso
- preferir
- preferencias
- preferido
- primer ministro
- Preparar
- preparación
- presentó
- previamente
- Anterior
- Problema
- problemas
- producir
- producido
- productor
- Productores
- Producto
- gestión de producto
- gerente de producto
- productividad
- Productos
- Profesor
- proyecto
- proyecta
- proporcionar
- previsto
- proporcionando
- Publicación
- Publica
- propósito
- fines
- poner
- Q&A
- calidad
- pregunta
- Preguntas
- Clasificación
- .
- Leer
- ready
- realista
- reciente
- reconocer
- regularmente
- relacionado
- Relaciones
- confiar
- la eliminación de
- representación
- representa
- reputación
- solicita
- solicitudes
- Requisitos
- Requisitos
- requiere
- la investigación
- respeto
- Responder
- respuesta
- respuestas
- responsable
- Resultados
- una estrategia SEO para aparecer en las búsquedas de Google.
- Rico
- Derecho
- Riesgo
- arriesgando
- robótica
- Función
- También soy miembro del cuerpo docente de World Extreme Medicine (WEM) y embajadora europea de igualdad para The Transformational Travel Council (TTC). En mi tiempo libre, soy una incansable aventurera, escaladora, patrona de día, buceadora y defensora de la igualdad de género en el deporte y la aventura. En XNUMX, fundé Almas Libres, una ONG nacida para involucrar, educar y empoderar a mujeres y niñas a través del deporte urbano, la cultura y la tecnología.
- s
- ambiente seguro
- sabio
- Escala
- escala ia
- Escuela
- Ciencia:
- Científico
- Sección
- EN LINEA
- mayor
- sensible
- expedido
- Servicios
- servicio
- set
- Sets
- pólipo
- Configure
- Varios
- Compartir
- ella
- Mostrar
- mostrado
- Shows
- lado
- Silicio
- Silicon Valley
- similares
- simplemente
- simultáneamente
- soltero
- experto
- Software
- Desarrollo de software ad-hoc
- Ingeniero de Software
- RESOLVER
- algo
- algo
- soluciones y
- especificado
- comienzo
- fundó
- Comience a
- inicio
- quedarse
- paso
- Estratégico
- papa
- Subido
- sustancia
- tal
- resumir
- RESUMEN
- Dom
- Soportado
- Supuesto
- Todas las funciones a su disposición
- ¡Prepárate!
- toma
- Tarea
- tareas
- Educación
- equipo
- Tennessee
- términos
- Texas
- que
- esa
- La
- el mundo
- su
- Les
- luego
- Ahí.
- por lo tanto
- Estas
- ellos
- así
- Tres
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- equipo
- fecha y hora
- a
- hoy
- parte superior
- tema
- TOURS
- Entrenar
- entrenado
- Formación
- trenes
- verdad
- Tutoriales
- dos
- tipo
- tipos
- típicamente
- Uber
- ui
- comprensión
- universidad
- equipo de Manejo Integrado de Plagas de la Universidad de California
- Universidad de Chicago
- Universidad de Oxford
- utilizan el
- caso de uso
- usado
- Usuario
- usando
- Valle
- variedad
- diversos
- lugares
- Video
- videojuego
- Videos
- visión
- Voz
- quieres
- falto
- quiere
- fue
- we
- web
- servicios web
- WELL
- ¿
- cuando
- que
- QUIENES
- todo
- seguirá
- sin
- Actividades:
- trabajado
- flujo de trabajo
- flujos de trabajo
- Empleados
- trabajando
- funciona
- Talleres
- mundo
- se
- escribir
- la escritura
- escrito
- años
- Usted
- tú
- zephyrnet