Les modèles Meta Llama 3 sont désormais disponibles dans Amazon SageMaker JumpStart

Republié par Platon

Suiveurs: 0

Aujourd'hui, nous sommes ravis d'annoncer que les modèles de fondation Meta Llama 3 sont disponibles via Amazon SageMaker JumpStart pour déployer et exécuter l'inférence. Les modèles Llama 3 sont une collection de modèles de texte génératifs pré-entraînés et affinés.

Dans cet article, nous expliquons comment découvrir et déployer des modèles Llama 3 via SageMaker JumpStart.

Qu'est-ce que Meta Llama 3

Llama 3 est disponible en deux tailles de paramètres — 8B et 70B avec une longueur de contexte de 8 Ko — qui peuvent prendre en charge un large éventail de cas d'utilisation avec des améliorations dans le raisonnement, la génération de code et le suivi des instructions. Llama 3 utilise une architecture de transformateur uniquement décodeur et un nouveau tokenizer qui offre des performances de modèle améliorées avec une taille de 128 Ko. De plus, Meta a amélioré les procédures post-formation qui ont considérablement réduit les taux de faux refus, amélioré l'alignement et accru la diversité des réponses des modèles. Vous pouvez désormais bénéficier des avantages combinés des performances de Llama 3 et des contrôles MLOps avec les fonctionnalités Amazon SageMaker telles que SageMaker Pipelines, SageMaker Debugger ou les journaux de conteneur. De plus, le modèle sera déployé dans un environnement sécurisé AWS sous les contrôles de votre VPC, contribuant ainsi à assurer la sécurité des données.

Qu'est-ce que SageMaker JumpStart

Avec SageMaker JumpStart, vous pouvez choisir parmi une large sélection de modèles de fondation accessibles au public. Les praticiens du ML peuvent déployer des modèles de base sur des instances SageMaker dédiées à partir d'un environnement réseau isolé et personnaliser les modèles à l'aide de SageMaker pour la formation et le déploiement de modèles. Vous pouvez désormais découvrir et déployer les modèles Llama 3 en quelques clics Amazon SageMakerStudio ou par programmation via le SDK SageMaker Python, vous permettant de dériver les performances du modèle et les contrôles MLOps avec des fonctionnalités SageMaker telles que Pipelines SageMaker, Débogueur SageMakerou les journaux de conteneur. Le modèle est déployé dans un environnement sécurisé AWS et sous les contrôles de votre VPC, contribuant ainsi à assurer la sécurité des données. Les modèles Llama 3 sont disponibles aujourd'hui pour le déploiement et l'inférence dans Amazon SageMaker Studio en us-east-1 (Virginie du Nord), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Irlande) et ap-northeast-1 (Tokyo) Régions AWS.

Découvrez les modèles

Vous pouvez accéder aux modèles de base via SageMaker JumpStart dans l'interface utilisateur SageMaker Studio et le SDK Python SageMaker. Dans cette section, nous allons voir comment découvrir les modèles dans SageMaker Studio.

SageMaker Studio est un environnement de développement intégré (IDE) qui fournit une interface visuelle Web unique où vous pouvez accéder à des outils spécialement conçus pour effectuer toutes les étapes de développement ML, de la préparation des données à la création, la formation et le déploiement de vos modèles ML. Pour plus de détails sur la façon de démarrer et de configurer SageMaker Studio, reportez-vous à Amazon SageMakerStudio.

Dans SageMaker Studio, vous pouvez accéder à SageMaker JumpStart, qui contient des modèles, des blocs-notes et des solutions prédéfinis, sous Solutions prédéfinies et automatisées.