Zonnemodellen van Upstage zijn nu beschikbaar in Amazon SageMaker JumpStart | Amazon-webservices

Deze blogpost is geschreven in samenwerking met Hwalsuk Lee van Upstage.

Vandaag zijn we verheugd aan te kondigen dat de Zonne Het door Upstage ontwikkelde funderingsmodel is nu beschikbaar voor klanten die er gebruik van maken Amazon SageMaker JumpStart. Solar is een groot taalmodel (LLM) waarmee 100% vooraf is getraind Amazon Sage Maker dat beter presteert en zijn compacte formaat en krachtige trackrecords gebruikt om zich te specialiseren in doelgerichte training, waardoor het veelzijdig is in talen, domeinen en taken.

U kunt nu de Zonne-minichat en Minichat op zonne-energie – Aantal voorgetrainde modellen binnen SageMaker JumpStart. SageMaker JumpStart is de machine learning (ML)-hub van SageMaker die naast ingebouwde algoritmen toegang biedt tot basismodellen, zodat u snel aan de slag kunt met ML.

In dit bericht bespreken we hoe u het zonnemodel kunt ontdekken en implementeren via SageMaker JumpStart.

Wat is het zonnemodel?

Solar is een compact en krachtig model voor Engelse en Koreaanse talen. Het is specifiek afgestemd op multi-turn chatdoeleinden en demonstreert verbeterde prestaties bij een breed scala aan natuurlijke taalverwerkingstaken.

Het Solar Mini Chat-model is gebaseerd op Zonne-energie 10.7B, met een 32-laags Lama 2 structuur, en geïnitialiseerd met vooraf getrainde gewichten van Mistral 7B compatibel met de Llama 2-architectuur. Door deze verfijning kan hij langere gesprekken effectiever afhandelen, waardoor hij bijzonder geschikt is voor interactieve toepassingen. Het maakt gebruik van een schaalmethode genaamd diepte-opschaling (DUS), dat bestaat uit diepteschaling en voortdurende voortraining. DUS maakt een veel eenvoudigere en efficiëntere vergroting van kleinere modellen mogelijk dan andere schaalmethoden zoals mengelmoes van deskundigen (MoE).

In december 2023 maakte het Solar 10.7B-model furore door het toppunt van de wereld te bereiken LLM-klassement openen van knuffelend gezicht. Met aanzienlijk minder parameters levert Solar 10.7B reacties die vergelijkbaar zijn met GPT-3.5, maar is hij 2.5 keer sneller. Solar 10.7B staat niet alleen bovenaan het Open LLM Leaderboard, maar presteert ook beter dan GPT-4 met speciaal getrainde modellen voor bepaalde domeinen en taken.

De volgende afbeelding illustreert enkele van deze statistieken:

Met SageMaker JumpStart kunt u vooraf getrainde modellen op basis van Solar 10.7B inzetten: Solar Mini Chat en een gekwantiseerde versie van Solar Mini Chat, geoptimaliseerd voor chattoepassingen in het Engels en Koreaans. Het Solar Mini Chat-model biedt een geavanceerd inzicht in de Koreaanse taalnuances, waardoor gebruikersinteracties in chatomgevingen aanzienlijk worden verbeterd. Het biedt nauwkeurige reacties op gebruikersinvoer, wat zorgt voor duidelijkere communicatie en efficiëntere probleemoplossing in Engelse en Koreaanse chattoepassingen.

Ga aan de slag met zonnemodellen in SageMaker JumpStart

Om aan de slag te gaan met zonnemodellen kunt u SageMaker JumpStart gebruiken, een volledig beheerde ML-hubservice om vooraf gebouwde ML-modellen te implementeren in een productieklare gehoste omgeving. U hebt toegang tot zonnemodellen via SageMaker JumpStart in Amazon SageMaker Studio, een webgebaseerde geïntegreerde ontwikkelomgeving (IDE) waar u toegang hebt tot speciaal gebouwde tools om alle ML-ontwikkelingsstappen uit te voeren, van het voorbereiden van gegevens tot het bouwen, trainen en implementeren van uw ML-modellen.

Kies op de SageMaker Studio-console snelle start in het navigatievenster. Om de zonnemodellen van Upstage te vinden, kunt u in de zoekbalk “solar” invoeren.

Laten we het Solar Mini Chat – Quant-model inzetten. Kies de modelkaart om details over het model te bekijken, zoals de licentie, gegevens die worden gebruikt om te trainen en hoe u het model kunt gebruiken. Ook vindt u een Implementeren optie, die u naar een landingspagina brengt waar u de gevolgtrekking kunt testen met een voorbeeldpayload.

Dit model vereist een AWS Marketplace abonnement. Als u zich al op dit model hebt geabonneerd en toestemming hebt gekregen om het product te gebruiken, kunt u het model rechtstreeks implementeren.

Als u zich niet op dit model hebt geabonneerd, kiest u Inschrijven, ga naar AWS Marketplace, bekijk de prijsvoorwaarden en de licentieovereenkomst voor eindgebruikers (EULA) en kies Accepteer bod.

Nadat u zich op het model hebt geabonneerd, kunt u uw model op een SageMaker-eindpunt implementeren door de implementatiebronnen te selecteren, zoals het exemplaartype en het initiële aantal exemplaren. Kiezen Implementeren en wacht tot er een eindpunt wordt gemaakt voor de modelinferentie. U kunt een ml.g5.2xlarge bijvoorbeeld als een goedkopere optie voor gevolgtrekking met het zonnemodel.

Wanneer uw SageMaker-eindpunt met succes is aangemaakt, kunt u het testen via de verschillende SageMaker-applicatieomgevingen.

Voer uw code voor zonnemodellen uit in SageMaker Studio JupyterLab

SageMaker Studio ondersteunt verschillende applicatie-ontwikkelomgevingen, waaronder JupyterLab, een reeks mogelijkheden die het volledig beheerde notebookaanbod vergroten. Het omvat kernels die binnen enkele seconden starten, een vooraf geconfigureerde runtime met populaire datawetenschap, ML-frameworks en krachtige privéblokopslag. Voor meer informatie, zie SageMaker JupyterLab.

Creëer een JupyterLab-ruimte binnen SageMaker Studio die de opslag- en rekenbronnen beheert die nodig zijn om de JupyterLab-applicatie uit te voeren.

U kunt de code vinden die de implementatie van Solar-modellen laat zien op SageMaker JumpStart en een voorbeeld van hoe u het geïmplementeerde model kunt gebruiken in de GitHub repo. U kunt het model nu implementeren met SageMaker JumpStart. De volgende code gebruikt de standaardinstantie ml.g5.2xlarge voor het Solar Mini Chat – Quant-modelinferentie-eindpunt.

Zonne-energiemodellen ondersteunen een verzoek/antwoord-payload die compatibel is met het Chat-voltooiingseindpunt van OpenAI. U kunt chatvoorbeelden met één of meerdere beurten testen met Python.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

U hebt met succes een realtime gevolgtrekking uitgevoerd met het Solar Mini Chat-model.

Opruimen

Nadat u het eindpunt hebt getest, verwijdert u het SageMaker-inferentie-eindpunt en verwijdert u het model om te voorkomen dat er kosten in rekening worden gebracht.

U kunt ook de volgende code uitvoeren om het eindpunt en de modus in het notitieblok van SageMaker Studio JupyterLab te verwijderen:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

Voor meer informatie, zie Eindpunten en bronnen verwijderen. Bovendien kunt u: sluit de SageMaker Studio-bronnen af die niet langer nodig zijn.

Conclusie

In dit bericht hebben we u laten zien hoe u aan de slag kunt gaan met de Solar-modellen van Upstage in SageMaker Studio en het model kunt inzetten voor gevolgtrekking. We hebben u ook laten zien hoe u uw Python-voorbeeldcode kunt uitvoeren op SageMaker Studio JupyterLab.

Omdat zonnemodellen al vooraf zijn getraind, kunnen ze de training- en infrastructuurkosten helpen verlagen en maatwerk voor uw generatieve AI-toepassingen mogelijk maken.

Probeer het eens op de SageMaker JumpStart-console or SageMaker Studio-console! Je kunt ook de volgende video bekijken, Probeer 'Solar' met Amazon SageMaker.

Deze richtlijnen zijn uitsluitend bedoeld ter informatie. U dient nog steeds uw eigen onafhankelijke beoordeling uit te voeren en maatregelen te nemen om ervoor te zorgen dat u voldoet aan uw eigen specifieke kwaliteitscontrolepraktijken en -normen, en aan de lokale regels, wetten, voorschriften, licenties en gebruiksvoorwaarden die op u, uw inhoud, en het model van derden waarnaar in deze handleiding wordt verwezen. AWS heeft geen controle of autoriteit over het model van derden waarnaar in deze richtlijnen wordt verwezen, en geeft geen enkele verklaring of garantie dat het model van derden veilig, virusvrij, operationeel of compatibel is met uw productieomgeving en standaarden. AWS geeft geen verklaringen, garanties of garanties dat de informatie in deze handleiding tot een bepaalde uitkomst of resultaat zal leiden.

---

Over de auteurs

Channy Yun is een Principal Developer Advocate bij AWS en heeft een passie voor het helpen van ontwikkelaars bij het bouwen van moderne applicaties op basis van de nieuwste AWS-services. Hij is een pragmatische ontwikkelaar en blogger in hart en nieren, en hij houdt van gemeenschapsgestuurd leren en het delen van technologie.

Hwalsuk Lee is Chief Technology Officer (CTO) bij Upstage. Hij heeft voor Samsung Techwin, NCSOFT en Naver gewerkt als AI-onderzoeker. Hij promoveert in computer- en elektrotechniek aan het Korea Advanced Institute of Science and Technology (KAIST).

Brandon Lee is Senior Solutions Architect bij AWS en helpt vooral grote klanten op het gebied van onderwijstechnologie in de publieke sector. Hij heeft meer dan 20 jaar ervaring in het leiden van applicatieontwikkeling bij internationale bedrijven en grote ondernemingen.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/