Upstage'i päikesepaneelid on nüüd saadaval Amazon SageMaker JumpStart | Amazoni veebiteenused

See ajaveebi postitus on koos Hwalsuk Leega Upstage'is kirjutatud.

Täna on meil hea meel teatada, et Päikese- Upstage'i välja töötatud vundamendimudel on nüüd klientidele saadaval Amazon SageMaker JumpStart. Solar on suur keelemudel (LLM), millega on 100% eelkoolitatud Amazon SageMaker mis ületab ja kasutab oma kompaktset suurust ja võimsaid tulemusi, et spetsialiseeruda eesmärgipärasele koolitusele, muutes selle mitmekülgseks erinevates keeltes, domeenides ja ülesannetes.

Nüüd saate kasutada Päikeseenergia minivestlus ja Päikeseenergia minivestlus – kogus eelkoolitatud mudelid SageMaker JumpStartis. SageMaker JumpStart on SageMakeri masinõppe (ML) keskus, mis pakub lisaks sisseehitatud algoritmidele juurdepääsu alusmudelitele, mis aitavad teil ML-iga kiiresti alustada.

Selles postituses kirjeldame, kuidas SageMaker JumpStarti kaudu Solari mudelit avastada ja juurutada.

Mis on päikesemudel?

Solar on kompaktne ja võimas mudel inglise ja korea keelte jaoks. See on spetsiaalselt peenhäälestatud mitme pöördega vestluse jaoks, näidates paremat jõudlust paljude loomuliku keele töötlemise ülesannete puhul.

Solar Mini Chat mudel põhineb Päikeseenergia 10.7B, 32-kihiga Laama 2 struktuur ja lähtestati eelnevalt treenitud raskustega Mistral 7B ühildub Llama 2 arhitektuuriga. See peenhäälestus annab sellele võimaluse tõhusamalt käsitleda pikemaid vestlusi, muutes selle interaktiivsete rakenduste jaoks eriti sobivaks. See kasutab skaleerimismeetodit, mida nimetatakse sügavuse suurendamine (DUS), mis koosneb sügavuspõhisest skaleerimisest ja jätkuvast eeltreeningust. DUS võimaldab väiksemate mudelite palju arusaadavamat ja tõhusamat suurendamist kui teised skaleerimismeetodid, näiteks ekspertide segu (KKM).

2023. aasta detsembris lõi Solar 10.7B mudel laineid, saavutades maailma tipptaseme. Avage LLM-i edetabel kohta Kallistav nägu. Kasutades märgatavalt vähem parameetreid, pakub Solar 10.7B vastuseid, mis on võrreldavad GPT-3.5-ga, kuid on 2.5 korda kiirem. Lisaks Open LLM-i edetabeli esikohale edestab Solar 10.7B GPT-4 teatud domeenide ja ülesannete puhul eesmärgipäraselt koolitatud mudelitega.

Järgmine joonis illustreerib mõnda neist mõõdikutest.

SageMaker JumpStarti abil saate kasutusele võtta Solar 10.7B-põhised eelkoolitatud mudelid: Solar Mini Chat ja Solar Mini Chati kvantiseeritud versioon, mis on optimeeritud inglise ja koreakeelsete vestlusrakenduste jaoks. Solar Mini Chat mudel annab täpsema ülevaate korea keele nüanssidest, mis suurendab oluliselt kasutajate suhtlust vestluskeskkondades. See annab täpseid vastuseid kasutaja sisestustele, tagades selgema suhtluse ja tõhusama probleemide lahendamise inglise ja korea vestlusrakendustes.

Alustage päikeseenergia mudelitega SageMaker JumpStartis

Solari mudelitega alustamiseks saate kasutada SageMaker JumpStart, täielikult hallatud ML-i jaoturi teenust, et juurutada eelehitatud ML-mudeleid tootmisvalmis hostitud keskkonda. Päikeseenergia mudelitele pääsete juurde SageMaker JumpStarti kaudu Amazon SageMaker Studio, veebipõhine integreeritud arenduskeskkond (IDE), kus pääsete juurde spetsiaalselt loodud tööriistadele, et sooritada kõiki ML-i arendusetappe alates andmete ettevalmistamisest kuni ML-mudelite loomise, koolitamise ja juurutamiseni.

Valige SageMaker Studio konsoolil KiirStart navigeerimispaanil. Upstage'i päikesemudelite leidmiseks võite otsinguribale sisestada sõna „solar”.

Võtame kasutusele mudeli Solar Mini Chat – Quant. Valige mudelikaart, et vaadata mudeli üksikasju, nagu litsents, koolituseks kasutatud andmed ja mudeli kasutamine. Samuti leiate a juurutada valik, mis viib teid sihtlehele, kus saate testida järeldusi kasuliku koormuse näite abil.

See mudel nõuab AWS Marketplace tellimus. Kui olete selle mudeli juba tellinud ja saanud toote kasutamiseks loa, saate mudeli otse juurutada.

Kui te pole seda mudelit tellinud, valige Soovin uudiskirja, minge AWS Marketplace'i, vaadake üle hinnatingimused ja lõppkasutaja litsentsileping (EULA) ning valige Võta pakkumine vastu.

Pärast mudeli tellimist saate oma mudeli juurutada SageMakeri lõpp-punktis, valides juurutusressursid, nagu eksemplari tüüp ja esialgse eksemplari arv. Vali juurutada ja oodake, kuni luuakse mudeli järelduse jaoks lõpp-punkt. Saate valida an ml.g5.2xlarge näiteks kui odavam võimalus Solari mudeli põhjal järelduste tegemiseks.

Kui teie SageMakeri lõpp-punkt on edukalt loodud, saate seda testida erinevate SageMakeri rakenduskeskkondade kaudu.

Käivitage oma päikeseenergia mudelite kood rakenduses SageMaker Studio JupyterLab

SageMaker Studio toetab erinevaid rakenduste arenduskeskkondi, sealhulgas JupyterLabi, võimaluste komplekti, mis täiendab täielikult hallatavate sülearvutite pakkumist. See sisaldab tuumasid, mis käivituvad sekunditega, populaarse andmeteadusega eelkonfigureeritud käitusaega, ML-raamistikke ja suure jõudlusega privaatplokkide salvestusruumi. Lisateabe saamiseks vt SageMaker JupyterLab.

Looge SageMaker Studios JupyterLabi ruum, mis haldab JupyterLabi rakenduse käitamiseks vajalikke salvestus- ja arvutusressursse.

Koodi, mis näitab Solari mudelite kasutuselevõttu, leiate saidilt SageMaker JumpStart ja näite juurutatud mudeli kasutamise kohta GitHub repo. Nüüd saate mudeli juurutada, kasutades SageMaker JumpStart. Järgmine kood kasutab mudeli Solar Mini Chat – Quant järelduse lõpp-punkti jaoks vaikeeksemplari ml.g5.2xlarge.

Päikeseenergia mudelid toetavad OpenAI vestluse lõpetamise lõpp-punktiga ühilduvat päringu/vastuse kasulikku koormust. Pythoni abil saate testida ühe- või mitme pöördega vestluse näiteid.

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

Olete Solar Mini Chati mudeliga edukalt reaalajas järeldusi teinud.

Koristage

Pärast lõpp-punkti testimist kustutage tasude vältimiseks SageMakeri järelduse lõpp-punkt ja mudel.

Lõpp-punkti ja režiimi kustutamiseks SageMaker Studio JupyterLabi märkmikus saate käivitada ka järgmise koodi:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

Täpsema info saamiseks vt Kustutage lõpp-punktid ja ressursid. Lisaks saate sulgege SageMaker Studio ressursid mida enam ei nõuta.

Järeldus

Selles postituses näitasime teile, kuidas SageMaker Studios Upstage'i päikesemudelitega alustada ja mudelit järelduste tegemiseks juurutada. Samuti näitasime teile, kuidas saate Pythoni näidiskoodi SageMaker Studio JupyterLabis käitada.

Kuna päikeseenergia mudelid on juba eelkoolitatud, võivad need aidata vähendada koolitus- ja infrastruktuurikulusid ning võimaldada kohandamist teie generatiivsete AI-rakenduste jaoks.

Proovige seda peal SageMaker JumpStart konsool or SageMaker Studio konsool! Saate vaadata ka järgmist videot, Proovige "Solar" rakendusega Amazon SageMaker.

See juhend on mõeldud ainult informatiivsel eesmärgil. Peaksite siiski läbi viima oma sõltumatu hindamise ja võtma meetmeid tagamaks, et järgite oma konkreetseid kvaliteedikontrolli tavasid ja standardeid ning kohalikke eeskirju, seadusi, määrusi, litsentse ja kasutustingimusi, mis kehtivad teie, teie sisu, ja käesolevas juhendis viidatud kolmanda osapoole mudel. AWS-il ei ole käesolevas juhendis viidatud kolmanda osapoole mudeli üle kontrolli ega volitusi ning ta ei kinnita ega garanteeri, et kolmanda osapoole mudel on turvaline, viirusevaba, töökorras või teie tootmiskeskkonna ja standarditega ühilduv. AWS ei anna mingeid kinnitusi, garantiisid ega garantiisid, et mis tahes selles juhendis sisalduv teave toob kaasa konkreetse tulemuse või tulemuse.

---

Autoritest

Channy Yun on AWS-i peamine arendajaadvokaat ja soovib kirglikult aidata arendajatel luua uusimate AWS-teenuste jaoks kaasaegseid rakendusi. Ta on hingelt pragmaatiline arendaja ja blogija ning talle meeldib kogukonnapõhine õppimine ja tehnoloogia jagamine.

Hwalsuk Lee on Upstage'i tehnoloogiajuht (CTO). Ta on töötanud Samsung Techwinis, NCSOFTis ja Naveris tehisintellekti uurijana. Ta omandab doktorikraadi arvuti- ja elektrotehnika alal Korea teaduse ja tehnoloogia arenenud instituudis (KAIST).

Brandon Lee on AWS-i vanemlahenduste arhitekt ja abistab peamiselt suuri haridustehnoloogia kliente avalikus sektoris. Tal on üle 20-aastane kogemus rakenduste arenduse juhtimisel ülemaailmsetes ettevõtetes ja suurkorporatsioonides.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/