โมเดลพลังงานแสงอาทิตย์จาก Upstage พร้อมใช้งานแล้วใน Amazon SageMaker JumpStart | อเมซอนเว็บเซอร์วิส

โพสต์ในบล็อกนี้เขียนร่วมกับ Hwalsuk Lee ที่ Upstage

วันนี้เรารู้สึกตื่นเต้นที่จะประกาศว่า พลังงานแสงอาทิตย์ ขณะนี้โมเดลรองพื้นที่พัฒนาโดย Upstage พร้อมให้ลูกค้าใช้งานแล้ว Amazon SageMaker JumpStart- Solar เป็นโมเดลภาษาขนาดใหญ่ (LLM) ผ่านการฝึกอบรมล่วงหน้า 100% อเมซอน SageMaker ที่มีประสิทธิภาพเหนือกว่าและใช้ขนาดที่กะทัดรัดและประวัติอันทรงพลังเพื่อเชี่ยวชาญในการฝึกอบรมตามวัตถุประสงค์ ทำให้มีความหลากหลายในภาษา โดเมน และงานต่างๆ

ตอนนี้คุณสามารถใช้ไฟล์ พลังงานแสงอาทิตย์มินิแชท และ Solar Mini Chat – Quant โมเดลที่ได้รับการฝึกล่วงหน้าภายใน SageMaker JumpStart SageMaker JumpStart คือศูนย์กลางแมชชีนเลิร์นนิง (ML) ของ SageMaker ที่ให้การเข้าถึงโมเดลพื้นฐาน นอกเหนือจากอัลกอริธึมในตัว เพื่อช่วยให้คุณเริ่มต้นใช้งาน ML ได้อย่างรวดเร็ว

ในโพสต์นี้ เราจะอธิบายวิธีการค้นหาและปรับใช้โมเดล Solar ผ่าน SageMaker JumpStart

Solar Model คืออะไร?

Solar เป็นรุ่นกะทัดรัดและทรงพลังสำหรับภาษาอังกฤษและภาษาเกาหลี ได้รับการปรับแต่งมาเป็นพิเศษเพื่อการแชทแบบหลายรอบ แสดงให้เห็นถึงประสิทธิภาพที่เพิ่มขึ้นในงานการประมวลผลภาษาธรรมชาติที่หลากหลาย

โมเดล Solar Mini Chat นั้นมีพื้นฐานมาจาก โซลาร์ 10.7Bมี 32 ชั้น ลามะ 2 โครงสร้างและเริ่มต้นด้วยตุ้มน้ำหนักที่ผ่านการฝึกอบรมมาแล้วจาก มิสทรัล 7B เข้ากันได้กับสถาปัตยกรรม Llama 2 การปรับแต่งอย่างละเอียดนี้ทำให้สามารถจัดการกับการสนทนาที่ขยายออกไปได้อย่างมีประสิทธิภาพมากขึ้น ทำให้เหมาะสำหรับการใช้งานแบบโต้ตอบโดยเฉพาะ มันใช้วิธีการปรับขนาดที่เรียกว่า การปรับขนาดเชิงลึก (DUS) ซึ่งประกอบด้วยการปรับขนาดเชิงลึกและการฝึกล่วงหน้าอย่างต่อเนื่อง DUS ช่วยให้สามารถขยายโมเดลขนาดเล็กได้อย่างตรงไปตรงมาและมีประสิทธิภาพมากกว่าวิธีการปรับขนาดอื่นๆ เช่น ส่วนผสมของผู้เชี่ยวชาญ (โมอี)

ในเดือนธันวาคม พ.ศ. 2023 โมเดล Solar 10.7B ได้สร้างคลื่นด้วยการไปถึงจุดสุดยอดของ เปิดลีดเดอร์บอร์ด LLM ของการกอดใบหน้า ด้วยการใช้พารามิเตอร์ที่น้อยกว่าอย่างเห็นได้ชัด Solar 10.7B ให้การตอบสนองที่เทียบได้กับ GPT-3.5 แต่เร็วกว่า 2.5 เท่า นอกเหนือจากการติดอันดับ Open LLM Leaderboard แล้ว Solar 10.7B ยังมีประสิทธิภาพเหนือกว่า GPT-4 ด้วยโมเดลที่ได้รับการฝึกอบรมตามวัตถุประสงค์ในบางโดเมนและงาน

รูปต่อไปนี้แสดงเมตริกบางส่วนเหล่านี้:

ด้วย SageMaker JumpStart คุณสามารถปรับใช้โมเดลที่ได้รับการฝึกล่วงหน้าตาม Solar 10.7B: Solar Mini Chat และ Solar Mini Chat เวอร์ชันเชิงปริมาณ ซึ่งปรับให้เหมาะกับแอปพลิเคชันแชทในภาษาอังกฤษและเกาหลี โมเดล Solar Mini Chat ให้ความเข้าใจขั้นสูงเกี่ยวกับความแตกต่างทางภาษาเกาหลี ซึ่งช่วยยกระดับการโต้ตอบของผู้ใช้ในสภาพแวดล้อมการแชทอย่างมีนัยสำคัญ ให้การตอบสนองที่แม่นยำต่ออินพุตของผู้ใช้ ทำให้มั่นใจได้ถึงการสื่อสารที่ชัดเจนและการแก้ไขปัญหาที่มีประสิทธิภาพมากขึ้นในแอปพลิเคชันแชทภาษาอังกฤษและภาษาเกาหลี

เริ่มต้นใช้งานโมเดล Solar ใน SageMaker JumpStart

ในการเริ่มต้นใช้งานโมเดล Solar คุณสามารถใช้ SageMaker JumpStart ซึ่งเป็นบริการฮับ ML ที่มีการจัดการเต็มรูปแบบ เพื่อปรับใช้โมเดล ML ที่สร้างไว้ล่วงหน้าในสภาพแวดล้อมที่โฮสต์พร้อมสำหรับการใช้งานจริง คุณสามารถเข้าถึงโมเดล Solar ผ่าน SageMaker JumpStart ได้ใน สตูดิโอ Amazon SageMakerซึ่งเป็นสภาพแวดล้อมการพัฒนาแบบผสานรวมบนเว็บ (IDE) ที่คุณสามารถเข้าถึงเครื่องมือที่สร้างขึ้นตามวัตถุประสงค์เพื่อดำเนินการขั้นตอนการพัฒนา ML ทั้งหมด ตั้งแต่การเตรียมข้อมูลไปจนถึงการสร้าง การฝึกอบรม และการปรับใช้โมเดล ML ของคุณ

บนคอนโซล SageMaker Studio เลือก เริ่มกระโดด ในบานหน้าต่างนำทาง คุณสามารถป้อน "พลังงานแสงอาทิตย์" ในแถบค้นหาเพื่อค้นหาโมเดลพลังงานแสงอาทิตย์ของ Upstage

มาปรับใช้โมเดล Solar Mini Chat – Quant กันดีกว่า เลือกการ์ดโมเดลเพื่อดูรายละเอียดเกี่ยวกับโมเดล เช่น ใบอนุญาต ข้อมูลที่ใช้ในการฝึก และวิธีการใช้โมเดล นอกจากนี้คุณยังจะได้พบกับ ปรับใช้ ตัวเลือก ซึ่งจะนำคุณไปยังหน้า Landing Page ที่คุณสามารถทดสอบการอนุมานด้วยเพย์โหลดตัวอย่างได้

รุ่นนี้ต้องใช้ AWS Marketplace สมัครสมาชิก หากคุณได้สมัครใช้งานโมเดลนี้แล้ว และได้รับการอนุมัติให้ใช้ผลิตภัณฑ์ คุณสามารถปรับใช้โมเดลได้โดยตรง

หากคุณยังไม่ได้สมัครรับรุ่นนี้ให้เลือก สมัครรับจดหมายข่าวไปที่ AWS Marketplace ตรวจสอบเงื่อนไขราคาและข้อตกลงสิทธิ์การใช้งานสำหรับผู้ใช้ปลายทาง (EULA) แล้วเลือก รับข้อเสนอ.

หลังจากที่คุณสมัครรับโมเดลแล้ว คุณสามารถปรับใช้โมเดลของคุณกับตำแหน่งข้อมูล SageMaker ได้โดยเลือกทรัพยากรการปรับใช้ เช่น ประเภทอินสแตนซ์และจำนวนอินสแตนซ์เริ่มต้น เลือก ปรับใช้ และรอให้สร้างจุดสิ้นสุดสำหรับการอนุมานโมเดล คุณสามารถเลือกก ml.g5.2xlarge อินสแตนซ์เป็นตัวเลือกที่ถูกกว่าสำหรับการอนุมานด้วยโมเดล Solar

เมื่อสร้างตำแหน่งข้อมูล SageMaker สำเร็จแล้ว คุณสามารถทดสอบผ่านสภาพแวดล้อมแอปพลิเคชัน SageMaker ต่างๆ ได้

รันโค้ดของคุณสำหรับรุ่น Solar ใน SageMaker Studio JupyterLab

SageMaker Studio รองรับสภาพแวดล้อมการพัฒนาแอปพลิเคชันที่หลากหลาย รวมถึง JupyterLab ซึ่งเป็นชุดความสามารถที่เสริมข้อเสนอโน้ตบุ๊กที่มีการจัดการเต็มรูปแบบ ประกอบด้วยเคอร์เนลที่เริ่มทำงานในไม่กี่วินาที รันไทม์ที่กำหนดค่าไว้ล่วงหน้าพร้อมวิทยาการข้อมูลยอดนิยม เฟรมเวิร์ก ML และพื้นที่เก็บข้อมูลบล็อกส่วนตัวประสิทธิภาพสูง สำหรับข้อมูลเพิ่มเติม โปรดดู SageMaker JupyterLab.

สร้างพื้นที่ JupyterLab ภายใน SageMaker Studio เพื่อจัดการพื้นที่เก็บข้อมูลและทรัพยากรการประมวลผลที่จำเป็นในการรันแอปพลิเคชัน JupyterLab

คุณสามารถดูโค้ดที่แสดงการใช้งานโมเดล Solar ได้ใน SageMaker JumpStart และตัวอย่างวิธีใช้โมเดลที่ปรับใช้ใน repo GitHub- ตอนนี้คุณสามารถปรับใช้โมเดลโดยใช้ SageMaker JumpStart รหัสต่อไปนี้ใช้อินสแตนซ์เริ่มต้น ml.g5.2xlarge สำหรับ Solar Mini Chat – จุดสิ้นสุดการอนุมานโมเดล Quant

โมเดลพลังงานแสงอาทิตย์รองรับเพย์โหลดคำขอ/การตอบกลับที่เข้ากันได้กับจุดสิ้นสุดการแชทของ OpenAI คุณสามารถทดสอบตัวอย่างการแชทแบบเทิร์นเดียวหรือหลายเทิร์นด้วย Python

# Get a SageMaker endpoint
sagemaker_runtime = boto3.client("sagemaker-runtime")
endpoint_name = sagemaker.utils.name_from_base(model_name)

# Multi-turn chat prompt example
input = {
    "messages": [
      {
        "role": "system",
        "content": "You are a helpful assistant."
      },
      {
        "role": "user",
        "content": "Can you provide a Python script to merge two sorted lists?"
      },
      {
        "role": "assistant",
        "content": """Sure, here is a Python script to merge two sorted lists:

                    ```python
                    def merge_lists(list1, list2):
                        return sorted(list1 + list2)
                    ```
                    """
      },
      {
        "role": "user",
        "content": "Can you provide an example of how to use this function?"
      }
    ]
}

# Get response from the model
response = sagemaker_runtime.invoke_endpoint(EndpointName=endpoint_name, ContentType='application/json', Body=json.dumps (input))
result = json.loads(response['Body'].read().decode())
print result

คุณทำการอนุมานแบบเรียลไทม์ด้วยโมเดล Solar Mini Chat สำเร็จแล้ว

ทำความสะอาด

หลังจากที่คุณทดสอบตำแหน่งข้อมูลแล้ว ให้ลบตำแหน่งข้อมูลการอนุมานของ SageMaker และลบโมเดลเพื่อหลีกเลี่ยงค่าใช้จ่ายที่เกิดขึ้น

คุณยังสามารถเรียกใช้โค้ดต่อไปนี้เพื่อลบตำแหน่งข้อมูลและโหมดในสมุดบันทึกของ SageMaker Studio JupyterLab:

# Delete the endpoint 
model.sagemaker_session.delete_endpoint(endpoint_name)
model.sagemaker_session.delete_endpoint_config(endpoint_name)

# Delete the model
model.delete_model()

สำหรับข้อมูลเพิ่มเติมโปรดดูที่ ลบปลายทางและทรัพยากร. นอกจากนี้ คุณสามารถ ปิดทรัพยากร SageMaker Studio ที่ไม่จำเป็นอีกต่อไป

สรุป

ในโพสต์นี้ เราได้แสดงให้คุณเห็นถึงวิธีเริ่มต้นใช้งานโมเดล Solar ของ Upstage ใน SageMaker Studio และปรับใช้โมเดลเพื่อการอนุมาน นอกจากนี้เรายังแสดงให้คุณเห็นว่าคุณสามารถเรียกใช้โค้ดตัวอย่าง Python บน SageMaker Studio JupyterLab ได้อย่างไร

เนื่องจากโมเดล Solar ได้รับการฝึกอบรมล่วงหน้าแล้ว จึงสามารถช่วยลดการฝึกอบรมและต้นทุนโครงสร้างพื้นฐาน และเปิดใช้งานการปรับแต่งสำหรับแอปพลิเคชัน AI ทั่วไปของคุณได้

ลองดูที่ คอนโซล SageMaker JumpStart or คอนโซล SageMaker Studio- คุณยังสามารถรับชมวิดีโอต่อไปนี้ ลองใช้ 'พลังงานแสงอาทิตย์' กับ Amazon SageMaker.

คำแนะนำนี้มีวัตถุประสงค์เพื่อให้ข้อมูลเท่านั้น คุณควรดำเนินการประเมินโดยอิสระของคุณเอง และใช้มาตรการเพื่อให้แน่ใจว่าคุณปฏิบัติตามหลักปฏิบัติและมาตรฐานการควบคุมคุณภาพเฉพาะของคุณเอง รวมถึงกฎ กฎหมาย ข้อบังคับ ใบอนุญาต และข้อกำหนดการใช้งานในท้องถิ่นที่บังคับใช้กับคุณ เนื้อหาของคุณ และรุ่นของบริษัทอื่นที่อ้างอิงในคำแนะนำนี้ AWS ไม่มีการควบคุมหรือให้สิทธิ์เหนือโมเดลของบริษัทอื่นที่อ้างอิงในคำแนะนำนี้ และไม่ได้ให้การรับรองหรือรับประกันใดๆ ว่าโมเดลของบริษัทอื่นมีความปลอดภัย ปราศจากไวรัส ใช้งานได้ หรือเข้ากันได้กับสภาพแวดล้อมและมาตรฐานการใช้งานจริงของคุณ AWS ไม่ได้ให้การรับรอง การรับประกัน หรือรับประกันว่าข้อมูลใดๆ ในคำแนะนำนี้จะส่งผลให้เกิดผลลัพธ์หรือผลลัพธ์เฉพาะ

---

เกี่ยวกับผู้เขียน

ชานนี่ หยุน เป็นผู้สนับสนุนหลักสำหรับนักพัฒนาที่ AWS และมีความกระตือรือร้นในการช่วยนักพัฒนาสร้างแอปพลิเคชันสมัยใหม่บนบริการ AWS ล่าสุด เขาเป็นนักพัฒนาและบล็อกเกอร์ที่เน้นการปฏิบัติจริง และเขาชอบการเรียนรู้และแบ่งปันเทคโนโลยีที่ขับเคลื่อนโดยชุมชน

ฮวาลซุก ลี เป็นประธานเจ้าหน้าที่ฝ่ายเทคโนโลยี (CTO) ที่ Upstage เขาเคยทำงานให้กับ Samsung Techwin, NCSOFT และ Naver ในตำแหน่งนักวิจัย AI เขากำลังศึกษาระดับปริญญาเอกสาขาวิศวกรรมคอมพิวเตอร์และไฟฟ้าที่สถาบันวิทยาศาสตร์และเทคโนโลยีขั้นสูงแห่งเกาหลี (KAIST)

แบรนดอนลี เป็นสถาปนิกโซลูชันอาวุโสที่ AWS และช่วยเหลือลูกค้าเทคโนโลยีการศึกษาขนาดใหญ่ในภาครัฐเป็นหลัก เขามีประสบการณ์มากกว่า 20 ปีในการเป็นผู้นำการพัฒนาแอปพลิเคชันในบริษัทระดับโลกและองค์กรขนาดใหญ่

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/solar-models-from-upstage-are-now-available-in-amazon-sagemaker-jumpstart/