รุ่น LightOn Lyra-fr พร้อมใช้งานแล้วบน Amazon SageMaker

เราตื่นเต้นที่จะประกาศความพร้อมใช้งานของรุ่นรองพื้น LightOn Lyra-fr สำหรับลูกค้าที่ใช้ Amazon SageMaker LightOn เป็นผู้นำในการสร้างโมเดลพื้นฐานที่เชี่ยวชาญในภาษายุโรป Lyra-fr เป็นโมเดลภาษาฝรั่งเศสล้ำสมัยที่สามารถใช้สร้าง AI เชิงสนทนา เครื่องมือเขียนคำโฆษณา ตัวแยกประเภทข้อความ การค้นหาความหมาย และอื่นๆ คุณสามารถลองใช้โมเดลนี้และใช้งานได้อย่างง่ายดาย Amazon SageMaker JumpStart. JumpStart เป็นฮับการเรียนรู้ของเครื่อง (ML) ของ SageMaker ที่ให้การเข้าถึงโมเดลพื้นฐาน นอกเหนือจากอัลกอริทึมในตัวและเทมเพลตโซลูชันแบบ end-to-end เพื่อช่วยให้คุณเริ่มต้นใช้งาน ML ได้อย่างรวดเร็ว

ในบล็อกนี้ เราจะสาธิตวิธีการใช้โมเดล Lyra-fr ใน SageMaker

โมเดลรองพื้น

โดยทั่วไป โมเดลพื้นฐานจะได้รับการฝึกอบรมเกี่ยวกับพารามิเตอร์นับพันล้านตัว และสามารถปรับให้เข้ากับกรณีการใช้งานประเภทต่างๆ ได้ โมเดลพื้นฐานที่เป็นที่รู้จักมากที่สุดในปัจจุบันใช้เพื่อสรุปบทความ สร้างงานศิลปะดิจิทัล และสร้างโค้ดจากคำสั่งข้อความง่ายๆ โมเดลเหล่านี้มีราคาแพงในการฝึก ดังนั้นลูกค้าจึงต้องการใช้โมเดลพื้นฐานที่ผ่านการฝึกอบรมมาแล้วและปรับแต่งตามความจำเป็น แทนที่จะฝึกโมเดลเหล่านี้ด้วยตนเอง SageMaker จัดเตรียมรายการรุ่นที่คัดสรรแล้วซึ่งคุณสามารถเลือกได้จากคอนโซล SageMaker คุณสามารถทดสอบโมเดลเหล่านี้ได้โดยตรงบนเว็บอินเตอร์เฟส เมื่อคุณต้องการใช้โมเดลพื้นฐานตามขนาด คุณสามารถทำได้ง่ายๆ โดยไม่ต้องออกจาก SageMaker โดยใช้โน้ตบุ๊กที่สร้างไว้ล่วงหน้าจากผู้ให้บริการโมเดล เนื่องจากโมเดลได้รับการโฮสต์และปรับใช้บน AWS คุณจึงมั่นใจได้ว่าข้อมูลของคุณ ไม่ว่าจะใช้เพื่อการประเมินหรือใช้โมเดลตามขนาด จะไม่ถูกแชร์กับบุคคลที่สาม

Lyra-fr เป็นรูปแบบภาษาฝรั่งเศสที่ใหญ่ที่สุดในตลาดปัจจุบัน เป็นโมเดลพารามิเตอร์ 10 พันล้านตัว ซึ่งผ่านการฝึกอบรมและทำให้เข้าถึงได้โดย LightOn Lyra-fr ได้รับการฝึกอบรมเกี่ยวกับคลังข้อมูลขนาดใหญ่ของฝรั่งเศส และสามารถเขียนข้อความเหมือนมนุษย์และแก้ปัญหาที่ซับซ้อน เช่น การจัดหมวดหมู่ การตอบคำถาม และการสรุป ทั้งหมดนี้ยังคงความเร็วการอนุมานที่สมเหตุสมผล ในช่วง 1–2 วินาทีสำหรับคำขอเฉลี่ย คุณสามารถอธิบายงานที่คุณต้องการทำในภาษาธรรมชาติ และ Lyra-fr จะสร้างคำตอบในระดับเจ้าของภาษาฝรั่งเศส Lyra-fr นำเสนอระบบอัจฉริยะพื้นฐานที่พร้อมสำหรับธุรกิจ เช่น การสร้างที่ควบคุมได้และการจำแนกข้อความ โดยใช้โค้ดเพียงไม่กี่บรรทัด สำหรับงานที่ท้าทายมากขึ้น ประสิทธิภาพสามารถปรับปรุงได้ในโหมดการเรียนรู้แบบ “ไม่กี่ช็อต” โดยให้ตัวอย่างอินพุต-เอาต์พุตสองสามตัวอย่างในทันที

การใช้ Lyra-fr บน SageMaker

เราจะแนะนำวิธีการใช้แบบจำลอง Lyra-fr ใน 3 ขั้นตอนง่ายๆ:

• ค้นพบ – ค้นหาโมเดล Lyra-fr บน AWS Management Console สำหรับ SageMaker
• ทดสอบ – ทดสอบโมเดลโดยใช้เว็บอินเตอร์เฟส
• ปรับใช้ – ใช้โน้ตบุ๊กเพื่อปรับใช้และทดสอบความสามารถขั้นสูงของโมเดล

ค้นพบ

เพื่อให้ง่ายต่อการค้นหารองพื้นรุ่นต่างๆ เช่น Lyra-fr เราได้รวมรุ่นรองพื้นทั้งหมดไว้ในที่เดียว หากต้องการค้นหาโมเดล Lyra-fr:

1. เข้าสู่ระบบเพื่อ AWS Management Console สำหรับ SageMaker.
2. ในแผงการนำทางด้านซ้าย คุณควรเห็นส่วนที่เรียกว่า เริ่มกระโดด กับ โมเดลรองพื้น ภายใต้มัน ขอสิทธิ์เข้าถึงฟีเจอร์นี้หากคุณยังไม่มีสิทธิ์เข้าถึง
3. เมื่อบัญชีของคุณได้รับอนุญาต คุณจะเห็นรายการรุ่นทางด้านขวา ที่นี่คุณจะพบโมเดล Lyra-fr 10B
   
4. คลิกที่ ดูรุ่น จะแสดงการ์ดรุ่นเต็มพร้อมตัวเลือกเพิ่มเติม
   

ทดสอบ

กรณีการใช้งานทั่วไปคือการรันการทดสอบเฉพาะกิจเพื่อให้แน่ใจว่าโมเดลนั้นตรงตามความต้องการของคุณ คุณสามารถทดสอบโมเดล Lyra-fr ได้โดยตรงจากคอนโซล SageMaker ในตัวอย่างนี้ เราจะใช้ข้อความแจ้งง่ายๆ โดยขอให้แบบจำลองสร้างรายการแนวคิดบทความสำหรับหัวข้อ "สีน้ำ" หรือ "l'aquarelle" ในภาษาฝรั่งเศส

1. จากการ์ดรุ่นที่แสดงในส่วนก่อนหน้า ให้เลือก ลองแบบ. การดำเนินการนี้จะเปิดแท็บใหม่พร้อมส่วนต่อประสานการทดสอบ
2. บนอินเทอร์เฟซนี้ ให้ป้อนข้อความที่คุณต้องการส่งไปยังโมเดล คุณยังสามารถปรับพารามิเตอร์ที่ต้องการโดยใช้แถบเลื่อนทางด้านขวา เมื่อคุณพอใจแล้วให้เลือก สร้างข้อความ.
   

โปรดทราบว่าโมเดลพื้นฐานและเอาต์พุตมาจากผู้ให้บริการโมเดล และ AWS จะไม่รับผิดชอบต่อเนื้อหาหรือความถูกต้องในนั้น

ปรับใช้

โมเดลการสร้างข้อความทำงานได้ดีที่สุดเมื่อคุณให้ตัวอย่างข้อมูลที่คุณต้องการให้โมเดลจัดเตรียม สิ่งนี้เรียกว่าการเรียนรู้เพียงไม่กี่ช็อต เราจะสาธิตความสามารถนี้โดยใช้โน้ตบุ๊กตัวอย่าง Lyra-fr สมุดบันทึกตัวอย่างอธิบายวิธีการปรับใช้โมเดล Lyra-fr บน SageMaker วิธีสรุปและสร้างข้อความ และการเรียนรู้แบบไม่กี่ช็อต

นอกจากนี้ยังมีตัวอย่างการสร้างคำขอการอนุมานโดยตรงโดยใช้ JSON หรือ Lyra Python SDK Lyra Python SDK จะดูแลการจัดรูปแบบอินพุต การเรียกใช้จุดสิ้นสุด และการแกะเอาต์พุต มีหนึ่งคลาสต่อจุดสิ้นสุด: สร้าง วิเคราะห์ เลือก ฝัง เปรียบเทียบ และ Tokenize โปรดทราบว่าตัวอย่างนี้ใช้อินสแตนซ์ ml.p4d.24xlarge หากขีดจำกัดเริ่มต้นสำหรับบัญชี AWS ของคุณคือ 0 คุณต้องขอเพิ่มขีดจำกัดสำหรับอินสแตนซ์ GPU นี้

SageMaker มอบประสบการณ์การใช้งานโน้ตบุ๊กที่มีการจัดการผ่าน SageMaker Studio สำหรับรายละเอียดเกี่ยวกับวิธีการตั้งค่า SageMaker Studio โปรดดูที่ คู่มือนักพัฒนา Amazon SageMaker. เราจะโคลน repo GitHub นี้ลงใน SageMaker Studio ในการสาธิตนี้ แต่โน้ตบุ๊กจะทำงานในสภาพแวดล้อมอื่นๆ ด้วย

มาดูวิธีเรียกใช้โน้ตบุ๊กกัน:

1. ไปที่การ์ดรุ่นจากส่วน Discover ในบล็อกโพสต์นี้ แล้วเลือก ดูสมุดบันทึก. คุณควรเห็นแท็บใหม่เปิดใน GitHub พร้อมกับโน้ตบุ๊ก Lyra-fr
2. ใน GitHub ให้เลือก lightonmuse-sagemaker-sdk; สิ่งนี้จะนำคุณไปสู่การซื้อคืน เลือก รหัส ปุ่มและคัดลอก HTTPS URL
   
3. เปิด SageMaker Studio เลือก โคลนที่เก็บ แล้ววาง URL ที่คัดลอกมาจากด้านบน
   
4. นำทางไปยังโน้ตบุ๊ก Lyra-fr โดยใช้ไฟล์เบราว์เซอร์ทางด้านซ้าย
5. สมุดบันทึกนี้ทำงานตั้งแต่ต้นจนจบโดยไม่ต้องป้อนข้อมูลเพิ่มเติมและยังล้างข้อมูลทรัพยากรที่สร้างขึ้น เราสามารถดูตัวอย่าง “การใช้ Create สำหรับการวิเคราะห์ความรู้สึก” ตัวอย่างนี้ใช้ Lyra Python SDK และสาธิตการเรียนรู้แบบไม่กี่ภาพโดยการสอนโมเดลด้วยตัวอย่างสองสามตัวอย่างว่าข้อความใดควรจัดหมวดหมู่เป็นบวก (โพสิทิฟ) ลบ (เนกาทีฟ) หรือผสม (มิตีเก)
6. คุณจะเห็นว่าด้วย Lyra Python SDK สิ่งที่คุณต้องทำคือระบุชื่อจุดสิ้นสุดของ SageMaker และอินพุต SDK จะจัดการการแยกวิเคราะห์ การจัดรูปแบบ และการตั้งค่าทั้งหมดให้คุณ
   
7. การรันพรอมต์นี้จะส่งกลับว่าคำสั่งสุดท้ายเป็นค่าบวก
   

ทำความสะอาด

หลังจากที่คุณทดสอบจุดสิ้นสุดแล้ว ตรวจสอบให้แน่ใจว่าคุณลบจุดสิ้นสุดการอนุมานของ SageMaker และลบแบบจำลองเพื่อหลีกเลี่ยงค่าใช้จ่ายที่เกิดขึ้น

สรุป

ในโพสต์นี้ เราได้แสดงวิธีค้นหา ทดสอบ และปรับใช้โมเดล Lyra-fr โดยใช้ Amazon SageMaker ขอสิทธิ์เข้าถึง ลองใช้รุ่นรองพื้น ใน SageMaker วันนี้ และแจ้งให้เราทราบความคิดเห็นของคุณ!

---

เกี่ยวกับผู้แต่ง

ยาโคโป โปลี เป็น CTO ของ LightOn รับผิดชอบตัวเลือกทางเทคนิคเชิงกลยุทธ์สำหรับบริษัทในการสร้างโมเดลภาษาขนาดใหญ่มากและนำเสนอต่อสาธารณะ เขาหลงใหลเกี่ยวกับการทำให้แมชชีนเลิร์นนิงเป็นประชาธิปไตยผ่านอินเทอร์เฟซที่ใช้งานง่าย ในเวลาว่าง เขาสนุกกับการแสวงหาร้านอาหารที่ดีที่สุดในปารีส

อลัน ตัน เป็นผู้จัดการผลิตภัณฑ์อาวุโสของ SageMaker ซึ่งเป็นผู้นำในการอนุมานแบบจำลองขนาดใหญ่ เขาหลงใหลในการใช้แมชชีนเลิร์นนิงในด้านการวิเคราะห์ นอกเวลางาน เขาสนุกกับกิจกรรมกลางแจ้ง