Opera รองรับการรัน LLM ในเครื่องโดยไม่ต้องเชื่อมต่อ

Opera รองรับการรัน LLM ในเครื่องโดยไม่ต้องเชื่อมต่อ

ประทับเวลา: 3 เมษายน 2024 11:07 น
Opera รองรับการรัน LLM ท้องถิ่นโดยไม่ต้องเชื่อมต่อ PlatoBlockchain Data Intelligence ค้นหาแนวตั้ง AI.

Opera ได้เพิ่มการสนับสนุนแบบทดลองสำหรับการรันโมเดลภาษาขนาดใหญ่ (LLM) ภายในเบราว์เซอร์ Opera One Developer ซึ่งเป็นส่วนหนึ่งของโปรแกรมปล่อยฟีเจอร์ AI

พิเศษในขณะนี้สำหรับ Opera One เวอร์ชันผู้พัฒนา ซึ่งเป็นเบราว์เซอร์อินเทอร์เน็ตหลักของ Opera การอัปเดตนี้เพิ่ม LLM ที่แตกต่างกัน 150 รายการจากตระกูล LLM ที่แตกต่างกัน 50 ตระกูล รวมถึง LLaMA, Gemma และ Mixtral ก่อนหน้านี้ Opera ให้การสนับสนุนเฉพาะ LLM ของตัวเอง Aria ซึ่งมุ่งเน้นไปที่แชทบอทในลักษณะเดียวกับ Copilot ของ Microsoft และ ChatGPT ของ OpenAI

อย่างไรก็ตามความแตกต่างที่สำคัญระหว่าง Aria, Copilot (ซึ่งปรารถนาเท่านั้น) การดำเนินการในท้องถิ่นในอนาคต) และแชทบอท AI ที่คล้ายกันก็คือพวกมันขึ้นอยู่กับการเชื่อมต่อผ่านอินเทอร์เน็ตไปยังเซิร์ฟเวอร์เฉพาะ Opera กล่าวว่าด้วย LLM ที่ทำงานในพื้นที่นั้น จะถูกเพิ่มเข้าไปใน Opera One Developer ข้อมูลจะยังคงอยู่ในเครื่องพีซีของผู้ใช้ และไม่จำเป็นต้องเชื่อมต่ออินเทอร์เน็ต ยกเว้นการดาวน์โหลด LLM ในตอนแรก

Opera ยังตั้งสมมติฐานถึงกรณีการใช้งานที่เป็นไปได้สำหรับฟีเจอร์ LLM ท้องถิ่นใหม่ “จะเกิดอะไรขึ้นถ้าเบราว์เซอร์แห่งอนาคตสามารถพึ่งพาโซลูชัน AI โดยอิงตามข้อมูลที่คุณป้อนในอดีตในขณะที่เก็บข้อมูลทั้งหมดบนอุปกรณ์ของคุณ” ในขณะที่ผู้ชื่นชอบความเป็นส่วนตัวอาจชอบแนวคิดที่ว่าข้อมูลของตนถูกเก็บไว้ในพีซีและไม่มีที่อื่นใดเลย แต่ LLM ที่ใช้เบราว์เซอร์ซึ่งจดจำได้มากขนาดนั้นอาจไม่น่าดึงดูดใจนัก

“นี่เป็นเลือดที่ไหลมากจนอาจแตกหักได้” Opera กล่าวในนั้น โพสต์บล็อก- แม้ว่าจะเป็นเพียงเรื่องตลก แต่ก็ไม่ไกลจากความจริง “ในขณะที่เราพยายามจัดส่งเวอร์ชันที่เสถียรที่สุดเท่าที่จะเป็นไปได้ แต่บิลด์ของนักพัฒนามีแนวโน้มที่จะเป็นการทดลองและในความเป็นจริงอาจมีข้อผิดพลาดเล็กน้อย” Jan Standal รองประธานฝ่ายโอเปร่ากล่าว ลงทะเบียน.

เมื่อใดที่ฟีเจอร์ LLM ในพื้นที่นี้จะนำไปใช้กับ Opera One ปกติ Standal กล่าวว่า: “เราไม่มีกำหนดเวลาว่าฟีเจอร์นี้จะเปิดตัวในเบราว์เซอร์ Opera ทั่วไปเมื่อใดหรืออย่างไร อย่างไรก็ตาม ผู้ใช้ของเราควรคาดหวังว่าฟีเจอร์ที่เปิดตัวในโปรแกรม AI Feature Drop Program จะมีการพัฒนาอย่างต่อเนื่องก่อนที่จะเปิดตัวในเบราว์เซอร์หลักของเรา”

เนื่องจากอาจเป็นเรื่องยากที่จะแข่งขันกับเซิร์ฟเวอร์ขนาดใหญ่ที่ติดตั้ง GPU ระดับไฮเอนด์จากบริษัทอย่าง Nvidia Opera กล่าวว่าการเข้าสู่ท้องถิ่นอาจจะ "ช้ากว่ามาก" กว่าการใช้ LLM ออนไลน์ ไม่ได้ล้อเล่น.

อย่างไรก็ตาม พื้นที่จัดเก็บข้อมูลอาจเป็นปัญหาใหญ่สำหรับผู้ที่ต้องการลองใช้ LLM จำนวนมาก Opera กล่าวว่า LLM แต่ละตัวต้องการพื้นที่จัดเก็บข้อมูลระหว่างสองถึงสิบกิกะไบต์ และเมื่อเราลองใช้ Opera One Developer นั่นก็เป็นจริงสำหรับ LLM จำนวนมาก ซึ่งบางส่วนมีขนาดประมาณ 1.5 GB

LLM จำนวนมากที่ให้บริการผ่าน Opera One ต้องการพื้นที่มากกว่า 10 GB หลายแห่งอยู่ในภูมิภาค 10-20 GB บางแห่งมีขนาดประมาณ 40 GB และเรายังพบหนึ่งตัว Megadolphin ซึ่งวัดได้ที่ 67 GB ที่หนักหน่วง หากคุณต้องการทดลองใช้ LLM ทั้ง 150 แบบที่รวมอยู่ใน Opera One Developer SSD ขนาด 1 TB แบบมาตรฐานคงจะไม่ลดประสิทธิภาพลง

แม้จะมีข้อจำกัดเหล่านี้ แต่ก็หมายความว่า Opera One (หรืออย่างน้อยสาขานักพัฒนา) จะเป็นเบราว์เซอร์แรกที่เสนอโซลูชันสำหรับการรัน LLM ภายในเครื่อง นอกจากนี้ยังเป็นหนึ่งในโซลูชันไม่กี่โซลูชันที่จะนำ LLM ภายในเครื่องมาสู่พีซีอีกด้วย แชทบอท ChatWithRTX ของ Nvidia และ แอพอื่นๆ อีกจำนวนหนึ่ง- แม้ว่าจะเป็นเรื่องน่าขันเล็กน้อยที่อินเทอร์เน็ตเบราว์เซอร์มาพร้อมกับแชทบอท AI มากมายที่ไม่ต้องใช้อินเทอร์เน็ตในการทำงานอย่างชัดเจน

ประทับเวลา:

เพิ่มเติมจาก ลงทะเบียน