Apple, not normally known for its openness, has released a generative AI model called OpenELM which apparently outperforms a set of other language models trained on public data sets.
It’s not by much – compared to OLMo, which debuted in February, OpenELM is 2.36 percent more accurate while using 2x fewer pretraining tokens. But it’s perhaps enough to remind people that Apple is no longer content to be the wallflower at the industry AI rave.
Apple’s claim to openness comes from its decision to release not just the model, but its training and evaluation framework.
“Diverging from prior practices that only provide model weights and inference code, and pre-train on private datasets, our release includes the complete framework for training and evaluation of the language model on publicly available datasets, including training logs, multiple checkpoints, and pre-training configurations,” explain eleven Apple researchers in the associated مقاله فنی.
And diverging from academic practice, the authors’ email addresses are not listed. Chalk it up to Apple’s interpretation of openness, which is somewhat comparable to the not-very-open OpenAI.
همراه انتشار نرم افزار is not a recognized open source license. It’s not unduly restrictive, but it does make clear that Apple reserves the right to file a patent claim if any derivative work based on OpenELM is deemed to infringe on its rights.
OpenELM utilizes a technique called layer-wise scaling to allocate parameters more efficiently in the transformer model. So instead of each layer having the same set of parameters, OpenELM’s transformer layers have different configurations and parameters. The result is better دقت, shown in the percentage of correct predictions from the model in benchmark tests.
We’re told that OpenELM was pre-trained using the پیژامه قرمز dataset from GitHub, a ton of books, Wikipedia, StackExchange posts, ArXiv papers, and more, and the پر شده set from Reddit, Wikibooks, Project Gutenberg, and more. The model can be used as you might expect: You give it a prompt, and it attempts to answer or auto-complete it.
One noteworthy aspect of the release is that it is accompanied by “code to convert models to MLX library for inference and fine-tuning on Apple devices.”
MLX is a framework released last year for running machine learning on Apple silicon. The ability to operate locally on Apple devices, rather than over the network, should make OpenELM more interesting to developers.
“Apple’s OpenELM release marks a significant advancement for the AI community, offering efficient, on-device AI processing ideal for mobile apps and IoT devices with limited computing power,” Shahar Chen, CEO and co-founder of AI service biz Aquant, told ثبت نام. “This enables quick, local decision-making essential for everything from smartphones to smart home devices, expanding the potential for AI in everyday technology.”
Apple is keen to show the merits of its homegrown chip architecture for machine learning, specifically supported in hardware since Cupertino introduced its موتور عصبی in 2017. Nonetheless OpenELM, while it may score higher on accuracy benchmarks, comes up short in terms of performance.
“Despite OpenELM’s higher accuracy for a similar parameter count, we observe that it is slower than OLMo,” the paper explains, citing tests run using Nvidia’s CUDA on Linux as well as the MLX version of OpenELM on Apple Silicon.
The reason for the less than victorious showing, Apple’s boffins say, is their “naive implementation of RMSNorm,” a technique for normalizing data in machine learning. In the future, they plan to explore further optimizations.
OpenELM is available in pretrained and instruction tuned models with 270 million, 450 million, 1.1 billion and 3 billion parameters. Those using it are warned to exercise due diligence before trying the model for anything meaningful.
“The release of OpenELM models aims to empower and enrich the open research community by providing access to state-of-the-art language models,” the paper says. “Trained on publicly available datasets, these models are made available without any safety guarantees.” ®
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://go.theregister.com/feed/www.theregister.com/2024/04/24/apple_openelm_ai/
- : دارد
- :است
- :نه
- $UP
- 1
- 2017
- 36
- 7
- a
- توانایی
- دانشگاهی
- دسترسی
- همراه
- دقت
- دقیق
- آدرس
- پیشرفت
- AI
- اهداف
- اختصاص دادن
- و
- پاسخ
- هر
- هر چیزی
- اپل
- برنامه های
- معماری
- هستند
- AS
- ظاهر
- مرتبط است
- At
- تلاشها
- نویسندگان
- در دسترس
- مستقر
- BE
- قبل از
- محک
- معیار
- بهتر
- بیلیون
- BIZ
- کتاب
- اما
- by
- نام
- CAN
- مدیر عامل شرکت
- چن
- تراشه
- ادعا
- واضح
- CO
- بنیانگذاران
- رمز
- می آید
- انجمن
- قابل مقایسه
- مقایسه
- کامل
- محاسبه
- قدرت پردازش
- محتوا
- تبدیل
- اصلاح
- تعداد دفعات مشاهده
- داده ها
- مجموعه داده ها
- مجموعه داده ها
- عرضه شد
- تصمیم
- تصمیم گیری
- تلقی می شود
- مشتق
- با وجود
- توسعه دهندگان
- دستگاه ها
- مختلف
- سخت کوشی
- میکند
- دو
- هر
- موثر
- موثر
- یازده
- پست الکترونیک
- قدرت دادن
- را قادر می سازد
- کافی
- غنی سازی
- ضروری است
- ارزیابی
- هر روز
- همه چیز
- ورزش
- گسترش
- انتظار
- توضیح دهید
- توضیح می دهد
- اکتشاف
- فوریه
- کمتر
- پرونده
- برای
- چارچوب
- از جانب
- بیشتر
- آینده
- مولد
- هوش مصنوعی مولد
- GitHub
- دادن
- گوگل
- تضمین می کند
- گوتنبرگ
- سخت افزار
- آیا
- داشتن
- بالاتر
- صفحه اصلی
- خانه دار
- HTTPS
- دلخواه
- if
- پیاده سازی
- in
- شامل
- از جمله
- صنعت
- در عوض
- جالب
- تفسیر
- معرفی
- اینترنت اشیا
- دستگاه های iot
- IT
- ITS
- JPG
- تنها
- مشتاق
- شناخته شده
- زبان
- نام
- پارسال
- لایه
- لایه
- یادگیری
- کمتر
- کتابخانه
- مجوز
- محدود شده
- لینوکس
- ذکر شده
- LLM
- محلی
- به صورت محلی
- دیگر
- دستگاه
- فراگیری ماشین
- ساخته
- ساخت
- ممکن است..
- معنی دار
- محاسن
- قدرت
- میلیون
- موبایل
- تلفن همراه برنامه های
- مدل
- مدل
- بیش
- بسیار
- چندگانه
- آدم ساده
- شبکه
- نه
- به طور معمول
- قابل توجه
- کارت گرافیک Nvidia
- مشاهده کردن
- of
- ارائه
- on
- فقط
- باز کن
- منبع باز
- OpenAI
- باز بودن
- کار
- بهینه سازی
- or
- دیگر
- ما
- عملکرد بهتر
- روی
- مقاله
- اوراق
- پارامتر
- پارامترهای
- حق ثبت اختراع
- مردم
- در صد
- درصد
- کارایی
- شاید
- برنامه
- افلاطون
- هوش داده افلاطون
- PlatoData
- پست ها
- پتانسیل
- قدرت
- تمرین
- شیوه های
- پیش بینی
- قبلا
- خصوصی
- در حال پردازش
- پروژه
- ارائه
- ارائه
- عمومی
- عمومی
- سریع
- نسبتا
- RE
- دلیل
- به رسمیت شناخته شده
- ق
- آزاد
- منتشر شد
- منتشر شده
- تحقیق
- محققان
- ذخایر
- محدود کننده
- نتیجه
- راست
- حقوق
- دویدن
- در حال اجرا
- s
- ایمنی
- همان
- گفتن
- می گوید:
- مقیاس گذاری
- نمره
- سرویس
- تنظیم
- مجموعه
- کوتاه
- باید
- نشان
- نمایش
- نشان داده شده
- قابل توجه
- سیلیکون
- مشابه
- پس از
- هوشمند
- خانه هوشمند
- گوشی های هوشمند
- So
- تاحدی
- منبع
- به طور خاص
- وضعیت هنر
- پشتیبانی
- تکنیک
- پیشرفته
- قوانین و مقررات
- تست
- نسبت به
- که
- La
- آینده
- شان
- اینها
- آنها
- این
- کسانی که
- به
- نشانه
- گفته شده
- تن
- آموزش دیده
- آموزش
- ترانسفورماتور
- تلاش
- کوک شده
- استفاده
- با استفاده از
- استفاده می کند
- نسخه
- هشدار داد
- بود
- we
- خوب
- که
- در حین
- ویکیپدیا
- با
- بدون
- مهاجرت کاری
- سال
- شما
- زفیرنت