Apple は、オープン性であまり知られていませんが、OpenELM と呼ばれる生成 AI モデルをリリースしました。これは、公開データセットでトレーニングされた他の一連の言語モデルよりも明らかに優れています。
それは大したことではありません – に比べて オルモ2月にデビューした、 OpenELM は、事前トレーニング トークンの使用量が 2.36 分の 2 でありながら、精度が XNUMX% 向上しています。しかし、Apple がもはや AI 業界の壁の花に甘んじているわけではないことを人々に思い出させるには十分かもしれない。
Apple のオープン性の主張は、モデルだけでなく、そのトレーニングと評価のフレームワークをリリースするという決定から来ています。
「モデルの重みと推論コードを提供し、プライベート データセットで事前トレーニングするだけだった従来の手法とは異なり、私たちのリリースには、トレーニング ログ、複数のチェックポイント、事前トレーニングなど、公開されているデータセットで言語モデルをトレーニングおよび評価するための完全なフレームワークが含まれています。 -トレーニング構成」と関連する 11 人の Apple 研究者が説明します。 技術論文.
また、学術的な実践から逸脱して、著者の電子メール アドレスはリストされていません。これは Apple のオープン性の解釈によるもので、あまりオープンではない OpenAI とある程度似ています。
付随する ソフトウェアリリース はオープン ソース ライセンスとして認められていません。これは不当な制限ではありませんが、OpenELM に基づく二次的著作物が Apple の権利を侵害しているとみなされる場合、Apple が特許請求を行う権利を留保することを明確にしています。
OpenELM は、レイヤーワイズ スケーリングと呼ばれる手法を利用して、トランスフォーマー モデルでより効率的にパラメーターを割り当てます。したがって、各レイヤーが同じパラメーターのセットを持つのではなく、OpenELM のトランスフォーマー レイヤーは異なる構成とパラメーターを持ちます。結果は良くなりました 精度、ベンチマーク テストにおけるモデルからの正しい予測の割合で示されます。
OpenELM は、 レッドパジャマ GitHub からのデータセット、大量の書籍、Wikipedia、StackExchange の投稿、ArXiv 論文など、 ドルマ Reddit、Wikibooks、Project Gutenberg などからのセット。このモデルはご想像どおりに使用できます。モデルにプロンプトを与えると、応答またはオートコンプリートが試行されます。
このリリースの注目すべき点の 1 つは、「Apple デバイスでの推論と微調整のためにモデルを MLX ライブラリに変換するコード」が付属していることです。
MLX は、Apple シリコン上で機械学習を実行するために昨年リリースされたフレームワークです。ネットワーク経由ではなく Apple デバイス上でローカルに動作できる機能は、開発者にとって OpenELM をさらに興味深いものにするはずです。
「Apple の OpenELM リリースは、AI コミュニティにとって大きな進歩を示し、コンピューティング能力が限られたモバイル アプリや IoT デバイスに最適な効率的なオンデバイス AI 処理を提供します」と AI サービス事業会社 Aquant の CEO 兼共同創設者である Shahar Chen 氏は述べています。 登録。 「これにより、スマートフォンからスマート ホーム デバイスに至るまで、あらゆるものに不可欠な迅速なローカル意思決定が可能になり、日常のテクノロジーにおける AI の可能性が広がります。」
Apple は、クパチーノが機械学習を導入して以来、特にハードウェアでサポートされている、機械学習用の自社製チップ アーキテクチャの利点を示すことに熱心です。 ニューラルエンジン それにもかかわらず、OpenELM は、精度ベンチマークではより高いスコアを獲得する可能性がありますが、パフォーマンスの点では不十分です。
同論文では、「同様のパラメータ数に対して OpenELM は精度が高いにもかかわらず、OLMo よりも遅いことが観察されています」と説明し、Linux 上の Nvidia の CUDA と Apple Silicon 上の OpenELM の MLX バージョンを使用して実行されたテストを引用しています。
Apple 関係者らは、勝利とは言えない成績の理由は「実装が甘かった」ことにあると述べている。 RMSノルム」、機械学習でデータを正規化する手法。将来的には、さらなる最適化を検討する予定です。
OpenELM は、270 億 450 万、1.1 億 3 万、XNUMX 億、XNUMX 億のパラメーターを備えた事前トレーニング済みモデルと命令調整済みモデルで利用できます。これを使用する人は、モデルを何か有意義なものとして試す前に、十分な注意を払うよう警告されています。
「OpenELM モデルのリリースは、最先端の言語モデルへのアクセスを提供することで、オープンな研究コミュニティに力を与え、豊かにすることを目的としています」と論文では述べられています。 「これらのモデルは公開されているデータセットでトレーニングされており、安全性の保証なしで利用できます。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://go.theregister.com/feed/www.theregister.com/2024/04/24/apple_openelm_ai/
- :持っている
- :は
- :not
- $UP
- 1
- 2017
- 36
- 7
- a
- 能力
- アカデミック
- アクセス
- 付随する
- 精度
- 正確な
- アドレス
- アドバンス
- AI
- 目指して
- 割り当てる
- および
- 回答
- どれか
- 何でも
- Apple
- アプリ
- 建築
- です
- AS
- 側面
- 関連する
- At
- 試み
- 著者
- 利用できます
- ベース
- BE
- ベンチマーク
- ベンチマーク
- より良いです
- 10億
- BIZ
- 本
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 呼ばれます
- 缶
- 最高経営責任者(CEO)
- チェン
- チップ
- クレーム
- クリア
- CO
- 共同創設者
- コード
- comes
- コミュニティ
- 匹敵します
- 比べ
- コンプリート
- コンピューティング
- コンピューティングパワー
- コンテンツ
- 変換
- 正しい
- カウント
- データ
- データセット
- データセット
- デビューした
- 決定
- 意思決定
- 考える
- デリバティブ
- にもかかわらず
- 開発者
- Devices
- 異なります
- 勤勉
- ありません
- 原因
- 各
- 効率的な
- 効率良く
- 十一
- エンパワー
- 可能
- 十分な
- 豊かにする
- 本質的な
- 評価
- 日常
- すべてのもの
- 運動
- 拡大
- 期待する
- 説明する
- 説明
- 探る
- 2月
- より少ない
- File
- フレームワーク
- から
- さらに
- 未来
- 生々しい
- 生成AI
- GitHubの
- 与える
- でログイン
- 保証
- グーテンベルク
- Hardware
- 持ってる
- 持って
- より高い
- ホーム
- 自家製
- HTTPS
- 理想
- if
- 実装
- in
- 含ま
- 含めて
- 産業を変えます
- を取得する必要がある者
- 興味深い
- 解釈
- 導入
- IOT
- IoTデバイス
- IT
- ITS
- JPG
- ただ
- キーン
- 既知の
- 言語
- 姓
- 昨年
- 層
- 層
- 学習
- less
- 図書館
- ライセンス
- 限定的
- linuxの
- リストされた
- LLM
- ローカル
- 局部的に
- より長いです
- 機械
- 機械学習
- 製
- make
- 五月..
- 意味のある
- メリット
- かもしれない
- 百万
- モバイル
- モバイルアプリ
- モデル
- 他には?
- ずっと
- の試合に
- 素朴な
- ネットワーク
- いいえ
- 通常は
- 注目に値する
- Nvidia
- 観察する
- of
- 提供すること
- on
- の
- 開いた
- オープンソース
- OpenAI
- 開放性
- 操作する
- 最適化
- or
- その他
- 私たちの
- 優れた性能
- が
- 紙素材
- 論文
- パラメーター
- パラメータ
- 特許
- のワークプ
- パーセント
- 割合
- パフォーマンス
- おそらく
- 計画
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 投稿
- 潜在的な
- 電力
- 練習
- プラクティス
- 予測
- 事前の
- プライベート
- 処理
- プロジェクト
- 提供します
- 提供
- 公共
- 公然と
- クイック
- むしろ
- RE
- 理由
- 認識
- リリース
- リリース
- リリース
- 研究
- 研究者
- 予約済み
- 制限的
- 結果
- 右
- 権利
- ラン
- ランニング
- s
- 安全性
- 同じ
- 言う
- 言う
- スケーリング
- スコア
- サービス
- セッションに
- セット
- ショート
- すべき
- 表示する
- 表示
- 示す
- 重要
- シリコン
- 同様の
- から
- スマート
- スマートホーム
- スマートフォン
- So
- 幾分
- ソース
- 特に
- 最先端の
- サポート
- 技術
- テクノロジー
- 条件
- テスト
- より
- それ
- 未来
- アプリ環境に合わせて
- ボーマン
- 彼ら
- この
- それらの
- 〜へ
- トークン
- 言われ
- トン
- 訓練された
- トレーニング
- トランス
- しよう
- 調整された
- 中古
- 利用
- バージョン
- 警告
- ました
- we
- WELL
- which
- while
- Wikipedia
- 無し
- 仕事
- 年
- You
- ゼファーネット