メタのメガ言語モデルが流出する LLaMA ドラマ

Meta の最新の大規模言語モデルである LLaMA がオンラインでリークされ、ダウンロード可能になっていますが、研究目的のみにアクセスを制限しようとしているようです。

フェイスブックのオーナー 発表の XNUMX月には、恐怖の中で遊ぶために学者、政府系、企業を選択するために、限定的な方法でモデルをリリースしていました ラマ 悪用される可能性があります。 しかし、情報は無料であることを望んでいる、または少なくとも特定の人々は無料であることを望んでおり、Meta の作成物はトレント リークから始まり、いずれにせよオンラインに流れました。

入力プロンプトからテキストのパッセージを生成する文予測大規模言語モデルは、自分の文章を自動補完することから、自然言語を使用してタスクを実行するように求められたときにタスクを実行できるチャットボットまで、着実に進化しています。

専門家は、この技術が大量のフェイク ニュース、スパム、フィッシング メール、偽情報、煽動などの作成を自動化するために今後何年も使用される可能性があると警告しています。 これらのモデルを構築する組織は、多くの場合、ソフトウェアを覆い隠したり、API の背後に置いたり、限定バージョンやデモをリリースしたりします。 

「大規模な言語モデルにおける偏見、有毒なコメント、幻覚のリスクに対処するために行う必要がある研究はまだまだあります」と Meta は述べています。 と 先週。

「他のモデルと同様に、LLaMA はこれらの課題を共有しています。 基本モデルとして、LLaMA は用途が広いように設計されており、特定のタスク用に設計された微調整されたモデルとは対照的に、さまざまなユース ケースに適用できます。

「整合性を維持し、誤用を防ぐために、研究のユースケースに焦点を当てた非商用ライセンスの下でモデルをリリースしています。 モデルへのアクセスは、ケースバイケースで学術研究者に許可されます。 政府、市民社会、学界の組織に所属する人々。 および世界中の業界研究機関です。」

ハウツーガイド

しかし、LLaMA へのアクセスを制御しようとする Meta の努力は無駄だったようです。 モデルを特定のボフィン、および業界や市民社会の人々と共有した直後に、4Chan の誰かが、ピアツーピアのファイル共有を介してモデル全体を取得する方法の詳細を投稿し、最終的には すべてをダウンロードする方法の説明 GitHub で公開されました。

いつものように、誰かが悪質なものを隠している場合に備えて、トレントからこのようなものを取得するときは注意してください. 65 億のパラメーター モデルは、約 220 GB のディスク容量を占有すると言われています。

GitHub 経由で入手できる LLaMA のコピーは合法であるように見えます。 ショーン・プレッサー AIエンジニア Microsoft のコード共有サイトでダウンロード手順を書いた彼は、モデルからテキストを生成することに成功したスクリーンショットを見せてくれました。 彼は、Meta からモデルへのアクセスを許可された研究者がモデルを漏らしたため、おそらく予想よりも広く配布されたと考えています。

陰謀論エンジンを起動します。

プレッサー氏は、モデルを承認された学者に限定するよりも、警告なしで自由にリリースする方がよいと考えています。 「少なくとも100倍は、良いことが悪いことを上回ると思います。 おそらく XNUMX 倍近くになるだろう」と彼は語った。 登録. 

最先端の大規模言語モデルのトレーニングと実行には、一般的に費用がかかります。 GPU やその他のインフラストラクチャの山にアクセスできる組織だけが、それらを構築、調整、テストできる立場にあります。 Meta の AI 研究者 LLaMA を小型化、今日の商用モデルよりもコンパクトになるため、重要な IT 予算がなくても学者や開発者がアクセスしやすくなります。 

Meta の機械学習の達人は、彼らのシステムが OpenAI の GPT-3 よりも優れており、Google の 540 億パラメーターの PaLM や DeepMind の 70 億パラメーターのチンチラなど、他の大規模言語モデルと同じくらい優れていると主張しました。 サイズが小さいということは、計算リソースが少ない科学者にとって使いやすいことを意味します。 そして、はい、あらゆる形とサイズの言語モデルがたくさんあります。 それは OpenAI と Facebook だけではありません。

LLaMA には、数百ギガバイトのストレージと、それを駆動するための十分な量のコンピューティングが必要です。 この種のシステムの取り扱いに慣れていない限り、モデルを起動して実行することも簡単ではありません。また、より悪質な活動のためにモデルを再利用するには、さらに技術的な専門知識が必要になります。 モデルがリークされているにもかかわらず、Meta は、選択された研究者のみに LLaMA を共有し続けると述べました。 

現在のリリース戦略により、責任とオープン性のバランスを取ることができると信じています

「最先端の AI モデルを研究コミュニティのメンバーと共有して、それらのモデルの評価と改善を支援することが Meta の目標です」と広報担当者は語った。 登録.

「LLaMA は、以前の大規模な言語モデルを共有した方法と一致して、研究目的で共有されました。 すべての人がモデルにアクセスできるわけではなく、承認プロセスを回避しようとする人もいますが、現在のリリース戦略により、責任とオープン性のバランスを取ることができると考えています。」

言い換えれば、Facebook グループは、自社の技術を配布するアプローチを支持しています。

大規模な言語モデルをリリースしようとする Meta の最近の試みは、順調に進んでいません。 昨年、おしゃべりな BlenderBot は 批判 誤報と反ユダヤ主義の見解を広めるために。 科学的知識を要約するために設計されたギャラクティカは、 削除 偽の人種差別的なコンテンツを生成するために立ち上げられてから XNUMX 日後。 ®

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
• 情報源： https://go.theregister.com/feed/www.theregister.com/2023/03/08/meta_llama_ai_leak/