NeurIPS 2023: 招待講演からの重要なポイント

Midjourney で生成

2023 月 10 日から 16 日まで活気に満ちた都市ニューオーリンズで開催された NeurIPS XNUMX カンファレンスでは、生成 AI と大規模言語モデル (LLM) に特に重点が置かれていました。この分野における最近の画期的な進歩を考慮すると、これらのトピックが議論の大半を占めたのは驚くべきことではありません。

今年のカンファレンスの中核テーマの XNUMX つは、より効率的な AI システムの探求でした。研究者や開発者は、現在の LLM よりも速く学習するだけでなく、より少ないコンピューティング リソースを消費しながら強化された推論機能を備えた AI を構築する方法を積極的に模索しています。この追求は、汎用人工知能 (AGI) の達成に向けた競争において極めて重要であり、この目標は近い将来にますます達成可能になると思われます。

NeurIPS 2023 での招待講演は、これらのダイナミックかつ急速に進化する関心を反映したものでした。 AI 研究のさまざまな分野の発表者が最新の成果を共有し、最先端の AI 開発への扉を提供しました。この記事では、これらの講演を詳しく掘り下げ、AI イノベーションの現在および将来の状況を理解するために不可欠な重要なポイントと教訓を抽出して説明します。

NextGenAI: スケーリングの妄想と生成 AI の未来 

In 彼の話ルートヴィヒ マクシミリアン大学ミュンヘンのコンピューター ビジョンおよび学習グループの責任者であるビョルン オマー氏は、彼の研究室がどのようにして安定拡散を開発するに至ったのか、このプロセスから学んだいくつかの教訓、および拡散モデルとフローマッチング、検索拡張、LoRA 近似など。

主な要点

• 生成 AI の時代では、ビジョン モデルの知覚 (つまり、物体認識) に重点を置くことから、欠落部分の予測 (拡散モデルを使用した画像やビデオの生成など) に移行しました。
• 20 年間、コンピューター ビジョンはベンチマーク研究に焦点を当ててきました。これは、最も顕著な問題に焦点を当てるのに役立ちました。 Generative AI では、最適化するためのベンチマークが存在しないため、誰もが独自の方向に進むことができる分野が開かれました。
• 拡散モデルは、スコアベースで安定したトレーニング手順と効率的なサンプル編集を行うことで、以前の生成モデルの利点を組み合わせていますが、マルコフ連鎖が長いため高価です。
• 強尤度モデルの課題は、ほとんどのビットが人間の目ではほとんど認識できない詳細に含まれるのに対し、最も重要なセマンティクスのエンコードには数ビットしかかからないことです。コンピューティング リソースの需要は GPU 供給の 9 倍の速さで増加しているため、スケーリングだけではこの問題は解決できません。
• 提案されるソリューションは、拡散モデルと ConvNet の長所、特に局所的な詳細を表現するための畳み込みの効率と、長距離コンテキストに対する拡散モデルの表現力を組み合わせることです。
• Björn Ommer は、フローマッチングアプローチを使用して、小さな潜在拡散モデルから高解像度の画像合成を可能にすることも提案しています。
• 画像合成の効率を高めるもう XNUMX つのアプローチは、詳細を埋めるために検索拡張を使用しながら、シーンの構成に焦点を当てることです。
• 最後に、彼は制御された確率的ビデオ合成のための iPoke アプローチを紹介しました。

この詳細な内容がお役に立てば、 AIメーリングリストに登録する 新しい素材がリリースされたときに警告が表示されます。 

責任ある AI のさまざまな側面 

In 彼女のプレゼンテーション, Google Research の研究員である Lora Aroyo 氏は、従来の機械学習アプローチの重要な制限、つまりデータを肯定的な例と否定的な例として二値に分類することに依存していることを強調しました。この過度の単純化は、現実世界のシナリオやコンテンツに内在する複雑な主観性を見落とすことになる、と彼女は主張した。アロヨ氏は、さまざまな使用例を通じて、コンテンツの曖昧さと人間の視点の自然な違いが、しばしば避けられない意見の相違につながることを実証しました。彼女は、これらの意見の相違を単なるノイズではなく、意味のある信号として扱うことの重要性を強調しました。

講演からの重要なポイントは次のとおりです。

• 人間の労働者間の意見の相違は生産的なものになる可能性があります。 Lora Aroyo 氏は、すべての回答を正しいか間違っているかとして扱うのではなく、評価者の意見の不一致を利用してデータの信頼性を評価するための分布的真実のアプローチである「不一致による真実」を導入しました。
• 専門家の間でも群衆の労働者と同じくらい意見が異なるため、データの品質は専門家であっても困難です。こうした意見の相違は、XNUMX 人の専門家からの回答よりもはるかに有益な情報となる可能性があります。
  • 安全性評価タスクでは、専門家の意見が 40% の例で一致していません。これらの意見の相違を解決しようとするのではなく、そのような例をさらに収集し、それらをモデルと評価指標の改善に使用する必要があります。
• ローラ・アロヨもプレゼンテーションを行いました。 多様性と安全性 データの内容と誰が注釈を付けたかという観点からデータを精査するための方法。
  • この方法により、さまざまな人口統計上の評価者グループ (合計 2.5 万の評価) にわたる LLM 安全性判断のばらつきを含むベンチマーク データセットが生成されました。
  • 会話の 20% については、チャットボットの応答が安全か危険かを判断するのは困難でした。これは、チャットボットの応答を安全または安全ではないとラベル付けした回答者の数がほぼ同数だったためです。
• 評価者とデータの多様性は、モデルの評価において重要な役割を果たします。人間の幅広い視点とコンテンツに存在する曖昧さを認識しないと、機械学習のパフォーマンスを現実世界の期待と一致させることが妨げられる可能性があります。
• AI の安全性への取り組みの 80% はすでにかなり優れていますが、残りの 20% では、無限の多様性空間におけるエッジ ケースとすべてのバリアントに対処するために XNUMX 倍の努力が必要です。

一貫性のある統計、自己生成の経験、そして若い人間が現在の AI よりもはるかに賢い理由 

In 彼女の話, インディアナ大学ブルーミントン校の特別教授であるリンダ・スミス氏は、乳児や幼児の学習プロセスにおけるデータの希薄性というテーマを調査しました。彼女は特に物体認識と名前学習に焦点を当て、幼児による自己生成経験の統計がデータの希薄性の課題にどのように潜在的な解決策を提供するかを詳しく掘り下げました。

主な要点

• 16,000 歳までに、子供たちはさまざまな分野を一発で学習できる能力を発達させます。 1,000 歳の誕生日までの XNUMX 時間未満の起床時間で、子どもたちは XNUMX 以上のオブジェクト カテゴリを学習し、母国語の構文をマスターし、環境の文化的および社会的ニュアンスを吸収します。
• リンダ・スミス博士と彼女のチームは、子供たちがそのようなまばらなデータから非常に多くのことを捉えることを可能にする人間の学習の XNUMX つの原則を発見しました。
  • 学習者は入力を制御し、入力を形成し、構築する瞬間ごとに入力を制御します。たとえば、生後数か月間、赤ちゃんは単純なエッジを持つ物体をよく見る傾向があります。
  • 赤ちゃんは知識と能力において継続的に進化するため、非常に制約されたカリキュラムに従います。彼らがさらされるデータは、非常に重要な方法で編成されています。たとえば、4 か月未満の赤ちゃんは顔を見るのに最も多くの時間を費やし、15 時間あたり約 12 分ですが、20 か月以上の赤ちゃんは主に手に焦点を当て、XNUMX 時間あたり約 XNUMX 分観察します。
  • 学習エピソードは、相互に関連した一連の経験で構成されます。空間的および時間的な相関により一貫性が生まれ、その結果、一度限りの出来事から永続的な記憶の形成が促進されます。たとえば、ランダムなおもちゃの組み合わせを与えられると、子供たちはいくつかの「お気に入り」のおもちゃに集中することがよくあります。彼らは反復的なパターンを使用してこれらのおもちゃに取り組みます。これは、オブジェクトのより迅速な学習に役立ちます。
• 一時的（作業）記憶は、感覚入力よりも長く持続します。学習プロセスを強化する特性には、マルチモダリティ、関連付け、予測関係、および過去の記憶の活性化が含まれます。
• 迅速な学習を実現するには、データを生成するメカニズムと学習するメカニズムを連携させる必要があります。

スケッチ: コアツール、学習拡張、適応堅牢性 

カリフォルニア大学バークレー校の電気工学およびコンピューターサイエンスの教授であるジェラニ・ネルソン氏は、次のように述べています。 データ「スケッチ」の概念を導入 – 有用なクエリに応答できるデータセットのメモリ圧縮表現。講演はかなり専門的でしたが、最近の進歩を含むいくつかの基本的なスケッチ ツールの優れた概要を提供しました。

重要なポイント:

• コアスケッチツールである CountSketch は、「ヘビーヒッター」の問題に対処するために 2002 年に初めて導入され、指定されたアイテムの流れから最も頻繁に使用されるアイテムの小さなリストを報告しました。 CountSketch は、こ​​の目的で使用された最初の既知のサブリニア アルゴリズムです。
• ヘビーヒッターの XNUMX つの非ストリーミング アプリケーションは次のとおりです。
  • 内点ベース法 (IPM) は、線形計画法に漸近的に最速の既知のアルゴリズムを提供します。
  • LLM で使用される長いコンテキストの複雑さの増大によってもたらされる計算上の課題に対処する HyperAttendant メソッド。
• 最近の研究の多くは、適応型インタラクションに対して堅牢なスケッチの設計に焦点を当てています。主なアイデアは、適応型データ分析からの洞察を使用することです。

スケーリングを超えたパネル 

この 大規模な言語モデルに関する優れたパネル コーネル工科大学の准教授でハギング・フェイスの研究者でもあるアレクサンダー・ラッシュが司会を務めた。他の参加者は次のとおりです。

• Aakanksha Chowdhery – Google DeepMind の研究員で、システム、LLM 事前トレーニング、マルチモダリティに研究関心を持っています。彼女は、PaLM、Gemini、Pathways を開発するチームの一員でした。
• Angela Fan – Meta Generative AI の研究員で、アラインメント、データセンター、多言語に研究関心を持っています。彼女は Llama-2 と Meta AI Assistant の開発に参加しました。
• Percy Liang – クリエイター、オープンソース、生成エージェントを研究するスタンフォード大学の教授。彼はスタンフォード大学基礎モデル研究センター (CRFM) の所長であり、Togetter AI の創設者でもあります。

議論は、(1) アーキテクチャとエンジニアリング、(2) データと調整、(3) 評価と透明性、(4) 作成者と貢献者という XNUMX つの主要なトピックに焦点を当てました。

このパネルからの要点の一部を以下に示します。

• 現在の言語モデルをトレーニングすることは、本質的には難しいことではありません。 Llama-2-7b のようなモデルをトレーニングする際の主な課題は、インフラストラクチャ要件と、複数の GPU、データ センターなどの間で調整する必要があることにあります。ただし、パラメータの数が単一の GPU でトレーニングできるほど十分に小さい場合は、学部生でも管理できます。
• 自己回帰モデルは通常、テキスト生成に使用され、拡散モデルは画像やビデオを生成するために使用されますが、これらのアプローチを逆にする実験も行われています。具体的には、Gemini プロジェクトでは、画像生成に自己回帰モデルが利用されています。テキスト生成に拡散モデルを使用する研究も行われていますが、十分な効果があるとはまだ証明されていません。
• モデルのトレーニングに使用できる英語データが限られているため、研究者は代替アプローチを模索しています。可能性の XNUMX つは、テキスト、ビデオ、画像、オーディオの組み合わせでマルチモーダル モデルをトレーニングすることであり、これらの代替モダリティから学習したスキルがテキストに応用される可能性があることが期待されます。もう XNUMX つのオプションは、合成データの使用です。合成データは実際のデータに混ざることがよくありますが、この統合はランダムではないことに注意することが重要です。オンラインで公開されるテキストは通常​​、人間によるキュレーションと編集を受けており、これによりモデルのトレーニングに付加価値が付加される可能性があります。
• オープン基盤モデルは、イノベーションには有益であるものの、悪意のある攻撃者によって悪用される可能性があるため、AI の安全性にとって潜在的に有害であると見なされることもよくあります。しかし、パーシー・リャン博士は、オープンモデルも安全性にプラスに寄与すると主張しています。同氏は、アクセス可能であることで、より多くの研究者が AI の安全性研究を実施し、モデルの潜在的な脆弱性を検討する機会を提供できると主張しています。
• 現在、データに注釈を付けるには、XNUMX 年前と比較して、注釈ドメインにおけるより多くの専門知識が必要です。しかし、将来的に AI アシスタントが期待どおりに機能するようになれば、ユーザーからより貴重なフィードバック データを受け取ることができ、アノテーターからの膨大なデータへの依存が軽減されます。

基礎モデルのためのシステム、およびシステムのための基礎モデル 

In この話, スタンフォード大学コンピューターサイエンス学部の准教授であるクリストファー・レ氏は、基礎モデルが私たちが構築するシステムをどのように変えたかを示しています。また、データベース システム研究からの洞察を借用して基礎モデルを効率的に構築する方法を検討し、Transformer よりも潜在的に効率的な基礎モデルのアーキテクチャについても説明します。

この講演から得られる重要なポイントは次のとおりです。

• 基礎モデルは、「1000 回切断による死亡」問題に対処するのに効果的です。この問題では、個々のタスクは比較的単純かもしれませんが、タスクの広さと多様性が大きな課題となります。この好例はデータ クリーニングの問題であり、LLM はこの問題をより効率的に解決できるようになりました。
• アクセラレータが高速になるにつれて、メモリがボトルネックとして浮上することがよくあります。これはデータベース研究者が数十年にわたって取り組んできた問題であり、私たちは彼らの戦略の一部を採用することができます。たとえば、フラッシュ アテンション アプローチは、ブロッキングと積極的な融合を通じて入出力フローを最小限に抑えます。つまり、情報にアクセスするたびに、その情報に対して可能な限り多くの操作を実行します。
• 信号処理に根ざした新しいクラスのアーキテクチャがあり、特に長いシーケンスの処理において Transformer モデルよりも効率的になる可能性があります。信号処理は安定性と効率性を提供し、S4 のような革新的なモデルの基礎を築きます。

デジタルヘルス介入におけるオンライン強化学習 

In 彼女の話, ハーバード大学の統計およびコンピューターサイエンスの教授であるスーザン・マーフィー氏は、デジタルヘルス介入で使用するオンラインRLアルゴリズムの開発において直面するいくつかの課題に対する最初の解決策を共有しました。

プレゼンテーションの要点をいくつか紹介します。

• スーザン・マーフィー博士は、彼女が取り組んでいる XNUMX つのプロジェクトについて説明しました。
  • スマートフォンやウェアラブルトラッカーのデータに基づいてアクティビティを提案する「HeartStep」と、
  • 口腔健康コーチングのためのオーラリティクス。電子歯ブラシから受信したエンゲージメント データに基づいて介入が行われました。
• AI エージェントの動作ポリシーを開発する際、研究者は、AI エージェントが自律的であり、より広範な医療システムに実現可能に実装できることを確認する必要があります。これには、個人の関与に必要な時間が妥当であること、および推奨される行動が倫理的に健全で科学的に妥当であることを保証することが含まれます。
• デジタル健康介入のための RL エージェントを開発する際の主な課題には、人々が生活を送り、メッセージに応答したくても常に応答できるとは限らないため、高いノイズレベルに対処することや、強力で遅延する悪影響を管理することが含まれます。 。

ご覧のとおり、NeurIPS 2023 は AI の未来を明るく垣間見せてくれました。招待講演では、より効率的でリソースを意識したモデルへの傾向と、従来のパラダイムを超えた新しいアーキテクチャの探求が強調されました。

この記事をお楽しみください？ AIリサーチの最新情報にサインアップしてください。

このような要約記事がさらにリリースされたらお知らせします。

関連記事

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://www.topbots.com/neurips-2023-invited-talks/