CCC は、今年の AAAS 年次会議で 3 つの科学セッションをサポートしました。直接参加できなかった方のために、各セッションの概要を説明します。今週は、セッションのパネリストのプレゼンテーションのハイライトを要約します。大規模な言語モデル: 役に立つアシスタント、ロマンチックなパートナー、それとも詐欺師?このパネルのモデレーターは マリア・ジーニ博士、CCC評議会メンバーであり、ミネソタ大学のコンピュータサイエンス&エンジニアリング教授が特集しました。 エセ・カマル博士、Microsoft Research の AI フロンティア担当マネージング ディレクター、 ハル・ドーメ三世博士、メリーランド大学コンピューターサイエンス教授、 ジョナサン・メイ博士, 南カリフォルニア大学情報科学研究所のコンピューターサイエンス教授。
大規模言語モデルは今日社会における会話の最前線にあり、それらが周囲の誇大宣伝に応えているかどうかは判断がつきません。この AAAS セッションのパネリストは、LLM の可能性、課題、可能性について取り上げました。
最初のパネリストは Ece Kamar 博士 (Microsoft Research) でした。彼女はAIの現状を「相転移」と表現しました。彼女は、業界における AI の変化と、2024 年まで続くとほとんどの人が予想していなかったディープラーニング モデルの急激な成長を見てきた人として、ユニークな視点を提供しました。
この成長は、LLM がトレーニングされるデータ量の増加と、トランスフォーマーと呼ばれるより大きなアーキテクチャによって引き起こされました。カマー博士がグラフに関して共有した興味深い洞察は、モデルが最初は特定のタスク用にトレーニングされただけであるため、モデルが非常に急速にスケーリングしているということです。確実に実行できるタスクです。 ChatGPT は、モデルが考慮するパラメーターの数を含めて十分に大規模にスケールした場合、モデルは同じタスクを完了するように特別にトレーニングされたモデルと同様のパフォーマンスでタスクの完了を開始できることを示しました。
これは LLM フェーズ遷移の定義です。モデルは特定のタスク用に特別にトレーニングする必要はなくなり、一般的にトレーニングしてから多くのタスクを実行できます。そして、これらの機能の成長が鈍化する兆候はありません。
カマー博士は GPT-4 に早期にアクセスしており、長時間かけて GPT-XNUMX をテストする中で、スケールとデータによる大幅な改善と、さまざまなタスクを同期して実行できるという事実に感銘を受けました。
これらの LLM には将来何が待ち受けているのでしょうか?カマー博士は、LLM が人間の言語を超えて機械語を学習し、2 つの言語の間で翻訳できるようになるだろうと予想しています。これにより、入出力におけるモダリティ機能が強化され、モデルが言語を生成するだけでなく、行動や行動の予測も生成できるようになる可能性があります。
次に、Kamar 博士は、コンピューティングで発生する重要な相転移について詳しく説明しました。現在、システムの開発は大きく異なっており、この開発には新しいコンピューティング パラダイムを作成する必要がありますが、現時点ではその表面をなぞっただけです。私たちがコンピューターと対話する方法は、今後数年間で大きく変わることになるでしょう。そのためには、ヒューマンコンピューターインタラクション (HCI) について再考する必要があるでしょう。
もう一つの変化は、人間の今後の働き方です。 Microsoft は、AI の支援によって作成されたコード行数に関して労働者の生産性が 2 倍になるという研究を実施しました。これは驚くべき偉業ですが、このテクノロジーがどのように機能するのか、またその知能がどこから来たのかはほとんどわかっていないため、この分野には多くの研究上の疑問があります。
このような LLM の潜在的な悪用についても多くの質問があります。公平性、さまざまな人口動態リスク、その他のさらに深刻な結果に関する懸念があります。科学的発見には大きな可能性がある一方で、害を及ぼす可能性も大きくあります。たとえば、子供にワクチンを接種しないよう親を説得したり、子供に悪いことをするよう説得したり、世界は平らだと誰かを説得したりするなどです。 LLM の開発には多くの安全性への取り組みが行われており、オープンソース化はこの分野の進歩にも非常に役立ちます。
カマー博士はその後、科学界に次のような質問を投げかけました。
- AI の破壊により科学はどう変化するのでしょうか?
- 私たちは次世代の教育と訓練の方法を変えるための措置を講じていますか?
- この段階移行の恩恵を受けるための技術インフラを構築していますか?
- 私たちは将来の世代を新しい世界に向けて準備しているでしょうか?
最後に、Kamar 博士は、相転移の注目すべき中心的な側面の 1 つは、LLM の開発速度であると強調しました。これらのモデルは非常に短期間で大幅に改善されており、コンピューティング研究者は追いつく必要がたくさんあります。
60 番目のパネリストであるハル・ドーメ XNUMX 世博士 (メリーランド大学) は、人々がやりたいことを実行できるように AI モデルを開発する必要があると説明して講演を始めました。自動化ではなく、人間の作業を強化します。この自動化のビジョンは XNUMX 年代から社会に浸透しました。科学者たちは、人々がチェスを上達できるよう支援するのではなく、単独でチェスをプレイするシステムを設計しました。
この哲学はどこにも行きません。 AI が単独でタスクを実行できるほどの知能を備えていれば、今日でもニュース価値があります。これは AI の血筋に深く根付いています。システムの自動化に時間とお金を費やす前に、まず立ち止まって、これが自分たちの利益になるのかを自問する必要があります。
ドーメ博士は、AI をツールとしてどのように使用できるかという拡張の概念を推進しました。 Github copilot のようなシステムは生産性を向上させますが、生産性を向上させるだけでは十分ではありません。このシステムのユーザーは、コーディングの楽しい部分に集中できるようになったと叫びました。これは、AI の構築方法によりよく一致しています。
AI 研究者は、人の仕事の楽しい部分を削除することを望まないはずです。彼らは単調な仕事を取り除くことを優先すべきだ。それは単に企業の収益を改善するだけでなく、人々の生活を改善するものでなければなりません。
ドーメ博士はこれらの点を提起した論文の共著者であり、技術的な観点から見ると、特に機械学習テクノロジーを使用したシステムの構築は、多くの場合、拡張するよりも自動化する方がはるかに簡単であるという反論が浮上しました。これは、システムをトレーニングするために必要なデータが簡単に入手できるためです。私たちは仕事を通じてこの情報を提供しており、人間の行動をエミュレートするように ML をトレーニングするのは簡単です。誰かがタスクを完了できるようにシステムを教えることははるかに困難です。この情報は、NSF の文献レビュー、プログラマーによる紙への書き込みなどに散在しています。人間がタスクを実行するのに必要なデータは記録されていません。
役立つシステムを構築するもう 1 つの重要な側面は、どのシステムが自分の生活に役立つかをユーザーに尋ねることです。たとえば、視覚障害者のニーズは晴眼者のニーズとは大きく異なります(晴眼者のニーズとも異なります) 考える 視覚障害者のニーズは次のとおりです)。ドーメ博士が共有した例としては、視覚システムによってその物体がソーダの缶であることが分かるかもしれないが、視覚障害者は通常それを自分で判断できるということが挙げられました。彼らにとってはソーダの成分のほうがずっと役に立つはずだ。単純に質問を理解することと、アクセシビリティの問題に対処することに対するシステムの応答の質の間には、大きなギャップがあり、このギャップは拡大しつつあります。
コミュニティのニーズを「支援」するテクノロジーを作成する前に、まずコミュニティのニーズを判断することの重要性を示すもう 1 つの例は、コンテンツのモデレーションです。ボランティアのコンテンツ モデレーターの多くは、世界をより良い場所にしたいと考えており、重要だと考えるコミュニティの構築を支援したいと考えています。自分の役割を支援するためにどのようなツールを使用したいかを尋ねると、多くの場合、自分の仕事を完全に自動化することは望んでおらず、チャット履歴の検索などの退屈な部分を簡単にしたいだけです。
ドーメ博士は、車が大好きでオートマチック車の運転を拒否する車好きの母親の最後の例でこの議論を締めくくります。彼女はマニュアル トランスミッションを選択しましたが、その選択ができることは彼女にとって非常に重要です。自分のタスクを自動化したいかどうかは、人々がコントロールできる必要があります。
ドーメ博士は、アクセシビリティ技術への現在のアプローチに代わるものを提案して会話を続けます。たとえば、手話認識に関するツールを構築する場合、人々が手話している動画をインターネットで収集するのではなく(これには同意とプライバシーに関する懸念が多く、また、これらの動画のほとんどは専門家によるものであり、周囲の騒音や気を散らすものはありません)現実的ではない)、コミュニティに働きかけ、ツールをトレーニングするためのビデオを送信できるようにするプロジェクトを開始します。このようなコミュニティファーストの戦略はより倫理的で責任があり、ユーザーによるコントロールが強化されます。
LLM やその他のツールは、インテリジェンスではなく有用性を優先して開発されるべきである、とドーメ博士は結論付けています。便利であればあるほど、人々がすでにうまくやって楽しんでいることを自動化するのではなく、人々ができないこと、またはやりたくないことを行うのに役立ちます。
次の講演者はジョナサン メイ博士 (南カリフォルニア大学情報科学研究所) で、彼は会議のテーマ「壁のない科学に向けて」を振り返ることから話を始めました。彼は、最近の LLM の開発は一部の人にとっては壁を取り除いているが、多くの人にとっては壁を築いていると主張しています。
彼はまず、インターネットが研究を行う際の多くの障壁をどのように下げたかについて説明します。彼が 17 歳のとき、彼はなぜスター・ウォーズとロード・オブ・ザ・リングのプロットが非常に似ているのかと疑問に思い、車で図書館に行き、答えが書かれた本を見つけなければなりませんでした。彼は博士論文のために、一か八かではあるが同様に困難な研究を行いましたが、研究期間が終わる頃には、このテーマに関するウィキペディアのページが作成され、インターネット検索が行われるようになり、今では車を使わない研究が標準となっています。
メイ博士は続けて、LLMの対象者層にいることを光栄に感じていると述べた。彼は頻繁にコードを書くわけではなく、多くのコーディング スキルを学んだこともありませんが、仕事で必要になったときは ChatGPT に頼ることができ、それは素晴らしい仕事をしてくれます。
ただし、LLM の有用性を広く普及させるには多くの壁があります。
- 言語の壁: モデルは、トレーニングされるデータが多いほど、より適切に機能します。現在の商用 LLM は多言語対応ですが、英語に重点が置かれています。たとえば、ChatGPT は 92% が英語でトレーニングされています。さらに、LLM の「秘密のソース」である命令データは、大部分が英語です (たとえば、ChatGPT の 96%)。既存のテストにおける体系的なパフォーマンスのギャップにもかかわらず、これらのモデルの言語間のパフォーマンスを改善する取り組みは現在ほとんど行われていません。これは、機械翻訳 (MT) が「解決」されており、他のタスクに取り組みを集中すべきであるという一般的なコンセンサスがあるため、これは当然のことです。
- アイデンティティの壁: ChatGPT にクリスマスに何をするべきかを尋ねると、参加できるさまざまな活動や伝統に焦点を当てます。仕事に行けるとは書いてありません。 LLM は、異なる人口統計グループを説明するときに異なる動作をし、より否定的な感情を表現し、場合によっては完全な有害性さえも表現することが示されています。 LGBTQ+ やユダヤ人のようなコミュニティでは、ステレオタイプの文章が害を及ぼす可能性があります。全体的に偏見が多く、これが意思決定に影響を及ぼします。いくつかの安全装置が組み込まれており、より明示的な詳細な質問に対して有害な回答が得られる可能性は低くなりますが、モデルは確率的に定型的なステートメントと結果を好むため、特に下流の機能でモデルを使用する場合に害が生じるのはそこです。出力(つまり、融資資格)。彼は、LLM が仕事に基づいて個人の顔を生成するときにバイアスを示す例を挙げました。低賃金の仕事は女性とマイノリティとして表示され、高賃金の仕事は白人男性として表示されます。
- 環境壁 (ソフトウェア): LLM の生成と実行には大量のエネルギーが必要です。最も「控えめな」LM であっても、3 人が使用する場合の年間エネルギーの XNUMX 倍を消費します。 ChatGPT のような最大の言語モデルのデータにも大きなギャップがありますが、それらを所有する企業は、エネルギー消費へのアクセスを明示的に拒否しています。
- 環境壁 (ハードウェア): すべての LLM が必要とするチップを製造するには、タンタル (コンゴで採掘) やハフニウム (セネガルとロシアで採掘) などの「紛争物質」が必要です。米国では、企業は使用する紛争鉱物の量を報告することになっているが、米国はこれらの物質の使用量が減少していることを公に示しているが、これは真実であるはずがない。それを超えて、米国の輸出規制への報復として中国がゲルマニウムとガリウムを制限するなど、多くの社会政治的問題がある。
メイ博士は、これらのカテゴリーによって、LLM によって引き起こされる害に関する多くの下流問題の一部と、人々が利益を得ていない事例が明らかになると述べています。懸念の余地はありますが、これらの害の一部を軽減するための研究や行動の変化の機会もあります。
- 言語: 多言語対応 (英語への、または英語からの覇権的な翻訳だけではなく) にさらに多くの研究資金を投入します。
- アイデンティティ: ボトムアップでコミュニティを包括した研究。導入前のモデルの変更とテスト
- 環境: 使用するデータと変更するパラメータが少ないアルゴリズム開発 (LoRA、アダプター、非 RL PO など)。コンピューティングについては慎重であり、規制レベルでのオープン性を主張する
メイ博士は、人々はLLMと対話する際に、彼らが望む方法で利益を得るべきであり、これは開発段階で最優先に留意する必要がある、というドーメ博士の指摘を繰り返してパネルディスカッションを締めくくった。
読んでいただきありがとうございます。明日はセッションの Q&A 部分の要約をお読みください。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/
- :持っている
- :は
- :not
- :どこ
- $UP
- 1
- 17
- 2024
- 225
- 300
- 7
- a
- できる
- 私たちについて
- アクセス
- 接近性
- こちらからお申し込みください。
- 越えて
- 行動
- 活動
- NEW
- 対処する
- アドレッシング
- AI
- 業界のAI
- AIモデル
- アルゴリズム
- すべて
- 既に
- また
- 選択肢
- 間に
- 量
- an
- および
- 毎年恒例の
- 回答
- 回答
- 予期された
- 期待する
- どこにでも
- アプローチ
- 建築
- です
- AREA
- 周りに
- Artists
- AS
- 頼む
- 質問
- 側面
- 側面
- アシスト
- アシスタント
- 支援
- At
- 出席する
- 聴衆
- 増強
- 自動化する
- 自動化
- オートマチック
- 自動化する
- オートメーション
- 背景
- 悪い
- 障壁
- ベース
- BE
- なぜなら
- き
- 始まった
- 行動
- 行動
- さ
- 恩恵
- 恩恵を受ける
- より良いです
- の間に
- 越えて
- バイアス
- ブログ
- 血
- ボード
- 本
- 退屈な
- ボトム
- ビルド
- 建物
- 内蔵
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- カリフォルニア州
- 呼ばれます
- 来ました
- 缶
- 機能
- 自動車
- 場合
- 例
- カテゴリ
- 原因となる
- 生じました
- CCC
- CCCブログ
- CCC評議会
- 課題
- 変化する
- 変更
- チャット
- AI言語モデルを活用してコードのデバッグからデータの異常検出まで、
- チェス
- 子
- 中国
- チップ
- 選択
- 選択する
- クリスマス
- コード
- コーディング
- 来ます
- 来ます
- 到来
- コマーシャル
- コミュニティ
- コミュニティ
- 企業
- 会社
- コンプリート
- 完了
- 計算
- コンピュータ
- コンピュータサイエンス
- コンピューター
- コンピューティング
- コンセプト
- 懸念
- 懸念事項
- 結論
- 実施
- 導電性
- 講演
- 紛争
- コンゴ
- コンセンサス
- 同意
- 結果
- 消費
- コンテンツ
- 続ける
- 継続します
- 続ける
- コントロール
- 会話
- 会話
- 基本
- 可能性
- 協議会
- 作成した
- 作成
- 電流プローブ
- 現在
- データ
- 意思決定
- 減少
- 深いです
- 深い学習
- 定義
- 人口動態
- 展開
- 記載された
- 記述
- 設計
- にもかかわらず
- 決定
- 発展した
- 開発
- 開発
- DID
- 異なります
- 異なって
- 取締役
- 発見
- 議論する
- 議論
- 途絶
- do
- ありません
- そうではありません
- すること
- ドント
- ダウン
- dr
- ドライブ
- 原因
- 間に
- e
- 各
- 早い
- 容易
- 簡単に
- 教育します
- 努力
- 適格性
- 登場
- 強調
- 力を与える
- end
- エネルギー
- エネルギー消費
- 従事する
- エンジニアリング
- 英語
- 高めます
- 楽しみます
- 巨大な
- 十分な
- 平等に
- 特に
- 等
- 倫理的な
- さらに
- 例
- 既存の
- 拡大
- 説明
- 明示的
- 指数関数
- 指数関数的成長
- export
- 表現する
- 表現する
- 広範囲
- 顔
- 実際
- 公平
- 妙技
- 特集
- フェルト
- 少数の
- より少ない
- ファイナル
- もう完成させ、ワークスペースに掲示しましたか?
- 名
- フラットな
- フォーカス
- 焦点を当て
- 焦点を当てて
- 最前線
- フォワード
- から
- フロンティア
- 完全に
- 楽しいです
- 資金調達
- さらに
- 未来
- ギャップ
- ギャップ
- 与えた
- 一般に
- 生成する
- 生成
- 世代
- 世代
- GitHubの
- 与える
- Go
- 行く
- 行って
- グラフ
- 素晴らしい
- グループの
- 成長性
- 持っていました
- もっと強く
- Hardware
- 害
- 害
- 持ってる
- HCI
- he
- 重く
- 助けます
- 役立つ
- 助け
- 彼女の
- ハイ
- より高い
- ハイライト
- 彼の
- history
- 認定条件
- HTTPS
- 人間
- 人間
- 誇大広告
- i
- if
- 重要性
- 重要
- 感銘を受けて
- 改善します
- 改善
- 改善
- in
- 含めて
- 増える
- の増加
- 信じられない
- 個人
- 産業を変えます
- 情報
- インフラ
- 当初
- 開始する
- 洞察力
- を取得する必要がある者
- 機関
- インテリジェンス
- インテリジェント-
- 対話
- 相互作用
- 相互作用
- 関心
- 興味深い
- インターネット
- に
- 問題
- IT
- ITS
- ユダヤ人の
- ジョブ
- Jobs > Create New Job
- ジョナサン
- JPEG
- ただ
- キー
- 子供たち
- 種類
- 言語
- ESL, ビジネスESL <br> 中国語/フランス語、その他
- 大
- 主として
- より大きい
- 最大の
- つながる
- LEARN
- 学んだ
- 学習
- less
- う
- 図書館
- 生活
- ような
- 可能性が高い
- LINE
- ライン
- レポート
- 命
- 生活
- LLM
- ローン
- より長いです
- 見て
- 探して
- ロード·オブ·ザ·リング
- たくさん
- で
- 下側
- 下げ
- 機械
- 機械学習
- 大多数
- make
- 作る
- 作成
- 管理する
- 取締役社長
- マニュアル
- 多くの
- マリア
- メリーランド
- 材料
- 最大幅
- 五月..
- メンバー
- 言及
- Microsoft
- かもしれない
- マインド
- 採掘された
- ミネラル
- マイノリティ
- 誤用
- 軽減する
- ML
- モデル
- 節度
- ママ
- お金
- 他には?
- 最も
- 移動する
- MT
- ずっと
- 必要
- 必要
- ニーズ
- 負
- 決して
- 新作
- 報道価値がある
- 次の
- いいえ
- 今
- NSF
- 数
- オブジェクト
- 発生する
- of
- 提供すること
- 頻繁に
- on
- かつて
- ONE
- の
- 開いた
- 開放性
- 機会
- or
- 注文
- その他
- 私たちの
- でる
- 成果
- 出力
- 完全に
- 自分の
- ページ
- パネル
- 紙素材
- パラダイム
- パラメータ
- 両親
- 部
- 特定の
- パートナー
- 部品
- 一時停止
- 支払い
- のワークプ
- 実行する
- パフォーマンス
- 期間
- 人
- 視点
- 浸透した
- 相
- 博士号
- 哲学
- ピース
- 場所
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- プレイ
- 演劇
- お願いします
- さらに
- PO
- ポイント
- ポイント
- 部分
- 提起
- の可能性
- 潜在的な
- 予測
- 好む
- 準備中
- プレゼンテーション
- 事前の
- 優先順位をつける
- プライバシー
- 特権を持つ
- 確率的に
- 確率
- 問題
- 作り出す
- 生産性
- 専門家
- 東京大学大学院海洋学研究室教授
- プログラマー
- 進捗
- プロジェクト
- 提供
- 公然と
- プッシュ
- 質問と回答
- 品質
- 質問
- 調達
- 急速に
- むしろ
- リーチ
- 読む
- リーディング
- 現実的な
- 本当に
- 再生タイヤ
- 受け取ります
- 最近
- 認識
- 記録された
- 反射
- レギュレータ
- 反復します
- 顕著
- 削除します
- 除去
- レポート
- 必要とする
- 研究
- 研究者
- 回答
- 責任
- 制限する
- 制限
- 明らかにする
- レビュー
- リスク
- 職種
- ラン
- ロシア
- 保障措置
- 安全性
- 同じ
- 格言
- 規模
- スケーリング
- 散在する
- 科学
- 科学
- 科学的な
- 科学者たち
- を検索
- 二番
- 見て
- センス
- 感情
- セッション
- セッション
- shared
- 彼女
- ショート
- すべき
- 示されました
- 表示
- 示す
- 符号
- 重要
- 著しく
- 署名
- サイン
- 同様の
- 単に
- から
- スキル
- 減速
- So
- 社会
- ソフトウェア
- 一部
- 誰か
- 何か
- 部品調達
- 南部の
- スピーカー
- 特定の
- 特に
- スピード
- 支出
- ステージ
- 星
- スターウォーズ
- start
- 開始
- 文
- Status:
- ステップ
- まだ
- 作戦
- 研究
- 勉強
- 提出する
- まとめる
- 供給
- サポート
- 想定
- 表面
- 周囲の
- 全身の
- システム
- 取り
- 取得
- Talk
- ターゲット
- 仕事
- タスク
- 技術的
- 技術の
- テクノロジー
- 言う
- 条件
- テスト
- テスト
- より
- それ
- 未来
- グラフ
- 世界
- アプリ環境に合わせて
- それら
- テーマ
- その後
- そこ。
- ボーマン
- 論文
- 彼ら
- 物事
- 考える
- この
- 今週
- 三
- 時間
- 〜へ
- 今日
- 今日の
- 明日
- ツール
- 豊富なツール群
- top
- トピック
- に向かって
- トレーニング
- 訓練された
- 最適化の適用
- トランスフォーマー
- 遷移
- 翻訳する
- インタビュー
- true
- 曲
- 2
- 一般的に
- 理解する
- ユニーク
- 大学
- 未知の
- us
- つかいます
- 中古
- 便利
- ユーザー
- users
- 使用されます
- 広大な
- 非常に
- 動画
- ビジョン
- ビジュアル
- name
- 欲しいです
- ました
- 仕方..
- we
- 週間
- WELL
- した
- この試験は
- いつ
- 一方
- which
- while
- 白
- 誰
- なぜ
- 広範囲
- Wikipedia
- 意志
- 無し
- レディース
- 仕事
- 作品
- 世界
- でしょう
- 包まれました
- 書き込み
- 書かれた
- 年
- You
- ゼファーネット