人工知能アルゴリズムは、適時学習するように設計されています。 人間のように新しい情報で知識ベースを継続的に更新する代わりに、アルゴリズムはトレーニング段階でのみ学習できます。 その後、彼らの知識は凍結されたままになります。 彼らは、訓練されたタスクを実行しながら、学習を続けることができません。 新しいことを XNUMX つでも学習するには、アルゴリズムをゼロからトレーニングし直す必要があります。 新しい人に会うたびに、その人の名前を知る唯一の方法は、脳を再起動することです。
ゼロからのトレーニングは壊滅的忘却として知られる行動につながる可能性があります。これは、マシンが既に学習したほとんどすべてを忘れるという代償を払って、新しい知識を組み込むというものです。 この状況は、ニューラル ネットワークと呼ばれる今日の最も強力な AI アルゴリズムが新しいことを学習する方法が原因で発生します。
これらのアルゴリズムは大まかに私たちの脳に基づいており、学習にはニューロン間の接続の強さの変化が含まれます。 しかし、このプロセスはトリッキーになります。 神経結合も過去の知識を表しているため、変更しすぎると忘れてしまいます。
生物学的ニューラル ネットワークは、重要な情報の安定性を確保するために、何億年にもわたって戦略を進化させてきました。 しかし、今日の人工ニューラル ネットワークは、新しい知識と古い知識の間でバランスを取るのに苦労しています。 それらの接続は、ネットワークが新しいデータを検出したときに簡単に上書きされ、過去の情報を認識できなくなる深刻な障害が突然発生する可能性があります。
これに対抗するために、 クリストファー・カナンロチェスター大学の 41 歳のコンピューター科学者は、継続学習として知られる AI 研究の新しい分野の確立に貢献しました。 彼の目標は、AI が継続的なデータ ストリームから新しいことを学習し続け、それまでのすべてを忘れないようにすることです。
Kanan は、人生のほぼすべてにおいて、機械知能をいじり続けてきました。 オクラホマ州の片田舎で機械を楽しみたいと思っていた子供の頃、彼はボットに初期のマルチプレイヤー コンピューター ゲームの遊び方を教えました。 そこで彼は、あらゆる点で人間のように考える能力を備えた機械である汎用人工知能の可能性に疑問を抱くようになりました。 これにより、彼は心の仕組みに興味を持ち、オクラホマ州立大学で哲学とコンピューター サイエンスを専攻した後、大学院でカリフォルニア大学サンディエゴ校に進みました。
現在、カナンはビデオ ゲームだけでなく、ほぼ 2 歳の娘が世界について学ぶのを見てインスピレーションを得ています。 彼と他の人々の研究のおかげで、壊滅的な忘却はもはや壊滅的なものではなくなりました。
クアンタ マシンの記憶、ニューラル ネットワークのトレーニング規則の破り、AI が人間レベルの学習を実現するかどうかについて、カナンに話を聞きました。 インタビューは、明確にするために要約および編集されています。
哲学のトレーニングは、仕事に対する考え方にどのような影響を与えていますか?
学者としてとても役に立ちました。 哲学は、「どうやって理にかなった議論をするか」「他人の議論をどのように分析するか」を教えてくれます。 それはあなたが科学でしていることの多くです。 チューリングテストの失敗などについて、当時のエッセイを今でも持っています。 そして、私はまだ多くのことを考えています。
私の研究室は、次の質問をすることから着想を得ています。X を実行できない場合、どうすれば Y を実行できるのでしょうか? 私たちは時間をかけて学習しますが、ニューラル ネットワークは一般的にそうではありません。 あなたはそれらを一度訓練します。 それ以降は固定されたエンティティです。 これは、いつか汎用人工知能を作りたいのであれば、解決しなければならない基本的なことです。 脳をスクランブルしてゼロからやり直さないと学習できない場合、本当にそこに到達することはできませんよね? それは私にとって前提条件の能力です。
これまでのところ、研究者は壊滅的な忘却にどのように対処してきましたか?
リプレイと呼ばれる最も成功した方法は、過去の経験を保存し、トレーニング中に新しい例でそれらを再生するため、失われることはありません。 これは、睡眠中にニューロンが再活性化するにつれて、その日の活動の高レベルのエンコードが「再生」される脳内の記憶の統合に触発されています。
言い換えれば、アルゴリズムにとって、新しい学習は過去の学習を完全に根絶することはできません。
これを行うには XNUMX つのスタイルがあります。 最も一般的なスタイルは、研究者が未加工の入力のサブセット (たとえば、オブジェクト認識タスクの元の画像) を保存し、それらの保存された過去の画像を新しい画像と混合して学習する「検証再生」です。 XNUMX 番目の方法では、画像の圧縮表現を再生します。 あまり一般的ではない XNUMX つ目の方法は、「ジェネレーティブ リプレイ」です。 ここでは、人工ニューラル ネットワークが実際に過去の経験の合成バージョンを生成し、その合成例を新しい例と混合します。 私の研究室では、後者の XNUMX つの方法に焦点を当てています。
残念ながら、リプレイは満足のいく解決策ではありません。
なぜでしょうか？
何か新しいことを学習するために、ニューラル ネットワークは、過去に学習したすべての概念について、少なくともある程度の情報を保存する必要があります。 そして、神経科学の観点からは、あなたと私は、最近の経験を忘れないようにするために、子供時代に起こったことではなく、比較的最近の経験を再生しているという仮説があります. しかし、ディープ ニューラル ネットワークで行う方法は、そうではありません。 見たものすべてを必ずしも保存する必要はありませんが、リプレイを使用するために過去に学習したすべてのタスクについて何かを保存する必要があります。 そして、何を保存するべきかは不明です。 したがって、今日のように再生しても、まだ完全ではないようです。
壊滅的な忘却を完全に解決できれば、AI は時間の経過とともに新しいことを継続的に学習できるようになるでしょうか?
ではない正確に。 継続的学習の分野における大きな、大きな、大きな未解決の問題は、壊滅的な忘却ではないと思います。 私が本当に興味を持っているのは、過去の学習が将来の学習をどのように効率化するかということです。 そして、将来何かを学ぶことは、過去の学習をどのように修正するのでしょうか? それらはあまり多くの人が測定していないものであり、そうすることがこの分野を前進させる上で重要な部分であると思います. それはより良い学習者になることです。
そこが、畑が木を見て森を欠いていると思うところです。 コミュニティの多くは、興味深い生物学的問題にも興味深い工学的応用にも一致しない方法で問題を設定しています。 誰もが同じおもちゃの問題を永遠にやらせることはできません。 あなたは言わなければなりません: 私たちのガントレット タスクは何ですか? 物事をどのように前進させますか？
では、なぜほとんどの人がこれらの単純な問題に焦点を合わせていると思いますか?
推測することしかできません。 ほとんどの作業は、過去の作業をフォローしている学生によって行われます。 彼らは他の人が行ったことのセットアップをコピーしており、同じ測定値でパフォーマンスがわずかに向上していることを示しています。 新しいアルゴリズムを作成することは、それらのアルゴリズムが実際には学習を継続的に大幅に進歩させることを可能にしないとしても、出版につながる可能性が高くなります. 私が驚いたのは、インターン主導の仕事を除いて、同じようなインセンティブを持たない大企業によって同じ種類の仕事が生み出されていることです。
また、この作業は自明ではありません。 過去の学習が将来の学習に役立つかどうかを測定するには、正しい実験とアルゴリズムのセットアップを確立する必要があります。 大きな問題は、現在、継続的な学習を研究するための適切なデータ セットがないことです。 つまり、基本的には、従来の機械学習で使用されている既存のデータ セットを使用して、それらを再利用しています。
基本的に、機械学習の教義では (少なくとも私が機械学習を教え始めるときはいつでも)、トレーニング セットとテスト セットがあります。トレーニング セットでトレーニングし、テスト セットでテストします。 継続的な学習は、これらのルールを破ります。 トレーニング セットは、学習者が学習するにつれて進化するものになります。 しかし、まだ既存のデータセットに限定されています。 これに取り組む必要があります。 私たちは本当に自分自身をプッシュできる本当に良い継続的な学習環境を必要としています.
理想的な継続学習環境とはどのようなものでしょうか?
それが何であるかよりも、そうでないことを伝える方が簡単です。 私はこれを重大な問題として特定したパネルに参加していましたが、誰もがすぐに答えを持っているとは思いません.
私はそれが持っているかもしれない特性をあなたに言うことができます. したがって、今のところ、AI アルゴリズムはそうではないと仮定しましょう。 具現化されたエージェント シミュレーションで。 少なくとも、理想的には、マルチモーダル ビデオ ストリームなどのビデオやそのようなものから学習し、できれば [静止画像の] 分類以上のことを行います。
これについては未解決の質問がたくさんあります。 数年前、私は継続学習ワークショップに参加していましたが、私のような一部の人々は、「MNIST と呼ばれるデータセットの使用をやめなければなりません。単純すぎる」と言いました。 そして、誰かが「よし、[戦略ベースのビデオ ゲーム] StarCraft の漸進的な学習をしよう」と言いました。 私も今いろいろな理由でそうしていますが、それもうまくいかないと思います。 スタークラフトの遊び方を学ぶよりも、人生はずっと豊かなものです。
あなたの研究室では、時間をかけて学習し続けることができるアルゴリズムをどのように設計しようとしましたか?
元教え子のタイラー・ヘイズと一緒に 継続的な学習タスクの先駆者 類推のため。 これは、スキルを習得し、より複雑な問題を解決するために、より複雑なスキルを使用する必要がある転移学習のアイデアを研究するのに適した分野であると考えました。 具体的には、後方転移を測定しました。つまり、過去に何かを学ぶことは将来にどの程度役立つか、またその逆も同様です。 そして、物体認識のような単純なタスクよりもはるかに重要な、転送の良い証拠を見つけました。
ラボでは、一度に XNUMX つの例から、または非常に小さな例のセットから継続的に学習するためのトレーニング アルゴリズムにも焦点を当てています。 それはどのように役立ちますか？
多くの継続的な学習セットアップでは、依然として非常に大きなバッチの例が使用されています。 したがって、彼らは本質的にアルゴリズムにこう言います。 それらを学びます。 これが次の 100,000 件です。 それらを学びなさい。」 これは、私が言う現実世界のアプリケーションとは一致しません。 学べ。 これは別の新しいことです。 学べ。"
AI に私たちと同じように学習させたいのであれば、人間がさまざまな年齢でさまざまなことを学習する方法を再現し、常に知識を洗練することを目指すべきでしょうか?
これは、この分野で進歩を遂げるための非常に有益な手段だと思います。 子供ができたので発達に夢中になっているだけだと言われますが、娘は私が何かをするのを見て、すぐにそれをコピーできるというワンショット学習ができることがわかります. そして、今日の機械学習アルゴリズムでは、そのようなことはできません。
それは本当に私の目を開けました。 私たちの頭の中では、現代のニューラル ネットワークよりもはるかに多くのことが行われているに違いありません。 だからこそ、アルゴリズムは過去の経験に基づいて構築することでより良い学習者になるという、時間の経過とともに学習するというこの分野に向かう必要があると私は考えています。
AI は本当に人間と同じように学習すると思いますか?
私は彼らがそうすると思います。 絶対。 現場で働いている人が非常に多いため、今日ははるかに有望です。 しかし、まだまだ創造性が必要です。 機械学習コミュニティの文化の多くは、リーダーに従うアプローチです。
私は私たちを単なる生化学機械と考えており、最終的には、今日よりも多くの機能を備えた正しいアーキテクチャのアルゴリズムを作成する方法を見つけ出すでしょう. 不可能だという説得力のある議論は私にはありません。
