- 2021 年 8 月 21 日
- ヴァシリス・ヴリニオティス
- 。 コメントはありません
PyTorchのコンピュータビジョンライブラリの開発に関する新しいブログ投稿シリーズを始めています。 私は主にから興味深い今後の機能について議論する予定です トーチビジョン PyTorchエコシステムからのセカンダリ。 私の目標は、新機能と開発中の機能を強調し、リリース間で何が起こっているのかを明確にすることです。 フォーマットは時間の経過とともに変化する可能性がありますが、私は当初、一口サイズを維持し、より深く掘り下げたい人のためのリファレンスを提供する予定です。 最後に、一定の間隔で記事を公開する代わりに、カバーするのに十分な興味深いトピックがあるときに投稿します。
免責事項： カバーされる機能は、私が個人的に興味を持っているトピックに偏っています。 PyTorchエコシステムは巨大であり、私はそのほんの一部しか可視化できません。 機能をカバーする（またはカバーしない）ことは、その重要性について何も述べていません。 表明された意見は私自身のものです。
それが邪魔にならないように、何が料理されているか見てみましょう：
クロスエントロピー損失のラベル平滑化
PyTorchで非常に要望の多かった機能は次のとおりです。 ソフトターゲットをサポートする および ラベルスムージングオプションを追加します クロスエントロピー損失。 どちらの機能も、ラベルスムージングを簡単に実行できるようにすることを目的としており、最初のオプションでは、次のようなデータ拡張手法の柔軟性が向上します。 取り違え/カットミックス が使用され、XNUMX番目は単純なケースでよりパフォーマンスが高くなります。 ソフトターゲットオプションはすでに マスターにマージ label_smoothingオプションが 開発中 Thomas J. Fanによるもので、現在レビュー中です。
新しいウォームアップスケジューラ
学習率のウォームアップは、モデルをトレーニングするときに使用される一般的な手法ですが、これまでPyTorchは既成のソリューションを提供していませんでした。 最近、IlqarRamazanliは 導入 線形で一定のウォームアップをサポートする新しいスケジューラ。 現在進行中の回避策です 連鎖能力の向上 および 組み合わせ 既存のスケジューラの。
「バッテリー付き」のTorchVision
この半分では、TorchVisionの人気のあるモデル、損失、スケジューラ、データ拡張、および最先端の結果を達成するために使用されるその他のユーティリティの追加に取り組んでいます。 このプロジェクトは適切に「標準搭載」と現在 進行中.
今週の初めに、私は 新しいレイヤーを追加しました 呼ばれます 確率的深さ これは、残余アーキテクチャの残余ブランチをランダムに削除するために使用できます。 現在、私は取り組んでいます 実装の追加 と呼ばれる人気のあるネットワークアーキテクチャの EfficientNet。 最後に、アレン・グッドマンは 現在 変換を可能にする新しい演算子を追加する バウンディングボックスへのセグメンテーションマスク.
開発中の他の機能
ドキュメント、CIインフラストラクチャ、および全体的なコード品質を常に段階的に改善しているとはいえ、以下では「ユーザー向け」のいくつかを強調します。 ロードマップ項目 開発中のもの：
それでおしまい！ おもしろいと思います。 フォーマットをどのように適応させるか、またはどのトピックをカバーするかについてのアイデアは大歓迎です。 私を襲って LinkedIn or Twitter.
