- 2021 年 10 月 10 日
- ヴァシリス・ヴリニオティス
- 。 コメントはありません
PyTorchv1.10とTorchVisionv0.11のリリースを必死に準備しているため、ここ数週間は「PyTorchLand」で非常に忙しかったです。 この第2回では シリーズ、TorchVisionのリリースブランチに現在含まれている今後の機能のいくつかについて説明します。
免責事項: 今後のリリースには多くの機能強化とバグ/テスト/ドキュメントの改善が含まれていますが、ここでは私が個人的に興味を持っているドメインの新しい「ユーザー向け」機能に焦点を当てています。 ブログ投稿を書いた後、私はまた、私がレビューした、書いた、またはそれらの開発を綿密に追跡した機能への偏見に気づきました。 機能をカバーする(またはカバーしない)ことは、その重要性について何も言いません。 表明された意見は私自身のものです。
新モデル
新しいリリースには、新しいモデルが満載です。
- KaiZhangはの実装を追加しました RegNetアーキテクチャ 事前にトレーニングされたウェイトと一緒に 14種類 元の紙を忠実に再現します。
- 最近、の実装を追加しました EfficientNetアーキテクチャ LukeMelas-KyriaziとRossWightmanによって提供されたバリアントB0-B7の事前トレーニング済みウェイトとともに。
新しいデータ拡張
最新バージョンには、いくつかの新しいデータ拡張手法が追加されています。
- サミュエルガブリエルが貢献しました 些細なオーグメント、AutoAugmentよりも優れた結果を提供するように見える新しいシンプルで非常に効果的な戦略。
- 追加しました ランドオーグメント 自動拡張のメソッド。
- 私はの実装を提供しました MixupとCutMix 参照で変換します。 これらは、APIが完成すると、次のリリースでトランスフォームに移動されます。
新しい演算子とレイヤー
いくつかの新しい演算子とレイヤーが含まれています。
参考資料/トレーニングレシピ
参照スクリプトの改善は継続的な取り組みですが、次のバージョンに含まれるいくつかの新機能を次に示します。
- PrabhatRoyはのサポートを追加しました 指数移動平均 私たちの分類レシピで。
- サポートするために参照を更新しました ラベルスムージング、最近、JoelSchlosserとThomasJ.FanによってPyTorchコアに導入されました。
- 実行するオプションを含めました 学習率ウォーミングアップ、IlqarRamazanliによって開発された最新のLRスケジューラーを使用します。
その他の改善
このリリースで追加されたその他の注目すべき改善点は次のとおりです。
- アレクサンダーソアレとフランシスコマッサは FXベースのユーティリティ これにより、モデルアーキテクチャから任意の中間機能を抽出できます。
- NikitaShulgaがのサポートを追加しました CUDA 11.3 TorchVisionへ。
- ZhongkaiZhuは 依存関係の問題 JPEG libの(この問題は多くのユーザーに大きな頭痛の種を引き起こしました)。
進行中および次のアップ
このリリースでは実現しなかった、開発中のエキサイティングな新機能がたくさんあります。 ここにいくつかあります:
- Moto Hira、Parmeet Singh Bhatiaと私はRFCを起草しました。これは、 モデルのバージョン管理 事前にトレーニングされた重みに関連付けられたメタデータを処理するため。 これにより、モデルごとに事前にトレーニングされた複数の重みをサポートし、ラベル、前処理変換などの関連情報をモデルに添付できるようになります。
- 私は現在、「電池含む」プロジェクトの精度を向上させるために 事前トレーニング済みモデル。 目標は、TorchVisionが提供する最も人気のある事前トレーニング済みモデルでクラス最高の結果を達成することです。
- PhilipMeierとFranciscoMassaは、TorchVisionの新しいプロトタイプのエキサイティングなプロトタイプに取り組んでいます。 データセット および 変換 APIです。
- Prabhat Royは、PyTorchCoreの拡張に取り組んでいます。
AveragedModel
サポートするクラス バッファの平均化 パラメータに加えて。 この機能の欠如は、一般的にバグとして報告され、 多数のダウンストリームライブラリを有効にする カスタムEMA実装を削除するためのフレームワーク。 - アディツア・オケ ユーティリティを書いた 許可する 結果をプロットする 元の画像のキーポイントモデルの数(私たちが圧倒され、時間内にレビューできなかったため、機能はリリースに到達しませんでした🙁)
- 私は構築しています プロトタイプFX-ユーティリティ これは、任意のモデルアーキテクチャで残留接続を検出し、ネットワークを変更して正則化ブロックを追加することを目的としています(
StochasticDepth
).
最後に、バックログにいくつかの新機能があります(PRは近日公開予定)。
上記の要約がおもしろいと思います。 ブログシリーズのフォーマットをどのように適応させるかについてのアイデアは大歓迎です。 私を襲って LinkedIn or Twitter.
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://blog.datumbox.com/a-sneak-peek-on-torchvision-v0-11-memoirs-of-a-torchvision-developer-2/
- 10
- 11
- 7
- a
- 私たちについて
- 上記の.
- 精度
- 達成する
- 適応する
- 追加されました
- 添加
- 後
- 目指して
- ことができます
- および
- API
- 関連する
- アタッチ
- 著者
- バイアス
- ブロック
- ブログ
- ブランチ
- バグ
- 建物
- 生じました
- class
- 分類
- 密接に
- 到来
- 近日公開
- 一般に
- Connections
- 連続的な
- 貢献
- 基本
- カップル
- カバー
- カバーする
- 現在
- カスタム
- データ
- データムボックス
- 発展した
- Developer
- 開発
- ドメイン
- 起草
- 各
- 効果的な
- 努力
- EMA
- enable
- 等
- エキサイティング
- 表現
- 延伸
- ファン
- 特徴
- 特徴
- 少数の
- ファイナライズ済み
- 固定の
- 続いて
- 形式でアーカイブしたプロジェクトを保存します.
- 発見
- フレームワーク
- フランシスコ
- から
- ハンドリング
- 頭痛
- こちら
- 強調表示
- 非常に
- ヒット
- 希望
- 認定条件
- How To
- HTTPS
- 私は
- 考え
- 画像
- 実装
- 重要性
- 改善します
- 改善
- 改善
- in
- 含まれました
- 情報
- 興味がある
- 興味深い
- 導入
- 問題
- IT
- ラベル
- 欠如
- 姓
- 最新の
- 層
- 主要な
- make
- 多くの
- 最大幅
- メカニズム
- 方法
- モデル
- 最も
- 一番人気
- 移動する
- の試合に
- ネットワーク
- 新作
- 新しい特徴
- 次の
- 注目すべき
- 数
- 多数の
- 10月
- 演算子
- 意見
- オプション
- 注文
- オリジナル
- その他
- 自分の
- パック
- 紙素材
- パラメータ
- 実行する
- 個人的に
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 人気
- ポスト
- 投稿
- 準備中
- プロジェクト
- 提案する
- プロトタイプ
- 提供します
- 提供
- パイトーチ
- レート
- 最近
- レシピ
- リファレンス
- リリース
- 削除します
- 報告
- 結果
- レビュー
- 日
- スクリプト
- と思われる
- シリーズ
- 簡単な拡張で
- こっそり
- 一部
- 戦略
- そのような
- 概要
- スーパー
- 優れた
- サポート
- ターゲット
- テクニック
- アプリ環境に合わせて
- 時間
- 〜へ
- トーチビジョン
- に向かって
- トレーニング
- 今後の
- 更新しました
- us
- users
- バージョン
- ウィークス
- 歓迎
- which
- 意志
- ワーキング
- 書き込み
- You
- ゼファーネット