JP7403573B2 - 低ビットレートのビデオ圧縮のためのマイクロドージング - Google Patents

低ビットレートのビデオ圧縮のためのマイクロドージング Download PDF

Info

Publication number
JP7403573B2
JP7403573B2 JP2022062154A JP2022062154A JP7403573B2 JP 7403573 B2 JP7403573 B2 JP 7403573B2 JP 2022062154 A JP2022062154 A JP 2022062154A JP 2022062154 A JP2022062154 A JP 2022062154A JP 7403573 B2 JP7403573 B2 JP 7403573B2
Authority
JP
Japan
Prior art keywords
decompressed data
video frame
frame subset
model
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022062154A
Other languages
English (en)
Other versions
JP2022161862A (ja
Inventor
デジェロフ アブデルアジズ
マルクス ヘルミンガー レオンハルト
ジェルソン デ アルバカーキ アゼヴェード ロベルト
ラブロージー スコット
リヒャルト シュロアーズ クリストファ
シュエ ユアンイ
Original Assignee
ディズニー エンタープライゼス インコーポレイテッド
イーティーエイチ・チューリッヒ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディズニー エンタープライゼス インコーポレイテッド, イーティーエイチ・チューリッヒ filed Critical ディズニー エンタープライゼス インコーポレイテッド
Publication of JP2022161862A publication Critical patent/JP2022161862A/ja
Application granted granted Critical
Publication of JP7403573B2 publication Critical patent/JP7403573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

関連出願の参照
本出願は、２０２１年４月８日に出願され、「Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｂａｓｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃｓ」と題する仮特許出願シリアル番号６３／１７２，３１５、および２０２１年１０月１３日に出願され、「Ｍｉｃｒｏｄｏｓｉｎｇ Ｆｏｒ Ｌｏｗ Ｂｉｔｒａｔｅ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ」と題する仮特許出願シリアル番号６３／２５５，２８０の利益および優先権を主張するものである。それによって、これらは参照により完全に本出願に組み込まれている。
ビデオコンテンツは、インターネットトラフィック全体の大部分を占めており、空間解像度のフレームレートおよびビデオの色深度が増加し、ストリーミングサービスを採用するユーザが増えるにつれて、さらに増加すると予想される。既存のコーデックは、素晴らしい性能を達成しているが、これ以上小さな改良を加えても将来の需要に対応できないところまで作り込まれている。そのため、ビデオコーディングを実行するための根本的に異なる方法を探求することは、有利にも、性能および柔軟性を改善させた新しいクラスのビデオコーデックにつながる可能性がある。
例えば、例として生成的敵対ネットワーク（ＧＡＮ）の形態のニューラルネットワーク（ＮＮ）などのトレーニング済機械学習（ＭＬ）モデルを使用してビデオ圧縮を行うことの１つの利点は、そうでなければデータ伝送の点から取得するのにコストがかかるであろう視覚的詳細を、ＭＬモデルに推測可能とさせることである。しかしながら、現在の最先端の提案においては、モデルサイズが依然として重要な問題であり、既存のソリューションでは、複合化の側で大きな計算負荷がかかる。つまり、既存のＧＡＮベースの圧縮フレームワークの大きな欠点は、典型的に、それらが大きなデコーダモデルを必要とすることである。大きなデコーダモデルは、時にプライベートなデータセットでトレーニングされることもある。したがって、これらのモデルを元の性能に再トレーニングすることは、一般に不可能である。トレーニングデータが利用可能な場合でも、モデルの再トレーニングは、複雑で時間がかかるであろう。さらに、既存の大きなデコーダモデルは、メモリ要件と推論時間を理由として、特にビデオコーディングの面では実用的ではない。
一実装形態による、機械学習（ＭＬ）モデルベースビデオコーデックを提供する例示的なシステムのダイヤグラムである。 一実装形態による、ニューラル圧縮に対する既存のアプローチと例示的なマイクロドージング圧縮アプローチと、を比較するダイヤグラムである。 一実装形態による、大きなデコーダを含む既存の高性能コーデックを示す図である。 図4Ａは、本概念の例示的な一実装形態による、教師役デコーダを使用する小さな生徒役デコーダのトレーニングを描く図である。図４Ｂは、一実装形態による、図４Ａに示す小規模生徒役デコーダでの使用に適した例示的なＭＬモデルベースデコーディングネットワークを描く図である。 一実装形態による、低ビットレートのビデオ圧縮のためのマイクロドージングを含む知識蒸留（ＫＤ）技術を実装するためのビデオ圧縮パイプラインを示す図である。 一実装形態による、低ビットレートのビデオ圧縮のためのマイクロドージングを実行する例示的な方法を概説するフローチャートである。 一実装形態による、図６で概説した方法を拡張するための追加のアクションを説明するフローチャートである。
以下の説明は、本開示における実装に関連する特定の情報を含む。当業者は、本開示が、本明細書で具体的に記載されているものとは異なる態様で実装され得ることを認識するであろう。本出願の図面およびそれらに付随する詳細な説明は、単に例示的な実装に向けられている。特に明記しない限り、図中の同様のまたは対応する要素は、同様のまたは対応する参照符号によって示すことができる。さらに、本出願の図面およびイラストレーションは、概して、縮尺通りではなく、実際の相対的な寸法に対応することを意図していない。
本出願は、機械学習（ＭＬ）モデルベースビデオコーデックを提供するためのシステムおよび方法に向けられている。さらに、本出願は、デコーダのサイズを縮小しながら、良好な知覚画像品質を保持することを可能にする知識蒸留（ＫＤ）アプローチを開示する。本発明の新規かつ発明的な原理によれば、ＫＤの目標は、教師役ネットワークの学習された知識を、教師役ネットワークの性能に対して競争力を維持する、より小さな生徒役ネットワークに転送することである。必要とするのが、最初の教師役ネットワークよりも少ないメモリと計算能力であることによって、生徒役ネットワークを、例えば、携帯電話または専用デバイスなどのパワーの劣るデバイス上で動かすことができる。本明細書において開示されるように、自動エンコーダ設定においてジェネレータネットワークまたはデコーダを圧縮する能力は、メモリ要件および計算効率の両方の点において有利である。これは、複合化が単純であるべきとしつつ、計算の大部分はセンダ（エンコーダ）側で実行されることが好適である画像およびビデオ圧縮にとって、特に重要である。特にビデオストリーミングの場合、アセットは、典型的に、配信のために１回符号化され、しかしながら何百万回も複合化される場合がある。
例えば人工ニューラルネットワーク（ＮＮ）などのトレーニング済機械学習モデルを使用してビデオ圧縮を行うことの１つの利点は、そうでなければデータ転送の点から取得するのにコストがかかるであろう視覚的詳細を、機械学習モデルが推論可能とさせることである。したがって、結果として生じる画像は、典型的に、高いビットレートを必要とせずに、視覚的に心地よい。機械学習モデルベースビデオコーデックを使用して合成された画像の細部は、現実的に見えることができるが、一方でグランドトゥルースからわずかに逸脱する場合がある。それにもかかわらず、本機械学習モデルベースのビデオ圧縮ソリューションは、従来のアプローチにおいて同じ量の送信データを使用して不可能であるような画質を提供可能である。さらに、いくつかの実装形態において、本機械学習モデルベースのソリューションは、実質的に自動化されたシステムおよび方法として実装することができる。
本出願で使用される場合、用語「自動化」、「自動化された」、および「自動化する」は、人間の編集者またはシステム管理者のような人間のユーザの参加を必要としないシステムおよびプロセスを指すことに留意されたい。いくつかの実装形態においては、人間のシステム管理者が、本明細書に記載の自動化されたプロセスに従って動作する自動化されたシステムの性能をレビューすることができる。しかしながら、その人間の関与は任意選択である。したがって、本出願に記載されるプロセスは、開示されるシステムのハードウェア処理コンポーネントの制御下で、実行することができる。
さらに、本出願で定義されるように、「機械学習モデル」（以下「ＭＬモデル」）という表現は、トレーニングデータとして知られる信頼される既知のマッチおよび既知のミスマッチのセットから得られるデータのサンプルから学習されたパターンに基づいて将来の予測を行うための数学的モデルを指すことに留意されたい。入力データと出力データとの間の相関関係をマッピングするために、多様な学習アルゴリズムを使用できる。これらの相関関係は、新しい入力データに対して将来の予測を行うために使用できる数学的モデルを形成する。このような予測モデルは、例えば、１つまたは複数のロジスティック回帰モデル、ベイジアンモデル、またはＮＮを含むことができる。さらに、機械学習モデルは、特定のタスクの機械学習モデルの性能を徐々に向上させるように設計することができる。
ディープラーニングの文脈における「ディープニューラルネットワーク」（deep ＮＮ）は、入力層と出力層の間の複数の隠れ層を利用するＮＮを指すことができる。隠れ層によって、生データにおいて明示的に定義されていない特徴に基づく学習ができるようになる。本出願で使用される場合、ＮＮと付された特徴は、ディープニューラルネットワークを指す。多様な実装形態において、ＮＮは、画像処理または自然言語処理を実行するために利用できる。本発明の新規かつ発明的な原理は、生成的敵対ネットワーク（ＧＡＮ）として知られる例示的なＮＮクラスを参照することによって以下に説明される。しかしながら、その特徴付けは、単に概念を明確にするために提供されるものである。
図１は、一実装態様による、機械学習（ＭＬ）モデルベースのビデオ圧縮を実行するための例示的なシステムを示す。図１に示すように、システム１００は、処理ハードウェア１０４と、コンピュータが読み取り可能な非一時的記憶媒体として実装されたシステムメモリ１０６と、を有するコンピューティングプラットフォーム１０２を含む。この例示的な実装形態によれば、システムメモリ１０６は、非圧縮ビデオシーケンス１１６およびＭＬモデルベースビデオエンコーダ１０８を格納する。
図１に更に示すように、システム１００は、通信ネットワーク１１０と、ユーザ１１４による使用のために構成されたユーザシステム１２０と、を含む使用環境内部に実装されている。ユーザシステム１２０は、ディスプレイ１２２と、ユーザシステムの処理ハードウェア１２４と、コンピュータが読み取り可能な非一時的記憶媒体として実装されてＭＬモデルベースビデオデコーダ１２８を格納するユーザシステムメモリ１２６と、を含む。さらに、図１は、通信ネットワーク１１０を介してユーザシステム１２０をシステム１００とインタラクティブに接続するネットワーク通信リンク１１２と、ＭＬモデルベースビデオエンコーダ１０８によって出力されて非圧縮ビデオシーケンス１１６に対応する、圧縮ビデオビットストリーム１１８と、を示す。
本出願では、概念を明確にするために、ＭＬモデルベースビデオエンコーダ１０８がシステムメモリ１０６に格納されていると言及する。しかしながら、より一般的には、システムメモリ１０６は、任意のコンピュータが読み取り可能な非一時的記憶媒体の形態をとることができる。本出願で使用される「コンピュータが読み取り可能な非一時的記憶媒体」という表現は、コンピューティングプラットフォーム１０２の処理ハードウェア１０４に命令を供給する搬送波または他の一時的な信号を除く、任意の媒体を指す。したがって、コンピュータが読み取り可能な非一時的記憶媒体は、例えば、揮発性媒体および不揮発性媒体などの多様な種類の媒体に対応することができる。揮発性媒体は、ダイナミックランダムアクセスメモリ（ダイナミックＲＡＭ）などの動的メモリを含むことができる。一方で、不揮発性メモリは、光学、磁気、または静電記憶デバイスを含むことができる。コンピュータが読み取り可能な非一時的記憶媒体の一般的な形態には、例えば、光ディスク、ＲＡＭ、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能なＰＲＯＭ（ＥＰＲＯＭ）、およびフラッシュメモリが含まれる。
さらに、図１は、ＭＬモデルベースビデオエンコーダ１０８を、その全体がシステムメモリ１０６に格納されるものとして描いている。しかしながら、その表現も、単に概念的に明確にするための補助として提供されているに過ぎない。より一般的には、システム１００は、例えばコンピュータサーバなどの１つまたは複数のコンピューティングプラットフォーム１０２を含むことができる。これらは、コロケーテッド（co-located）していてもよく、または、例えばクラウドベースのシステムのような、インタラクティブにリンクされているが分散されたシステムを形成してもよい。その結果、処理ハードウェア１０４およびシステムメモリ１０６は、システム１００内部の分散されたプロセッサおよびメモリリソースに対応することができる。したがって、いくつかの実装形態において、ＭＬモデルベースビデオエンコーダ１０８の１つまたは複数の機能を、システム１００の分散されたメモリリソース上に相互に遠隔で格納することができる。
処理ハードウェア１０４は、例えば、１つまたは複数の中央処理ユニット、１つまたは複数のグラフィックス処理ユニットおよび１つまたは複数のテンソル処理ユニットなどの複数のハードウェア処理ユニット、１つまたは複数のフィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、機械学習トレーニングまたは推論用のカスタムハードウェア、ならびにアプリケーションプログラミングインターフェイス（ＡＰＩ）サーバを含むことができる。定義により、本出願で使用される場合、用語「中央処理ユニット」（ＣＰＵ）、「グラフィックス処理ユニット」（ＧＰＵ）、および「テンソル処理ユニット」（ＴＰＵ）は、当該技術分野における慣習的な意味を有する。すなわち、ＣＰＵは、コンピューティングプラットフォーム１０２の算術演算および論理演算を実行するための算術論理ユニット（ＡＬＵ）と、ＭＬモデルベースビデオエンコーダ１０８などのプログラムをシステムメモリ１０６から取り出すためのコントロールユニット（ＣＵ）と、を含む。一方、ＧＰＵは、計算集約的なグラフィックスまたは他の処理タスクを実行することによって、ＣＰＵの処理のオーバーヘッドを低減するために実装することができる。ＴＰＵは、機械学習のような人工知能（ＡＩ）処理のために特別に構成された特定用途向け集積回路（ＡＳＩＣ）である。
いくつかの実装形態において、コンピューティングプラットフォーム１０２は、例えば、インターネットなどのパケット交換ネットワークの形態である通信ネットワーク１１０を介してアクセス可能な、１つまたは複数のウェブサーバに対応することができる。さらに、いくつかの実装形態では、通信ネットワーク１１０は、例えば１０ＧｉｇＥネットワークまたはインフィニバンド（登録商標）ネットワークのような、ハイパフォーマンスコンピューティング（ＨＰＣ）に適した高速ネットワークとすることができる。いくつかの実装形態では、コンピューティングプラットフォーム１０２は、私的な広域ネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）をサポートする１つまたは複数のコンピュータサーバに、または別のタイプの限定された配信または私的なネットワークに含まれる１つまたは複数のコンピュータサーバに、対応することができる。さらに別の代替案として、いくつかの実装形態では、システム１００は、データセンター内など、仮想的に実装されてもよい。例えば、いくつかの実装形態では、システム１００は、ソフトウェアにおいて、または仮想マシンとして、実装されてもよい。
図１によって示される実装形態によれば、ユーザ１１４は、通信ネットワーク１１０を介してシステム１００とインターアクト（interact）するためにユーザシステム１２０を利用できる。ユーザシステム１２０および通信ネットワーク１１０は、ユーザ１１４がシステム１００から非圧縮ビデオシーケンス１１６に対応する圧縮ビデオビットストリーム１１８を取得することを可能にする。
ユーザシステム１２０は、図１ではデスクトップコンピュータとして示されている。しかしながら、その表現は単に例として提供されているに過ぎない。より一般的には、ユーザシステム１２０は、ユーザインターフェイスを提供し、通信ネットワーク１１０への接続をサポートし、本明細書においてユーザシステム１２０に帰属する機能を実装するのに十分なデータ処理能力を実装する任意の適切なモバイル型または据え付け型コンピューティング装置またはシステムとすることができる。例えば、いくつかの実装形態では、ユーザシステム１２０は、例えばラップトップコンピュータ、タブレットコンピュータ、スマートフォン、またはゲームコンソールの形態をとることができる。しかしながら、他の実装形態では、ユーザシステム１２０は、ユーザ１１４が、キーボードまたは他の入力デバイスを介して入力を提供すること、およびディスプレイ１２２を介してビデオコンテンツを提供することを可能にする、システム１００の「ダム端末」周辺構成要素であってもよい。それらの実装形態では、ユーザシステム１２０およびディスプレイ１２２は、システム１００の処理ハードウェア１０４によって制御できる。
ユーザシステム１２０のディスプレイ１２２に関して、ディスプレイ１２２は、ユーザシステム１２０と物理的に一体化されてもよく、またはユーザシステム１２０と通信可能に結合されているが物理的に分離されていてもよい。例えば、ユーザシステム１２０が、スマートフォン、ラップトップコンピュータ、またはタブレットコンピュータとして実装される場合、ディスプレイ１２２は、典型的には、ユーザシステム１２０と一体化される。対照的に、ユーザシステム１２０がデスクトップコンピュータとして実装される場合、ディスプレイ１２２は、コンピュータータワーの形態でユーザシステム１２０から分離されたモニタの形態をとることができる。さらに、ディスプレイ１２２は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、量子ドット（ＱＤ）ディスプレイ、または信号を光に物理変換する任意の他の適切なディスプレイ技術を使用するディスプレイとすることができる。
画像圧縮は、形式的に、ビットストリームの予想長、および原画と比較して再構成された画像の予想歪みを最小化することと表現できて、以下のレート‐歪み目的関数を最適化するものとして定式化される。
識別器のトレーニングは、画像圧縮ＭＬモデル２３２のトレーニングと交互に行われる。この場合、敵対的損失（adversarial loss）で増強されたレート‐歪み目標が最適化される。
ビデオ符号化における時間的冗長性を利用するために、ビデオ圧縮は、動き補償による情報伝達に依拠する。より正確には、後続のフレームｘｔ＋１は、動き情報を考慮してその先行するフレームｘｔから予測できる。本出願で定義されるように、「動き補償」という表現は、動きベクトルを計算し符号化する完全なプロセス、ならびに発生し得るあらゆる後処理を指す。簡単にするために、動き補償が完了したと仮定し、その結果は、
の推定値および
である。
低ビットレートの圧縮のためのマイクロドージング
図２は、ニューラル圧縮に対する既存のアプローチ２３２を、本出願によって紹介されるマイクロドージング圧縮アプローチ２３４と比較するダイヤグラム２３０である。本マイクロドージング圧縮アプローチ２３４は、以下に基づいている。１）大きなデコーダから生成されたデータで、縮小された生徒役デコーダをトレーニングする、２）縮小された生徒役デコーダモデルを、特定の画像または画像のセットにオーバーフィットさせる、３）特化されたデコーダの重みを、画像の潜在と一緒に、伸張データ２３６として送信する。本マイクロドージング圧縮アプローチの実現性を示すために、低ビットレート設定をターゲットとする、ニューラル画像およびビデオ圧縮のための最先端モデルへのその組み込みを説明する。
第一に、高忠実度圧縮（Ｈｉｇｈ－Ｆｉｄｅｌｉｔｙ Ｃｏｍｐｒｅｓｓｉｏｎ：ＨｉＦｉＣ）デコーダまたは他の高性能デコーダは、はるかにより小さな生徒役デコーダで置き換えられる。ＨｉＦｉＣは、現在、低ビットレートのニューラル画像圧縮（すなわち、ピクセルあたり約０．１５ビット）での最先端技術を提供し、比較的大きな（すなわち、約１億５６００万パラメータ）デコーダネットワークを代償として、極めて競争力のある結果を制作することに留意されたい。既存のアプローチ２３２において、ＨｉＦｉＣアーキテクチャが利用されることが示されている。しかしながら、その表現は単に例示的なものである。他の実装形態では、既存のアプローチ２３２のＨｉＦｉＣエンコーダ‐デコーダネットワークは、残差ブロックに基づく同様のアーキテクチャを有する実質的に任意のＧＡＮトレーニング済ネットワークによって置換することができる。
既存のアプローチ２３２とは対照的に、本出願によって開示されるマイクロドージング圧縮アプローチ２３４は、有利にも、ＨｉＦｉＣによって提供されるものと視覚的に同様の出力画像を制作しながら、はるかにより小さなデコーダ（例えば、約８００万パラメータ）および５０パーセント（５０％）速い復号時間を可能にする。第二に、潜在残差に基づくニューラルビデオ圧縮フレームワークにおける、本マイクロドージングＫＤ戦略の適用を説明する。このようなシナリオでは、シーケンスに特化したデコーダを提供できるように、縮小された生徒役デコーダをシーケンスにオーバーフィットさせる。
図２に示すように、既存のニューラル圧縮アプローチ２３２によれば、エンコーダ‐デコーダのペアは、多様な異なるコンテンツ上で全体的に良好な性能を得るために、大きなデータセット上でトレーニングされる。オートエンコーダが完全にトレーニングされると、デコーダが配置され、レシーバに送られる。そして、大きなデコーダは、あらゆるタイプのコンテンツの復号化を可能にする。
対照的に、本マイクロドージングアプローチ２３４によれば、ＭＬモデルベースビデオエンコーダ２０８は、非圧縮ビデオシーケンス２１６のデータを、サブセットＳｉに分割し、各サブセットに対する対応情報θＳｉを有するコンテンツ固有のデコーダを学習するよう構成される。この特化により、有利にも、より少ないパラメータ、より少ないメモリフットプリントを必要とし、より少ない計算を使用するＭＬモデルベースビデオデコーダ２３８のトレーニングが可能となる。ＭＬモデルベースビデオエンコーダ２０８、非圧縮ビデオシーケンス２１６、およびＭＬモデルベースビデオデコーダ２３８は、それぞれ、図１におけるＭＬモデルベースビデオエンコーダ１０８、非圧縮ビデオシーケンス１１６、およびＭＬモデルベースビデオデコーダ１３８に概して対応することに留意されたい。したがって、ＭＬモデルベースビデオエンコーダ１０８、非圧縮ビデオシーケンス１１６、およびＭＬモデルベースビデオデコーダ１３８は、本開示によって、ＭＬモデルベースビデオエンコーダ２０８、非圧縮ビデオシーケンス２１６、およびＭＬモデルベースビデオデコーダ２３８の各々に帰着する特徴のいずれかを共有できて、その逆も同様とすることができる。
ＭＬモデルベースビデオデコーダ２３８が完全にトレーニングされ、サブセットに対するＭＬモデルベースビデオエンコーダ１０８の再構成品質要件が満たされると、コンテンツ固有の情報（例えば、伸張データ２３６）をサブセットと一緒に格納することができる。ＭＬモデルベースビデオデコーダ２３８が
を復号化したい場合、重みの形態のサブセット固有の伸張データθＳｉは、サブセットごとに１回だけ送信されなければならない。本マイクロドージングＫＤアプローチをＧＡＮでの画像圧縮に適用し、潜在空間残差を使用するビデオ圧縮に対してそれを拡張する手順について、以下に説明する。
図３は、従来のＨｉＦｉＣアーキテクチャ３４０を示す。そのデコーダ３４８は、３つのサブネットに分割できる。すなわち、約２００万（２Ｍ）パラメータを含むヘッド３４２、約１４９Ｍパラメータを含む残差ネットワーク（ｒｅｓ＿ｂｌｏｃｋｓ）３４４、および約５．５Ｍパラメータを含むテール３４６である。ＨｉＦｉＣアーキテクチャ３４０を使用して処理された画像の粗情報は、潜在空間に保存され、テクスチャのハルシネーション（ｈａｌｌｕｃｉｎａｔｉｏｎ）は、デコーダ３４８のｒｅｓ＿ｂｌｏｃｋｓ３４４によって生成されることに留意されたい。特に、ｒｅｓ＿ｂｌｏｃｋｓ３４４のサイズは、モデルが大きなプライベート（ｐｒｉｖａｔｅ）データセットで訓練されたことに起因しており、したがって、トレーニング中に見られるすべてのテクスチャをキャプチャするために、このような大きなサイズが必要である。
しかしながら、どの画像を圧縮すべきかが予め分かっている場合（例えば、同様の特徴を有するビデオシーケンスのフレーム）、符号化中にそのデータにオーバーフィットし、それらの画像（すなわち、伸張データ２３６）を適切に復号化するために必要な重みのみを送信することが可能である。それは、本願に開示され、図４Ａおよび図４Ｂを参照して説明されるＮＮアーキテクチャを使用して実装されるものである。
図４Ａおよび図４Ｂによって示される例示的な実装形態によれば、生徒役デコーダ４３８のサイズは、画像の特定のサブセットについて、図３のres_block３４４の挙動を模倣する、より小さなサブネットワーク、マイクロ残差ネットワーク（マイクロ‐ＲＮ）４６０をトレーニングし、それによって生徒役デコーダ４３８のハルシネーション能力（ｈａｌｌｕｃｉｎａｔｉｏｎ ｃａｐａｂｉｌｉｔｙ）をマイクロドージングすることによって、教師役デコーダ４５２のサイズに対して著しく低減される。上述のように、ＨｉＦｉＣアーキテクチャの代替として、いくつかの実装形態において、本発明の新規かつ発明的な原理は、残差ブロックに基づく同様のアーキテクチャを有する実質的に任意のＧＡＮトレーニング済ネットワークに適用できる。そのようなＧＡＮトレーニング済ネットワークの実装形態では、ＧＡＮトレーニング済ネットワークデコーダの残差ブロック部分は、マイクロ‐ＲＮ４６０によって置き換えることができる。生徒役デコーダ４３８は、図１および図２における、ＭＬモデルベースビデオデコーダ１３８および２３８に概して対応し、それらの対応する特徴は、いずれかの対応する特徴に帰着する特徴のいずれかを、本開示で共有し得ることに、さらに留意されたい。すなわち、生徒役デコーダ４３８のように、ＭＬモデルベースビデオデコーダ１３８および２３８は、マイクロ‐ＲＮ４６０を含むことができる。
図４Ｂに示す例示的な実装形態によれば、マイクロ‐ＲＮ４６０は、当該技術分野で既知の、劣化認識（ｄｅｇｒａｄａｔｉｏｎ ａｗａｒｅ：ＤＡ）ブロックに基づく。ＤＡブロックを利用する既存の方法は、劣化ベクトルに従って重みを操縦するために、典型的に、カーネル予測ネットワークを利用する。しかしながら、一方で、本実装形態は、サブセットＳｉごとに異なる重みのセットθＳｉを利用する。マイクロ‐ＲＮ４６０は、２つのパラメータで定義される。すなわち、隠れチャンネルの数であるCh、およびＤＡブロックの数であるＢ、である。一実装形態において、３×３の畳み込みを使用できる。図４Ｂを参照すると、ＤＣｏｎｖは深さ方向の畳み込みを表す。マイクロ‐ＲＮ４６０は、図４Ａに示す教師‐生徒アーキテクチャでトレーニングされ、一方、生徒役デコーダ４３８（以下「ＭＬモデルベースビデオデコーダ４３８」）のヘッド４５６およびテール４５８は、教師役デコーダ４５２から事前にトレーニングされ、借用される。
ニューラルビデオ圧縮シナリオにおけるＫＤの適用を示すために、図５のネットワーク５７０のようなネットワークを使用することができる。図５に示すように、ネットワーク５７０は、２つの部分を含む。すなわち、フレーム予測ネットワーク（ＦＰＮ）５７２および潜在残差ネットワーク（Ｌａｔｅｎｔ Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ：ＬＲＮ）５７４である。符号化されるべきフレーム（グループオブピクチャ、またはＧＯＰ）のシーケンスｘ０、…、ｘＧＯＰが与えられ、ｘ０はキーフレーム（Ｉ‐フレーム）であり、ｘ１、…、ｘＧＯＰは予測フレーム（Ｐ‐フレーム）である場合、シーケンスの圧縮は以下のように動作することができる。
低ビットレート設定において、ＨｉＦｉＣは、上記の潜在空間残差フレームワークとともに使用できるニューラル画像圧縮アーキテクチャに対する、適切な選択肢であると思われる。しかしながら、上述のように、ＨｉＦｉＣデコーダのサイズが、制限要因である。さらに、毎秒、約３０フレーム（３０ｆｐｓ）の復号化フレームレートを維持することが必要であることの多いビデオでは、推論時間がクリティカルとなる可能性がある。本出願に開示されるマイクロドージングのソリューションは、有利にも、推論時間を短縮しながら計算効率を高めることによって、最先端技術を進歩させるものである。符号化の間、本ソリューションは、特定のシーケンスに対してオーバーフィットされる。その結果、そのシーケンスの全てのフレームについて、θＳｉは１回だけ送信される必要がある。そして、本発明の新規かつ発明的な復号化プロセスは、ＭＬモデルベースビデオデコーダ４３８上でシーケンス固有のマイクロ‐ＲＮ重みを受信してロードすることによって進行し、そのシーケンスの復号化の間に固定される。本マイクロドージングのソリューションによって課されるのが、小さな計算オーバーヘッドであることの結果として、復号時間は、有利にも、より大きな、より遅い既存のデコーダと同様のビジュアルを達成しながら、５０％削減することができる。
図２、図３、図４Ａ、図４Ｂ、および図５を参照して上述したマイクロドージングアプローチによる知識蒸留を、図６および図７を参照して更に説明する。図６は、一実装形態による、低ビットレートのビデオ圧縮のためのマイクロドージングを実行する例示的な方法を提示するフローチャート６８０を示す。一方、図７は、図６で概説された方法を拡張するための追加のアクションを説明するフローチャート７９０を示す。図６および図７に記載されるアクションに関して、本出願における発明的特徴の議論を不明瞭にしないために、特定の詳細および特徴がフローチャート６８０および７９０から省かれていることに留意されたい。
ここで図６を図１および図２と組み合わせて参照すると、フローチャート６８０は、複数のビデオフレームを含む非圧縮ビデオシーケンス１１６／２１６を受信すること（アクション６８１）を含む。図２に示すように、非圧縮ビデオシーケンス１１６／２１６は、ＭＬモデルベースビデオエンコーダ１０８／２０８によってアクション６８１で受信することができる。さらに、また図１を参照して上述したように、ＭＬモデルベースビデオエンコーダ１０８／２０８は、システムメモリ１０６に格納することができる。したがって、非圧縮ビデオシーケンス１１６／２１６は、システム１００の１０４の処理ハードウェアによって実行されるＭＬモデルベースビデオエンコーダ１０８／２０８によって、アクション６８１で受信することができる。
フローチャート６８０は、複数のビデオフレームのうちから、第１ビデオフレームサブセットおよび第２ビデオフレームサブセットを決定すること（アクション６８２）を、更に含む。いくつかの実装形態では、アクション６８２における、第１ビデオフレームサブセットおよび第２ビデオフレームサブセットの決定は、非圧縮ビデオシーケンス１１６／２１９に含まれるビデオフレーム間の類似性および非類似性に基づくことができる。換言すると、いくつかの実装形態では、アクション６８２において決定される第１ビデオフレームサブセットは、互いに視覚的に類似するビデオフレームを含むことができる。一方、第２ビデオフレームサブセットは、第１ビデオフレームサブセットに含まれるビデオフレームよりも、互いにより視覚的に類似する他のビデオフレームを含むことができる。引き続き図１および図２を組み合わせて参照すると、アクション６８２における第１ビデオフレームサブセットおよび第２ビデオフレームサブセットの決定は、システム１００の処理ハードウェア１０４によって実行される、ＭＬモデルベースビデオエンコーダ１０８／２０８によって実行することができる。
フローチャート６８０は、第１圧縮ビデオフレームサブセットＳ１を制作するために、アクション６８２において決定された第１ビデオフレームサブセットを符号化すること（アクション６８３）を、更に含む。上述のように、アクション６８３における、第１圧縮ビデオフレームサブセットＳ１を生成するための第１ビデオフレームサブセットの符号化は、システム１００の処理ハードウェア１０４によって実行される、ＭＬモデルベースビデオエンコーダ１０８／２０８によって実行することができる。
フローチャート６８０は、第１圧縮ビデオフレームサブセットＳ１のための第１伸張データθＳ１を識別すること（アクション６８４）を、更に含む。いくつかの実装形態では、第１伸張データθＳ１を識別することは、アクション６８３における第１ビデオフレームサブセットの符号化の間に、第１伸張データθＳ１をオーバーフィットさせることを含む。すなわち、いくつかの実装形態では、アクション６８４における第１伸張データθＳ１の識別は、アクション６８２における、第１圧縮ビデオフレームサブセットＳ１を生成するための第１ビデオフレームサブセットの符号化と並行して、すなわち、実質的に同時に実行されてもよい。上述のように、アクション６８４における、第１圧縮ビデオフレームサブセットＳ１のための第１伸張データθＳ１の識別は、システム１００の処理ハードウェア１０４によって実行される、ＭＬモデルベースビデオエンコーダ１０８／２０８によって実行することができる。
フローチャート６８０は、第２圧縮ビデオフレームサブセットＳ２を制作するために、アクション６８２において決定された第２ビデオフレームサブセットを符号化すること（アクション６８５）を、更に含む。上述のように、アクション６８５における、第２圧縮ビデオフレームサブセットＳ２を生成するための第２ビデオフレームサブセットの符号化は、システム１００の処理ハードウェア１０４によって実行される、ＭＬモデルベースビデオエンコーダ１０８／２０８によって実行することができる。
フローチャート６８０は、第２圧縮ビデオフレームサブセットＳ２のための第２伸張データθＳ２を識別すること（アクション６８６）を、更に含む。いくつかの実装形態では、第２伸張データθＳ２を識別することは、アクション６８５における第２ビデオフレームサブセットの符号化の間に、第２伸張データθＳ２をオーバーフィットさせることを含む。すなわち、いくつかの実装形態では、アクション６８６における第２伸張データθＳ２の識別は、アクション６８５における、第２圧縮ビデオフレームサブセットＳ２を生成するための第２ビデオフレームサブセットの符号化と並行して、すなわち、実質的に同時に実行されてもよい。上述のように、アクション６８６における、第２圧縮ビデオフレームサブセットＳ２のための第２伸張データθＳ２の識別は、システム１００の処理ハードウェア１０４によって実行される、ＭＬモデルベースビデオエンコーダ１０８／２０８によって実行することができる。
第１および第２伸張データθＳ１、θＳ２に関して、それらのデータは、それらが伴う圧縮ビデオフレームサブセットのそれぞれに固有であることに留意されたい。したがって、第１伸張データθＳ１は、第１圧縮ビデオフレームサブセットＳ１の復号化に固有であるが、第２圧縮ビデオフレームサブセットＳ２の復号化には固有ではない。そして、第２伸張データθＳ２は、第２圧縮ビデオフレームサブセットＳ２の復号化に固有であるが、第１圧縮ビデオフレームサブセットＳ１の復号化には固有ではない。
フローチャート６８０は、アクション６８３および６８４に続くものとしてアクション６８５および６８６を描いている。しかしながら、その表現は単に例として提供されているに過ぎないことに更に留意されたい。いくつかの他の実装形態では、アクション６８３および６８５は、アクション６８４および６８６の前に並行して実行されてよく、いくつかの実装形態では、それらが並行して実行されてもよい。したがって、いくつかの実装形態では、アクション６８３および６８４は、アクション６８５および６８６と並行して実行されてもよい。
いくつかの実装形態において、フローチャート６８０によって概説される方法は、アクション６８６で終了することができる。しかしながら、他の実装形態では、その方法は、図７のフローチャート７９０によって説明される１つまたは複数のアクションによって拡張されてもよい。ここで図１および図２と組み合わせて図７を参照すると、フローチャート７９０は、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８に、第１圧縮ビデオフレームサブセットＳ１、第２圧縮ビデオフレームサブセットＳ２、第１伸張データθＳ１、および第２伸張データθＳ２を送信すること（アクション７９１）を含む。図２に示すように、第１圧縮ビデオフレームサブセットＳ１、第２圧縮ビデオフレームサブセットＳ２、第１伸張データθＳ１、および第２伸張データθＳ２は、システム１００の処理ハードウェア１０４によって実行される、ＭＬモデルベースビデオエンコーダ１０８／２０８によって、通信ネットワーク１１０およびネットワーク通信リンク１１２を介して、アクション７９１において、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８に送信することができる。
フローチャート７９０は、第１圧縮ビデオフレームサブセットＳ１、第２圧縮ビデオフレームサブセットＳ２、第１伸張データθＳ１、および第２伸張データθＳ２を受信すること（アクション７９２）を、更に含む。図２に示すように、第１圧縮ビデオフレームサブセットＳ１、第２圧縮ビデオフレームサブセットＳ２、第１伸張データθＳ１、および第２伸張データθＳ２は、アクション７９２において、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８によって受信することができる。いくつかの実装形態では、ＭＬモデルベースビデオデコーダは、ユーザシステムの処理ハードウェア１２４によって実行することができる。しかしながら、また図１を参照して上述したように、いくつかの実装形態では、ユーザシステム１２０は、システム１００のダム端末周辺構成要素であってもよい。それらの後者の実装形態では、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８は、システム１００の機能として含まれ、アクション７９２を実行するために、システム１００の処理ハードウェア１０４によって実行することができる。
フローチャート７９０は、第１伸張データθＳ１を使用して第１圧縮ビデオフレームサブセットＳ１を復号化すること（アクション７９３）を、更に含む。上述のように、アクション７９３における、第１伸張データθＳ１を使用して第１圧縮ビデオフレームサブセットＳ１を復号化することは、ユーザシステムの処理ハードウェア１２４によって、またはシステム１００の処理ハードウェア１０４によって実行されるＭＬモデルベースビデオデコーダ１３８／２３８／４３８によって実行することができる。
いくつかの実装形態では、上述のように、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８は、例えばマイクロＲＮなどのＮＮを含むことができる。ＭＬモデルベースビデオデコーダ１３８／２３８／４３８がマイクロＲＮを含む実装形態では、第１伸張データθＳ１は、第１圧縮ビデオフレームサブセットＳ１を復号化する際に使用する、そのマイクロＲＮの重みのみを含むことができる。さらに、いくつかの実装形態では、第１圧縮ビデオフレームサブセットＳ１をその全体で復号化するために、第１伸張データθＳ１を一度だけ受信することができる。
フローチャート７９０は、第２伸張データθＳ２を使用して第２圧縮ビデオフレームサブセットＳ２を復号化すること（アクション７９４）を、更に含む。上述のように、アクション７９４における、第２伸張データθＳ２を使用して第２圧縮ビデオフレームサブセットＳ２を復号化することは、ユーザシステムの処理ハードウェア１２４によって、またはシステム１００の処理ハードウェア１０４によって実行されるＭＬモデルベースビデオデコーダ１３８／２３８／４３８によって実行することができる。
ＭＬモデルベースビデオデコーダ１３８／２３８／４３８がマイクロＲＮを含む実装形態では、第２伸張データθＳ２は、第２圧縮ビデオフレームサブセットＳ２を復号化する際に使用する、そのマイクロＲＮの重みのみを含むことができる。さらに、いくつかの実装形態では、第２圧縮ビデオフレームサブセットＳ２をその全体で復号化するために、第２伸張データθＳ２を一度だけ受信することができる。
フローチャート７９０は、アクション７９３に続くものとしてアクション７９４を描いている。しかしながら、その表現は単に例として提供されているに過ぎないことに留意されたい。いくつかの実装形態では、アクション７９３における、第１伸張データθＳ１を使用する第１圧縮ビデオフレームサブセットＳ１の復号化、およびアクション７９４における、第２伸張データθＳ２を使用する第２圧縮ビデオフレームサブセットＳ２の復号化は、並行して、すなわち、実質的に同時に実行されてもよい。
ＭＬモデルベースビデオエンコーダ１０８／２０８とＭＬモデルベースビデオデコーダ１３８／２３８／４３８との組み合わせについて、以下に留意されたい。ＭＬモデルベースビデオエンコーダ１０８／２０８は、ＨｉＦｉＣエンコーダとして実装することができる。一方、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８は、例えば１０倍少ないパラメータのような、ＨｉＦｉＣデコーダ、すなわち第１伸張データθＳ１および第２伸張データθＳ２を使用しない大きなデコーダよりも少ないパラメータを有するように構成される。さらに、ＭＬモデルベースビデオデコーダ１３８／２３８／４３８は、ＨｉＦｉＣデコーダ、すなわち第１伸張データθＳ１および第２伸張データθＳ２を使用しない大きなデコーダよりも、例えば５０パーセント（５０％）速い復号時間などである、より速い復号時間を達成するように構成することができる。
図６および図７に記載されたアクションに関して、多様な実装形態において、フローチャート６８０のアクション６８１、６８２、６８３、６８４、６８５、および６８６（以下「アクション６８１～６８６」）、またはアクション６８１～６８６およびフローチャート７９０のアクション７９１、またはアクション６８１～６８６、７９１、７９２、７９３、および７９４は、人間の参加を省略できる自動化された処理として、実行できることに留意されたい。
したがって、本出願は、知識蒸留（ＫＤ）およびマイクロドージングに基づくＭＬモデルベースのビデオ圧縮ソリューションを含むフレームワークを開示し、低ビットレートのビデオ圧縮をターゲットとする場合に特に重要なトレーニング済ＧＡＮと同様のハルシネーション能力を有するビデオ圧縮コーデックの使用を可能にするものである。さらに、本出願は、デコーダのサイズを縮小しながら、良好な知覚画像品質を保持することを可能にするアプローチを開示する。本発明の新規かつ発明的な原理によれば、ＫＤの目標は、教師役ネットワークの学習された知識を、教師役ネットワークの性能に対して競争力を維持する、より小さな生徒役ネットワークに転送することである。必要とするのが、最初の教師役ネットワークよりも少ないメモリと計算能力であることによって、生徒役ネットワークを、有利にも、携帯電話または専用デバイスなどのパワーの劣るデバイス上で動かすことができる。上記に開示したように、自動エンコーダ設定において、生成器ネットワークまたはデコーダを圧縮する能力は、メモリ要件と計算効率の両方において有利である。
以上の説明から、本出願に記載の概念を実施するために、それらの概念の範囲から逸脱することなく、様々な技術を使用可能であることが明らかである。さらに、特定の実装形態を具体的に参照して概念を説明してきたが、当業者は、それらの概念の範囲から逸脱することなく、形態および詳細に変更を行うことができることを認識するであろう。それ故、説明されている実装形態は、あらゆる点で例示的であり、制限的ではないとみなされる。また、本出願は、本明細書に記載の特定の実装形態に限定されず、本開示の範囲から逸脱することなく多くの再構成、修正、および置換が可能であることも理解されたい。

Claims (16)

  1. システム（１００）であって、
    機械学習（ＭＬ）モデルベースビデオエンコーダ（１０８，２０８）、および、
    劣化認識ブロックに基づくマイクロ残差ネットワーク（マイクロＲＮ）（４６０）を備えた機械学習（ＭＬ）モデルベースビデオデコーダ（１３８，２３８，４３８）であって、前記マイクロ残差ネットワークは、前記マイクロ残差ネットワークの隠れチャンネルの数および劣化認識ブロックの数によって定義される、前記機械学習（ＭＬ）モデルベースビデオデコーダを備え、
    前記ＭＬモデルベースビデオエンコーダは、
    複数のビデオフレームを含む非圧縮ビデオシーケンス（１１６，２１６）を受信し、
    前記複数のビデオフレームのうちから、第１ビデオフレームサブセットおよび第２ビデオフレームサブセットを決定し、
    第１圧縮ビデオフレームサブセットを制作するために、前記第１ビデオフレームサブセットを符号化し、
    前記第１圧縮ビデオフレームサブセットのための第１伸張データを識別し、
    第２圧縮ビデオフレームサブセットを制作するために、前記第２ビデオフレームサブセットを符号化し、および、
    前記第２圧縮ビデオフレームサブセットのための第２伸張データを識別するように構成される、システム。
  2. 請求項１に記載のシステムであって、前記第１伸張データを識別することは、前記第１ビデオフレームサブセットを符号化する間に、前記第１伸張データをオーバーフィットさせることを含み、前記第２ビデオフレームサブセットを符号化する間に、前記第２伸張データをオーバーフィットさせることを含む、システム。
  3. 請求項１に記載のシステムであって、
    前記ＭＬモデルベースビデオエンコーダは、
    前記ＭＬモデルベースビデオデコーダに、前記第１圧縮ビデオフレームサブセット、前記第２圧縮ビデオフレームサブセット、前記第１伸張データ、および前記第２伸張データを送信するように更に構成され、
    前記ＭＬモデルベースビデオデコーダは、
    前記第１圧縮ビデオフレームサブセット、前記第２圧縮ビデオフレームサブセット、前記第１伸張データ、および前記第２伸張データを受信し、
    前記第１伸張データを使用して、前記第１圧縮ビデオフレームサブセットを復号化し、
    および、
    前記第２伸張データを使用して、前記第２圧縮ビデオフレームサブセットを復号化するように構成される、システム。
  4. 請求項３に記載のシステムであって、前記第１伸張データは、前記第１圧縮ビデオフレームサブセットの復号化に固有であるが、前記第２圧縮ビデオフレームサブセットの復号化には固有ではなく、また、前記第２伸張データは、前記第２圧縮ビデオフレームサブセットの復号化に固有であるが、前記第１圧縮ビデオフレームサブセットの復号化には固有ではない、システム。
  5. 請求項３に記載のシステムであって、前記第１伸張データおよび前記第２伸張データは前記マイクロＲＮ４６０の重みのみを含む、システム。
  6. 請求項３に記載のシステムであって、前記ＭＬモデルベースビデオエンコーダは高忠実度圧縮（ＨｉＦｉＣ）エンコーダを備え、前記ＭＬモデルベースビデオデコーダは、前記第１伸張データおよび前記第２伸張データを使用しないＨｉＦｉＣデコーダよりも少ないパラメータを含む、システム。
  7. 請求項３に記載のシステムであって、前記ＭＬモデルベースビデオエンコーダはＨｉＦｉＣエンコーダを備え、前記ＭＬモデルベースビデオデコーダは、前記第１伸張データおよび前記第２伸張データを使用しないＨｉＦｉＣデコーダよりも早い復号時間を達成するように構成される、システム。
  8. 請求項３に記載のシステムであって、前記第１圧縮ビデオフレームサブセットを復号化するために、前記第１伸張データが一度だけ受信され、前記第２圧縮ビデオフレームサブセットを復号化するために、前記第２伸張データが一度だけ受信される、システム。
  9. 機械学習（ＭＬ）モデルベースビデオエンコーダ、および、劣化認識ブロックに基づくマイクロ残差ネットワーク（マイクロＲＮ）（４６０）を備えた機械学習（ＭＬ）モデルベースビデオデコーダ（１３８，２３８，４３８）であって、前記マイクロ残差ネットワークは、前記マイクロ残差ネットワークの隠れチャンネルの数および劣化認識ブロックの数によって定義される、前記機械学習（ＭＬ）モデルベースビデオデコーダを含むシステムによって使用する方法であって、前記方法は、
    複数のビデオフレームを含む非圧縮ビデオシーケンスを、前記ＭＬモデルベースビデオエンコーダによって受信するステップと、
    前記複数のビデオフレームのうちから、第１ビデオフレームサブセットおよび第２ビデオフレームサブセットを、前記ＭＬモデルベースビデオエンコーダによって決定するステップと、
    第１圧縮ビデオフレームサブセットを制作するために、前記第１ビデオフレームサブセットを、前記ＭＬモデルベースビデオエンコーダによって符号化するステップと、
    前記第１圧縮ビデオフレームサブセットのための第１伸張データを、前記ＭＬモデルベースビデオエンコーダによって識別するステップと、
    第２圧縮ビデオフレームサブセットを制作するために、前記第２ビデオフレームサブセットを、前記ＭＬモデルベースビデオエンコーダによって符号化するステップと、
    前記第２圧縮ビデオフレームサブセットのための第２伸張データを、前記ＭＬモデルベースビデオエンコーダによって識別するステップと、を含む、方法。
  10. 請求項９に記載の方法であって、前記第１伸張データを識別するステップは、前記第１ビデオフレームサブセットを前記符号化するステップの間に、前記第１伸張データをオーバーフィットさせるステップを含み、前記第２伸張データを識別するステップは、前記第２ビデオフレームサブセットを前記符号化するステップの間に、前記第２伸張データをオーバーフィットさせるステップを含む、方法。
  11. 請求項９に記載の方法であって、前記方法は、
    前記ＭＬモデルベースビデオデコーダに、第１圧縮ビデオフレームサブセット、第２圧縮ビデオフレームサブセット、第１伸張データ、および第２伸張データを、前記ＭＬモデルベースビデオエンコーダによって送信するステップと、
    第１圧縮ビデオフレームサブセット、第２圧縮ビデオフレームサブセット、第１伸張データ、および第２伸張データを、前記ＭＬモデルベースビデオデコーダによって受信するステップと、
    前記第１伸張データを使用して、前記第１圧縮ビデオフレームサブセットを、前記ＭＬモデルベースビデオデコーダによって復号化するステップと、
    前記第２伸張データを使用して、前記第２圧縮ビデオフレームサブセットを、前記ＭＬモデルベースビデオデコーダによって復号化するステップと、を更に含む、方法。
  12. 請求項１１に記載の方法であって、前記第１伸張データは、前記第１圧縮ビデオフレームサブセットの復号化に固有であるが、前記第２圧縮ビデオフレームサブセットの復号化には固有ではなく、また、前記第２伸張データは、前記第２圧縮ビデオフレームサブセットの復号化に固有であるが、前記第１圧縮ビデオフレームサブセットの復号化には固有でない、方法。
  13. 請求項１１に記載の方法であって、前記第１伸張データおよび前記第２伸張データは前記マイクロＲＮ４６０の重みのみを含む、方法。
  14. 請求項１１に記載の方法であって、前記ＭＬモデルベースビデオエンコーダは高忠実度圧縮（ＨｉＦｉＣ）エンコーダを備え、前記ＭＬモデルベースビデオデコーダは、前記第１伸張データおよび前記第２伸張データを使用しないＨｉＦｉＣデコーダよりも少ないパラメータを含む、方法。
  15. 請求項１１に記載の方法であって、前記ＭＬモデルベースビデオエンコーダはＨｉＦｉＣエンコーダを備え、前記ＭＬモデルベースビデオデコーダは、前記第１伸張データおよび前記第２伸張データを使用しないＨｉＦｉＣデコーダよりも早い復号時間を達成するように構成する、方法。
  16. 請求項１１に記載の方法であって、前記第１圧縮ビデオフレームサブセットを復号化するために、前記第１伸張データを一度だけ受信し、前記第２圧縮ビデオフレームサブセットを復号化するために、前記第２伸張データを一度だけ受信する、方法。
JP2022062154A 2021-04-08 2022-04-01 低ビットレートのビデオ圧縮のためのマイクロドージング Active JP7403573B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US202163172315P 2021-04-08 2021-04-08
US63/172,315 2021-04-08
US202163255280P 2021-10-13 2021-10-13
US63/255,280 2021-10-13
US17/704,722 US12010335B2 (en) 2021-04-08 2022-03-25 Microdosing for low bitrate video compression
US17/704,722 2022-03-25

Publications (2)

Publication Number Publication Date
JP2022161862A JP2022161862A (ja) 2022-10-21
JP7403573B2 true JP7403573B2 (ja) 2023-12-22

Family

ID=80999742

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022062154A Active JP7403573B2 (ja) 2021-04-08 2022-04-01 低ビットレートのビデオ圧縮のためのマイクロドージング

Country Status (6)

Country Link
US (2) US12010335B2 (ja)
EP (1) EP4072138B1 (ja)
JP (1) JP7403573B2 (ja)
KR (1) KR102613527B1 (ja)
CN (2) CN120751154A (ja)
BR (1) BR102022006511A2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117425013B (zh) * 2023-12-19 2024-04-02 杭州靖安防务科技有限公司 一种基于可逆架构的视频传输方法和系统
CN119363999B (zh) * 2024-08-07 2025-11-18 中国科学院大学 自适应地基于隐表示网络的视频压缩方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210099731A1 (en) 2019-09-27 2021-04-01 Apple Inc. Neural network based image set compression

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7356079B2 (en) * 2001-11-21 2008-04-08 Vixs Systems Inc. Method and system for rate control during video transcoding
US10924755B2 (en) * 2017-10-19 2021-02-16 Arizona Board Of Regents On Behalf Of Arizona State University Real time end-to-end learning system for a high frame rate video compressive sensing network
US11470356B2 (en) * 2018-04-17 2022-10-11 Mediatek Inc. Method and apparatus of neural network for video coding
US20200021815A1 (en) * 2018-07-10 2020-01-16 Fastvdo Llc Method and apparatus for applying deep learning techniques in video coding, restoration and video quality analysis (vqa)
RU2698414C1 (ru) * 2018-09-21 2019-08-26 Владимир Александрович Свириденко Способ и устройство сжатия видеоинформации для передачи по каналам связи с меняющейся пропускной способностью и запоминания в системах хранения данных с использованием машинного обучения и нейросетей
CN109451308B (zh) 2018-11-29 2021-03-09 北京市商汤科技开发有限公司 视频压缩处理方法及装置、电子设备及存储介质
US20200242507A1 (en) * 2019-01-25 2020-07-30 International Business Machines Corporation Learning data-augmentation from unlabeled media
JP7161107B2 (ja) 2019-02-19 2022-10-26 日本電信電話株式会社 生成装置及びコンピュータプログラム
US11388416B2 (en) 2019-03-21 2022-07-12 Qualcomm Incorporated Video compression using deep generative models
US11176422B2 (en) 2019-08-08 2021-11-16 Robert Bosch Gmbh Apparatus and system for unsupervised disentangled representation learning with a residual variational autoencoder
US11012718B2 (en) 2019-08-30 2021-05-18 Disney Enterprises, Inc. Systems and methods for generating a latent space residual
CN111405283B (zh) * 2020-02-20 2022-09-02 北京大学 基于深度学习的端到端视频压缩方法、系统及存储介质
CN111901596B (zh) * 2020-06-29 2021-10-22 北京大学 基于深度学习的视频混合编码与解码方法及装置、介质
CN112135200B (zh) * 2020-08-13 2022-07-08 南京众智未来人工智能研究院有限公司 一种针对压缩视频的视频描述生成方法
US11477464B2 (en) * 2020-09-16 2022-10-18 Qualcomm Incorporated End-to-end neural network based video coding
US11924445B2 (en) * 2020-09-25 2024-03-05 Qualcomm Incorporated Instance-adaptive image and video compression using machine learning systems
US12120359B2 (en) * 2021-04-08 2024-10-15 Disney Enterprises, Inc. Machine learning model-based video compression

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210099731A1 (en) 2019-09-27 2021-04-01 Apple Inc. Neural network based image set compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Ties van Rozendaal, et al.，Overfitting for Fun and Profit: Instance-Adaptive Data Compression，arxiv.org，Cornell University，2021年01月21日，2101.08687v1，pp.1-6，https://arxiv.org/pdf/2101.08687v1

Also Published As

Publication number Publication date
US12010335B2 (en) 2024-06-11
CN115209155A (zh) 2022-10-18
KR102613527B1 (ko) 2023-12-14
US20240283957A1 (en) 2024-08-22
KR20220139801A (ko) 2022-10-17
EP4072138A1 (en) 2022-10-12
US20220337852A1 (en) 2022-10-20
JP2022161862A (ja) 2022-10-21
CN115209155B (zh) 2025-07-25
US12382069B2 (en) 2025-08-05
BR102022006511A2 (pt) 2022-10-18
EP4072138B1 (en) 2025-03-05
CN120751154A (zh) 2025-10-03

Similar Documents

Publication Publication Date Title
JP7451591B2 (ja) 機械学習モデルベースのビデオ圧縮
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
JP7419478B2 (ja) コーデックレート歪み補償ダウンサンプラ
US10623775B1 (en) End-to-end video and image compression
TW202247650A (zh) 使用機器學習系統進行隱式圖像和視訊壓縮
JP7688165B2 (ja) 特徴データ符号化および復号方法および装置
WO2019001108A1 (zh) 视频处理的方法和装置
US12382069B2 (en) Microdosing for low bitrate video compression
TW202326594A (zh) 使用可變輔助輸入的基於變換器的神經網路
CN114222124B (zh) 一种编解码方法及设备
KR20240064698A (ko) 특징 맵 인코딩 및 디코딩 방법 및 장치
CN119110090A (zh) 图像压缩模型的训练方法、图像压缩方法及装置
WO2023206420A1 (zh) 视频编解码方法、装置、设备、系统及存储介质
US12621502B2 (en) Machine learning model-based video compression
US20250317605A1 (en) Progressive generative face video compression with bandwidth intelligence
TW202533571A (zh) 用於圖像增強濾波器選擇的優化信令的方法和裝置
WO2025196024A1 (en) Method and data processing system for lossy image or video encoding, transmission and decoding
JP2025532413A (ja) 可変のチャネル数を有するニューラルネットワーク及びその動作方法
WO2025168485A1 (en) Method and data processing system for lossy image or video encoding, transmission and decoding
Cheng Artistic and semantic progressive image coding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231212

R150 Certificate of patent or registration of utility model

Ref document number: 7403573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150