JP7210568B2 - ブロック単位の画像符号化のためのイントラ予測モード概念 - Google Patents

ブロック単位の画像符号化のためのイントラ予測モード概念 Download PDF

Info

Publication number
JP7210568B2
JP7210568B2 JP2020520774A JP2020520774A JP7210568B2 JP 7210568 B2 JP7210568 B2 JP 7210568B2 JP 2020520774 A JP2020520774 A JP 2020520774A JP 2020520774 A JP2020520774 A JP 2020520774A JP 7210568 B2 JP7210568 B2 JP 7210568B2
Authority
JP
Japan
Prior art keywords
intra
prediction
prediction modes
current block
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020520774A
Other languages
English (en)
Other versions
JP2020537445A (ja
Inventor
プファフ・ヨナサン
ヘレ・フィリップ
マニリー・ドミニク
ヴィーガンド・トーマス
ザメック・ヴォイチェヒ
カルテンスタドラー・ステファン
シュバルツ・ヘイコ
マルペ・デトレフ
シークマン・ミシャ
ヴィンケン・マーティン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Original Assignee
Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV filed Critical Fraunhofer Gesellschaft zur Foerderung der Angewandten Forschung eV
Publication of JP2020537445A publication Critical patent/JP2020537445A/ja
Application granted granted Critical
Publication of JP7210568B2 publication Critical patent/JP7210568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本出願は、ＨＥＶＣまたはＨＥＶＣの任意の後継などのビデオコーデックで使用可能なものなどのブロック単位の画像符号化のための改善されたイントラ予測モード概念に関する。
イントラ予測モードは、画像およびビデオ符号化で広く使用されている。ビデオ符号化では、イントラ予測モードは動き補償予測モードなどのインター予測モードなどその他の予測モードと競合する。イントラ予測モードでは、現在のブロックは、隣接サンプル、すなわちエンコーダ側に関する限り既にエンコードされ、デコーダ側に関する限り既にデコードされているサンプルに基づいて、予測される。率直に言えば、隣接サンプル値は、現在のブロックのデータストリームで予測残差を送信して現在のブロックの予測信号を形成するように、現在のブロックに外挿される。予測信号が良好であるほど予測残差が低くなり、したがって予測残差を符号化するために必要なビット数が少なくなる。
効果的であるためには、ブロック単位の画像符号化環境でのイントラ予測に効果的なフレームワークを形成するために、いくつかの態様を考慮すべきである。たとえば、コーデックによってサポートされるイントラ予測モードの数が大きいほど、デコーダに選択を通知するためのサイド情報レート消費が大きくなる。一方、サポートされるイントラ予測モードの集合は、良好な予測信号、すなわち低予測残差となる予測信号を提供できるべきである。
本出願は、改善されたイントラ予測モード概念を使用する場合にブロック単位の画像コーデックのより効率的な圧縮を可能にするイントラ予測モード概念を提供しようとするものである。
この目的は、本出願の独立請求項の主題によって達成される。
本出願の第１の態様によれば、改善された圧縮効率は、現在のブロックの隣接サンプルの集合をニューラルネットワークに適用することによって画像の現在のブロックのイントラ予測信号が決定されるイントラ予測モードの集合をブロック単位の画像コーデックにサポートさせることによって、実現される。この集合は、完全にサポートされた複数のイントラ予測モード、または単にその適切な小集合を形成し得る。サポートされた複数のイントラ予測モードのうち、１つは現在のブロック向けに選択され、現在のブロックは１つのイントラ予測モード、すなわち選択されたものを使用して予測される。データストリームには、選択されたイントラ予測モードを示す、現在のブロックのインデックスが提供され得る。ブロック単位の画像コーデックに、その間で現在のブロックの選択が実行される２つ以上のニューラルネットワークベースイントラ予測モードを提供することで、より高い尤度で特定のブロックのために予測誤差の低い予測信号を見つけるように、これらのニューラルネットワークベースイントラ予測モードを設計できるようにする。加えて、ニューラルネットワークイントラ予測モード設計は、イントラ予測モード選択のサイド情報が費やされた場合に、このサイド情報オーバヘッドが低く維持され得るような方法で実行され得る。これは、イントラ予測モード設計が、イントラ予測画像ブロック間で選択頻度が相互に異なるようにニューラルネットワークベースイントラ予測モードを自由に生成できる、という事実によって実現可能となる。言い換えると、複数のニューラルネットワークベースイントラ予測モードを費やすことにより、これらのモードの設計は、これらの統計的な選択頻度がエントロピー符号化を招くように選択信号伝達に適合するようなやり方で、ヒューリスティックに設計されたイントラ予測モード集合からの選択と比較してより低いサイド情報オーバヘッドを感知できるようになる。たとえば、選択されたイントラ予測モードを指すインデックスは、可変長コードを使用して、またはエントロピー符号化を使用して符号化されてもよく、ニューラルネットワークベースイントラ予測モードは、イントラ予測モード間のモード選択のための平均信号伝達オーバヘッドが減少または最小化されるように、それらの選択頻度または頻度分布が可変長コードに適合するような、またはそれらの頻度分布がエントロピーコードの基礎となるサンプル統計に適合するような方法で、設計されてもよい。
本出願の第２の態様は、ニューラルネットワークベースイントラ予測モードを費やすのに加えて、またはこれに代えて、イントラ予測モードの集合を含むかまたはこれと一致する複数のイントラ予測モードから１つのイントラ予測モードを選択するために使用されるランクまたは確率値を隣接サンプルの集合に適用することによってイントラ予測モードの集合の各々のランクまたは確率値を決定するための専用のニューラルネットワークの使用により、モード選択がより効率的になり得ることである。イントラ予測モードから選択するためのサイド情報オーバヘッドは、完全に除外されるか、またはニューラルネットワークを使用することによってより効率的になり得る。
上述のニューラルネットワークの設計に関する限り、本出願は、そのパラメータを適切に決定するための多くの実施形態を提供する。
本出願の有利な実装は、従属請求項の主題である。本出願の好適な実施形態は、以下の図面を参照して後述される。
本出願の実施形態が実装され得る一般的な例として、画像をデータストリームにエンコードするためのエンコーダを示す概略ブロック図である。 図１によるエンコーダのより具体的な例のブロック図である。 図１のエンコーダに適合し、本出願の実施形態が実装され得るデコーダの一例として役立つデコーダを示す概略ブロック図である。 図２のエンコーダに適合する、図３のデコーダのより具体的な例のブロック図である。 イントラ予測を使用してブロックを処理することに関する本出願の実施形態によるエンコーダおよびデコーダにおける動作モードを示す概略図である。 いくつかのニューラルネットワークベースイントラ予測モードを備える本出願の実施形態によるデコーダを示す概略ブロック図である。 使用されるイントラ予測モードがニューラルネットワークベースイントラ予測モードの集合の要素であるか否かを示すフレックと共に、データストリーム内でインデックスをニューラルネットワークベースイントラ予測モードの順序リスト内に送信しながら、ニューラルネットワークベースイントラ予測モードおよびこれらのモードのニューラルネットワークベースの順序付けをサポートする実施形態による、エンコーダおよびデコーダの動作モードを示す概略図である。言うまでもなく、異なる頻度が決定９０によって決定されることを利用するように、インデックスは可変長符号化を使用して符号化され得る。 フレック信号伝達が使用されない点で図７ａとは異なる概略図である。 モード順序付けがニューラルネットワークを使用して制御されない点で図７ｂとは異なる概略図である。 モード信号伝達におけるニューラルネットワーク支援がモード順序付けではなくエントロピーエンコード／デコードにおける確率分布推定の制御に使用される点で、図７ａとは異なる概略図である。 一実施形態によるニューラルネットワークベースイントラ予測モードの集合を設計するための装置を示す図である。 ニューラルネットワークベースであるか否かにかかわらずサポートされたイントラ予測モードを順序付けるためにニューラルネットワークが使用される実施形態による、エンコーダおよびデコーダの動作モードを示す概略図である。 サポートされたイントラ予測モードの集合へのインデックスのエントロピーデコード／エンコードの確率分布推定を制御するためにニューラルネットワークベースが使用される点で、図９ａとは異なる概略図である。 一実施形態によるブロック単位の画像符号化のためにイントラ予測モードの集合の中から支援および選択するためのニューラルネットワークを設計するための装置を示す図である。
以下、イントラ予測を使用するときのより効果的な圧縮の実現を支援する様々な実施形態が記載される。いくつかの実施形態は、ニューラルネットワークベースのイントラ予測モードの集合を費やすことによって圧縮効率の増加を実現する。後者のものは、たとえばヒューリスティックに設計された別のイントラ予測モードに追加されてもよく、または排他的に提供されてもよい。別の実施形態は、複数のイントラ予測モード間の選択を実行するために、ニューラルネットワークを使用する。そしてさらに別の実施形態は、今議論されたばかりの特徴の両方を利用する。
本出願の以下の実施形態の理解を容易にするために、後に概説される本出願の実施形態が組み込まれる、可能なエンコーダおよびこれに適合するデコーダの提示から、説明を始める。図１は、画像１０をデータストリーム１２にブロック単位でエンコードするための装置を示す。装置は、参照符号１４を使用して示されており、静止画像エンコーダまたはビデオエンコーダであり得る。言い換えると、画像１０は、エンコーダ１４が、画像１０を含むビデオ１６をデータストリーム１２にエンコードするように構成されているときにビデオ１６からの現在の画像であってもよく、またはエンコーダ１４が画像１０をデータストリーム１２に排他的にエンコードしてもよい。
前述のように、エンコーダ１４は、ブロック単位で、またはブロックベースで、エンコードを実行する。これに対して、エンコーダ１４は画像１０をブロックに細分し、この単位でエンコーダ１４は画像１０をデータストリーム１２にエンコードする。画像１０のブロック１８への可能な細分化の例は、以下により詳細に明記される。一般に、細分化は、一定サイズのブロック１８となる可能性があり、これは行および列に配置されたブロックのアレイを示唆しており、または画像１０の画像領域全体または画像１０の予備分割からツリーブロックのアレイへのマルチツリー細分化を開始する階層的マルチツリー細分化の使用などによって異なるブロックサイズのブロック１８となる可能性もあるが、これらの例は、画像１０をブロック１８に細分化する他の可能な方法を除外するように扱われるものではない。
さらに、エンコーダ１４は、画像１０を予測的にデータストリーム１２にエンコードするように構成された予測エンコーダである。特定のブロック１８では、これは、エンコーダ１４がブロック１８の予測信号を決定して、予測残差、すなわち予測信号がブロック１８内の実際の画像コンテンツから逸脱する予測残差を、データストリーム１２にエンコードすることを意味する。
エンコーダ１４は、特定のブロック１８の予測信号を導出するように異なる予測モードをサポートし得る。以下の実施形態において重要となる予測モードは、ブロック１８の内部が画像１０の隣接する既にエンコードされたサンプルから空間的に予測される、イントラ予測モードである。画像１０のデータストリーム１２へのエンコード、および相応に対応するデコード手順は、ブロック１８の間で定義された特定の符号化順序２０に基づくことができる。たとえば、符号化順序２０は、たとえば左から右へ各行を横断して上から下まで行単位などのラスタ走査順序でブロック１８を横断してもよい。階層的マルチツリーベースの細分化の場合、ラスタ走査順序は各階層レベル内で適用されてもよく、ここで深さ優先横断順序が適用されてもよく、すなわち特定の階層レベルのブロック内のリーフノートが、符号化順序２０にしたがって同じ親ブロックを有する同じ階層レベルのブロックに先行してもよい。符号化順序２０に応じて、ブロック１８の隣接する既にエンコードされたサンプルは、通常、ブロック１８の１つ以上の側に配置され得る。本明細書に提示される例の場合、たとえば、ブロック１８の隣接する既にエンコードされたサンプルは、ブロック１８の上に、および左に配置されている。
イントラ予測モードは、エンコーダ１４によってサポートされる唯一のものでなくてもよい。たとえば、エンコーダ１４がビデオエンコーダである場合、エンコーダ１４はまた、ビデオ１６の以前にエンコードされた画像からブロック１８が一時的に予測されるイントラ予測モードもサポートし得る。このようなイントラ予測モードは動き補償予測モードであってもよく、これにしたがって、ブロック１８の予測信号が複製として導出される部分の相対空間オフセットを示すこのようなブロック１８について、動きベクトルが通知される。加えて、または代わりに、エンコーダ１４がマルチビューエンコーダである場合のインタービュー予測モード、またはブロック１８の内部がそのまま、すなわちいかなる予測もなしに符号化される非予測モードなど、その他の非イントラ予測モードもまた利用可能であり得る。
本出願の説明の焦点をイントラ予測モードに合わせることから始める前に、図２に関連して記載されるように、可能なブロックベースのエンコーダ、すなわちエンコーダ１４の可能な実装の、より具体的な実施形態であり、次いでそれぞれ図１および図２に適合するデコーダの２つの対応する実施形態を提示する。
図２は、図１のエンコーダ１４の可能な実装、すなわち、これはほぼ一例であって本出願はこの種の予測残差符号化に限定されないものの、エンコーダが予測残差をエンコードするための変換符号化を使用するように構成されているものを示す。図２によれば、エンコーダ１４は、その後予測残差エンコーダ２８によってデータストリーム１２にエンコードされる予測残差信号２６を取得するように、インバウンド信号、すなわち画像１０、またはブロックベースで現在のブロック１８から対応する予測信号２４を減算するように構成された、減算器２２を備える。予測残差エンコーダ２８は、非可逆符号化段２８ａおよび可逆符号化段２８ｂから構成される。非可逆段２８ａは、予測残差信号２６を受信し、予測残差信号２６のサンプルを量子化する量子化器３０を備える。既に上記で述べられたように、本例は、予測残差信号２６の変換符号化を使用し、したがって、非可逆符号化段２８ａは、残差信号２６を表す変換された係数で行われる量子化器３０の量子化でこのようなスペクトル分解予測残差２６を変換するように、減算器２２と量子化器３０との間に接続された変換段３２を備える。変換は、ＤＣＴ、ＤＳＴ、ＦＦＴ、アダマール変換などであり得る。次に、変換および量子化された予測残差信号３４は、量子化された予測残差信号３４をデータストリーム１２にエントロピー符号化するエントロピーコーダである可逆符号化段２８ｂによって、可逆符号化を受ける。エンコーダ１４は、変換および量子化された予測残差信号３４から予測残差信号をデコーダでも利用可能な方法で再構成するように、量子化器３０の出力に接続された予測残差信号再構成段３６をさらに備え、すなわち符号化損失は量子化器３０であることを考慮している。この目的のため、予測残差再構成段３６は、量子化器３０の量子化の逆を実行する逆量子化器３８を備え、上述の特定の変換例のいずれかの逆などのスペクトル分解の逆など、変換器３２によって実行される変換に対する逆変換を実行する逆変換器４０がこれに続く。エンコーダ１４は、再構成された信号すなわち再構成例を出力するように、逆変換器４０による出力として再構成された予測残差信号および予測信号２４を加算する加算器４２を備える。この出力は、後にこれに基づいて予測信号２４を決定するエンコーダ１４の予測器４４に供給される。図１に関して既に上記で論じられた全ての予測モードをサポートするのは、予測器４４である。図２はまた、エンコーダ１４がビデオエンコーダである場合に、エンコーダ１４はまた、フィルタリングされた後にインター予測ブロックに対して予測器４４の基準画像を形成する完全に再構成された画像をフィルタリングするインループフィルタ４６も備え得ることを示している。
既に上述したように、エンコーダ１４はブロックベースで動作する。後続の説明では、対象のブロックベースは、画像１０をブロックに細分するものであり、このために、イントラ予測モードは、それぞれ予測器４４またはエンコーダ１４によってサポートされた集合または複数のイントラ予測モードから選択され、選択されたイントラ予測モードが個別に実行される。しかしながら、画像１０が細分される他の種類のブロックもまた存在し得る。たとえば、画像１０がインター符号化されるかイントラ符号化されるかという上述の決定は、ブロック１８から逸脱する粒度またはブロックの単位で行われてもよい。たとえば、インター／イントラモード決定は、画像１０が細分される符号化ブロックのレベルで実行されてもよく、各符号化ブロックは予測ブロックに細分される。イントラ予測が使用されると決定されたエンコードブロックを有する予測ブロックは、イントラ予測モード決定に各々細分される。これに対して、これらの予測ブロックの各々について、どのサポートされたイントラ予測モードがそれぞれの予測ブロックに使用されるべきかが決定される。これらの予測ブロックは、ここで対象となるブロック１８を形成する。インター予測に関連付けられた符号化ブロック内の予測ブロックは、予測器４４によって異なる扱い方をされる。これらは、動きベクトルを決定し、動きベクトルが指す基準画像内の場所からこのブロックの予測信号を複製することによって、基準画像からインター予測される。別のブロック細分化は、変換器３２および逆変換器４０による変換が実行される単位での変換ブロックへの細分化に関する。変換されたブロックは、たとえば、符号化ブロックをさらに細分化した結果であり得る。当然ながら、本明細書に明記される例は限定的なものとして扱われるべきではなく、他の例もまた存在する。完全性のためにのみ、符号化ブロックへの細分化は、たとえばマルチツリー細分化を使用してもよく、予測ブロックおよび／または変換ブロックは、やはりマルチツリー細分化を使用して符号化ブロックをさらに細分化することによって得られることに、留意する。
図１のエンコーダ１４に適合するブロック単位デコードのためのデコーダまたは装置が、図３に示されている。このデコーダ５４はエンコーダ１４の逆を行い、すなわちこれはデータストリーム１２からブロック単位で画像１０をデコードし、この目的のために、複数のイントラ予測モードをサポートする。図１に関して上記で論じられたその他全ての可能性は、デコーダ５４に対しても有効である。これに対して、デコーダ５４は、静止画像デコーダまたはビデオデコーダであってもよく、全ての予測モードおよび予測可能性もまた、デコーダ５４によってサポートされる。エンコーダ１４とデコーダ５４との違いは主に、たとえば、符号化レートおよび／または符号化歪みに依存し得る何らかのコスト関数を最小化するために、何らかの最適化の示唆にしたがってエンコーダ１４が符号化決定を選ぶまたは選択するという事実にある。これらの符号化オプションまたは符号化パラメータの１つは、利用可能またはサポートされたイントラ予測モードの中で現在のブロック１８に使用すべきイントラ予測モードの選択を含み得る。次に、選択されたイントラ予測モードは、データストリーム１２内の現在のブロック１８についてエンコーダ１４によって通知されてもよく、デコーダ５４はブロック１８についてデータストリーム１２内のこの信号伝達を使用して選択をやり直す。同様に、ブロック１８への画像１０の細分化は、エンコーダ１４内で最適化を受けてもよく、対応する細分化情報はデータストリーム１２内で搬送され、デコーダ５４は細分化情報に基づいてブロック１８への画像１０の細分化を回復してもよい。上記を要約すると、デコーダ５４はブロックベースで動作する予測デコーダであってもよく、イントラ予測モードに加えて、デコーダ５４は、たとえばデコーダ５４がビデオデコーダである場合、インター予測モードなどの別の予測モードをサポートしてもよい。デコードにおいて、デコーダ５４はまた、図１に関して上記で論じられた符号化順序２０を使用してもよく、この符号化順序２０はエンコーダ１４およびデコーダ５４の両方で従われるので、エンコーダ１４およびデコーダ５４の両方で同じ隣接サンプルが現在のブロック１８に利用可能である。したがって、不要な繰り返しを回避するために、画像１０のブロックへの細分化に関する限り、たとえば予測に関する限り、および予測残差の符号化に関する限り、エンコーダ１４の動作モードの説明がデコーダ５４にも適用される。違いは、エンコーダ１４が最適化によっていくつかの符号化オプションまたは符号化パラメータを選択して、データストリーム１２内で、またはデータストリーム１２内に、符号化パラメータを通知または挿入し、これはその後、予測、細分化などをやり直すように、デコーダ５４によってデータストリーム１２から導出される、という事実にある。
図４は、図３のデコーダ５４の可能な実装、すなわち図２に示されるような図１のエンコーダ１４の実装に適合するものを示す。図４のエンコーダ５４の多くの要素は図２の対応するエンコーダで生じるものと同じなので、これらの要素を示すために、図４ではアポストロフィを付けた同じ参照符号が使用される。特に、加算器４２’、オプションのインループフィルタ４６’、および予測器４４’は、図２のエンコーダと同じ方法で予測ループ内に接続される。追加４２’に適用される、再構成、すなわち逆量子化および再変換された予測残差信号は、エントロピーエンコーダ２８ｂのエントロピー符号化を逆転するエントロピーデコーダ５６のシーケンスによって導出され、エンコード側の場合とまったく同じように、逆量子化器３８’および逆変換器４０’から構成された残差信号再構成段３６’がこれに続く。デコーダの出力は、画像１０の再構成である。画像１０の再構成は、加算器４２’の出力で、または代わりにインループフィルタ４６’の出力で、直接利用可能であり得る。画質を改善するために画像１０の再構成に何らかのポストフィルタリングを施すために、デコーダの出力に何らかのポストフィルタが配置されてもよいが、このオプションは図４に示されていない。
繰り返すが、図４に関して、図２に関して上記で述べられた説明は、エンコーダのみが符号化オプションに関して最適化タスクおよび関連する決定を実行することを除き、図４にも適用される。しかしながら、ブロック細分化、予測、逆量子化、および再変換に関する全ての説明もまた、図４のデコーダ５４に適用される。
本出願の可能な実施形態の説明を進める前に、上記の例に関していくつかの注記が行われる。上記では明示的に述べられていないが、ブロック１８がいずれの形状を有してもよいことは明白である。これはたとえば、長方形または二次形状であってもよい。また、エンコーダ１４およびデコーダ５４の動作モードの上記説明はしばしば「現在のブロック」１８に言及するものの、イントラ予測モードが選択される各ブロックについてエンコーダ１４およびデコーダ５４が相応に動作することは、明白である。上述のように、他のブロックもあってもよいが、以下の説明は、イントラ予測モードが選択される、画像１０が細分されるこれらのブロック１８に焦点を当てる。
イントラ予測モードが選択される特定のブロック１８の状況を要約するために、図５が参照される。図５は、現在のブロック１８、すなわち現在エンコードまたはデコードされているブロックを示す。図５は、隣接サンプル６２、すなわち空間的に隣接するブロック１８を有するサンプル６２の集合６０を示す。ブロック１８内のサンプル６４は、予測されるべきである。したがって、導出される予測信号は、ブロック１８内の各サンプル６４の予測である。既に上記で論じられたように、各ブロック１８について複数６６の予測モードが利用可能であり、ブロック１８がイントラ予測される場合、この複数６６のモードは単にインター予測モードを備える。隣接サンプル集合６０に基づいてブロック１８の予測信号を予測７１するために使用される複数６６からイントラ予測モードの１つを決定するために、エンコーダ側およびデコーダ側で選択６８が実行される。以下でさらに説明される実施形態は、利用可能なイントラ予測モード６６に関して異なっており、選択６８に関する動作モードは、たとえば、ブロック１８に関する選択６８に関してデータストリーム１２内でサイド情報が設定されるか否かを示唆する。しかしながら、これらの実施形態の説明は、数学的な詳細を提供する具体的説明から始まる。この最初の実施形態によれば、イントラ予測される特定のブロック１８の選択は、対応するサイド情報信号伝達７０およびデータストリームに関連付けられており、複数６６のイントラ予測モードは、ニューラルネットワークベースイントラ予測モードの集合７２ならびにヒューリスティック設計のさらなるイントラ予測モードの集合７４を備える。モード７４のイントラ予測モードの１つは、たとえば、いくつかの平均値が隣接サンプル集合６０に基づいて決定されてこの平均値がブロック１８内の全てのサンプル６４に割り当てられる、ＤＣ予測モードであってもよい。加えて、または代わりに、集合７４は、角度インター予測モードと呼ばれ得るインター予測モードを備えてもよく、これにしたがって、隣接サンプル集合６０のサンプル値は特定のイントラ予測方向に沿ってブロック１８内に複製され、このイントラ予測方向は、このような角度イントラ予測モード間で異なる。図５は、データストリーム１２が、複数６６のイントラ予測モードからの選択６８に関して任意選択的に存在するサイド情報７０に加えて、上記で論じられたように、符号化でエンコードされた予測残差が変換ドメインにおける量子化を伴う変換符号化を任意選択的に含む部分７６を備えることを、示している。
特に、本出願の特定の実施形態の以下の説明の理解を容易にするために、図６は、エンコーダおよびデコーダにおけるイントラ予測ブロックの一般的な動作モードを示す。図６は、それに基づいてイントラ予測が実行される隣接サンプル集合６０と共に、ブロック１８を示す。なお、この集合６０は、濃度、すなわちブロック１８の予測信号を決定するためのそれぞれのイントラ予測モードにしたがって実際に使用される集合６０のサンプルの数に関して、複数６６のイントラ予測モードのイントラ予測モード間で異なる可能性があることに、留意すべきである。しかしながら、理解を容易にするために、これは図６には示されていない。図６は、エンコーダおよびデコーダが、集合７２のニューラルネットワークベースイントラ予測モードの各々について１つのニューラルネットワーク８００から８０ＫＢ－１を有することを示している。集合６０は、集合７２の間で対応するイントラ予測モードを導出するように、それぞれのニューラルネットワークに適用される。これに加えて、図６は、入力、すなわち隣接サンプルの集合６０に基づいて、集合７４の１つ以上のイントラ予測モードの１つ以上の予測信号、たとえばＤＣモード予測信号および／または角度イントラ予測モード予測信号を提供するものとして、１つのブロック８２をむしろ代表的に示す。以下の説明は、ｉ＝０…ＫＢ－１を有するニューラルネットワーク８０ｉのパラメータがどのようにして有利に決定され得るかについて示す。以下に明記される特定の実施形態はまた、集合６０と一致してもしなくてもよい隣接サンプルの集合８６に基づいて、集合７２の各ニューラルネットワークベースイントラ予測モードの確率値を提供するための専用の別のニューラルネットワーク８４を、エンコーダおよびデコーダに提供する。ニューラルネットワーク８４がモード選択のためのサイド情報７０をより効果的にするのを支援するときにこのように提供される確率値。たとえば、以下に説明される実施形態では、イントラ予測モードのうちの１つを指すために可変長コードが使用され、少なくとも集合７２に関する限り、ニューラルネットワーク８４によって提供された確率値は、集合７２内のニューラルネットワークベースイントラ予測モードのためのニューラルネットワーク８４によって出力された確率値にしたがって順序付けられたイントラ予測モードの順序リストへのインデックスとして、サイド情報７０内の可変長コードを使用できるようにし、これによりサイド情報７０の符号化率を最適化または低下させることが、想定される。これに対して、図６に示されるように、モード選択６８は、さらなるニューラルネットワーク８４によって提供される確率値、ならびにデータストリーム１２内のサイド情報７０の両方に基づいて、効果的に実行される。
１．イントラ予測を実行するニューラルネットワークのパラメータをトレーニングするアルゴリズム
Figure 0007210568000001
をビデオフレームのブロック、すなわちブロック１８とする。
Figure 0007210568000002
は
Figure 0007210568000003
個のピクセルを有すると仮定する。固定色成分では、
Figure 0007210568000004
を
Figure 0007210568000005
のビデオ信号のコンテンツとする。
Figure 0007210568000006
を
Figure 0007210568000007
の要素と見なす。
Figure 0007210568000008
個のピクセルを有し、既に再構成された画像
Figure 0007210568000009
が入手可能な
Figure 0007210568000010
の近傍
Figure 0007210568000011
、すなわちサンプル集合６０および８６が存在すると仮定するが、これらはあるいは異なってもよい。イントラ予測関数とは、関数
Figure 0007210568000012
を意味する。
Figure 0007210568000013
を
Figure 0007210568000014
の予測器と見なす。
次に説明されるのは、データ駆動型の最適化アプローチを介して、典型的なハイブリッドビデオ符号化規格、すなわち集合７２で生じる可能性のあるいくつかのブロック
Figure 0007210568000015
のイントラ予測関数を設計するためのアルゴリズムである。この目標を達成するために、以下の主要な設計上の特徴を考慮した。
１．実施する最適化アルゴリズムにおいて、予測残差を通知するために費やすと予想できるビット数を特に含むコスト関数の適切な近似値を使用したい。
２．異なる信号特性を処理できるようにするために、いくつかのイントラ予測を共同でトレーニングしたい。
３．イントラ予測をトレーニングするとき、どのイントラモードが使用されるべきかを通知する必要があるビット数を考慮しなければならない。
４．既に定義されたイントラ予測、たとえばＨＥＶＣイントラ予測の集合を維持し、補完的予測として我々の予測をトレーニングしたい。
５．典型的なハイブリッドビデオ符号化規格は通常、所与のブロック
Figure 0007210568000016
が分割され得るいくつかのブロック形状をサポートする。
次の４つのセクションでは、これらの要件の各々にどのように対処し得るかが説明される可能性がある。より正確には、セクション１．１では、最初のアイテムにどのように対処するかを説明する。セクション１．２では、アイテム２から３をどのように処理するかが説明される。セクション１．４では、アイテム４をどのように考慮するかが説明される。最後に、セクション１．５では、最後のアイテムにどのように対処するかが説明される。
１．１ ビデオコーデックのレート関数に近似する損失関数をトレーニングするためのアルゴリズム
ビデオコーデックで使用される既知のパラメータを決定するためのデータ駆動型のアプローチは、通常、トレーニング例の所与の集合に対する所定の損失関数を最小化しようとする最適化アルゴリズムとして設定される。通常、数値最適化アルゴリズムが実際に機能するために、後者の損失関数は、いくつかの平滑度要件を満たすべきである。
一方、ＨＥＶＣのようなビデオエンコーダは、レート歪みコスト
Figure 0007210568000017
を最小化することによって決定を行うときに最適に機能する。ここで、
Figure 0007210568000018
はデコードされたビデオ信号であり、
Figure 0007210568000019
はレート、すなわちビデオ信号を符号化するために必要なビット数である。また、
Figure 0007210568000020
は、選択された量子化パラメータに依存するラグランジュパラメータである。
真の関数
Figure 0007210568000021
は、典型的には非常に複雑であり、データ駆動型の最適化アルゴリズムに供給できる閉じた式では与えられない。したがって、関数
Figure 0007210568000022
全体、または少なくともレート関数
Figure 0007210568000023
のいずれかを、区分ごとの平滑な関数によって近似させる。
より正確には、以前のように、
Figure 0007210568000024
をビデオフレーム１０の所与のブロック１／とし、
Figure 0007210568000025
を固定色成分中の
Figure 0007210568000026
における対応するビデオ信号とする。
Figure 0007210568000027
は
Figure 0007210568000028
個のピクセルを有すると仮定する。次に、予測候補
Figure 0007210568000029
について、予測残差
Figure 0007210568000030
を検討する。所与の量子化パラメータおよび所与の変換について、
Figure 0007210568000031
を、真のビデオエンコーダが
Figure 0007210568000032
の量子化変換を通知するために必要なレートとする。また、
Figure 0007210568000033
を、
Figure 0007210568000034
の逆量子化および逆変換によって生じる再構成誤差とする。次に、
Figure 0007210568000035
が
Figure 0007210568000036
の適切な近似値として機能し、
Figure 0007210568000037
が
Figure 0007210568000038
の適切な近似値として機能するように、区分ごとに平滑な関数
Figure 0007210568000039
を決定したい。
何らかの
Figure 0007210568000040
を固定し、所定の「アーキテクチャ」、すなわち区分ごとの平滑な関数
Figure 0007210568000041
を固定し、次いで
Figure 0007210568000042
を求めて、関数
Figure 0007210568000043
および
Figure 0007210568000044
を
Figure 0007210568000045
としてモデル化する。
重み
Figure 0007210568000046
および
Figure 0007210568000047
を決定するために、所与のハイブリッドビデオ符号化規格を使用する典型的なエンコーダ上で、予測残差
Figure 0007210568000048
、
Figure 0007210568000049
、および対応するレート歪み値
Figure 0007210568000050
のトレーニング例の巨大な集合を収集するが、それぞれ何らかの有限な大きいインデックス集合
Figure 0007210568000051
のレート値
Figure 0007210568000052
に過ぎない。次に、以下の式を最小化または少なくとも小さくするように、
Figure 0007210568000053
および
Figure 0007210568000054
を見出そうとする。
Figure 0007210568000055
このタスクでは、通常、（確率的）勾配降下アプローチを使用する。
１．２ 固定ブロック形状の予測のトレーニング
このセクションでは、所与のブロック
Figure 0007210568000056
１８、ｓｔ７２のもの、および既に再構成されたサンプルの領域
Figure 0007210568000057
６０の
Figure 0007210568000058
イントラ予測を設計するために設定するアルゴリズムについて説明する。
我々の予測の所定の「アーキテクチャ」が与えられていると仮定する。これは、何らかの固定の
Figure 0007210568000059
について、関数
Figure 0007210568000060
（１）
が与えられること、および「重み」
Figure 0007210568000061
を決定したいことを意味し、こうして
Figure 0007210568000062
としてイントラ予測が与えられ、ここで
Figure 0007210568000063
について
Figure 0007210568000064
（２）
とする。
以下のセクションで、この点について詳細を述べる。（２）の関数は、図６のニューラルネットワーク８００～８０ＫＢ－１を定義する。
次に、以下の第２パラメータ依存関数を使用して設計しようとしているイントラモードの信号伝達コストをモデル化する。
Figure 0007210568000065
（３）
ここでも、
Figure 0007210568000066
について、以下によって
Figure 0007210568000067
を定義する。
Figure 0007210568000068
（４）
再びセクション１．３で、図６のニューラルネットワーク８４を表す（４）の関数が例に与えられる。
以下の関数が与えられると仮定する。
Figure 0007210568000069
この関数は、たとえば、サイド情報７０に使用されるＶＬＣコード長分布、すなわちサイド情報７０によって集合７２のｃａｄ ｐｏｎｉｔｅ ｍｏｒｅに関連付けられたコード長を定義する。
次に、
Figure 0007210568000070
を
Figure 0007210568000071
によって定義する。
とりあえず、
Figure 0007210568000072
の
Figure 0007210568000073
番目の成分
Figure 0007210568000074
は、トレーニングする
Figure 0007210568000075
番目のイントラモードを通知するために必要とされるビット数をモデル化する。
Figure 0007210568000076
がセクション２．１で定義される関数である場合、所与の
Figure 0007210568000077
、再構成画像
Figure 0007210568000078
、および元の画像
Figure 0007210568000079
について、
Figure 0007210568000080
により、最小の
Figure 0007210568000081
を表し、その特性は全ての
Figure 0007210568000082
に対して
Figure 0007210568000083
とする。
Figure 0007210568000084
はイントラモードの信号伝達の真のビット数をモデル化するので、その勾配はゼロもしくは未定義である。したがって、
Figure 0007210568000085
のみでは、勾配降下ベースのアルゴリズムを介して重み
Figure 0007210568000086
を最適化するのに十分ではない。したがって、ソフトマックス関数を使用して関数
Figure 0007210568000087
を確率分布に変換することによって、イントラモードの交差エントロピーも呼び出す。後者の関数の定義を思い出す。
Figure 0007210568000088
について、
Figure 0007210568000089
に
Figure 0007210568000090
のｉ番目の成分を示させる。次に、ソフトマックス関数
Figure 0007210568000091
は、
Figure 0007210568000092
として定義される。
勾配の更新では、後者の確率分布に対して、残差のレートとモード
Figure 0007210568000093
の交差エントロピーとの合計を最小化しようと試みる。したがって、ブロック
Figure 0007210568000094
の損失関数
Figure 0007210568000095
を
Figure 0007210568000096
Figure 0007210568000097
（５）
として定義し、ここで
Figure 0007210568000098
である。
（５）の損失関数が与えられると、データ駆動型の最適化によって重み
Figure 0007210568000099
を決定する。したがって、有限な大きいインデックス集合
Figure 0007210568000100
について、
Figure 0007210568000101
での画像
Figure 0007210568000102
および
Figure 0007210568000103
での対応する再構成画像
Figure 0007210568000104
のトレーニング例の集合
Figure 0007210568000105
が与えられた場合、式
Figure 0007210568000106
（６）
を最小化する重み
Figure 0007210568000107
を見つけるために、たとえば（確率的）勾配降下法に基づいて、最適化アルゴリズムを適用する。
１．３ 関数
Figure 0007210568000108
および
Figure 0007210568000109
の仕様
このセクションでは、関数
Figure 0007210568000110
および
Figure 0007210568000111
の形式をより正確に定義する。繰り返しになるが、ニューラルネットワーク８０および８４を定義するものがあることを思い出して欲しい。これらの関数の各々は、１）アフィン変換
Figure 0007210568000112
または２）非線形活性化関数
Figure 0007210568000113
のいずれかである関数の構成物のシーケンスからなる。
アフィン変換
Figure 0007210568000114
とは、
Figure 0007210568000115
の形式のマップを意味し、ここで
Figure 0007210568000116
は線形変換であり、すなわち全ての
Figure 0007210568000117
、
Figure 0007210568000118
について
Figure 0007210568000119
を満たし、
Figure 0007210568000120
である。各線形マップ
Figure 0007210568000121
は、
Figure 0007210568000122
の行列によって完全に決定され、すなわちベクトル
Figure 0007210568000123
に一意に対応する。したがって、各アフィン関数
Figure 0007210568000124
は、
Figure 0007210568000125
の重みによって、すなわちベクトル
Figure 0007210568000126
によって、完全に決定される。各
Figure 0007210568000127
について、前述の方法で
Figure 0007210568000128
に対応する一意のアフィン変換について
Figure 0007210568000129
を記述するものとする。
非線形活性化関数
Figure 0007210568000130
とは、
Figure 0007210568000131
の形式の関数を意味する。
ここで、
Figure 0007210568000132
は
Figure 0007210568000133
の
Figure 0007210568000134
番目の成分を示し、
Figure 0007210568000135
は
Figure 0007210568000136
の
Figure 0007210568000137
番目の成分を示す。最後に、
Figure 0007210568000138
は、
Figure 0007210568000139
（７）
の形式、または
Figure 0007210568000140
（８）
の形式であってもよいが、ただしこれらの例は、本出願の実施形態をこれらの明示的な例に限定するように解釈されるべきではない。
Figure 0007210568000141
またはその他いずれかの非線形関数などのその他の式も使用され得る。あるいは、たとえば
Figure 0007210568000142
は区分ごとの平滑な関数であってもよい。
これで、関数
Figure 0007210568000143
は以下のようになる。固定の
Figure 0007210568000144
では、
Figure 0007210568000145
、
Figure 0007210568000146
を用いる
Figure 0007210568000147
および
Figure 0007210568000148
が与えられるので、
Figure 0007210568000149
となる。
ここで、
Figure 0007210568000150
、
Figure 0007210568000151
、および
Figure 0007210568000152
は（１）の通りである。次に、
Figure 0007210568000153
を用いる
Figure 0007210568000154
について、
Figure 0007210568000155
を定義する。
したがって、
Figure 0007210568000156
は、パラメータ
Figure 0007210568000157
を使用してパラメータ化されたニューラルネットワーク８０ｉを記述する。これは、本例ではシーケンス内で交互に適用される、線形関数
Figure 0007210568000158
および非線形関数
Figure 0007210568000159
のシーケンスであり、パラメータ
Figure 0007210568000160
は、
Figure 0007210568000161
の線形関数の重みを備える。線形関数
Figure 0007210568000162
および非線形関数
Figure 0007210568000163
のシーケンスでは、線形関数
Figure 0007210568000164
とこれに続く非線形関数
Figure 0007210568000165
のペアは、たとえばｊ番目の層などのニューロン層を表し、ニューラルネットワークのフィードフォワード方向でこのニューロン層ｊに先行する先行ノードの数は、
Figure 0007210568000166
の次元ｍによって決定され、
Figure 0007210568000167
の列の数およびニューロン層ｊ自体のニューロンの数は、
Figure 0007210568000168
の次元ｎ、その行の数によって決定される。
Figure 0007210568000169
の各行は、それぞれ信号強度に関して制御する重みを組み込み、ｍ個の先行ニューロンの各々の活性化は、それぞれの行に対応するニューロン層ｊのそれぞれのニューロンに転送される。
Figure 0007210568000170
は、ニューロン層ｊの各ニューロンについて、それ自身の活性化への転送された先行ニューロン活性化のその線形結合の非線形マッピングを制御する。上記の例では、このようなニューロン層が
Figure 0007210568000171
個ある。層ごとのニューロンの数は異なってもよい。ニューロン層の数
Figure 0007210568000172
は、様々なニューラルネットワーク８０ｊの間で、すなわち異なるｊに対して、異なってもよい。なお、非線形関数は、ニューロン層ごとに、もしくはニューロンごとに、あるいはその他何らかの単位で、異なってもよいことに留意する。
同様に、関数
Figure 0007210568000173
は以下のようになる。固定の
Figure 0007210568000174
では、
Figure 0007210568000175
、
Figure 0007210568000176
を用いる
Figure 0007210568000177
および
Figure 0007210568000178
が与えられるので、
Figure 0007210568000179
となる。
ここで、
Figure 0007210568000180
、
Figure 0007210568000181
、および
Figure 0007210568000182
は（３）の通りである。次に、
Figure 0007210568000183
を用いる
Figure 0007210568000184
について、
Figure 0007210568000185
を定義する。
したがって、
Figure 0007210568000186
は、パラメータ
Figure 0007210568000187
を使用してパラメータ化されたニューラルネットワーク８４を記述する。これは、予測信号計算に関してニューロン層について上記で説明したように、線形関数
Figure 0007210568000188
および非線形関数
Figure 0007210568000189
のシーケンスとなる。ニューラルネットワーク８４のニューロン層の数
Figure 0007210568000190
は、ニューラルネットワーク８０ｉのニューロン層の数
Figure 0007210568000191
の１つ以上とは異なり得る。
１．４ 既存の予測を考慮に入れたトレーニング
既に存在するイントラ予測を補完する予測をトレーニングできるように、前のセクションのアルゴリズムを拡張する。
つまり、
Figure 0007210568000192
を、既に利用可能な固定されたイントラ予測関数の集合とする。たとえば、
Figure 0007210568000193
は、ＨＥＶＣのＤＣ予測または平面予測、およびＨＥＶＣにしたがって定義された角度予測から構成され得る。これら全ての予測はまた、再構成されたサンプルの予備的な平滑化も含み得る。また、関数
Figure 0007210568000194
が与えられ、これにより、
Figure 0007210568000195
は、元の画像
Figure 0007210568000196
に与えられた
Figure 0007210568000197
に適用される
Figure 0007210568000198
番目のイントラ予測関数
Figure 0007210568000199
の損失をモデル化する。
次に、損失関数を、（５）から以下の損失関数に拡張する。
Figure 0007210568000200
（９）
Figure 0007210568000201
前のセクションの終わりからの注記を維持して、トレーニング例の大きい集合における
Figure 0007210568000202
（１０）
を最小化することによって、重み
Figure 0007210568000203
を決定する。
この目的のため、通常は最初に（６）を最適化することによって重みを見出し、次いで（１０）を最適化する重みを見出すためにこれらの重みで初期化する。
１．５ いくつかのブロック形状の予測の共同トレーニング
このセクションでは、典型的なビデオ符号化規格で、様々な方法でブロックをより小さいサブブロックに分割し、より小さいサブブロックに対してイントラ予測を実行することが通常は可能であることを、予測のトレーニングにおいてどのように考慮するかを説明した。
つまり、何らかの
Figure 0007210568000204
について、各
Figure 0007210568000205
が
Figure 0007210568000206
に隣接するように、許容可能なブロック
Figure 0007210568000207
の集合
Figure 0007210568000208
が、領域
Figure 0007210568000209
の集合と共に与えられると仮定する。通常、
Figure 0007210568000210
は、
Figure 0007210568000211
の左および上の２つの長方形の和集合である。
各
Figure 0007210568000212
について
Figure 0007210568000213
となるように、ブロック
Figure 0007210568000214
が存在すると仮定する。
Figure 0007210568000215
を
Figure 0007210568000216
のべき集合とする。次に、
Figure 0007210568000217
について、集合
Figure 0007210568000218
が与えられ、このため各
Figure 0007210568000219
についてブロック
Figure 0007210568000220
が直和
Figure 0007210568000221
として記述され得ると仮定する。
所与の色成分について、
Figure 0007210568000222
を
Figure 0007210568000223
の画像とし、限定により、これを各
Figure 0007210568000224
に対する
Figure 0007210568000225
の画像
Figure 0007210568000226
と見なす。また、
Figure 0007210568000227
の再構成画像
Figure 0007210568000228
が存在し、限定により、これを各
Figure 0007210568000229
に対する
Figure 0007210568000230
の画像
Figure 0007210568000231
と見なすと仮定する。
セクション１．２の注記を維持して、各
Figure 0007210568000232
について、
Figure 0007210568000233
個のイントラ予測関数
Figure 0007210568000234
の重みの集合として
Figure 0007210568000235
を求め、モード予測関数
Figure 0007210568000236
の重みとして
Figure 0007210568000237
を求める。全ての
Figure 0007210568000238
について、これらの重みを以下のようにまとめて決定する。
Figure 0007210568000239
および重み
Figure 0007210568000240
、
Figure 0007210568000241
、
Figure 0007210568000242
、
Figure 0007210568000243
の所与の集合について、
Figure 0007210568000244
とする。
また、
Figure 0007210568000245
について、
Figure 0007210568000246
を
Figure 0007210568000247
として定義する。
セクション１．４と同様に、各
Figure 0007210568000248
について、イントラ予測関数の空の可能性のある集合
Figure 0007210568000249
が利用可能であると仮定する。
Figure 0007210568000250
とする。
次に、損失関数
Figure 0007210568000251
を以下のように定義する。集合を含めることにより、集合
Figure 0007210568000252
に対して順序付け
Figure 0007210568000253
を行う。
Figure 0007210568000254
を、
Figure 0007210568000255
内の全ての極小元の集合とする。
Figure 0007210568000256
について、
Figure 0007210568000257
とし、ここで後者の関数は（９）と同様である。
次に、
Figure 0007210568000258
とし、
Figure 0007210568000259
は全ての
Figure 0007210568000260
について既に
Figure 0007210568000261
で定義されていると仮定する。
次に、
Figure 0007210568000262
Figure 0007210568000263
を定義する。
最後に、
Figure 0007210568000264
の画像
Figure 0007210568000265
のトレーニング例の固定集合
Figure 0007210568000266
と仮定して、
Figure 0007210568000267
を最小化するかまたは少なくとも小さくすることによって、
Figure 0007210568000268
、
Figure 0007210568000269
を決定する。
通常、最初に各
Figure 0007210568000270
について個別に（９）を最小化することによって、重み
Figure 0007210568000271
、
Figure 0007210568000272
を初期化する。
２ ビデオコーデックへのトレーニング済みニューラルネットワークの統合
所与の色成分について、所与のブロック
Figure 0007210568000273
のビデオ信号のコンテンツがデコーダによって生成される、ハイブリッドビデオ符号化規格を検討する。
Figure 0007210568000274
を
Figure 0007210568000275
のピクセル数とする。また、デコーダが自由に
Figure 0007210568000276
の再構成画像
Figure 0007210568000277
を有するように、
Figure 0007210568000278
を
Figure 0007210568000279
の固定された近傍とする。
Figure 0007210568000280
を
Figure 0007210568000281
のピクセル数とする。次に、
Figure 0007210568000282
を
Figure 0007210568000283
の要素と見なす。コーデックは、現在のブロック
Figure 0007210568000284
１０に対する予測符号化によって動作すると仮定する。次に、
Figure 0007210568000285
の要素と見なす
Figure 0007210568000286
の予測信号
Figure 0007210568000287
を生成するためにデコーダが実行できる以下のステップの著作権を主張する。
１．デコーダは、固定数
Figure 0007210568000288
、関数
Figure 0007210568000289
、すなわち８４、ならびに重み
Figure 0007210568000290
および重み
Figure 0007210568000291
を自由に有し、後者の重みは、前のセクションで説明されたトレーニングアルゴリズムによって事前に決定される。
２．デコーダは、ビットストリームから、サイド情報７０の一部であって以下のオプションのいずれかがまさに真であるか否かを示すフラグを再構成する：［ｌａｂｅｌ＝）
（ｉ）予測
Figure 0007210568000292
のうちの１つ、すなわち集合７２からのモードが使用され
（ｉｉ）予測
Figure 0007210568000293
のうちのいずれも、すなわち７４のうちの１つも使用されない、たとえば
ここでは、関数
Figure 0007210568000294
は（２）と同様である。
３．ステップ２のオプション２が真である場合、デコーダは、基礎となるハイブリッドビデオ符号化規格と同様に所与のブロック１０を進める。
４．ステップ２のオプション１が真である場合、デコーダは、（４）にしたがって定義された関数
Figure 0007210568000295
、すなわち８４を、再構成画像
Figure 0007210568000296
に適用する。
Figure 0007210568000297
を
Figure 0007210568000298
として定義する。次に、正確に以下の２つのオプションのうちの１つによってデコーダが数値
Figure 0007210568000299
を定義するように、規格が変更される。
（ｉ）デコーダは、
Figure 0007210568000300
によって集合
Figure 0007210568000301
の確率分布
Figure 0007210568000302
を定義し、データストリーム１２から基礎となる規格で使用されるエントロピー符号化エンジンを介してやはりサイド情報７０の一部であるインデックス
Figure 0007210568000303
を解析するために後者の確率分布
Figure 0007210568000304
を使用し、
Figure 0007210568000305
を定義する。
（ｉｉ）デコーダは、
Figure 0007210568000306
が全ての
Figure 0007210568000307
について
Figure 0007210568000308
を用いる最小数である
Figure 0007210568000309
を適用することによって、および
Figure 0007210568000310
が全ての
Figure 0007210568000311
で
Figure 0007210568000312
を有するような最小数である
Figure 0007210568000313
を適用することによって、順列
Figure 0007210568000314
を帰納的に定義する。
次に、デコーダは、ビットストリーム１２から、やはりデータストリーム１２の一部である一意のインデックス
Figure 0007210568000315
を再構成し、
Figure 0007210568000316
を適用する。
後者のインデックス
Figure 0007210568000317
を解析するためのコード設計では、
Figure 0007210568000318
である場合、およびエントロピー符号化エンジンによって使用される全ての関連する基礎となる確率が等しい確率に設定される場合に、インデックス
Figure 0007210568000319
に通知するために必要とされるビット数はインデックス
Figure 0007210568000320
に通知するためのビット数以下であることが要求される。
５．ステップ２のオプション１が真である場合、およびデコーダが前のステップ４にしたがってインデックス
Figure 0007210568000321
を決定した場合、デコーダは、予測信号
Figure 0007210568000322
を
Figure 0007210568000323
として、すなわち選択されたニューラルネットワーク８０ｍを使用して、生成７１する。次に、デコーダは、
Figure 0007210568000324
を予測信号として使用する、基礎となるハイブリッドビデオ符号化規格と同様に進行する。
その設計がデータ駆動型の学習アプローチに基づくイントラ予測関数の、既存のハイブリッドビデオコーデックへの統合。説明には２つの主要な部分があった。最初の部分では、イントラ予測関数のオフライントレーニングの具体的なアルゴリズムについて説明した。第２の部分では、所与のブロックの予測信号を生成するために、ビデオデコーダがどのように後者の予測関数を使用し得るかを説明した。
したがって、セクション１．１から２で上述したのは、とりわけ、データストリーム１２から画像１０をブロック単位でデコードするための装置である。装置５４は、少なくとも、現在のブロック１８の隣接サンプルの第１の集合６０をニューラルネットワーク８０ｉに適用することによって画像１０の現在のブロック１８のイントラ予測信号が決定されるイントラ予測モードの集合７２を備える、複数のイントラ予測モードをサポートする。装置５４は、現在のブロック１８について、複数６６のイントラ予測モードから１つのイントラ予測モードを選択６８するように構成されており、この１つのイントラ予測モードを使用して、すなわち選択された対応するニューラルネットワーク８０ｍを使用して、現在のブロック１８を予測７１する。セクション２で提示されたデコーダは、集合７２のニューラルネットワークベースのものに加えてサポートされた複数６６のイントラ予測モード内のイントラ予測モード７４を有していたが、これは単なる例であり、その通りでなくてもよい。さらに、セクション１および２における上記の説明は、デコーダ５４がさらなるニューラルネットワーク８４を使用せず、備えていない点において、異なってもよい。上記の最適化に関して、これは、
Figure 0007210568000325
を見出すためにセクション１．２で提示された内部品質における第２の加算器が、任意の確率値ニューラルネットワーク関数ＧＢに適用される関数ＭＢの連結である必要はないことを意味する。むしろ、選択の頻度がＭＢの符号化率表示に適切に従うような方法でニューラルネットワーク８０ｉの適切なパラメータを決定するものの最適化アルゴリズム。たとえば、デコーダ５４は、データストリーム１２から、可変長コードを使用してブロック１８のインデックスをデコードでき、このコード長はＭＢに示され、デコーダ５４はこのインデックスに基づいて選択６８を実行する。インデックスは、サイド情報７０の一部である。
セクション２で上述された説明のさらなる代替は、デコーダ５４が代わりに、データストリームの第１部分ではなく第２部分に応じてイントラ予測モードの順序リストから最終的に使用されるイントラ予測モードを選択してイントラ予測モードの順序リストを取得するために、現在のブロック１８の近傍に関連するデータストリームの第１部分に応じてニューラルネットワークベースイントラ予測モードの集合７２からランキングを導出し得ることである。「第１部分」は、たとえば、現在のブロック１８に隣接する１つ以上のブロックに関する符号化パラメータまたは予測パラメータに関連し得る。そして「第２部分」は、たとえば、ニューラルネットワークベースイントラ予測モード集合７２を指す、またはそのインデックスである、インデックスであり得る。上記で概説されたセクション２に沿って解釈すると、デコーダ５４は、イントラ予測モードの集合７２の各イントラ予測モードについて、集合７２の各イントラ予測モードのランクを決定するために、隣接サンプルの集合８６をこれに適用してこれらの確率値を順序付けることによって確率値を決定し、これによってイントラ予測モードの順序リストを取得する、さらなるニューラルネットワーク８４を備える。次に、サイド情報７０の一部としてのデータストリーム１２内のインデックスは、順序リストへのインデックスとして使用される。ここで、インデックスは、ＭＢがコード長を示す可変長コードを使用して符号化され得る。そしてセクション２で説明されたように、アイテム４ｉにおいて、さらなる代替実施形態によれば、デコーダ５４は、集合７２へのインデックスのエントロピー符号化を効率的に実行するように、集合７２の各ニューラルネットワークベースイントラ予測モードについてさらなるニューラルネットワーク８４によって決定された、たった今言及した確率値を使用し得る。特に、サイド情報７０の一部であって集合７２へのインデックスとして使用されるこのインデックスの記号アルファベットは、集合７２内のモードの各々について記号または値を備え、ニューラルネットワーク８４によって提供される確率値は、上記説明によるニューラルネットワーク８４設計の場合、これらの確率値が実際の記号統計を厳密に表すという点において、十分なエントロピー符号化をもたらす確率値を提供する。このエントロピー符号化では、たとえば、確率間隔区分エントロピー（ＰＩＰＥ）符号化などの算術符号化が使用され得る。
好ましくは、集合７２のイントラ予測モードのいずれにとっても追加の情報は必要ない。各ニューラルネットワーク８０ｉは、たとえばセクション１および２の上記説明にしたがってエンコーダおよびデコーダ向けに有利にパラメータ化されると、データストリームにおける追加のガイダンスをまったく伴わずに、現在のブロック１８の予測信号を導出する。既に上記で示したように、集合７２内のニューラルネットワークベースのもの以外の他のイントラ予測モードの存在は任意である。これらは、集合７４によって上記で示されている。これに関して、集合６０、すなわちイントラ予測７１への入力を形成する隣接サンプルのセットを選択する１つの可能な方法は、この集合６０が集合７４のイントラ予測モード、すなわちヒューリスティックなものに対して同じになるように選択され、ニューラルネットワークベースイントラ予測モードのための集合６０は、集合６０に含まれる隣接サンプルの数に関してより大きく、イントラ予測７１に影響を及ぼすことに、留意すべきである。言い換えると、集合６０の濃度は、集合７４の他のモードと比較して、ニューラルネットワークベースイントラ予測モード７２にとってより大きくなり得る。たとえば、集合７４のいずれかのイントラ予測モードの集合６０は、左と上などブロック１８の辺まで一緒に延在する一次元線に沿った隣接サンプルを単に備えてもよい。ニューラルネットワークベースイントラ予測モードの集合６０は、ブロック１８の上述の辺に沿って延在するが、集合７４のイントラ予測モードでは集合６０でのサンプル１つ分のみよりも広い、Ｌ字型部分をカバーする。このようにして、ニューラルネットワークベースイントラ予測モードは、相応に低い予測残差を有するより良いイントラ予測をもたらし得る。
セクション２で上述したように、データストリーム１２でイントラ予測されたブロック１８に搬送されるサイド情報７０は、一般にブロック１８の選択されたイントラ予測モードが集合７２の要素か集合７４の要素かを示すフレックを備え得る。しかしながら、このフレックは、たとえば、集合７２および７４の両方を含む複数６６のイントラ予測モード全体へのインデックスを示すサイド情報７０を有する、単なるオプションである。
たった今議論した代替は、以下において、図７ａから図７ｄに関して簡単に論じられる。図面は、デコーダおよびエンコーダの両方を同時に、すなわちイントラ予測されたブロック１８に関するそれらの機能の点から、定義する。イントラ符号化ブロック１８に関するエンコーダ動作モードとデコーダ動作モードとの違いは、一方では、エンコーダが、たとえば、何らかのコスト関数最小化の意味で最良のものを９０において決定するように、利用可能なイントラ予測モード６６の全てまたは少なくともいくつかを実行し、エンコーダはデータストリーム１２を形成する、すなわちそこに日付を符号化するが、デコーダは、それぞれデコードおよび読み取りをすることによってそこからデータを導出する、という事実である。図７ａは、上記で概説された代替の動作モードを示しており、これにしたがって、ブロック１８のサイド情報７０内のフラグ７０ａは、ステップ９０でエンコーダによってブロック１８の最良のモードであると決定されたイントラ予測モードが集合７２に含まれるか、すなわち、ニューラルネットワークベースイントラ予測モードであるか、または集合７４に含まれるか、すなわち非ニューラルネットワークベースイントラ予測モードの１つであるかを示す。エンコーダは、相応にデータストリーム１２にフラグ７０ａを挿入し、その一方でデコーダは、これをそこから回収する。図７ａは、決定されたイントラ予測モード９２が集合７２に含まれると仮定する。次に、別個のニューラルネットワーク８４は、集合７２の各ニューラルネットワークベースイントラ予測モードについて確率値を決定し、これらの確率値を使用して、集合７２、またはより正確にはその中のニューラルネットワークベースイントラ予測モードは、その確率値の降順など、確率値にしたがって順序付けられ、これにより、イントラ予測モードの順序リスト９４を生成する。次に、サイド情報７０の一部であるインデックス７０ｂは、エンコーダによってデータストリーム１２に符号化され、デコーダによってそこからデコードされる。したがって、デコーダは、集合７２および７４のどの集合かを決定できる。ブロック１８に使用されるイントラ予測モードは、集合７２に配置され、使用されるイントラ予測モードが集合７２内に配置される場合には、集合７２の順序付け９６を実行する。決定されたイントラ予測モードが集合７４内に配置される場合には、インデックスもまたデータストリーム１２で送信される可能性がある。したがって、デコーダは、選択６８を相応に制御することによって、決定されたイントラ予測モードを使用して、ブロック１８の予測信号を生成することができる。
図７ｂは、フラグ７０ａがデータストリーム１２内に存在しない代替を示す。代わりに、順序リスト９４は、集合７２のイントラ予測モードのみならず集合７４のイントラ予測モードも備えない。サイド情報７０内のインデックスは、このさらに大きい順序リストへのインデックスとなり、決定されたイントラ予測モード、すなわち最適化９０となるよう決定されたものを示す。ニューラルネットワーク８４が７２内でのみニューラルネットワークベースイントラ予測モードに確率値を提供する場合、集合７４のイントラ予測モードに対する集合７２のイントラ予測モードのランキングは、順序リスト９４内の集合７４のモードに先行するため、またはこれらを互いに交互に配置するために、集合７２のニューラルネットワークベースイントラ予測モードを必然的に配置するなど、他の手段によって決定されてもよい。つまり、デコーダは、データストリーム１２からインデックスを導出し、ニューラルネットワーク８４から出力された確率値を使用して複数のイントラ予測モード６６から順序リスト９４を導出して順序リスト９４へのインデックスとしてインデックス７０を使用することができる。図７ｃは、さらなる変形例を示す。図７ｃは、フラグ７０ａを使用しない場合を示すが、フラグは代替的に使用され得る。図７ｃが対象とする問題は、エンコーダもデコーダもニューラルネットワーク８４を使用しない可能性に関する。むしろ、順序付け９６は、１つ以上の隣接ブロック１８に関するデータストリーム１２、すなわちこのような１つ以上の隣接ブロックに関係するデータストリーム１２の部分９８で搬送される符号化パラメータなど、他の手段によって導出される。
図７ｄは、図７ａのさらなる変形例、すなわち、通常は参照符号１００を使用して示される、インデックス７０ｂがエントロピー符号化を使用して符号化され、エントロピーデコードを使用してデータストリーム１２からデコードされる変形例を示す。エントロピー符号化１００に使用されるサンプル統計または確率分布は、上記で説明されたように、ニューラルネットワーク８４によって出力された確率値によって制御され、これはインデックス７０ｂのエントロピー符号化を非常に効率的にする。
全ての実施形態７ａから７ｄについて、集合７４モードが存在しないことは事実である。したがって、それぞれのモジュール８２は欠落している可能性があり、フラグ７０ａはいずれにせよ不要である。
さらに、いずれの図にも示されていないが、エンコーダおよびデコーダにおけるモード選択６８は、いかなる明示的なシグナリング７０もなくても、すなわちいかなるサイド情報も費やさず、互いに同期できることが明らかである。むしろ、選択は、順序リスト９４の最初のものを必然的に取ることによって、または１つ以上の隣接ブロックに関する符号化パラメータに基づいて順序リスト９４へのインデックスを導出することによってなど、その他の手段から導出されることが可能である。図８は、ブロック単位の画像符号化に使用される集合７２のイントラ予測モードの集合を設計するための装置を示す。装置１０８は、ニューラルネットワーク８００から８０ＫＢ－１ならびにニューラルネットワーク８４のパラメータ化可能なバージョンを継承または備える、パラメータ化可能なネットワーク１０９を備える。ここで、図８では、個々のユニット、すなわち、ニューラルネットワークベースイントラ予測モード０の確率値を提供するためのニューラルネットワーク８４０からニューラルネットワークベースイントラ予測モードＫＢ－１に関連付けられた確率値を提供するためのニューラルネットワーク８４ＫＢ－１として示されている。ニューラルネットワーク８４をパラメータ化するためのパラメータ１１１およびニューラルネットワーク８００から８０ＫＢ－１をパラメータ化するためのパラメータ１１３は、アップデータ１１０によって、これらのニューラルネットワークのそれぞれのパラメータ入力に入力または適用される。装置１０８は、対応する隣接サンプル集合１１６と共に、リザーバまたは複数の画像テストブロック１１４へのアクセスを有する。これらのブロック１１４およびそれらの関連する隣接サンプル集合１１６のペアは、装置１０８によって順次使用される。特に、現在の画像テストブロック１１４は、ニューラルネットワーク８０が集合７２の各ニューラルネットワークベースイントラ予測モードに予測信号１１８を提供し、各ニューラルネットワーク８０がこれらのモードの各々に確率値を提供するように、パラメータ化可能なニューラルネットワーク１０９に適用される。この目的のために、これらのニューラルネットワークは、現在のパラメータ１１１および１１３を使用する。
上記の説明では、画像テストブロック１１４を示すためにｒｅｃが使用されており、
Figure 0007210568000326
（ｒｅｃ）はモードＢの予測残差１１８であり、確率値は
Figure 0007210568000327
（ｒｅｃ）は確率値１２０である。各モード０．．．Ｋｂ－１について、それぞれのモードについて取得された予測信号１１８に基づいてそれぞれのモードのコスト推定を計算する、装置１０８に含まれるコスト推定器１２２がある。上記の例では、コスト推定器１２２は、セクション１．２の不等式の右側および左側に示されるようなコスト推定を計算した。つまり、ここでは、コスト推定器１２２は、各モードについて、対応する確率値１２０も使用した。しかしながら、これは既に上記で論じられたようなケースである必要はない。しかしながら、コスト推定は、いずれの場合も２つの加数の合計であり、そのうちの１つは、上記の不等式で
Figure 0007210568000328
を有する項として示される予測残差の符号化コストの推定であり、他方の加数は、モードを示すための符号化コストを推定する。予測残差に関連する符号化コストの推定を計算するために、コスト推定器１２２は、現在の画像テストブロック１１４の素のコンテンツも取得する。ニューラルネットワーク８０および８４は、適用される入力において、対応する隣接サンプル集合１１６を有する。コスト推定器１２２によって出力された通りのコスト推定１２４は、関連付けられたコスト推定を最小化する、または最小コスト推定を有するモードを決定する最小コスト選択器１２６によって受信される。上記の数学的表記では、これは
Figure 0007210568000329
であった。アップデータは、この最適モードを受信し、最低符号化推定のイントラ予測モードのために取得された予測信号１１８に応じて残差レート推定を形成する第１加数、および選択器１２６によって示されたとおりの最低符号化コスト推定のイントラ予測モードのために取得された予測信号および確率値に基づいてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を使用する。上記で示されたように、これは勾配降下を使用して行われ得る。したがって、符号化コスト関数は微分可能であり、上記の数学的表現では、この関数の例は式５に示された。ここで、モードシグナリング側情報レート推定に関連する第２のアドインは、最低符号化コスト推定のイントラ予測モードについて交差エントロピーを計算した。
したがって、アップデータ１１０は、符号化コスト関数を低減するようにパラメータ１１１および１１３を更新しようとし、その後これらの更新されたパラメータ１１１および１１３は、複数１１２の次の画像テストブロックを処理するように、パラメータ化可能なニューラルネットワーク１０９によって使用される。セクション１．５に関して上記で論じられたように、主として、イントラ予測がレート歪みの意味でブロック細分化なしに行われることが好ましい回帰的な更新プロセスのために、画像テストブロック１１４およびこれらの関連付けられた隣接サンプル集合１１６のこれらのペアが適用されることを制御するメカニズムがあってもよく、これにより、いずれにせよそのサブブロック単位の符号化のコスト効率がより良い画像テストブロックに基づいて、パラメータ１１１および１１３が過度に最適化されるのを回避する。
これまでのところ、上記で論じられた実施形態は主に、エンコーダおよびデコーダが、それらのサポートされたイントラ予測モード６６内に、ニューラルネットワークベースイントラ予測モードの集合を有する場合に関係している。図９ａおよび図９ｂに関して論じられた実施形態によれば、これは必ずしもそうである必要はない。図９ａは、図７ａに関して上記で提示された説明との違いに焦点を当ててその説明が提供される実施形態にしたがって、エンコーダおよびデコーダの動作モードを概説しようとするものである。複数６６のサポートされたイントラ予測モードは、ニューラルネットワークベースイントラ予測モードを備えても備えなくてもよく、非ニューラルネットワークベースイントラ予測モードを備えても備えなくてもよい。したがって、サポートされたモード６６の各々に対応する予測信号を提供するためにエンコーダおよびデコーダにそれぞれ含まれる図９ａのモジュール１７０は、必ずしもニューラルネットワークではない。既に上記で示されたように、このようなイントラ予測モードはニューラルネットワークベースであってもよく、またはこれらはヒューリスティックに動機付けされ、ＤＣイントラ予測モードまたは角度イントラ予測モードまたはその他に基づいて予測信号を計算してもよい。したがって、これらのモジュール１７０は、予測信号コンピュータとして示されることが可能である。しかしながら、図９ａの実施形態によるエンコーダおよびデコーダは、ニューラルネットワーク８４を備える。ニューラルネットワーク８４は、複数６６のイントラ予測モードが順序リスト９４となり得るように、隣接サンプル集合８６に基づいて、サポートされたイントラ予測モード６６の確率値を計算する。ブロック１８のデータストリーム１２内のインデックス７０は、この順序リスト９４を指す。したがって、ニューラルネットワーク８４は、イントラ予測モード信号伝達のために費やされるサイド情報レートを下げるのを助ける。
図９ｂは、複数６６の各モードのニューラルネットワーク８４に対して決定された確率値にしたがって、確率またはその単純な統計を制御する、すなわちエンコーダ／デコーダでのエントロピーデコード／エンコードのエントロピー確率分布を制御すると共に、順序付けの代わりに、インデックス７０のエントロピーデコード／エンコード１００が使用される、図９ａの代替を示す。
図１０は、ニューラルネットワーク８４を設計またはパラメータ化するための装置を示す。したがって、イントラ予測モードの集合６６から選択するのを支援するためのニューラルネットワークを設計する装置１０８である。ここで、集合６６の各モードについて、ニューラルネットワーク８４を一緒に形成するための対応するニューラルネットワークブロックがあり、装置１０８のパラメータ化可能なニューラルネットワーク１０９は、単にこれらのブロックに関してパラメータ化可能である。しかしながら、各モードについて、図１０によれば、パラメータ可能でなくてもよい予測信号コンピュータ１７０もある。したがって、図１０の装置１０８は、対応する予測信号コンピュータ１７０によって計算されたとおりの予測信号１１８に基づいて、および任意選択的に、このモードの対応するニューラルネットワークブロックによって決定されたとおりの対応する確率値に基づいて、各モードのコスト推定を計算する。得られたコスト推定１２４に基づいて、最小コスト選択器１２６は最小コスト推定のモードを選択し、アップデータ１１０はニューラル８４のパラメータ１１１を更新する。
以下は、図７ａから図７ｄおよび図９ａおよび図９ｂの説明に関して注記される。図７ａから図７ｄの実施形態のいくつかでも使用される図９ａおよび図９ｂの実施形態の共通の特徴は、最適化プロセス９０においてエンコーダ側で決定されたモードをデコーダに通知するためのサイド情報７０に関連付けられたオーバヘッドを改善または低減するためのニューラルネットワーク値の確率値という事実であった。しかしながら、図７ａから図７ｄの実施形態に関して上記で示されたように、図９ａおよび図９ｂの実施形態が、モード選択に関してデータストリーム１２内でサイド情報７０がまったく費やされない程度に変化し得ることは、明らかである。むしろ、各モードについてニューラルネットワーク８４によって出力された確率値は、必然的にエンコーダとデコーダとの間のモード選択を同期するために使用され得る。その場合、モード選択に関してエンコーダ側で最適化決定９０はないだろう。むしろ、集合６６の間で使用されるモードは、同じ方法でエンコーダ側およびデコーダ側で決定される。データストリーム１２でサイド情報７０をまったく使用しないように変化したとき、図７ａから図７ｄの対応する実施形態に関して類似の説明が該当する。しかしながら、図９ａおよび図９ｂの実施形態に戻ると、興味深いのは、エンコーダに関する限り、確率値に対する順序付けまたは確率分布推定の依存性はサイド情報の解釈を変化させるという点において、デコーダ側の選択プロセス６８はニューラルネットワークによって出力された確率値に依存しているものの、確率値への依存性は、たとえば、順序リストへのインデックスのそれぞれの可変長符号化を使用する、またはニューラルネットワークの確率値に依存する確率分布推定を伴うエントロピーエンコード／デコードを使用する、データストリーム１２へのサイド情報７０の符号化に影響するのみならず、最適化ステップ９０にも影響することである。ここで、サイド情報７０を送信するための符号化率が考慮されてもよく、したがってこれは決定９０に影響を及ぼす可能性がある。
いくつかの態様は装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部または全ては、たとえば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（またはこれを使用して）実行されてもよい。いくつかの実施形態では、最も重要な方法ステップのうちの１つ以上が、このような装置によって実行されてもよい。
本発明のエンコードされたデータストリームは、デジタル記憶媒体上に記憶されることが可能であり、またはインターネットなどの無線送信媒体または有線送信媒体のような送信媒体で送信されることが可能である。
特定の実装要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実装され得る。本実装は、それぞれの方法が実行されるようにプログラム可能なコンピュータシステムと協働する（または協働可能な）、電子可読制御信号が記憶された、フロッピーディスク、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどのデジタル記憶媒体を使用して、実行され得る。したがって、デジタル記憶媒体はコンピュータ可読であり得る。
本発明によるいくつかの実施形態は、本明細書に記載される方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することが可能な、電子可読制御信号を有するデータキャリアを備える。
一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されると、方法の１つを実行するように動作する。プログラムコードは、たとえば、機械可読キャリア上に記憶されてもよい。
別の実施形態は、機械可読キャリア上に記憶された、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備える。
したがって、言い換えると、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されると、本明細書に記載される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを備え、それが記録された、データキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録媒体は、典型的には有形および／または非一時的である。
したがって、本発明の方法のさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえばインターネットを介して、たとえばデータ通信接続を介して転送されるように構成されてもよい。
さらなる実施形態は、本明細書に記載される方法の１つを実行するように構成または適合された、たとえばコンピュータまたはプログラマブル論理デバイスなどの処理手段を備える。
さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされたコンピュータを備える。
本発明によるさらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムを受信機に（たとえば、電子的または光学的に）送信するように構成された、装置またはシステムを備える。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを備えてもよい。
いくつかの実施形態では、プログラマブル論理デバイス（たとえばフィールドプログラマブルゲートアレイ）は、明細書に記載される方法の機能の一部または全てを実行するために使用され得る。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書に記載される方法の１つを実行するためにマイクロプロセッサと協働し得る。一般に、方法は、好ましくはいずれかのハードウェア装置によって実行される。
本明細書に記載される装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実装され得る。
本明細書に記載される装置、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装され得る。
本明細書に記載される方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置およびコンピュータの組み合わせを使用して、実行され得る。
本明細書に記載される方法、または本明細書に記載される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアによって実行され得る。
上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載される配置および詳細の修正および変形は、当業者にとって明らかとなることが理解される。したがって、差し迫った特許請求の範囲のみによって限定され、本明細書の実施形態の記載および説明によって提示される特定の詳細によっては限定されないことが意図される。

Claims (27)

  1. データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は、複数（６６）のイントラ予測モードをサポートし、前記装置は、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、前記画像の前記現在のブロック（１８）のためのイントラ予測信号を決定するように構成され、前記装置は、
    前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）し、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）する
    ように構成され、
    前記装置は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）を、さらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、ランクを決定し、
    前記データストリーム（１２）からインデックス（７０ｂ）を前記順序リストにデコードし、
    前記インデックス（７０ｂ）および前記順序リストを使用して前記選択を実行する
    ように構成されている、装置。
  2. 可変長コードを使用して前記データストリーム（１２）からインデックス（７０ｂ）をデコードし、
    前記インデックス（７０ｂ）を使用して前記選択を実行する
    ように構成されている、請求項１に記載の装置。
  3. 可変長コードを使用して、前記データストリーム（１２）から前記インデックス（７０ｂ）を前記順序リストにデコードするように構成されている、請求項１に記載の装置。
  4. データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は、複数（６６）のイントラ予測モードをサポートし、前記装置は、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、前記画像の前記現在のブロック（１８）のためのイントラ予測信号を決定するように構成され、前記装置は、
    前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）し、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）する
    ように構成され、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークまたは１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって確率値（１２０）を決定し、
    前記確率値（１２０）を使用して、前記データストリーム（１２）から、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーデコードし、
    前記インデックス（７０ｂ）を使用して前記選択を実行する
    ように構成されている、装置。
  5. 隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項１から４のいずれか一項に記載の装置。
  6. イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの前記第１の集合（６０）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項１から５のいずれか一項に記載の装置。
  7. 前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を含む、イントラ予測モードのさらなる集合をさらに備える、請求項１から６のいずれか一項に記載の装置。
  8. 前記複数のイントラ予測モードは、現在のブロック（１８）の前記イントラ予測信号が、線形関数を使用して前記現在のブロック（１８）の隣接サンプルの第３の集合から決定されるイントラ予測モードのさらなる集合をさらに備え、隣接サンプルの前記第１の集合（６０）に含まれる隣接サンプルの数は隣接サンプルの前記第３の集合に含まれる隣接サンプルの数よりも多い、請求項１から７のいずれか一項に記載の装置。
  9. 前記複数のイントラ予測モードから前記１つのイントラ予測モードを選択する際に、イントラ予測モードの前記集合またはイントラ予測モードの前記さらなる集合から前記１つのイントラ予測モードを選択するように、前記データストリーム（１２）内の１つのフラグに応答するように構成されている、請求項８に記載の装置。
  10. 画像（１０）をデータストリーム（１２）にブロック単位でエンコードするための装置であって、前記装置は、複数（６６）のイントラ予測モードをサポートし、前記装置は、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、前記画像の前記現在のブロック（１８）のためのイントラ予測信号を決定するように構成され、前記装置は、
    前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）し、
    前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
    ように構成され、
    前記装置は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）を、さらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、ランクを決定し、
    前記順序リストへのインデックス（７０ｂ）を前記データストリーム（１２）にエンコードする
    ように構成されており、
    前記インデックス（７０ｂ）は、前記順序リストから前記１つのイントラ予測モードを選択する、装置。
  11. 可変長コードを使用してインデックス（７０ｂ）を前記データストリーム（１２）にエンコードし、前記インデックス（７０ｂ）は前記選択を表している
    ように構成されている、請求項１０に記載の装置。
  12. 画像（１０）をデータストリーム（１２）にブロック単位でエンコードするための装置であって、前記装置は、複数（６６）のイントラ予測モードをサポートし、前記装置は、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、前記画像の前記現在のブロック（１８）のためのイントラ予測信号を決定するように構成され、前記装置は、
    前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）し、
    前記１つのイントラ予測モードを使用して、前記現在のブロック（１８）を予測する
    ように構成され、
    前記装置は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、確率値（１２０）を決定し、
    前記確率値（１２０）を使用して、前記データストリーム（１２）に、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーエンコードし、前記インデックス（７０ｂ）は前記１つのイントラ予測モードを指す
    ように構成されている、装置。
  13. 隣接サンプルの前記第１の集合（６０）は、隣接サンプルの前記第２の集合（８６）と一致する、請求項１０から１２のいずれか一項に記載の装置。
  14. イントラ予測モードの前記集合（７２）の各々は、排他的に、前記現在のブロック（１８）の隣接サンプルの前記第１の集合（６０）から前記現在のブロック（１８）のための前記イントラ予測信号を一意に決定する、請求項１０から１３のいずれか一項に記載の装置。
  15. 前記複数のイントラ予測モードは、前記現在のブロック（１８）がＤＣ値で満たされるＤＣモード、または前記現在のブロック（１８）の隣接サンプルの第３の集合から導出された前記現在のブロック（１８）と一緒に、所定の方向に沿って前記現在のブロック（１８）内に空間サンプル値分布を投影することによって前記イントラ予測信号が決定される方向モード、のうちの１つ以上を含む、イントラ予測モードのさらなる集合をさらに備える、請求項１０から１４のいずれか一項に記載の装置。
  16. 前記複数のイントラ予測モードは、現在のブロック（１８）の前記イントラ予測信号が、線形関数を使用して前記現在のブロック（１８）の隣接サンプルの第３の集合から選択されるイントラ予測モードのさらなる集合をさらに備え、隣接サンプルの前記第１の集合（６０）に含まれる隣接サンプルの数は隣接サンプルの前記第３の集合に含まれる隣接サンプルの数よりも多い、請求項１０から１５のいずれか一項に記載の装置。
  17. データストリーム（１２）に、前記１つのイントラ予測モードがイントラ予測モードの前記集合（７２）の要素であるかイントラ予測モードのさらなる集合の要素であるかを示す１つのフラグを提供するように構成されている、請求項１４または１５に記載の装置。
  18. データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、複数（６６）のイントラ予測モードをサポートし、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって前記画像の前記現在のブロック（１８）のイントラ予測信号が決定され、前記方法は、
    前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）するステップと、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）するステップと
    を備え、
    前記方法は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）を、さらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、ランクを決定するステップと、
    前記データストリーム（１２）からインデックス（７０ｂ）を前記順序リストにデコードするステップと、
    前記インデックス（７０ｂ）および前記順序リストを使用して前記選択を実行するステップと
    を備える、方法。
  19. データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、複数（６６）のイントラ予測モードをサポートし、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって前記画像の前記現在のブロック（１８）のイントラ予測信号が決定され、前記方法は、
    前記現在のブロック（１８）のために前記複数（６６）のイントラ予測モードから１つのイントラ予測モードを選択（６８）するステップと、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）するステップと
    を備え、
    前記方法は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワークまたは１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって確率値（１２０）を決定するステップと、
    前記確率値（１２０）を使用して、前記データストリーム（１２）から、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーデコードするステップと、
    前記インデックス（７０ｂ）を使用して前記選択を実行するステップと
    を備える、方法。
  20. 画像（１０）をデータストリーム（１２）にブロック単位でエンコードする方法であって、複数のイントラ予測モードをサポートし、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、前記画像（１０）の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、前記方法は、
    前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）するステップと、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測するステップと
    を備え、
    前記方法は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、イントラ予測モードの順序リストを取得するために、隣接サンプルの第２の集合（８６）を、さらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、ランクを決定するステップと、
    前記順序リストへのインデックス（７０ｂ）を前記データストリーム（１２）にエンコードするステップと、を備え、
    前記インデックス（７０ｂ）は、前記順序リストから前記１つのイントラ予測モードを選択する、方法。
  21. 画像（１０）をデータストリーム（１２）にブロック単位でエンコードする方法であって、複数のイントラ予測モードをサポートし、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、前記画像（１０）の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、前記方法は、
    前記現在のブロック（１８）のために前記複数のイントラ予測モードから１つのイントラ予測モードを選択（９０）するステップと、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測するステップと
    を備え、
    前記方法は、
    イントラ予測モードの前記集合（７２）の各イントラ予測モードについて、隣接サンプルの第２の集合（８６）をさらなるニューラルネットワーク、または各さらなる線形関数にそれぞれのさらなる非線形関数が続く１つ以上のさらなる線形関数のさらなるシーケンスに適用することによって、確率値（１２０）を決定するステップと、
    前記確率値（１２０）を使用して、前記データストリーム（１２）に、インデックス（７０ｂ）をイントラ予測モードの前記集合（７２）にエントロピーエンコードし、前記インデックス（７０ｂ）は前記１つのイントラ予測モードを指すステップと、
    を備える、方法。
  22. 現在のブロック（１８）の隣接サンプルの第１の集合（６０）を、第１ニューラルネットワーク（８０）またはイントラ予測モードに関連付けられた１つ以上の第１線形関数の第１シーケンスに適用することによって前記現在のブロック（１８）のイントラ予測信号が決定されるブロック単位の画像符号化のためのイントラ予測モードの集合（７２）の各々について、前記第１ニューラルネットワーク（８０）または各第１線形関数にそれぞれの第１非線形関数が続く１つ以上の第１線形関数の前記第１シーケンスをトレーニングするための方法であって、
    イントラ予測モードの前記集合（７２）の各々について、第１画像テストブロック（１１４）に隣接する隣接サンプル（１１６）の第１の集合（６０）を、イントラ予測モードの前記集合（７２）の各々について、前記第１画像テストブロックの予測信号（１１８）を取得するように、前記第１ニューラルネットワーク（８０）またはそれぞれのイントラ予測モードに関連付けられた１つ以上の線形第１関数に、および前記第１画像テストブロックに隣接する隣接サンプルの第２の集合（８６）を、イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードの確率を示す確率値（１２０）を取得するように、第２ニューラルネットワーク（８４）、または各第２線形関数にそれぞれの第２非線形関数が続く１つ以上の第２線形関数の第２シーケンスに、適用するステップと、
    イントラ予測モードの前記集合（７２）の各々について、前記それぞれのイントラ予測モードのために取得された前記予測信号（１１８）を使用して、予測誤差符号化およびモード信号伝達に関連する符号化コストのコスト推定（１２４）を決定（１２２）するステップと、
    最低符号化コスト推定のイントラ予測モードのために取得された前記予測信号（１１８）に応じて残差レート推定を形成する第１加数、および最低符号化コスト推定の前記イントラ予測モードのために取得された前記予測信号（１１８）および前記確率値（１２０）に応じてモードシグナリング側情報レート推定を形成する第２加数を有する符号化コスト関数を低減するように、イントラ予測モードの前記集合および前記第２ニューラルネットワーク（８４）の第２パラメータ（１１１）または１つ以上の第２線形関数の第２シーケンスの各々について、前記第１ニューラルネットワーク（８０）の第１パラメータ（１１３）または１つ以上の第１線形関数の第１シーケンスを更新（１１０）するステップと、
    第２画像テストブロックに隣接する隣接サンプルを、更新された前記第１および第２パラメータ（１１３、１１１）を用いて、イントラ予測モードの前記集合の各々について前記第１ニューラルネットワーク（８０）または第１線形関数の第１シーケンスに、および前記第２ニューラルネットワーク（８４）または第２線形関数の第２シーケンスに適用するステップと
    を備える方法。
  23. コンピュータ上で実行されると、請求項１８または１９に記載の方法を実行するための、プログラムコードを有するコンピュータプログラム。
  24. コンピュータ上で実行されると、請求項２０または２１に記載の方法を実行するための、プログラムコードを有するコンピュータプログラム。
  25. コンピュータ上で実行されると、請求項２２に記載の方法を実行するための、プログラムコードを有するコンピュータプログラム。
  26. データストリーム（１２）から画像（１０）をブロック単位でデコードするための装置であって、前記装置は、複数（６６）のイントラ予測モードをサポートし、前記装置は、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって、前記画像の前記現在のブロック（１８）のためのイントラ予測信号を決定するように構成され、これはそれぞれのイントラ予測モードに関連付けられており、前記装置は、
    前記現在のブロック（１８）について、前記データストリーム内のモード信号伝達にしたがってイントラ予測モードの前記集合（６６）から１つのイントラ予測モードを選択（６８）し、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）する
    ように構成されており、
    イントラ予測モードの前記集合（７２）の各々について、前記ニューラルネットワーク（８０）または１つ以上の線形関数のシーケンスは、請求項２２に記載の方法によって取得される、装置。
  27. データストリーム（１２）から画像（１０）をブロック単位でデコードする方法であって、前記方法は、複数（６６）のイントラ予測モードをサポートし、前記複数（６６）のイントラ予測モードのうちの少なくともイントラ予測モードの集合（７２）に関して、前記画像の現在のブロック（１８）のためのイントラ予測信号が、前記現在のブロック（１８）の隣接サンプルの第１の集合（６０）をニューラルネットワーク（８０）または各線形関数にそれぞれの非線形関数が続く１つ以上の線形関数のシーケンスに適用することによって決定され、これはそれぞれのイントラ予測モードに関連付けられており、前記方法は、
    前記現在のブロック（１８）について、前記データストリーム内のモード信号伝達にしたがってイントラ予測モードの前記集合（６６）から１つのイントラ予測モードを選択（６８）するステップと、
    前記１つのイントラ予測モードを使用して前記現在のブロック（１８）を予測（７１）するステップと、
    を備え、
    イントラ予測モードの前記集合（７２）の各々について、前記ニューラルネットワーク（８０）または１つ以上の線形関数のシーケンスは、請求項２２に記載の方法によって取得される、方法。
JP2020520774A 2017-10-13 2018-10-10 ブロック単位の画像符号化のためのイントラ予測モード概念 Active JP7210568B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17196402.6 2017-10-13
EP17196402 2017-10-13
PCT/EP2018/077609 WO2019072921A1 (en) 2017-10-13 2018-10-10 INTRA-PREDICTION MODE CONCEPT FOR BLOCK IMAGE CODING

Publications (2)

Publication Number Publication Date
JP2020537445A JP2020537445A (ja) 2020-12-17
JP7210568B2 true JP7210568B2 (ja) 2023-01-23

Family

ID=60083873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020520774A Active JP7210568B2 (ja) 2017-10-13 2018-10-10 ブロック単位の画像符号化のためのイントラ予測モード概念

Country Status (7)

Country Link
US (3) US11363259B2 (ja)
EP (2) EP4546785A3 (ja)
JP (1) JP7210568B2 (ja)
KR (1) KR102454936B1 (ja)
CN (2) CN111466115B (ja)
TW (2) TWI702824B (ja)
WO (1) WO2019072921A1 (ja)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019185808A1 (en) 2018-03-29 2019-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Intra-prediction mode concept for block-wise picture coding
KR20200028856A (ko) * 2018-09-07 2020-03-17 김기백 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
WO2020053394A1 (en) 2018-09-13 2020-03-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Affine linear weighted intra predictions
US11599773B2 (en) 2018-12-27 2023-03-07 Micron Technology, Inc. Neural networks and systems for decoding encoded data
WO2020254723A1 (en) * 2019-06-19 2020-12-24 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN110708559B (zh) * 2019-09-03 2022-03-25 北京达佳互联信息技术有限公司 图像处理方法、装置及存储介质
WO2021069688A1 (en) * 2019-10-11 2021-04-15 Interdigital Vc Holdings France, Sas Deep intra predictor generating side information
KR20220088888A (ko) * 2019-11-07 2022-06-28 인터디지털 브이씨 홀딩스 프랑스 에스에이에스 인트라 예측을 위한 신경망의 반복 트레이닝
US11424764B2 (en) 2019-11-13 2022-08-23 Micron Technology, Inc. Recurrent neural networks and systems for decoding encoded data
AU2020397503B2 (en) * 2019-12-06 2023-11-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Matrix based intra prediction with mode-global settings
CN115104301A (zh) * 2020-02-21 2022-09-23 交互数字Vc控股法国公司 用于视频编码或解码的基于神经网络的帧内预测
WO2021165569A1 (en) * 2020-02-21 2021-08-26 Nokia Technologies Oy A method, an apparatus and a computer program product for video encoding and video decoding
CN111800642B (zh) * 2020-07-02 2023-05-26 中实燃气发展(西安)有限公司 Hevc帧内角度模式选择方法、装置、设备及可读存储介质
US12206894B2 (en) 2020-09-23 2025-01-21 Electronics And Telecommunications Research Institute Apparatus, method and storage medium for image encoding/decoding to perform intra prediction using artificial neutral network
CN114286099B (zh) * 2020-09-28 2025-03-21 华为技术有限公司 帧内预测方法及装置
US12062150B2 (en) * 2020-09-30 2024-08-13 Tencent America LLC Method and apparatus for block-wise neural image compression with post filtering
CN114584776B (zh) * 2020-11-30 2025-02-25 华为技术有限公司 帧内预测模式的译码方法和装置
US20220201295A1 (en) * 2020-12-21 2022-06-23 Electronics And Telecommunications Research Institute Method, apparatus and storage medium for image encoding/decoding using prediction
US11496746B2 (en) * 2021-02-02 2022-11-08 Qualcomm Incorporated Machine learning based rate-distortion optimizer for video compression
CN114915782B (zh) * 2021-02-10 2025-09-12 华为技术有限公司 一种编码方法、解码方法及设备
JP7568835B2 (ja) * 2021-04-23 2024-10-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像復号方法、画像符号化方法、画像復号装置、及び画像符号化装置
US11973513B2 (en) 2021-04-27 2024-04-30 Micron Technology, Inc. Decoders and systems for decoding encoded data using neural networks
US11563449B2 (en) 2021-04-27 2023-01-24 Micron Technology, Inc. Systems for error reduction of encoded data using neural networks
JP2024516809A (ja) * 2021-04-28 2024-04-17 インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ ニューラルネットワークベースのイントラ予測モードと通常イントラ予測モードとの間の相互作用
WO2022257134A1 (zh) * 2021-06-11 2022-12-15 Oppo广东移动通信有限公司 一种视频编解码方法、装置、系统及存储介质
EP4381740A1 (en) * 2021-10-05 2024-06-12 Sony Group Corporation Adaptive mode selection for point cloud compression
US11755408B2 (en) * 2021-10-07 2023-09-12 Micron Technology, Inc. Systems for estimating bit error rate (BER) of encoded data using neural networks
CN119096543A (zh) * 2022-01-13 2024-12-06 联发科技股份有限公司 用于视频编码的环内神经网络
US20250150586A1 (en) * 2023-11-03 2025-05-08 Tencent America LLC Direction-adaptive region-based prediction combination
WO2025198317A1 (ko) * 2024-03-22 2025-09-25 동아대학교 산학협력단 비디오 부/복호화 방법 및 장치 그리고 비트스트림을 저장한 기록 매체
WO2025221098A1 (ko) * 2024-04-15 2025-10-23 현대자동차주식회사 히스토리 기반 mpm 후보를 이용한 인트라 예측 모드의 코딩 방법 및 이를 이용한 장치
WO2026063623A1 (ko) * 2024-09-20 2026-03-26 현대자동차주식회사 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP2013012791A (ja) 2011-05-30 2013-01-17 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
WO2016199330A1 (ja) 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4735375B2 (ja) * 2006-04-04 2011-07-27 株式会社日立製作所 画像処理装置及び動画像符号化方法。
JP5421757B2 (ja) * 2009-12-11 2014-02-19 株式会社Ｋｄｄｉ研究所 画像符号化装置
JP5222870B2 (ja) * 2010-03-05 2013-06-26 日本放送協会 イントラ予測装置、符号化器、復号器及びプログラム
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
GB2491391B (en) * 2011-06-02 2014-09-03 Canon Kk Encoding mode values representing prediction modes
TWI562606B (en) 2012-01-30 2016-12-11 Samsung Electronics Co Ltd Apparatus for decoding video
CN105430415B (zh) * 2015-12-02 2018-02-27 宁波大学 一种3d‑hevc深度视频帧内快速编码方法
US11197013B2 (en) * 2017-07-06 2021-12-07 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image
WO2019197712A1 (en) * 2018-04-09 2019-10-17 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
US11240492B2 (en) * 2019-01-22 2022-02-01 Apple Inc. Neural network based residual coding and prediction for predictive coding
US11575938B2 (en) * 2020-01-10 2023-02-07 Nokia Technologies Oy Cascaded prediction-transform approach for mixed machine-human targeted video coding
CN111901592B (zh) * 2020-06-30 2023-01-17 北京大学 预测编码神经网络权重更新方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009111691A (ja) 2007-10-30 2009-05-21 Hitachi Ltd 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法
JP2013012791A (ja) 2011-05-30 2013-01-17 Jvc Kenwood Corp 画像復号装置、画像復号方法及び画像復号プログラム
WO2016199330A1 (ja) 2015-06-12 2016-12-15 パナソニックＩｐマネジメント株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
PFAFF, Jonathan et al.，Intra prediction modes based on neural networks，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018, [JVET-J0037-v1]，JVET-J0037 (version 1)，ITU-T，2018年04月03日，JVET-J0037.docx: pp. 1-14
豊崎 富心 他，ディープラーニングを用いたＨＥＶＣイントラ高速化手法の提案 ，映像情報メディア学会２０１６年冬季大会講演予稿集，2016年12月07日，12B-6，p. 1，(TOYOZAKI, Tomihiro et al., Fast Intra Prediction Mode Decision Method for HEVC Coding by using Deep Learning in HEVC Intra Coding, PROCEEDINGS OF THE 2016 ITE WINTER ANNUAL CONVENTION PROCEEDINGS OF THE 2016 ITE WINTER ANNUAL CONVENTION)

Also Published As

Publication number Publication date
TWI702824B (zh) 2020-08-21
KR102454936B1 (ko) 2022-10-17
JP2020537445A (ja) 2020-12-17
EP4546785A3 (en) 2025-07-23
CN117768643A (zh) 2024-03-26
US20220321881A1 (en) 2022-10-06
EP4546785A2 (en) 2025-04-30
TW202119818A (zh) 2021-05-16
TW201924331A (zh) 2019-06-16
CN111466115B (zh) 2023-12-15
US20240137500A1 (en) 2024-04-25
EP3695599A1 (en) 2020-08-19
US11889066B2 (en) 2024-01-30
KR20200062322A (ko) 2020-06-03
CN111466115A (zh) 2020-07-28
EP3695599B1 (en) 2025-04-09
TWI794623B (zh) 2023-03-01
WO2019072921A1 (en) 2019-04-18
US20200244955A1 (en) 2020-07-30
US11363259B2 (en) 2022-06-14

Similar Documents

Publication Publication Date Title
JP7210568B2 (ja) ブロック単位の画像符号化のためのイントラ予測モード概念
JP7670914B2 (ja) ブロック単位の画像符号化のためのイントラ予測モードの概念
JP2021519546A (ja) 映像符号化のための候補変換セットの決定
CN111328449A (zh) 细分块的自动扫描顺序
HK40109114A (zh) 用於逐块图片编码的帧内预测模式概念
HK40109403A (zh) 逐块图像编码的帧内预测模式概念

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200609

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210803

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211028

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20211217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220111

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230111

R150 Certificate of patent or registration of utility model

Ref document number: 7210568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250