JP7769063B2

JP7769063B2 - ビデオピクチャの復号および符号化の方法ならびに装置

Info

Publication number: JP7769063B2
Application number: JP2024145112A
Authority: JP
Inventors: 旭 ▲陳▼; 建▲ファ▼ ▲鄭▼
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2018-12-07
Filing date: 2024-08-27
Publication date: 2025-11-12
Anticipated expiration: 2039-12-06
Also published as: CA3122329C; DK3893510T3; KR20230149344A; AU2019394522B9; CN115243049A; US11758130B2; CN115243048B; EP3893510A1; EP4346212A2; EP3893510B1; KR102759483B1; MX2024010177A; KR102593525B1; AU2026201183A1; US20240040113A1; AU2019394522A1; AU2019394522B2; BR112021010896A2; ES2978268T3; HUE066747T2

Description

関連出願の相互参照
本出願は、その全体が参照によって本明細書に組み込まれる、2018年12月7日に中国特許庁に出願された「VIDEO PICTURE PREDICTION METHOD AND APPARATUS」という表題の中国特許出願第201811497390.2号の優先権を主張する。本出願は、その全体が参照によって本明細書に組み込まれる、2018年12月21日に中国特許庁に出願された「VIDEO PICTURE DECODING AND ENCODING METHOD AND APPARATUS」という表題の中国特許出願第201811574426.2号の優先権を主張する。

本出願は、ピクチャコーディング技術の分野に関し、詳細には、ビデオピクチャ復号方法、ビデオピクチャ符号化方法、ビデオピクチャ復号装置、およびビデオピクチャ符号化装置に関する。

情報技術の発展により、高精細テレビジョン、ウェブ会議、IPTV、および3Dテレビジョンなどのビデオサービスが急速に発展している。直感性および高い効率などの利点により、ビデオ信号は、人々の日常生活において主要な情報取得方式になっている。ビデオ信号は、大量のデータを含むので、大量の送信帯域幅および記憶空間を占有する。ビデオ信号を効果的に送信して記憶するために、圧縮コーディングがビデオ信号に対して実行される必要がある。ビデオ圧縮技術は、ビデオ応用の分野において欠かせない重要技術に徐々になっている。

ビデオコーディング圧縮の基本的な原理は、空間領域と、時間領域と、符号語との間の相関を使用することによって、冗長性を最大限減らすことである。現在、普及している方法は、ピクチャブロックベースのハイブリッドビデオコーディングフレームワークを使用することによって、ならびに、予測(イントラ予測およびインター予測を含む)、変換、量子化、およびエントロピーコーディングなどのステップを実行することによって、ビデオコーディング圧縮を実施することである。

様々なビデオ符号化/復号方法において、インター予測における動き推定/動き補償は、符号化/復号性能に影響する重要技術である。既存のインター予測では、動きベクトル差分を用いたマージモード(merge mode with motion vector difference, MMVD)および三角予測ユニット(triangle prediction unit, triangle PU)モードが追加される。しかしながら、既存のインター予測の実装形態では、同じ条件のもとで、MMVDインジケータとtriangle PUインジケータの両方がコーディングされる必要がある。その結果、両方のモードを両立させる際に冗長性が生じる。

本出願は、MMVDとtriangle PUモードを両立させる際に生じる冗長性の従来の問題をある程度解決するための、ビデオピクチャの復号および符号化の方法、ならびにビデオピクチャの復号および符号化の装置を提供する。

第1の態様によれば、本出願の実施形態は、ビデオピクチャ復号方法を提供し、この方法は、
ビットストリームからの第1のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用される(たとえば、スキップモードが許容される)ことを第1のインジケータが示すとき、ビットストリームからの第2のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモード(MMVD)が使用されない(たとえば、スキップモードにおいて、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されない)ことを第2のインジケータが示すとき、ビットストリームからの第3のインジケータを解析するステップとを含み、第3のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される(たとえば、スキップモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される)ことを示し、または、第3のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されない(たとえば、スキップモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されない)ことを示す。

第3のインジケータはsps_triangle_enabled_flagではなく、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行され、インジケータ情報は、第1のインジケータ、第2のインジケータ、および第3のインジケータのうちの1つまたは複数を含むことに留意されたい。

第3のインジケータが解析される前に別のインジケータがさらに解析され得る事例が、本出願において排除されないことを理解されたい。たとえば、第3のインジケータは、別のインジケータがfalseであると解析された後に解析され得る。

たとえば、第1のインジケータはcu_skip_flag[x0][y0]とも呼ばれてもよく、第1のインジケータは標準的なテキストまたは符号である前述の名称を使用してもよい。第2のインジケータは、skip_mmvd_flag[x0][y0]、mmvd_flag[x0][y0]、またはmerge_mmvd_flag[x0][y0]とも呼ばれてもよく、第2のインジケータは標準的なテキストまたは符号である前述の名称のうちの1つを使用してもよい。第3のインジケータは、skip_triangle_flag[x0][y0]、triangle_flag[x0][y0]、またはmerge_triangle_flag[x0][y0]とも呼ばれてもよく、第3のインジケータは標準的なテキストまたは符号である前述の名称のうちの1つを使用してもよい。

たとえば、第1の値は1(またはtrue)であってもよく、第2の値は0(またはfalse)であってもよい。第1の値および第2の値は交換可能であることを理解されたい。たとえば、第1の値は0(またはfalse)であってもよく、第2の値は1(またはtrue)であってもよい。本出願のこの実施形態では、スキップモードが使用されると決定されるとき、MMVDが使用されないことが復号を通じて決定されるときにのみ、三角予測ユニット(triangle PU)インジケータが復号される。言い換えると、MMVDが使用されることが復号を通じて決定されるとき、第3のインジケータがビットストリームから解析される必要はなく(言い換えると、三角予測ユニットインジケータがコーディングされる必要はなく)、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行され得る。これは、MMVDとtriangle PUモードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

ある可能な設計では、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行するステップは、
第3のインジケータが第1の値であるとき、三角予測ユニットモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行することを許容するステップ、または、
第3のインジケータが第2の値であるとき、スキップモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行することを許容するステップを含む。

ある例では、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されることが許容されないと決定されるとき、スキップモードがインター予測のために使用されると決定され得る。当然、スキップモードの中の別のモードがビットストリームから解析され得る。この場合、スキップモードの中の別のモードは代替的に、現在の処理されるべきピクチャブロックのインター予測のために使用され得る。これは本出願では限定されない。

ある可能な設計では、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するステップは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するステップを含む。

ある可能な設計では、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、第3のインジケータを復号する動作は実行されない。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されないことが、直接決定または推測され得る。さらに、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、triangle PUモードのための関連するインジケータは解析されず、スキップモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行される。

前述の設計において、スキップモードが使用されることが決定されるとき、MMVDが使用されることが復号を通じて決定される場合、第3のインジケータ(triangle PUインジケータ)は復号されなくてもよく、それに対応して、エンコーダ側も、ビットストリームの中の第3のインジケータを符号化する必要がない。triangle PUインジケータは、MMVDが使用されないことが復号を通じて決定されるときにのみ復号される。これは、MMVDとtriangle PUモードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

ある可能な設計では、方法は、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されない(たとえば、使用されることが許容されない)ことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない)ことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析するステップとをさらに含み、第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容される(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容される)ことを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されない(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されない)ことを示す。

第6のインジケータはsps_triangle_enabled_flagではないことに留意されたい。

第6のインジケータが解析される前に別のインジケータがさらに解析され得る事例が、本出願において排除されないことを理解されたい。たとえば、第6のインジケータは、別のインジケータがfalseであると解析された後に解析され得る。

それに対応して、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行され、インジケータ情報は、第1のインジケータ、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む。

たとえば、第4のインジケータはmerge_flag[x0][y0]とも呼ばれてもよく、第4のインジケータは標準的なテキストまたは符号である前述の名称を使用してもよい。第5のインジケータは、merge_mmvd_flag[x0][y0]またはmmvd_flag[x0][y0]とも呼ばれてもよく、第5のインジケータは標準的なテキストまたは符号である前述の名称のうちの1つを使用してもよい。第6のインジケータは、merge_triangle_flag[x0][y0]またはtriangle_flag[x0][y0]とも呼ばれてもよく、第6のインジケータは標準的なテキストまたは符号である前述の名称のうちの1つを使用してもよい。

本明細書の第3の値および第1の値は、区別を簡単にするためだけに使用され、本出願において限定されないことを理解されたい。たとえば、第1の値と第3の値の両方が1であり得る。同様に、第4の値と第2の値も区別を簡単にするためだけに使用される。たとえば、第2の値と第4の値の両方が0であり得る。第1の値および第2の値は交換可能であることを理解されたい。たとえば、第1の値は0であってもよく、第2の値は1であってもよい。第3の値および第4の値は交換可能である。たとえば、第3の値は0であってもよく、第4の値は1であってもよい。

スキップモードはマージモードの1つであることを理解されたい。したがって、本明細書の第2のインジケータおよび第5のインジケータは、同じ方式で名付けられ得る。たとえば、両方がmmvd_flag[x0][y0]またはmerge_mmvd_flag[x0][y0]と呼ばれる。同様に、第3のインジケータおよび第6のインジケータも、同じ方式で名付けられ得る。たとえば、両方がtriangle_flag[x0][y0]またはmerge_triangle_flag[x0][y0]と呼ばれる。

前述の設計では、マージモードが使用されると決定されるとき、MMVDが使用されないことが復号を通じて決定されるときにのみ、triangle PUインジケータが復号される。これは、MMVDとtriangle PUモードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

ある可能な設計では、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行するステップは、
第6のインジケータが第3の値であるとき、三角予測ユニットモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行するステップ、または、
第6のインジケータが第4の値であるとき、マージモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行するステップを含む。

ある可能な設計では、ビットストリームからの第3のインジケータを解析するステップは、
三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第3のインジケータを解析するステップを含む。

ある可能な設計では、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行するステップは、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、マージモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するステップを含む。

ある可能な設計では、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、第6のインジケータを復号する動作は実行されない。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されないことが、直接決定または推測され得る。さらに、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、マージモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、triangle PUモードのための関連するインジケータが解析される必要はなく、マージモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行され得る。

前述の設計では、マージモードが使用されると決定されるとき、MMVDが使用されることが復号を通じて決定される場合、triangle PUインジケータはコーディングされなくてもよく、MMVDが使用されないことが復号を通じて決定されるときにのみ、triangle PUインジケータがコーディングされる。これは、MMVDと三角予測ユニット(triangle PU)モードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

ある可能な設計では、ビットストリームからの第6のインジケータを解析するステップは、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第6のインジケータを解析するステップを含み得る。

たとえば、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件は、以下のうちの少なくとも1つを含み得る。
(1)triangle PU制御ビットが真である(sps_triangle_enabled_flag == 1)、
(2)現在の処理されるべきピクチャブロックを含むビデオフレームがBフレーム(slice_type == B)である、
(3)現在の処理されるべきピクチャブロックの高さと幅の積が16以上である(cbWidth * cbHeight >= 16)、および
(4)現在の処理されるべきピクチャブロックのためにアフィン(affine)モードが使用されることが許容されない。

第3のインジケータが解析される前に他のインジケータ情報がさらに解析される事例が、本出願のこの実施形態において排除されないことを理解されたい。インジケータ情報の値がfalseであるとき、第3のインジケータがビットストリームから解析されることを理解されたい。

たとえば、第1の態様の設計は、triangle PUインジケータが復号される前にMMVDインジケータが復号されるという観点から説明される。本出願では、triangle PUインジケータは代替的に、MMVDインジケータが復号される前に復号され得る。例は次の通りである。

ビデオピクチャ復号方法は、
ビットストリームからの第1のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、ビットストリームからの第3のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを第3のインジケータが示すとき、ビットストリームからの第2のインジケータを解析するステップとを含み、第2のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを示し、または、第2のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを示し、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行され、インジケータ情報は、第1のインジケータ、第2のインジケータ、および第3のインジケータのうちの1つまたは複数を含む。

たとえば、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行され、または、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、スキップモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行され、
第3のインジケータが第1の値であるとき、三角予測ユニットモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測が実行される。

たとえば、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、第4のインジケータがビットストリームから解析され、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、第6のインジケータがビットストリームから解析され、
現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを第6のインジケータが示すとき、第5のインジケータがビットストリームから解析される。

第5のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを示す。

たとえば、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行され、または、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、マージモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。

第2の態様によれば、本出願の実施形態は、ビデオピクチャ復号方法を提供し、この方法は、
ビットストリームからの第4のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析するステップと、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない)ことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析するステップであって、第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される)ことを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されない(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されない)ことを示す、ステップと、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するステップであって、インジケータ情報が、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む、ステップとを含む。

前述の設計では、マージモードが使用されると決定されるとき、MMVDが使用されないことが復号を通じて決定されるときにのみ、triangle PUインジケータが復号される。言い換えると、MMVDが使用されることが復号を通じて決定されるとき、第6のインジケータは、ビットストリームから解析される必要はなく(言い換えると、triangle PUインジケータはコーディングされる必要はなく)、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行され得る。これは、MMVDとtriangle PUモードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

ある可能な設計では、ビットストリームからの第6のインジケータを解析するステップは、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第6のインジケータを解析するステップを含む。

ある可能な設計では、方法は、ビットストリームからの第1のインジケータを解析するステップをさらに含み、
ビットストリームからの第4のインジケータを解析するステップは、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析するステップを含む。

第3の態様によれば、本出願の実施形態は、ビデオピクチャ符号化方法を提供し、この方法は、
現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するステップと、
ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するステップとを含み、
インジケータ情報は第1のインジケータを含み、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、インジケータ情報は第2のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない(たとえば、スキップモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない)ことを第2のインジケータが示すとき、インジケータ情報は第3のインジケータをさらに含む。

第3のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される(たとえば、スキップモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される)ことを示し、または、第3のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されない(たとえば、スキップモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されない)ことを示す。

現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードが決定されるとき、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードは、現在の処理されるべきピクチャブロックのための適切な予測モードを決定または選択する過程において、レート歪みコスト基準に従って、現在の処理されるべきピクチャブロックのための1つまたは複数のインター予測モードから決定され得る。たとえば、最小のレート歪みコストに対応する予測モードが、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードとして選択される。

別の説明の様式では、本出願の実施形態は、ビデオピクチャ符号化方法を提供し、この方法は、
ビットストリームにおいて第1のインジケータを符号化し、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、ビットストリームにおいて第2のインジケータを符号化するステップと、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、ビットストリームにおいて第3のインジケータを符号化するステップとを含む。

第3のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示し、または、第3のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示す。

さらに別の説明の様式では、本出願の実施形態は、ビデオピクチャ符号化方法を提供し、この方法は、
第1のインジケータの値、第2のインジケータの値、および第3のインジケータの値を決定するステップと、
第1のインジケータ、第2のインジケータ、および第3のインジケータをビットストリームにおいて符号化するステップであって、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを示すために第1のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを示すために第2のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示すために第3のインジケータの値が使用される、ステップ、または、
第1のインジケータ、第2のインジケータ、および第3のインジケータをビットストリームにおいて符号化するステップであって、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを示すために第1のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを示すために第2のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示すために第3のインジケータの値が使用される、ステップ、または、
第1のインジケータおよび第2のインジケータをビットストリームにおいて符号化するステップであって、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを示すために第1のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されることを示すために第2のインジケータの値が使用される、ステップとを含む。

ある可能な設計では、インジケータ情報が第2のインジケータを含むとき(ビットストリームが第2のインジケータを含むとき)、ビットストリームにおいて、第2のインジケータは第1のインジケータの後に位置し、または、インジケータ情報が第3のインジケータをさらに含むとき(ビットストリームが第3のインジケータを含むとき)、ビットストリームにおいて、第3のインジケータは第2のインジケータの後に位置する。

ある可能な設計では、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、インジケータ情報は第4のインジケータをさらに含み(言い換えると、ビットストリームにおいて第4のインジケータを符号化する)、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み(言い換えると、ビットストリームにおいて第5のインジケータを符号化する)、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む(言い換えると、ビットストリームにおいて第6のインジケータを符号化する)。

第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示す。

ある可能な設計では、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、インジケータ情報が第3のインジケータをさらに含むことは、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、および、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、インジケータ情報が第3のインジケータをさらに含むことを含む。

第4の態様によれば、本出願の実施形態は、ビデオピクチャ符号化方法を提供し、この方法は、
現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するステップと、
ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するステップとを含み、
インジケータ情報は第4のインジケータを含み、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されない)ことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む。

第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される(たとえば、マージモードにおいて、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用される)ことを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示す。

別の説明の様式では、本出願の実施形態は、ビデオピクチャ符号化方法を提供し、この方法は、
ビットストリームにおいて第4のインジケータを符号化するステップと、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームにおいて第5のインジケータを符号化するステップと、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームにおいて第6のインジケータを符号化するステップとを含む。

ある可能な設計では、インジケータ情報が第5のインジケータを含むとき(ビットストリームが第5のインジケータを含むとき)、ビットストリームにおいて、第5のインジケータは第4のインジケータの後に位置し、または、インジケータ情報が第6のインジケータをさらに含むとき(ビットストリームが第6のインジケータを含むとき)、ビットストリームにおいて、第6のインジケータは第5のインジケータの後に位置する。

ある可能な設計では、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報が第6のインジケータをさらに含むことは、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、および、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、インジケータ情報が第6のインジケータをさらに含むことを含む。

ある可能な設計では、インジケータ情報は第1のインジケータをさらに含み、第1のインジケータは、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを示す。

ある可能な設計では、ビットストリームにおいて、第1のインジケータは第4のインジケータの前に位置する。

第5の態様によれば、本出願のある実施形態は、第1の態様による任意の方法を実施するように構成されるいくつかの機能ユニットを含む、ビデオピクチャ復号装置を提供する。

たとえば、ビデオピクチャ復号装置は、エントロピー復号ユニットおよびインター予測ユニットを含み得る。

エントロピー復号ユニットは、ビットストリームからの第1のインジケータを解析するように構成される。

エントロピー復号ユニットは、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、ビットストリームからの第2のインジケータを解析するようにさらに構成される。

エントロピー復号ユニットは、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、ビットストリームからの第3のインジケータを解析するようにさらに構成される。

インター予測ユニットは、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成され、インジケータ情報は、第1のインジケータ、第2のインジケータ、および第3のインジケータのうちの1つまたは複数を含む。

ある可能な設計では、インター予測ユニットは、第3のインジケータが第1の値であるとき、三角予測ユニットモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、または、第3のインジケータが第2の値であるとき、スキップモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように特に構成される。

ある可能な設計では、インター予測ユニットは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように特に構成される。

ある可能な設計では、エントロピー復号ユニットは、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析し、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析し、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析するようにさらに構成される。

ある可能な設計では、インジケータ情報が、第1のインジケータ、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含むとき、インター予測モードは、
第6のインジケータが第3の値であるとき、三角予測ユニットモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行する、または、
第6のインジケータが第4の値であるとき、マージモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測を実行するために特に使用される。

ある可能な設計では、ビットストリームからの第3のインジケータを解析するとき、エントロピー復号ユニットは、
三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第3のインジケータを解析するように特に構成される。

第6の態様によれば、本出願のある実施形態は、第2の態様による任意の方法を実施するように構成されるいくつかの機能ユニットを含む、ビデオピクチャ復号装置を提供する。

エントロピー復号ユニットは、ビットストリームからの第4のインジケータを解析するように構成される。

エントロピー復号ユニットは、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析するようにさらに構成される。

インター予測ユニットは、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成され、インジケータ情報は、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む。

ある可能な設計では、インター予測ユニットは、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように特に構成される。

ある可能な設計では、ビットストリームからの第6のインジケータを解析するとき、エントロピー復号ユニットは、
三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第6のインジケータを解析するように特に構成される。

第6のインジケータが解析される前に他のインジケータ情報がさらに解析される事例が、本出願において排除されないことを理解されたい。インジケータ情報の値がfalseであるとき、第6のインジケータがビットストリームから解析されることを理解されたい。

ある可能な設計では、エントロピー復号ユニットは、ビットストリームからの第1のインジケータを解析するようにさらに構成される。

ビットストリームからの第4のインジケータを解析するとき、エントロピー復号ユニットは、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析するように特に構成される。

第7の態様によれば、本出願のある実施形態は、第3の態様による任意の方法を実施するように構成されるいくつかの機能ユニットを含む、ビデオピクチャ符号化装置を提供する。

たとえば、ビデオピクチャ符号化装置は、
現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するように構成される、インター予測ユニットと、
ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するように構成される、エントロピー符号化ユニットとを含んでもよく、
インジケータ情報は第1のインジケータを含み、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、インジケータ情報は第2のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、インジケータ情報は第3のインジケータをさらに含む。

たとえば、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するとき、インター予測ユニットは、現在の処理されるべきピクチャブロックのための1つまたは複数のインター予測モードから、現在の処理されるべきピクチャブロックのための適切な予測モードを決定または選択する過程において、レート歪みコスト基準に従って、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定し得る。たとえば、最小のレート歪みコストに対応する予測モードが、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードとして選択される。

ある可能な設計では、インジケータ情報が第2のインジケータを含むとき、ビットストリームにおいて、第2のインジケータは第1のインジケータの後に位置し、または、インジケータ情報が第3のインジケータをさらに含むとき、ビットストリームにおいて、第3のインジケータは第2のインジケータの後に位置する。

ある可能な設計では、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、インジケータ情報は第4のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む。

第8の態様によれば、本出願のある実施形態は、第4の態様による任意の方法を実施するように構成されるいくつかの機能ユニットを含む、ビデオピクチャ符号化装置を提供する。

たとえば、ビデオピクチャ符号化装置は、
現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するように構成される、インター予測ユニットと、
ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するように構成される、エントロピー符号化ユニットとを含んでもよく、
インジケータ情報は第4のインジケータを含み、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む。

ある可能な設計では、インジケータ情報が第5のインジケータを含むとき、ビットストリームにおいて、第5のインジケータは第4のインジケータの後に位置し、または、インジケータ情報が第6のインジケータをさらに含むとき、ビットストリームにおいて、第6のインジケータは第5のインジケータの後に位置する。

第9の態様によれば、本出願の実施形態は、ビデオピクチャ復号方法をさらに提供し、この方法は、
ビットストリームからの第7のインジケータ(たとえば、mh_intra_flag[x0][y0])を解析するステップと、現在の処理されるべきピクチャブロックのために組み合わせられたインター予測とイントラ予測(すなわち、Combined inter merge/intra prediction)が使用されないことを第7のインジケータが示すとき、ビットストリームからの第8のインジケータ(たとえば、merge_triangle_flag[x0][y0])を解析するステップであって、第8のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示し、または、第8のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示す、ステップと、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対するインター予測を実行するステップであって、インジケータ情報が第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む、ステップとを含む。

第8のインジケータが解析される前に他のインジケータ情報がさらに解析され得る事例は、排除されないことを理解されたい。第8のインジケータを解析するかどうかを決定するために別の条件が考慮される必要のある事例も、排除されない。本明細書の別の条件は、たとえば、sps_triangle_enabled_flag && slice_type (スライスタイプ) == B && cbWidth (現在のブロックの幅) * cbHeight (現在のブロックの高さ) >= 16である。ある例では、sps_triangle_enabled_flagは、現在の処理されるべきピクチャブロックを含むシーケンスのために三角予測ユニットモードが使用されることが許容されるかどうかを示す。言い換えると、sps_triangle_enabled_flagは、シーケンスパラメータセットレベルにおいて三角予測ユニットモードが使用されることが許容されるかどうかを示す。

別の例では、現在の処理されるべきピクチャブロックを含むピクチャのために三角予測ユニットモードが使用されることが許容されるかどうかを示す条件は、「現在の処理されるべきピクチャブロックのために組み合わせられたインター予測とイントラ予測(すなわち、Combined inter merge/intra prediction)が使用されないことを第7のインジケータが示す」、および、sps_triangle_enabled_flag && slice_type (スライスタイプ) == B && cbWidth (現在のブロックの幅) * cbHeight (現在のブロックの高さ) >= 16である。

前述の解決法において、三角予測ユニット(triangle PU)インジケータは、組み合わせられたインター予測とイントラ予測が使用されないことが復号を通じて決定されるときにのみ復号される。言い換えると、組み合わせられたインター予測とイントラ予測が使用されることが復号を通じて決定されるとき、第8のインジケータは、ビットストリームから解析される必要はなく(言い換えると、三角予測ユニットインジケータはコーディングされる必要はなく)、組み合わせられたインター予測とイントラ予測を使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行され得る。これは、組み合わせられたインター予測とイントラ予測とtriangle PUモードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

第10の態様によれば、本出願の実施形態は、ビデオピクチャ復号装置を提供し、この装置は、
ビットストリームからの第7のインジケータを解析し、現在の処理されるべきピクチャブロックのために組み合わせられたインター予測とイントラ予測が使用されないことを第7のインジケータが示すとき、ビットストリームからの第8のインジケータを解析するように構成される、エントロピー復号ユニットであって、第8のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されることを示し、または、第8のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されないことを示す、エントロピー復号ユニットと、
ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成される、インター予測ユニットであって、インジケータ情報が、第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む、インター予測ユニットとを含む。

第11の態様によれば、本出願の実施形態は、ビデオピクチャ復号方法を提供し、この方法は、
ビットストリームからの第7のインジケータ(たとえば、mh_intra_flag[x0][y0])を解析するステップと、
三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第8のインジケータ(merge_triangle_flag[x0][y0])を解析するステップであって、インター予測のために三角予測ユニットモードが使用されることが許容されるという条件が少なくとも、組み合わせられたインター予測とイントラ予測が現在の処理されるべきピクチャブロックのために使用されないことを第7のインジケータが示すことを含み、
第8のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されることを示し、または、第8のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されないことを示す、ステップと、
ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するステップであって、インジケータ情報が、第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む、ステップとを含む。

たとえば、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件は、mh_intra_flag[x0][y0] (第7のインジケータ) == 0 && sps_triangle_enabled_flag && slice_type == B && cbWidth * cbHeight >= 16を含み得る。

前述の設計において、三角予測ユニット(triangle PU)インジケータは、組み合わせられたインター予測とイントラ予測が使用されないことが復号を通じて決定されるときにのみ復号される。言い換えると、組み合わせられたインター予測とイントラ予測が使用されることが復号を通じて決定されるとき、第8のインジケータは、ビットストリームから解析される必要はなく(言い換えると、三角予測ユニットインジケータはコーディングされる必要はなく)、組み合わせられたインター予測とイントラ予測を使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行され得る。これは、組み合わせられたインター予測とイントラ予測とtriangle PUモードを両立させる際に生じる冗長性をある程度避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

第12の態様によれば、本出願の実施形態は、ビデオピクチャ復号装置を提供し、この装置は、
ビットストリームからの第7のインジケータを解析し、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第8のインジケータを解析するように構成される、エントロピー復号ユニットであって、インター予測のために三角予測ユニットモードが使用されることが許容されるという条件が少なくとも、組み合わせられたインター予測とイントラ予測が現在の処理されるべきピクチャブロックのために使用されないことを第7のインジケータが示すことを含み、
第8のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されることを示し、または、第8のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されないことを示す、エントロピー復号ユニットと、
ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成される、インター予測ユニットであって、インジケータ情報が、第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む、インター予測ユニットとを含む。

第13の態様によれば、本出願の実施形態はビデオエンコーダを提供し、ビデオエンコーダはピクチャブロックを符号化するように構成される。

たとえば、ビデオエンコーダは、第3の態様による方法を実施し得る。ビデオエンコーダは、第7の態様の任意の設計に従った装置を含む。

たとえば、ビデオエンコーダは、第4の態様の任意の設計による方法を実施し得る。ビデオエンコーダは、第8の態様の任意の設計に従った装置を含む。

第14の態様によれば、本出願の実施形態はビデオデコーダを提供し、ビデオデコーダはビットストリームからピクチャブロックを復号するように構成される。

たとえば、ビデオデコーダは、第1の態様の任意の設計による方法を実施し得る。ビデオデコーダは、第5の態様の任意の設計に従った装置を含む。

たとえば、ビデオデコーダは、第2の態様の任意の設計による方法を実施し得る。ビデオデコーダは、第6の態様の任意の設計に従った装置を含む。

たとえば、ビデオデコーダは、第9の態様の任意の設計による方法を実施し得る。ビデオデコーダは、第10の態様の任意の設計に従った装置を含む。

たとえば、ビデオデコーダは、第11の態様の任意の設計による方法を実施し得る。ビデオデコーダは、第12の態様の任意の設計に従った装置を含む。

第15の態様によれば、本出願の実施形態は、ビデオデータ復号デバイスを提供し、このデバイスは、
ビットストリーム形式でビデオデータを記憶するように構成されるメモリと、
ビットストリームからの第1のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、ビットストリームからの第2のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、ビットストリームからの第3のインジケータを解析し、第3のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されることを示し、または、第3のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されないことを示し、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、インジケータ情報が、第1のインジケータ、第2のインジケータ、および第3のインジケータのうちの1つまたは複数を含む、ように構成される、ビデオデコーダとを含む。

第16の態様によれば、本出願の実施形態は、別のビデオデータ復号デバイスを提供し、このデバイスは、
ビットストリーム形式でビデオデータを記憶するように構成されるメモリと、
ビットストリームからの第1のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析し、第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されることを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されないことを示し、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、インジケータ情報が、第1のインジケータ、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む、ように構成される、ビデオデコーダとを含む。

第17の態様によれば、本出願の実施形態は、ビデオデータ符号化デバイスを提供し、このデバイスは、
ビデオデータを記憶するように構成されるメモリであって、ビデオデータが1つまたは複数のピクチャブロックを含む、メモリと、
現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定し、ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するように構成される、ビデオエンコーダとを含み、インジケータ情報は第1のインジケータを含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、第2のインジケータをさらに含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、第3のインジケータをさらに含み、第3のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために、スキップモードにおいて三角予測ユニットモードが使用されることが許容されることを示し、または、第3のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために、スキップモードにおいて三角予測ユニットモードが使用されることが許容されないことを示す。

第18の態様によれば、本出願の実施形態は、別のビデオデータ符号化デバイスを提供し、このデバイスは、
ビデオデータを記憶するように構成されるメモリであって、ビデオデータが1つまたは複数のピクチャブロックを含む、メモリと、
現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定し、ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するように構成される、ビデオエンコーダとを含み、インジケータ情報は第1のインジケータを含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、第4のインジケータをさらに含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、第5のインジケータをさらに含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、第6のインジケータをさらに含み、第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために、三角予測ユニットモードが使用されることが許容されることを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために、三角予測ユニットモードが使用されることが許容されないことを示す。

第19の態様によれば、本出願の実施形態は、互いに結合される不揮発性メモリおよびプロセッサを含む、符号化デバイスを提供する。プロセッサは、メモリに記憶されているプログラムコードを呼び出して、第3の態様または第4の態様による任意の方法の一部またはすべてのステップを実行する。

第20の態様によれば、本出願の実施形態は、互いに結合される不揮発性メモリおよびプロセッサを含む、復号デバイスを提供する。プロセッサは、メモリに記憶されているプログラムコードを呼び出して、第1の態様、第2の態様、第9の態様、または第11の態様による任意の方法の一部またはすべてのステップを実行する。

第21の態様によれば、本出願の実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体はプログラムコードを記憶する。プログラムコードは、第1の態様から第4の態様、第9の態様、または第11の態様による任意の方法の一部またはすべてのステップを実行するために使用される命令を含む。

第22の態様によれば、本出願の実施形態は、コンピュータプログラム製品を提供する。コンピュータプログラム製品がコンピュータ上で実行されるとき、コンピュータは、第1の態様から第4の態様、第9の態様、または第11の態様による任意の方法の一部またはすべてのステップを実行することが可能にされる。

本出願の第2の態様から第22の態様における技術的な解決法は、本出願の第1の態様における技術的な解決法と一貫しており、態様および対応する実現可能な実装形態において達成される有益な効果は同様であることを理解されたい。詳細はここでは再び説明されない。

本出願の実施形態では、スキップモードまたはマージモードが使用されると決定されるとき、MMVDが使用されることがコーディングを通じて決定される場合、triangle PUインジケータはコーディングされなくてもよく、MMVDが使用されないことがコーディングを通じて決定されるときにのみ、triangle PUインジケータがコーディングされることがわかり得る。これは、MMVDとtriangle PUモードを両立させる際に生じる冗長性を避け、使用されるコーディングリソースの量を減らし、ビットストリームのビットオーバーヘッドを減らすことができる。

本出願の実施形態によるビデオ符号化および復号システム10の例のブロック図である。本出願の実施形態によるビデオコーディングシステム40の例のブロック図である。本出願の実施形態によるエンコーダ20の例示的な構造のブロック図である。本出願の実施形態によるデコーダ30の例示的な構造のブロック図である。本出願の実施形態によるビデオコーディングデバイス400の例のブロック図である。本出願の実施形態による別の符号化装置または復号装置の例のブロック図である。本出願の実施形態による空間候補ブロックおよび時間候補ブロックの概略図である。本出願の実施形態による三角予測ユニット分割モードの概略図である。本出願の実施形態による加重計算の概略図である。本出願の実施形態によるMMVD探索点の概略図である。本出願の実施形態によるMMVD探索プロセスの概略図である。本出願の実施形態によるビデオピクチャ復号方法の概略フローチャートである。本出願の実施形態によるビデオピクチャ符号化方法の概略フローチャートである。本出願の実施形態による別のビデオピクチャ復号方法の概略フローチャートである。本出願の実施形態による別のビデオピクチャ符号化方法の概略フローチャートである。本出願の実施形態によるビデオピクチャ復号装置1200の構造ブロック図である。本出願の実施形態によるビデオピクチャ符号化装置1300の構造ブロック図である。

以下は、本出願の実施形態における添付の図面を参照して、本出願の実施形態を説明する。以下の説明では、本開示の一部をなし、例示として、本出願の実施形態の特定の態様または本出願の実施形態が使用され得る特定の態様を示す、添付の図面に対して参照が行われる。本出願の実施形態は、他の態様において使用されてもよく、添付の図面において図示されない構造的または論理的な変化を含んでもよいことを理解されたい。したがって、以下の詳細な説明は、限定する意味でとられるべきではなく、本出願の範囲は添付の特許請求の範囲によって定められる。たとえば、説明される方法に関連する開示は、方法を実行するように構成される対応するデバイスまたはシステムにも当てはまることがあり、その逆も然りであることを理解されたい。たとえば、1つまたは複数の特定の方法ステップが説明される場合、対応するデバイスは、説明される1つまたは複数の方法ステップを実行するための機能ユニット(たとえば、1つまたは複数のステップを実行する1つのユニット、または複数のステップのうちの1つまたは複数を各々実行する複数のユニット)などの1つまたは複数のユニットを、そのような1つまたは複数のユニットが添付の図面において明示的に記述または図示されていなくても含み得る。一方、たとえば、機能ユニットなどの1つまたは複数のユニットに基づいて特定の装置が説明される場合、対応する方法は、1つまたは複数のユニットの機能を実行するために使用される1つのステップ(たとえば、1つまたは複数のユニットの機能を実行するために使用される1つのステップ、または、複数のユニットのうちの1つまたは複数の機能を実行するために各々使用される複数のステップ)を、そのような1つまたは複数のステップが添付の図面において明示的に記述または図示されていなくても含み得る。さらに、本明細書において説明される様々な例示的な実施形態および/または態様の特徴は、別段特に述べられない限り、互いに組み合わせられてもよいことを理解されたい。

本出願の実施形態における技術的な解決法は、既存のビデオコーディング規格(たとえば、H.264またはHEVCなどの規格)に適用可能であるだけではなく、未来のビデオコーディング規格(たとえば、H.266規格)にも適用可能である。本出願の発明を実施するための形態において使用される用語は、本出願の特定の実施形態を説明するためだけに使用され、本出願を限定することは意図されていない。以下ではまず、本出願の実施形態における関連する概念を簡単に説明する。

ビデオコーディングは通常、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスの処理を指す。「ピクチャ(picture)」、「フレーム(frame)」、または「画像(image)」という用語は、ビデオコーディングの分野において同義語として使用され得る。本出願におけるビデオコーディングは、ビデオ符号化またはビデオ復号を表す。ビデオコーディングは、ソース側で実行され、通常は、より効率的な記憶および/または送信のために、ビデオピクチャを表現するために必要なデータの量を減らすように元のビデオピクチャを処理する(たとえば、圧縮により)ことを含む。ビデオ復号は、宛先側で実行され、通常、ビデオピクチャを再構築するためにエンコーダと比較して逆の処理を含む。実施形態におけるビデオピクチャの「コーディング」は、ビデオシーケンスの「符号化」または「復号」として理解されるべきである。符号化部分および復号部分の組合せは、コーデック(符号化および復号)とも呼ばれる。

ビデオシーケンスは一連のピクチャ(picture)を含み、ピクチャはスライス(slice)へとさらに分割され、スライスはブロック(block)へとさらに分割される。ビデオコーディング処理はブロックによって実行される。いくつかの新しいビデオコーディング規格では、ブロックの概念はさらに拡張される。たとえば、マクロブロック(macroblock, MB)が、H.264規格において導入される。マクロブロックは、予測コーディングのために使用され得る複数の予測ブロックへとさらに分割され得る。高効率ビデオコーディング(high efficiency video coding, HEVC)規格では、コーディングユニット(coding unit, CU)、予測ユニット(prediction unit, PU)、および変換ユニット(transform unit, TU)などの基本的な概念が使用される。複数のブロックユニットが機能分割を通じて取得され、新しい木ベースの構造を使用することによって説明される。たとえば、CUは、四分木に基づいてより小さいCUへと分割されてもよく、より小さいCUは、四分木構造を生成するためにさらに分割されてもよい。CUは、コーディングされたピクチャを分割して符号化するために使用される基本単位である。PUおよびTUも、同様の木構造を有する。PUは、予測ブロックに対応してもよく、予測コーディングのために使用される基本単位である。CUは、分割パターンに基づいて複数のPUへとさらに分割される。TUは、変換ブロックに対応してもよく、予測残差を変換するために使用される基本単位である。しかしながら、基本的に、CU、PU、およびTUのすべてが概念的にブロック(またはピクチャブロック)である。

たとえば、HEVCにおいて、CTUは、コーディングツリーとして表される四分木構造を使用することによって、複数のCUへと分割される。インターピクチャ(時間)予測またはイントラピクチャ(空間)予測を使用することによってピクチャエリアを符号化するかどうかの決定が、CUレベルで行われる。各CUは、PU分割パターンに基づいて、1つ、2つ、または4つのPUへとさらに分割され得る。1つのPUの内部で、同じ予測処理が適用され、関連する情報がPUごとにデコーダへ送信される。PU分割パターンに基づいて予測処理を適用することによって残差ブロックを取得した後、CUは、CUのために使用されるコーディングツリーと同様の別の四分木構造に基づいて、変換ユニット(transform unit, TU)へと区分され得る。ビデオ圧縮技術の最近の発展において、四分木プラス二分木(Quadtree plus binary tree, QTBT)区分フレームが、コーディングブロックを区分するために使用される。QTBTブロック構造において、CUは正方形または長方形であり得る。

本明細書では、説明および理解を簡単にするために、現在のコーディングされたピクチャの中のコーディングされるべきピクチャブロックは、現在のブロックと呼ばれ得る。たとえば、符号化において、現在のブロックは現在符号化されているブロックであり、復号において、現在のブロックは現在復号されているブロックである。現在のブロックを予測するために使用される、参照ピクチャの中の復号されたピクチャブロックは、参照ブロックと呼ばれる。言い換えると、参照ブロックは、現在のブロックのための参照信号を提供するブロックである。参照信号は、ピクチャブロックの中のピクセル値を表す。参照ピクチャの中の現在のブロックのための予測信号を提供するブロックは、予測ブロックと呼ばれ得る。予測信号は、予測ブロックの中のピクセル値、サンプリング値、またはサンプリング信号を表す。たとえば、複数の参照ブロックを走査した後、最適な参照ブロックが発見され、最適な参照ブロックは現在のブロックに対する予測を提供し、このブロックは予測ブロックと呼ばれる。

無損失ビデオコーディングの場合、元のビデオピクチャは再構築され得る。すなわち、再構築されたビデオピクチャは、(送信損失または他のデータ損失が記憶または送信の間に引き起こされないと仮定すると)元のビデオピクチャと同じ品質を有する。有損失ビデオコーディングの場合、ビデオピクチャを表現するために必要なデータの量を減らすために、たとえば量子化を通じて、さらなる圧縮が実行され、ビデオピクチャをデコーダ側で完全に再構築することはできない。すなわち、再構築されたビデオピクチャの品質は、元のビデオピクチャの品質より低く、または悪い。

いくつかのH.261ビデオコーディング規格は、「有損失ハイブリッドビデオコーデック」(すなわち、サンプル領域における空間予測および時間予測は、変換領域において量子化を適用するための2D変換コーディングと組み合わせられる)。ビデオシーケンスの各ピクチャは通常、重複しないブロックのセットへと区分され、コーディングは通常、ブロックレベルにおいて実行される。言い換えると、エンコーダ側において、ビデオは通常、ブロック(ビデオブロック)レベルにおいて処理され、すなわち符号化される。たとえば、予測ブロックは、空間(イントラピクチャ)予測および時間(インターピクチャ)予測を通じて生成され、予測ブロックは、残差ブロックを取得するために現在のブロック(現在処理されている、または処理されることになるブロック)から差し引かれ、残差ブロックは、送信される(圧縮される)べきデータの量を減らすために、変換領域において変換され量子化される。デコーダ側において、エンコーダと比較して逆の処理が、表現のために現在のブロックを再構築するために、符号化または圧縮されたブロックに適用される。さらに、エンコーダはデコーダ処理ループを複製するので、エンコーダおよびデコーダは、処理のための、すなわち後続のブロックをコーディングするための、同じ予測(たとえば、イントラ予測およびインター予測)および/または再構築を生成する。

以下の説明は、本出願の実施形態に適用可能なシステムアーキテクチャを説明する。図1Aは、本出願の実施形態に適用可能なビデオ符号化および復号システム10の例の概略ブロック図である。図1Aに示されるように、ビデオ符号化および復号システム10は、ソースデバイス12および宛先デバイス14を含み得る。ソースデバイス12は符号化されたビデオデータを生成するので、ソースデバイス12はビデオ符号化装置と呼ばれ得る。宛先デバイス14はソースデバイス12によって生成された符号化されたビデオデータを復号し得るので、宛先デバイス14はビデオ復号装置と呼ばれ得る。様々な実装形態の解決法において、ソースデバイス12、宛先デバイス14、またはソースデバイス12と宛先デバイス14の両方が、1つまたは複数のプロセッサと、1つまたは複数のプロセッサに結合されるメモリとを含み得る。本明細書において説明されるように、メモリは、限定はされないが、RAM、ROM、EEPROM、フラッシュメモリ、または、コンピュータにアクセス可能な命令もしくはデータ構造の形で所望のプログラムコードを記憶するために使用され得る任意の他の媒体を含み得る。ソースデバイス12および宛先デバイス14は、デスクトップコンピュータ、モバイルコンピューティング装置、ノートブック(たとえば、ラップトップ)コンピュータ、タブレットコンピュータ、セットトップボックス、いわゆる「スマート」フォンなどの電話ハンドセット、テレビジョン、カメラ、ディスプレイ装置、デジタルメディアプレーヤ、ビデオゲームコンソール、車載コンピュータ、ワイヤレス通信デバイスなどを含む、様々な装置を含み得る。

図1Aは、別々のデバイスとしてソースデバイス12および宛先デバイス14を示すが、代替的に、デバイスの実施形態はソースデバイス12と宛先デバイス14の両方を含んでもよく、または、ソースデバイス12と宛先デバイス14の両方の機能、すなわち、ソースデバイス12もしくは対応する機能および宛先デバイス14もしくは対応する機能を含んでもよい。そのような実施形態では、ソースデバイス12または対応する機能および宛先デバイス14または対応する機能は、同じハードウェアおよび/もしくはソフトウェア、別々のハードウェアおよび/もしくはソフトウェア、またはこれらの任意の組合せを使用することによって実装され得る。

ソースデバイス12と宛先デバイス14との間の通信接続は、リンク13を介して実施されてもよく、宛先デバイス14は、リンク13を介してソースデバイス12から符号化されたビデオデータを受信してもよい。リンク13は、ソースデバイス12から宛先デバイス14に符号化されたビデオデータを転送することができる1つまたは複数の媒体または装置を含み得る。ある例では、リンク13は、ソースデバイス12が符号化されたビデオデータを宛先デバイス14へリアルタイムで直接送信することを可能にする、1つまたは複数の通信媒体を含み得る。この例では、ソースデバイス12は、通信規格(たとえば、ワイヤレス通信プロトコル)に従って符号化されたビデオデータを変調することができ、変調されたビデオデータを宛先デバイス14に送信することができる。1つまたは複数の通信媒体は、ワイヤレス通信媒体および/または有線通信媒体、たとえば、高周波(RF)スペクトルまたは1つもしくは複数の物理送信ケーブルを含み得る。1つまたは複数の通信媒体は、パケットベースのネットワークの一部であってもよく、パケットベースのネットワークは、たとえば、ローカルエリアネットワーク、ワイドエリアネットワーク、またはグローバルネットワーク(たとえば、インターネット)である。1つまたは複数の通信媒体は、ルータ、スイッチ、基地局、または、ソースデバイス12から宛先デバイス14への通信を容易にする別のデバイスを含み得る。

ソースデバイス12はエンコーダ20を含む。任意選択で、ソースデバイス12は、ピクチャソース16、ピクチャプリプロセッサ18、および通信インターフェース22をさらに含み得る。ある特定の実装形態では、エンコーダ20、ピクチャソース16、ピクチャプリプロセッサ18、および通信インターフェース22は、ソースデバイス12の中のハードウェアコンポーネントであってもよく、または、ソースデバイス12の中のソフトウェアプログラムであってもよい。説明は次のように別々に与えられる。

ピクチャソース16は、たとえば、現実世界のピクチャを捉えるように構成される任意のタイプのピクチャ捕捉デバイス、および/または、ピクチャもしくはコメントを生成するための任意のタイプのデバイス(スクリーンコンテンツの符号化に対して、画面上の一部のテキストは符号化されるべきピクチャまたは画像の一部とも見なされる)、たとえば、コンピュータアニメーションピクチャを生成するように構成されるコンピュータグラフィクスプロセッサ、または、現実世界のピクチャもしくはコンピュータアニメーションピクチャ(たとえば、スクリーンコンテンツまたは仮想現実(virtual reality, VR)ピクチャ)および/もしくはそれらの任意の組合せ(たとえば、拡張現実(augmented reality, AR)ピクチャ)を取得ならびに/または提供するように構成される任意のタイプのデバイスを、含んでもよく、またはそれらであってもよい。ピクチャソース16は、ピクチャを捕捉するように構成されるカメラまたはピクチャを記憶するように構成されるメモリであり得る。ピクチャソース16は、それを通じて以前に捕捉または生成されたピクチャが記憶される、および/またはピクチャが取得もしくは受信される、任意のタイプの(内部または外部)インターフェースをさらに含み得る。ピクチャソース16がカメラであるとき、ピクチャソース16は、たとえば、ローカルカメラ、またはソースデバイスへと統合される統合されたカメラであり得る。ピクチャソース16がメモリであるとき、ピクチャソース16は、ローカルメモリ、または、たとえば、ソースデバイスへと統合される統合されたメモリであり得る。ピクチャソース16がインターフェースを含むとき、インターフェースは、たとえば、外部ビデオソースからピクチャを受信するための外部インターフェースであり得る。外部ビデオソースは、たとえば、カメラ、外部メモリ、または外部ピクチャ生成デバイスなどの、外部ピクチャ捕捉デバイスである。外部ピクチャ生成デバイスは、たとえば、外部コンピュータグラフィクスプロセッサ、コンピュータ、またはサーバである。インターフェースは、任意のプロプライエタリインターフェースプロトコルまたは標準化されたインターフェースプロトコルに従った、任意のタイプのインターフェース、たとえば、有線インターフェースもしくはワイヤレスインターフェースまたは光学インターフェースであり得る。

ピクチャは、ピクセル要素(picture element)の2次元アレイまたは行列と見なされ得る。アレイの中のピクセル要素は、サンプルとも呼ばれ得る。アレイまたはピクチャの水平方向および垂直方向(または軸)におけるサンプルの量は、ピクチャのサイズおよび/または解像度を定義する。色の表現のために、3色の成分が通常は利用され、具体的には、ピクチャは3サンプルのアレイとして表されてもよく、またはそれを含んでもよい。たとえば、RGBフォーマットまたは色空間において、ピクチャは、対応する赤、緑、および青のサンプルアレイを含む。しかしながら、ビデオコーディングにおいて、各ピクセルは通常、輝度/色度フォーマットまたは色空間において表される。たとえば、YUVフォーマットの中のピクチャは、Y(代わりにLによって示されることがある)によって示される輝度成分およびUとVによって示される2つの色度成分を含む。輝度(luma)成分Yは、明るさまたはグレーレベル強度(たとえば、グレースケールピクチャにおいては両方が同じである)を表し、2つの色度(chroma)成分UおよびVは、色度または色情報成分を表す。それに対応して、YUVフォーマットの中のピクチャは、輝度サンプル値(Y)の輝度サンプルアレイおよび色度値(UおよびV)の2つの色度サンプルアレイを含む。RGBフォーマットのピクチャは、YUVフォーマットへと変換または転換されてもよく、その逆も行われてもよい。このプロセスは、色転換または色変換とも呼ばれる。ピクチャがモノクロームである場合、ピクチャは、輝度サンプルアレイのみを含み得る。本出願のこの実施形態では、ピクチャソース16によってピクチャプロセッサに送信されるピクチャは、生のピクチャデータ17とも呼ばれ得る。

ピクチャプリプロセッサ18は、生のピクチャデータ17を受信し、生のピクチャデータ17に対して前処理を実行して、前処理されたピクチャ19または前処理されたピクチャデータ19を取得するように構成される。たとえば、ピクチャプリプロセッサ18によって実行される前処理は、トリミング、色フォーマット転換(たとえば、RGBフォーマットからYUVフォーマットへの)、色訂正、またはノイズ除去を含み得る。

エンコーダ20(またはビデオエンコーダ20と呼ばれる)は、前処理されたピクチャデータ19を受信し、関連する予測モード(たとえば、本明細書の各実施形態における予測モード)を使用することによって前処理されたピクチャデータ19を処理して、符号化されたピクチャデータ21(エンコーダ20の構造的な詳細が図2、図4、または図5に基づいて以下でさらに説明される)を提供するように構成される。いくつかの実施形態では、エンコーダ20は、本出願において説明されるビデオピクチャ符号化方法のエンコーダ側での適用を実施するために、以下で説明される各実施形態を実行するように構成され得る。

通信インターフェース22は、符号化されたピクチャデータ21を受信し、記憶または直接の再構築のために、リンク13を介して、符号化されたピクチャデータ21を宛先デバイス14または任意の他のデバイス(たとえば、メモリ)に送信するように構成され得る。別のデバイスは、復号または記憶のために使用される任意のデバイスであり得る。通信インターフェース22は、たとえば、リンク13を介した送信のために、適切なフォーマット、たとえばデータパケットへと、符号化されたピクチャデータ21をパッケージングするように構成され得る。

宛先デバイス14はデコーダ30を含む。任意選択で、宛先デバイス14は、通信インターフェース28、ピクチャポストプロセッサ32、および表示デバイス34をさらに含み得る。説明は次のように別々に与えられる。

通信インターフェース28は、ソースデバイス12または任意の他のソースから符号化されたピクチャデータ21を受信するように構成され得る。任意の他のソースは、たとえば、ストレージデバイスである。ストレージデバイスは、たとえば、符号化されたピクチャデータストレージデバイスである。通信インターフェース28は、ソースデバイス12と宛先デバイス14との間のリンク13を介して、または任意のタイプのネットワークを介して、符号化されたピクチャデータ21を送信または受信するように構成され得る。リンク13は、たとえば、直接の有線接続またはワイヤレス接続である。任意のタイプのネットワークは、たとえば、有線ネットワークもしくはワイヤレスネットワークもしくはこれらの任意の組合せ、または任意のタイプのプライベートもしくはパブリックネットワーク、またはこれらの任意の組合せである。通信インターフェース28は、たとえば、符号化されたピクチャデータ21を取得するために、通信インターフェース22を通じて送信されるデータパケットをパッケージング解除するように構成され得る。

通信インターフェース28と通信インターフェース22の両方が、単方向通信インターフェースまたは双方向通信インターフェースとして構成されてもよく、たとえば、接続をセットアップするためのメッセージを送信して受信し、ならびに、通信リンクに関する任意の他の情報および/または符号化されたピクチャデータ送信などのデータ送信を確認して交換するように構成されてもよい。

デコーダ30(またはビデオデコーダ30と呼ばれる)は、符号化されたピクチャデータ21を受信し、復号されたピクチャデータ31または復号されたピクチャ331を提供するように構成される(デコーダ30の構造の詳細は、図3、図4、または図5に基づいて以下でさらに説明される)。いくつかの実施形態では、デコーダ30は、本出願において説明されるビデオピクチャ復号方法のデコーダ側での適用を実施するために、以下で説明される各実施形態を実行するように構成され得る。

ピクチャポストプロセッサ32は、復号されたピクチャデータ31(再構築されたピクチャデータとも呼ばれる)を後処理して、後処理されたピクチャデータ33を取得するように構成される。ピクチャポストプロセッサ32によって実行される後処理は、色フォーマット転換(たとえば、YUVフォーマットからRGBフォーマットへの)、色訂正、トリミング、再サンプリング、または任意の他の処理を含み得る。ピクチャポストプロセッサ32は、後処理されたピクチャデータ33を表示デバイス34に送信するようにさらに構成され得る。

表示デバイス34は、ピクチャを、たとえばユーザまたは視聴者に表示するために、後処理されたピクチャデータ33を受信するように構成される。表示デバイス34は、再構築されたピクチャを提示するための任意のタイプのディスプレイ、たとえば、統合されたまたは外部のディスプレイもしくはモニタをであってもよく、またはそれを含んでもよい。たとえば、ディスプレイは、液晶ディスプレイ(liquid crystal display, LCD)、有機発光ダイオード(organic light emitting diode, OLED)ディスプレイ、プラズマディスプレイ、プロジェクタ、マイクロLEDディスプレイ、シリコン上液晶(liquid crystal on silicon, LCoS)、デジタル光プロセッサ(digital light processor, DLP)、または任意のタイプの他のディスプレイを含み得る。

説明に基づいて当業者には明らかになるように、図1Aに示される様々なユニットの機能またはソースデバイス12および/もしくは宛先デバイス14の機能の存在と(厳密な)分割は、実際のデバイスと適用例に応じて変わり得る。ソースデバイス12および宛先デバイス14は、任意のタイプのハンドヘルドデバイスまたは固定デバイス、たとえば、ノートブックもしくはラップトップコンピュータ、携帯電話、スマートフォン、タブレットもしくはタブレットコンピュータ、ビデオカメラ、デスクトップコンピュータ、セットトップボックス、テレビジョン、カメラ、車載デバイス、表示デバイス、デジタルメディアプレーヤ、ビデオゲームコンソール、ビデオストリーミングデバイス(コンテンツサービスサーバまたはコンテンツ配信サーバなど)、放送受信機デバイス、または放送送信機デバイスを含む、広範囲のデバイスのいずれを含んでもよく、任意のタイプのオペレーティングシステムを使用してもしなくてもよい。

エンコーダ20およびデコーダ30は各々、様々な適切な回路、たとえば、1つまたは複数のマイクロプロセッサ、デジタルシグナルプロセッサ(digital signal processor, DSP)、特定用途向け集積回路(application-specific integrated circuit, ASIC)、フィールドプログラマブルゲートアレイ(field-programmable gate array, FPGA)、ディスクリート論理回路、ハードウェア、またはこれらの任意の組合せのうちの任意の1つとして実装され得る。ソフトウェアを使用することによって部分的に技術が実装される場合、デバイスは、適切な非一時的コンピュータ可読記憶媒体にソフトウェア命令を記憶してもよく、本開示の技術を実行するために、1つまたは複数のプロセッサなどのハードウェアを使用することによって命令を実行してもよい。前述の内容(ハードウェア、ソフトウェア、ハードウェアとソフトウェアの組合せなどを含む)のいずれもが、1つまたは複数のプロセッサと見なされ得る。

いくつかの場合、図1Aに示されるビデオ符号化および復号システム10は例にすぎず、本出願の技術は、符号化デバイスと復号デバイスとの間の任意のデータ通信を必ずしも含まないビデオコーディングの設定(たとえば、ビデオ符号化またはビデオ復号)に適用可能である。別の例では、データは、ローカルメモリから取り出されること、ネットワークを介してストリーミングされることなどが行われてもよい。ビデオ符号化デバイスは、データを符号化してデータをメモリに記憶してもよく、および/または、ビデオ復号デバイスは、メモリからデータを取り出してデータを復号してもよい。いくつかの例では、符号化および復号は、互いに通信せず、単にデータをメモリへと符号化する、および/またはメモリからデータを取り出してデータを復号する、デバイスによって実行される。

図1Bは、ある例示的な実施形態による、図2のエンコーダ20および/または図3のデコーダ30を含むビデオコーディングシステム40の例を示す図である。ビデオコーディングシステム40は、本出願の実施形態における様々な技術の組合せを実装することができる。例示される実装形態では、ビデオコーディングシステム40は、撮像デバイス41、エンコーダ20、デコーダ30(および/または処理ユニット46の論理回路47によって実装されるビデオエンコーダ/デコーダ)、アンテナ42、1つまたは複数のプロセッサ43、1つまたは複数のメモリ44、および/または表示デバイス45を含み得る。

図1Bに示されるように、撮像デバイス41、アンテナ42、処理ユニット46、論理回路47、エンコーダ20、デコーダ30、プロセッサ43、メモリ44、および/または表示デバイス45は、互いに通信することができる。説明されたように、エンコーダ20とデコーダ30の両方を伴うビデオコーディングシステム40が示されるが、異なる例では、ビデオコーディングシステム40は、エンコーダ20のみまたはデコーダ30のみを含み得る。

いくつかの例では、アンテナ42は、ビデオデータの符号化されたビットストリームを送信または受信するように構成され得る。さらに、いくつかの例では、表示デバイス45は、ビデオデータを提示するように構成され得る。いくつかの例では、論理回路47は、処理ユニット46によって実装され得る。処理ユニット46は、特定用途向け集積回路(application-specific integrated circuit, ASIC)論理、グラフィクスプロセッサ、汎用プロセッサなどを含み得る。ビデオコーディングシステム40は、任意選択のプロセッサ43も含み得る。同様に、任意選択のプロセッサ43は、特定用途向け集積回路(application-specific integrated circuit, ASIC)論理、グラフィクスプロセッサ、汎用プロセッサなどを含み得る。いくつかの例では、論理回路47は、ハードウェア、たとえばビデオコーディング専用ハードウェアによって実装されてもよく、プロセッサ43は、汎用ソフトウェア、オペレーティングシステムなどを使用することによって実装されてもよい。加えて、メモリ44は、任意のタイプのメモリ、たとえば、揮発性メモリ(たとえば、スタティックランダムアクセスメモリ(Static Random Access Memory, SRAM)またはダイナミックランダムアクセスメモリ(Dynamic Random Access Memory, DRAM))、または不揮発性メモリ(たとえば、フラッシュメモリ)であり得る。非限定的な例では、メモリ44はキャッシュメモリによって実装され得る。いくつかの例では、論理回路47は(たとえば、ピクチャバッファの実装のために)メモリ44にアクセスし得る。他の例では、論理回路47および/または処理ユニット46は、ピクチャバッファなどの実装のためのメモリ(たとえば、キャッシュ)を含み得る。

いくつかの例では、論理回路によって実装されるエンコーダ20は、ピクチャバッファ(たとえば、処理ユニット46またはメモリ44によって実装される)およびグラフィクス処理ユニット(たとえば、処理ユニット46によって実装される)を含み得る。グラフィクス処理ユニットは、ピクチャバッファに通信可能に結合され得る。グラフィクス処理ユニットは、図2を参照して説明される様々なモジュール、および/または本明細書において説明される任意の他のエンコーダシステムもしくはサブシステムを実装するために、論理回路47によって実装されるエンコーダ20を含み得る。論理回路は、本明細書において説明される様々な動作を実行するように構成され得る。

いくつかの例では、デコーダ30は、図3のデコーダ30を参照して説明される様々なモジュール、および/または本明細書において説明される任意の他のデコーダシステムもしくはサブシステムを実装するために、同様の方式で論理回路47によって実装され得る。いくつかの例では、論理回路によって実装されるデコーダ30は、ピクチャバッファ(たとえば、処理ユニット46またはメモリ44によって実装される)およびグラフィクス処理ユニット(たとえば、処理ユニット46によって実装される)を含み得る。グラフィクス処理ユニットは、ピクチャバッファに通信可能に結合され得る。グラフィクス処理ユニットは、図3を参照して説明される様々なモジュール、および/または本明細書において説明される任意の他のデコーダシステムもしくはサブシステムを実装するために、論理回路47によって実装されるデコーダ30を含み得る。

いくつかの例では、アンテナ42は、ビデオデータの符号化されたビットストリームを受信するように構成され得る。説明されたように、符号化されたビットストリームは、本明細書において説明されるビデオフレーム符号化に関係するデータ、インジケータ、インデックス値、モード選択データなど、たとえば、コーディング区分に関連するデータ(たとえば、変換係数もしくは量子化された変換係数、任意選択のインジケータ(説明されたような)、および/またはコーディング区分を定義するデータ)を含み得る。ビデオコーディングシステム40は、アンテナ42に結合され符号化されたビットストリームを復号するように構成される、デコーダ30をさらに含み得る。表示デバイス45はビデオフレームを提示するように構成される。

本出願のこの実施形態では、エンコーダ20に関して説明された例に対して、デコーダ30は逆の処理を実行するように構成され得ることを理解されたい。シンタックス要素をシグナリングすることに関して、デコーダ30は、そのようなシンタックス要素を受信して解析し、それに対応して関連するビデオデータを復号するように構成され得る。いくつかの例では、エンコーダ20は、符号化されたビデオビットストリームにおいてシンタックス要素をエントロピー符号化し得る。そのような例では、デコーダ30は、シンタックス要素を解析し、それに対応して、関連するビデオデータを復号し得る。

本出願の実施形態において説明されるビデオピクチャ符号化方法はエンコーダ20によって実行され、本出願の実施形態において説明されるビデオピクチャ復号方法はデコーダ30によって実行されることに留意されたい。本出願の実施形態におけるエンコーダ20およびデコーダ30は、たとえば、H.263、H.264、HEVC、MPEG-2、MPEG-4、VP8、もしくはVP9などのビデオ規格プロトコル、または次世代ビデオ規格プロトコル(H.266など)に対応する、エンコーダおよびデコーダであり得る。

図2は、本出願の実施形態によるエンコーダ20の例の概略/概念ブロック図である。図2の例では、エンコーダ20は、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、バッファ216、ループフィルタユニット220、復号ピクチャバッファ(decoded picture buffer, DPB)230、予測処理ユニット260、およびエントロピー符号化ユニット270を含む。予測処理ユニット260は、インター予測ユニット244、イントラ予測ユニット254、およびモード選択ユニット262を含み得る。インター予測ユニット244は、動き推定ユニットおよび動き補償ユニット(図示せず)を含み得る。図2に示されるエンコーダ20はまた、ハイブリッドビデオエンコーダ、またはハイブリッドビデオコーデックに従ったビデオエンコーダとも呼ばれ得る。

たとえば、残差計算ユニット204、変換処理ユニット206、量子化ユニット208、予測処理ユニット260、およびエントロピー符号化ユニット270は、エンコーダ20の順方向信号経路を形成するが、たとえば、逆量子化ユニット210、逆変換処理ユニット212、再構築ユニット214、バッファ216、ループフィルタ220、復号ピクチャバッファ(decoded picture buffer, DPB)230、および予測処理ユニット260は、エンコーダの逆方向信号経路を形成する。エンコーダの逆方向信号経路は、デコーダ(図3のデコーダ30を指す)の信号経路に対応する。

エンコーダ20は、たとえば、入力202を介して、ピクチャ201、またはピクチャ201のピクチャブロック203、たとえば、ビデオまたはビデオシーケンスを形成するピクチャのシーケンスの中のピクチャを受信する。ピクチャブロック203は、現在のピクチャブロックまたは符号化されるべきピクチャブロックとも呼ばれ得る。ピクチャ201は、現在のピクチャまたは符号化されるべきピクチャ(特にビデオコーディングにおいて、現在のピクチャを他のピクチャ、たとえば、同じビデオシーケンス、すなわち、現在のピクチャも含むビデオシーケンスの以前に符号化および/または復号されたピクチャと区別するために)と呼ばれ得る。

エンコーダ20の実施形態は、ピクチャ201をピクチャブロック203などの複数のブロックへと区分するように構成される、区分ユニット(図2には示されない)を含み得る。ピクチャ201は通常、複数の重複しないブロックへと区分される。区分ユニットは、ビデオシーケンスの中のすべてのピクチャに対して同じブロックサイズを使用し、そのブロックサイズを定義する対応するグリッドを使用し、または、ピクチャまたはピクチャのサブセットもしくはグループ間でブロックサイズを変更し、各ピクチャを対応するブロックへと区分するように構成され得る。

ある例では、エンコーダ20の中の予測処理ユニット260は、上で説明された区分技術の任意の組合せを実行するように構成され得る。

ピクチャ201のように、ピクチャブロック203は、サンプル値を伴うサンプルの2次元アレイもしくは行列でもあり、またはそのように見なされ得るが、ピクチャブロック203のサイズはピクチャ201のサイズより小さい。言い換えると、ピクチャブロック203は、たとえば、1つのサンプルアレイ(たとえば、モノクロームピクチャ201の場合はルマアレイ)、3つのサンプルアレイ(たとえば、カラーピクチャの場合は1つのルマアレイおよび2つのクロマアレイ)、または、適用されるカラーフォーマットに応じて任意の他の品質および/もしくはタイプのアレイを含み得る。ピクチャブロック203の水平方向および垂直方向(または軸)におけるサンプルの量は、ピクチャブロック203のサイズを定義する。

図2に示されるエンコーダ20は、ピクチャ201をブロックごとに符号化するように構成される。たとえば、符号化および予測は、ピクチャブロック203ごとに実行される。

残差計算ユニット204は、たとえば、ピクチャブロック203のサンプル値から予測ブロック265のサンプル値をサンプルごとに(ピクセルごとに)差し引き、サンプル領域において残差ブロック205を取得することによって、ピクチャブロック203および予測ブロック265に基づいて残差ブロック205を計算するように構成される(予測ブロック265についてのさらなる詳細が以下で与えられる)。

変換処理ユニット206は、変換、たとえば、離散コサイン変換(discrete cosine transform, DCT)または離散サイン変換(discrete sine transform, DST)を適用して、残差ブロック205の値をサンプリングし、変換領域において変換係数207を取得するように構成される。変換係数207はまた、変換残差係数とも呼ばれることがあり、変換領域において残差ブロック205を表す。

変換処理ユニット206は、HEVC/H.265において規定される変換などの、DCT/DSTの整数近似を適用するように構成され得る。直交DCT変換と比較して、そのような整数近似は通常、係数に基づいてスケーリングされる。順変換および逆変換を使用することによって処理される残差ブロックのノルムを維持するために、追加のスケール係数が変換処理の一部として適用される。スケール係数は通常、何らかの制約、たとえば、スケール係数がシフト演算のために2のべき乗であること、変換係数のビット深度、および正確さと実装コストのトレードオフに基づいて選択される。たとえば、特定のスケール係数が、たとえばデコーダ側30における逆変換処理ユニット212による逆変換(および、エンコーダ側20における、たとえば逆変換処理ユニット212による対応する逆変換)のために規定され、それに対応して、対応するスケール係数が、エンコーダ側20における変換処理ユニット206による順変換のために規定され得る。

量子化ユニット208は、たとえば、スカラー量子化またはベクトル量子化を適用することによって、変換係数207を量子化して量子化された変換係数209を取得するように構成される。量子化された変換係数209は、量子化された残差係数209とも呼ばれ得る。量子化処理は、変換係数207の一部またはすべてに関するビット深度を低減し得る。たとえば、nビットの変換係数は、量子化の間にmビットの変換係数へと丸められてもよく、nはmより大きい。量子化の程度は、量子化パラメータ(quantization parameter, QP)を調整することによって修正され得る。たとえば、スカラー量子化に対して、より細かいまたは粗い量子化を達成するために異なるスケールが適用され得る。より小さい量子化ステップサイズはより細かい量子化に対応し、より大きい量子化ステップサイズはより粗い量子化に対応する。適切な量子化ステップサイズが、量子化パラメータ(quantization parameter, QP)によって示され得る。たとえば、量子化パラメータは、適切な量子化ステップサイズのあらかじめ定められたセットへのインデックスであり得る。たとえば、より小さい量子化パラメータはより細かい量子化(より小さい量子化ステップサイズ)に対応してもよく、より大きい量子化パラメータはより粗い量子化(より大きい量子化ステップサイズ)に対応してもよく、またはその逆であってもよい。量子化は、量子化ステップサイズによる除算および対応する量子化、もしくは、たとえば逆量子化ユニット210によって実行される逆量子化を含んでもよく、または、量子化ステップサイズによる乗算を含んでもよい。HEVCなどのいくつかの規格に従った実施形態では、量子化ステップサイズを決定するために、量子化パラメータが使用され得る。一般に、量子化ステップサイズは、分割を含む式の固定点近似を使用することによって、量子化パラメータに基づいて計算され得る。残差ブロックのノルムを復元するための量子化および量子化解除のために、追加のスケール係数が導入されてもよく、残差ブロックのノルムは、量子化ステップサイズおよび量子化パラメータのための式の固定点近似において使用されるスケールにより、修正され得る。ある例示的な実装形態では、逆変換のスケールは、量子化解除のスケールと組み合わせられ得る。代替的に、カスタマイズされた量子化テーブルが使用され、エンコーダからデコーダへ、たとえばビットストリームにおいてシグナリングされ得る。量子化は有損失の演算であり、損失は量子化ステップサイズの増大とともに増大する。

逆量子化ユニット210は、量子化ユニット208の逆量子化を量子化された係数に適用して量子化解除された係数211を取得し、たとえば、量子化ユニット208と同じ量子化ステップサイズに基づいて、または使用することによって、量子化ユニット208によって適用される量子化方式の逆を適用するように構成される。量子化解除された係数211はまた、量子化解除された残差係数211とも呼ばれることがあり、変換係数207に対応することがあるが、逆量子化された係数211は通常、量子化により引き起こされる損失により変換係数とは異なる。

逆変換処理ユニット212は、変換処理ユニット206によって適用される変換の逆変換、たとえば、逆離散コサイン変換(discrete cosine transform, DCT)または逆離散サイン変換(discrete sine transform, DST)を適用し、サンプル領域において逆変換ブロック213を取得するように構成される。逆変換ブロック213は、逆変換量子化解除されたブロック213または逆変換残差ブロック213とも呼ばれ得る。

再構築ユニット214(たとえば、加算器214)は、たとえば、再構築された残差ブロック213のサンプル値および予測ブロック265のサンプル値を加算することによって、逆変換ブロック213(すなわち、再構築された残差ブロック213)を予測ブロック265に加算して、サンプル領域において再構築されたブロック215を取得するように構成される。

任意選択で、たとえばラインバッファ216の、バッファユニット216(略して「バッファ」216)は、たとえばイントラ予測のために、再構築されたブロック215および対応するサンプル値をバッファリングまたは記憶するように構成される。他の実施形態では、エンコーダは、任意のタイプの推定および/または予測、たとえばイントラ予測を実行するために、バッファユニット216に記憶されているフィルタリングされていない再構築されたブロックおよび/または対応するサンプル値を使用するように構成され得る。

たとえば、ある実施形態では、エンコーダ20は、バッファユニット216が、イントラ予測ユニット254のために使用されるだけではなくループフィルタユニット220のためにも使用される再構築されたブロック215を記憶するように構成されるように、および/または、たとえば、バッファ216および復号ピクチャバッファユニット230が1つのバッファを形成するように、構成され得る。他の実施形態では、フィルタリングされたブロック221および/または復号ピクチャバッファ230からのブロックもしくはサンプル(図2に示されない)が、イントラ予測ユニット254のための入力または基礎として使用される。

ループフィルタユニット220(略して「ループフィルタ」220)は、ピクセル遷移を滑らかにするために、またはビデオ品質を高めるために、再構築されたブロック215をフィルタリングしてフィルタリングされたブロック221を取得するように構成される。ループフィルタユニット220は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset, SAO)フィルタ、または他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(adaptive loop filter, ALF)、先鋭化もしくは平滑化フィルタ、または協調フィルタなどの、1つまたは複数のループフィルタを表すことが意図される。図2ではループフィルタユニット220がループ内フィルタとして示されるが、別の実装形態では、ループフィルタユニット220はループ後フィルタとして実装され得る。フィルタリングされたブロック221は、フィルタリングされた再構築されたブロック221とも呼ばれ得る。復号ピクチャバッファ230は、ループフィルタユニット220が再構築された符号化されたブロックに対してフィルタリング動作を実行した後、再構築された符号化されたブロックを記憶し得る。

ある実施形態では、エンコーダ20(それに対応して、ループフィルタユニット220)は、たとえば、直接、またはエントロピー符号化ユニット270もしくは任意の他のエントロピー符号化ユニットにより実行されるエントロピー符号化の後で、ループフィルタパラメータ(たとえば、サンプル適応オフセット情報)を出力するように構成され得るので、デコーダ30は、復号のために同じループフィルタパラメータを受信して適用することができる。

復号ピクチャバッファ(decoded picture buffer, DPB)230は、エンコーダ20によるビデオデータ符号化において使用するための参照ピクチャデータを記憶する、参照ピクチャメモリであり得る。DPB230は、ダイナミックランダムアクセスメモリ(dynamic random access memory, DRAM)(同期DRAM(synchronous DRAM, SDRAM)、磁気抵抗RAM(magnetoresistive RAM, MRAM)、抵抗RAM(resistive RAM, RRAM))、または他のタイプのストレージデバイスなどの、種々のストレージデバイスのうちの任意の1つによって形成され得る。DPB230およびバッファ216は、同じストレージデバイスまたは別個のストレージデバイスによって提供され得る。ある例では、復号ピクチャバッファ(decoded picture buffer, DPB)230は、フィルタリングされたブロック221を記憶するように構成される。復号ピクチャバッファ230は、同じ現在のピクチャの、または異なるピクチャ、たとえば以前に再構築されたピクチャの、他の以前にフィルタリングされたブロック、たとえば以前に再構築されフィルタリングされたブロック221を記憶するようにさらに構成されてもよく、完全な以前に再構築されたピクチャ、すなわち復号されたピクチャ(および対応する参照ブロックとサンプル)および/または部分的に再構築された現在のピクチャ(および対応する参照ブロックとサンプル)を、たとえばインター予測のために提供してもよい。ある例では、再構築されたブロック215がループ内フィルタリングなしで再構築される場合、復号ピクチャバッファ(decoded picture buffer, DPB)230は、再構築されたブロック215を記憶するように構成される。

ブロック予測処理ユニット260とも呼ばれる予測処理ユニット260は、ピクチャブロック203(現在のピクチャ201の現在のピクチャブロック203)および再構築されたピクチャデータ、たとえば、バッファ216からの同じ(現在の)ピクチャの参照サンプルおよび/もしくは復号ピクチャバッファ230からの1つもしくは複数の以前に復号されたピクチャの参照ピクチャデータ231を受信または取得し、予測のためにそのようなデータを処理し、すなわち、インター予測ブロック245またはイントラ予測ブロック255であり得る予測ブロック265を提供するように構成される。

モード選択ユニット262は、残差ブロック205の計算のために、および再構築されたブロック215の再構築のために、予測ブロック265として使用されるべき予測モード(たとえば、イントラ予測モードまたはインター予測モード)および/または対応する予測ブロック245もしくは255を選択するように構成され得る。

ある実施形態では、モード選択ユニット262は、予測モードを(たとえば、予測処理ユニット260によってサポートされる予測モードから)選択するように構成されてもよく、予測モードは、最良の一致、もしくは言い換えると最小の残差(最小の残差は送信または記憶のためのより良い圧縮を意味する)をもたらし、または、最小のシグナリングオーバーヘッド(最小のシグナリングオーバーヘッドは送信または記憶のためのより良い圧縮を意味する)をもたらし、または両方を考慮し、もしくはバランスをとる。モード選択ユニット262は、レート歪み最適化(rate-distortion optimization, RDO)に基づいて予測モードを決定し、すなわち、最小のレート歪みをもたらす予測モードを選択し、または、関連するレート歪みが少なくとも予測モード選択基準を満たす予測モードを選択するように構成され得る。

以下は、エンコーダ20の例によって実行される、予測処理(たとえば、予測処理ユニット260によって実行される)およびモード選択(たとえば、モード選択ユニット262によって実行される)を詳細に説明する。

上で説明されたように、エンコーダ20は、(所定の)予測モードのセットから最良のまたは最適な予測モードを、決定または選択するように構成される。予測モードのセットは、たとえば、イントラ予測モードおよび/またはインター予測モードを含み得る。

イントラ予測モードのセットは、35個の異なるイントラ予測モード、たとえば、DC(または平均)モードおよび平面モードなどの非指向性モード、もしくは、H.265において定義されるものなどの指向性モードを含んでもよく、または、67個の異なるイントラ予測モード、たとえば、DC(または平均)モードおよび平面モードなどの非指向性モード、もしくは開発中のH.266において定義されるものなどの指向性モードを含んでもよい。

ある可能な実装形態では、イントラ予測モードのセットは、利用可能な参照ピクチャ(すなわち、たとえば、上で説明されたような、DBP230に記憶されている少なくとも部分的に復号されたピクチャ)および他のインター予測パラメータに依存し、たとえば、最良の一致する参照ブロックを探すために、参照ピクチャ全体が使用されるか、もしくは、参照ピクチャの一部のみ、たとえば、現在のブロックのエリアの周りの探索ウィンドウエリアが使用されるかに依存し、ならびに/または、たとえば、2分の1ペルおよび/もしくは4分の1ペル補間などのピクセル補間が適用されるかどうかに依存する。インター予測モードのセットは、たとえば、スキップ(skip)モードおよびマージ(merge)モードを含み得る。ある特定の実装形態では、インター予測モードのセットは、スキップベースの三角予測ユニット(triangle prediction unit, triangle PU)モード、マージベースのtriangle PUモード、スキップベースの動きベクトル差分を用いたマージモードMMVD(merge mode with motion vector difference, MMVD)、または本出願の実施形態におけるマージベースのMMVDを含み得る。ある例では、イントラ予測ユニット254は、以下で説明されたインター予測技術の任意の組合せを実行するように構成され得る。

前述の予測モードに加えて、スキップモードおよび/またはダイレクトモードも、本出願の実施形態において適用され得る。

予測処理ユニット260は、たとえば、四分木(quadtree, QT)区分、二分木(binary tree, BT)区分、三分木(ternary tree, TT)区分、またはこれらの任意の組合せを繰り返し使用することによって、より小さいブロック区分またはサブブロックへとピクチャブロック203を区分し、たとえば、ブロック区分またはサブブロックの各々を予測するようにさらに構成され得る。モード選択は、区分されたピクチャブロック203の木構造の選択、およびブロック区分またはサブブロックの各々に適用される予測モードの選択を含む。

インター予測ユニット244は、動き推定(motion estimation, ME)ユニット(図2には示されない)および動き補償(motion compensation, MC)ユニット(図2には示されない)を含み得る。動き推定ユニットは、ピクチャブロック203(現在のピクチャ201の現在のピクチャブロック203)および復号されたピクチャ231を、または、少なくとも1つまたは複数の以前に再構築されたブロック、たとえば、他の/異なる以前に復号されたピクチャ231の1つまたは複数の再構築されたブロックを、動き推定のために受信または取得するように構成される。たとえば、ビデオシーケンスは、現在のピクチャおよび以前に復号されたピクチャ231を含み得る。言い換えると、現在のピクチャおよび以前に復号されたピクチャ231は、ビデオシーケンスを形成するピクチャのシーケンスの一部であってもよく、またはそれを形成してもよい。

たとえば、エンコーダ20は、同じピクチャの、または複数の他のピクチャの異なるピクチャの、複数の参照ブロックからある参照ブロックを選択し、参照ピクチャおよび/または参照ブロックの位置(X、Y座標)と現在のブロックの位置との間のオフセット(空間オフセット)をインター予測パラメータとして動き推定ユニット(図2に示されない)に提供するように構成され得る。このオフセットは動きベクトル(motion vector, MV)とも呼ばれる。

動き補償ユニットは、インター予測パラメータを取得し、インター予測パラメータに基づいて、またはそれを使用することによってインター予測を実行し、インター予測ブロック245を取得するように構成される。動き補償ユニット(図2には示されない)によって実行される動き補償は、動き推定(場合によってはサブピクセル精度で補間を実行する)を通じて決定される動き/ブロックベクトルに基づいて、予測ブロックをフェッチまたは生成することを含み得る。補間フィルタリングは、既知のピクセルサンプルから追加のピクセルサンプルを生成し得る。これは、ピクチャブロックをコーディングするために使用され得る予測ブロック候補の量を増やす。現在のピクチャブロックのPUのための動きベクトルを受信すると、動き補償ユニットは、参照ピクチャリストのうちの1つにおいて動きベクトルが指し示す予測ブロックを位置特定し得る。動き補償ユニットはまた、デコーダ30がシンタックス要素を使用してビデオスライスの中のピクチャブロックを復号するように、ブロックと関連付けられるシンタックス要素およびビデオスライスを生成し得る。

具体的には、インター予測ユニット244は、シンタックス要素をエントロピー符号化ユニット270に送信し得る。シンタックス要素は、インター予測パラメータ(複数のインター予測モードを走査した後で現在のブロックの予測のために使用されるインター予測モードの選択の指示情報など)を含む。ある可能な適用シナリオでは、インター予測モードが1つしかない場合、インター予測パラメータは、シンタックス要素において搬送されなくてもよい。この場合、デコーダ側30が、デフォルト予測モードを使用することによって復号を直接実行し得る。インター予測ユニット244は、インター予測技術の任意の組合せを実行するように構成され得ることが理解され得る。

イントラ予測ユニット254は、同じピクチャの、ピクチャブロック203(現在のピクチャブロック)および1つまたは複数の以前に再構築されたブロック、たとえば再構築された近隣のブロックを、イントラ推定のために取得し、たとえば受信するように構成される。たとえば、エンコーダ20は、複数の(所定の)イントラ予測モードからイントラ予測モードを選択するように構成され得る。

ある実施形態では、エンコーダ20は、最適化基準に従って、たとえば、最小の残差(たとえば、現在のピクチャブロック203に最も類似する予測ブロック255をもたらすイントラ予測モード)または最小のレート歪みに基づいて、イントラ予測モードを選択するように構成され得る。

イントラ予測ユニット254は、たとえば、選択されたイントラ予測モードの中のイントラ予測パラメータに基づいて、イントラ予測ブロック255を決定するようにさらに構成される。いずれの場合でも、ブロックのためのイントラ予測モードを選択した後、イントラ予測ユニット254は、イントラ予測パラメータ、すなわち、ブロックのための選択されたイントラ予測モードを示す情報を、エントロピー符号化ユニット270に提供するようにさらに構成される。ある例では、イントラ予測ユニット254は、イントラ予測技術の任意の組合せを実行するように構成され得る。

具体的には、イントラ予測ユニット254は、シンタックス要素をエントロピー符号化ユニット270に送信し得る。シンタックス要素は、イントラ予測パラメータ(複数のイントラ予測モードを走査した後で現在のブロックの予測のために使用されるイントラ予測モードの選択の指示情報など)を含む。ある可能な適用シナリオでは、イントラ予測モードが1つしかない場合、イントラ予測パラメータは、シンタックス要素において搬送されなくてもよい。この場合、デコーダ側30が、デフォルト予測モードを使用することによって復号を直接実行し得る。

エントロピー符号化ユニット270は、エントロピー符号化アルゴリズムもしくは方式(たとえば、可変長コーディング(variable length coding, VLC)方式、コンテキスト適応VLC(context-adaptive VLC, CAVLC)方式、算術コーディング方式、コンテキスト適応バイナリ算術コーディング(context-adaptive binary arithmetic coding, CABAC)方式、シンタックスベースコンテキスト適応バイナリ算術コーディング(syntax-based context-adaptive binary arithmetic coding, SBAC)方式、確率間隔区分エントロピー(probability interval partitioning entropy, PIPE)コーディング方式、または別のエントロピーコーディング方式もしくは技術)を、量子化された残差係数209、インター予測パラメータ、イントラ予測パラメータ、および/またはループフィルタパラメータのうちの1つまたはすべてに適用し(または適用せず)、たとえば符号化されたビットストリーム21の形式で出力272を介して出力され得る符号化されたピクチャデータ21を取得するように構成される。符号化されたビットストリームは、ビデオデコーダ30に送信され、または、後続の送信もしくはビデオデコーダ30による取り出しのために記憶され得る。エントロピー符号化ユニット270は、符号化されている現在のビデオスライスのための別のシンタックス要素をエントロピー符号化するようにさらに構成され得る。

ビデオエンコーダ20の他の構造的な変形が、ビデオストリームを符号化するために使用され得る。たとえば、非変換ベースのエンコーダ20は、一部のブロックまたはフレームに対して、変換処理ユニット206なしで残差信号を直接量子化することができる。別の実装形態では、エンコーダ20は、単一のユニットへと組み合わせられた量子化ユニット208および逆量子化ユニット210を有し得る。

具体的には、本出願のこの実施形態では、エンコーダ20は、以下の実施形態において説明されるビデオピクチャ符号化方法を実施するように構成され得る。

ビデオエンコーダ20の他の構造的な変形が、ビデオストリームを符号化するために使用され得ることを理解されたい。たとえば、一部のピクチャブロックまたはピクチャフレームに対して、ビデオエンコーダ20は残差信号を直接量子化し得る。この場合、変換処理ユニット206による処理は必要とされず、それに対応して、逆変換処理ユニット212による処理も必要とされない。代替的に、一部のピクチャブロックまたはピクチャフレームに対して、ビデオエンコーダ20は残差データを生成しない。それに対応して、この場合、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、および逆変換処理ユニット212による処理は必要とされない。代替的に、ビデオエンコーダ20は、再構築されたピクチャブロックを参照ブロックとして直接記憶し得る。この場合、フィルタ220による処理は必要とされない。代替的に、ビデオエンコーダ20の中の量子化ユニット208および逆量子化ユニット210は、組み合わせられてもよい。ループフィルタ220は任意選択である。加えて、無損失圧縮コーディングの場合、変換処理ユニット206、量子化ユニット208、逆量子化ユニット210、および逆変換処理ユニット212も任意選択である。異なる応用シナリオにおいては、インター予測ユニット244およびイントラ予測ユニット254が選択的に使用され得ることを理解されたい。

図3は、本出願の実施形態によるデコーダ30の例の概略/概念ブロック図である。ビデオデコーダ30は、復号されたピクチャ331を取得するために、たとえば、エンコーダ20による符号化を通じて得られた符号化されたピクチャデータ(たとえば、符号化されたビットストリーム)21を受信するように構成される。復号プロセスにおいて、ビデオデコーダ30は、ビデオエンコーダ20から、ビデオデータ、たとえば、符号化されたビデオスライスの中のピクチャブロックと関連するシンタックス要素とを表す符号化されたビデオビットストリームを受信する。

図3の例では、デコーダ30は、エントロピー復号ユニット304、逆量子化ユニット310、逆変換処理ユニット312、再構築ユニット314(たとえば、加算器314)、バッファ316、ループフィルタ320、復号ピクチャバッファ330、および予測処理ユニット360を含む。予測処理ユニット360は、インター予測ユニット344、イントラ予測ユニット354、およびモード選択ユニット362を含み得る。いくつかの例では、ビデオデコーダ30は、図2のビデオエンコーダ20に関して説明される符号化パスとは全般に逆の復号パスを実行し得る。

エントロピー復号ユニット304は、符号化されたピクチャデータ21をエントロピー復号して、たとえば、量子化された係数309および/または復号された符号化パラメータ(図3には示されない)、たとえば、インター予測パラメータ、イントラ予測パラメータ、ループフィルタパラメータ、および/または別のシンタックス要素(復号される)のいずれか1つまたはすべてを取得するように構成される。エントロピー復号ユニット304は、インター予測パラメータ、イントラ予測パラメータ、および/または別のシンタックス要素を予測処理ユニット360に転送するようにさらに構成される。ビデオデコーダ30は、ビデオスライスレベルおよび/またはピクチャブロックレベルにおいてシンタックス要素を受信し得る。

逆量子化ユニット310は、逆量子化ユニット210と機能が同一であってもよく、逆変換処理ユニット312は、逆変換処理ユニット212と機能が同一であってもよく、再構築ユニット314は、再構築ユニット214と機能が同一であってもよく、バッファ316は、バッファ216と機能が同一であってもよく、ループフィルタ320は、ループフィルタ220と機能が同一であってもよく、復号ピクチャバッファ330は、復号ピクチャバッファ230と機能が同一であってもよい。

予測処理ユニット360は、インター予測ユニット344およびイントラ予測ユニット354を含み得る。インター予測ユニット344は、インター予測ユニット244と機能が類似していてもよく、イントラ予測ユニット354は、イントラ予測ユニット254と機能が類似していてもよい。予測処理ユニット360は通常、ブロック予測を実行し、および/または符号化されたデータ21から予測ブロック365を取得し、たとえばエントロピー復号ユニット304から、選択された予測モードについての予測関連のパラメータおよび/もしくは情報を(明示的にまたは暗黙的に)受信または取得するように構成される。

ビデオフレームがイントラ符号化された(I)スライスへと符号化されるとき、予測処理ユニット360の中のイントラ予測ユニット354は、現在のフレームまたはピクチャの以前に復号されたブロックのシグナリングされたイントラ予測モードおよびデータに基づいて、現在のビデオスライスの中のピクチャブロックの予測ブロック365を生成するように構成される。ビデオフレームがインター符号化された(すなわち、BまたはP)スライスへと符号化されるとき、予測処理ユニット360の中のインター予測ユニット344(たとえば、動き補償ユニット)は、動きベクトルおよびエントロピー復号ユニット304から受信される別のシンタックス要素に基づいて、現在のビデオスライスの中のビデオブロックの予測ブロック365を生成するように構成される。インター予測において、予測ブロックは、参照ピクチャリストの中の参照ピクチャから生成され得る。ビデオデコーダ30は、デフォルトの構築技術を使用することによって、およびDPB330に記憶されている参照ピクチャに基づいて、参照フレームリストであるリスト0およびリスト1を構築し得る。

予測処理ユニット360は、動きベクトルおよび別のシンタックス要素を解析することによって、現在のビデオスライスの中のビデオブロックの予測情報を決定し、予測情報を使用することによって、復号されている現在のビデオブロックの予測ブロックを生成するように構成される。本出願のある例では、予測処理ユニット360は、いくつかの受信されたシンタックス要素を使用することによって、ビデオスライスの中のビデオブロックを符号化するための予測モード(たとえば、イントラ予測またはインター予測)、インター予測スライスタイプ(たとえば、Bスライス、Pスライス、またはGPBスライス)、スライスのための参照ピクチャリストのうちの1つまたは複数の構築情報、スライスの中の各々のインター符号化されたビデオブロックの動きベクトル、スライスの中の各々のインター符号化されたビデオブロックのインター予測ステータス、および他の情報を決定して、現在のビデオスライスの中のビデオブロックを復号する。本開示の別の例では、ビットストリームからビデオデコーダ30によって受信されるシンタックス要素は、適応パラメータセット(adaptive parameter set, APS)、シーケンスパラメータセット(sequence parameter set, SPS)、ピクチャパラメータセット(picture parameter set, PPS)、またはスライスヘッダのうちの1つまたは複数の中のシンタックス要素を含む。

逆量子化ユニット310は、ビットストリームにおいて提供されエントロピー復号ユニット304によって復号される量子化された変換係数に対して逆量子化(すなわち、量子化解除)を実行するように構成され得る。逆量子化処理は、適用されるべき量子化の程度と、同様に、適用されるべき逆量子化の程度とを決定するために、ビデオスライスの中の各ビデオブロックのためにビデオエンコーダ20によって計算される量子化パラメータを使用することを含み得る。

逆変換処理ユニット312は、ピクセル領域において残差ブロックを生成するために、逆変換(たとえば、逆DCT、逆整数変換、または概念的に同様の逆変換処理)を変換係数に適用するように構成される。

再構築ユニット314(たとえば、加算器314)は、たとえば、再構築された残差ブロック313のサンプル値および予測ブロック365のサンプル値を加算することによって、逆変換ブロック313(すなわち、再構築された残差ブロック313)を予測ブロック365に加算して、サンプル領域において再構築されたブロック315を取得するように構成される。

ループフィルタユニット320は(コーディングループの中またはコーディングループの後のいずれかにおいて)、ピクセル遷移を滑らかにするために、またはビデオ品質を高めるために、再構築されたブロック315をフィルタリングしてフィルタリングされたブロック321を取得するように構成される。ある例では、ループフィルタユニット320は、以下で説明されたフィルタリング技術の任意の組合せを実行するように構成され得る。ループフィルタユニット320は、デブロッキングフィルタ、サンプル適応オフセット(sample-adaptive offset, SAO)フィルタ、または他のフィルタ、たとえば、バイラテラルフィルタ、適応ループフィルタ(adaptive loop filter, ALF)、先鋭化もしくは平滑化フィルタ、または協調フィルタなどの、1つまたは複数のループフィルタを表すことが意図される。図3ではループフィルタユニット320がループ内フィルタとして示されるが、別の実装形態では、ループフィルタユニット320はループ後フィルタとして実装され得る。

次いで、所与のフレームまたはピクチャの中の復号されたビデオブロックは、後続の動き補償のために使用される参照ピクチャを記憶する復号ピクチャバッファ330に記憶される。

デコーダ30は、ユーザへの提示または視聴のために、出力332を介して、たとえば復号されたピクチャ331を出力するように構成される。

ビデオデコーダ30の他の変形が、圧縮されたビットストリームを復号するために使用され得る。たとえば、デコーダ30は、ループフィルタユニット320なしで出力ビデオストリームを生成することができる。たとえば、非変換ベースのデコーダ30は、一部のブロックまたはフレームに対して、逆変換処理ユニット312なしで残差信号を直接逆量子化することができる。別の実装形態では、ビデオデコーダ30は、単一のユニットへと組み合わせられた逆量子化ユニット310および逆変換処理ユニット312を有し得る。

具体的には、本出願のこの実施形態では、デコーダ30は、以下の実施形態において説明されるビデオピクチャ復号方法を実施するように構成され得る。

ビデオデコーダ30の他の構造的な変形が、符号化されたビデオビットストリームを復号するために使用され得ることを理解されたい。たとえば、ビデオデコーダ30は、フィルタ320による処理なしで出力ビデオストリームを生成し得る。代替的に、一部のピクチャブロックまたはピクチャフレームに対して、ビデオデコーダ30の中のエントロピー復号ユニット304は、復号を通じて量子化された係数を取得せず、それに対応して、逆量子化ユニット310および逆変換処理ユニット312による処理は必要とされない。ループフィルタ320は任意選択である。加えて、無損失圧縮の場合、逆量子化ユニット310および逆変換処理ユニット312も任意選択である。異なる応用シナリオにおいては、インター予測ユニットおよびイントラ予測ユニットが選択的に使用され得ることを理解されたい。

本出願におけるエンコーダ20およびデコーダ30では、ステップの処理結果がさらに処理され、そして次のステップに出力され得ることを理解されたい。たとえば、補間フィルタリング、動きベクトル導出、またはループフィルタリングなどのステップの後で、clipまたはshiftなどのさらなる操作が、対応するステップの処理結果に対して実行される。

たとえば、近隣のアフィンコーディングブロックの動きベクトルに基づいて導出される、現在のピクチャブロックの制御点の動きベクトル、または、近隣のアフィンコーディングブロックの動きベクトルに基づいて導出される、現在のピクチャブロックのサブブロックの動きベクトルが、さらに処理され得る。これは本出願では限定されない。たとえば、動きベクトルの値は、特定のビット幅範囲内にあるように制約される。動きベクトルの許容されるビット幅がbitDepthであると仮定すると、動きベクトルの値は-2^(bitDepth-1)から2^(bitDepth-1)-1にわたり、記号「^」は指数を表す。bitDepthが16である場合、値は-32768から32767にわたる。bitDepthが18である場合、値は-131072から131071にわたる。別の例では、動きベクトル(たとえば、1つの8×8ピクチャブロック内の4つの4×4サブブロックの動きベクトルMV)の値は、4つの4×4サブブロックのMVの整数部分間の最大の差がNピクセルを超えず、たとえば1ピクセルを超えないように制約される。

図4は、本出願のある実施形態による、ビデオコーディングデバイス400(たとえば、ビデオ符号化デバイス400またはビデオ復号デバイス400)の概略構造図である。ビデオコーディングデバイス400は、本明細書において説明される実施形態を実装するのに適している。ある実施形態では、ビデオコーディングデバイス400は、ビデオデコーダ(たとえば、図1Aのデコーダ30)またはビデオエンコーダ(たとえば、図1Aのエンコーダ20)であり得る。別の実施形態では、ビデオコーディングデバイス400は、図1Aのデコーダ30または図1Aのエンコーダ20の1つまたは複数の構成要素であり得る。

ビデオコーディングデバイス400は、データを受信するように構成される入口ポート410および受信ユニット(Rx)420、データを処理するように構成されるプロセッサ、論理ユニット、または中央処理装置(CPU)430、データを送信するように構成される送信機ユニット(Tx)440および出口ポート450、ならびにデータを記憶するように構成されるメモリ460を含む。受信ユニット420は、受信機420または受信機ユニット420とも呼ばれ得る。送信機ユニット440は、略して送信機440とも呼ばれ得る。ビデオコーディングデバイス400は、光信号または電気信号の出口もしくは入口のための、入口ポート410、受信機ユニット420、送信機ユニット440、および出口ポート450に結合される、光-電気構成要素および電気-光(EO)構成要素をさらに含み得る。

プロセッサ430は、ハードウェアおよびソフトウェアによって実装される。プロセッサ430は、1つまたは複数のCPUチップ、コア(たとえば、マルチコアプロセッサ)、FPGA、ASIC、およびDSPとして実装され得る。プロセッサ430は、入口ポート410、受信機ユニット420、送信機ユニット440、出口ポート450、およびメモリ460と通信する。プロセッサ430は、コーディングモジュール470(たとえば、符号化モジュール470または復号モジュール470)を含む。符号化/復号モジュール470は、本出願の実施形態において提供されるビデオピクチャ復号および符号化方法を実施するために、本明細書において開示される実施形態を実施する。たとえば、符号化/復号モジュール470は、様々なコーディング動作を実施し、処理し、または提供する。したがって、符号化/復号モジュール470は、ビデオコーディングデバイス400の機能に対するかなりの改善をもたらし、異なる状態へのビデオコーディングデバイス400の変換に影響を及ぼす。代替的に、符号化/復号モジュール470は、メモリ460に記憶されておりプロセッサ430によって実行される命令として実装される。

メモリ460は、1つまたは複数のディスク、テープドライブ、およびソリッドステートドライブを含み、プログラムが実行のために選択されるときそのようなプログラムを記憶し、プログラム実行の間に読み取られる命令およびデータを記憶するために、オーバーフローデータストレージとして使用され得る。メモリ460は、揮発性および/または不揮発性であってもよく、読取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、三値連想メモリ(ternary content-addressable memory, TCAM)、および/または静的ランダムアクセスメモリ(SRAM)であってもよい。

図5は、ある例示的な実施形態による、図1Aのソースデバイス12および宛先デバイス14のいずれかまたは両方として使用され得る装置500の簡略化されたブロック図である。装置500は、本出願の技術を実装することができる。言い換えると、図5は、本出願のある実施形態による、符号化デバイスまたは復号デバイス(略してコーディングデバイス500と呼ばれる)の実装形態の概略ブロック図である。コーディングデバイス500は、プロセッサ510、メモリ530、およびバスシステム550を含み得る。プロセッサおよびメモリは、バスシステムを通じて接続される。メモリは命令を記憶するように構成される。プロセッサは、メモリに記憶されている命令を実行するように構成される。コーディングデバイスのメモリはプログラムコードを記憶する。プロセッサは、本出願において説明される様々なビデオピクチャ符号化または復号方法を実行するための、メモリに記憶されているプログラムコードを呼び出し得る。反復を避けるために、詳細はここでは説明されない。

本出願のこの実施形態では、プロセッサ510は、中央処理装置(Central Processing Unit、略して「CPU」)であり得る。代替的に、プロセッサ510は、別の汎用プロセッサ、デジタルシグナルプロセッサ(DSP)、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)もしくは別のプログラマブル論理デバイス、ディスクリートゲートもしくはトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントなどであり得る。汎用プロセッサは、マイクロプロセッサ、任意の従来のプロセッサなどであり得る。

メモリ530は、読取り専用メモリ(ROM)デバイスまたはランダムアクセスメモリ(RAM)デバイスを含み得る。代替的に、任意の他の適切なタイプのストレージデバイスがメモリ530として使用され得る。メモリ530は、バス550を通じてプロセッサ510によってアクセスされるコードおよびデータ531を含み得る。メモリ530は、オペレーティングシステム533およびアプリケーションプログラム535をさらに含み得る。アプリケーションプログラム535は、本出願において説明されるビデオ符号化または復号方法(特に本出願において説明されるビデオピクチャ符号化または復号方法)をプロセッサ510が実行することを可能にする少なくとも1つのプログラムを含む。たとえば、アプリケーションプログラム535は、アプリケーション1からNを含み得る。アプリケーションは、本出願において説明されるビデオ符号化または復号方法を実行するビデオ符号化または復号アプリケーション(略してビデオコーディングアプリケーションと呼ばれる)をさらに含む。

バスシステム550は、データバスを含むだけではなく、電源バス、制御バス、ステータス信号バスなども含み得る。しかしながら、明確な説明のために、図面の中の様々なタイプのバスが、バスシステム550としてマークされる。

任意選択で、コーディングデバイス500は、1つまたは複数の出力デバイス、たとえばディスプレイ570をさらに含み得る。ある例では、ディスプレイ570は、ディスプレイと、タッチ入力を感知するように動作可能なタッチ感知ユニットとを組み合わせた、タッチ感知ディスプレイであり得る。ディスプレイ570は、バス550を通じてプロセッサ510に接続され得る。

以下は、本出願においてインター予測のために使用される関連技術を説明する。

(1)マージ(merge)モード
マージモードでは、動きベクトル候補リストがまず、現在のブロックの空間的または時間的に隣接する符号化されたブロックの動き情報に基づいて構築される。次いで、動きベクトル候補リストの中の最小のレート歪みコストに対応する動き情報候補が、現在のブロックの動きベクトル予測子(motion vector predictor, MVP)として使用され、動きベクトル候補リストの中の最適な動き情報候補の位置のインデックス値(たとえば、以後merge indexと表記される)が、デコーダ側に転送される。近隣のブロックの位置および走査順序はあらかじめ定められている。レート歪みコストは式(1)に従って計算され、Jはレート歪みコスト(RD cost)を表し、SADは、動きベクトル候補予測子を使用することによって動き推定を通じて得られる元のピクセル値と予測されるピクセル値との絶対差分和(sum of absolute differences, SAD)であり、Rはビットレートを表し、λはラグランジュ乗数を表す。エンコーダ側は、動きベクトル候補リストの中の選択された動きベクトル予測子のインデックス値をデコーダ側に転送する。さらに、現在のブロックの実際の動きベクトルを取得するために、MVPを中心とする近隣において動き探索が実行される。エンコーダ側は、MVPと実際の動きベクトルとの差(motion vector difference)(すなわち、残差)をデコーダ側に転送する。
J=SAD+λR (1)

図6は、現在のブロックの空間動き情報候補および時間動き情報候補を示す。図6に示されるように、空間動き情報候補は、5つの空間的に隣接するブロック(A₀、A₁、B₀、B₁、およびB₂)からのものである。近隣のブロックが利用不可能である(近隣のブロックが存在しない、近隣のブロックが符号化されない、または近隣のブロックのために使用される予測モードがインター予測モードではない)場合、近隣のブロックの動き情報は、動きベクトル候補リストに追加されない。現在のブロックの時間動き情報候補は、参照フレームおよび現在のフレームのピクチャ順序カウント(picture order count, POC)に基づいて、参照フレームの中の対応する位置におけるブロックのMVをスケーリングすることによって取得される。参照フレームの中の位置Tにおけるブロックが利用可能であるかどうかがまず決定される。ブロックが利用不可能ではない場合、参照フレームの中の位置Cにおけるブロックが選択される。

マージモードにおいて、近隣のブロックの位置および走査順序はあらかじめ定められている。加えて、近隣のブロックの位置および走査順序は、異なるモードにおいては異なり得る。

1つの動きベクトル候補リストが、マージモードにおいて維持されることが必要であることがわかり得る。新しい動き情報が候補リストに追加される前に毎回、同じ動き情報がリストに存在するかどうかがまず確認される。同じ動き情報がリストに存在する場合、動き情報はリストに追加されない。この確認プロセスは、動きベクトル候補リストのプルーニングと呼ばれる。リストのプルーニングは、冗長なレート歪みコストの計算を避けるために、リストの中の同じ動き情報を避けることである。

(2)スキップ(skip)モード
スキップモードは特別なマージモードである。違いは、送信の間に残差がないことと、マージ候補インデックス(merge index)のみが転送されることである。merge indexは、マージ動き情報候補リストの中の最良のまたは目標の動き情報候補を示すために使用される。

(3)三角予測ユニット(triangle prediction unit, triangle PU)モード
図7に示されるように、現在のブロックは2つの三角予測ユニットへと分割され、動きベクトルおよび参照フレームインデックスは、各三角予測ユニットのための単予測候補リストから選択される。次いで、2つの三角予測ユニットの各々に対して予測値が取得され、対角領域または反対角領域に含まれるピクセルに対して適応加重を実行することによって、予測子が得られる。次いで、変換および量子化処理が、現在のブロック全体に対して実行される。加えて、三角予測ユニットモードは通常、スキップモードまたはマージモードだけで適用されることに留意されたい。図7(1)は、左上から右下の分割モード(すなわち、左上の角から右下の角への分割)を示し、図7(2)は、右上から左下の分割モード(すなわち、右上の角から左下の角への分割)を示す。

一般に、三角予測ユニットモードの中の単予測候補リストは、5つの予測される動きベクトル候補を含み得る。これらの予測される動きベクトル候補は、たとえば、図6の7個の近隣のブロック(5個の空間的な近隣ブロックおよび2個の時間的な対応するブロック)を使用することによって得られる。7個の近隣のブロックの動き情報が探され、7個の近隣のブロックが単予測候補リストへと順番に配置される。たとえば、この順序は、L0の中の双予測動きベクトル、L1の中の双予測動きベクトル、およびL0とL1の中の動きベクトルの平均であり得る。候補が5つより少ない場合、ゼロ動きベクトル0が単予測候補リストに追加される。符号化の間、前述の方式で単予測候補リストが取得される。たとえば、単予測候補リストにおいて、一方の三角PUのピクセル予測子を予測するために前方予測動き情報が使用され、他方の三角PUのピクセル予測子を予測するために後方予測動き情報が使用される。エンコーダ側が、走査を通じて最良の動きベクトルを選択する。たとえば、以下の方式{m,i,j}が使用され得る。
{0, 1, 0}、{1, 0, 1}、{1, 0, 2}、{0, 0, 1}、{0, 2, 0}
{1, 0, 3}、{1, 0, 4}、{1, 1, 0}、{0, 3, 0}、{0, 4, 0}
{0, 0, 2}、{0, 1, 2}、{1, 1, 2}、{0, 0, 4}、{0, 0, 3}
{0, 1, 3}、{0, 1, 4}、{1, 1, 4}、{1, 1, 3}、{1, 2, 1}
{1, 2, 0}、{0, 2, 1}、{0, 4, 3}、{1, 3, 0}、{1, 3, 2}
{1, 3, 4}、{1, 4, 0}、{1, 3, 1}、{1, 2, 3}、{1, 4, 1}
{0, 4, 1}、{0, 2, 3}、{1, 4, 2}、{0, 3, 2}、{1, 4, 3}
{0, 3, 1}, {0, 2, 4}, {1, 2, 4}, {0, 4, 2}, {0, 3, 4}
{m,i,j}において、第1の位置におけるmは、左上から右下の分割モードまたは右上から左下の分割モードを表し、第2の位置におけるiは、第1の三角PUのために使用される第iの予測される動きベクトル候補の前方動き情報を表し、第3の位置におけるjは、第2の三角PUによって使用される第jの予測される動きベクトル候補の後方動き情報を表す。

対角領域または反対角領域に含まれるピクセルの予測子に基づいて実行される適応加重処理については、図8を参照されたい。三角予測ユニットP₁およびP₂の予測が完了した後、現在のブロックの最後の予測子を取得するために、対角領域または反対角領域に含まれるピクセルに対して適応加重処理が実行される。たとえば、図8の左の図における2の位置にあるピクセルの予測子は、
である。P₁は図8の右上の領域におけるピクセルの予測子を表し、P₂は図8の左下の領域におけるピクセルの予測子を表す。

加重されたパラメータの2つのセットは次の通りである。

加重されたパラメータの第1のセット{7/8, 6/8, 4/8, 2/8, 1/8}および{7/8, 4/8, 1/8}はそれぞれ、ルマ点およびクロマ点のために使用される。

加重されたパラメータの第2のセット{7/8, 6/8, 5/8, 4/8, 3/8, 2/8, 1/8}および{6/8, 4/8, 2/8}はそれぞれ、ルマ点およびクロマ点のために使用される。

加重されたパラメータの1つのセットは、現在のブロックをコーディングするために使用される。2つの予測ユニットの参照ピクチャが異なるとき、または、2つの予測ユニット間の動きベクトル差分が16ピクセルより大きいとき、加重されたパラメータの第2のセットが選択され、それ以外の場合、加重されたパラメータの第1のセットが使用される。

(4)動きベクトル差分を用いたマージモード(merge mode with motion vector difference, MMVD)
マージ候補がMMVDにおいて使用される。1つまたは複数の動きベクトル候補が、マージ動きベクトル候補リストから選択され、動きベクトル(MV)拡張表現が、動きベクトル候補に基づいて実行される。MV拡張表現は、MVの開始点、動きステップサイズ、および動き方向を含む。

既存のマージ動きベクトル候補リストが使用され、選択された動きベクトル候補は、デフォルトマージタイプ(たとえば、MRG_TYPE_DEFAULT_N)である。選択された動きベクトル候補は、MVの開始点である。言い換えると、選択された動きベクトル候補は、MVの初期位置を決定するために使用される。表1に示されるように、基本候補インデックス(Base candidate IDX)は、どの動きベクトル候補が最適な動きベクトル候補として動きベクトル候補リストから選択されるかを示す。

マージ動きベクトル候補リストが選択のために1つの動きベクトル候補を含む場合、Base candidate IDXは決定されなくてもよい。

距離インデックス(Distance IDX)は、動きベクトルのオフセット距離情報を表す。距離インデックスの値は、初期位置からの距離オフセット(たとえば、あらかじめ設定された距離)を表す。あらかじめ設定された距離の定義は表2に示される。

方向インデックス(Direction IDX)は、初期位置に基づいて動きベクトル差分(MVD)の方向を表す。方向インデックスは全体で4つの場合を含み得る。具体的な定義は表3に示される。

MMVDを使用することによって現在のピクチャブロックに対する予測されたピクセル値を決定するプロセスは、次の通りである。まず、MVの開始点は、base candidate IDXに基づいて決定される。たとえば、開始点は、図9Aの中心にある中空の点または図9Bの実線に対応する位置である。次いで、MVの開始点に基づくオフセット方向は、direction IDXに基づいて決定され、direction IDXによって示される方向におけるオフセットであるピクセル要素の具体的な量は、distance IDXに基づいて決定される。たとえば、direction IDX == 00およびdistance IDX = 2は、x方向において1ピクセル要素だけオフセットしている動きベクトルが、現在のピクチャブロックの予測されたピクセル値を予測または取得するために、現在のピクチャブロックの動きベクトルとして使用されることを示す。

MMVDインジケータのコーディングは、スキップインジケータおよびマージインジケータのコーディングの後で実行される。スキップインジケータまたはマージインジケータが真である場合、MMVDインジケータがコーディングされる必要がある。たとえば、スキップインジケータまたはマージインジケータが1であり、MMVDインジケータが1である場合、MMVDに対応する別の関連するインジケータがコーディングされる必要がある。

(5)組み合わせられたインター予測およびイントラ予測
組み合わせられたインター予測およびイントラ予測(combined inter-picture merge and intra-picture prediction, CIIP)は、イントラ予測およびマージ予測を組み合わせる。マージモードが現在のピクチャブロックのインター予測のために使用されることが許容されるとき、フラグビットが導入される。フラグビットが1であるとき、それは、1つのイントラモードがイントラ候補リストから選択されることを示す。ルマ成分に対して、イントラ候補リストの中の候補は、4つのイントラ予測モード、すなわち直流モード(DCモード)、平面(PLANAR)モード、水平予測モード、および垂直予測モードからのものである。現在のピクチャブロックのサイズに基づいて、イントラ候補リストの長さは3または4に設定され得る。現在のピクチャブロックの幅が高さの2倍より大きいとき、水平予測モードがイントラ候補リストから除外される。現在のピクチャブロックの高さが幅の2倍より大きいとき、垂直予測モードがイントラ候補リストから除外される。イントラ予測モードは、イントラモードインデックスに基づいてイントラ候補リストから選択され、イントラ予測は、現在のブロックのイントラ予測ブロックを取得するために、選択されたイントラ予測モードを使用することによって現在のブロックに対して実行され、インター予測は、現在のブロックのインター予測ブロックを取得するために、マージインデックスに基づいて動き情報候補リストから決定される動き情報候補に基づいて、現在のブロックに対して実行され、加重平均は、組み合わせられたインター予測およびイントラ予測モードにおける現在のブロックの予測ブロックを取得するために、イントラ予測ブロックおよびインター予測ブロックに対して実行される。

加えて、本出願において、「少なくとも1つ」は1つまたは複数を意味し、「複数の」は2つ以上を意味することに留意されたい。「および/または」という用語は、関連する対象物を記述するための関連付け関係を記述し、3つの関係が存在し得ることを表す。たとえば、Aおよび/またはBは、Aのみが存在する、AとBの両方が存在する、Bのみが存在するという場合を表してもよく、AおよびBは単数または複数であり得る。文字「/」は一般に、関連する対象物の間の「または」の関係を表す。「以下のうちの少なくとも1つの項目(1個)」またはその同様の表現は、単数の項目(1個)または複数の項目の任意の組合せ(複数個)を含む、これらの項目の任意の組合せを意味する。たとえば、a、b、またはcの少なくとも1つの項目(1個)は、a、b、c、a-b、a-c、b-c、またはa-b-cを表してもよく、a、b、およびcは単数または複数であってもよい。

現在、MMVDおよびtriangle PUモードが、インター予測において導入される。コーディングの間、現在のブロックのために使用されるインター予測モードがマージモードまたはスキップモードにあることが決定される場合、MMVDインジケータとtriangle PUインジケータの両方がコーディングされることが必要である。実際には、MMVDが使用されるとき、triangle PUモードは使用されない。言い換えると、MMVDインジケータビットとtriangle PUインジケータビットの両方が真である場合はない。この場合、MMVDインジケータビットとtriangle PUインジケータビットの両方がコーディングされる場合、冗長性が生じる。これは、コーディングリソースの浪費をもたらし、ビットストリームのビットオーバーヘッドを増やす。

これに基づいて、本出願の実施形態は、ビデオピクチャ復号および符号化方法と、ビデオピクチャ復号および符号化装置とを提供する。マージモードまたはスキップモードが使用されると決定されるとき、MMVDインジケータが真であると復号を通じて決定される場合、triangle PUインジケータはコーディングされなくてもよい。triangle PUインジケータは、MMVDインジケータが偽であることが復号を通じて決定されるときにのみコーディングされる。これは、使用されるコーディングリソースの量をある程度減らし、ビットストリームのビットオーバーヘッドを減らすことができる。方法および装置は、同じ発明の概念に基づく。方法の問題を解決する原理は、装置のそれと同様であるので、装置および方法の実装形態は互いを相互参照することができ、反復的な説明は行われない。

本出願の実施形態において提供されるビデオピクチャ復号および符号化方法に対して2つの場合がある。第1の場合には、スキップモードがインター予測に使用される。第2の場合には、マージモードがインター予測に使用される。

以下は、添付の図面を参照してデコーダ側の観点から、本出願において提供されるビデオピクチャ復号方法を詳細に説明する。具体的には、ビデオピクチャ復号方法は、デコーダ30によって実行されてもよく、または、デコーダの中のエントロピー復号ユニットおよび予測処理ユニットによって実行されてもよく、またはプロセッサによって実行されてもよい。

第1の場合におけるビデオピクチャ復号方法は、図10Aに示されるように、復号の観点から説明される。

S1001a: ビットストリームからの第1のインジケータを解析する。

第1のインジケータは、スキップモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第1のインジケータは、スキップモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。たとえば、標準的なテキストまたは符号で、第1のインジケータは、シンタックス要素cu_skip_flag[x0][y0]により表され得る。たとえば、cu_skip_flag[x0][y0] == 1であるとき、それは、スキップモードが現在の処理されるべきピクチャのインター予測のために使用されることを示す。たとえば、スキップモードが使用されることが許容される。cu_skip_flag[x0][y0] == 0であるとき、それは、スキップモードが現在の処理されるべきピクチャのインター予測のために使用されないことを示す。たとえば、スキップモードが使用されることが許容されない。

S1002a: 現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、ビットストリームからの第2のインジケータを解析する。

第2のインジケータは、スキップモードにおけるMMVDが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第2のインジケータは、MMVDが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。たとえば、標準的なテキストまたは符号で、第2のインジケータは、シンタックス要素skip_mmvd_flag[x0][y0]またはmmvd_flag[x0][y0]によって表され得る。mmvd_flag[x0][y0]が例として使用される。mmvd_flag[x0][y0] == 1であるとき、それは、MMVDが現在の処理されるべきピクチャのインター予測のために使用されることが許容されることを示す。mmvd_flag[x0][y0] == 0であるとき、それは、MMVDが現在の処理されるべきピクチャのインター予測のために使用されることが許容されないことを示す。

S1003a: 現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、ビットストリームからの第3のインジケータを解析する。

第3のインジケータは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第3のインジケータは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。

第3のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されることを示し、または、第3のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されないことを示す。たとえば、第1の値は1であり、第2の値は0である。別の例では、第1の値は0であり、第2の値は1である。(たとえば、第1の値が0であるとき、既存のインジケータが再使用され得ることを理解されたい。たとえば、第3のインジケータはciip_flagによって表され得、ciip_flag=0のとき、それは、CIIPが使用されないことを示すので、triangle PUモードが現在の処理されるべきピクチャブロックのインター予測のために使用されることが許容されることのような別のモードを間接的に示す。)

たとえば、標準的なテキストまたは符号で、第3のインジケータは、シンタックス要素skip_triangle_flag[x0][y0]、triangle_flag[x0][y0]、またはmerge_triangle_flag[x0][y0]によって表され得る。skip_triangle_flag[x0][y0]が例として使用される。skip_triangle_flag[x0][y0] == 1であるとき、それは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されることを示す。skip_triangle_flag[x0][y0] == 0であるとき、それは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されないことを示す。

S1004a: ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、インジケータ情報が、第1のインジケータ、第2のインジケータ、および第3のインジケータのうちの1つまたは複数を含む。

現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを第3のインジケータが示すとき、三角予測ユニットモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。

代替的に、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを第3のインジケータが示すとき、スキップモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。

第1のインジケータが真として復号される、たとえばcu_skip_flag[x0][y0] = 1であるとき、言い換えると、スキップモードが現在の処理されるべきピクチャブロックのインター予測のために使用され得るとき、第2のインジケータを復号する動作が実行され、MMVDがスキップモードにおいて適用されることを理解されたい。したがって、第2のインジケータは、MMVDが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第2のインジケータは、スキップモードにおけるMMVDが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。同様に、第3のインジケータは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第3のインジケータは、スキップモードにおいてtriangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。

S1005a: 現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行する。

ある例では、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードにおいてtriangle PUモードが使用されないことが決定されて示されるとき、スキップモードがインター予測のために使用されると決定され得る。当然、スキップモードの中の別のモードが解析され得る。この場合、スキップモードの中の別のモードは代替的に、現在の処理されるべきピクチャブロックのインター予測のために使用され得る。

ある可能な例では、第3のインジケータがビットストリームから解析されるべきであるとき、および、現在の処理されるべきピクチャブロックが、triangle PUモードがインター予測のために使用されることが許容されるという条件を満たすと決定されるとき、第3のインジケータがビットストリームから解析される。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、および、triangle PUモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、第3のインジケータがビットストリームから解析される。

条件は、次のうちの少なくとも1つを含み得る。
(1)triangle PU制御ビットが真である(たとえば、sps_triangle_enabled_flagが真である)、
(2)現在の処理されるべきピクチャブロックを含むビデオフレームがBフレーム(slice_type == B)である、
(3)現在の処理されるべきピクチャブロックの高さと幅の積が16以上である、および
(4)現在の処理されるべきピクチャブロックのためにaffineモードが使用されることが許容されない。

ある可能な例では、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードにおいてMMVDが使用されることを第2のインジケータが示すとき、第3のインジケータを復号する動作は実行されない。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されないことが、直接決定または推測され得る。さらに、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、マージモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、triangle PUモードのための関連するインジケータは解析されず、スキップモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行される。

とはいえ、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件が満たされるかどうかは、三角予測ユニットモードが現在のピクチャブロックのために使用されるかどうか、実際には、三角予測ユニットモードが現在のピクチャブロックのために使用されるかどうかがmerge_triangle_flagの値に基づいて決定される前に決定され得ることを理解されたい。merge_triangle_flagが1に等しい場合、三角予測ユニットモードは現在のピクチャブロックのために使用され、または使用されることが許容され、それ以外の場合、三角予測ユニットモードは、現在のピクチャブロックのために使用されず、または使用されることが許容されない。

以下は、図10Aに対応する実施形態における擬似コードの例を与える。
void CABACReader::triangle_mode(CodingUnit& cu)
{
RExt__DECODER_DEBUG_BIT_STATISTICS_CREATE_SET(STATS__CABAC_BITS__TRIANGLE_FLAG);
if(!cu.cs->slice->getSPS()->getSpsNext().getUseTriangle() || !cu.cs->slice->isInterB() || cu.lwidth() * cu.lheight() < TRIANGLE_MIN_SIZE || cu.affine)
{
return;
}
#if JVET_L0054_MMVD
if (cu.firstPU->mergeFlag && (cu.firstPU->mmvdMergeFlag || cu.mmvdSkip))
{
return;
}
#endif
unsigned flag_idx = DeriveCtx::CtxTriangleFlag(cu);
cu.triangle = m_BinDecoder.decodeBin(Ctx::TriangleFlag(flag_idx));
DTRACE(g_trace_ctx, D_SYNTAX, "triangle_mode() triangle_mode=%d pos=(%d,%d) size: %dx%d＼n", cu.triangle, cu.Y().x, cu.Y().y, cu.lumaSize().width, cu.lumaSize().height);
}

以下は、符号化の観点から詳細な説明を与える。図10Bは、ビデオピクチャ符号化方法の例の概略フローチャートを示す。

S1001b: 現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定する。

S1001bが実装されるとき、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードは、現在の処理されるべきピクチャブロックのための適切な予測モードを決定または選択する過程において、レート歪みコスト基準に従って、現在の処理されるべきピクチャブロックのための1つまたは複数のインター予測モードから決定され得る。たとえば、最小のレート歪みコストに対応する予測モードが、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードとして選択される。

S1002b: ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化し、インジケータ情報は第1のインジケータを含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき第2のインジケータをさらに含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、第3のインジケータをさらに含む。

第1のインジケータ、第2のインジケータ、および第3のインジケータの説明については、復号側についての説明を参照されたい。詳細はここでは再び説明されない。

ある可能な実装形態では、ビットストリームにおいて符号化されるとき、インジケータは1つずつ符号化されてもよく、後のインジケータがビットストリームにおいて符号化されるかどうかは、前のインジケータの値に基づいて決定される。

ある例では、B1: ビットストリームにおいて第1のインジケータを符号化する。

B2: 現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第1のインジケータが示すとき、ビットストリームにおいて第2のインジケータを符号化する。

B3: 現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、ビットストリームにおいて第3のインジケータを符号化する。

別の可能な実装形態では、インジケータの値がまず決定されてもよく、次いで、ビットストリームにおいてどのインジケータが符号化される必要があるかが、値に基づいて決定される。

たとえば、C1: 第1のインジケータの値、第2のインジケータの値、および第3のインジケータの値を決定し、C21、C22、またはC23を実行する。

C21: 第1のインジケータ、第2のインジケータ、および第3のインジケータをビットストリームにおいて符号化し、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを示すために第1のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを示すために第2のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示すために第3のインジケータの値が使用される。

C22: 第1のインジケータ、第2のインジケータ、および第3のインジケータをビットストリームにおいて符号化し、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを示すために第1のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを示すために第2のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示すために第3のインジケータの値が使用される。

C23: 第1のインジケータおよび第2のインジケータをビットストリームにおいて符号化し、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを示すために第1のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されることを示すために第2のインジケータの値が使用される。

ある可能な実装形態では、インジケータ情報が第2のインジケータを含むとき(ビットストリームが第2のインジケータを含むとき)、ビットストリームにおいて、第2のインジケータは第1のインジケータの後に位置し、または、インジケータ情報が第2のインジケータおよび第3のインジケータを含むとき(ビットストリームが第3のインジケータを含むとき)、ビットストリームにおいて、第3のインジケータは第2のインジケータの後に位置し、第2のインジケータは第1のインジケータの後に位置する。

ある可能な実装形態では、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、インジケータ情報は第4のインジケータをさらに含み(言い換えると、ビットストリームにおいて第4のインジケータを符号化する)、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み(言い換えると、ビットストリームにおいて第5のインジケータを符号化する)、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む(言い換えると、ビットストリームにおいて第6のインジケータを符号化する)。

第2の場合におけるビデオピクチャ復号方法は、図11Aに示されるように、復号の観点から説明される。

S1101a: ビットストリームからの第4のインジケータを解析する。

第4のインジケータは、マージモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第4のインジケータは、マージモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。たとえば、標準的なテキストまたは符号で、第4のインジケータは、シンタックス要素merge_flag[x0][y0]により表され得る。たとえば、merge_flag[x0][y0] == 1であるとき、それは、現在の処理されるべきピクチャのインター予測のためにマージモードが使用されることが許容されることを示し、または、merge_flag[x0][y0] == 0であるとき、それは、現在の処理されるべきピクチャのインター予測のためにマージモードが使用されることが許容されないことを示す。

S1102a: 現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析する。

第5のインジケータは、マージモードにおけるMMVDが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第5のインジケータは、MMVDが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。たとえば、標準的なテキストまたは符号で、第5のインジケータは、シンタックス要素merge_mmvd_flag[x0][y0]またはmmvd_flag[x0][y0]によって表され得る。たとえば、merge_mmvd_flag[x0][y0] == 1であるとき、それは、現在の処理されるべきピクチャのインター予測のためにMMVDが使用されることが許容されることを示し、または、merge_mmvd_flag[x0][y0] == 0であるとき、それは、現在の処理されるべきピクチャのインター予測のためにMMVDが使用されることが許容されないことを示す。

S1103a: 現在の処理されるべきピクチャブロックのインター予測のためにマージモードにおいてMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析する。

第6のインジケータは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。言い換えると、第6のインジケータは、マージモードにおいてtriangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されることが許容されるかどうかを示すために使用される。

第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されることが許容されることを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されることが許容されないことを示す。たとえば、第3の値は1であり、第4の値は0である。別の例では、第3の値は0であり、第4の値は1である。

たとえば、標準的なテキストまたは符号で、第6のインジケータは、シンタックス要素merge_triangle_flag[x0][y0]またはtriangle_flag[x0][y0]によって表され得る。たとえば、merge_triangle_flag[x0][y0] == 1であるとき、それは、現在の処理されるべきピクチャのインター予測のためにtriangle PUモードが使用されることが許容されることを示し、または、merge_triangle_flag [x0][y0] == 0であるとき、それは、現在の処理されるべきピクチャのインター予測のためにtriangle PUモードが使用されることが許容されないことを示す。

S1104a: ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、インジケータ情報が、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む。

第6のインジケータが第3の値であるとき、三角予測ユニットモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測が実行される。

代替的に、第6のインジケータが第4の値であるとき、マージモードを使用することによって現在の処理されるべきピクチャブロックに対してインター予測が実行される。

S1105a: 現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行する。

ある例では、現在の処理されるべきピクチャブロックのインター予測のためにマージモードにおいてtriangle PUモードが使用されないことが決定されるとき、マージモードがインター予測のために使用されると決定され得る。当然、マージモードの中の別のモードが解析され得る。この場合、代替的に、マージモードの中の別のモードが、現在の処理されるべきピクチャブロックのインター予測のために使用され得る。

ある可能な例では、第6のインジケータがビットストリームから解析されるべきであるとき、および、現在の処理されるべきピクチャブロックが、triangle PUモードがインター予測のために使用されることが許容されるという条件を満たすと決定されるとき、第6のインジケータがビットストリームから解析される。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、および、triangle PUモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、第6のインジケータがビットストリームから解析される。

条件については、図10Aに対応する実施形態における関連する説明を参照されたい。詳細はここでは再び説明されない。

ある可能な例では、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、第6のインジケータを復号する動作は実行されない。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、現在の処理されるべきピクチャブロックのインター予測のためにtriangle PUモードが使用されないことが、直接決定または推測され得る。さらに、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、マージモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が実行される。言い換えると、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、triangle PUモードのための関連するインジケータは解析されず、マージモードにおいてMMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測が直接実行される。

加えて、ある可能な実装形態では、第1のインジケータは、第4のインジケータがビットストリームから復号される前に復号される必要があり、第4のインジケータは、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すときにのみ、ビットストリームから復号される。言い換えると、図11Aにおいて示されるビデオピクチャ復号手順が実行される。現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、第4のインジケータを復号する動作は実行されない。言い換えると、図11Aに示されるビデオピクチャ復号手順は実行されないが、図10Aに示されるビデオピクチャ復号手順は実行される。

スキップモードはマージモードの1つであることを理解されたい。したがって、本明細書の第2のインジケータおよび第5のインジケータは、同じ方式で名付けられ得る。たとえば、両方がmmvd_flag[x0][y0]またはmerge_mmvd_flag[x0][y0]と呼ばれる。同様に、第3のインジケータおよび第6のインジケータも、同じ方式で名付けられ得る。たとえば、両方がmerge_triangle_flag[x0][y0]またはtriangle_flag[x0][y0]と呼ばれる。

第4のインジケータが真として復号される、たとえばmerge_flag[x0][y0] = 1であるとき、言い換えると、マージモードが現在の処理されるべきブロックのインター予測のために使用され得るとき、第5のインジケータを復号する動作が実行され、MMVDがマージモードにおいて適用されることを理解されたい。したがって、第5のインジケータは、MMVDが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第5のインジケータは、マージモードにおけるMMVDが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。同様に、第6のインジケータは、triangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。言い換えると、第6のインジケータは、マージモードにおいてtriangle PUモードが現在の処理されるべきピクチャのインター予測のために使用されるかどうかを示すために使用される。

以下は、符号化の観点から詳細な説明を与える。図11Bは、ビデオピクチャ符号化方法の例の概略フローチャートを示す。

S1101b: 現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定する。

S1102b: ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化し、インジケータ情報は第4のインジケータを含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき第5のインジケータをさらに含み、インジケータ情報は、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、第6のインジケータをさらに含む。

第6のインジケータが第3の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されることを示し、または、第6のインジケータが第4の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることが許容されないことを示す。

第4のインジケータ、第5のインジケータ、および第6のインジケータの説明については、復号側についての説明を参照されたい。詳細はここでは再び説明されない。

ある可能な実装形態では、ビットストリームにおいて符号化されるとき、インジケータは1つずつ符号化されてもよく、後のインジケータがビットストリームにおいて符号化されるかどうかは、前のインジケータの値に基づいて、または前のインジケータによって示される意味に基づいて決定されてもよい。

たとえば、E1: ビットストリームにおいて第4のインジケータを符号化する。

E2: 現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームにおいて第5のインジケータを符号化する。

E3: 現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームにおいて第6のインジケータを符号化する。

たとえば、F1: 第4のインジケータの値、第5のインジケータの値、および第6のインジケータの値を決定し、F21、F22、またはF23を実行する。

F21: 第4のインジケータ、第5のインジケータ、および第6のインジケータをビットストリームにおいて符号化し、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを示すために第4のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを示すために第5のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示すために第6のインジケータの値が使用される。

F22: 第4のインジケータ、第5のインジケータ、および第6のインジケータをビットストリームにおいて符号化し、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを示すために第4のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを示すために第5のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示すために第6のインジケータの値が使用される。

F23: 第4のインジケータおよび第5のインジケータをビットストリームにおいて符号化し、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを示すために第4のインジケータの値が使用され、処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを示すために第5のインジケータの値が使用される。

ある可能な実装形態では、インジケータ情報が第5のインジケータを含むとき(ビットストリームが第5のインジケータを含むとき)、ビットストリームにおいて、第5のインジケータは第4のインジケータの後に位置し、または、インジケータ情報が第5のインジケータおよび第6のインジケータを含むとき(ビットストリームが第6のインジケータを含むとき)、ビットストリームにおいて、第6のインジケータは第5のインジケータの後に位置し、第5のインジケータは第4のインジケータの後に位置する。

ある可能な実装形態では、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報が第6のインジケータをさらに含むことは、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、および、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、インジケータ情報が第6のインジケータをさらに含むことを含む。

ある可能な実装形態では、インジケータ情報は第1のインジケータをさらに含み、第1のインジケータは、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを示す。

本出願のある実施形態は、以下のステップを含む、ビデオピクチャ復号方法をさらに提供する。

G1: ビットストリームからの第7のインジケータ(たとえば、mh_intra_flag[x0][y0])を解析する。

G2: 組み合わせられたインター予測およびイントラ予測(すなわち、combined inter merge/intra prediction)が現在の処理されるべきピクチャブロックのために使用されないことを第7のインジケータが示すとき、ビットストリームからの第8のインジケータ(たとえば、merge_triangle_flag[x0][y0])を解析する。

第8のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示し、または、第8のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示す。

G3: ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、インジケータ情報は、第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む。

第8のインジケータが解析される前に他のインジケータ情報がさらに解析され得る事例は、排除されないことを理解されたい。第8のインジケータを解析するかどうかを決定するために別の条件が考慮される必要のある事例も、排除されない。本明細書の別の条件は、たとえば、sps_triangle_enabled_flag && slice_type (スライスタイプ) == B && cbWidth (現在のブロックの幅) * cbHeight (現在のブロックの高さ) >= 16である。ある例では、sps_triangle_enabled_flagは、現在の処理されるべきピクチャブロックを含むシーケンスのために三角予測ユニットモードが使用されることが許容されるかどうかを示す。別の例では、現在の処理されるべきピクチャブロックを含むピクチャのために三角予測ユニットモードが使用されることが許容されることを示す条件は、現在の処理されるべきピクチャブロックのために組み合わせられたインター予測およびイントラ予測が使用されないことを第7のインジケータが示すこと、sps_triangle_enabled_flag && slice_type (スライスタイプ) == B && cbWidth (現在のブロックの幅) * cbHeight (現在のブロックの高さ) >= 16などを含み得る。

本出願のある実施形態は、以下のステップを含む、別のビデオピクチャ復号方法をさらに提供する。

H1: ビットストリームからの第7のインジケータ(たとえば、mh_intra_flag[x0][y0])を解析する。

H2. 三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第8のインジケータ(merge_triangle_flag[x0][y0])を解析し、インター予測のために三角予測ユニットモードが使用されることが許容されるという条件が少なくとも、組み合わせられたインター予測とイントラ予測モードが現在の処理されるべきピクチャブロックのために使用されないことを第7のインジケータが示すことを含む。

H3: ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、インジケータ情報は、第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む。

ある例では、本明細書は、表4に示されるように、現在のピクチャブロックを解析するために使用されるインター予測モードのいくつかのシンタックス構造の例を説明する。

第1のインジケータ(cu_skip_flag[x0][y0])が真として復号されるとき、第4のインジケータ(merge_flag[x0][y0])はデフォルトで真であると見なされることを理解されたい。

前述の方法と同じ発明の概念に基づいて、図12に示されるように、本出願の実施形態は、ビデオピクチャ復号装置1200をさらに提供する。装置1200は、エントロピー復号ユニット1201およびインター予測ユニット1202を含む。

ある可能な実装形態では、エントロピー復号ユニット1201は、ビットストリームからの第1のインジケータを解析するように構成され、
エントロピー復号ユニット1201は、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、ビットストリームからの第2のインジケータを解析するようにさらに構成され、
エントロピー復号ユニット1201は、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、ビットストリームからの第3のインジケータを解析するようにさらに構成される。

インター予測ユニット1202は、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成され、インジケータ情報は、第1のインジケータ、第2のインジケータ、および第3のインジケータのうちの1つまたは複数を含む。

たとえば、インター予測ユニット1202は、
現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを第3のインジケータが示すとき、三角予測ユニットモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行し、または、
現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを第3のインジケータが示すとき、スキップモードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように特に構成される。

たとえば、インター予測ユニット1202は、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第2のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように特に構成される。

たとえば、エントロピー復号ユニット1201は、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析し、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析し、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析するようにさらに構成される。

それに対応して、インター予測ユニット1202は、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成され、インジケータ情報は、第1のインジケータ、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む。

たとえば、ビットストリームからの第3のインジケータを解析するとき、エントロピー復号ユニット1201は、
三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第3のインジケータを解析するように特に構成される。

ある可能な設計では、ビットストリームからの第3のインジケータを解析する前に、エントロピー復号ユニット1201は、ビットストリームからの第7のインジケータを解析するようにさらに構成される。

三角予測ユニットモードがインター予測のために使用されることが許容されるという条件は、組み合わせられたインター予測およびイントラ予測が現在の処理されるべきピクチャブロックのために使用されないことを第7のインジケータが示すことを含む。

それに対応して、インジケータ情報は、第1のインジケータ、第2のインジケータ、第3のインジケータ、および第7のインジケータのうちの1つまたは複数を含む。

ビットストリームからの第3のインジケータを解析することに関して、エントロピー復号ユニットは、現在の処理されるべきピクチャブロックのために組み合わせられたインター予測およびイントラ予測が使用されないことを第7のインジケータが示すとき、ビットストリームから第3のインジケータを解析するように特に構成される。

別の可能な実装形態では、エントロピー復号ユニット1201は、ビットストリームからの第4のインジケータを解析するように構成され、
エントロピー復号ユニット1201は、現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、ビットストリームからの第5のインジケータを解析し、現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、ビットストリームからの第6のインジケータを解析するようにさらに構成される。

インター予測ユニット1202は、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成され、インジケータ情報は、第4のインジケータ、第5のインジケータ、および第6のインジケータのうちの1つまたは複数を含む。

たとえば、インター予測ユニット1202は、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されることを第5のインジケータが示すとき、MMVDを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように特に構成される。

たとえば、ビットストリームからの第6のインジケータを解析するとき、エントロピー復号ユニット1201は、
三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第6のインジケータを解析するように特に構成される。

たとえば、エントロピー復号ユニット1201は、ビットストリームからの第1のインジケータを解析するようにさらに構成される。

ビットストリームからの第4のインジケータを解析するとき、エントロピー復号ユニット1201は、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、ビットストリームからの第4のインジケータを解析するように特に構成される。この場合、インジケータ情報は第1のインジケータをさらに含み得る。

さらに別の可能な実装形態では、エントロピー復号ユニット1201は、ビットストリームからの第7のインジケータを解析し、現在の処理されるべきピクチャブロックのために組み合わせられたインター予測とイントラ予測が使用されないことを第7のインジケータが示すとき、ビットストリームからの第8のインジケータを解析するように構成され、第8のインジケータが第1の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されることを示し、または、第8のインジケータが第2の値であるとき、それは、現在の処理されるべきピクチャブロックのインター予測のために三角予測ユニットモードが使用されないことを示す。

インター予測ユニット1202は、ビットストリームの中のインジケータ情報によって示されるインター予測モードを使用することによって、現在の処理されるべきピクチャブロックに対してインター予測を実行するように構成され、インジケータ情報は、第7のインジケータおよび第8のインジケータのうちの1つまたは複数を含む。

さらに別の可能な実装形態では、エントロピー復号ユニット1201は、ビットストリームからの第7のインジケータを解析し、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、ビットストリームからの第8のインジケータを解析するように構成され、インター予測のために三角予測ユニットモードが使用されることが許容されるという条件は少なくとも、組み合わせられたインター予測とイントラ予測が現在の処理されるべきピクチャブロックのために使用されないことを第7のインジケータが示すことを含む。

エントロピー復号ユニット1201およびインター予測ユニット1202の具体的な実装プロセスについては、図10Aまたは図11Aの実施形態における詳細な説明を参照できることにさらに留意されたい。本明細書の簡潔性のために、詳細はここでは再び説明されない。

前述の方法と同じ発明の概念に基づいて、図13に示されるように、本出願の実施形態は、ビデオピクチャ符号化装置1300をさらに提供する。装置1300は、インター予測ユニット1301およびエントロピー符号化ユニット1302を含む。

ある可能な実装形態では、インター予測ユニット1301は、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するように構成され、
エントロピー符号化ユニット1302は、ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するように構成され、
インジケータ情報は第1のインジケータを含み、
現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されることを第1のインジケータが示すとき、インジケータ情報は第2のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第2のインジケータが示すとき、インジケータ情報は第3のインジケータをさらに含む。

たとえば、インジケータ情報が第2のインジケータを含むとき、ビットストリームにおいて、第2のインジケータは第1のインジケータの後に位置し、または、インジケータ情報が第3のインジケータをさらに含むとき、ビットストリームにおいて、第3のインジケータは第2のインジケータの後に位置する。

たとえば、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを第1のインジケータが示すとき、インジケータ情報は第4のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む。

たとえば、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、インジケータ情報は第3のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第2のインジケータが示すとき、および、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、インジケータ情報が第3のインジケータをさらに含むことを含む。

別の可能な実装形態では、インター予測ユニット1301は、現在の処理されるべきピクチャブロックのインター予測のために使用される予測モードを決定するように構成され、
エントロピー符号化ユニット1302は、ビットストリームにおいて、決定された予測モードを示すために使用されるインジケータ情報を符号化するように構成され、
インジケータ情報は第4のインジケータを含み、
現在の処理されるべきピクチャブロックのインター予測のためにマージモードが使用されることを第4のインジケータが示すとき、インジケータ情報は第5のインジケータをさらに含み、
現在の処理されるべきピクチャブロックのインター予測のために動きベクトル差分を用いたマージモードMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報は第6のインジケータをさらに含む。

たとえば、インジケータ情報が第5のインジケータを含むとき、ビットストリームにおいて、第5のインジケータは第4のインジケータの後に位置し、または、インジケータ情報が第5のインジケータおよび第6のインジケータを含むとき、ビットストリームにおいて、第6のインジケータは第5のインジケータの後に位置し、第5のインジケータは第4のインジケータの後に位置する。

たとえば、現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、インジケータ情報が第6のインジケータをさらに含むことは、
現在の処理されるべきピクチャブロックのインター予測のためにMMVDが使用されないことを第5のインジケータが示すとき、および、三角予測ユニットモードがインター予測のために使用されることが許容されるという条件を現在の処理されるべきピクチャブロックが満たすとき、インジケータ情報が第6のインジケータをさらに含むことを含む。

たとえば、インジケータ情報は第1のインジケータをさらに含み、第1のインジケータは、現在の処理されるべきピクチャブロックのインター予測のためにスキップモードが使用されないことを示す。

たとえば、ビットストリームにおいて、第1のインジケータは第4のインジケータの前に位置する。

たとえば、デコーダ側で、図12において、エントロピー復号ユニット1201の位置は、図3のエントロピー復号ユニット304の位置に対応する。言い換えると、エントロピー復号ユニット1201の機能の具体的な実装形態については、図3のエントロピー復号ユニット304の具体的な詳細を参照されたい。インター予測ユニット1202の位置は、図3のインター予測ユニット344の位置に対応する。言い換えると、インター予測ユニット1202の機能の具体的な実装形態については、図3のインター予測ユニット344の具体的な詳細を参照されたい。

たとえば、エンコーダ側で、図13において、エントロピー符号化ユニット1302の位置は、図2のエントロピー符号化ユニット270の位置に対応する。言い換えると、エントロピー復号ユニット1201の機能の具体的な実装形態については、図2のエントロピー符号化ユニット270の具体的な詳細を参照されたい。インター予測ユニット1301の位置は、図2のインター予測ユニット244の位置に対応する。言い換えると、インター予測ユニット1301の機能の具体的な実装形態については、図2のインター予測ユニット244の具体的な詳細を参照されたい。

インター予測ユニット1301およびエントロピー符号化ユニット1302の具体的な実装プロセスについては、図10Bまたは図11Bの実施形態における詳細な説明を参照できることにさらに留意されたい。本明細書の簡潔性のために、詳細はここでは再び説明されない。

本明細書において開示され説明される様々な例示的な論理ブロック、モジュール、およびアルゴリズムステップを参照して説明される機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組合せによって実装され得ることを当業者は理解することができる。ソフトウェアによって実装されると、例示的な論理ブロック、モジュール、およびステップを参照して説明される機能は、1つまたは複数の命令もしくはコードとしてコンピュータ可読媒体において記憶され、またはそれを介して送信され、ハードウェア処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応するコンピュータ可読記憶媒体を含んでもよく、または、(たとえば、通信プロトコルに従って)ある場所から別の場所へのコンピュータプログラムの送信を容易にする任意の通信媒体を含んでもよい。このようにして、コンピュータ可読媒体は一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本出願において説明される技術を実装するための命令、コード、および/またはデータ構造を取り出すために、1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の使用可能な媒体であり得る。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。

限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは別のコンパクトディスクストレージ装置、磁気ディスクストレージ装置もしくは別の磁気ストレージ装置、フラッシュメモリ、または、命令もしくはデータ構造の形式で所望のプログラムコードを記憶するために使用されコンピュータによりアクセスされ得る任意の他の媒体を含み得る。加えて、任意の接続がコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバ、ツイストペア、デジタル加入者線(DSL)、または、赤外線、無線、もしくはマイクロ波などのワイヤレス技術を通じて、ウェブサイト、サーバ、または別のリモートソースから送信される場合、同軸ケーブル、光ファイバ、ツイストペア、DSL、または、赤外線、無線、もしくはマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、実際には非一時的有形記憶媒体を意味することを理解されたい。本明細書において使用されるディスク(disk)およびディスク(disc)は、コンパクトディスク(CD)、レーザーディスク(登録商標)、光学ディスク、デジタル多用途ディスク(DVD)、およびブルーレイ(登録商標)ディスクを含む。ディスク(disk)は通常データを磁気的に再生し、ディスク(disc)はレーザーを使用することによってデータを光学的に再生する。前述の項目の組合せも、コンピュータ可読媒体の範囲に含まれるべきである。

1つまたは複数のデジタルシグナルプロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、または他の等価な集積回路もしくはディスクリート論理回路などの、1つまたは複数のプロセッサによって実行され得る。したがって、本明細書において使用される「プロセッサ」という用語は、本明細書において説明される技術を実装するのに適した前述の構造または任意の他の構造のいずれかであり得る。加えて、いくつかの態様では、本明細書において説明される例示的な論理ブロック、モジュール、およびステップを参照して説明される機能は、符号化および復号のために構成される専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で提供されてもよく、または、合成コーデックへと組み込まれてもよい。加えて、技術は、1つまたは複数の回路または論理要素においてすべて実装され得る。

本出願の技術は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、様々な装置またはデバイスにおいて実装され得る。様々なコンポーネント、モジュール、またはユニットが、開示される技術を実装するように構成される装置の機能的な態様を強調するために本出願において説明されるが、必ずしも異なるハードウェアによって実装されるとは限らない。実際に、上で説明されたように、様々なユニットが、適切なソフトウェアおよび/もしくはファームウェアと組み合わせてコーデックハードウェアユニットへと組み合わせられてもよく、または、(上で説明された1つまたは複数のプロセッサを含む)相互運用可能なハードウェアユニットによって提供されてもよい。

前述の実施形態では、各実施形態の説明にはそれぞれ注目点がある。ある実施形態において詳細に説明されない部分については、他の実施形態の関連する説明を参照されたい。

前述の説明は、本出願の特定の実装形態の例にすぎず、本出願の保護範囲を限定することは意図されていない。本出願において開示される技術範囲内にあると当業者により容易に理解されるあらゆる変形または置換が、本出願の保護範囲内にあるものとする。したがって、本出願の保護範囲は、特許請求の範囲の保護範囲に従属するものとする。

10 ビデオ符号化および復号システム
12 ソースデバイス
13 リンク
14 宛先デバイス
16 ピクチャソース
17 生のピクチャデータ
18 ピクチャプリプロセッサ
19 前処理されたピクチャデータ
20 エンコーダ
21 符号化されたピクチャデータ
22 通信インターフェース
28 通信インターフェース
30 デコーダ
31 復号されたピクチャデータ
32 ピクチャポストプロセッサ
33 後処理されたピクチャデータ
34 表示デバイス
40 ビデオコーディングシステム
41 撮像デバイス
42 アンテナ
43 プロセッサ
44 メモリ
45 表示デバイス
46 処理ユニット
47 論理回路
201 ピクチャ
202 入力
203 ピクチャブロック
204 残差計算ユニット
205 残差ブロック
206 変換処理ユニット
207 変換係数
208 量子化ユニット
209 量子化された変換係数
210 逆量子化ユニット
211 量子化解除された係数
212 逆変換処理ユニット
213 再構築された残差ブロック
214 再構築ユニット
215 再構築されたブロック
216 バッファ
217 参照サンプル
220 ループフィルタユニット
221 フィルタリングされた再構築されたブロック
230 復号ピクチャバッファ
231 参照されたピクチャデータ
244 インター予測ユニット
245 インター予測ブロック
254 イントラ予測ユニット
255 イントラ予測ブロック
260 ブロック予測処理ユニット
262 モード選択ユニット
265 予測ブロック
270 エントロピー符号化ユニット
272 出力
304 エントロピー復号ユニット
309 量子化された係数
310 逆量子化ユニット
311 逆量子化された係数
312 逆変換処理ユニット
313 再構築された残差ブロック
314 再構築ユニット、加算器
315 再構築されたブロック
316 バッファ
317 参照サンプル
320 ループフィルタユニット
321 フィルタリングされたブロック
330 復号ピクチャバッファ
331 復号されたピクチャ
332 出力
344 インター予測ユニット
354 イントラ予測ユニット
360 予測処理ユニット
362 モード選択ユニット
365 予測ブロック
400 ビデオコーディングデバイス
410 ダウンストリームポート
420 受信機
430 プロセッサ
440 送信機
450 アップストリームポート
460 メモリ
470 符号化/復号モジュール
500 装置、コーディングデバイス
510 プロセッサ
530 メモリ
531 データ
533 オペレーティングシステム
535 アプリケーションプログラム
550 バスシステム
570 ディスプレイ
1200 ビデオピクチャ復号装置
1201 エントロピー復号ユニット
1202 インター予測ユニット
1300 ビデオピクチャ符号化装置
1301 インター予測ユニット
1302 エントロピー符号化ユニット

Claims

ビデオデータの符号化されたビットストリームを送信するための方法であって、
現在のピクチャブロックのインター予測のために使用される予測モードを示すために使用されるインジケータ情報をビットストリームに符号化し、前記現在のピクチャブロックの残差ブロックを前記ビットストリームに符号化するステップであって、
前記符号化されたビットストリームが、変換領域において変換され量子化された前記ピクチャブロックの残差ブロックのデータと、前記ピクチャブロックのインター予測のための予測モードを示すインジケータ情報とを含み、
前記インジケータ情報が第4のインジケータを含み、
前記ピクチャブロックの前記インター予測のためにマージモードが使用されることを前記第4のインジケータが示すとき、前記インジケータ情報が第5のインジケータをさらに含み、
前記ピクチャブロックの前記インター予測のために動きベクトル差分を用いたマージモード(MMVD)が使用されないことを前記第5のインジケータが示すとき、前記インジケータ情報が第6のインジケータをさらに含み、
前記第6のインジケータが、ピクチャブロックレベルのインジケータであり、第3の値または第4の値を有し、前記第3の値は、前記現在のピクチャブロックの前記インター予測のために三角予測ユニットモードが使用されることが許容されることを示し、前記第4の値は、前記現在のピクチャブロックの前記インター予測のために前記三角予測ユニットモードが使用されることが許容されないことを示す、ステップと、
前記符号化されたビットストリームを送信するステップと
を含む、方法。
前記第3の値が0であり、前記第4の値が1である、請求項1に記載の方法。
前記インジケータ情報が、前記ピクチャブロックの前記インター予測のためにスキップモードが使用されないことを示す第1のインジケータをさらに含む、請求項1に記載の方法。
前記符号化されたビットストリームにおいて、前記第1のインジケータが前記第4のインジケータの前に位置する、請求項3に記載の方法。
前記符号化されたビットストリームを記憶するステップ
をさらに含む、請求項1に記載の方法。
デバイスであって、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに接続された1つまたは複数のメモリと
を備え、
前記1つまたは複数のメモリは、プログラミング命令を記憶しており、前記プログラミング命令は、前記少なくとも1つのプロセッサによって実行されると、前記デバイスに、
現在のピクチャブロックのインター予測のために使用される予測モードを示すために使用されるインジケータ情報をビットストリームに符号化し、前記現在のピクチャブロックの残差ブロックを前記ビットストリームに符号化することであって、
前記符号化されたビットストリームが、変換領域において変換され量子化された前記ピクチャブロックの残差ブロックのデータと、前記ピクチャブロックのインター予測のための予測モードを示すインジケータ情報とを含み、
前記インジケータ情報が第4のインジケータを含み、
前記ピクチャブロックの前記インター予測のためにマージモードが使用されることを前記第4のインジケータが示すとき、前記インジケータ情報が第5のインジケータをさらに含み、
前記ピクチャブロックの前記インター予測のために動きベクトル差分を用いたマージモード(MMVD)が使用されないことを前記第5のインジケータが示すとき、前記インジケータ情報が第6のインジケータをさらに含み、
前記第6のインジケータが、ピクチャブロックレベルのインジケータであり、第3の値または第4の値を有し、前記第3の値は、前記現在のピクチャブロックの前記インター予測のために三角予測ユニットモードが使用されることが許容されることを示し、前記第4の値は、前記現在のピクチャブロックの前記インター予測のために前記三角予測ユニットモードが使用されることが許容されないことを示す、ことと、
前記符号化されたビットストリームを送信することと
を行わせる、デバイス。
前記第3の値が0であり、前記第4の値が1である、請求項6に記載のデバイス。
前記インジケータ情報が、前記ピクチャブロックの前記インター予測のためにスキップモードが使用されないことを示す第1のインジケータをさらに含む、請求項6に記載のデバイス。
前記符号化されたビットストリームにおいて、前記第1のインジケータが前記第4のインジケータの前に位置する、請求項8に記載のデバイス。
前記プログラミング命令は、前記少なくとも1つのプロセッサによって実行されると、前記デバイスに、
前記符号化されたビットストリームを記憶すること
をさらに行わせる、請求項6に記載のデバイス。
1つまたは複数の命令を記憶した非一時的なコンピュータ可読記憶媒体であって、
前記1つまたは複数の命令は、コンピュータ上で実行されると、前記コンピュータに動作を行わせ、前記動作は、
現在のピクチャブロックのインター予測のために使用される予測モードを示すために使用されるインジケータ情報をビットストリームに符号化し、前記現在のピクチャブロックの残差ブロックを前記ビットストリームに符号化することであって、
前記符号化されたビットストリームが、変換領域において変換され量子化された前記ピクチャブロックの残差ブロックのデータと、前記ピクチャブロックのインター予測のための予測モードを示すインジケータ情報とを含み、
前記インジケータ情報が第4のインジケータを含み、
前記ピクチャブロックの前記インター予測のためにマージモードが使用されることを前記第4のインジケータが示すとき、前記インジケータ情報が第5のインジケータをさらに含み、
前記ピクチャブロックの前記インター予測のために動きベクトル差分を用いたマージモード(MMVD)が使用されないことを前記第5のインジケータが示すとき、前記インジケータ情報が第6のインジケータをさらに含み、
前記第6のインジケータが、ピクチャブロックレベルのインジケータであり、第3の値または第4の値を有し、前記第3の値は、前記現在のピクチャブロックの前記インター予測のために三角予測ユニットモードが使用されることが許容されることを示し、前記第4の値は、前記現在のピクチャブロックの前記インター予測のために前記三角予測ユニットモードが使用されることが許容されないことを示す、ことと、
前記符号化されたビットストリームを送信することと
を含む、非一時的なコンピュータ可読記憶媒体。
前記第3の値が0であり、前記第4の値が1である、請求項11に記載の非一時的なコンピュータ可読記憶媒体。
前記インジケータ情報が、前記ピクチャブロックの前記インター予測のためにスキップモードが使用されないことを示す第1のインジケータをさらに含む、請求項11に記載の非一時的なコンピュータ可読記憶媒体。
前記符号化されたビットストリームにおいて、前記第1のインジケータが前記第4のインジケータの前に位置する、請求項13に記載の非一時的なコンピュータ可読記憶媒体。
前記動作が、
前記符号化されたビットストリームを記憶すること
をさらに含む、請求項11に記載の非一時的なコンピュータ可読記憶媒体。