JP6727902B2

JP6727902B2 - 参照フレーム生成装置、動き推定装置、及びプログラム

Info

Publication number: JP6727902B2
Application number: JP2016086441A
Authority: JP
Inventors: 康孝松尾; 慎平根本; 境田　慎一; 慎一境田; 菊文神田
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2016-04-22
Filing date: 2016-04-22
Publication date: 2020-07-22
Anticipated expiration: 2036-04-22
Also published as: JP2017195579A

Description

本発明は、新たな参照フレームを生成する参照フレーム生成装置、動き推定装置、及びプログラムに関する。

映像符号化におけるインター符号化では、符号化効率を高めるために、フレーム間の動き推定（動き検出）の結果を用いた動き補償を行う。この動き推定では、ハードウェア化の容易さなどの理由により、一般にブロックマッチング法が用いられる。ただし、ブロックマッチング法は、回転や奥行方向の動き推定の確度が低い。そのため、幾何変換を伴う動き推定法が提案されている（例えば、非特許文献１及び２参照）。

また、超解像処理を利用して符号化を行う手法が知られている。例えば、特許文献１には、超解像処理を利用して分散映像符号化（Distributed Video Coding）を行う手法が記載されている。具体的には、原画像列を数フレームおきにＪＰＥＧなどの従来のイントラ符号化方式で符号化してこれをKeyフレームとし、それ以外のフレームをWyner-Zivフレームとし、これらは量子化後にSlepian-Wolf符号化によりパリティシンドロームビットを生成して伝送する。さらに符号化側では、まずKeyフレームを局部復号し、Wyner-Zivフレームの予測信号を生成してサイドインフォメーションとする。復号側ではサイドインフォメーションにパリティシンドロームを用いて誤り訂正を行う。また、復号化されたキーフレームとWyner-Zivフレームとを利用して、並進領域に超解像処理を適用することにより予測効率を向上させる。

特許第５４８４３７８号公報

R. Takada, S. Orihashi, Y. Matsuo, and J. Katto, "Improvement of 8K UHDTV Picture Quality for H.265/HEVC by Global Zoom Estimation using Motion Vectors", Proceedings of IEEE ICCE, pp. 64-65, 2015 VCEG C1016, Huawei technologies Co. Ltd., "Affine transform prediction for next generation video coding", Video Coding Experts Group - C1016

しかしながら、従来の幾何変換を伴う動き推定では、オブジェクトの奥行方向の動きにおいて、被写界深度の内から外への動きを伴う場合に発生するぼやけや、被写界深度の外から内への動きを伴う場合に発生する先鋭化により、動き推定の確度が低くなる。仮に、確度が高い検出ができたとしても、動き補償時の差分情報量が大きくなりがちである。

また、特許文献１の手法では、超解像処理により予測効率を向上させることができるが、被写界深度を考慮していないため、奥行方向の動きに対する動き推定の確度を向上させるものではない。

かかる事情に鑑みてなされた本発明の目的は、奥行方向の動きに対する動き推定の確度を向上させるための参照フレームを生成する参照フレーム生成装置、該参照フレームを用いて動き推定を行う動き推定装置、及びそれらのプログラムを提供することにある。

上記課題を解決するため、本発明に係る参照フレーム生成装置は、原画像列から１の参照フレームを入力し、複数の新参照フレームを出力する参照フレーム生成装置であって、前記参照フレーム及び前記原画像列の基準フレームの深度、及びカメラの画角から、前記参照フレームに対する前記基準フレームのオブジェクトの変倍率を求めるとともに、前記深度、及びカメラの被写界深度から、前記参照フレームから前記基準フレームへのオブジェクトの被写界深度に対する奥行方向の動きを推定する奥行方向動き推定部と、前記参照フレームに対して、前記変倍率での変倍処理を伴う１回以上の幾何変換処理を行い、１以上の幾何変換画像を生成する幾何変換処理部と、前記幾何変換処理に対して、カットオフ周波数を変えてそれぞれ１回以上の低域通過型のフィルタ処理を行い、１以上のフィルタ処理画像を生成して新参照フレームとして出力するフィルタ処理部と、前記幾何変換処理に対して、付加する高周波帯域を変えてそれぞれ１回以上の超解像処理を行い、１以上の超解像処理画像を生成して新参照フレームとして出力する超解像処理部と、を備え、前記フィルタ処理部は、前記奥行方向動き推定部によりオブジェクトが被写界深度の内から外に動いたと判定された場合には、前記基準フレームのオブジェクトが被写界深度から外れた距離が大きいほど前記カットオフ周波数を低く設定し、前記超解像処理部は、前記奥行方向動き推定部によりオブジェクトが被写界深度の外から内に動いたと判定された場合には、前記参照フレームのオブジェクトが被写界深度から外れた距離が大きいほど前記付加する高周波帯域を高く設定することを特徴とする。

また、上記課題を解決するため、本発明に係る動き推定装置は、上記参照フレーム生成装置と、前記１以上のフィルタ処理画像及び前記１以上の超解像処理画像を参照フレームとして、前記基準フレームとの間の動きベクトルを検出する動き推定部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記参照フレーム生成装置として機能させることを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記動き推定装置として機能させることを特徴とする。

本発明によれば、奥行方向の動きに対する動き推定の確度を向上させるための参照フレームを生成することができるようになる。

本発明の第１の実施形態に係る参照フレーム生成装置の構成例を示すブロック図である。本発明の第２の実施形態に係る参照フレーム生成装置の構成例を示すブロック図である。本発明の第３の実施形態に係る参照フレーム生成装置の構成例を示すブロック図である。本発明の第４の実施形態に係る動き推定装置の構成例を示すブロック図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

（第１の実施形態）
まず、本発明の第１の実施形態に係る参照フレーム生成装置について説明する。図１に、本発明の第１の実施形態に係る参照フレーム生成装置の構成例を示す。図１に示す例では、参照フレーム生成装置１０は、幾何変換処理部１０１と、フィルタ処理部１０２と、超解像処理部１０３とを備える。

参照フレーム生成装置１０は、基準フレーム及び複数の参照フレームからなる原画像列から１の参照フレームを入力し、複数の新たな参照フレーム（新参照フレーム）を生成して出力する。

幾何変換処理部１０１は、入力された参照フレームに対して、変倍率を含む幾何変換パラメータを変えて１回以上（ｎ回）の幾何変換処理を行い、１以上（ｎ枚）の幾何変換画像（幾何変換画像群）を生成する。そして、幾何変換画像群をフィルタ処理部１０２及び超解像処理部１０３に出力する。例えば、幾何変換処理部１０１は、アフィン変換により回転、変倍（拡大縮小）、及びスキューを行う。式（１）にアフィン変換の式を示す。ここで、（ｕ，ｖ）は変換前の水平・垂直座標であり、（ｕ’，ｖ’）は変換後の水平・垂直座標である。また、回転角θ、水平・垂直方向の変倍率（ｓ_x，ｓ_y）、スキュー角δを幾何変換パラメータとする。幾何変換画像群は、参照フレーム生成装置１０に入力される参照フレームに対して、奥方向の動きを模擬して縮小された画像、及び手前方向の動きを模擬して拡大された画像を含む。

フィルタ処理部１０２は、幾何変換処理部１０１により生成された幾何変換画像に対して、カットオフ周波数を変えてそれぞれ１回以上（ｊ回）の低域通過型のフィルタ処理を行い、１以上（ｎ×ｊ枚）のフィルタ処理画像（フィルタ処理画像群）を生成する。そして、フィルタ処理画像群を新参照フレームとして外部に出力する。フィルタ処理画像群は、参照フレーム生成装置１０に入力される参照フレームに対して、高周波成分が除去されたぼやけた画像となる。

超解像処理部１０３は、幾何変換処理部１０１により生成された幾何変換画像に対して、付加する高周波帯域を変えてそれぞれ１回以上（ｋ回）の超解像処理を行い、１以上（ｎ×ｋ枚）の超解像処理画像（超解像処理画像群）を生成する。そして、超解像処理画像群を新参照フレームとして外部に出力する。超解像処理には既知の任意の処理を用いることができ、例えば、特許第５４１７２９０号公報に記載の超解像処理を用いることができる。超解像処理画像群は、参照フレーム生成装置１０に入力される参照フレームに対して、ナイキスト周波数を超える高周波成分が付加された先鋭化した画像となる。

参照フレーム生成装置１０から出力されるフィルタ処理画像群及び超解像処理画像群は、インター符号化の参照フレームとして用いることができる。一例として、ＨＥＶＣ（High Efficiency Video Coding）／Ｈ.２６５方式のインター符号化で用いる場合には、基準フレームと参照フレームとの距離は、Low-delayモードで１フレーム、Random accessモードで８フレーム程度（ただし、設定値による）である。そのため、幾何変換処理部１０１における幾何変換処理では、それほど大きな値の回転、変倍、スキュー処理を行う必要はない。例えば、回転角θを｛−π／８，０，π／８｝とし、変倍率ｓ_x，ｓ_yを｛０．７５，１．０，１．２５｝とし、スキュー角δを｛−π／８，０，π／８｝とする。

また、フィルタ処理部１０２におけるフィルタ処理も、カットオフ周波数をそれほど小さくする必要はない。例えば、カットオフ周波数を、原画像列のナイキスト周波数の｛１，０．８，０．６｝倍とする。また、超解像処理部１０３における超解像処理も、それほど幾何変換画像のナイキスト周波数を超える高周波成分を付加する必要はない。

なお、上述した参照フレーム生成装置１０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、参照フレーム生成装置１０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このように、参照フレーム生成装置１０及びそのプログラムは、元の参照フレームに対して変倍処理及び低域通過型のフィルタ処理を行ったフィルタ処理画像群と、元の参照フレームに対して変倍処理及び超解像処理を行った超解像処理画像群とを生成する。そのため、被写界深度の内から外への奥行方向への動き、及び被写界深度の外から内への奥行方向への動きを考慮した参照フレームの候補を増やすことができ、すなわち奥行方向の動きに対する動き推定の確度を向上させるための参照フレームを生成することができる。

（第２の実施形態）
つぎに、本発明の第２の実施形態に係る参照フレーム生成装置について説明する。図２に、本発明の第２の実施形態に係る参照フレーム生成装置の構成例を示す。図２に示す例では、参照フレーム生成装置１１は、幾何変換処理部１０１と、フィルタ処理部１０２と、超解像処理部１０３と、奥行方向動き推定部１０４とを備える。第２の実施形態の参照フレーム生成装置１１は第１の実施形態の参照フレーム生成装置１０と比較して、奥行方向動き推定部１０４を更に備える点が相違する。

奥行方向動き推定部１０４は、基準フレーム及び参照フレームを入力し、基準フレームと参照フレームとの間で奥行方向の動き推定を行い、参照フレームから基準フレームへのオブジェクトの奥行方向の動きを示す奥行方向動き推定情報を生成する。そして、奥行方向動き推定情報を幾何変換処理部１０１に出力する。なお、手前方向に動くオブジェクトと奥方向に動くオブジェクトとが混在している場合には、総合的にどちらの方向に動くオブジェクトが多いか判断する。また、オブジェクトの奥行方向への動きが閾値以下である場合には、オブジェクトの奥行方向の動きがないことを示す情報を奥行方向動き推定情報として出力してもよい。

奥行方向の動き推定は、パーティクルフィルタを用いる手法などの、奥行方向の動きに頑健な手法を用いるのが好適である。パーティクルフィルタは、重み付き確率分布による時系列データの１フレームごとの遷移を予測するものである。パーティクルフィルタではオブジェクトの大域的な追跡を行い、オブジェクトの大域的な大きさの変化（オブジェクトの周りを四角で囲う形で表現される）を推定することが可能である。この大きさが大きくなれば手前方向、小さくなれば奥方向への動きが発生したと推定する。なお、パーティクルフィルタの詳細については、例えば、Artech House Publishers, "Beyond the Kalman Filter: Particle Filters for Tracking Applications" (ISBN 978-1-58083-631-8)を参照されたい。

また、奥行方向の動き推定として、奥行方向の動きに頑健なＳＵＲＦ（Speeded-Up Robust Features）特徴量のマッチングを行う手法や、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴量のマッチングを行う手法を用いてもよい。なお、ＳＵＲＦの詳細については、例えば、H. Bay, A. Ess, T. Tuytelaars, and L. V. Gool, "Speeded-Up Robust Features (SURF)", Elsevier, vol. 110, Issue 3, p. 346-359, Jun. 2008を参照されたい。

また、原画像列を撮像したカメラがＲＧＢ−Ｄセンサを搭載しており、該カメラがＲＧＢ−Ｄセンサから被写体までの深度(Depth）、すなわち撮影距離を画素単位で数画素おきに検出している場合がある。この場合には、奥行方向動き推定部１０４は、カメラから参照フレーム及び基準フレームの深度を取得して、該深度を用いてオブジェクトの奥行方向の動きを推定してもよい。

幾何変換処理部１０１は、奥行方向動き推定部１０４により生成された奥行方向動き推定情報が、オブジェクトが奥方向に動いていることを示している場合には、縮小を伴う幾何変換処理を行う。また、奥行方向動き推定情報が、オブジェクトが手前方向に動いていることを示す場合には、拡大を伴う幾何変換処理を行う。

フィルタ処理部１０２及び超解像処理部１０３の処理は、第１の実施形態と同じである。なお、奥行方向動き推定情報が、オブジェクトの奥行方向の動きがないことを示している場合には、フィルタ処理部１０２によるフィルタ処理、及び超解像処理部１０３による超解像処理を行わず、幾何変換処理部１０１により生成された幾何変換画像をそのまま出力する。

なお、上述した参照フレーム生成装置１１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、参照フレーム生成装置１１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このように、参照フレーム生成装置１１及びそのプログラムは、原画像列の奥行方向の動き推定を行い、その結果に基づいて幾何変換処理を行う。そのため、生成した新参照フレームは、より基準フレームとの差分が少ない画像となるため、より奥行方向の動きに対する動き推定の確度を向上させるための参照フレームを生成することができる。

（第３の実施形態）
つぎに、本発明の第３の実施形態に係る参照フレーム生成装置について説明する。図３に、本発明の第３の実施形態に係る参照フレーム生成装置の構成例を示す。図３に示す例では、参照フレーム生成装置１２は、幾何変換処理部１０１と、フィルタ処理部１０２と、超解像処理部１０３と、奥行方向動き推定部１０４とを備える。第３の実施形態の参照フレーム生成装置１２は第２の実施形態の参照フレーム生成装置１１と比較して、備える構成ブロックは同じであるが、カメラパラメータを用いた処理を行う点が相違する。

参照フレーム生成装置１２は、参照フレーム、基準フレーム、及びカメラパラメータを入力する。カメラパラメータは、参照フレーム及び基準フレームの深度に加え、カメラの画角及び被写界深度を含む。

奥行方向動き推定部１０４は、参照フレーム及び基準フレームの深度、及びカメラの画角から、参照フレームに対する基準フレームのオブジェクトの変倍率を求め、幾何変換処理部１０１に出力する。なお、奥行方向動き推定部１０４は、カメラの被写界深度を、レンズの焦点距離、絞り値、及びセンサーサイズから算出してもよい。

また、奥行方向動き推定部１０４は、参照フレーム及び基準フレームの深度、及びカメラの被写界深度から、参照フレームから基準フレームへのオブジェクトの被写界深度に対する奥行方向の動きを推定する。すなわち、参照フレームから基準フレームに対してオブジェクトがカメラの被写界深度の内から外に動いたか、あるいは被写界深度の外から内に動いたかを判定する。そして、判定結果をフィルタ処理部１０２及び超解像処理部１０３に出力する。

幾何変換処理部１０１は、入力された参照フレームに対して、奥行方向動き推定部１０４により求められた変倍率の変倍処理を伴う１回以上の幾何変換処理を行って幾何変換画像群を生成し、フィルタ処理部１０２及び超解像処理部１０３に出力する。上述した式（１）を用いて幾何変換処理を行う場合には、奥行方向動き推定部１０４により求められた変倍率を、水平・垂直方向の変倍率（ｓ_x，ｓ_y）に設定する。

フィルタ処理部１０２は、奥行方向動き推定部１０４によりオブジェクトがカメラの被写界深度の内から外に動いたと判定された場合には、基準フレームのオブジェクトが被写界深度から外れた距離が大きいほどカットオフ周波数を低く設定し、幾何変換処理部１０１により生成された幾何変換画像に対して１回以上の低域通過型のフィルタ処理を行い、フィルタ処理画像群を生成する。そして、フィルタ処理画像群を新参照フレームとして外部に出力する。なお、奥行方向動き推定部１０４によりオブジェクトが被写界深度の内から外に動いていないと判定された場合には、フィルタ処理は行わない。

超解像処理部１０３は、奥行方向動き推定部１０４によりオブジェクトがカメラの被写界深度の外から内に動いたと判定された場合には、参照フレームのオブジェクトが被写界深度から外れた距離が大きいほど付加する高周波成分を高く設定し、幾何変換処理部１０１により生成された幾何変換画像に対して１回以上の超解像処理を行い、超解像処理画像群を生成する。なお、奥行方向動き推定部１０４によりオブジェクトが被写界深度の外から内に動いていないと判定された場合には、超解像処理は行わない。

なお、上述した参照フレーム生成装置１２として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、参照フレーム生成装置１２の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このように、参照フレーム生成装置１２及びそのプログラムは、カメラパラメータを用いて変倍率を求めるとともにオブジェクトが被写界深度の内から外に動いたか否かを判定する。そして、その結果に従って変倍処理、フィルタ処理、及び超解像処理を行うため、より奥行方向の動きに対する動き推定の確度を向上させるための参照フレームを生成することができる。

（第４の実施形態）
つぎに、本発明の第４の実施形態に係る動き推定装置について説明する。図４に、本発明の第４の実施形態に係る動き推定装置の構成例を示す。図４に示す例では、動き推定装置１は、参照フレーム生成装置１０，１１，又は１２と、動き推定部２０とを備える。

参照フレーム生成装置１０，１１，又は１２は、上述したようにフィルタ処理画像群及び超解像処理画像群（新参照フレーム）を生成する。そして、新参照フレームを動き推定部２０に出力する。

動き推定部２０は、参照フレーム生成装置１０，１１，又は１２により生成されたフィルタ処理画像群及び超解像処理画像群（新参照フレーム）を参照フレームとして、基準フレームとの間で動き推定を行って動きベクトルを検出し、外部に出力する。動き推定は、ブロックマッチング法などの従来の任意の手法を用いて行うことができる。

なお、上述した動き推定装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、動き推定装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

このように、動き推定装置１及びそのプログラムは、奥行方向への動きを考慮した新参照フレームを用いて動き推定を行う。そのため、奥行方向の動きに対する動き推定の確度を向上させることができる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１動き推定装置
１０，１１，１２参照フレーム生成装置
２０動き推定部
１０１幾何変換処理部
１０２フィルタ処理部
１０３超解像処理部
１０４奥行方向動き推定部

Claims

原画像列から１の参照フレームを入力し、複数の新参照フレームを出力する参照フレーム生成装置であって、
前記参照フレーム及び前記原画像列の基準フレームの深度、及びカメラの画角から、前記参照フレームに対する前記基準フレームのオブジェクトの変倍率を求めるとともに、前記深度、及びカメラの被写界深度から、前記参照フレームから前記基準フレームへのオブジェクトの被写界深度に対する奥行方向の動きを推定する奥行方向動き推定部と、
前記参照フレームに対して、前記変倍率での変倍処理を伴う１回以上の幾何変換処理を行い、１以上の幾何変換画像を生成する幾何変換処理部と、
前記幾何変換処理に対して、カットオフ周波数を変えてそれぞれ１回以上の低域通過型のフィルタ処理を行い、１以上のフィルタ処理画像を生成して新参照フレームとして出力するフィルタ処理部と、
前記幾何変換処理に対して、付加する高周波帯域を変えてそれぞれ１回以上の超解像処理を行い、１以上の超解像処理画像を生成して新参照フレームとして出力する超解像処理部と、を備え、
前記フィルタ処理部は、前記奥行方向動き推定部によりオブジェクトが被写界深度の内から外に動いたと判定された場合には、前記基準フレームのオブジェクトが被写界深度から外れた距離が大きいほど前記カットオフ周波数を低く設定し、
前記超解像処理部は、前記奥行方向動き推定部によりオブジェクトが被写界深度の外から内に動いたと判定された場合には、前記参照フレームのオブジェクトが被写界深度から外れた距離が大きいほど前記付加する高周波帯域を高く設定することを特徴とする参照フレーム生成装置。
請求項１に記載の参照フレーム生成装置と、
前記１以上のフィルタ処理画像及び前記１以上の超解像処理画像を参照フレームとして、前記原画像列の基準フレームとの間の動きベクトルを検出する動き推定部と、
を備えることを特徴とする動き推定装置。
コンピュータを、請求項１に記載の参照フレーム生成装置として機能させるためのプログラム。
コンピュータを、請求項２に記載の動き推定装置として機能させるためのプログラム。