JP2006277576A - 映像評価装置、映像評価方法および映像評価プログラム - Google Patents

Abstract

【課題】 映像の実際の動きの滑らかさに応じて効率的なフレームレートを決定すること。
【解決手段】 この映像評価装置１０は、第１の動画像に関する第１動き情報１０７と第１フレーム間隔情報１０８とを入力する第１入力部１０１と、第２の動画像に関する第２動き情報１０９と第２フレーム間隔情報１１０とを入力する第２入力部１０２と、第１の動画像に対する第１動き変化量１１１を求める第１動き変化量生成部１０３と、第２の動画像に対する第２動き変化量１１２を求める第２動き変化量生成部１０４と、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値１１３を算出する評価値生成部１０５と、相対評価値１１３を出力する出力部１０６とを備える。
【選択図】図１

Description

本発明は、映像評価装置、映像評価方法、及び映像処理プログラムに関する。

映像の取得、蓄積、伝送、表示、符号化、復号化等を含む映像処理は、一般に、固定フレームレートによって処理が行われている。ここで、フレームレートとは、１秒あたりに処理されるフレーム数のことをいい、固定フレームレートとは、１秒あたりに処理されるフレーム数を一定にしたフレームレートのことをいう。固定フレームレートの具体例としては、例えば、米国や日本で採用されている全国テレビジョン標準委員会(National Television StandardsCommittee：NTSC)規格では、２９．９７fps（frame per second）に定義されている。また、ヨーロッパで採用されている全国テレビション標準委員会による位相交番ライン(Phase Alternating Line：PAL)規格では、２５fpsに定義されている。さらに、１５fpsや２４fpsの固定フレームレートが用いられる場合もある。なお、「映像」とは単一の静止画像である「フレーム」の連続により構成されるものである。

固定フレームレートで映像処理を行う場合に、フレームレートを増加させると、連続するフレームの時間間隔が短くなる。これによって、より滑らかな動きの映像を処理することが可能となる。例えば、３０fpsのフレームレートで処理される映像は、１５fpsのフレームレートで処理される映像よりも、単位時間当たりの映像の動きがより細かく表現されるため、全体としてより滑らかな動きで表現される。

また、上述した固定フレームレートによる映像処理の他に、可変フレームレートによる映像処理も行われている。この可変フレームレートによる映像処理は、映像の処理量やデータ量に応じてフレームレートを可変にするものである。例えば、映像を符号化する場合に、符号化するデータ量が多いと判断した場合には、フレームレートを減少させて単位時間当たりに符号化するフレーム数を削減させる。これは、データ量が増加すると映像処理にかかる時間が増加するためである。

このようなフレームレートを変更するための技術は、例えば、特許文献１に開示されている。
特開平１１−１１２９４０号公報

ところで、固定フレームレートで映像を処理する場合に、滑らかな動きを実現するためにフレームレートを増加させると、映像処理に伴う処理量、データ量および電力消費量が増大してしまう。具体的に説明すると、例えば、映像を取得する場合には、単位時間当たりに取得すべきフレーム数が増加することによって、処理量および処理に伴う電力消費量が増大してしまう。また、映像を蓄積する場合には、単位時間あたりに蓄積すべきフレーム数が増加することによって、データ量が増大してしまう。

一方、映像の処理に伴う処理量、データ量および電力消費量を低減するために、フレームレートを減少させると、映像の動きの滑らかさが低下してしまい、ぎくしゃくした動きの映像になってしまう。

また、可変フレームレートで映像を処理する場合に、映像の処理量やデータ量のみに応じてフレームレートを変化させると、映像の動きの滑らかさが低下してしまい、ぎくしゃくした動きの映像になってしまう。

すなわち、これまで映像の性質に応じて、主観的に動きが滑らかに感じる最も低いフレームレートを決定する方法は存在しなかった。

そこで、本発明は、映像の実際の動きの滑らかさに応じて効率的なフレームレートを決定することが可能な映像評価装置、映像評価方法、および映像評価プログラムを提供することを目的とする。

上記課題を解決するため、本発明の映像評価装置は、第１の動画像に関する第１動き情報と第１フレーム間隔情報とを入力する第１入力手段と、第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段と、第１動き情報と第１フレーム間隔情報とに基づいて、第１の動画像に対する第１動き変化量を求める第１動き変化量生成手段と、第２動き情報と第２フレーム間隔情報とに基づいて、第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段と、第１動き変化量と第２動き変化量とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段と、相対評価値を出力する出力手段とを備える。

また、本発明の映像評価方法は、第１入力手段が、第１の動画像に関する第１動き情報と第１フレーム間隔情報とを入力する第１入力ステップと、第２入力手段が、第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力ステップと、第１動き変化量生成手段が、第１動き情報と第１フレーム間隔情報とに基づいて、第１の動画像に対する第１動き変化量を求める第１動き変化量生成ステップと、第２動き変化量生成手段が、第２動き情報と第２フレーム間隔情報とに基づいて、第２の動画像に対する第２動き変化量を求める第２動き変化量生成ステップと、評価値生成手段が、第１動き変化量と第２動き変化量とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成ステップと、出力手段が、相対評価値を出力する出力ステップとを備える。

また、本発明の映像評価プログラムは、コンピュータを、第１の動画像に関する第１動き情報と第１フレーム間隔情報とを入力する第１入力手段、第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段、第１動き情報と第１フレーム間隔情報とに基づいて、第１の動画像に対する第１動き変化量を求める第１動き変化量生成手段、第２動き情報と第２フレーム間隔情報とに基づいて、第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段、第１動き変化量と第２動き変化量とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段、及び相対評価値を出力する出力手段として機能させる。

このような映像評価装置及び映像評価方法によれば、第１動画像および第2動画像の各動き情報とフレーム間隔情報とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさが評価されるため、映像の動きの滑らかさに応じてフレームレートを決定させるために必要な、映像の動きの滑らかさの評価値を得ることができる。

また、映像評価プログラムを用いてコンピュータを動作させた場合も同様である。

また、評価値生成手段は、第１動き変化量と第２動き変化量とから、相対動き変化量を算出した上で、相対動き変化量に基づいて相対評価値を算出することが好ましい。第１の動画像と第２の動画像との相対的な動き変化量に基づいて評価することで、動きの滑らかさを客観的な値として知らせることができる。

また、評価値生成手段は、第１動き変化量に基づいて第１評価値を求め、第２動き変化量に基づいて第２評価値を求め、第１評価値と第２評価値とから相対評価値を算出した上で、相対評価値に基づいて相対評価値を算出することも好ましい。この場合も、第１の動画像と第２の動画像との相対的な動き変化を評価することで、動きの滑らかさを客観的な値として知らせることができる。

或いは、本発明の映像評価装置は、第１の動画像に関する第１動き変化量を入力する第１入力手段と、第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段と、第２動き情報と第２フレーム間隔情報とに基づいて、第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段と、第１動き変化量と第２動き変化量とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段と、相対評価値を出力する出力手段とを備える。このような映像評価装置によれば、第１動画像の動き変化量、および第2動画像の動き情報とフレーム間隔情報に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさが評価されるため、映像の動きの滑らかさに応じてフレームレートを決定させるために必要な、映像の動きの滑らかさの評価値を得ることができる。

或いは、本発明の映像評価装置は、第１の動画像に関する第１評価値を入力する第１入力手段と、第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段と、第２動き情報と第２フレーム間隔情報とに基づいて、第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段と、第１評価値と第２動き変化量とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段と、相対評価値を出力する出力手段とを備える。このような映像評価装置によれば、第１動画像の評価値、および第2動画像の動き情報とフレーム間隔情報に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさが評価されるため、映像の動きの滑らかさに応じてフレームレートを決定させるために必要な、映像の動きの滑らかさの評価値を得ることができる。

本発明によれば、映像の動きの変化量とフレーム間隔に応じて、第１の動画像に対する第２の動画像の相対的な動きの滑らかさを評価することができるため、主観的に動きが滑らかに感じる最も低いフレームレートを決定するための評価値を算出することができる。

以下、図面とともに本発明による映像評価装置の好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。

［第１実施形態］
まず、本発明の第１実施形態について説明する。図１は、第１実施形態における映像評価装置１０の機能構成を例示する図である。

映像評価装置１０は、物理的には、ＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置１０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置１０としては、情報処理可能な装置が広く適用され得る。

図１を参照して映像評価装置１０の機能構成について説明する。図１に示すように、映像評価装置１０は、第１入力部（第１入力手段）１０１と、第２入力部（第２入力手段）１０２と、第１動き変化量生成部（第１動き変化量生成手段）１０３と、第２動き変化量生成部（第２動き変化量生成手段）１０４と、評価値生成部（評価値生成手段）１０５と出力部（出力手段）１０６を有する。

第１入力部１０１は、外部から入力された第１動き情報１０７と第１フレーム間隔情報１０８を入力し、第１動き変化量生成部１０３へ出力する。

第２入力部１０２は、外部から入力された第２動き情報１０９と第２フレーム間隔情報１１０を入力し、第２動き変化量生成部１０４へ出力する。

第１動き変化量生成部１０３は、第１入力部１０１から受信した第１動き情報１０７と第１フレーム間隔情報１０８に基づいて、第１の動画像の動き変化量を表す第１動き変化量１１１を算出し、評価値生成部１０５に出力する。

第２動き変化量生成部１０４は、第２入力部１０２から受信した第２動き情報１０９と第２フレーム間隔情報１１０に基づいて、第２の動画像の動き変化量を表す第２動き変化量１１２を算出し、評価値生成部１０５に出力する。

評価値生成部１０５は、第１動き変化量生成部１０３から受信した第１動き変化量１１１と、第２動き変化量生成部１０４から受信した第２動き変化量１１２に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値１１３を算出し、出力部１０６に出力する。

出力部１０６は、評価値生成部１０５から受信した相対評価値１１３を外部へ出力する。

以下、映像評価装置１０内で処理される各情報について説明する。

第１動き情報１０７は、第１動画像の動きベクトルの大きさに基づいて算出される値である。詳細には、第１動画像に含まれる連続する２枚のフレーム画像において、所定の大きさに分割されたブロック内の画像信号パターンに最も類似する画像信号パターンがフレーム間で探索され、フレーム間における両画像信号パターン間の空間的な変位量として算出された動きベクトルを対象に、その動きベクトルの大きさが算出される。第１動き情報１０７は、上記のようにして算出されたフレーム画像内における動きベクトルの最大値である。第１入力部１０１においては、第１動画像における全ての又は一部の連続フレームを対象にした第１動き情報１０７が入力される。なお、第１動き情報１０７は上記方法によって算出されるものには限られず、第１動画像の動きの特徴を表す任意のものを用いることができる。

また、第１フレーム間隔情報１０８は、第１動画像のフレームレートから算出される値である。第１動画像のフレームレートがｆ１の場合、第１フレーム間隔情報１０８は1/f1で算出される。なお、第１フレーム間隔情報１０８は上記方法によって算出されるものには限られず、第１動画像の動きの特徴を表す任意のものを用いることができる。

また、第２動き情報１０９および第２フレーム間隔情報１１０は、第２動画像に対する上記第１動き情報１０７および第１フレーム間隔情報１０８と同一の特徴を表す値である。第２入力部１０１においても、第２動画像における全ての又は一部の連続フレームを対象にした第２動き情報１０９が入力される。

次に、図２を参照して、第１動き変化量生成部１０３が、第１入力部１０１から受信した第１動き情報１０７と第１フレーム間隔情報１０８に基づいて、第１の動画像の動き変化量を表す第１動き変化量１１１を算出する方法、および第２動き変化量生成部１０４が第２入力部１０２から受信した第２動き情報１０９と第２フレーム間隔情報１１０に基づいて、第２の動画像の動き変化量を表す第２動き変化量１１２を算出する方法ついて具体的に説明する。図２において、（ａ）は、第１の動画像における第１動き情報１０７の時間変化の一例を示すグラフ、（ｂ）は、第２の動画像における第２動き情報１０９の時間変化の一例を示すグラフである。

第１動き変化量生成部１０３は、第１動き情報１０７と第１フレーム間隔情報１０８を用いて、図２（ａ）に示す斜線部の面積を算出して第１動き変化量１１１を算出する。例えば、あるフレームＴ１において第１動き情報１０７の値がｍ１、第１フレーム間隔情報１０８の値がｄ１のとき、第１の動画像の動き変化量を表す第１動き変化量１１１の値Ｓ１をＳ１＝（１/２）×ｍ１×ｄ１とする。

また、第２動き変化量生成部１０４は、第２動き情報１０９と第２フレーム間隔情報１１０を用いて、図２（ｂ）に示す斜線部の面積を算出して第２動き変化量１１２を算出する。例えば、あるフレームＴ２において第２動き情報１０９の値がｍ２、第２フレーム間隔情報１１０の値がｄ２のとき、第２の動画像の動き変化量を表す第２動き変化量１１２の値Ｓ２をＳ２＝（１/２）×ｍ２×ｄ２とする。

さらに、評価値生成部１０５が、第１動き変化量生成部１０３から送られた第１動き変化量１１１と第２動き変化量生成部１０４から送られた第２動き変化量１１２を用いて、第１動画像に対する第２動画像の相対評価値１１３を算出する方法について具体的に説明する。

評価値生成部１０５は、第１動き変化量生成部１０３から送られた第１動き変化量１１１の値であるＳ１を対象にして、第１動画像の全てのフレームでの平均値Ｓ１ａを算出する。また、評価値生成部１０５は、第２動き変化量生成部１０４から送られた第２動き変化量１１２の値であるＳ２を対象にして、第２動画像の全てのフレームでの平均値Ｓ２ａを算出する。評価値生成部１０５は、第１動き変化量１１１に対する第２動き変化量１１２の相対動き変化量であるＳｒを、Ｓ１ａとＳ２ａを用いて算出する。Ｓｒの算出方法は、例えばＳ２ａとＳ１ａの差（Ｓｒ＝Ｓ２ａ−Ｓ１ａ）、またはＳ２ａとＳ１ａの比（Ｓｒ＝Ｓ２ａ／Ｓ１ａ）とする。また、Ｓｒの算出方法は上記の例に限らず、Ｓ１とＳ２を変数とするあらゆる任意の関数とすることができる。

続いて、評価値生成部１０５は、上記のようにして算出されたＳｒに基づいて、第１動画像に対する第２動画像の相対的な動きの滑らかさを評価する相対評価値１１３の値であるＥｒを算出する。Ｅｒの算出方法は、Ｓｒの逆数の関数であるＥｒ＝α／Ｓｒ（αは定数）とする。または、Ｅｒ＝ａ × Ｅｘｐ（−ｂ×Ｓｒ） ＋ Ｃ（ａ，ｂ，ｃは定数）としても良い。ここで、Exp(x)はxの指数関数を表す。また、Ｅｒの算出方法は上記の例に限らず、Ｓｒを変数とするあらゆる任意の関数とすることができる。

図３を参照して第１実施形態の映像評価装置１０における処理の流れについて説明するとともに、第１実施形態にかかる映像評価方法について説明する。

まず、第１入力部１０１が、外部から入力された第１動き情報１０７と第１フレーム間隔情報１０８を読み込む（ステップＳ３０１）。

次に、第１動き変化量生成部１０３が、第１入力部１０１から受信した第１動き情報１０７と第１フレーム間隔情報１０８に基づいて、第１の動画像の動き変化量を表す第１動き変化量１１１を算出する（ステップＳ３０２）。

また、第２入力部１０２が、外部から入力された第２動き情報１０９と第２フレーム間隔情報１１０を読み込む（ステップＳ３０３）。

次に、第２動き変化量生成部１０４が、第２入力部１０２から受信した第２動き情報１０９と第２フレーム間隔情報１１０に基づいて、第２の動画像の動き変化量を表す第２動き変化量１１２を算出する（ステップＳ３０４）。

次に、評価値生成部１０５が、第１動き変化量生成部１０３から受信した第１動き変化量１１１と、第２動き変化量生成部１０４から受信した第２動き変化量１１２に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値１１３を算出する（ステップＳ３０５）。

次に、出力部１０６が、評価値生成部１０５から受信した相対評価値１１３を外部へ出力する（ステップＳ３０６）。

なお、ステップＳ３０１からステップＳ３０４は直列に行ってもよいし、図４に示すようにステップＳ３０１からステップＳ３０２と、ステップＳ３０３からステップＳ３０４の２つに分けて並列に行っても良い。

次に、図５を参照して、コンピュータを上述した映像評価装置１０として機能させるための映像評価プログラム５０について説明する。図５は、映像評価プログラム５０の構成図である。

同図に示すように、映像評価プログラム５０は、処理を統括するメインモジュール５０１と、第１入力モジュール５０２と、第２入力モジュール５０３と、第１動き変化量生成モジュール５０４と、第２動き変化量生成モジュール５０５と、評価値生成モジュール５０６、出力モジュール５０７とを備えて構成される。ここで、第１入力モジュール５０２、第２入力モジュール５０３、第１動き変化量生成モジュール５０４、第２動き変化量生成モジュール５０５、評価値生成モジュール５０６、及び出力モジュール５０７のそれぞれを動作させることによって実現する機能は、上述した映像評価装置１０の第１入力部１０１、第２入力部１０２、第１動き変化量生成部１０３、第２動き変化量生成部１０４、評価値生成部１０５、及び出力部１０６それぞれの機能と同様である。

以上説明した映像評価装置１０によれば、第１動画像および第2動画像の各動き情報とフレーム間隔情報とに基づいて、第１の動画像に対する第２の動画像の動きの滑らかさが評価されるため、映像の動きの滑らかさに応じてフレームレートを決定させるために必要な、映像の動きの滑らかさの評価値を得ることができる。その結果、映像の実際の動きの滑らかさに応じて効率的なフレームレートを決定することが可能となる。

［第２実施形態］
本発明の第２実施形態について説明する。図６は、第２実施形態における映像評価装置６０の機能構成を例示する図である。

映像評価装置６０は、第１実施形態における映像評価装置１０と同様に、物理的にはＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置６０は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置６０としては、情報処理可能な装置が広く適用され得る。

図６を参照して映像評価装置６０の機能構成について説明する。図６に示すように、映像評価装置６０は、第１入力部６０１と、第２入力部６０２と、第２動き変化量生成部６０３と、評価値生成部６０４と、出力部６０５を有する。

映像評価装置６０の第１実施形態における映像評価装置１０との相違点は、第１実施形態の第１入力部１０１と第１動き変化量生成部１０３とが、第１入力部６０１に置き換わっている点である。

すなわち、第１実施形態において第１入力部１０１が外部から入力された第１動き情報１０７と第１フレーム間隔情報１０８を第１動き変化量生成部１０３へ出力し、第１動き変化量生成部１０３が第１入力部１０１から受信した第１動き情報１０７と第１フレーム間隔情報１０８に基づいて、第１の動画像の動き変化量を表す第１動き変化量１１１を算出して評価値生成部１０５へ出力していたのに対し、本実施形態では、第１入力部６０１が外部から直接入力された第１動き変化量６０６を評価値生成部６０４へ出力する点で第１実施形態と異なる。

以下、映像評価装置６０の各構成要素について、第１実施形態との相違点を中心に説明する。

第１入力部６０１は、外部から入力された第１動き変化量６０６を入力し、評価値生成部６０４へ出力する。

第２入力部６０２は、外部から入力された第２動き情報６０７と第２フレーム間隔情報６０８を入力し、第２動き変化量生成部６０３へ出力する。

第２動き変化量生成部６０３は、第２入力部６０２から受信した第２動き情報６０７と第２フレーム間隔情報６０８に基づいて、第２の動画像の動き変化量を表す第２動き変化量６０９を算出し、評価値生成部６０４に出力する。

評価値生成部６０４は、第１入力部６０１から受信した第１動き変化量６０６と、第２動き変化量生成部６０３から受信した第２動き変化量６０９に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値６１０を算出し、出力部６０５に出力する。

出力部６０５は、評価値生成部６０４から受信した相対評価値６１０を外部へ出力する。

ここで、第２動き変化量生成部６０３が、第２入力部６０２から受信した第２動き情報６０７と第２フレーム間隔情報６０８に基づいて、第２の動画像の動き変化量を表す第２動き変化量６０９を算出する方法は、第１実施形態において第２動き変化量生成部１０４が第２動き変化量１１２を算出する方法と同一である。

また、評価値生成部６０４が、第１入力部６０１から受信した第１動き変化量６０６と、第２動き変化量生成部６０３から受信した第２動き変化量６０９に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値６１０を算出する方法は、第１実施形態において評価値生成部１０５が評価値１１３を算出する方法と同一である。

次に、図７を参照して映像評価装置６０における処理の流れについて説明するとともに、第２実施形態にかかる映像評価方法について説明する。

まず、第１入力部６０１が、外部から入力された第１動き変化量６０６を読み込む（ステップＳ７０１）。

また、第２入力部６０２が、外部から入力された第２動き情報６０７と第２フレーム間隔情報６０８を読み込む（ステップＳ７０２）。

次に、第２動き変化量生成部６０３が、第２入力部６０２から受信した第２動き情報６０７と第２フレーム間隔情報６０８に基づいて、第２の動画像の動き変化量を表す第２動き変化量６０９を算出する（ステップＳ７０３）。

次に、評価値生成部６０４が、第１入力部６０１から受信した第１動き変化量６０６と、第２動き変化量生成部６０３から受信した第２動き変化量６０９に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値６１０を算出する（ステップＳ７０４）。

次に、出力部６０５が、評価値生成部６０４から受信した相対評価値６１０を外部へ出力する（ステップＳ７０５）。

なお、ステップＳ７０１からステップＳ７０３は直列に行ってもよいし、図８のようにステップＳ７０１と、ステップＳ７０２からステップＳ７０３の２つに分けて並列に行っても良い。

図９は、コンピュータを上述した映像評価装置６０として機能させるための映像評価プログラム９０の構成図である。同図に示すように、映像評価プログラム９０の第１実施形態（図５参照）との相違点は、第１実施形態の第１入力モジュール５０２と第１動き変化量生成モジュール５０４とが、第１入力モジュール９０２に置き換わっている点である。

以上説明した映像評価装置６０によれば、第１動画像の動き変化量、および第2動画像の動き情報とフレーム間隔情報に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさが評価されるため、映像の動きの滑らかさに応じてフレームレートを決定させるために必要な、映像の動きの滑らかさの評価値を得ることができる。その結果、映像の実際の動きの滑らかさに応じて効率的なフレームレートを決定することが可能となる。

［第３実施形態］
本発明の第３実施形態について説明する。図１０は、第３実施形態における映像評価装置１００の機能構成を例示する図である。

映像評価装置１００は、第１実施形態における映像評価装置１０と同様に、物理的にはＣＰＵ(中央処理装置)、メモリ等の記憶装置、および通信装置等を備えるコンピュータである。したがって、映像評価装置１００は、ＰＣ端末等の固定通信端末であってもよいし、携帯電話機等の移動通信端末であってもよい。すなわち、映像評価装置１００としては、情報処理可能な装置が広く適用され得る。

図１０を参照して映像評価装置１００の機能構成について説明する。図１０に示すように、映像評価装置１００は、第１入力部１００１と、第２入力部１００２と、第２動き変化量生成部１００３と、評価値生成部１００４と、出力部１００５を有する。

映像評価装置１００の第１実施形態における映像評価装置１０との相違点は、第１実施形態の第１入力部１０１と第１動き変化量生成部１０３が第１入力部１００１に置き換わっている点である。

すなわち、第１実施形態において第１入力部１０１が外部から入力された第１動き情報１０７と第１フレーム間隔情報１０８を第１動き変化量生成部１０３へ出力し、第１動き変化量生成部１０３が第１入力部１０１から受信した第１動き情報１０７と第１フレーム間隔情報１０８に基づいて、第１の動画像の動き変化量を表す第１動き変化量１１１を算出して評価値生成部１０５へ出力し、第２入力部１０２が外部から入力された第２動き情報１０９と第２フレーム間隔情報１１０を第２動き変化量生成部１０４へ出力し、第２動き変化量生成部１０４が第２入力部１０２から受信した第２動き情報１０９と第２フレーム間隔情報１１０に基づいて、第２の動画像の動き変化量を表す第２動き変化量１１２を算出して評価値生成部１０５へ出力し、評価値生成部１０５が相対評価値１１３を算出していたのに対し、本実施形態では、第１入力部１００１が外部から直接入力された第１評価値１００６を評価値生成部１００４へ出力し、第２入力部１００２が外部から入力された第２動き情報１００７と第２フレーム間隔情報１００８を第２動き変化量生成部１００３へ出力し、第２動き変化量生成部１００３が第２入力部１００２から受信した第２動き情報１００７と第２フレーム間隔情報１００８に基づいて、第２の動画像の動き変化量を表す第２動き変化量１００９を算出して評価値生成部１００４へ出力し、評価値生成部１００４が第２評価値を算出して、第１入力部１００１から受信した第１評価値１００６と第２評価値を用いて相対評価値１０１０を算出する点で第１実施形態と異なる。

以下、映像評価装置１００の各構成要素について、第１実施形態との相違点を中心に説明する。

第１入力部１００１は、外部から入力された第１評価値１００６を入力し、評価値生成部１００４へ出力する。

第２入力部１００２は、外部から入力された第２動き情報１００７と第２フレーム間隔情報１００８を入力し、第２動き変化量生成部１００３へ出力する。

第２動き変化量生成部１００３は、第２入力部１００２から受信した第２動き情報１００７と第２フレーム間隔情報１００８に基づいて、第２の動画像の動き変化量を表す第２動き変化量１００９を算出し、評価値生成部１００４に出力する。

評価値生成部１００４は、第１入力部１００１から受信した第１評価値１００６と、第２動き変化量生成部１００３から受信した第２動き変化量１００９に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値１０１０を算出し、出力部１００５に出力する。より詳細には、評価値生成部１００４は、第２動き変化量１００９の値であるＳ２の第２動画像の全フレームでの平均値Ｓ２ａを算出すると共に、第２動画像の動きの滑らかさである第２評価値Ｅ２を算出する。この第２評価値Ｅ２は、Ｅ２＝α２／Ｓ２ａ（α２は定数）により算出する。また、Ｅ２＝ａ２×Ｅｘｐ（−ｂ２×Ｓ２ａ）＋ｃ２（ａ２，ｂ２，ｃ２は定数）により算出してもよい。また、Ｅ２の算出方法は、上記の例に限らず、Ｓ２ａを変数とするあらゆる任意の関数とすることができる。さらに、評価値生成部１００４は、第１評価値Ｅ１及び第２評価値Ｅ２に基づいて、相対評価値１０１０を算出する。相対評価値１０１０の値Ｅｒは、例えばＥ１とＥ２の差（Ｅｒ＝Ｅ２−Ｅ１）、またはＥ１とＥ２の比（Ｅｒ＝Ｅ２／Ｅ１）とする。また、Ｅｒの算出方法は上記の例に限らず、Ｅ１とＥ２を変数とするあらゆる任意の関数とすることができる。

出力部１００５は、評価値生成部１００４から受信した相対評価値１０１０を外部へ出力する。

ここで、第２動き変化量生成部１００３が、第２入力部１００２から受信した第２動き情報１００７と第２フレーム間隔情報１００８に基づいて、第２の動画像の動き変化量を表す第２動き変化量１００９を算出する方法は、第１実施形態において第２動き変化量生成部１０４が第２動き変化量１１２を算出する方法と同一である。

図１１を参照して第１実施形態の映像評価装置１００における処理の流れについて説明するとともに、第３実施形態にかかる映像評価方法について説明する。

まず、第１入力部１００１が、外部から入力された第１評価値１００６を読み込む（ステップＳ１１０１）。

また、第２入力部１００２が、外部から入力された第２動き情報１００７と第２フレーム間隔情報１００８を読み込む（ステップＳ１１０２）。

次に、第２動き変化量生成部１００３が、第２入力部１００２から受信した第２動き情報１００７と第２フレーム間隔情報１００８に基づいて、第２の動画像の動き変化量を表す第２動き変化量１００９を算出する（ステップＳ１１０３）。

次に、評価値生成部１００４が、第１入力部１００１から受信した第１評価値１００６と、２動き変化量生成部１００３から受信した第２動き変化量１００９に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさを評価する相対評価値１０１０を算出する（ステップＳ１１０４）。

次に、出力部１００５が、評価値生成部１００４から受信した相対評価値１０１０を外部へ出力する（ステップＳ１１０５）。

なお、ステップＳ１１０１からステップＳ１１０３は直列に行ってもよいし、図１２のようにステップＳ１１０１と、ステップＳ１１０２からステップＳ１１０３の２つに分けて並列に行っても良い。

図１３は、コンピュータを上述した映像評価装置１００として機能させるための映像評価プログラム１２０の構成図である。同図に示すように、映像評価プログラム１２０の第１実施形態（図５参照）との相違点は、第１実施形態の第１入力モジュール５０２と第１動き変化量生成モジュール５０４とが、第１入力モジュール１２０２に置き換わっている点である。

以上説明した映像評価装置１００によれば、第１動画像の評価値、および第2動画像の動き情報とフレーム間隔情報に基づいて、第１の動画像に対する第２の動画像の動きの滑らかさが評価されるため、映像の動きの滑らかさに応じてフレームレートを決定させるために必要な、映像の動きの滑らかさの評価値を得ることができる。その結果、映像の実際の動きの滑らかさに応じて効率的なフレームレートを決定することが可能となる。

なお、本発明は上述した各実施形態に限定されるものではない。例えば、第１入力部１０１，６０１，１００１と第２入力部１０２、６０２，１００２は、共通の一つの入力部としても良い。また、上記第１動き変化量生成部１０３と第２変化量生成部１０４は共通の一つの変化量生成部としても良い。

また、評価値生成部１０５，６０４は、第１動き変化量生成部１０３又は第１入力部６０１から送られた第１動き変化量１１１，６０６の値であるＳ１の第１動画像全てのフレームでの平均値としてＳ１ａを算出するのではなく、Ｓ１の第１動画像全てのフレームでの最大値、最小値、または中間値としてＳ１ａを算出しても良い。同様に、評価値生成部１０５，６０４，１００４は第２動き変化量生成部１０４，６０３，１００３から送られた第２動き変化量１１２の値であるＳ２の第２動画像全てのフレームでの平均値としてＳ２ａを算出するのではなく、Ｓ２の第２動画像全てのフレームでの最大値、最小値、または中間値としてＳ２ａを算出しても良い。

また、上記評価値生成部１０５，６０４，１００４によって算出される第１の動画像に対する第２の動画像の動きの滑らかさの評価値は、必ずしも映像全体で１つである必要はない。例えば、一部の連続フレーム単位、フレーム単位、ブロック単位、ピクセル単位、オブジェクト単位または任意の領域に１つの評価値であってもよい。

また、評価値生成部１０５，６０４は、第１動き変化量生成部１０３又は第１入力部６０１から送られた第１動き変化量１１１，６０６の値であるＳ１の第１動画像全てのフレームでの平均値としてＳ１ａを算出した後、第１動画像の動きの滑らかさである第１評価値を算出すると共に、第２動き変化量生成部１０４，６０３から送られた第２動き変化量１１２の値であるＳ２の第２動画像全てのフレームでの平均値としてＳ２ａを算出した後、第２動画像の動きの滑らかさである第２評価値を算出し、第１評価値と第２評価値を用いて相対評価値１１３，６１０を算出しても良い。このとき、第１評価値の値Ｅ１はＥ１＝α１／Ｓ１ａ（α１は定数）とする。またはＥ１＝ａ１ × Ｅｘｐ（−ｂ１ × Ｓ１ａ） ＋ ｃ１（ａ１，ｂ１，ｃ１は定数）としても良い。また、Ｅ１の算出方法は上記の例に限らず、Ｓ１ａを変数とするあらゆる任意の関数とすることができる。また、第２評価値の値Ｅ２はＥ２＝α２／Ｓ２ａ（α２は定数）とする。またはＥ２＝ａ２ × Ｅｘｐ（−ｂ２ × Ｓ２ａ） ＋ ｃ２（ａ２，ｂ２，ｃ２は定数）としても良い。また、Ｅ２の算出方法は上記の例に限らず、Ｓ２ａを変数とするあらゆる任意の関数とすることができる。また、相対評価値１１３の値Ｅｒは、例えばＥ１とＥ２の差（Ｅｒ＝Ｅ２−Ｅ１）、またはＥ１とＥ２の比（Ｅｒ＝Ｅ２／Ｅ１）とする。また、Ｅｒの算出方法は上記の例に限らず、Ｅ１とＥ２を変数とするあらゆる任意の関数とすることができる。

本発明の第１実施形態にかかる映像評価装置の概略構成図である。 （ａ）は、第１の動画像における第１動き情報の時間変化の一例を示すグラフ、（ｂ）は、第２の動画像における第２動き情報の時間変化の一例を示すグラフである。 図１の映像評価装置の処理の流れを示すフローチャートである。 図３の処理の変形例を示すフローチャートである。 本発明の第１実施形態にかかる映像評価プログラムの概略構成図である。 本発明の第２実施形態にかかる映像評価装置の概略構成図である。 図６の映像評価装置の処理の流れを示すフローチャートである。 図７の処理の変形例を示すフローチャートである。 本発明の第２実施形態にかかる映像評価プログラムの概略構成図である。 本発明の第３実施形態にかかる映像評価装置の概略構成図である。 図１０の映像評価装置の処理の流れを示すフローチャートである。 図１１の処理の変形例を示すフローチャートである。 本発明の第２実施形態にかかる映像評価プログラムの概略構成図である。

符号の説明

１０，６０，１００…映像評価装置、１０１，６０１，１００１…第１入力部、１０２，６０２…第２入力部、１０３…第１動き変化量生成部、１０４，６０３，１００３…第２動き変化量生成部、１０５，６０４，１００４…評価値生成部、１０６，６０５，１００５…出力部、５０，９０，１２０…映像評価プログラム、５０１，９０１，１２０１…メインモジュール、５０２，９０２，１２０２…第１入力モジュール、５０３，９０３，１２０３…第２入力モジュール、５０４…第１動き変化量生成モジュール、５０５，９０４，１２０４…第２動き変化量生成モジュール、５０６，９０５，１２０５…評価値生成モジュール、５０７，９０６，１２０６…出力モジュール。

Claims (7)

1. 第１の動画像に関する第１動き情報と第１フレーム間隔情報とを入力する第１入力手段と、
   第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段と、
   前記第１動き情報と前記第１フレーム間隔情報とに基づいて、前記第１の動画像に対する第１動き変化量を求める第１動き変化量生成手段と、
   前記第２動き情報と前記第２フレーム間隔情報とに基づいて、前記第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段と、
   前記第１動き変化量と前記第２動き変化量とに基づいて、前記第１の動画像に対する前記第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段と、
   前記相対評価値を出力する出力手段と、
   を備えることを特徴とする映像評価装置。
2. 前記評価値生成手段は、前記第１動き変化量と前記第２動き変化量とから、相対動き変化量を算出した上で、前記相対動き変化量に基づいて前記相対評価値を算出する請求項１記載の映像評価装置。
3. 前記評価値生成手段は、前記第１動き変化量に基づいて第１評価値を求め、前記第２動き変化量に基づいて第２評価値を求め、前記第１評価値と前記第２評価値とから相対評価値を算出した上で、前記相対評価値に基づいて前記相対評価値を算出する請求項１記載の映像評価装置。
4. 第１の動画像に関する第１動き変化量を入力する第１入力手段と、
   第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段と、
   前記第２動き情報と前記第２フレーム間隔情報とに基づいて、前記第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段と、
   前記第１動き変化量と前記第２動き変化量とに基づいて、前記第１の動画像に対する前記第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段と、
   前記相対評価値を出力する出力手段と
   を備えることを特徴とする映像評価装置。
5. 第１の動画像に関する第１評価値を入力する第１入力手段と、
   第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段と、
   前記第２動き情報と前記第２フレーム間隔情報とに基づいて、前記第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段と、
   前記第１評価値と前記第２動き変化量とに基づいて、前記第１の動画像に対する前記第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段と、
   前記相対評価値を出力する出力手段と
   を備えることを特徴とする映像評価装置。
6. 第１入力手段が、第１の動画像に関する第１動き情報と第１フレーム間隔情報とを入力する第１入力ステップと、
   第２入力手段が、第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力ステップと、
   第１動き変化量生成手段が、前記第１動き情報と前記第１フレーム間隔情報とに基づいて、前記第１の動画像に対する第１動き変化量を求める第１動き変化量生成ステップと、
   第２動き変化量生成手段が、前記第２動き情報と前記第２フレーム間隔情報とに基づいて、前記第２の動画像に対する第２動き変化量を求める第２動き変化量生成ステップと、
   評価値生成手段が、前記第１動き変化量と前記第２動き変化量とに基づいて、前記第１の動画像に対する前記第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成ステップと、
   出力手段が、前記相対評価値を出力する出力ステップと、
   を備えることを特徴とする映像評価方法。
7. コンピュータを、
   第１の動画像に関する第１動き情報と第１フレーム間隔情報とを入力する第１入力手段、
   第２の動画像に関する第２動き情報と第２フレーム間隔情報とを入力する第２入力手段、
   前記第１動き情報と前記第１フレーム間隔情報とに基づいて、前記第１の動画像に対する第１動き変化量を求める第１動き変化量生成手段、
   前記第２動き情報と前記第２フレーム間隔情報とに基づいて、前記第２の動画像に対する第２動き変化量を求める第２動き変化量生成手段、
   前記第１動き変化量と前記第２動き変化量とに基づいて、前記第１の動画像に対する前記第２の動画像の動きの滑らかさを評価する相対評価値を算出する評価値生成手段、及び
   前記相対評価値を出力する出力手段、
   として機能させることを特徴とする映像評価プログラム。

Images