JP2013168902A - 画像処理装置、表示装置および画像処理方法 - Google Patents

Abstract

【課題】エッジが決められた条件を満たすフレームからサムネイル画像を生成すること。
【解決手段】表示装置１は、動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得する取得手段１１と、取得手段１１により取得されたデータから、エッジを抽出する抽出手段１２と、抽出手段１２により抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成する生成手段１３とを有する。
【選択図】図１

Description

本発明は、動画データからサムネイル画像を生成する技術に関する。

記憶媒体に記憶された動画の一覧を表示する際に、サムネイル画像が用いられる場合がある。特許文献１は、画像の輝度分布や色相等を基準にしてサムネイル画像を生成することを開示している。

特開２００５−１０９７８９号公報

動画については、動画を構成するフレームの中から選択された一のフレームからサムネイル画像が生成される。しかし、選択されるフレームによっては、サムネイル画像として意味のある情報を持たない場合があった。
これに対し本発明は、エッジが決められた条件を満たすフレームからサムネイル画像を生成する技術を提供する。

本発明は、動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得する取得手段と、前記取得手段により取得されたデータから、エッジを抽出する抽出手段と、前記抽出手段により抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成する生成手段とを有する画像処理装置を提供する。
この画像処理装置によれば、エッジが決められた条件を満たすフレームからサムネイル画像を生成することができる。

好ましい態様において、前記一のフレームのデータからエッジが抽出されなかった場合、前記取得手段は、前記記憶手段から、前記一のフレームとは別のフレームのデータを取得してもよい。
この画像処理装置によれば、エッジが決められた条件を満たすフレームを選択してサムネイル画像を生成することができる。

別の好ましい態様において、前記第１条件は、前記一のフレームにおいて２つのエッジが抽出され、当該２つのエッジ間の距離が所定値以上であるという条件を含んでもよい。
この画像処理装置によれば、より視認性の高い図形が含まれるフレームからサムネイル画像を生成することができる。

さらに別の好ましい態様において、前記データが、複数の色成分毎の階調値を含み、前記生成手段は、前記複数の色成分毎の階調値が決められた第２条件を満たした場合、前記サムネイル画像を生成してもよい。
この画像処理装置によれば、色成分に応じて選択されたフレームからサムネイル画像を生成することができる。

さらに別の好ましい態様において、前記抽出手段は、前記データに基づくウェーブレット変換によりエッジを抽出してもよい。
この画像処理装置によれば、より軽い処理でエッジを抽出することができる。

さらに別の好ましい態様において、前記抽出手段は、前記データから得られた輝度をウェーブレット変換することによりエッジを抽出してもよい。
この画像処理装置によれば、輝度を用いた軽い処理でエッジを抽出することができる。

また、本発明は、動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得する取得手段と、前記取得手段により取得されたデータから、エッジを抽出する抽出手段と、前記抽出手段により抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成する生成手段と、前記生成手段により生成された前記サムネイル画像を表示する表示手段とを有する表示装置を提供する。
この表示装置によれば、エッジが決められた条件を満たすフレームからサムネイル画像を生成することができる。

さらに、本発明は、動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得するステップと、前記取得されたデータから、エッジを抽出するステップと、前記抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成するステップとを有する画像処理方法を提供する。
この画像処理方法によれば、エッジが決められた条件を満たすフレームからサムネイル画像を生成することができる。

一実施形態に係る表示装置１の機能構成を示す図。 表示装置１のハードウェア構成を示す図。 表示装置１の動作を示すフローチャート。 ウェーブレット変換の結果を例示する図。 ウェーブレット変換の結果を例示する図。

１．構成
図１は、一実施形態に係る表示装置１の機能構成を示す図である。表示装置１は、動画データを再生する機能を有する。また、表示装置１は、再生可能な動画データの一覧を表示する機能を有する。この一覧において、動画データを代表する画像としてサムネイル画像が表示される。サムネイル画像とは、動画データを構成する複数のフレームの中から選択された一のフレームを所定の大きさに縮小した画像をいう。ユーザーは、一覧表示されたサムネイル画像の中から、所望の動画データを探すことができる。

表示装置１は、取得手段１１と、抽出手段１２と、生成手段１３と、表示手段１４と、動画再生手段１５とを有する。取得手段１１は、動画データを記憶した記憶手段２１から、動画データの一のフレームのデータを取得する。抽出手段１２は、取得手段１１により取得されたデータから、エッジを抽出（検出）する。生成手段１３は、抽出手段１２により抽出されたエッジが予め決められた第１条件を満たした場合、そのデータから、そのフレームのサムネイル画像を生成する。この例で、第１条件は、一のフレームにおいて２つのエッジが抽出され、その２つのエッジ間の距離が所定値以上であるという条件を含む。また、この例で、一のフレームのデータからエッジが抽出されなかった場合、取得手段１１は、記憶手段２１から、一のフレームとは別のフレームのデータを取得する。表示手段１４は、生成手段１３により生成したサムネイル画像を表示する。動画再生手段１５は、動画データを再生し、再生した動画を表示手段１４に表示させる。

図２は、表示装置１のハードウェア構成を示す図である。この例で表示装置１は、ＰＣレスプレゼンテーション機能を有するプロジェクターである。「ＰＣレスプレゼンテーション機能」とは、パーソナルコンピューターを接続しなくても、所定のフォーマットの動画データを再生できる機能をいう。例えば、動画データを記憶したＵＳＢメモリーや外付けＨＤＤを表示装置１に接続することにより、表示装置１から直接、動画データを再生することができる。

表示装置１は、制御部１１０と、入力部１２０と、表示部１３０と、外部メモリーＩＦ１４０とを有する。制御部１１０は、各種の演算処理および他の構成要素の制御を行う。制御部１１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）を有する。ＲＯＭに記憶されている制御プログラムおよび動画再生プログラムをＣＰＵが実行して制御部１１０が他の構成要素を制御することにより、表示装置１は、図１に示した機能を有する。入力部１２０は、ユーザーからの指示を制御部１１０に入力する。入力部１２０は、例えば、表示装置１を操作するための信号を送信するリモートコントローラー、および信号の受信器を有する。表示部１３０は、画像の表示、この例では特に投射を行う。表示部１３０は、光源、光源からの光を変調する光変調装置（ライトバルブ）としての液晶パネル、液晶パネルを駆動する駆動回路、および変調された光を投射する光学系を有する。外部メモリーＩＦ１４０は、ＵＳＢメモリーや外付けＨＤＤ等の外部記憶装置２１０との間でデータおよび制御信号をやりとりするインターフェースである。外部メモリーＩＦ１４０は、外部記憶装置２１０と接続するコネクターを有する。

この例で、制御プログラムを実行している制御部１１０は、取得手段１１、抽出手段１２、および生成手段１３の一例である。動画再生プログラムを実行している制御部１１０は、動画再生手段１５の一例である。また、表示部１３０は、表示手段１４の一例である。さらに、外部記憶装置２１０は、記憶手段２１の一例である。

２．動作
図３は、表示装置１の動作を示すフローチャートである。図３のフローは、所定のイベント、例えば、ユーザーから動画データの一覧の表示を指示されたことを契機として開始される。この例では、外部メモリーＩＦ１４０を介して接続されたＵＳＢメモリーに複数の動画データが記憶されており、表示装置１は、このＵＳＢメモリーに記憶されている動画データの一覧を表示する。動画データにおいて、各フレームのデータは、縦ｍ行×横ｎ列に配置された画素の階調値を示している。

ステップＳ１００において、制御部１１０は、一覧に表示する動画データの中から、一の動画データを特定する。一の動画データは、所定の規則（例えば、ファイル名の順または作成日順）に従って特定される。この例では、１画面に表示できるサムネイル画像の数に上限があり、その上限に相当する数の動画データが処理の対象となる。例えば、１画面に最大８個のサムネイル画像を表示する場合、ステップＳ１００においてはまず８個の動画データが特定され、さらに、その８個の中から、対象となる一の動画データが順次特定される。

ステップＳ１１０において、制御部１１０は、特定された動画データから、第ｋフレームのデータを取得する。ｋはフレームの番号を示すパラメーターである。パラメーターｋの初期値はあらかじめ決められている（例えば１５秒目）。この例で、動画データは、Ｉフレーム（Intra-coded Frame）、Ｐフレーム（Predicted Frame）、およびＢフレーム（Bi-directional Predicted Frame）を含む。ＰフレームおよびＢフレームは、自身のフレームの前および後のフレームの少なくとも一方からの差分情報を示しており、フレームのデコードには他のフレームの情報が必要である。一方、Ｉフレームの情報は自身のフレームで完結しており、フレームのデコードに他のフレームの情報を必要としない。この例で、制御部１１０は、第ｋフレームのＩフレームのデータを取得する。

ステップＳ１２０において、制御部１１０は、取得されたデータから、そのフレームにおけるエッジを抽出する。具体的には、まず、制御部１１０は、Ｉフレームのデータをデコードする。制御部１１０は、デコードされたデータから、各画素の輝度を抽出する。制御部１１０は、輝度に対し、横（ｘ）方向および縦（ｙ）方向にウェーブレット変換をかける。ウェーブレット変換により、ＬＬ（低周波）、ＨＬ（ｙ方向高周波）、ＬＨ（ｘ方向高周波）、およびＨＨ（ｘｙ方向高周波）の各成分の係数が抽出される。エッジ抽出には、このうちＨＬおよびＬＨ成分を用いる。

図４は、ウェーブレット変換の結果を例示する図である。この例は、画像のうちある一の行のウェーブレット係数の空間分布を示している。横軸は空間的な位置（ｘ座標）を、縦軸はウェーブレット係数を示している。ウェーブレット係数があるしきい値を超えている部分が、エッジである。この例では、エッジが２つ存在することが示されている。

図５は、ウェーブレット変換の結果を例示する図である。左上、右上、左下、および右下の図は、それぞれ、ＬＬ、ＨＬ、ＬＨ、およびＨＨの各成分の結果を示している。ＨＬおよびＬＨ成分の結果において、黒で表示されている部分が、エッジと判断された部分（ウェーブレット係数がしきい値を超えた部分）である。

再び図３を参照する。ステップＳ１３０において、制御部１１０は、抽出されたエッジが所定の条件を満たすか判断する。抽出されたエッジがこの条件を満たすと判断された場合（Ｓ１３０：ＹＥＳ）、制御部１１０は、処理をステップＳ１４０に移行する。抽出されたエッジがこの条件を満たさないと判断された場合（Ｓ１３０：ＮＯ）、制御部１１０は、処理をステップＳ１１０に移行する。

この例で、ステップＳ１３０における条件としては、以下のものが用いられる。
（１）横方向または縦方向のいずれかにおいて、２つ以上のエッジが抽出される。より具体的には、全ｍ行のうちしきい値以上の行において、２つ以上のエッジが抽出されるか、または、全ｎ列のうちしきい値以上の列において、２つ以上のエッジが抽出される。
（２）２つのエッジの間隔（以下「エッジ間隔」という。例えば図４の間隔ｄ）が所定のしきい値以上である。より具体的には、エッジ間隔の代表値が、所定のしきい値以上である。エッジ間隔の代表値としては、例えば、エッジ間隔の平均値が用いられる。エッジ間隔の平均値とは、エッジ間隔の総和をエッジ間隔の総数で除した値である。なお、一の行（または一の列）において３つ以上のエッジが抽出された場合、隣接する２つのエッジ間の間隔をエッジ間隔とする。例えば、一の行において、ｐ個のエッジが抽出された場合、エッジ間隔の数は（ｐ−１）である。
上記の条件（１）および（２）がいずれも満たされた場合、制御部１１０は、処理をステップＳ１４０に移行する。

条件（１）および（２）のうち少なくとも一方が満たされなかった場合、制御部１１０は、処理をステップＳ１１０に移行する。２回目以降のステップＳ１１０において、制御部１１０は、フレーム番号を示すパラメーターｋの値を更新する。ｋの値は、例えば、所定の加算値（例えば１）を加算することにより更新される。なお、パラメーターｋの更新方法はこれに限定されない。例えば、加算値は、ステップＳ１１０〜Ｓ１３０のループの回数に応じて変化してもよい。より具体的には、最初のａ回は加算値が１であり、ループがａ回を超えたときは、ループ回数が増えるにつれ加算値が増加してもよい。例えば、動画の出だしの部分が数秒間真っ黒なままである場合には、このように加算値を変化させることにより、より少ないループ回数で、条件を満たすフレームを発見することができる。

ステップＳ１４０において、制御部１１０は、第ｋフレームのサムネイル画像を生成する。制御部１１０は、生成したサムネイル画像をＲＡＭに記憶する。
ステップＳ１５０において、制御部１１０は、生成されたサムネイル画像を表示部１３０に表示させる。

ステップＳ１６０において、制御部１１０は、すべての動画データについて処理が完了したか判断する。この例では、「すべての動画データ」とは、１画面に表示できるサムネイル画像の上限に相当する数の動画データ（先の例では８個）をいう。まだ処理が完了していない動画データがあると判断された場合（Ｓ１６０：ＮＯ）、制御部１１０は、処理をステップＳ１００に移行する。すべての動画データについて処理が完了したと判断された場合（Ｓ１６０：ＹＥＳ）、制御部１１０は、図３の処理を終了する。

表示装置１によれば、エッジに関する条件によらずに生成されたサムネイル画像が表示される場合と比較して、より意味のある情報を持つサムネイル画像を表示することができる。例えば、エッジに関する条件によらずにサムネイル画像が生成される場合、全面真っ黒なサムネイル画像や全面真っ白なサムネイル画像が生成される場合があるが、表示装置１によれば、このような無意味なサムネイル画像が生成されることを排除することができる。

３．他の実施形態
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下の変形例のうち２つ以上のものが組み合わせて用いられてもよい。

３−１．変形例１
ウェーブレット変換の対象は、フレームのデータから抽出された輝度に限定されない。例えば、複数の色成分（Ｒ、Ｇ、およびＢ）の階調値のそれぞれにおいて、ウェーブレット変換が行われてもよい（すなわちこの例では、ウェーブレット変換は３回行われる）。この場合、制御部１１０は、複数の色成分におけるウェーブレット変換結果に関する条件が満たされた場合、そのフレームのサムネイル画像を生成する。この条件としては、例えば以下のものが用いられる。
（３）Ｒ、Ｇ、およびＢ成分のうち少なくとも一の色成分のウェーブレット変換結果が、条件（１）および（２）を満たす。
なお、条件はこれに限定されない。例えば、エッジと認定されるしきい値が色成分によって異なっていてもよい。あるいは、エッジの数に関する条件が色成分によって異なっていてもよい。さらに、エッジ間隔に関する条件が色成分によって異なっていてもよい。さらに、Ｒ成分のエッジの数とＧ成分のエッジの数など、色成分間の相対的な関係についての条件が用いられてもよい。

３−２．変形例２
ウェーブレット変換の対象およびその変換結果に関する条件は、表示部１３０の特性に応じて決められてもよい。例えば、表示部１３０が、Ｒ、Ｇ、およびＢのうち特にＲ成分のコントラストが高い、または発色が良いなどの特性を有する場合に、３つの色成分のうちＲ成分のみについてウェーブレット変換を行い、その結果を用いて条件判定が行われてもよい。この例によれば、表示部１３０の特性に応じてより視認性の高いサムネイル画像を生成することができる。

３−３．変形例３
エッジ抽出の手法は、ウェーブレット変換を用いるものに限定されない。キャニー（Canny）法、ソーベル（Sobel）法、ラプラシアンを用いる手法など、ウェーブレット変換以外の手法が用いられてもよい。また、ウェーブレット変換を行う場合も、縦方向および横方向の双方についてウェーブレット変換を行うのではなく、縦方向および横方向のうちいずれか一方についてのみウェーブレット変換が行われてもよい。

３−４．変形例４
本発明が適用される電子機器は、ＰＣレスプレゼンテーション機能を有するプロジェクターに限定されない。例えば、プロジェクターに映像信号を供給する装置（パーソナルコンピューター等の画像処理装置）が、図１の表示手段１４以外の機能を有していてもよい。この場合、パーソナルコンピューターが、図３の処理を実現するためのプログラムを実行する。

３−５．変形例５
動画データを記憶する記憶手段２１は、外部記憶装置２１０に限定されない。例えば、表示装置１が、ＨＤＤ等の記憶装置を内蔵しており、動画データはその記憶装置に記憶されていてもよい。この場合、表示装置１は、外部メモリーＩＦ１４０に代わり、内蔵記憶装置を有する。あるいは、ネットワーク上のサーバー装置に動画データが記憶されており（いわゆるクラウドストレージ）、表示装置１は、ネットワークにアクセスすることにより、動画データを取得してもよい。この場合、表示装置１は、外部メモリーＩＦ１４０に代わり、ネットワークインターフェースを有する。

１…表示装置、１１…取得手段、１２…抽出手段、１３…生成手段、１４…表示手段、１５…動画再生手段、２１…記憶手段、１１０…制御部、１２０…入力部、１３０…表示部、１４０…外部メモリーＩＦ、２１０…外部記憶装置

Claims (8)

1. 動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得する取得手段と、
   前記取得手段により取得されたデータから、エッジを抽出する抽出手段と、
   前記抽出手段により抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成する生成手段と
   を有する画像処理装置。
2. 前記一のフレームのデータからエッジが抽出されなかった場合、前記取得手段は、前記記憶手段から、前記一のフレームとは別のフレームのデータを取得する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１条件は、前記一のフレームにおいて２つのエッジが抽出され、当該２つのエッジ間の距離が所定値以上であるという条件を含む
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記データが、複数の色成分毎の階調値を含み、
   前記生成手段は、前記複数の色成分毎の階調値が決められた第２条件を満たした場合、前記サムネイル画像を生成する
   ことを特徴とする請求項１ないし３のいずれか一項に記載の画像処理装置。
5. 前記抽出手段は、前記データに基づくウェーブレット変換によりエッジを抽出する
   ことを特徴とする請求項１ないし４のいずれか一項に記載の画像処理装置。
6. 前記抽出手段は、前記データから得られた輝度をウェーブレット変換することによりエッジを抽出する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得する取得手段と、
   前記取得手段により取得されたデータから、エッジを抽出する抽出手段と、
   前記抽出手段により抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成する生成手段と、
   前記生成手段により生成された前記サムネイル画像を表示する表示手段と
   を有する表示装置。
8. 動画データを記憶した記憶手段から、当該動画データの一のフレームのデータを取得するステップと、
   前記取得されたデータから、エッジを抽出するステップと、
   前記抽出されたエッジが決められた第１条件を満たした場合、当該データから、当該フレームのサムネイル画像を生成するステップと
   を有する画像処理方法。

Images