JP3404803B2

JP3404803B2 - 動画像記録媒体、静止画像抽出装置、動画像記録装置および静止画像自動抽出方法

Info

Publication number: JP3404803B2
Application number: JP14733793A
Authority: JP
Inventors: 裕志赤堀; 雪絵五島; 眞藤本
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1993-06-18
Filing date: 1993-06-18
Publication date: 2003-05-12
Anticipated expiration: 2018-05-12
Also published as: JPH0723322A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影された動画像の中から、代表的な画像を自動的に抽出
する方法及びその装置に関するものである。

【０００２】

【従来の技術】従来の技術として、例えばＶＴＲでは記
録された動画像を管理するための情報を、ビデオテープ
に動画像とともに記録するというものがある。一例とし
て、ＶＩＳＳ（ＶＨＳＩｎｄｅｘＳｅａｒｃｈＳ
ｙｓｔｅｍ）について説明する。ＶＩＳＳとは、ＶＨＳ
方式のＶＴＲにおいて高速頭出しを行うために開発され
たものである。ビデオテープには、通常の画像情報を記
録するビデオトラック以外に、この高速頭出しを行うた
めのＶＩＳＳ信号を記録するコントロールトラックが存
在する。このＶＩＳＳ信号は、ビデオテープに画像情報
を録画し始めたときに、コントロールトラックに自動的
に記録される。また、ユーザが見たい場面に対してＶＩ
ＳＳ信号を記録することもできる。このようにしてビデ
オテープ上に記録されたＶＩＳＳ信号を利用して、イン
トロサーチと呼ばれる早送り再生を行うことができる。
イントロサーチとは、早送り中にＶＩＳＳ信号を見つけ
ると、ある時間だけ再生状態にし、その後再び早送りす
るという動作をテープの終わりまで繰り返すものであ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
ＶＴＲにおいて自動的に記録されるＶＩＳＳ信号は、ビ
デオテープに画像情報を録画し始めたときに記録される
ため、イントロサーチのようにＶＩＳＳ信号の付いてい
る部分の画像を抽出した場合、抽出された画像は動画像
の内容を十分に表現するものではない。また、動画像の
内容を十分に表現する部分にＶＩＳＳ信号を付与しよう
とすると、ユーザが手動で行わなければならず、膨大な
手間がかかる。

【０００４】本発明はかかる点に鑑み、動画像の内容を
十分に表現する代表画像を自動的に抽出する装置および
動画像記録媒体を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、本発明の動画像記録媒体は動画像を撮影する際に撮
影者がカメラを操作したカメラ操作情報を記憶するカメ
ラ操作情報記憶部と、撮像した画像を処理して得られた
画像処理情報を記憶する画像処理情報記憶部と、センサ
ーからの信号を処理して得られた撮影中の撮影状態情報
を記憶する撮影状態情報記憶部の少なくとも一つを備え
る。

【０００６】また本発明の静止画像抽出装置は、動画像
を撮影する際に撮影者がカメラを操作したカメラ操作情
報を取り込むカメラ操作情報獲得手段と、撮像した画像
を処理して得られた画像処理情報を取り込む画像処理情
報獲得手段と、センサーからの信号を処理して得られた
撮影中の撮影状態情報を取り込む撮影状態情報獲得手段
と、前記カメラ操作情報獲得手段からのカメラ操作情報
と前記画像処理情報獲得手段からの画像処理情報と前記
撮影状態情報獲得手段からの撮影状態情報の少なくとも
一つをもとにして、撮影者が撮影開始操作をしてから撮
影終了操作をするまでの間に撮影された動画像の中から
少なくとも１枚の静止画像を抽出する静止画像抽出手段
を備える。

【０００７】さらに本発明の動画像記録装置は、撮像装
置で撮影した動画像を動画像記録媒体に記録するととも
に、前記静止画像抽出手段で抽出した静止画像の情報を
記録する静止画像情報記録手段を備える。

【０００８】

【作用】以上のような構成において、撮影時における撮
影者のズームなどのカメラ操作情報や、画像処理を行っ
て得られる例えばフォーカスやアイリスの信頼性や被写
体の位置や障害物の存在状況などの画像処理情報や、セ
ンサーから得られる例えばパンなどの撮影状態情報をも
とにして評価を行い、評価値が高いか、もしくは一定の
条件を満足する画像を動画像の中から抽出する。これに
よって、抽出される静止画像は動画像の内容を十分に表
現したものとなる。

【０００９】また、抽出した静止画像の情報を動画像と
ともに記録することによって、静止画像情報をもとに代
表画像を容易に検索したり、出力したりすることが可能
となる。

【００１０】

【実施例】本発明の動画像記録媒体の実施例を図１に示
す。図１は動画像記録媒体の一例としてビデオテープを
示すが、ビデオディスクやＩＣメモリなどの他の記録媒
体であってもよい。図１に示すように、ビデオテープに
は映像信号とともに、映像信号に対応してフレーム単位
で代表画像の抽出情報を記録しておく。ここで代表画像
の抽出情報とは、カメラ操作情報と画像処理情報と撮影
状態情報である。カメラ操作とはビデオカメラで撮影し
た際の録画開始操作やズーム操作などであり、録画開始
操作情報は録画開始操作が行われた時点にフラグを立て
て録画開始点を示す情報であり、ズーム操作情報はズー
ム倍率を表す情報である。録画開始操作情報もズーム操
作情報もともに、ビデオカメラのボタン操作をもとに検
出可能な情報である。画像処理情報は撮像素子で撮像し
た映像信号をもとにして自動的もしくは人間が関与して
抽出処理した情報で、例えばフォーカス制御を行うため
に求めた映像信号の高周波成分の周波数や大きさ、ある
いはフレーム間における輝度信号や色信号の差異を求め
たフレーム間差分値、あるいは映像信号から被写体領域
の位置や大きさなどの情報を抽出したもの、逆光や過順
光の状態、さらにはγ補正値や色温度などである。撮影
状態情報はカメラの撮影状態をセンサーで検出した情報
で、例えば角速度センサーによって検出したパンニング
などのカメラの動き情報、あるいは光量センサーによる
被写体光量や絞り開度センサーで検出したレンズの絞り
開度、あるいはレンズ位置検出によるフォーカス距離な
どがある。

【００１１】以上のような代表画像抽出情報を動画像記
録媒体に備えることによって、以降の実施例で説明する
ように動画像中の代表画像を抽出することが可能とな
る。

【００１２】次に本発明の静止画像抽出装置の第１の実
施例について説明する。図２に本実施例の構成図を示
す。本実施例は、動画像記録媒体に映像信号とともに代
表画像を抽出するための情報を記録しておき、動画像記
録媒体から代表画像の抽出情報を読み出して評価し、評
価結果にもとづいて１カット（カメラにおいて録画開始
操作をしてから録画終了操作をするまでの間に連続して
撮影された動画像のかたまり）の中から代表的な画像を
静止画像として抽出するものである。図２で１は再生信
号入力部、２はカメラ操作情報獲得部、３は画像処理情
報獲得部、４は撮影状態情報獲得部、５は映像信号獲得
部、６は代表画像抽出情報評価部、７は代表画像管理
部、８は代表画像記憶部、９は出力装置である。以上の
構成における各部の動作について以下で詳細に説明す
る。

【００１３】まず、再生信号入力部１には動画像記録媒
体に記録された情報を再生して入力する。カメラ操作情
報獲得部２および画像処理情報獲得部３および撮影状態
情報獲得部４では、再生信号入力部１に入力された再生
信号からそれぞれカメラ操作情報と画像処理情報と撮影
状態情報を読み出す。本実施例ではコード化された各情
報をデコードする。代表画像抽出情報評価部６は、カメ
ラ操作情報に含まれる録画開始操作情報を検出し、次の
録画開始操作情報を検出するまでの同一カット内の各画
像に対して、カメラ操作情報の中の録画開始操作情報以
外の情報と画像処理情報と撮影状態情報をもとに、各画
像がカットの代表画像として適当な画像であるかどうか
の評価を行う。代表画像として適当であると評価された
画像に関して、代表画像管理部７は映像信号獲得部５か
ら１フレームの画像を取り込み、代表画像記憶部８に記
憶する。出力装置９は代表画像記憶部８に記憶された代
表画像を取り出して出力するものであり、ディスプレイ
やプリンタなどである。なお、代表画像抽出情報評価部
６の動作については、後述の静止画像自動抽出方法の実
施例で詳細に説明する。

【００１４】以上の実施例では、動画像記録媒体に映像
信号とともにあらかじめ代表画像を抽出するための情報
を記録しておき、動画像記録媒体から代表画像の抽出情
報を読み出して代表画像を抽出する場合について説明を
行った。しかし、代表画像を抽出するための情報の一
部、もしくは全部が動画像記録媒体に存在しない場合で
も、動画像記録媒体に記録された映像信号を処理するこ
とによって、代表画像を抽出するための情報を獲得し、
獲得した情報をもとに代表画像を抽出することができ
る。これについて以下の第２の実施例の静止画像抽出装
置で詳細に説明する。

【００１５】図３に比較例として、映像信号のみからす
べての代表画像抽出情報を獲得する装置の構成を示す。
図３で１０はフレーム間差分値検出部、１１はメモリ、
１２は変化量検出部、１３はカットチェンジ検出部、１
４はカメラワーク検出部、１５は動きベクトル検出部、
１６はカメラワークパラメタ推定部、１７は被写体情報
検出部、１８は動領域検出部、１９は領域内特徴量抽出
部、２０はフォーカス情報検出部、２１は高域通過フィ
ルタ、２２は平均値算出部である。以上の構成における
各部の動作について以下で詳細に説明する。

【００１６】まず、フレーム間差分値検出部１０および
カットチェンジ検出部１３の動作について説明する。フ
レーム間差分値検出部１０は、動画像信号を１フレーム
遅延させるためのメモリ１１と、連続するフレーム間で
動画像信号の差分を求める変化量検出部１２からなる。
動画像の連続するフレーム間の差を求める信号は輝度値
やｒｇｂ値などを用い、変化量検出部１２において画素
単位で連続するフレーム間の画像信号の差分演算を行
い、画素ごとの差分値の総和を求めてフレーム間差分値
として出力する。カットチェンジ検出部１３は、フレー
ム間差分値検出部１０で求めたフレーム間差分値に対し
て閾値処理をする。すなわち、所定の閾値とフレーム間
差分値との比較を行い、フレーム間差分値が閾値より大
きい場合は、２枚のフレーム間で画像内容が大きく変化
していると考えて、その部分でカットチェンジがあった
と判断する。ビデオカメラでは、録画開始操作を行うこ
とによってカットチェンジが生じるため、逆に画像信号
からカットチェンジを検出することによって録画開始操
作を推定することができる。したがって、カットチェン
ジ検出部１３では、閾値を越えるフレーム間差分値が検
出された時点で、録画開始操作情報を出力する。なお、
図３で示したフレーム間差分値検出部１０の構成は一例
であり、図４で示すような他の構成でもよい。図４で４
４は動画像信号の１フレームにおける色ヒストグラムを
求める色ヒストグラム検出部、４５は求めたヒストグラ
ムを記憶するヒストグラムメモリ、４６は連続するフレ
ーム間で色ヒストグラムの差異を検出するヒストグラム
差分検出部である。図４に示す構成では、フレーム間で
画素ごとの比較を行うのではなくフレーム全体で比較を
行うものであるが、画面を複数のブロックに分割し、ブ
ロック単位でフレーム間の差分を求める構成としてもよ
い。

【００１７】次にカメラワーク検出部１４について説明
する。まず、動きベクトル検出部１５の動作を説明す
る。図５は、検出する動きベクトルの画面内での位置を
説明するための図である。図５(a)は、全画面で水平、
垂直方向にＭ，Ｎ本の直線を格子状に配列した図であ
り、Ｍ・Ｎ個の交点は検出すべき動きベクトルの位置を
示している。以下Ｍ・Ｎ個の交点を格子点と呼び、水
平、垂直方向で各々ｉ，ｊ番目の格子点を、格子点（ｉ，ｊ）（１≦ｉ≦Ｍ，１≦ｊ≦Ｎ）と呼ぶ。

【００１８】この比較例において格子点位置での動きベ
クトルは、各格子点の周辺で複数の代表点を選び、代表
点マッチングにより求める。図５(b)は、図５(a)の格子
点（ｉ，ｊ）近傍を拡大した図であり、格子点とその周
辺の(2・m+1)・(2・n+1)個の代表点の位置関係を示す。以
下、格子点（ｉ，ｊ）の代表点のうち、水平、垂直方向
にそれぞれｋ，ｌ番目のものを、代表点（ｉ，ｊ，ｋ，
ｌ）（-m≦ｋ≦m，-n≦ｌ≦n）と呼ぶ。図５(b)からわ
かるように、代表点（ｉ，ｊ，０，０）は格子点（ｉ，
ｊ）に等しい。

【００１９】以下に、動きベクトル検出部１５の具体的
なブロック図を示した図６を用いて、動きベクトルを求
める方法を説明する。

【００２０】動きベクトル検出部１５の入力は映像信号
であり、ｒフレームに１回（ｒ：所定数）入力されるよ
うに設定されているとする。ここで、ある時刻ｔの画像
を第０フレーム目の画像とし、以後、時刻（ｔ＋τ）の
画像を第（３０・τ）フレーム目の画像と呼ぶことにす
る。

【００２１】今、第Ｒフレーム目の画像が入力されたも
のとする。入力画像はまず、ＢＰＦ２３においてバンド
パスフィルタに通される。ここで座標位置（ｘ，ｙ）で
のＢＰＦ処理後の画像の値をＩ（ｘ，ｙ）とする。

【００２２】一方、代表点値記憶部２４は、ｒフレーム
前すなわち第（Ｒ−ｒ）フレーム目のＢＰＦ処理後の画
像の代表点の値が記憶されている。すなわち、代表点
（ｉ，ｊ，ｋ，ｌ）の値Ｙ(i,j,k,l)＝Ｉ(pos_x(i,k)，pos_y(j,l)) 1≦i≦M,1≦j≦N,-m≦k≦m,ーn≦l≦n pos_x(i,k)：代表点(i,j,k,l)のｘ座標 pos_y(i,k)：代表点(i,j,k,l)のｙ座標が記憶される。

【００２３】マッチング部２５は、ＢＰＦ２３からＢＰ
Ｆ処理後の画像Ｉ（ｘ，ｙ）を、代表点値記憶部２４か
らｒフレーム前の代表点の値Ｙ(i,j,k,l)を入力し、代
表点マッチングにより各格子点での動きベクトルを求め
る。すなわち、格子点（ｉ，ｊ）に関して、

【００２４】

【数１】

【００２５】が最小となるg,hを(2・Ｇ)・(2・Ｈ)の範囲内
（−Ｇ≦ｇ≦Ｇ，−Ｈ≦ｈ≦Ｈ）で探索することによ
り、動きベクトル(g,h)が求まる。

【００２６】代表点値記憶部２４の内容は、マッチング
部２５の処理が終了した後、更新される。具体的には、
代表点位置記憶部２６において記憶されている代表点の
座標 pos_x(i,j,k,l)、pos_y(i,j,k,l) 1≦i≦M,1≦j≦N,-m≦k≦m,ーn≦l≦n を用いて、第Ｒフレーム目のＢＰＦ処理後の画像の代表
点での値を記録する。

【００２７】以上のようにして、入力された画像とｒフ
レーム前の画像の２枚の画像から動きベクトルを求める
ことができる。

【００２８】次に、カメラワークパラメタ推定部１６に
おいて、動きベクトルからカメラワークパラメタを推定
する方法を説明する。

【００２９】動画像から推定できるカメラワークは、カ
メラの水平、垂直方向の変化（パンニング、チルティン
グ）、カメラ画角の変化（ズーミング）、カメラの水平
・垂直・前後の位置の変化（トラッキング、ブーミン
グ、ドリーイング）などが考えられる。本実施例では簡
単のため、パンニング、チルティング、ズーミングの３
種類の操作を推定する方法を説明する。

【００３０】まず、上記３種類のカメラワークによっ
て、カメラの撮像面に投影された点がどのように移動す
るか考える。図７はカメラの撮像面と被写体の位置関係
を示す図であり、カメラの空間の３次元座標を(x,y,z)
で表し、撮像面上の２次元座標を（Ｘ，Ｙ）で表してい
る。また、カメラの位置を３次元座標の原点とし、カメ
ラの光軸をｚ軸とする。撮像面はｚ＝Ｆ（Ｆ：焦点距
離）に位置し、被写体の任意の点の座標ｕ1＝（ｘ1，ｙ
1，ｚ1）が撮像面のＵ1＝（Ｘ1，Ｙ1）に投影されるこ
とを示している。ここで被写体の座標と撮像面上の座標
との関係は、

【００３１】

【数２】

【００３２】で表せる。図７の座標を用いて、まずズー
ミングによる、被写体の座標の撮像面上の移動を考え
る。図８(a)は、焦点距離の変化によって起こるズーミ
ングを示したものである。同図のように焦点距離がＦか
らＦ’に変化したとき、ｕ1の被写体の投影がＵ1＝（Ｘ
1，Ｙ1）からＵ2＝（Ｘ2，Ｙ2）に移動する。

【００３３】ただし、（数２）からＵ2はＵ2＝Ｕ1・Ｆ’／Ｆ＝ｆ・Ｕ1 ただし、ｆ＝Ｆ’／Ｆを満たす。

【００３４】同様にして図８(b)を用いてパンニング、
チルティングの場合を考える。パンニング、チルティン
グはそれぞれカメラをｙ軸、ｘ軸について回転する操作
に等しい。同図のようにカメラがｘ軸についてθxだけ
回転した場合、被写体の空間での座標ｕ1はｕ3に移動す
る。ただし、ｕ3は（数３）をみたす。

【００３５】

【数３】

【００３６】ｘに関する回転角θxが十分小さいと仮定
すると、移動後の撮像面上の座標Ｕ3＝（Ｘ3,Ｙ3）に対
して（数２）の関係からＸ3＝Ｘ1、Ｙ3＝Ｙ1＋Ｆ・θx の関係が導かれる。これを一般化すると、ｘ軸、ｙ軸に
対してともに回転するカメラ操作の場合、任意の座標の
操作前後の関係はＵ3＝Ｕ1＋Ｐただし、Ｐ＝（ｐx，ｐy）ｐx、ｐy：ｘ軸、ｙ軸の回転成分と表すことができる。

【００３７】以上のことからズーミング、パンニング、
チルティングを合成した一般的なカメラ操作に対して、
カメラ操作前後の座標Ｕ1＝（Ｘ1，Ｙ1）、Ｕ’＝
（Ｘ’，Ｙ’）はＵ’＝ｆ・Ｕ＋Ｐを満たすことがわかる。以後ｆをズーム要素、Ｐを回転
ベクトルと呼ぶ。

【００３８】従って、ズーム要素と回転ベクトルを求め
ることにより、カメラの操作量を推定することができる
ことがわかる。

【００３９】以下に、動きベクトル検出部１５で求めた
動きベクトルから、ズーム要素と回転ベクトルを推定す
る方法を説明する。ここで、格子点（ｉ，ｊ）に関し
て、位置（２次元座標）をＵi,j、動きベクトル検出部
１５で求められた動きベクトルをｖi,jとする。

【００４０】今、ズーム要素ｆ、回転ベクトルＰのカメ
ラ操作が起こったとき、格子点（ｉ，ｊ）はＵ’i,j（ｆ，Ｐ）＝ｆ・Ｕi,j ＋Ｐの位置に移動するはずである。従って実際に起こったカ
メラ操作のｆ、Ｐを推定するには、実際に移動した位置Ｕ^reali,j＝Ｕi,j＋ｖi,j との誤差Ｅ（ｆ，Ｐ）＝Σ（Ｕ’i,j（ｆ，Ｐ）−Ｕ^reali,j）² が最小になるようなｆ、Ｐを求めればよい。誤差Ｅは
ｆ、Ｐに関して２次式なので、誤差Ｅを最小とするｆ、
Ｐは一意に

【００４１】

【数４】

【００４２】と決まる。ただし、＜・，・＞は内積を示
す。従って、カメラワークパラメタ推定部１６では、動
きベクトル検出部１５から動きベクトルｖi,jと格子点
位置Ｕi,jを入力し、（数４）によってｆ,Ｐを計算する
ことにより、ズーミング、パンニング、チルティングの
各カメラワークパラメタを推定することができる。

【００４３】次に被写体情報検出部１７の動作について
説明する。被写体情報検出部１７はビデオカメラで被写
体をトラッキングしている状態において、被写体の位置
や大きさ、色などの被写体情報を抽出するものである。
すなわち、カメラワーク検出部１４でパンニングを検出
し、さらに動領域検出部１８で動領域を検出できた場合
に対して、領域内特徴量抽出部１９で動領域から領域内
の特徴量を抽出する。動領域検出部１８における動作を
さらに詳述する。

【００４４】動領域検出部１８には、動きベクトル検出
部１５で検出した画面内のＭ・Ｎ個の格子点の動きベク
トルｖi,jと、カメラワーク検出部１４で検出したパン
ニングによるカメラの動きベクトルＶp が入力される。
動領域検出部１８では、（数５）を満たす格子点を抽出
し、抽出した格子点の連結関係にもとづいて、パンニン
グ

【００４５】

【数５】

【００４６】によるカメラの動きベクトルとは異なる領
域を抽出する。領域内特徴量抽出部１９では、動領域検
出部１８で検出した動領域から領域内の特徴量として、
重心位置と面積と色を抽出する。

【００４７】次にフォーカス情報検出部２０の動作につ
いて説明する。フォーカス情報検出部２０は画像のピン
ボケ状態を検出するためのもので、画像の高周波成分の
量をもとにしている。すなわち、画像がレンズの焦点ず
れなどでぼけた状態では映像信号の高周波成分の値が小
さくなる。このため、高域通過フィルタ２１で画像の高
周波成分を取り出し、平均値算出部２２で画面全体、も
しくは指定領域内での高周波成分の平均値を求める構成
としている。

【００４８】以上のようにして映像信号を処理すること
によって、代表画像を抽出するための情報を獲得するこ
とができる。本実施例ではγ補正値、色温度、逆光や過
順光状態、被写体光量などについては記載しなかった
が、これらの情報も映像信号を処理することによって獲
得することができる。代表画像を抽出するための情報を
獲得した後、獲得した情報をもとに代表画像を抽出する
構成と手法については静止画像抽出装置の第１の実施例
と同様であり、説明は省略する。

【００４９】以上説明した代表画像抽出情報を獲得する
装置は、動画像記録媒体に代表画像を抽出するための情
報が存在しない場合に、動画像記録媒体から読み込んだ
映像信号をもとにして代表画像抽出情報を獲得するもの
であったが、同様にしてビデオカメラで撮影中に、撮像
素子から取り込んだ映像信号をもとにして代表画像抽出
情報を獲得することもできる。この場合の構成は図３と
同様であり説明は省略するが、ビデオカメラに備えたセ
ンサーによって検出可能な代表画像抽出情報が存在する
場合は、映像信号から代表画像抽出情報を獲得する必要
がないことはいうまでもない。さらに、ビデオカメラで
撮影中に獲得した代表画像抽出情報は、映像信号ととも
に動画像記録媒体に記録してもよい。

【００５０】次に本発明の動画像記録装置の実施例の構
成を図９に示す。本実施例はビデオカメラに静止画像抽
出装置を備えた構成であり、ビデオカメラで撮影中に代
表画像として抽出する静止画像を決定し、動画像記録媒
体に映像信号を記録するとともに抽出する静止画像の情
報を記録するものである。図９で本発明の動画像記録装
置２７は、カメラ操作情報獲得部２８、画像処理情報獲
得部２９、撮影状態情報獲得部３０、映像信号獲得部３
１、代表画像抽出情報評価部３２、静止画像情報記録部
３３、映像信号記録部３４からなる。以上の構成におけ
る各部の動作について以下で詳細に説明する。

【００５１】カメラ操作情報獲得部２８は、ビデオカメ
ラで撮影した際の録画開始操作やズーム操作などの情報
を獲得する部分である。録画開始操作情報は録画開始操
作が行われた時点にフラグを立てて録画開始点を示す情
報であり、ズーム操作情報はズーム倍率を表す情報であ
る。録画開始操作情報もズーム操作情報もともに、ビデ
オカメラのボタン操作をもとに検出する。画像処理情報
獲得部２９は、撮像素子で撮像した映像信号を処理した
情報を獲得する部分で、例えばフォーカス制御を行うた
めに求めた映像信号の高周波成分の周波数や大きさ、あ
るいはフレーム間における輝度信号や色信号の差異を求
めたフレーム間差分値、あるいは映像信号から求めた被
写体領域の位置や大きさなどの情報、逆光や過順光の状
態、さらにはγ補正値や色温度などを抽出する。撮影状
態情報獲得部３０は、カメラの撮影状態をセンサーで検
出した情報を獲得する部分で、例えば角速度センサーに
よって検出したパンニングなどのカメラの動き情報、あ
るいは光量センサーによる被写体光量や絞り開度センサ
ーで検出したレンズの絞り開度、あるいはレンズ位置検
出によるフォーカス距離などを獲得する。

【００５２】代表画像抽出情報評価部３２は、カメラ操
作情報に含まれる録画開始操作情報を検出し、次の録画
開始操作情報を検出するまでの同一カット内の各画像に
対して、カメラ操作情報の中の録画開始操作情報以外の
情報と画像処理情報と撮影状態情報をもとに、各画像が
カットの代表画像として適当な画像であるかどうかの評
価を行う。代表画像として適当であると評価された画像
に関して、静止画像情報記録部３３を介して静止画像情
報を記録媒体３５の静止画像情報記録媒体に記録する。
なお、代表画像抽出情報評価部３２の動作については、
後述の静止画像自動抽出方式の実施例で詳細に説明す
る。

【００５３】以下では、静止画像情報記録部３３で記録
する静止画像情報についてさらに説明する。静止画像情
報とは、代表画像抽出情報評価部３２で代表画像として
適当であると評価された静止画像そのもの、あるいは縮
小などの画像処理したもの、あるいは静止画像に対応す
る動画像記録媒体上の格納位置情報、あるいは静止画像
に対応する動画像に付与したフラグなどである。

【００５４】静止画像情報が静止画像そのもの、あるい
は縮小した画像の場合は、映像信号獲得部３１と映像信
号記録部３４によってカメラで撮影した動画像を記録す
る動画像記録媒体上の記録位置とは異なる位置、あるい
は動画像を記録する動画像記録媒体とは異なる記録媒体
に静止画像情報である画像を記録する。たとえば動画像
記録媒体がビデオテープの場合は、静止画像情報の画像
だけをまとめてテープの先頭部分、もしくはテープの終
端部分に記録するか、あるいはテープとは別に備えたＩ
Ｃメモリに静止画像情報だけを記録する。

【００５５】静止画像情報が静止画像に対応する動画像
記録媒体上の格納位置情報の場合は、映像信号獲得部３
１と映像信号記録部３４によってカメラで撮影した動画
像を記録する動画像記録媒体上の記録位置とは異なる位
置、あるいは動画像を記録する動画像記録媒体とは異な
る記録媒体に、静止画像情報である静止画像に対応する
動画像記録媒体上の格納位置情報を記録する。

【００５６】静止画像情報が静止画像に対応する動画像
に付与したフラグの場合は、映像信号獲得部３１と映像
信号記録部３４によってカメラで撮影した動画像を記録
する動画像記録媒体上の記録位置と同じ位置に静止画像
情報を記録する。すなわち、たとえば１フレーム単位で
記録する映像信号の先頭部分に静止画像情報のフラグを
記録する。

【００５７】以上のようにしてビデオカメラで撮影した
映像信号を動画像記録媒体に記録するとともに、撮影し
た動画像の中から代表画像を抽出し、代表画像の静止画
像情報を記録媒体に記録する。これによって記録された
静止画像情報を読みだして代表画像をディスプレイやプ
リンタに出力することが可能となる。

【００５８】次に本発明における静止画像自動抽出方法
の実施例を説明する。静止画像自動抽出方式は、図２の
代表画像抽出情報評価部６および図９の代表画像抽出情
報評価部３２における処理方法である。

【００５９】本発明の静止画像自動抽出方法は、録画開
始操作をしてから録画終了操作をするまでの間に連続し
て撮影された動画像の中から、代表的な画像を静止画像
として自動的に抽出するものである。ここで代表的な画
像とは、撮影者の意図、撮影された画像の状態、被写体
の状態をもとに評価して選びだした画像をいう。

【００６０】撮影者の意図は、ズームやパンなどのカメ
ラワークに反映される。すなわち、ズームインしている
ときは、注目している被写体が画面に存在する場合であ
り、重要な画像と考えられる。また、パンしているとき
は、ある場面から別の場面に移動している最中であり、
重要ではないと考えられる。さらに、パンしている場合
でも、トラッキングしている被写体が存在する場合は、
重要であると考えられる。このようにカメラワークから
撮影者の意図を推定し、重要な部分を代表画像として抽
出することが望ましい。

【００６１】撮影された画像の状態とは、撮影時にフォ
ーカス制御がうまく行われていない場合のぼけた画像状
態や、アイリス制御が不適切な場合の過順光や逆光の状
態、さらにはγ補正が不適切な場合などの状態、あるい
は絞りやフォーカスの調整中の状態などをいう。これら
の画像状態は、ビデオカメラでの撮影時におけるフォー
カス制御やアイリス制御の情報、あるいはγ補正値をも
とに判断することができる。また、フォーカス制御やア
イリス制御、γ補正の情報がない場合であっても、映像
信号を処理することによって求めることが可能である。
これらの画像状態を評価して、代表画像としては画像状
態が良好なものを抽出することが望ましい。

【００６２】被写体の状態とは、撮影している被写体の
位置や大きさなどの状態、撮影中にカメラの前を人が横
切った場合などの障害物の存在状況、撮影中にフラッシ
ュが光った場合などの状態、被写体にスポットライトが
照射されている状態などをいう。被写体の位置や大きさ
に関しては、位置がカメラの中央で面積が大きいほうが
望ましく、障害物は存在しない方が望ましい。また、フ
ラッシュが光った場合の画像は代表画像として抽出しな
い方が望ましい。また、スポットライトが照射されてい
る画像は注目画像であり、代表画像として抽出すること
が望ましい。ここで、被写体の位置や面積の検出方法に
関しては第３の実施例において図３の被写体情報検出部
１７で説明している。また、フラッシュや障害物の検出
方法に関しては、図３のフレーム間差分値検出部１０で
求めたフレーム間差分値をもとに検出可能である。すな
わち、フラッシュはフレーム間差分値が急変するため、
所定のしきい値をもとに検出できる。障害物の場合は、
画面の中に障害物が入るときと画面から障害物が出ると
きにフレーム間差分値が変化するため、フレーム間差分
値が所定のしきい値を越えてから、所定の時間内に再び
フレーム間差分値がしきい値を越える場合は、障害物が
画面内に存在するとして検出できる。また、スポットラ
イトの照射は、被写体光量をもとに検出することができ
る。

【００６３】以上のような代表画像を抽出するための知
識に基づいて、以下では具体的な代表画像の抽出手法を
説明する。本実施例の構成例を図１０に示す。図１０で
３６は重み付け加算部、３７はゲート信号発生部、３８
はゲート部、３９は最大値検出部である。重み付け加算
部３６にはズーム倍率と被写体情報が入力され、それぞ
れの信号に重みを付けて加算する。ここで、被写体情報
はカメラで被写体をトラッキングしているときに得られ
る情報で、トラッキング時の被写体の位置と大きさをも
とにしている。被写体情報は、被写体位置がカメラの中
心に近いほど、また被写体の面積が大きいほど大きな値
になるようにする。ゲート部３８は、ゲート信号発生部
３７のゲート信号をもとにスイッチのオン、オフを行
う。最大値検出部３９は、ゲート部３８から入力される
値の最大値を検出する。

【００６４】ゲート信号発生部３７は、パン信号と映像
信号の高周波成分値とフレーム間差分値などをもとにゲ
ート信号を発生する。ゲート信号の発生方法を図１１に
示す。図１１（ａ）はパン信号で、パンニング中が０
で、パンしていないときが１となる信号である。（ｂ）
は映像信号の高周波成分値であり、値が小さいほど画像
がぼけた状態であることを意味する。（ｃ）は（ｂ）の
信号をしきい値処理して２値化したものであり、しきい
値以下の場合は０にしている。。（ｄ）はフレーム間差
分値である。（ｅ）は（ｄ）の信号をしきい値処理し、
しきい値以上の場合は０にし、さらに（ｄ）の信号がし
きい値を越えてから所定時間内に再びしきい値を越えた
場合は、０と０の間の区間も０にする処理を行う。すな
わち、単独でフレーム間差分値が大きくなる場合は、フ
ラッシュなどによる画像異常が発生したものと判断し、
フレーム間差分値がしきい値以上である期間だけ０にす
る。しかし、前述したように障害物がカメラの前を通過
する場合には、フレーム間差分値は複数のピークをとる
ため、障害物が画面の中に存在する期間はフレーム間差
分値がしきい値以下であっても０にする。以上のように
して２値化した（ａ）（ｃ）（ｅ）の３信号の論理積を
とることによって、ゲート信号を発生する。

【００６５】以上のようにして図１０で示した構成で評
価値が最大値となる画像を求めることによって、パンし
ている期間や画像がぼけた期間、さらにフラッシュや障
害物が存在する期間を除いた中から、ズーム倍率が高
く、被写体が画面中央に大きく写っている画像を代表画
像として抽出することができる。なお、最大値検出部３
９で最大値を検出するのは、１カット全体であっても、
または１カット内の複数の区間であってもよい。

【００６６】なお、図１０では重み付け加算部３６とゲ
ート信号発生部３７とゲート部３８の構成によって複数
の入力からひとつの評価値を求めているが、この構成に
限ったものではなく、ファジィ推論などのルールに基づ
いたものや、ニューラルネットワークによって求める構
成も可能である。さらに、本実施例の構成にはγ補正値
や被写体光量、逆光や過順光状態、絞り開度、フォーカ
ス距離に関する情報の処理を示さなかったが、これらの
信号も同様にして利用することができる。すなわち、γ
補正値や絞り開度やフォーカス距離の値が変動している
とき、また逆光や過順光状態のときには代表画像として
抽出しないようにゲート信号を発生させてもよい。ま
た、被写体光量からスポットライトが照射されているこ
とを検出して評価値を高くするようにしてもよい。

【００６７】以上説明した静止画像自動抽出方式の実施
例の構成は、撮影者が撮影開始操作をしてから撮影終了
操作をするまでの間に撮影された動画像のすべてに対し
て評価を行って代表画像を抽出しているが、撮影者が撮
影開始操作をしてから所定時間経過後の画像から評価を
行い、所定の条件を満足した時点の画像を代表画像とし
て抽出する構成でもよい。以下ではこの構成の実施例に
ついて説明する。

【００６８】本実施例の構成を図１２に示す。図１２で
４０はタイマー、４１はゲート部、４２は評価部であ
る。タイマー４０は、撮影開始操作が行われてからの経
過時間を測定し、撮影開始から一定時間が経過した時点
でゲート部４１のゲートを開くようにゲート信号を発生
する。評価部４２はゲート部４１を通過したフォーカス
の高周波成分値と、フレーム間差分値が条件を満足して
いるかどうかの評価を行う。評価部４２での条件は、フ
ォーカスの高周波成分値が所定のしきい値以上で、かつ
フレーム間差分値が所定のしきい値以下であるという条
件である。評価部４２では条件が満足された時点でそれ
以降の評価を中止し、条件が満足された時点の静止画像
を代表画像として抽出する。なお、本実施例では評価に
用いた信号はフォーカスの高周波成分値とフレーム間差
分値のふたつだけであるが、パンやズームなどの他の信
号を用いてもよい。

【００６９】さらに静止画像自動抽出方式の別の実施例
の構成を説明する。本実施例の構成を図１３に示し、図
１２と同一のものには同一番号を付け説明は省略する。
本実施例は、撮影開始操作から撮影終了操作までの間に
撮影された画像の数に一定比率を乗じた画像数から評価
を行い、所定の条件を満足した時点の画像を代表画像と
して抽出するものである。図１３の構成では撮影開始操
作から撮影終了操作までの間に撮影された画像に対し、
中間フレーム以降の画像を評価するものである。このた
めに中間フレーム検出部４３において、撮影開始操作か
ら撮影終了操作までに撮影されたフレームの中間フレー
ムを検出し、中間フレームを検出した時点でゲート部４
１のゲートを開くようにゲート信号を発生する。ゲート
部４１および評価部４２の動作は図１２の構成と同様で
あり、説明は省略する。

【００７０】

【００７１】

【発明の効果】本発明の静止画像抽出装置は画像抽出情
報をもとにして、動画像の中から動画像の内容を十分に
表現する静止画像を代表画像として抽出することが可能
となり、動画像の内容を短時間で把握することができ
る。

【００７２】さらに、本発明の動画像記録装置はカメラ
で撮影した映像信号を動画像記録媒体に記録するととも
に、撮影した動画像の中から代表画像を抽出し、代表画
像の静止画像情報を記録媒体に記録することによって、
記録された静止画像情報を読みだして代表画像をディス
プレイやプリンタに高速に出力することが可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例における動画像記録媒体を示
す図

【図２】本発明の実施例の静止画像抽出装置の構成を示
す図

【図３】本発明の比較例の静止画像抽出装置における代
表画像情報抽出装置の構成を示す図

【図４】同比較例の静止画像自動抽出装置におけるフレ
ーム間差分値検出部の他の構成を示すブロック図

【図５】同比較例の静止画像自動抽出装置における動き
ベクトル検出部における動きベクトルを検出する格子点
を説明する図

【図６】同比較例の静止画像自動抽出装置における動き
ベクトル検出部の構成を示す図

【図７】カメラの撮像面と被写体の位置関係を示す図

【図８】ズーミングとチルティングでのカメラの撮像面
と被写体の位置関係を示す図

【図９】本発明の実施例の動画像記録装置の構成を示す
図

【図１０】同実施例における代表画像抽出情報評価部の
構成を示す図

【図１１】同代表画像抽出情報評価部におけるゲート信
号発生部の動作を説明する図

【図１２】同代表画像抽出情報評価部の異なる構成図

【図１３】同代表画像抽出情報評価部の異なる構成図

【符号の説明】

１再生信号入力部２、２８カメラ操作情報獲得部３、２９画像処理情報獲得部４、３０撮影状態情報獲得部５、３１映像信号獲得部６、３２代表画像抽出情報評価部７代表画像管理部８代表画像記憶部９出力装置３３静止画像情報記録部３６重み付け加算部３７ゲート信号発生部３８、４１ゲート部３９最大値検出部４０タイマー４２評価部４３中間フレーム検出部

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開平２−151188（ＪＰ，Ａ) 特開平６−217254（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/76 - 5/956 H04N 5/225 - 5/243

Claims

(57)【特許請求の範囲】

【請求項１】動画像を撮影する際に撮影者がカメラを操
作したカメラ操作情報を取り込むカメラ操作情報獲得手
段と、撮像した画像を処理して得られた画像処理情報を
取り込む画像処理情報獲得手段と、センサーからの信号
を処理して得られた撮影中の撮影状態情報を取り込む撮
影状態情報獲得手段と、撮影者が撮影開始操作をしてか
ら撮影終了操作をするまでの間に撮影された動画像の中
から少なくとも１枚の静止画像を抽出する静止画像抽出
手段を備え、前記画像処理情報獲得手段からの画像処理
情報と前記撮影状態情報獲得手段からの撮影状態情報の
少なくとも一つの情報と前記カメラ操作情報獲得手段か
らのカメラ操作情報をもとにして前記静止画像抽出手段
で静止画像を抽出することを特徴とする静止画像抽出装
置。
【請求項２】動画像を撮影する際に撮影者がカメラを操
作したカメラ操作情報を取り込むカメラ操作情報獲得手
段と、撮像した画像を処理して得られた画像処理情報を
取り込む画像処理情報獲得手段と、センサーからの信号
を処理して得られた撮影中の撮影状態情報を取り込む撮
影状態情報獲得手段と、撮影者が撮影開始操作をしてか
ら撮影終了操作をするまでの間に撮影された動画像の中
から少なくとも１枚の静止画像を抽出する静止画像抽出
手段と、静止画像の情報を記録する静止画像情報記録手
段を備え、撮像装置で撮像した動画像を動画像記録媒体
に記録するとともに、前記画像処理情報獲得手段からの
画像処理情報と前記撮影状態情報獲得手段からの撮影状
態情報の少なくとも一つの情報と前記カメラ操作情報獲
得手段からのカメラ操作情報をもとにして前記静止画像
抽出手段で静止画像を抽出し、抽出した静止画像の情報
を記録することを特徴とする動画像記録装置。
【請求項３】撮影者が撮影開始操作をしてから撮影終了
操作をするまでの間に撮影された動画像の中から少なく
とも１枚の静止画像を抽出するために、撮像した画像を
処理して得られた画像処理情報とセンサーからの信号を
処理して得られた撮影中の撮影状態情報の少なくとも一
つの情報と撮像装置のズームや撮影開始操作などのカメ
ラ操作情報を入力とし、静止画像抽出知識にもとづいて
各画像についての評価値を求め、評価値が高い画像を抽
出することを特徴とする静止画像自動抽出方法。
【請求項４】撮影者が撮影開始操作をしてから撮影終了
操作をするまでの間に撮影された動画像の中から少なく
とも１枚の静止画像を抽出するために、一定条件を満足
する画像に対して、撮像装置のカメラ操作情報と撮像し
た画像を処理して得られた画像処理情報とセンサーから
の信号を処理して得られた撮影中の撮影状態情報の少な
くとも一つを入力とし、前記カメラ操作情報と前記画像
処理情報と前記撮影状態情報が所定の抽出条件を満足し
た画像を抽出することを特徴とする静止画像自動抽出方
法。
【請求項５】撮影者が撮影開始操作をしてから撮影終了
操作をするまでの間に撮影された動画像の中から少なく
とも１枚の静止画像を抽出するために、撮影開始操作か
ら一定時間経過後の画像に対して、撮像装置のズームな
どのカメラ操作情報と撮像した画像を処理して得られた
画像処理情報とセンサーからの信号を処理して得られた
撮影中の撮影状態情報の少なくとも一つを入力とし、前
記カメラ操作情報と前記画像処理情報と前記撮影状態情
報が所定の条件を満足した画像を抽出することを特徴と
する請求項４記載の静止画像自動抽出方法。
【請求項６】撮影者が撮影開始操作をしてから撮影終了
操作をするまでの間に撮影された動画像の中から少なく
とも１枚の静止画像を抽出するために、撮影開始操作か
ら撮影終了操作までの間に撮影された画像の数に一定比
率を乗じた画像数以降に撮影された画像に対して、撮像
装置のズームなどのカメラ操作情報と撮像した画像を処
理して得られた画像処理情報とセンサーからの信号を処
理して得られた撮影中の撮影状態情報の少なくとも一つ
を入力とし、前記カメラ操作情報と前記画像処理情報と
前記撮影状態情報が所定の条件を満足した画像を抽出す
ることを特徴とする請求項４記載の静止画像自動抽出方
法。