JP2009010831A

JP2009010831A - 画像解析装置および画像解析方法

Info

Publication number: JP2009010831A
Application number: JP2007171795A
Authority: JP
Inventors: Emi Maruyama; 恵美丸山; Kazuhiro Nakamura; 和弘中村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2007-06-29
Filing date: 2007-06-29
Publication date: 2009-01-15
Also published as: US20090002567A1

Abstract

【課題】画像とシーンチェンジ点のリストとを容易に比較できる機能が付加された画像解析装置および画像解析方法を提供することを目的とする。
【解決手段】シーンチェンジ検出部３が検出したシーンチェンジ点の情報を格納するシーンチェンジ情報格納部４と、この画像データ格納部２に格納された画像データを再生する画像データ再生部６と、この画像解析装置１のシーンチェンジ点の確認支援動作を制御する制御部５と、この制御部５へ操作情報を入力させる操作入力部９と、表示部１０と、音声出力部１１とを備え、再生された画像の再生中のフレームの情報とシーンチェンジ点の情報とが一致すると、表示部１０でシーンチェンジが発生したことを警告する表示とともに音声出力部１１からシーンチェンジが発生したことを警告する音を出力する。
【選択図】図１

Description

本発明は、画像の特徴・内容解析の一つであるシーンチェンジ点の検出に係る画像解析装置および画像解析方法に関する。

非圧縮のディジタル画像データをＭＰＥＧ（ｍｏｖｉｎｇｐｉｃｔｕｒｅｅｘｐｅｒｔｓｇｒｏｕｐ）等の方法により、Ｉピクチャ（ｉｎｔｒａｃｏｄｅｄｐｉｃｔｕｒｅ）、Ｂピクチャ（ｂｉ−ｄｉｒｅｃｔｉｏｎａｌｙｐｒｅｄｉｃｔｉｖｅｃｏｄｅｄｐｉｃｔｕｒｅ）およびＰピクチャ（ｐｒｅｄｉｃｔｉｖｅｃｏｄｅｄｐｉｃｔｕｒｅ）から構成されるＧＯＰ（ｇｒｏｕｐｏｆｐｉｃｔｕｒｅｓ）単位に圧縮符号化して光磁気ディスク（ＭＯディスク；ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌｄｉｓｃ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）、ＨＤＤＶＤ（Ｈｉｇｈ−ＤｅｆｉｎｉｔｉｏｎＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等の記憶媒体に記憶または通信回線で伝送する際には、圧縮符号化後の圧縮画像データのデータ量（ビット量）を、伸長復号後の画像の品質を高く保ちつつ記憶媒体の記憶容量以下または通信回線の伝送容量以下にする必要がある。

非圧縮のディジタル画像データの圧縮符号化処理は、ＭＰＥＧ１やＭＰＥＧ２などの規格によらず、フレーム（１画面）内の画像を離散コサイン変換処理するフレーム内圧縮と、フレーム間の相関を利用して時間軸方向の冗長度を削減するフレーム間圧縮（予測符号化）とから構成されるハイブリッド方式が採用されている。

離散コサイン変換処理は直交変換であり、この直交変換は、入力される標本値を空間周波数成分等の直交成分に変換するものである。これにより空間的な相関成分が削減できる。

フレーム間圧縮は、一般の画像が前後のフレームでよく似ているという性質を利用して、前後のフレームの差分を求め差分値（予測誤差）を符号化することで、圧縮符号化後の圧縮画像データのデータ量（ビット量）を一層低減させる。特に、画像の動きを予測してフレーム間差を求めることにより予測誤差を低減する動き補償フレーム間予測符号化が有効である。

このハイブリッド方式では、所定フレームの画像データをそのまま離散コサイン変換処理して符号化するフレーム内符号化の他に、所定フレームの画像データとこのフレーム前後のフレームの参照画像データとの差分データのみを離散コサイン変換処理して符号化する予測符号化とが採用される。

予測符号化方法としては、時間的に前方向の参照画像データを動き補償して予測誤差を求める前方予測符号化と、時間的に後方向の参照画像データを動き補償して予測誤差を求める後方予測符号化と、符号化効率を考慮して、前方若しくは後方のいずれか一方又は両方向の平均を用いた両方向予測符号化とがある。

フレーム間圧縮モードで符号化されたフレームを復号化するためには参照画像が必要である。すなわち、フレーム間圧縮で符号化されたフレームのみでは元の画像を復元することができない。一方、フレーム内圧縮で符号化されたフレーム（以下、「Ｉピクチャ」という。）はフレーム内の情報のみにより符号化されているので、単独の符号化データのみから復号可能である。

ＭＰＥＧ規格では、このＩピクチャを用いた前方予測符号化によりフレーム間符号化フレーム（以下、「Ｐピクチャ」という。）を得る。なお、Ｐピクチャは前方のＰピクチャを前方予測符号化することによっても得られる。また、前方若しくは後方のいずれか一方又は両方向のＩピクチャ、Ｐピクチャを用いた両方向予測符号化によって両方向予測適応切換フレーム（以下、「Ｂピクチャ」という。）を得る。

非圧縮のディジタル画像データを圧縮符号化する際に、この非圧縮のディジタル画像データの前処理や画像の特徴・内容解析をする場合がある。

前処理の目的は、画像の撮影環境により撮影者の意図なく重畳した画像ノイズやフィルム劣化による画像ノイズを低減し、これら画像ノイズが非圧縮のディジタル画像データに占める情報量を圧縮符号化前に減らすことにある。前処理には、例えば低域通過フィルタがある。

画像の特徴・内容解析としては、例えば非圧縮のディジタル画像データの相関度を解析し、相関度の高いフレームの集まりを１つのシーンとみなすことで符号化効率を向上させる。

ここで、シーンの切り替わりであるシーンチェンジ点では、シーンチェンジ点直前の画像フレームはシーンチェンジ点直後のフレームを用いた予測符号化は必要なく、また、シーンチェンジ点直後のフレームはシーンチェンジ点直前のフレームを用いた予測符号化は必要ない。仮に、シーンチェンジ点を跨いで予測符号化を行うと、相関性の低いフレーム間で予測を行うことになるので、符号化効率が悪くなり、圧縮後のシーンチェンジ点付近の画像には歪が生じるなど画質が劣化する恐れがある。

また、非圧縮のディジタル画像データの圧縮符号化処理において、シーンチェンジ点とＧＯＰの境界とを一致させることが圧縮符号化後の画像の品質を向上し、圧縮符号化の効率を向上することに寄与するため、ディジタル画像データのシーンチェンジ点を検出してリスト化することは重要である。シーンチェンジ点を圧縮符号化処理に反映することで、エンコーダは相関のないフレームをあらかじめ知ることができ、より適切な予測符号化を行うことが可能となり、圧縮符号化歪を減らすことができる。

そこで、非圧縮のディジタル画像データの圧縮符号化処理において、複数のシーンからなる画像を圧縮符号化する際に、シーンチェンジ点を跨いで予測符号化を行わないようにする必要がある。

シーンチェンジ点を検出する方法としては、例えば特許文献１に開示されたように、連続する２フレーム間で画素データ毎に差分を求め、その絶対値の総和が所定のしきい値を超えたときシーンチェンジが発生したと判定する方法がある。

また、特許文献２に開示された検出方法では、画像の動き予測を行い、その予測誤差の絶対値の和を求めて、フレーム毎の予測誤差の絶対値和を複数フレームにわたって平均化した平均値と、個々の予測誤差の絶対値和を比較することにより、シーンチェンジ点が検出される。
特開平０７−１１１６３１号公報特開平０７−１９３８１８号公報

従来のシーンチェンジ検出では、（１）銃撃・爆発シーンなど、フレーム内の変化量が激しい場合、（２）撮影後のスローモーション処理で、同一フレームが連続している場合、（３）シーンチェンジ検出で画像変化量を計測する輝度などのパラメータの変化が小さい場合、などでシーンチェンジ点が誤検出されることがある。このため、従来のシーンチェンジ点の検出では、誤検出の回避は困難であり、正確なシーンチェンジ点を検出するには、シーンチェンジ点の検出後に画像とシーンチェンジ点とを操作者が視認しながら比較して、適宜シーンチェンジ点の補正を行うことが必須である。この結果、操作者にとってシーンチェンジ点の補正時におけるシーンチェンジ点の確認、シーンチェンジ点が誤検出されていた場合の操作は、大変煩わしいものであるという課題があった。

上述の課題を解決するため本発明では、画像とシーンチェンジ点のリストとを容易に比較でき、シーンチェンジ点を容易に補正できる機能が付加された画像解析装置および画像解析方法を提供することを目的とする。

前記の課題を解決するため本発明では、画像データに含まれるシーンチェンジ点をシーンチェンジ点情報リストとして記憶する前記シーンチェンジ点情報リストの格納部と、前記画像データに基づく画像と前記格納部に記憶された前記シーンチェンジ点情報リストとを表示する表示部と、前記画像データの再生時に前記表示部に表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれる前記シーンチェンジ点を通過するか否かを判定する判定部と、前記シーンチェンジ点情報リストに含まれる前記シーンチェンジ点を通過することが前記判定部により判定された場合に、前記表示部でシーンチェンジが発生したことを報知する報知手段とを備えることを特徴とする画像解析装置を提供する。

また、本発明では、シーンチェンジを含む画像について、前記シーンチェンジを検出して前記画像のシーンチェンジ点情報リストを作成する画像解析方法において、前記シーンチェンジを検出する画像データを再生し、前記再生する画像の表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過するか否かを判定し、前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過する場合は、シーンチェンジ点が発生したことを報知することを特徴とする画像解析方法を提供する。

本発明によれば、画像データの圧縮符号化に先立ち、シーンチェンジ点と画像とを容易に比較でき、シーンチェンジ点を容易に補正できる。

本発明に係る画像解析装置および画像解析方法の実施形態について、添付図面を参照して説明する。

図１は本実施形態における画像解析装置の概略を示したブロック図である。

図１に示すように、画像解析装置１は、画像データを格納する画像データ格納部２と、画像データ格納部２に格納された画像データを解析（特徴・内容解析）してシーンチェンジ点を検出するシーンチェンジ検出部３と、シーンチェンジ検出部３が検出したシーンチェンジ点の情報を格納するシーンチェンジ情報格納部４（格納部）と、画像解析装置１のシーンチェンジ点の確認支援動作を制御する制御部５と、画像データ格納部２に格納された画像データを再生する画像データ再生部６と、シーンチェンジ情報格納部４に格納されたシーンチェンジ点の情報の編集制御を行うシーンチェンジ点情報リスト編集部７と、シーンチェンジ情報格納部４に格納されたシーンチェンジ点の情報をシーンチェンジ点情報リストに変換するシーンチェンジ点情報リスト変換部８と、シーンチェンジ検出部３、制御部５およびシーンチェンジ点情報リスト編集部７へ操作情報を入力させる操作入力部９と、表示部１０と、音声出力部１１とを備える。

なお、シーンチェンジ点とは画像におけるシーンの切り替わりであり、シーンチェンジ検出部３による検出とシーンチェンジ点情報リスト編集部７による編集とにより指定される。画像におけるシーンの切り替わりが複数存在する場合は、各シーンに対応するシーンチェンジ点が存在する。

この画像データ格納部２から、シーンチェンジ検出部３または画像データ再生部６からの画像出力要求により格納した画像データを出力する。画像データ格納部２には、例えばＨＤＤやＦＤなどの磁気ディスク記憶装置、磁気テープ記憶装置、半導体メモリ記憶装置が使用される。

圧縮符号化される画像は、ディジタルデータであり、圧縮前の映像ということから原画（原画像）と呼ばれることがある。画像データのフォーマットは、圧縮符号化処理に使用されるエンコーダによりさまざまであるが、共通して定められた順序に画素データが配列されてフレームが構成される。例えばＭＰＥＧ２では、原画像として輝度データと色差データとがそれぞれ８ｂｉｔ幅あり、かつ、輝度データに対して色差データが水平方向および垂直方向に１／２に間引かれた４：２：０フォーマットが利用されている。また、例えばＭＰＥＧ４ＡＶＣでは、画素データの幅は８ｂｉｔから１２ｂｉｔ幅まで許容され、輝度データ、色差データから構成する場合には、４：２：０フォーマットの他に、水平方向のみ１／２に間引いた４：２：２フォーマットや４：４：４フォーマットにも対応している。この１フレーム分の原画像が、例えば２時間（２×６０分×６０秒×２４フレーム）の映画の画像であれば、１７２，８００フレーム分ある。

シーンチェンジ検出部３は、操作入力部９から入力される操作情報に従い、画像データ格納部２に格納された画像データファイルを検索しながら、画像データ格納部２に格納された画像データファイルからシーンチェンジ点を検出してシーンチェンジ点情報リストファイルをシーンチェンジ情報格納部４へ記憶する（シーンチェンジ点の検出動作）。シーンチェンジ検出部３では、フレーム間の相関度を解析し、相関度が激しく変化した点をシーンチェンジ点として検出する。シーンチェンジ点を検出すると、このシーンチェンジ点のフレームのフレーム情報（シーンチェンジ点情報）を、シーンチェンジ情報格納部４へ出力する。シーンチェンジの検出方法には、例えば連続する、あるいは近接するフレーム間の輝度（ＲＧＢフォーマットの場合には、Ｒ、Ｇ、Ｂの各成分から計算される輝度）の変化を統計的な処理により求め、この値がある閾値より大きい場合にシーンチェンジが発生したとする例等が知られる（特許文献１、特許文献２参照）。このため、シーンチェンジ検出部３は、入力された画像に対して１フレーム以上の画像を蓄積する蓄積手段を備える。

ここで、フレーム情報とは、画像データの先頭フレームからの通し番号であるフレーム番号である。画像データには、専用のヘッダが含まれていない限り、フレーム番号は記載されていないが、１フレームあたりの画像データのサイズは解像度とフォーマット（前記の４：２：０や４：４：４など）により一意に決められることから、現在のフレーム数は（現在のフレーム数＝（現在のアドレス−先頭アドレス）÷１フレームあたりのサイズ）から求めることが可能である。一方、フレーム数から、（現在のアドレス＝フレーム数×１フレームあたりのサイズ＋先頭アドレス）と求めることが可能である。この計算を利用して、以後の説明は、画像データに専用のヘッダが含まれていない場合であっても、画像データに含まれるフレーム情報または画像データのフレーム情報と称する。

シーンチェンジ情報格納部４は、シーンチェンジ検出部３からシーンチェンジ点情報が入力され、この入力されたシーンチェンジ点情報を順次記憶する。記憶されるシーンチェンジ点情報は、入力された全シーンチェンジ点情報をデータベースとして使用可能な形式を利用して記憶される。すなわち、シーンチェンジ情報格納部４には、画像の全てのシーンチェンジ点情報がシーンチェンジ点情報リストとして記憶される。

制御部５は、操作入力部９から入力される操作情報に従い、画像データ再生部６とシーンチェンジ情報格納部４と表示部１０と音声出力部１１とを制御して、画像データ再生部６が再生する画像のフレームとシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報リストとを比較・判定し（判定部）、再生する画像のフレームがシーンチェンジ点を通過した場合は表示部１０にシーンチェンジ点報知情報を表示させ、音声出力部１１にシーンチェンジ点報知音を出力させる（シーンチェンジ点の確認支援動作）。

再生する画像のフレームがシーンチェンジ点を通過したか否かの判定は、再生する画像のフレーム情報とシーンチェンジ点情報リストに含まれるシーンチェンジ点（フレーム情報）とを比較して行われる。すなわち、再生する画像のフレーム情報とシーンチェンジ点情報リストに含まれるシーンチェンジ点情報とを比較して、（再生する画像のフレーム情報）≧（シーンチェンジ点情報）となるシーンチェンジ点情報がシーンチェンジ点情報リストに含まれている場合に、再生する画像のフレームがシーンチェンジ点を通過した旨の判定をする。そうすると、再生する画像のフレーム情報とシーンチェンジ点情報リストに含まれるシーンチェンジ点情報が一致しなくとも、シーンチェンジ点情報リストに含まれる任意のシーンチェンジ点より再生する画像のフレーム数が大きくなれば、再生する画像のフレームがシーンチェンジ点を通過したか否かの判定ができる。すなわち、画像の再生は１フレーム毎に行われる必要はなく、任意のフレーム数毎に画像を再生しつつ比較・判定が行える。なお、画像データを終了フレームから開始フレームへ逆再生する場合は、（再生する画像のフレーム情報）≦（シーンチェンジ点情報）となるか否かを判定することで逆再生する画像のフレームがシーンチェンジ点を通過したか否かの判定をすることができる。

制御部５は、操作入力部９から入力された再生操作入力（フレーム情報またはタイムコード情報）に従い、次に表示部１０で表示させる画像のフレーム情報を加算または減算して求めて画像データ再生部６へ出力する次フレーム情報算出部１４と、次フレーム情報加減算部１４が算出した次フレームがシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報リストに含まれるシーンチェンジ点を通過するか否かを比較・判定して表示部１０へ出力するフレーム情報／シーンチェンジ点情報比較・判定部１５と、次フレーム情報加減算部１４が算出した次フレームのフレーム情報をタイムコード情報に変換して表示部１０へ出力するフレーム情報／タイムコード情報変換部１６とを備える。

画像データ再生部６は、制御部５から出力されたフレーム情報に基づき画像データ格納部２に格納された画像データから再生する画像の１フレームを取得して表示部１０へ出力する。すなわち、画像データ再生部６により再生される画像は、１フレーム毎に再生される必要はなく、所望のフレーム間隔で画像を再生することができる。例えば制御部５から出力されたフレーム情報が「Ｎフレーム前へジャンプ」する情報の場合は、Ｎフレーム分に相当する画像のサイズを計算して、表示部１０で表示中のフレームのアドレスからＮフレーム分に相当する画像のサイズ分を減算したアドレスを求め、このアドレスに存在する１フレーム分の画像データを取得する。

シーンチェンジ点情報リスト編集部７は、操作入力部９から入力される操作情報に従い、シーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報を追加、削除または変更などの編集を行う。（シーンチェンジ点の編集動作）。

シーンチェンジ点情報リスト変換部８は、シーンチェンジ情報格納部４にフレーム情報で記憶された全てのシーンチェンジ点情報をタイムコード情報へ変換し、シーンチェンジ点情報リストを作成して表示部１０へ出力する。

なお、シーンチェンジ検出部３、制御部５、画像データ再生部６、シーンチェンジ点情報リスト編集部７、シーンチェンジ点情報リスト変換部８は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）およびＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などからなり、ＣＰＵは、ＲＯＭに記憶されているプログラムまたはＲＡＭにロードされた各種のアプリケーションプログラムに従って各種の処理を実行するとともに、種々の制御信号を生成し、各部に供給することにより画像解析装置１を統括的に制御する。ＲＡＭは、ＣＰＵが各種の処理を実行する上において必要なデータなどを適宜記憶する。

操作入力部９では、マウス、キーボード、タッチパネルなどの入力デバイスから、操作者による操作情報を制御部５へ入力させる。

操作入力部９は、画像データ格納部２とシーンチェンジ情報格納部４とが格納されている場所をシーンチェンジ検出部３、制御部５、画像データ再生部６、シーンチェンジ点情報リスト編集部７およびシーンチェンジ点情報リスト変換部８へ指定する情報格納場所指定部２１と、シーンチェンジ検出部３にシーンチェンジ点の検出動作の実行を開始させるシーンチェンジ検出実行部２２と、制御部５へ再生操作（フレーム情報またはタイムコード情報）を出力する画像操作部２３と、所望のタイムコード情報を指示して制御部５へ入力するタイムコード情報入力部２４と、シーンチェンジ点情報リスト変換部８から出力されたシーンチェンジ点情報リストを表示し、この表示中のシーンチェンジ点情報リストから所望に選択された任意のシーンチェンジ点情報のタイムコード情報を制御部５へ入力するシーンチェンジ点情報選択部２５と、シーンチェンジ点情報リスト編集部７へシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報を追加、削除または変更などの編集操作を出力するシーンチェンジ点操作部２６と、画像データの基本情報を入力する基本情報入力部２７とを備える。

表示部１０は、シーンチェンジ検出部３がシーンチェンジ点の検出動作を実行する際に進捗の状況を表示するシーンチェンジ検出進捗表示部３１と、画像データ再生部６が表示する画像のフレーム情報がシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報リストに含まれるシーンチェンジ点を通過する場合にシーンチェンジ点報知情報を表示するシーンチェンジ点報知情報部３２と、画像データ再生部６が表示する画像のフレームのタイムコード情報を表示するタイムコード情報表示部３３と、画像データ再生部６から出力された画像のフレームを表示する画像再生表示部３４と、シーンチェンジ点情報リスト変換部８から出力されたシーンチェンジ点情報リストを表示するシーンチェンジ点情報リスト表示部３５とを備える。

音声出力部１１では、制御部５からの音声出力要求によりシーンチェンジ点報知音とを出力する。

なお、本実施形態における画像解析装置１の表示部１０に表示中の画像のフレーム情報がシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報リストに含まれるシーンチェンジ点を通過した旨のシーンチェンジ点報知は、視覚情報としてのシーンチェンジ点報知情報や聴覚情報としてのシーンチェンジ点報知音の他に、操作者へ振動を励起する装置や電気パルスを発生する装置などにより触覚情報や他の感覚器官（臭覚、味覚）へシーンチェンジ点報知を行うものであっても良い。

図２は本実施形態における画像解析装置１の操作入力部９および表示部１０の一例を示した概念図である。

図２に示すように、画面４０には、情報格納場所指定部２１と、シーンチェンジ検出実行部２２と、画像操作部２３と、タイムコード情報入力部２４と、シーンチェンジ点情報選択部２５と、シーンチェンジ点操作部２６と、基本情報入力部２７とが表示される。ディスプレイの画面４０上で操作し入力された操作情報が操作入力部９から制御部５へ入力される。

また、図２に示すように、画面４０には、シーンチェンジ検出進捗表示部３１と、シーンチェンジ点報知情報部３２と、タイムコード情報表示部３３と、画像再生表示部３４と、シーンチェンジ点情報リスト表示部３５とが表示される。

情報格納場所指定部２１は、画像データ格納部２とシーンチェンジ情報格納部４とが格納されている場所をシーンチェンジ検出部３、制御部５、画像データ再生部６、シーンチェンジ点情報リスト編集部７およびシーンチェンジ点情報リスト変換部８へ指定する。情報格納場所指定部２１は、画像データが記憶される画像データ格納部２が格納されている場所を指定する画像データ格納部指定部２１ａと、シーンチェンジ点情報が記憶されるシーンチェンジ情報格納部４が格納されている場所を指定するシーンチェンジ情報格納部指定部２１ｂとを有する。

シーンチェンジ検出実行部２２は、シーンチェンジ検出部３にシーンチェンジ点の検出動作の実行を開始させるシーンチェンジ検出開始部２２ａと、シーンチェンジ検出部３にシーンチェンジ点の検出動作の実行を中止・中断させるシーンチェンジ検出取り消し部２２ｂとを有する。また、シーンチェンジ検出部３がシーンチェンジ点の検出動作を実行する際に進捗の状況を表示するシーンチェンジ検出進捗表示部３１が伴に表示される。

画像操作部２３は、制御部５へ再生操作を出力する。画像操作部２３は、ジャンプフレーム数入力部２３ａと、再生操作部２３ｂと、一時停止操作部２３ｃと、前方シーンジャンプ操作部２３ｄと、後方シーンジャンプ操作部２３ｅと、前方複数フレームジャンプ操作部２３ｆと、後方複数フレームジャンプ操作部２３ｇと、前方フレームジャンプ操作部２３ｈと、後方フレームジャンプ操作部２３ｉとを備える。

ジャンプフレーム数入力部２３ａには、再生操作やジャンプ操作時に画像再生表示部３４で表示する画像のフレームの表示間隔（フレーム数）を所望に入力する。

再生操作部２３ｂは、ジャンプフレーム数入力部２３ａに入力されたフレーム数毎に画像再生表示部３４で画像の再生を開始させる。

一時停止操作部２３ｃは、再生中の画像を画像再生表示部３４に表示中のフレームで一旦停止させる。

前方シーンジャンプ操作部２３ｄは、画像再生表示部３４に表示中のフレームから直前のシーンチェンジ点へジャンプさせる。

後方シーンジャンプ操作部２３ｅは、画像再生表示部３４に表示中のフレームから直後のシーンチェンジ点へジャンプさせる。

前方複数フレームジャンプ操作部２３ｆは、画像再生表示部３４に表示中のフレームからジャンプフレーム数入力部２３ａに入力されたフレーム数前のフレームへジャンプさせる。

後方複数フレームジャンプ操作部２３ｇは、画像再生表示部３４に表示中のフレームからジャンプフレーム数入力部２３ａに入力されたフレーム数後のフレームへジャンプさせる。

前方フレームジャンプ操作部２３ｈは、画像再生表示部３４に表示中のフレームから１フレーム前のフレームへジャンプさせる。

後方フレームジャンプ操作部２３ｉは、画像再生表示部３４に表示中のフレームから１フレーム後のフレームへジャンプさせる。

前方シーンジャンプ操作部２３ｄ、後方シーンジャンプ操作部２３ｅ、前方複数フレームジャンプ操作部２３ｆ、後方複数フレームジャンプ操作部２３ｇ、前方フレームジャンプ操作部２３ｈ、後方フレームジャンプ操作部２３ｉは、再生中は使用不可とし、一時停止操作部２３ｃにより一時停止した後で、使用可能となる。

なお、再生操作部２３ｂ、一時停止操作部２３ｃ、前方複数フレームジャンプ操作部２３ｆ、後方複数フレームジャンプ操作部２３ｇ、前方フレームジャンプ操作部２３ｈおよび後方フレームジャンプ操作部２３ｉはフレーム情報、前方シーンジャンプ操作部２３ｄ、後方シーンジャンプ操作部２３ｅはタイムコード情報を再生操作情報として出力する。

タイムコード情報入力部２４は、所望のタイムコード情報を指示して制御部５へ入力する。また、タイムコード情報入力部２４は、表示部１０が有するタイムコード情報表示部３３としても使用される。画像再生表示部３４で画像の再生が進行している場合は、再生される画像のフレームに対応したタイムコード情報が表示され、画像の再生が停止（一時停止）している場合は、タイムコード情報の操作入力を受け付ける。

シーンチェンジ点情報選択部２５は、表示中のシーンチェンジ点情報リストから所望に選択された任意のシーンチェンジ点情報のタイムコード情報を制御部５へ入力する。また、シーンチェンジ点情報選択部２５は、表示部１０が有するシーンチェンジ点情報リスト表示部３５としても使用される。画像再生表示部３４で画像の再生が進行している場合は、再生される画像のフレームを含むシーンのシーンチェンジ点情報が強調表示され、画像の再生が停止（一時停止）している場合は、シーンチェンジ点情報リストから任意のシーンチェンジ点情報が所望に選択されて強調表示される操作入力を受け付ける。

シーンチェンジ点操作部２６は、シーンチェンジ点情報リスト編集部７へシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報を追加、削除または変更などの編集操作を出力する。シーンチェンジ点操作部２６は、シーンチェンジ点情報リスト選択部２５に強調表示されたシーンチェンジ点情報を変更する変更操作部２６ａと、シーンチェンジ点情報リスト選択部２５に強調表示されたシーンチェンジ点情報を削除する削除操作部２６ｂと、シーンチェンジ点情報リスト選択部２５にシーンチェンジ点情報を追加する追加操作部２６ｃとを有する。また、シーンチェンジ点情報リスト選択部２５を変更操作または追加操作する際に所望のタイムコード情報を入力するタイムコード情報入力部２４が伴に表示される。

基本情報入力部２７は、画像データ格納部２に記憶された画像データの基本情報であるフレームレート情報、解像度情報および画像フォーマット情報と、画像データ中の基点と、シーンチェンジ点検出動作の開始点と終了点とのタイムコード情報をシーンチェンジ検出部３、制御部５および画像データ再生部６へ入力する。基本情報入力部２７は、画像データのフレームレート情報を入力するフレームレート入力部２７ａと、画像データの解像度情報を入力する解像度入力部２７ｂと、画像データの画像フォーマット情報を入力する画像フォーマット入力部２７ｃと、画像データ中の基点のタイムコード情報を指定する基点入力部２７ｄと、シーンチェンジ点検出動作の開始点のタイムコード情報を指定するシーンチェンジ点検出開始点入力部２７ｅと、シーンチェンジ点検出動作の終了点のタイムコード情報を指定するシーンチェンジ点検出終了点入力部２７ｆとを有する。画像データ中の基点、シーンチェンジ点検出動作の開始点および終了点のタイムコード情報およびフレームレート情報は、フレーム／タイムコード変換またはタイムコード／フレーム変換で使用する。画像データの解像度と画像フォーマットは、画像データのアドレス値からフレーム情報を、またフレーム情報からアドレス値を導くために用いる。

ここで、フレームレートとは、画像データに含まれる１秒あたりのフレーム数を意味する。例えばＮＴＳＣのインターレース映像と呼ばれる画像であれば、３０＊１０００／１００１＝２９．９７Ｈｚであり、映画素材であれば２４＊１０００／１００１＝２３．９８Ｈｚである。解像度情報とは、画像データに含まれる１フレームあたりの画素数を示す。タイムコード情報とは、ＨＨ：ＭＭ：ＳＳ：ＦＦのフォーマット（ＨＨ＝時間、ＭＭ＝分、ＳＳ＝秒、ＦＦ＝フレーム数）であり、時刻を示す値である。ノンドロップ方式と呼ばれるタイムコード方式では、このＦＦはフレームレートが２９．９７Ｈｚの場合には０から２９までの３０進カウンタであり、２３．９８Ｈｚの場合には０から２３までの２４進カウンタである。

また、画像データ中の基点とは、画像データの先頭フレームであり、シーンチェンジ点検出の開始点とは別に存在する。基点とシーンチェンジ点検出動作の開始点および終了点とを個別に設定することで、画像データ中の任意の区間でシーンチェンジ点を検出することができる。

シーンチェンジ検出進捗表示部３１は、シーンチェンジ検出部３がシーンチェンジ点の検出動作を実行する際に進捗の状況を表示する。

シーンチェンジ点報知情報部３２は、画像データ再生部６が表示する画像のフレーム情報がシーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報リストに含まれるシーンチェンジ点を通過する場合にシーンチェンジ点報知情報を表示する。シーンチェンジ点報知情報部３２は、例えばアイコン状のシンボルマークが点滅や、ポップアップメッセージの表示などの視覚的手段により、シーンチェンジ点の発生を報知する。

タイムコード情報表示部３３は、画像データ再生部６が表示する画像のフレームのタイムコード情報を表示する。

画像再生表示部３４は、画像データ再生部６で再生された画像を表示する。

シーンチェンジ点情報リスト表示部３５は、シーンチェンジ情報格納部４に記憶されたシーンチェンジ点情報をリスト表示する。また、シーンチェンジ点情報リスト表示部３５では、画像再生表示部３４に表示中のフレームから直前のシーンチェンジ点情報が強調表示される。

本実施形態の画像解析装置１によれば、画像データの圧縮符号化に先立ち、シーンチェンジ点と画像とを容易に比較できる。また、シーンチェンジ点と画像とを容易に比較しつつ、所望のシーンチェンジ点を追加したり、不要なシーンチェンジ点を削除したり、既存のシーンチェンジ点を変更するなどの編集作業を簡便に実施できる。すなわち、画像データのシーンチェンジ点を容易に補正して、正確なシーンチェンジ点のリストを作成し、このリストを圧縮符号化時で使用することにより、シーンチェンジ点とＧＯＰの境界とを一致させることが可能となり、画像データの圧縮符号化において、圧縮符号化後の画像の品質を向上し、圧縮符号化の効率を向上することに寄与できる。

画像データからシーンチェンジ点を検出してシーンチェンジ点情報リストを作成する方法について説明する。

図３は画像解析装置１における画像データからシーンチェンジ点を検出してシーンチェンジ点情報リストを作成する際のシーンチェンジ点情報リスト作成処理のフローチャートである。

図３に示すように、先ずステップＳ１では、画像データ格納部２から画像データをシーンチェンジ検出部３が取得する。画像データの入力は、画像の開始フレームから終了フレームまで順次に行われる。画像データが終了フレームまで進むと終了する。なお、基本情報入力部２７のシーンチェンジ点検出開始点入力部２７ｅと、シーンチェンジ点検出終了点入力部２７ｆとから、シーンチェンジ点検出動作の開始点および終了点を指定した場合には、画像データの入力は、シーンチェンジ点検出動作の開始フレームから終了フレームまで順次に行われる。シーンチェンジ点検出動作の終了フレームまで進むと終了する。

ステップＳ２では、シーンチェンジ検出部３は、ステップＳ１で画像データ格納部２から入力された画像データを解析してシーンチェンジ点を検出する。なお、シーンチェンジの検出方法には、例えば連続する、あるいは近接するフレーム間の輝度（ＲＧＢフォーマットの場合には、Ｒ、Ｇ、Ｂの各成分から計算される輝度）の変化を統計的な処理により求め、この値がある閾値より大きい場合にシーンチェンジが発生したとする例等が知られる（特許文献１、特許文献２参照）。

ステップＳ３では、ステップＳ２でシーンチェンジ検出部３がシーンチェンジ点を検出した場合は、シーンチェンジ点情報をシーンチェンジ情報格納部４へ出力してステップＳ４へ進む。シーンチェンジ点を検出しない場合は、ステップＳ１へ戻り、ステップＳ１以降の処理が繰り返し実行される。

ステップＳ４では、シーンチェンジ情報格納部４へ、ステップＳ２でシーンチェンジ検出部３が出力したシーンチェンジ点情報を所定のデータ形式で記憶してステップＳ１へ戻る。この後、ステップＳ１以降の処理が繰り返し実行される。

これにより、画像データが開始フレームから終了フレームまで進んでシーンチェンジ点が検出され、シーンチェンジ検出部３がシーンチェンジ点情報を出力する度に、シーンチェンジ点情報が順次に追加記憶されてシーンチェンジ点情報リストが作成される。

例えば、表１に示すように、画像データ格納部２に格納された画像データのシーンチェンジ点リストを作成する。このシーンチェンジ点リストは、基本情報入力部２７からの基点、シーンチェンジ開始点／終了点のタイムコード、フレームレート情報により、フレーム情報とタイムコード情報とは互いに変換が可能な情報である。

次に、画像データのシーンチェンジ検出をして得られたシーンチェンジ点情報リストを使用してシーンチェンジ点を確認する方法について説明する。

図４は画像解析装置１における画像データのシーンチェンジ検出をして得られたシーンチェンジ点情報リストを使用してシーンチェンジ点を確認する際のシーンチェンジ点情報リスト確認処理のフローチャートである。

図４に示すように、先ずステップＳ１１では、シーンチェンジ点情報リスト変換部８は、シーンチェンジ情報格納部４にフレーム情報で記憶された全てのシーンチェンジ点情報をタイムコード情報へ変換し、シーンチェンジ点情報リストを作成して表示部１０で表示する。

ステップＳ１２では、画像データ再生部６は制御部５から再生する画像のフレーム情報を受け取り、画像データ格納部から画像データを取得する。画像データの取得は、画像の開始フレームから終了フレームまで任意のフレーム間隔で順次に行われる。画像データが終了フレームまで進むと終了する。なお、基本情報入力部２７のシーンチェンジ点検出開始点入力部２７ｅと、シーンチェンジ点検出終了点入力部２７ｆとから、シーンチェンジ点検出動作の開始点および終了点を指定した場合には、画像データの入力は、シーンチェンジ点検出動作の開始フレームから終了フレームまで順次に行われる。シーンチェンジ点検出動作の終了フレームまで進むと終了する。

ステップＳ１３では、画像データ再生部６は、ステップＳ１２で画像データ格納部２から取得した画像データを再生する。再生した画像は表示部１０が表示する。

ステップＳ１４では、制御部５は、ステップＳ１３で再生する画像のフレーム情報を監視し、この情報がシーンチェンジ情報格納部４に記憶されたシーンチェンジ情報リストに含まれるシーンチェンジ点を通過するか否かを判断する。画像のフレーム情報がシーンチェンジ情報格納部４に記憶されたシーンチェンジ情報リストに含まれるシーンチェンジ点を通過する場合はステップＳ１５へ進む。通過しない場合はステップＳ１１へ戻り、ステップＳ１１以降の処理が繰り返し実行される。

ステップＳ１５では、制御部５は、再生する画像のフレーム情報が通過したシーンチェンジ点情報を、つまり、再生フレーム番号≧シーンチェンジフレーム番号のときのシーンチェンジ点情報を、表示部１０が備えるシーンチェンジ点情報リスト表示部３５で強調表示するとともに、シーンチェンジ点報知情報部３２によりシーンチェンジ点の発生を報知する。また、同時に制御部５は、音声出力部１１からシーンチェンジ点報知音を出力することもできる。この後、ステップＳ１１へ戻り、ステップＳ１１以降の処理が繰り返し実行される。

これにより、画像データの再生時が開始フレームから終了フレームまで進み、シーンチェンジ点を通過する度にシーンチェンジ点の発生が操作者へ報知される。

なお、図４に示されたシーンチェンジ点情報リスト確認処理において、シーンチェンジ点の発生が報知される度に、操作者が適宜にシーンチェンジ点を編集しても良い。以下にこの方法を説明する。

次に、シーンチェンジ点情報リストを使用してシーンチェンジ点を確認し、シーンチェンジ点情報リストを編集する方法について説明する。

図５は画像解析装置１における画像データのシーンチェンジ検出をして得られたシーンチェンジ点情報リストを使用してシーンチェンジ点を編集する際のシーンチェンジ点情報リスト編集処理のフローチャートである。

なお、図５のステップＳ２１からＳ２４の処理は、図４のステップＳ１１からＳ１４の処理と同様であり、説明が繰り返しになるので省略する。

図５に示すように、ステップＳ２５では、制御部５は、再生する画像のフレーム情報が通過したシーンチェンジ点情報を、つまり、再生フレーム番号≧シーンチェンジフレーム番号のときのシーンチェンジ点情報を、表示部１０が備えるシーンチェンジ点情報リスト表示部３５で強調表示するとともに、シーンチェンジ点報知情報部３２によりシーンチェンジ点の発生を報知する。また、同時に制御部５は、音声出力部１１からシーンチェンジ点報知音を出力することもできる。

ステップＳ２６では、制御部５は、操作者の操作入力に伴って画像操作部２３の一時停止操作部２３ｃからの操作情報が入力された場合は、表示部１０に再生中の画像を表示中のフレームを表示したまま一時停止する。その他の場合はステップＳ２１へ戻り、ステップＳ２１以降の処理が繰り返し実行される。一時停止する主な目的は、該当フレームおよびその前後を確認して、正しくシーンチェンジが行われていたか確認することである。正しく検出されていることが再生中に確認できれば、一時停止することなく再生を続けることになる。

ステップＳ２７では、制御部５は、操作者の操作入力に伴ってシーンチェンジ点操作部２６の削除操作部２６ｂからの操作情報が入力された場合は、ステップＳ２６で一時停止した画像の表示中のフレームを含むシーンのシーンチェンジ点情報を削除する情報をシーンチェンジ情報格納部４へ出力してステップＳ３１へ進む。その他の場合はステップＳ２８へ進む。

ステップＳ２８では、制御部５は、操作者の操作入力に伴ってシーンチェンジ点操作部２６の追加操作部２６ｃからの操作情報が入力された場合は、ステップＳ２６で一時停止した画像の表示中のフレームのフレーム情報をシーンチェンジ点情報としてシーンチェンジ情報格納部４へ追加する情報を出力してステップＳ３１へ進む。その他の場合はステップＳ２９へ進む。

なお、ステップＳ２６で一時停止した画像の表示中のフレームは、画像操作部２３の前方シーンジャンプ操作部２３ｄ、後方シーンジャンプ操作部２３ｅ、ジャンプフレーム数入力部２３ａ、前方複数フレームジャンプ操作部２３ｆ、後方複数フレームジャンプ操作部２３ｇ、前方フレームジャンプ操作部２３ｈおよび後方フレームジャンプ操作部２３ｉを操作することで所望のフレームを選択することができる。

さらに、ステップ２８で追加するシーンチェンジ点情報は、シーンチェンジ点操作部２６のタイムコード情報入力部２４へ所望のタイムコード情報を入力して選択することができる。

ステップＳ２９では、制御部５は、操作者の操作入力に伴ってシーンチェンジ点操作部２６の変更操作部２６ａからの操作情報が入力された場合は、ステップＳ２６で一時停止した画像の表示中のフレームを含むシーンのシーンチェンジ点情報を変更する情報をシーンチェンジ情報格納部４へ出力してステップＳ３１へ進む。その他の場合はステップＳ３０へ進む。

ステップＳ３０では、制御部５は、操作者の操作入力に伴って画像操作部２３の再生操作部２３ｂからの操作情報が入力された場合はステップＳ２１へ戻り、ステップＳ２５で一時停止した画像の再生を再開する。その他の場合はステップＳ２７へ戻り、ステップＳ２７以降の処理が繰り返し実行される。

ステップＳ３１では、シーンチェンジ情報格納部４は、ステップＳ２７からステップＳ２９の少なくとも１つが出力したシーンチェンジ点情報を、所定のデータ形式で記憶してシーンチェンジ点情報リストを作成してステップＳ２１へ戻る。この後、ステップＳ２１以降の処理が繰り返し実行される。

シーンチェンジ点情報リストを使用してシーンチェンジ点を確認し、シーンチェンジ点情報リストを編集する例について説明する。

図２に示すように、画面４０には、情報格納場所指定部２１と、シーンチェンジ検出実行部２２と、画像操作部２３と、タイムコード情報入力部２４と、シーンチェンジ点情報選択部２５と、シーンチェンジ点操作部２６と、基本情報入力部２７とが表示される。

操作者は、画像データからシーンチェンジ点を検出する。先ず、画像データを画像データ格納部２に格納する。この画像データを情報格納場所指定部２１の画像データ格納部指定部２１ａで指定する。また、画像データから検出されるシーンチェンジ点を格納するシーンチェンジ情報格納部４を情報格納場所指定部２１のシーンチェンジ情報格納部指定部２１ｂで指定する。次に、シーンチェンジ検出実行部２２のシーンチェンジ検出開始部２２ａを操作して画像データのシーンチェンジ点の検出を開始する。画像データのシーンチェンジ点の検出を途中で中止する場合は、シーンチェンジ検出実行部２２のシーンチェンジ検出取り消し部２２ｂを操作して画像データのシーンチェンジ点の検出を中止する。シーンチェンジ検出部３はシーンチェンジ点を検出して、シーンチェンジ点情報をシーンチェンジ情報格納部４に格納する。このとき、シーンチェンジ点の検出の進捗状況がシーンチェンジ検出進捗表示部３１に表示される。（シーンチェンジ点の検出動作）

次に、画像操作部２３を操作して画像データの再生を開始する。このとき、シーンチェンジ点情報リスト表示部３５には、シーンチェンジ情報格納部４に記憶された全シーンチェンジ点が表示される。画像データが複数のシーンを有する場合は、シーンチェンジ点はリスト状に表示される。画像操作部２３のジャンプフレーム数入力部２３ａに任意のジャンプフレーム数Ｎを指定すると、画像操作部２３の再生操作部２３ｂを操作した場合に画像再生表示部３４で表示される画像をＮフレーム毎の再生画像にできる。フレーム情報／シーンチェンジ点情報比較・判定部１５は画像再生表示部３４で表示される画像のフレームがシーンチェンジ点を通過するとシーンチェンジ点報知情報部３２へ報知情報を表示する。また、フレーム情報／シーンチェンジ点情報比較・判定部１５は音声出力部１１からシーンチェンジ点報知音を出力することもできる。これにより操作者は、画像再生表示部３４で再生中の画像とシーンチェンジ点情報リスト表示部３５のシーンチェンジ点情報という異なる２つの表示場所にある情報を、同時に目視比較することで、シーンチェンジ点の見落としを防ぐ（シーンチェンジ点の確認支援動作）。

次に、操作者は、最適なシーンチェンジ点を探す。画像操作部２３の操作により、画像再生表示部３４で再生中の画像の中から、任意のフレームを画像再生表示部３４に表示した状態で再生中の画像を一時停止させ、シーンチェンジ点操作部２６を操作する。

例えば画像操作部２３の前方シーンジャンプ操作部２３ｄまたは後方シーンジャンプ操作部２３ｅを操作すると、画像再生表示部３４で再生中の画像のフレームから直前または直後のシーンチェンジ点へ画像再生表示部３４で再生される画像のフレームがジャンプする。また、前方複数フレームジャンプ操作部２３ｆまたは後方複数フレームジャンプ操作部２３ｇを操作すると、画像再生表示部３４で再生中の画像のフレームからジャンプフレーム数入力部２３ａに入力されたフレーム数前または後のフレームへ画像再生表示部３４で再生される画像のフレームへジャンプする。さらに前方フレームジャンプ操作部２３ｈまたは後方フレームジャンプ操作部２３ｉが操作すると、画像再生表示部３４で再生中の画像のフレームから１フレーム前または後のフレームへ画像再生表示部３４で再生される画像のフレームへジャンプする。画像再生表示部３４で表示された画像のフレームがシーンチェンジ点として所望のフレームであれば、一時停止操作部２３ｃを操作して画像の再生を一旦停止する。このとき、タイムコード情報表示部３３には、画像再生表示部３４で表示中の画像のフレームに対応するタイムコード情報が表示されている。一時停止したフレームがシーンチェンジ点より後であれば、動画操作部２３で修正することが可能である。特に一時停止では、目的のフレームで停止させることが困難で、通過してしまうことがある。この場合に動画操作部２３は有効である。

また、画像の再生を一時停止すると、タイムコード情報入力部２４およびシーンチェンジ点情報選択部２５が操作入力の受付可能状態となる。タイムコード情報入力部２４へ所望のタイムコード情報を入力すると画像再生表示部３４で表示される画像のフレームを所望のフレームへ変更できる。シーンチェンジ点情報選択部２５で表示されたシーンチェンジ点情報リストから所望のシーンチェンジ点を選択すると画像再生表示部３４で表示される画像のフレームを所望のシーンチェンジ点に対応するフレームへ変更できる。

次に、一時停止した任意のフレームがシーンチェンジ点として所望のフレームであれば、シーンチェンジ点操作部２６の追加操作部２６ｃを操作し、この一時停止した任意のフレームのシーンチェンジ点情報を追加する情報をシーンチェンジ点情報リスト編集部７へ出力する。また、一時停止した任意のフレームを含むシーンが不要なシーンであれば、削除操作部２６ｂを操作し、この一時停止した任意のフレームを含むシーンのシーンチェンジ点情報を削除する情報をシーンチェンジ点情報リスト編集部７へ出力する。さらに、一時停止した任意のフレームを含むシーンのシーンチェンジ点情報を変更したい場合は、変更操作部２６ａとタイムコード情報表示・入力部４４ｄとを操作し、この一時停止した任意のフレームを含むシーンのシーンチェンジ点情報を変更する情報をシーンチェンジ点情報リスト編集部７へ出力する。

このシーンチェンジ点の編集操作により、シーンチェンジ点情報リスト編集部７からシーンチェンジ情報格納部４へ編集されたシーンチェンジ点情報が送られ、格納される。（シーンチェンジ点の編集動作）

本実施形態の画像解析方法によれば、画像データの圧縮符号化に先立ち、シーンチェンジ点と画像とを容易に比較できる。また、シーンチェンジ点と画像とを容易に比較しつつ、所望のシーンチェンジ点を追加したり、不要なシーンチェンジ点を削除したり、既存のシーンチェンジ点を変更するなどの編集作業を簡便に実施できる。

具体的には、従来のシーンチェンジ検出で、（１）銃撃・爆発シーンなど、フレーム内の変化量が激しい場合、（２）撮影後のスローモーション処理で、同一フレームが連続している場合、（３）シーンチェンジ検出で画像変化量を計測する輝度などのパラメータの変化が小さい場合、などでシーンチェンジ点が誤検出された場合に、操作者は誤検出された不要なシーンチェンジ点を容易に知覚することができる。また、この誤検出された不要なシーンチェンジ点を容易に削除等の編集操作を行うことができる。

すなわち、画像データのシーンチェンジ点を容易に補正して、正確なシーンチェンジ点のリストを作成し、このリストを圧縮符号化時で使用することにより、シーンチェンジ点とＧＯＰの境界とを一致させることが可能となり、画像データの圧縮符号化において、圧縮符号化後の画像の品質を向上し、圧縮符号化の効率を向上することに寄与できる。

また、本発明の実施形態において説明した一連の処理は、ソフトウェアにより実行させることもできるが、ハードウェアにより実行させることもできる。

さらに、本発明の実施形態では、フローチャートのステップは、記載された順序に沿って時系列的に行われる処理の例を示したが、必ずしも時系列的に処理されなくとも、並列的あるいは個別実行される処理をも含むものである。

本発明に係る画像解析装置の実施形態における概略を示したブロック図。本発明に係る画像解析装置の実施形態における操作入力部および表示部の一例を示した概念図。本発明に係る画像解析方法の実施形態における画像データからシーンチェンジ点を検出してシーンチェンジ点情報リストを作成する際のシーンチェンジ点情報リスト作成処理のフローチャート。本発明に係る画像解析方法の実施形態における画像データのシーンチェンジ検出をして得られたシーンチェンジ点情報リストを使用してシーンチェンジ点を確認する際のシーンチェンジ点情報リスト確認処理のフローチャート。本発明に係る画像解析方法の実施形態における画像データのシーンチェンジ検出をして得られたシーンチェンジ点情報リストを使用してシーンチェンジ点を編集する際のシーンチェンジ点情報リスト編集処理のフローチャート。

符号の説明

１画像解析装置
２画像データ格納部
３シーンチェンジ検出部
４シーンチェンジ情報格納部
６画像データ再生部
５制御部
７シーンチェンジ点情報リスト編集部
８シーンチェンジ点情報リスト変換部
９操作入力部
１０表示部
１１音声出力部
１４次フレーム情報算出部
１５フレーム情報／シーンチェンジ点情報比較・判定部
１６フレーム情報／タイムコード情報変換部
２１情報格納場所指定部
２１ａ画像データ格納部指定部
２１ｂシーンチェンジ情報格納部指定部
２２ｂシーンチェンジ検出取り消し部
２２シーンチェンジ検出実行部
２２ａシーンチェンジ検出開始部
２２ｂシーンチェンジ検出取り消し部
２３画像操作部
２３ａジャンプフレーム数入力部
２３ｂ再生操作部
２３ｃ一時停止操作部
２３ｄ前方シーンジャンプ操作部
２３ｅ後方シーンジャンプ操作部
２３ｆ前方複数フレームジャンプ操作部
２３ｇ後方複数フレームジャンプ操作部
２３ｈ前方フレームジャンプ操作部
２３ｉ後方フレームジャンプ操作部
２４タイムコード情報入力部
２５シーンチェンジ点情報選択部
２６シーンチェンジ点操作部
２６ａ変更操作部
２６ｂ削除操作部
２６ｃ追加操作部
２７基本情報入力部
２７ａフレームレート入力部
２７ｂ解像度入力部
２７ｃ画像フォーマット入力部
２７ｄ基点入力部
２７ｅシーンチェンジ点検出開始点入力部
２７ｆシーンチェンジ点検出終了点入力部
３１シーンチェンジ検出進捗表示部
３２シーンチェンジ点報知情報部
３３タイムコード情報表示部
３４画像再生表示部
３５シーンチェンジ点情報リスト表示部
４０画面

Claims

画像データに含まれるシーンチェンジ点をシーンチェンジ点情報リストとして記憶する前記シーンチェンジ点情報リストの格納部と、
前記画像データに基づく画像と前記格納部に記憶された前記シーンチェンジ点情報リストとを表示する表示部と、
前記画像データの再生時に前記表示部に表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれる前記シーンチェンジ点を通過するか否かを判定する判定部と、
前記シーンチェンジ点情報リストに含まれる前記シーンチェンジ点を通過することが前記判定部により判定された場合に、前記表示部でシーンチェンジが発生したことを報知する報知手段とを備えることを特徴とする画像解析装置。
前記報知手段は、
前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを示す報知情報を前記表示部に表示させることで、前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを報知することを特徴とする請求項１に記載の画像解析装置。
音声を出力する音声出力部をさらに備え、
前記報知手段は、
前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを示す報知音を前記音声出力部から出力させることで、前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを報知することを特徴とする請求項１または２に記載の画像解析装置。
前記表示部で前記シーンチェンジ点情報リストとともに表示される前記シーンチェンジ点情報リストを編集操作する操作入力部と、
前記操作入力部により入力が受け付けられたシーンチェンジ点の追加、削除、変更のうち少なくとも１つの操作入力に基づいて、前記シーンチェンジ点情報リストを編集する編集手段とをさらに備えることを特徴とする請求項１から３のいずれか１項に記載の画像解析装置。
シーンチェンジを含む画像について、前記シーンチェンジを検出して前記画像のシーンチェンジ点情報リストを作成する画像解析方法において、
前記シーンチェンジを検出する画像データを再生し、
前記再生する画像の表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過するか否かを判定し、
前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過する場合は、シーンチェンジ点が発生したことを報知することを特徴とする画像解析方法。
前記シーンチェンジ点が発生したことの報知は、
前記画像データの再生時に表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを示す報知情報を表示することで、前記画像データの再生時に表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを報知することを特徴とする請求項５に記載の画像解析方法。
前記シーンチェンジ点が発生したことの報知は、
前記画像データの再生時に表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを示す報知音を出力することで、前記画像データの再生時に表示するフレームのフレーム情報に基づいて前記シーンチェンジ点情報リストに含まれるシーンチェンジ点を通過することを報知することを特徴とする請求項５または６に記載の画像解析方法。