JP2000299829A5 - - Google Patents

Description

【特許請求の範囲】
【請求項１】 ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段とを備えることを特徴とする画像処理装置。
【請求項２】 前記特定手段で特定されたシーンを示す情報は当該シーンの開始フレームと終了フレームのそれぞれのフレーム識別子を含み、キーフレームを示す情報は当該キーフレームのフレーム番号を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】 前記キーフレームの特徴量情報を取得する取得手段を更に備え、
前記格納手段において格納されるシーン情報は前記取得手段で取得されたキーフレームの画像の特徴量情報を含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】 前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項３に記載の画像処理装置。
【請求項５】 前記格納手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項６】 前記生成手段は、前記格納手段に格納されたシーン情報が示すシーンを時系列順にマージすることにより、抽出動画データを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項７】 前記生成手段は、前記格納手段に格納されたシーン情報が示すシーンと、当該動画像の予め定められた時間分の先頭シーン及び終了シーンを時系列順にマージすることにより、抽出動画データを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項８】 前記抽出動画の再生時間を指定する指定手段と、
前記指定手段で指定された再生時間に基づいて、前記生成手段でマージされる各シーンの長さを調整する調整手段とを更に備えることを特徴とする請求項５に記載の画像処理装置。
【請求項９】 前記調整手段は、
各シーンに設定された重要度に基づいてシーン内の各フレームの重要度を決定し、該シーン内において閾値を越える重要度を有するフレームを抽出し、これをマージ対象のシーンとして前記生成手段に提供するフレーム抽出手段と、
前記生成手段で生成される抽出動画データの再生時間が、前記指定された再生時間の予め定められた誤差範囲に納まるように、前記フレーム抽出手段において用いられる閾値を制御する閾値制御手段とを備えることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】 前記シーン情報によって指定される全てのシーンの合計時間が前記指定手段で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整手段を更に備えることを特徴とする請求項９に記載の画像処理装置。
【請求項１１】 前記抽出動画データを構成するシーンの中に、その再生時間が予め定められた時間よりも短いものが存在する場合に、これを除去する除去手段を更に備えることを特徴とする請求項５に記載の画像処理装置。
【請求項１２】 前記除去手段で除去されたシーンの再生時間に相当する時間分だけ他のシーンを延長する延長手段を更に備えることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】 前記延長手段は、前記抽出動画データ内における前記除去手段で除去されたシーンの前後に隣接するシーンのうちの設定された重要度の高いほうのシーンを、キーフレームを中心に時間延長することを特徴とする請求項１２に記載の画像処理装置。
【請求項１４】 前記抽出動画の再生時間を指定する指定手段と、
前記格納手段に格納されたシーン情報によって示されるシーンをその重要度の順に選択して予め定められた時間長分を切り出す切出し手段と、該切出し手段は、切り出されたシーンの合計時間が前記指定手段で指定された指定時間を越えるまで処理を実行し、
前記生成手段は、前記切出し手段で切り出されたシーンを時系列関係を保ちながら順次マージして抽出動画データを生成することを特徴とする請求項５に記載の画像処理装置。
【請求項１５】 前記予め定められた時間長は、ユーザが画像を認識可能な長さであることを特徴とする請求項１４に記載の画像処理装置。
【請求項１６】 前記シーン情報によって指定される全てのシーンの合計時間が前記指定手段で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整手段を更に備えることを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】 前記キーフレームの画像をサムネイル化して一覧表示する表示手段を更に備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項１８】 前記キーフレームの一つが指定された場合に、該指定されたキーフレームと他のキーフレームの画像の類似度を、各キーフレームの画像特徴量に基づいて算出する算出手段と、
前記算出手段で算出された類似度に基づいてキーフレームを提示する提示手段と、
前記提示手段で提示されたキーフレームの中から選択されたキーフレームを含む動画像データを取得し、再生する再生手段とを更に備えることを特徴とする請求項３または４に記載の画像処理装置。
【請求項１９】 前記シーン情報は、各キーフレームの画像の画像特徴量を含み、前記キーフレームの一つが指定された場合に、該選択されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出する算出手段と、
前記算出手段で算出された類似度に基づいてキーフレームを提示する提示手段と、
前記提示手段で提示されたキーフレームの中から選択されたキーフレームを含む動画像データに関して、前記生成手段で生成された抽出画像データを再生する再生手段とを更に備えることを特徴とする請求項５乃至１６のいずれかに記載の画像処理装置。
【請求項２０】 前記複数ブロックへの分割は、画像を縦横共に２のべき乗でブロックに分割するものであることを特徴とする請求項４に記載の画像処理装置。
【請求項２１】 前記ラベル列とともに画像の分割数、特徴量の抽出方法、および色表現に関する情報を記憶する手段を備えることを特徴とする請求項４又は２０に記載の画像処理装置。
【請求項２２】 前記シーン情報は、各キーフレームの画像の画像特徴量を含み、
前記キーフレームをランダムに表示する第１手段と、
前記生成手段で生成された抽出画像データを再生する第２手段と、
指定されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出し、類似検索を行う第３手段と、
指定されたキーフレームから動画を再生する第４手段とを備え、
前記第１乃至第４手段を任意の組み合わせで機能させるべく操作可能としたことを特徴とする請求項５乃至１６のいずれかに記載の画像処理装置。
【請求項２３】 前記フレーム識別子は、動画像データにおける先頭からのフレーム番号であることを特徴とする請求項２に記載の画像処理装置。
【請求項２４】 前記フレーム識別子は、動画像データにおける先頭から当該フレームまでの時間であることを特徴とする請求項２に記載の画像処理装置。
【請求項２５】 前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項１９に記載の画像処理装置。
【請求項２６】 ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定工程と、
前記特定工程で特定されたシーンの各々の重要度を設定する設定工程と、
前記特定工程で特定されたシーンとキーフレームを示す情報、及び前記設定工程で設定された重要度をシーン情報として当該動画像データに関連させて記憶手段に格納する格納工程とを備えることを特徴とする画像処理方法。
【請求項２７】 前記特定工程で特定されたシーンを示す情報は当該シーンの開始フレームと終了フレームのそれぞれのフレーム番号を含み、キーフレームを示す情報は当該キーフレームのフレーム番号を含むことを特徴とする請求項２６に記載の画像処理方法。
【請求項２８】 前記キーフレームの特徴量情報を取得する取得工程を更に備え、
前記格納工程において格納されるシーン情報は前記取得工程で取得されたキーフレームの画像の特徴量情報を含むことを特徴とする請求項２６または２７に記載の画像処理方法。
【請求項２９】 前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項２８に記載の画像処理方法。
【請求項３０】 前記記憶手段に格納されたシーン情報に基づいて、動画再生が可能な抽出動画データを生成する生成工程を更に備えることを特徴とする請求項２６又は２７に記載の画像処理方法。
【請求項３１】 前記生成工程は、前記記憶手段に格納されたシーン情報が示すシーンを時系列順にマージすることにより、抽出動画データを生成することを特徴とする請求項３０に記載の画像処理方法。
【請求項３２】 前記生成工程は、前記記憶手段に格納されたシーン情報が示すシーンと、当該動画像の予め定められた時間分の先頭シーン及び終了シーンを時系列順にマージすることにより、抽出動画データを生成することを特徴とする請求項３０に記載の画像処理方法。
【請求項３３】 前記抽出動画の再生時間を指定する指定工程と、
前記指定工程で指定された再生時間に基づいて、前記生成工程でマージされる各シーンの長さを調整する調整工程とを更に備えることを特徴とする請求項３０に記載の画像処理方法。
【請求項３４】 前記調整工程は、
各シーンに設定された重要度に基づいてシーン内の各フレームの重要度を決定し、該シーン内において閾値を越える重要度を有するフレームを抽出し、これをマージ対象のシーンとして前記生成工程に提供するフレーム抽出工程と、
前記生成工程で生成される抽出動画データの再生時間が、前記指定された再生時間の予め定められた誤差範囲に納まるように、前記フレーム抽出工程において用いられる閾値を制御する閾値制御工程とを備えることを特徴とする請求項３３に記載の画像処理方法。
【請求項３５】 前記シーン情報によって指定される全てのシーンの合計時間が前記指定工程で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整工程を更に備えることを特徴とする請求項３４に記載の画像処理方法。
【請求項３６】 前記抽出動画データを構成するシーンの中に、その再生時間が予め定められた時間よりも短いものが存在する場合に、これを除去する除去工程を更に備えることを特徴とする請求項３０に記載の画像処理方法。
【請求項３７】 前記除去工程で除去されたシーンの再生時間に相当する時間分だけ他のシーンを延長する延長工程を更に備えることを特徴とする請求項３６に記載の画像処理方法。
【請求項３８】 前記延長工程は、前記抽出動画データ内における前記除去工程で除去されたシーンの前後に隣接するシーンのうちの設定された重要度の高いほうのシーンを、キーフレームを中心に時間延長することを特徴とする請求項３７に記載の画像処理方法。
【請求項３９】 前記抽出動画の再生時間を指定する指定工程と、
前記記憶手段に格納されたシーン情報によって示されるシーンをその重要度の順に選択して予め定められた時間長分を切り出す切出し工程と、該切出し工程は、切り出されたシーンの合計時間が前記指定工程で指定された指定時間を越えるまで処理を実行し、
前記生成工程は、前記切出し工程で切り出されたシーンを時系列関係を保ちながら順次マージして抽出動画データを生成することを特徴とする請求項３０に記載の画像処理方法。
【請求項４０】 前記予め定められた時間長は、ユーザが動画を認識可能な長さであることを特徴とする請求項３９に記載の画像処理方法。
【請求項４１】 前記シーン情報によって指定される全てのシーンの合計時間が前記指定工程で指定された再生時間よりも短い場合、該指定された再生時間の予め定められた誤差範囲に納まるように各シーンのキーフレームを中心として再生時間を暫時延長する延長調整工程を更に備えることを特徴とする請求項４０に記載の画像処理方法。
【請求項４２】 前記キーフレームの画像をサムネイル化して一覧表示する表示工程を更に備えることを特徴とする請求項２６又は２７に記載の画像処理方法。
【請求項４３】 前記キーフレームの一つが指定された場合に、該指定されたキーフレームと他のキーフレームの画像の類似度を、各キーフレームの画像特徴量に基づいて算出する算出工程と、
前記算出工程で算出された類似度に基づいてキーフレームを提示する提示工程と、
前記提示工程で提示されたキーフレームの中から選択されたキーフレームを含む動画像データを取得し、再生する再生工程とを更に備えることを特徴とする請求項２８または２９に記載の画像処理方法。
【請求項４４】 前記シーン情報は、各キーフレームの画像の画像特徴量を含み、
前記キーフレームの一つが指定された場合に、該選択されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出する算出工程と、
前記算出工程で算出された類似度に基づいてキーフレームを提示する提示工程と、前記提示工程で提示されたキーフレームの中から選択されたキーフレームを含む動画像データに関して、前記生成工程で生成された抽出画像データを再生する再生工程とを更に備えることを特徴とする請求項３０乃至４１のいずれかに記載の画像処理方法。
【請求項４５】 前記複数ブロックへの分割は、画像を縦横共に２のべき乗でブロックに分割するものであることを特徴とする請求項２９に記載の画像処理方法。
【請求項４６】 前記ラベル列とともに画像の分割数、特徴量の抽出方法、および色表現に関する情報を記憶する工程を備えることを特徴とする請求項２９又は４５に記載の画像処理方法。
【請求項４７】 前記シーン情報は、各キーフレームの画像の画像特徴量を含み、
前記キーフレームをランダムに表示する第１工程と、
前記生成工程で生成された抽出画像データを再生する第２工程と、
指定されたキーフレームと他のキーフレームの画像の類似度を各キーフレームの画像特徴量に基づいて算出し、類似検索を行う第３工程と、
指定されたキーフレームから動画を再生する第４工程とを備え、
前記第１乃至第４工程を任意の組み合わせで機能させるべく操作可能としたことを特徴とする請求項３０乃至４１のいずれかに記載の画像処理方法。
【請求項４８】 前記フレーム識別子は、動画像データにおける先頭からのフレーム番号であることを特徴とする請求項２７に記載の画像処理方法。
【請求項４９】 前記フレーム識別子は、動画像データにおける先頭から当該フレームまでの時間であることを特徴とする請求項２７に記載の画像処理方法。
【請求項５０】 前記キーフレームの特徴量情報は、該キーフレームの画像を複数ブロックに分割し、各ブロックについて取得された特徴量に応じてラベルを付与し、付与されたラベルを予め定められた順序で並べて得られるラベル列であることを特徴とする請求項４４に記載の画像処理方法。
【請求項５１】 請求項２６乃至５０のいずれかに記載の画像処理方法をコンピュータに実行させるための制御プログラムを格納したことを特徴とする記憶媒体。

【０００８】
【課題を解決するための手段】
上記の目的を達成するための本発明の画像処理装置は例えば以下の構成を備える。すなわち、
ユーザの操作入力に応じて、動画像データ中の少なくとも１つの、複数フレームを含むシーンを特定し、特定されたシーンの各々からキーフレームとすべきフレームを特定する特定手段と、
前記特定手段で特定されたシーンの各々の重要度を設定する設定手段と、
前記特定手段で特定されたシーンとキーフレームを示す情報、及び前記設定手段で設定された重要度をシーン情報として当該動画像データに関連させて格納する格納手段とを備える。