JPH06268960A - 動画処理装置 - Google Patents
動画処理装置Info
- Publication number
- JPH06268960A JPH06268960A JP5054328A JP5432893A JPH06268960A JP H06268960 A JPH06268960 A JP H06268960A JP 5054328 A JP5054328 A JP 5054328A JP 5432893 A JP5432893 A JP 5432893A JP H06268960 A JPH06268960 A JP H06268960A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- feature amount
- moving image
- information
- corrected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】本発明は、予期せぬ移動体のが出現する映像素
材に対しても誤検出や取りこぼしがない、精度の良い動
画インデックスの検出を可能とする。 【構成】動画像情報をフレーム単位のデジタルデータに
変換する画像入力部1と、画像入力部1によって得られ
たデジタルデータからフレーム単位の特徴量を検出する
フレーム特徴量検出部2と、フレーム特徴量検出部2に
よって検出されたフレーム単位の特徴量に対してフレー
ム内の位置に基づく重み付けにより修正し、修正後の時
間的に前後するフレーム間の特徴量の変化を示す修正フ
レーム間特徴量を算出する修正フレーム間特徴量算出部
3と、修正フレーム間特徴量算出部3によって算出され
た修正フレーム間特徴量に基づいて、動画像情報に対す
る動画インデックス情報を判定する動画インデックス判
定部4とを具備したことを特徴とする。
材に対しても誤検出や取りこぼしがない、精度の良い動
画インデックスの検出を可能とする。 【構成】動画像情報をフレーム単位のデジタルデータに
変換する画像入力部1と、画像入力部1によって得られ
たデジタルデータからフレーム単位の特徴量を検出する
フレーム特徴量検出部2と、フレーム特徴量検出部2に
よって検出されたフレーム単位の特徴量に対してフレー
ム内の位置に基づく重み付けにより修正し、修正後の時
間的に前後するフレーム間の特徴量の変化を示す修正フ
レーム間特徴量を算出する修正フレーム間特徴量算出部
3と、修正フレーム間特徴量算出部3によって算出され
た修正フレーム間特徴量に基づいて、動画像情報に対す
る動画インデックス情報を判定する動画インデックス判
定部4とを具備したことを特徴とする。
Description
【0001】
【産業上の利用分野】本発明は、動画の操作のために動
画インデックス情報を検出し、利用する動画処理装置に
関する。
画インデックス情報を検出し、利用する動画処理装置に
関する。
【0002】
【従来の技術】近年、オフィス等においては、テキス
ト、画像、動画等を含む種々の情報を統一して処理する
マルチメディア処理やそれらの各種情報間を関係付けて
処理するハイパーメディア処理の要求が強くなってい
る。特に、時系列情報である動画像は、プレゼンテーシ
ョンにおける表現手段としては従来の静的メディアであ
る文書情報などと比べて非常に優れており、有効な利用
が望まれている。しかし、動画像は、その情報量が膨大
であるため、内容検索/把握に多大の時間を要し、計算
機内でハンドリングするには非常に不便である。従っ
て、動画像ハンドリングには、その動画像に特徴的な情
報を提示することが必要であり、それにより、従来の文
書情報と同様に取り扱うことが可能である。このような
インデックス(検索)情報としては、シーンの変わり目
(変化点)が有効であり、かつ輝度情報を用いて簡便に
求まることから広く利用されてきた。
ト、画像、動画等を含む種々の情報を統一して処理する
マルチメディア処理やそれらの各種情報間を関係付けて
処理するハイパーメディア処理の要求が強くなってい
る。特に、時系列情報である動画像は、プレゼンテーシ
ョンにおける表現手段としては従来の静的メディアであ
る文書情報などと比べて非常に優れており、有効な利用
が望まれている。しかし、動画像は、その情報量が膨大
であるため、内容検索/把握に多大の時間を要し、計算
機内でハンドリングするには非常に不便である。従っ
て、動画像ハンドリングには、その動画像に特徴的な情
報を提示することが必要であり、それにより、従来の文
書情報と同様に取り扱うことが可能である。このような
インデックス(検索)情報としては、シーンの変わり目
(変化点)が有効であり、かつ輝度情報を用いて簡便に
求まることから広く利用されてきた。
【0003】シーン変化点の自動検出方法には、フレー
ム間の輝度変化量の大小で変化点を判定する以下の方法
が考案されている。まず、第1の方法としては、フレー
ム単位で輝度ヒストグラムを算出し、これを隣接フレー
ム間で差分絶対値を求めその累積値を特徴量とし、その
大小でシーン変化を判定するものである。つまり、フレ
ーム内の空間情報ではなくフレーム単位の輝度変化量に
注目することで、その変化量がフレーム間で大きい場合
をシーン変化として検出する。
ム間の輝度変化量の大小で変化点を判定する以下の方法
が考案されている。まず、第1の方法としては、フレー
ム単位で輝度ヒストグラムを算出し、これを隣接フレー
ム間で差分絶対値を求めその累積値を特徴量とし、その
大小でシーン変化を判定するものである。つまり、フレ
ーム内の空間情報ではなくフレーム単位の輝度変化量に
注目することで、その変化量がフレーム間で大きい場合
をシーン変化として検出する。
【0004】次に、第2の方法としては、フレーム内の
空間情報を保存する方法がある。この方法では、各フレ
ーム内でブロック(l×m)[l,m≧1なる整数]を
単位として平均輝度(Ixyn =Σfijn /(l×
m)、ここでfijn :各画素の輝度値、xy:ブロッ
クの識別番号、n:フレーム番号)を求め、隣接フレー
ム間でそれぞれが対応する位置に平均輝度の差分絶対値
(ΔYxyn =|Yxyn −Yxyn-1 |)を求め、そ
のフレーム内での累積値(Tn =ΣΔYxyn )を特徴
量とし、以下の判定条件でシーン変化を検出するものが
ある。ここで、t0 は判定閾値である。
空間情報を保存する方法がある。この方法では、各フレ
ーム内でブロック(l×m)[l,m≧1なる整数]を
単位として平均輝度(Ixyn =Σfijn /(l×
m)、ここでfijn :各画素の輝度値、xy:ブロッ
クの識別番号、n:フレーム番号)を求め、隣接フレー
ム間でそれぞれが対応する位置に平均輝度の差分絶対値
(ΔYxyn =|Yxyn −Yxyn-1 |)を求め、そ
のフレーム内での累積値(Tn =ΣΔYxyn )を特徴
量とし、以下の判定条件でシーン変化を検出するものが
ある。ここで、t0 は判定閾値である。
【0005】 Tn ≧ t0 :シーン変化 …(1−1) Tn < t0 :連続シーン …(1−2) 第2の方法では、フレーム内の空間情報を保存している
ため、第1の方法と異なり、フレーム全体としての輝度
変化が緩やかで局所的な変化が激しいシーン変化に対し
ても正確な検出が可能な場合がある。
ため、第1の方法と異なり、フレーム全体としての輝度
変化が緩やかで局所的な変化が激しいシーン変化に対し
ても正確な検出が可能な場合がある。
【0006】従来、動画処理装置は、動画インデックス
検出において、フレーム内の位置に関係なく全て同じ寄
与率でフレーム間の差分情報を求め、それをもとに検出
を行なっている。従って、画面の下部や両側などでは、
予期せぬ人や物体の移動により、本来の情報が隠され正
確な動画インデックスの検出ができなかった。また、映
像素材によっては、上述した移動体の出入りが激しく、
その結果誤検出や取りこぼしが多く出現して、動画の検
索/編集に用いることは困難であった。
検出において、フレーム内の位置に関係なく全て同じ寄
与率でフレーム間の差分情報を求め、それをもとに検出
を行なっている。従って、画面の下部や両側などでは、
予期せぬ人や物体の移動により、本来の情報が隠され正
確な動画インデックスの検出ができなかった。また、映
像素材によっては、上述した移動体の出入りが激しく、
その結果誤検出や取りこぼしが多く出現して、動画の検
索/編集に用いることは困難であった。
【0007】
【発明が解決しようとする課題】このように従来の動画
インデックス検出を行なう動画処理装置では、フレーム
内の位置に関係なく全て同じ寄与率でフレーム間の差分
情報を求め、それをもとに検出を行なっている。一般
に、画面の下部や両側、あるいは上下左右の4隅などで
は、予期せぬ人や物体の移動により本来の情報が隠され
正確な画像特徴量を検出できる確率が低い。また、その
ような画面の中央から距離がある部分は、均一照明の条
件やジャストフォーカスの条件からはずれていたりする
ため、フレームの画像特徴量を代表するには不適切な場
合が多い。
インデックス検出を行なう動画処理装置では、フレーム
内の位置に関係なく全て同じ寄与率でフレーム間の差分
情報を求め、それをもとに検出を行なっている。一般
に、画面の下部や両側、あるいは上下左右の4隅などで
は、予期せぬ人や物体の移動により本来の情報が隠され
正確な画像特徴量を検出できる確率が低い。また、その
ような画面の中央から距離がある部分は、均一照明の条
件やジャストフォーカスの条件からはずれていたりする
ため、フレームの画像特徴量を代表するには不適切な場
合が多い。
【0008】従って、全て同じ寄与率でフレーム情報を
基に画像特徴量を検出する従来の方法では正確な動画イ
ンデックスの検出ができなかった。本発明は前記のよう
な点に鑑みてなされたもので、利用する画像特徴量をフ
レーム内の位置情報に基づいて重み付けすることで、予
期せぬ移動体の出現確率が高い領域の寄与率を下げ、よ
り本質的な情報だけで動画インデックスを検出すること
により、従来誤検出や取りこぼしが多い映像素材に対し
ても精度良く動画インデックスを検出することが可能な
動画処理装置を提供することを目的とする。
基に画像特徴量を検出する従来の方法では正確な動画イ
ンデックスの検出ができなかった。本発明は前記のよう
な点に鑑みてなされたもので、利用する画像特徴量をフ
レーム内の位置情報に基づいて重み付けすることで、予
期せぬ移動体の出現確率が高い領域の寄与率を下げ、よ
り本質的な情報だけで動画インデックスを検出すること
により、従来誤検出や取りこぼしが多い映像素材に対し
ても精度良く動画インデックスを検出することが可能な
動画処理装置を提供することを目的とする。
【0009】
【課題を解決するための手段】本発明は、動画像情報を
フレーム単位のデジタルデータに変換する画像入力手段
と、前記画像入力手段によって得られたデジタルデータ
からフレーム単位の特徴量を検出するフレーム特徴量検
出手段と、前記フレーム特徴量検出手段によって検出さ
れたフレーム単位の特徴量に対してフレーム内の位置に
基づく重み付けにより修正し、修正後のフレーム間の特
徴量の変化を示す修正フレーム間特徴量を算出する修正
フレーム間特徴量算出手段と、前記修正フレーム間特徴
量算出手段によって算出された修正フレーム間特徴量に
基づいて、前記動画像情報に対する動画インデックス情
報を判定する動画インデックス判定手段とを具備したこ
とを特徴とする。
フレーム単位のデジタルデータに変換する画像入力手段
と、前記画像入力手段によって得られたデジタルデータ
からフレーム単位の特徴量を検出するフレーム特徴量検
出手段と、前記フレーム特徴量検出手段によって検出さ
れたフレーム単位の特徴量に対してフレーム内の位置に
基づく重み付けにより修正し、修正後のフレーム間の特
徴量の変化を示す修正フレーム間特徴量を算出する修正
フレーム間特徴量算出手段と、前記修正フレーム間特徴
量算出手段によって算出された修正フレーム間特徴量に
基づいて、前記動画像情報に対する動画インデックス情
報を判定する動画インデックス判定手段とを具備したこ
とを特徴とする。
【0010】また、前記フレーム特徴量検出手段は、輝
度情報を検出することを特徴とする。また、前記修正フ
レーム間特徴量算出手段は、フレーム間の差分情報を修
正フレーム間特徴量として算出することを特徴とする。
また、前記修正フレーム間特徴量算出手段は、フレーム
間の相関情報を修正フレーム間特徴量として算出するこ
とを特徴とする。
度情報を検出することを特徴とする。また、前記修正フ
レーム間特徴量算出手段は、フレーム間の差分情報を修
正フレーム間特徴量として算出することを特徴とする。
また、前記修正フレーム間特徴量算出手段は、フレーム
間の相関情報を修正フレーム間特徴量として算出するこ
とを特徴とする。
【0011】また、前記修正フレーム間特徴量算出手段
は、フレーム内の部分的な情報に基づき修正フレーム間
特徴量を算出することを特徴とする。また、前記修正フ
レーム間特徴量算出手段は、フレーム内の上半部の情報
に基づき動画インデックス判定信号を算出することを特
徴とする。
は、フレーム内の部分的な情報に基づき修正フレーム間
特徴量を算出することを特徴とする。また、前記修正フ
レーム間特徴量算出手段は、フレーム内の上半部の情報
に基づき動画インデックス判定信号を算出することを特
徴とする。
【0012】
【作用】このような構成によれば、動画インデックス情
報の判定の際に、画像特徴量として、フレーム内の位置
情報に応じて重み付けした修正フレーム特徴量を用いる
ことで、従来予期せぬ移動体による誤検出や取りこぼし
がある映像素材でも、正確なインデックス情報の検出が
可能になり、動画インデックス情報全体の検出精度が向
上する。
報の判定の際に、画像特徴量として、フレーム内の位置
情報に応じて重み付けした修正フレーム特徴量を用いる
ことで、従来予期せぬ移動体による誤検出や取りこぼし
がある映像素材でも、正確なインデックス情報の検出が
可能になり、動画インデックス情報全体の検出精度が向
上する。
【0013】さらに、映像素材に応じてフレーム内の位
置に応じて特徴に対する重み付けを変えることで、撮影
者の意図に合ったインデックス精度の絞り込みが可能と
なり、動画素材を表現する場合により適したインデック
ス情報の抽出が可能となる。従って、従来に比べて、種
々の映像素材に対して動画の検索や編集処理の正確さが
格段に向上する。また、映像素材の対象が広がり、種々
の応用範囲へ拡大が可能である。
置に応じて特徴に対する重み付けを変えることで、撮影
者の意図に合ったインデックス精度の絞り込みが可能と
なり、動画素材を表現する場合により適したインデック
ス情報の抽出が可能となる。従って、従来に比べて、種
々の映像素材に対して動画の検索や編集処理の正確さが
格段に向上する。また、映像素材の対象が広がり、種々
の応用範囲へ拡大が可能である。
【0014】
【実施例】以下、図面を参照しながら本発明の一実施例
について説明する。図1は本実施例に係わる本動画処理
装置の構成を示すブロック図である。図1に示すよう
に、動画処理装置は、画像入力部1、フレーム特徴量検
出部2、修正フレーム間特徴量算出部3、動画インデッ
クス判定部4、動画編集部5から構成される。
について説明する。図1は本実施例に係わる本動画処理
装置の構成を示すブロック図である。図1に示すよう
に、動画処理装置は、画像入力部1、フレーム特徴量検
出部2、修正フレーム間特徴量算出部3、動画インデッ
クス判定部4、動画編集部5から構成される。
【0015】画像入力部1は、動画像信号10a
(R),10b(G),10c(B)を入力してデジタ
ルデータに変換(A/D変換)した後、輝度信号(Y)
と色相信号(C1,C2)に信号変換し、フレーム単位
のデジタル輝度信号(Y)20a、及び第一、第二のデ
ジタル色相信号(C1,C2)20b,20cを出力す
る。フレーム特徴量検出部2は、画像入力部1から出力
されたデジタル画像信号20aを入力してフレーム特徴
量を検出し、フレーム特徴量信号30を出力する。フレ
ーム特徴量としては輝度情報がある。
(R),10b(G),10c(B)を入力してデジタ
ルデータに変換(A/D変換)した後、輝度信号(Y)
と色相信号(C1,C2)に信号変換し、フレーム単位
のデジタル輝度信号(Y)20a、及び第一、第二のデ
ジタル色相信号(C1,C2)20b,20cを出力す
る。フレーム特徴量検出部2は、画像入力部1から出力
されたデジタル画像信号20aを入力してフレーム特徴
量を検出し、フレーム特徴量信号30を出力する。フレ
ーム特徴量としては輝度情報がある。
【0016】修正フレーム間特徴量算出部3は、フレー
ム特徴量検出部2から出力されたフレーム特徴量信号3
0を入力し、フレーム内の位置情報に基づいた重み付け
により修正フレーム特徴量を算出し、隣接するフレーム
間の差分情報である動画インデックス判定信号40を出
力する。動画インデックス判定部4は、修正フレーム間
特徴量算出部3から出力された動画インデックス判定信
号40を入力し、動画インデックス情報であるシーン変
化を判定し、シーン変化信号50を出力する。
ム特徴量検出部2から出力されたフレーム特徴量信号3
0を入力し、フレーム内の位置情報に基づいた重み付け
により修正フレーム特徴量を算出し、隣接するフレーム
間の差分情報である動画インデックス判定信号40を出
力する。動画インデックス判定部4は、修正フレーム間
特徴量算出部3から出力された動画インデックス判定信
号40を入力し、動画インデックス情報であるシーン変
化を判定し、シーン変化信号50を出力する。
【0017】動画編集部5は、動画インデックス判定部
4から出力されるシーン変化信号50と、画像入力部1
から出力されるデジタル画像信号20a,20b,20
cを入力し、所望の編集処理を行なう。次に、図1に示
す画像入力部1について、図2に示す詳細ブロック図を
基に説明する。図2に示すように画像入力部1はA/D
変換回路11、信号変換回路12、第一のフレームメモ
リ(A)13a、第一のフレームメモリ(B)13b、
第二のフレームメモリ(A)14a、第二のフレームメ
モリ(B)14b、第三のフレームメモリ(A)15
a、及び第三のフレームメモリ(B)15bによって構
成されている。
4から出力されるシーン変化信号50と、画像入力部1
から出力されるデジタル画像信号20a,20b,20
cを入力し、所望の編集処理を行なう。次に、図1に示
す画像入力部1について、図2に示す詳細ブロック図を
基に説明する。図2に示すように画像入力部1はA/D
変換回路11、信号変換回路12、第一のフレームメモ
リ(A)13a、第一のフレームメモリ(B)13b、
第二のフレームメモリ(A)14a、第二のフレームメ
モリ(B)14b、第三のフレームメモリ(A)15
a、及び第三のフレームメモリ(B)15bによって構
成されている。
【0018】A/D変換回路1は、ビデオ機器等からの
出力信号であるコンポーネント信号(RGB)のアナロ
グ信号10a,10b,10cを入力し、8ビット/画
素のデジタルデータに変換し、信号変換回路12に出力
する。信号変換回路12は、(RGB→YC1C2)変
換し、デジタル輝度信号(Y)及び第一、第二のデジタ
ル色相信号(C1,C2)を、それぞれ第一、第二、第
三のフレームメモリ13a,13b,14a,14b,
15a,15bに出力する。
出力信号であるコンポーネント信号(RGB)のアナロ
グ信号10a,10b,10cを入力し、8ビット/画
素のデジタルデータに変換し、信号変換回路12に出力
する。信号変換回路12は、(RGB→YC1C2)変
換し、デジタル輝度信号(Y)及び第一、第二のデジタ
ル色相信号(C1,C2)を、それぞれ第一、第二、第
三のフレームメモリ13a,13b,14a,14b,
15a,15bに出力する。
【0019】第一のフレームメモリ13a,13bは、
フレーム単位のデジタル輝度信号(Y)20aを、ま
た、第二のフレームメモリ14a,14bは、フレーム
単位の第一のデジタル色相信号(C1)20bを、さら
に、第三のフレームメモリ15a,15bは、フレーム
単位の第二のデジタル色相信号(C1)20bを、記憶
しており、それぞれ読み出される。また、A/D変換回
路11のサンプリングレートは、取り込む画像サイズに
依存するが、例えば12MHzとする。
フレーム単位のデジタル輝度信号(Y)20aを、ま
た、第二のフレームメモリ14a,14bは、フレーム
単位の第一のデジタル色相信号(C1)20bを、さら
に、第三のフレームメモリ15a,15bは、フレーム
単位の第二のデジタル色相信号(C1)20bを、記憶
しており、それぞれ読み出される。また、A/D変換回
路11のサンプリングレートは、取り込む画像サイズに
依存するが、例えば12MHzとする。
【0020】第一、第二、第三のフレームメモリ13
a,13b,14a,14b,15a,15bは、それ
ぞれダブルフレームメモリの構成であり、メモリ容量は
画面サイズ/解像度に応じて決められる。例えば、パー
ソナルコンピュータのVGA(Video Graphics Array)対
応の画面表示を標準に考えると、(640×480)で
あり、(RGB)信号では900KB/フレーム、(Y
C1C2)信号では600KB/フレームのメモリ容量
となる。
a,13b,14a,14b,15a,15bは、それ
ぞれダブルフレームメモリの構成であり、メモリ容量は
画面サイズ/解像度に応じて決められる。例えば、パー
ソナルコンピュータのVGA(Video Graphics Array)対
応の画面表示を標準に考えると、(640×480)で
あり、(RGB)信号では900KB/フレーム、(Y
C1C2)信号では600KB/フレームのメモリ容量
となる。
【0021】フレームメモリ13a,13bから読み出
される輝度信号(Y)であるデジタル画像信号20a
は、フレーム特徴量検出部2に入力される。本実施例で
は、輝度信号に基づくフレーム特徴量検出を目的として
いるので、今回、デジタル画像信号20aが輝度信号で
あるため、フレーム特徴量検出部2では入力信号をその
ままフレーム特徴量信号30として出力する。(複雑な
演算の例としては、ヒストグラム演算や、ある領域単位
の平均化、色相信号の演算などがある。)
される輝度信号(Y)であるデジタル画像信号20a
は、フレーム特徴量検出部2に入力される。本実施例で
は、輝度信号に基づくフレーム特徴量検出を目的として
いるので、今回、デジタル画像信号20aが輝度信号で
あるため、フレーム特徴量検出部2では入力信号をその
ままフレーム特徴量信号30として出力する。(複雑な
演算の例としては、ヒストグラム演算や、ある領域単位
の平均化、色相信号の演算などがある。)
【0022】次に、図1に示す修正フレーム間特徴量検
出部3について、図3に示す詳細ブロック図を基に説明
する。修正フレーム間特徴量検出部3は、図3に示すよ
うに、領域分割回路31、第一の乗算回路33a、第二
の乗算回路33b、…、第十六の乗算回路33p、第一
のバッファメモリ35a、第二のバッファメモリ35
b、…、第十六のバッファメモリ35p、第一の減算回
路36a、第二の減算回路36b、…、第十六の減算回
路36p、第一の加算回路37a、第二の加算回路37
b、…、第十六の加算回路37p、及び平均回路39に
よって構成されている。
出部3について、図3に示す詳細ブロック図を基に説明
する。修正フレーム間特徴量検出部3は、図3に示すよ
うに、領域分割回路31、第一の乗算回路33a、第二
の乗算回路33b、…、第十六の乗算回路33p、第一
のバッファメモリ35a、第二のバッファメモリ35
b、…、第十六のバッファメモリ35p、第一の減算回
路36a、第二の減算回路36b、…、第十六の減算回
路36p、第一の加算回路37a、第二の加算回路37
b、…、第十六の加算回路37p、及び平均回路39に
よって構成されている。
【0023】フレーム特徴量検出部2から出力されたフ
レーム特徴量信号30は、修正フレーム間特徴量算出部
3に入力される。修正フレーム間特徴量算出部3は、フ
レーム内の位置情報に基づいた重み付けにより修正フレ
ーム特徴量を算出し、隣接するフレーム間の差分情報で
ある動画インデックス判定信号40を出力する。フレー
ム特徴量信号30は、領域分割回路31に入力される。
領域分割回路31は、フレーム内をマクロブロック単位
に分割する。ここでは、図5(a)に示すように、フレ
ーム内を均等に16分割(1つのマクロブロックの大き
さを(160×120)画素とする)する。領域分割回
路31は、各マクロブロックについてのフレーム特徴量
信号32a〜32pを、それぞれに対応する第一〜第十
六の乗算回路33a〜33pに出力する。
レーム特徴量信号30は、修正フレーム間特徴量算出部
3に入力される。修正フレーム間特徴量算出部3は、フ
レーム内の位置情報に基づいた重み付けにより修正フレ
ーム特徴量を算出し、隣接するフレーム間の差分情報で
ある動画インデックス判定信号40を出力する。フレー
ム特徴量信号30は、領域分割回路31に入力される。
領域分割回路31は、フレーム内をマクロブロック単位
に分割する。ここでは、図5(a)に示すように、フレ
ーム内を均等に16分割(1つのマクロブロックの大き
さを(160×120)画素とする)する。領域分割回
路31は、各マクロブロックについてのフレーム特徴量
信号32a〜32pを、それぞれに対応する第一〜第十
六の乗算回路33a〜33pに出力する。
【0024】各マクロブロックについての第一、第二、
…、第十六のフレーム特徴量信号32a,32b,…,
32pは、それぞれ第一、第二、…、第十六の乗算回路
33a,33b,…33pに入力される。第一、第二、
…、第十六の乗算回路33a,33b,…33pは、そ
れぞれ、予め設定された重み係数α11,α12,…α44と
乗算することにより、システムの目的に応じて重み付け
した第一、第二、…、第十六の修正フレーム特徴量信号
34a,34b,…34pをマクロブロック単位で出力
する。
…、第十六のフレーム特徴量信号32a,32b,…,
32pは、それぞれ第一、第二、…、第十六の乗算回路
33a,33b,…33pに入力される。第一、第二、
…、第十六の乗算回路33a,33b,…33pは、そ
れぞれ、予め設定された重み係数α11,α12,…α44と
乗算することにより、システムの目的に応じて重み付け
した第一、第二、…、第十六の修正フレーム特徴量信号
34a,34b,…34pをマクロブロック単位で出力
する。
【0025】本実施例では、中心位置の情報は重要であ
り、周辺位置の情報はノイズが多いと考えて、以下に示
すように重み係数の値とした。 α22=α23=α32=α33=1.0 α12=α13=α21=α24=α31=α34=α42=α43=
0.5 α11=α14=α41=α44=0.2
り、周辺位置の情報はノイズが多いと考えて、以下に示
すように重み係数の値とした。 α22=α23=α32=α33=1.0 α12=α13=α21=α24=α31=α34=α42=α43=
0.5 α11=α14=α41=α44=0.2
【0026】従って、修正フレーム特徴量信号(Iij n
(x,y):i,jはマクロブロックの識別番号,nは
フレーム番号,x,yは位置座標)は、フレーム特徴量
信号(Yij n (x,y))を用いて以下の式で表せる。 Iij n (x,y)=αij×Yij n (x,y) …(2) 以上のように算出された各マクロブロックの修正フレー
ム特徴量信号(Iij n(x,y))は、それぞれに対応
する各バッファメモリ35a〜35pに格納される。
(x,y):i,jはマクロブロックの識別番号,nは
フレーム番号,x,yは位置座標)は、フレーム特徴量
信号(Yij n (x,y))を用いて以下の式で表せる。 Iij n (x,y)=αij×Yij n (x,y) …(2) 以上のように算出された各マクロブロックの修正フレー
ム特徴量信号(Iij n(x,y))は、それぞれに対応
する各バッファメモリ35a〜35pに格納される。
【0027】ところで、画像入力部1の第一のフレーム
メモリ(B)13bに基づく修正フレーム特徴量信号2
0aについても同様に、第一の乗算回路33aによって
修正フレーム特徴量信号34aが算出される。この結果
(現フレームに対応した修正フレーム特徴量信号)は、
第一のバッファメモリ35aに格納されている(前フレ
ームに対応した)修正フレーム特徴量信号と同期をとっ
て、各画素単位毎に第一の減算回路36aに入力され
る。
メモリ(B)13bに基づく修正フレーム特徴量信号2
0aについても同様に、第一の乗算回路33aによって
修正フレーム特徴量信号34aが算出される。この結果
(現フレームに対応した修正フレーム特徴量信号)は、
第一のバッファメモリ35aに格納されている(前フレ
ームに対応した)修正フレーム特徴量信号と同期をとっ
て、各画素単位毎に第一の減算回路36aに入力され
る。
【0028】第一の減算回路36aは、現フレームと前
フレームが対応する位置の画素単位で修正フレーム特徴
量信号の差分絶対値を算出し、第一の加算回路37a出
力する。第一の加算回路37aは、マクロブロック単位
で差分絶対値を加算し、その結果得られる第一の修正フ
レーム間特徴量信号38a(ΔI11 n )を平均回路39
に出力する。
フレームが対応する位置の画素単位で修正フレーム特徴
量信号の差分絶対値を算出し、第一の加算回路37a出
力する。第一の加算回路37aは、マクロブロック単位
で差分絶対値を加算し、その結果得られる第一の修正フ
レーム間特徴量信号38a(ΔI11 n )を平均回路39
に出力する。
【0029】同様にして、第二の修正フレーム間特徴量
信号38b(ΔI12 n )、…、第十六の修正フレーム間
特徴量信号38p(ΔI44 n )は、第二のフレーム特徴
量信号32b〜第十六のフレーム特徴量信号32pにつ
いて、それぞれ第二の減算回路36b〜第十六の減算回
路36p、及び第二の加算回路37b〜第十六の加算回
路37pを介して算出される。修正フレーム間特徴量信
号(ΔIij n )は以下の式で表すことができる。
信号38b(ΔI12 n )、…、第十六の修正フレーム間
特徴量信号38p(ΔI44 n )は、第二のフレーム特徴
量信号32b〜第十六のフレーム特徴量信号32pにつ
いて、それぞれ第二の減算回路36b〜第十六の減算回
路36p、及び第二の加算回路37b〜第十六の加算回
路37pを介して算出される。修正フレーム間特徴量信
号(ΔIij n )は以下の式で表すことができる。
【0030】 ΔIijn =Σ|Iijn (x,y)−Iijn-1 (x,y)| …(3) ここで、総和は各マクロブロック内での加算によって求
める。本実施例では、(160×120)画素について
の総和を求める。第一の修正フレーム間特徴量信号38
a〜第十六の修正フレーム間特徴量信号38pは、平均
回路39に入力される。平均回路39は、フレーム内で
の平均値を求め、動画インデックス判定信号40
(Sn )を出力する。動画インデックス判定信号40
(Sn )は以下の式で表される。
める。本実施例では、(160×120)画素について
の総和を求める。第一の修正フレーム間特徴量信号38
a〜第十六の修正フレーム間特徴量信号38pは、平均
回路39に入力される。平均回路39は、フレーム内で
の平均値を求め、動画インデックス判定信号40
(Sn )を出力する。動画インデックス判定信号40
(Sn )は以下の式で表される。
【0031】Sn =ΣΔIij n /16 …(4) ここで、1≦i,j≦4であり、計16個のマクロブロ
ックの総和を求め、その平均値を算出する。
ックの総和を求め、その平均値を算出する。
【0032】次に、本実施例の動画インデックス判定部
4について、図4に示すブロック図を基に説明する。動
画インデックス判定部4は、図4に示す比較回路41を
有している。比較回路41は、修正フレーム間特徴量算
出部3から出力される動画インデックス判定信号40
と、予め設定された閾値信号Thとに基づいてシーン変
化信号50を出力する。判定条件は、動画インデックス
判定信号40(Sn )と閾値信号Thから次の式で示さ
れる。
4について、図4に示すブロック図を基に説明する。動
画インデックス判定部4は、図4に示す比較回路41を
有している。比較回路41は、修正フレーム間特徴量算
出部3から出力される動画インデックス判定信号40
と、予め設定された閾値信号Thとに基づいてシーン変
化信号50を出力する。判定条件は、動画インデックス
判定信号40(Sn )と閾値信号Thから次の式で示さ
れる。
【0033】 Sn ≧ Th :シーン変化 …(5−
1) Sn < Th :連続区間 …(5−
2) 比較回路41は、シーン変化信号50として、シーン変
化の時「1」、連続区間の時「0」を出力する。
1) Sn < Th :連続区間 …(5−
2) 比較回路41は、シーン変化信号50として、シーン変
化の時「1」、連続区間の時「0」を出力する。
【0034】以上の判定条件でシーン変化検出を行い、
種々の動画素材に対して正確な検出が可能である。動画
編集部5では、デジタル画像信号20a,20b,20
cとシーン変化信号50を基に、シーンの削除や各シー
ンの順序の変更などにより所望のシーンからなる動画デ
ータを作成したり、複数の動画素材から新たな動画デー
タを作成する。従って、インデックス情報を有効に利用
できる動画編集システムが構築できる。
種々の動画素材に対して正確な検出が可能である。動画
編集部5では、デジタル画像信号20a,20b,20
cとシーン変化信号50を基に、シーンの削除や各シー
ンの順序の変更などにより所望のシーンからなる動画デ
ータを作成したり、複数の動画素材から新たな動画デー
タを作成する。従って、インデックス情報を有効に利用
できる動画編集システムが構築できる。
【0035】次に本発明の応用例について説明する。前
記実施例では、入力信号として、コンポーネント信号
(RGB)の例を示したが、種々のビデオフォーマット
のビデオ信号を用いることができる。例えば、輝度と色
相が分離した(YUV)(YIQ)信号である。また、
各種のコンポジット信号(NTSC,PAL,SECA
M)もデコーダ部により、コンポーネント信号に変換す
ることで同様に処理することができる。
記実施例では、入力信号として、コンポーネント信号
(RGB)の例を示したが、種々のビデオフォーマット
のビデオ信号を用いることができる。例えば、輝度と色
相が分離した(YUV)(YIQ)信号である。また、
各種のコンポジット信号(NTSC,PAL,SECA
M)もデコーダ部により、コンポーネント信号に変換す
ることで同様に処理することができる。
【0036】また、マクロブロックの分割数は、16に
限定されることなく、種々の分割数で検出しても良い。
分割の方法も、長方格子による均等分割以外にも自由な
領域分割を選択しても良い。例えば、代表的には図5
(b),(c),(d)に示すような分割の方法を用い
ることができる。また、修正フレーム間特徴量算出部3
は、例えば図5(a)〜(d)に示すように分割された
フレーム内の部分的な情報に基づいて、修正フレーム間
特徴量を算出しても良い。例えば、処理対象とする動画
像の1フレーム中の下半部に、ノイズが発生し易かった
り、本来不要な被写体が存在する場合に、上半部の情報
に基づいて修正フレーム間特徴量を算出して動画インデ
ックス判定信号を出力する。この他、上半部に限らず、
映像素材に応じてフレーム内の部分的な情報を選択す
る。
限定されることなく、種々の分割数で検出しても良い。
分割の方法も、長方格子による均等分割以外にも自由な
領域分割を選択しても良い。例えば、代表的には図5
(b),(c),(d)に示すような分割の方法を用い
ることができる。また、修正フレーム間特徴量算出部3
は、例えば図5(a)〜(d)に示すように分割された
フレーム内の部分的な情報に基づいて、修正フレーム間
特徴量を算出しても良い。例えば、処理対象とする動画
像の1フレーム中の下半部に、ノイズが発生し易かった
り、本来不要な被写体が存在する場合に、上半部の情報
に基づいて修正フレーム間特徴量を算出して動画インデ
ックス判定信号を出力する。この他、上半部に限らず、
映像素材に応じてフレーム内の部分的な情報を選択す
る。
【0037】フレーム特徴量信号32a〜32pに対す
る重み付けの係数も前記実施例で用いた値に限定される
ことなく、種々の値を選択できる。また、フレーム特徴
量から先にフレーム間特徴量を算出した後、その結果を
重み係数で修正して、修正フレーム間特徴量信号として
用いても良い。さらに、修正フレーム間特徴量信号40
として、フレーム特徴量の隣接フレーム間の差分情報を
用いたが、隣接フレーム間の相関情報を用いても良い。
また、必ずしも隣接のフレーム間情報を用いる必要はな
く、任意のフレーム数の間のフレーム間情報を用いるこ
とができる。これにより処理時間の削減が可能である。
また、各マクロブロックの修正フレーム間特徴量信号の
平均値を動画インデックス判定信号40としたが、各修
正フレーム間特徴量信号38の総和でも良い。
る重み付けの係数も前記実施例で用いた値に限定される
ことなく、種々の値を選択できる。また、フレーム特徴
量から先にフレーム間特徴量を算出した後、その結果を
重み係数で修正して、修正フレーム間特徴量信号として
用いても良い。さらに、修正フレーム間特徴量信号40
として、フレーム特徴量の隣接フレーム間の差分情報を
用いたが、隣接フレーム間の相関情報を用いても良い。
また、必ずしも隣接のフレーム間情報を用いる必要はな
く、任意のフレーム数の間のフレーム間情報を用いるこ
とができる。これにより処理時間の削減が可能である。
また、各マクロブロックの修正フレーム間特徴量信号の
平均値を動画インデックス判定信号40としたが、各修
正フレーム間特徴量信号38の総和でも良い。
【0038】ところで、動画インデックス特徴量検出部
4は、輝度信号に基づく結果を基にインデックス検出を
行なったが、輝度信号として、画像圧縮処理の基本処理
であるDCT(Discrete cosine transform )の直流
(DC)成分を用いても良い。また、色相信号に基づく
DCT出力結果から行なっても良いし、輝度信号と色相
信号の両者の結果から、インデックス検出を行なっても
よい。さらに、インデックス情報として、シーン変化検
出の例を示したが、動画編集に有効なインデックス情報
であれば種々のものが検出可能である。例えば、変化の
少ない映像中の特徴的なフレームである静止画フレーム
検出、文字が含まれる文字フレーム検出、特定動物体
(車、人等)を含むフレーム検出、特定色(赤色、青
色)フレーム検出等である。以上、本発明の主旨を逸脱
しない範囲で種々の変更を行なっても良い。
4は、輝度信号に基づく結果を基にインデックス検出を
行なったが、輝度信号として、画像圧縮処理の基本処理
であるDCT(Discrete cosine transform )の直流
(DC)成分を用いても良い。また、色相信号に基づく
DCT出力結果から行なっても良いし、輝度信号と色相
信号の両者の結果から、インデックス検出を行なっても
よい。さらに、インデックス情報として、シーン変化検
出の例を示したが、動画編集に有効なインデックス情報
であれば種々のものが検出可能である。例えば、変化の
少ない映像中の特徴的なフレームである静止画フレーム
検出、文字が含まれる文字フレーム検出、特定動物体
(車、人等)を含むフレーム検出、特定色(赤色、青
色)フレーム検出等である。以上、本発明の主旨を逸脱
しない範囲で種々の変更を行なっても良い。
【0039】
【発明の効果】以上のように本発明によれば、フレーム
内の位置情報に基づきフレーム特徴量を修正すること
で、ノイズ成分が多い領域の寄与は低くし、より必要な
情報から動画インデックス情報の検出を行なうので、誤
検出や取りこぼしがない正確な動画インデックス情報の
検出が可能である。また、種々の映像素材に対して寄与
率を適応的に変化させることで、従来困難であった映像
素材にも検索/編集の対象が広がり、種々の応用範囲へ
拡大が可能である。従って、動画情報の登録/検索が簡
単になり、かつ編集効率が高い動画処理装置を提供でき
るものである。
内の位置情報に基づきフレーム特徴量を修正すること
で、ノイズ成分が多い領域の寄与は低くし、より必要な
情報から動画インデックス情報の検出を行なうので、誤
検出や取りこぼしがない正確な動画インデックス情報の
検出が可能である。また、種々の映像素材に対して寄与
率を適応的に変化させることで、従来困難であった映像
素材にも検索/編集の対象が広がり、種々の応用範囲へ
拡大が可能である。従って、動画情報の登録/検索が簡
単になり、かつ編集効率が高い動画処理装置を提供でき
るものである。
【図1】本発明の一実施例に係わる動画処理装置を示す
構成ブロック図。
構成ブロック図。
【図2】本動画処理装置の画像入力部1の詳細な構成を
示すブロック図。
示すブロック図。
【図3】本動画処理装置の修正フレーム間特徴量算出部
3の詳細な構成を示すブロック図。
3の詳細な構成を示すブロック図。
【図4】本動画処理装置の動画インデックス判定部4の
構成を示すブロック図。
構成を示すブロック図。
【図5】フレームの領域分割を説明するための図。
1…画像入力部、2…フレーム特徴量検出部、3…修正
フレーム間特徴量算出部、4…動画インデックス判定
部、5…動画編集部、10a,10b,10c…入力信
号、11…A/D変換回路、12…信号変換回路、13
a,14a,15a…フレームメモリ(A)、13b,
14b,15b…フレームメモリ(B)、20a,20
b,20c…デジタル画像データ信号、30…フレーム
特徴量信号、31…領域分割回路、33a,33b,
…,33p…乗算回路、35a,35b,…,35p…
バッファメモリ、36a,36b,…,36p…減算回
路、37a,37b,…,37p…加算回路、39…平
均回路、40…動画インデックス判定信号、41…比較
回路、50…シーン変化信号。
フレーム間特徴量算出部、4…動画インデックス判定
部、5…動画編集部、10a,10b,10c…入力信
号、11…A/D変換回路、12…信号変換回路、13
a,14a,15a…フレームメモリ(A)、13b,
14b,15b…フレームメモリ(B)、20a,20
b,20c…デジタル画像データ信号、30…フレーム
特徴量信号、31…領域分割回路、33a,33b,
…,33p…乗算回路、35a,35b,…,35p…
バッファメモリ、36a,36b,…,36p…減算回
路、37a,37b,…,37p…加算回路、39…平
均回路、40…動画インデックス判定信号、41…比較
回路、50…シーン変化信号。
Claims (6)
- 【請求項1】 動画像情報をフレーム単位のデジタルデ
ータに変換する画像入力手段と、 前記画像入力手段によって得られたデジタルデータから
フレーム単位の特徴量を検出するフレーム特徴量検出手
段と、 前記フレーム特徴量検出手段によって検出されたフレー
ム単位の特徴量に対してフレーム内の位置に基づく重み
付けにより修正し、修正後のフレーム間の特徴量の変化
を示す修正フレーム間特徴量を算出する修正フレーム間
特徴量算出手段と、 前記修正フレーム間特徴量算出手段によって算出された
修正フレーム間特徴量に基づいて、前記動画像情報に対
する動画インデックス情報を判定する動画インデックス
判定手段と、 を具備したことを特徴とする動画処理装置。 - 【請求項2】 前記フレーム特徴量検出手段は、輝度情
報を検出することを特徴とする請求項1記載の動画処理
装置。 - 【請求項3】 前記修正フレーム間特徴量算出手段は、
フレーム間の差分情報を修正フレーム間特徴量として算
出することを特徴とする請求項1記載の動画処理装置。 - 【請求項4】 前記修正フレーム間特徴量算出手段は、
フレーム間の相関情報を修正フレーム間特徴量として算
出することを特徴とする請求項1記載の動画処理装置。 - 【請求項5】 前記修正フレーム間特徴量算出手段は、
フレーム内の部分的な情報に基づき修正フレーム間特徴
量を算出することを特徴とする請求項1、請求項2、請
求項3、または請求項4記載の動画処理装置。 - 【請求項6】 前記修正フレーム間特徴量算出手段は、
フレーム内の上半部の情報に基づき動画インデックス判
定信号を算出することを特徴とする請求項1、請求項
2、請求項3、または請求項4記載の動画処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5054328A JPH06268960A (ja) | 1993-03-15 | 1993-03-15 | 動画処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5054328A JPH06268960A (ja) | 1993-03-15 | 1993-03-15 | 動画処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06268960A true JPH06268960A (ja) | 1994-09-22 |
Family
ID=12967528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5054328A Pending JPH06268960A (ja) | 1993-03-15 | 1993-03-15 | 動画処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06268960A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351105A (ja) * | 2000-04-17 | 2001-12-21 | Thomson Multimedia Sa | 一連のビデオ画像中のショット変化を検出する方法 |
-
1993
- 1993-03-15 JP JP5054328A patent/JPH06268960A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001351105A (ja) * | 2000-04-17 | 2001-12-21 | Thomson Multimedia Sa | 一連のビデオ画像中のショット変化を検出する方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8254677B2 (en) | Detection apparatus, detection method, and computer program | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| US6618491B1 (en) | Moving image processor capable of outputting moving image as still image | |
| US7321699B2 (en) | Signal intensity range transformation apparatus and method | |
| KR100548611B1 (ko) | 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법 | |
| CN102572502B (zh) | 一种用于视频质量评价的关键帧的选取方法 | |
| KR930000033B1 (ko) | 에지검출을 이용한 양자화폭 조정회로 | |
| CN109543487B (zh) | 一种基于条码边缘分割的自动感应触发方法及其系统 | |
| US8311269B2 (en) | Blocker image identification apparatus and method | |
| JP4612845B2 (ja) | 画像処理装置およびその方法 | |
| US20040080631A1 (en) | Image processing circuit | |
| US5798948A (en) | Method and apparatus for video filtering | |
| US20060114994A1 (en) | Noise reduction in a digital video | |
| CN104298961B (zh) | 基于口型识别的视频编排方法 | |
| JPH0636026A (ja) | 動画像処理装置 | |
| JP2971724B2 (ja) | 動画像のカット点検出装置 | |
| JP3143494B2 (ja) | 動きベクトル装置及びその方法 | |
| JPH06268960A (ja) | 動画処理装置 | |
| JP2000348189A (ja) | 画像処理装置 | |
| EP0654941A2 (en) | Motion detection circuit and method using spatial information | |
| CN115311321B (zh) | 背景替换方法、装置、电子设备和存储介质 | |
| JPH0636030A (ja) | 動画像処理装置 | |
| JP2916057B2 (ja) | 動画像の顔領域抽出装置 | |
| JP5178933B1 (ja) | 画像処理装置 | |
| JPH0448030B2 (ja) |