JPH06350972A - 画像信号の動き検出装置 - Google Patents

Abstract

(57)【要約】 【目的】 髪の毛のような細かい画像に対しても、検出
ミスのない正確な動き検出を可能な動き検出を可能にす
る。 【構成】 １フレーム間差信号を求める第１の検出回路
２１、２フレーム間差信号を求める第２の検出回路２
２、これら両検出回路２１、２２の出力信号を合成する
合成回路１０、該合成回路の出力信号を時空間フィルタ
処理する時空間フィルタ回路２３、合成回路１０の出力
信号と１フレーム前の時空間フィルタ処理後の信号との
相関を検出する比較回路１６、インタレース走査の画像
信号をフレーム単位の画像信号に変換するフレーム合成
回路１７、検出対象画素の信号レベルと同レベルの信号
が検出対象画素から比較範囲ｍ×ｎの外縁まで続いたと
きに時空間フィルタ処理をＯＦＦにする信号を出力する
制御回路１８、比較回路１６と制御回路１８の出力信号
をＯＲ処理して切替回路２０に出力する合成回路１９と
を備えたものである。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ディジタル化した画像
信号にて、動き適応型信号処理回路を制御するための動
き検出信号を、フレーム間差信号を基に検出した差分動
き信号に画像内容によって異なる時空間フィルタ処理を
行ない生成する、画像信号の動き検出装置に関するもの
である。

【０００２】

【従来の技術】一般的に、従来の画像信号の動き検出装
置としては、現行カラーテレビジョンの画像信号から画
像の動きを検出し、この検出された動き信号の制御で動
き画像と静止画像で信号処理を切替える動き適応処理を
行なうことにより、画質を向上させることができる。主
な動き適応処理には、動き適応ＹＣ分離と動き適応走査
線補間とがあり、両者共、画質改善に効果がある。

【０００３】ここで、動き適応ＹＣ分離とは、画像の動
きが小さい場合はＹ信号をフレーム間の和をとることで
分離し、Ｃ信号をフレーム間の差をとり分離を行なうこ
とで完全にＹ信号とＣ信号との成分を分離して、クロス
カラーやクロスルミナンス等の成分を取り除くことがで
きる処理である。また、画像の動きの大きい場合はフィ
ールド内処理でＹＣ分離を行なう適応処理をしている。

【０００４】動き適応走査線補間とは、画像の動きの小
さい場合はフィールド間で補間を行ない、画像の動きの
大きい場合はフィールド内で補間を行なう処理のことで
ある。

【０００５】このような信号処理を行なうための動き信
号を検出する有効な手段としては、現行テレビジョン画
像信号の１フレーム間差信号の低周波成分に基づいて第
１の検出回路により画像の動きを検出し、２フレーム間
差信号に基づいて第２の検出回路により画像の動きを検
出し、前記２つの検出回路の出力信号を合成した後にフ
ィールドメモリを用いた時空間フィルタ回路によるフィ
ルタ処理を行なうことにより、現行テレビジョンの画像
信号全帯域に動き情報を検出でき、また輝度差が小さく
色のみが変化しているような画像の動きの速い画像に対
しても、画像の動きを正確に検出することができる。

【０００６】しかし、例えばハンディーカメラで文字や
細かい絵柄があるシーンを撮影した場合に、撮影時の微
妙なぶれによって静止画であるにもかかわらず部分的に
動画であると誤判定してしまい、しかも時空間フィルタ
回路によるフィルタ処理で、その誤判定による動き検出
が時空間に広がってしまうという問題点があった。

【０００７】そこで、このような問題点を解消するため
の動き検出回路が提案されてきた。図５は該問題点を解
消する特開平３−０７７４９５号公報に開示された従来
の動き検出回路の一例を示すブロック回路図である。

【０００８】この従来技術では、時間方向に相関性のな
い動き検出がなされた場合には、時空間フィルタ回路に
よるフィルタ処理効果をなくすことにより、上記問題点
を解消している。

【０００９】図５において、まず、入力したＮＴＳＣ方
式のアナログテレビジョン信号をアナログ／ディジタル
変換回路１でディジタル信号に変換する。このディジタ
ル化したテレビジョン信号を第１の検出回路２１に入力
して輝度信号低域成分の動きを検出する。

【００１０】第１の検出回路２１では、まず、ディジタ
ル化したテレビジョン信号をフレームメモリ５に入力し
て１フレーム遅延し、この遅延したテレビジョン信号と
前記フレームメモリ５に入力されるテレビジョン信号と
を減算回路６に供給して、１フレーム間の差信号を得
る。このように得られた１フレーム間差信号を低域通過
フィルタ（ＬＰＦ）７に供給して色信号帯域を除去する
ことにより、低域通過フィルタ７の出力の輝度信号低域
成分に相当する動き情報を得る。

【００１１】この時、低域通過フィルタ７の出力が零の
ときは静止、出力が零以外の時は動きがあると判断でき
る。低域通過フィルタ７の出力信号には正負の極性があ
るので、絶対値回路（ＡＢＳ）８に入力して絶対値を求
める。絶対値回路８の出力は変換回路９で、例えば、図
６に示すような入出力特性で非線形に変換され、低いレ
ベルの信号に入力に対しては出力を零にすることでノイ
ズの影響を除去している。

【００１２】一方、アナログ／ディジタル変換回路１か
らのディジタル化したテレビジョン信号を帯域通過フィ
ルタ２に入力し、色信号帯域の信号を取り出す。この帯
域通過フィルタ２の出力信号に含まれたバースト信号の
レベルを一定とするように動作するＡＣＣの働きによ
り、ＡＣＣ用増幅回路３の出力には伝送路の周波数特性
による色信号レベルの変動が補正された、ほぼ一定の信
号を得ている。

【００１３】この後、色復調回路４で色信号の復調を行
なうが、色復調回路４ではフレーム間での色副搬送波の
位相の反転を打ち消すように働く。色復調回路４の出力
信号を第２の検出回路２２に入力して色信号帯域の信号
の動きを検出する。

【００１４】まず、色復調回路４の出力を連続した２つ
のフレームメモリ５Ａに入力して２フレーム遅延する。
次に、減算回路６Ａに該色復調回路４の出力信号とこの
出力信号を２つのフレームメモリ５Ａによって２フレー
ム遅延した信号とを供給し、２フレーム間差信号を得
る。２フレーム離れた信号においては色信号、輝度信号
の高周波成分ともに位相は揃っており、静止画であれば
２フレーム間差は零になるので、２フレーム間差信号が
零以外の時は動きがあると判定できる。さらに絶対値回
路（ＡＢＳ）８Ａ及び変換回路９Ａは、第１の検出回路
２１の絶対値回路８及び変換回路９と同様の動作をす
る。

【００１５】上記第１の検出回路２１の出力信号と第２
の検出回路２２の出力信号とを合成回路１０に供給して
合成する。これにより、該合成回路１０からはテレビジ
ョン画像信号の全帯域の信号の動き情報が得られる。該
合成回路１０は、例えば２つの入力信号のどちらかが大
きい方の信号を選択する方法で実現できる。また、合成
回路１０の出力信号は時空間フィルタ２３と切替回路２
０と比較回路１６とに入力される。時空間フィルタ２３
では、合成回路１０の出力信号と時空間フィルタ回路２
３の出力を係数回路１１でα倍（０＜α＜１）した後
に、第１のフィールドメモリ１２及びラインメモリ１３
によって２６２Ｈ期間及び２６３Ｈ期間遅延した各信号
の最大値を最大値選択回路１４で求め、その後に水平フ
ィルタ回路１５により水平フィルタ処理を行なう。

【００１６】一方、ラインメモリ１３の出力信号は、第
２のフィールドメモリ２７に入力され、合成回路１０の
出力信号に対して５２５Ｈ期間遅延した信号として出力
される。このフィールドメモリ２７からの出力信号は比
較回路１６に入力される。比較回路１６では、合成回路
１０の出力と、１フレーム前の時空間フィルタ処理後の
信号、つまり第２のフィールドメモリ２７の出力との相
関性を検出する。また、時空間フィルタ２３の出力信号
は切替回路２０に入力される。比較回路１６の出力信号
は切替回路２０に入力され、切替回路２０は比較回路１
６の出力信号により、入力される合成回路１０の出力信
号と時空間フィルタ回路２３の出力信号を選択して動き
検出信号として出力する。

【００１７】以上のように、上記従来技術では、動き検
出信号の時空間方向の相関性を検出し、該相関性が大き
い時は時空間フィルタ処理を行なった信号を動き信号と
し、また相関性の小さい時は時空間フィルタ処理する前
の信号を動き信号とすることにより、物体の速い動きで
の検出ミスを防ぎ、静止画における誤検出を少なくし、
シーンチェンジ時の不自然さのない良好な動き検出が行
なわれる。

【００１８】

【発明が解決しようとする課題】上記従来技術では、１
フレーム差分または２フレーム差分を基に検出した動き
信号に時空間フィルタ処理を行ない、該時空間処理を行
なう前の信号と１フレーム前の時空間フィルタ処理後の
信号の相関性を調べることで、時空間フィルタ処理のＯ
Ｎ／ＯＦＦを行ない、精度の高い動き検出を行なってい
る。しかし図７に示す例のような画像の時は誤検出をし
てしまう。

【００１９】図７は静止している髪の毛のような細かい
線の背景が静止から動きに移るものであり、画像信号の
変化は輝度信号のみで動き信号は２値とした。図中の桝
目は画素を表し、検出対象画素は第２フィールドの２ラ
イン目の真中の桝目とし、また動き信号の数字は、”
０”が静止を示し、”１”が動きを示す。

【００２０】また、図７の例では、１フレーム前の検出
対象画素の時空間フィルタ後の値は静止を示す”０”で
あり、現フレームの検出対象画素の時空間フィルタ処理
前の動き信号は静止を表す”０”である。したがって相
関性は大きいとみなされ、本来静止であるが現フレーム
の時空間フィルタ後の信号の動きを表す”１”が出力さ
れてしまい、動き検出ミスが発生してしまう。また、こ
の図７の例では背景の全てが動いているが、検出対象画
素近傍の一部の背景が動いただけでも時空間フィルタの
影響により同様な検出ミスが発生する。

【００２１】本発明の目的は、上記従来例では検出ミス
となってしまう画像に対しても、検出ミスとならない正
確な動き検出を行なうことができる動き検出装置を提供
することにある。

【００２２】

【課題を解決するための手段】上記目的を達成するため
に本発明は、画像信号のフレーム間差を基にして検出対
象画素の動きを検出する動き検出回路と、前記動き検出
回路の出力を時間方向と空間方向の少なくとも一方のフ
ィルタ処理を行なう時空間フィルタ回路と、前記検出対
象画素と前記検出対象画素の周辺ｍ×ｎ画素において、
前記両画素の画像信号レベル及び前記両画素の前記動き
検出回路の出力レベルの少なくとも一方の比較により前
記時空間フィルタ回路を制御する制御回路を有するもの
である。

【００２３】また、本発明の前記制御回路は、前記検出
対象画素と同レベルの画像信号と動き検出回路の出力の
少なくとも一方が、前記周辺画素ｍ×ｎ範囲の外縁まで
続いている場合に前記時空間フィルタ回路の処理をＯＦ
Ｆに制御するものである。

【００２４】

【作用】上記の構成により、時空間フィルタ回路は、常
に差分信号を基にした動き信号に時空間フィルタリング
処理を行なっているが、動き検出対象画素の周辺のｍ×
ｎ範囲で、各画素の画像信号レベルを調べ、ｍ×ｎ範囲
の外縁まで対象画素と同レベルの画素が続いている場
合、フィルタリング処理をＯＦＦにする。よって、検出
対象画素近傍の一部の背景が動いても、動き検出ミスの
発生を防止して、正確な動き検出が可能になる。

【００２５】

【実施例】以下、本発明の実施例について図面を参照し
ながら説明する。

【００２６】図１は、本発明による画像信号の動き検出
装置の一実施例を示す構成図であり、検出対象画素の画
像信号レベルと周辺画素の画像信号レベルとを比較する
ことにより、時空間フィルタのＯＮ／ＯＦＦを行なうも
のである。

【００２７】図１において、図５と同一の部分には同一
符号を付して説明すると、１フレーム間差信号を求める
第１の検出回路２１、２フレーム間差信号を求める第２
の検出回路２２、第１検出回路２１の出力と第２の検出
回路２２の出力を合成する第一の合成回路１０、第１の
合成回路１０の出力を時空間フィルタ処理する時空間フ
ィルタ回路２３、第２のフィールドメモリ２７及び比較
回路１６は図５と同一であり、図５と異なる点は、フレ
ーム合成回路１７、制御回路１８および第２の合成回路
１９を新たに付加したところにある。

【００２８】フレーム合成回路１７は、フィールド単位
で入力されるインターレース走査の画像信号をフレーム
単位の順次操作の画像信号に変換し出力する。制御回路
１８はフレーム合成回路１７の出力信号を入力し、検出
対象画素の周辺ｍ×ｎ範囲で検出対象画素と各周辺画素
との画像信号レベルを比較し、検出対象画素の信号レベ
ルと同レベルの信号が検出対象画素から比較範囲ｍ×ｎ
の外縁まで続いていた時、時間フィルタ処理をＯＦＦに
する信号を出力する。

【００２９】また、第２の合成回路１９は比較回路１６
の出力信号と制御回路１８の出力信号との論理和を求
め、この論理和信号を切替回路２０に切替信号として出
力する。

【００３０】図２は、制御回路１８において、検出対象
画素の画像信号レベルと同じレベルの画像信号が、検出
対象画素から直線で比較範囲の外縁まで続く場合に時空
間フィルタをＯＦＦにする場合の比較説明図であり、比
較範囲ｍ×ｎはｍ＝５、ｎ＝５、即ち水平５画素・垂直
５画素として、画素２Ｃを検出対象画素とする。

【００３１】この図２において、時空間フィルタをＯＦ
Ｆにするパターンは８パターンである。すなわち、画像
信号が２ｃ＝１ｂ ａｎｄ２ｃ＝０ａ、２ｃ＝１ｃ ａ
ｎｄ２ｃ＝０ｃ、２ｃ＝１ｄ ａｎｄ２ｃ＝０ｅ、２ｃ
＝２ｄ ａｎｄ２ｃ＝２ｅ、２ｃ＝３ｄ ａｎｄ２ｃ＝
４ｅ、２ｃ＝３ｃ ａｎｄ２ｃ＝４ｃ、２ｃ＝３ｂａｎ
ｄ２ｃ＝４ａ、２ｃ＝２ｂ ａｎｄ２ｃ＝２ａの場合の
８通りである。

【００３２】図３は、図２の８パターンに相当する、検
出対象画素と１６個の画素との比較結果に基づき制御信
号を生成するための制御回路１８の内部構成例を示すブ
ロック図である。

【００３３】制御回路１８は、図３に示すように、画像
信号である検出対象画素２ｃと１６個の画素０ａ、０
ｃ、０ｅ、１ｂ、１ｃ、１ｄ、２ａ、２ｂ、２ｄ、２
ｅ、３ｂ、３ｃ、３ｄ、４ａ、４ｃ、４ｅ、とをそれぞ
れ比較する１６個の比較回路２４と、この１６個の比較
回路２４のうち異なる２個ずつの比較出力の論理積をと
る８個のＡＮＤ回路２５と、この８個のＡＮＤ回路２５
の出力の論理和をとるＯＲ回路２６とから構成される。

【００３４】上記構成の制御回路１８において、１６個
の比較回路２４では、これにそれぞれ入力される２つの
画像信号である検出対象画素２ｃと１６個の画素の１
つ、すなわち画素２ｃと０ａ、画素２ｃと１ｂ、画素２
ｃと０ｃ、画素２ｃと１ｃ、画素２ｃと０ｅ、画素２ｃ
と１ｄ、画素２ｃと２ｅ、画素２ｃと２ｄ、画素２ｃと
４ｅ、画素２ｃと３ｄ、画素２ｃと４ｃ、画素２ｃと３
ｃ、画素２ｃと４ａ、画素２ｃと３ｂ、画素２ｃと２
ａ、画素２ｃと２ｂをそれぞれ比較する。

【００３５】そして、１６個の各比較回路２４から出力
される比較信号のうち２つずつが対応する８個のＡＮＤ
回路２５にそれぞれ入力され、論理積演算することによ
り、図２に示す８パターンの時空間フィルタ２３をＯＦ
Ｆにする制御信号を生成する。

【００３６】一方ＯＲ回路２６は、８個のＡＮＤ回路２
５の出力信号を入力して、８パターンの１つでも成り立
つときに時空間フィルタ２３をＯＦＦにする信号を出力
する。また、８パターンが１つも成り立たない場合は、
時空間フィルタ２３をＯＮにする信号を出力する。

【００３７】次に、第２の合成回路１９の動作について
説明する。第２の合成回路１９には、第１の合成回路１
０の出力と１フレーム前の時空間フィルタ処理後の信
号、つまり第２のフィールドメモリ２７の出力との相関
性を検出する比較回路１６の出力信号と、制御回路１８
の出力信号とが入力される。この第２の合成回路１９は
一種のＯＲ回路であり、このため、上記２入力のうちの
いずれか一方が時空間フィルタ２３をＯＦＦにする信号
であるときは、第２の合成回路１９は時空間フィルタ２
３をＯＦＦにする信号を切替回路２０に対し出力する。
また、２入力が共に時空間フィルタ２３をＯＮにする信
号であるときは、時空間フィルタ２３をＯＮにする信号
を出力する。

【００３８】切替回路２０では、第２の合成回路１９か
らの出力信号により、時空間フィルタ処理前の信号であ
る第１の合成回路１０の出力信号と、時空間フィルタ処
理後の出力である時空間フィルタ２３の出力信号とを選
択的に切り替えて出力する。

【００３９】なお、時空間フィルタをＯＦＦにするパタ
ーンは、本実施例では検出対象画素の画像信号レベルと
同じレベルの画像信号が検出対象画素から直線で比較範
囲ｍ×ｎの外縁まで続く場合であるが、曲線で検出対象
画素から比較範囲ｍ×ｎの外縁まで続く場合も時空間フ
ィルタをＯＦＦにするパターンとすることもできる。

【００４０】このように上記実施例によれば、従来の動
き検出と同様に、輝度差が小さく色のみが変化している
画像や動きの速い画像に対しても画像の動きを正確に検
出できることは勿論のこと、検出対象画素と周辺画素の
ｍ×ｎの画像信号やフレーム間差信号を基にした動き信
号の比較により時空間フィルタをＯＮ／ＯＦＦすること
で髪の毛のような細かい物体の含まれる画像に対しても
正確に動き検出が可能になる。

【００４１】図４は、本発明における動き検出装置の他
の実施例を示すブロック図である。図４において、図１
と同一の部分には同一符号を付して説明すると、１フレ
ーム間差を求める第１の検出回路２１、２フレーム間差
を求める第２の検出回路２２、第１の検出回路２１の出
力と第２の検出回路２２の出力を合成する第一の合成回
路１０、第１の合成回路１０の出力を時空間フィルタ処
理する時空間フィルタ回路２３、第２のフィールドメモ
リ２７及び第１の比較回路１６は図１と同一であり、図
１と異なる点は、第１の合成回路１０の出力端と第２の
合成回路１９の一方の入力端間にフレーム合成回路１７
と制御回路１８を直列に接続したところにあり、これに
より、検出対象画素の画像信号の１フレーム間差信号と
２フレーム間差信号を基にした動き信号と周辺画素ｍ×
ｎの同様にして生成した動き信号との比較により時空間
フィルタをＯＮ／ＯＦＦするものである。

【００４２】なお、図４におけるフレーム合成回路１
７、制御回路１８、第２の合成回路１９および切替回路
２０は図１に示す場合と同様に動作して、時空間フィル
タ処理のＯＮ／ＯＦＦ制御を行ない動き信号を出力す
る。

【００４３】

【発明の効果】本発明は上記実施例より明らかなよう
に、画像信号の１フレーム間差信号と２フレーム間差信
号を基に動き信号を生成し、この動き信号に検出対象画
素と周辺ｍ×ｎ画素の画像信号やフレーム間差信号を基
にした動き信号の比較によりＯＮ／ＯＦＦを制御された
時空間フィルタ処理を行なうことにより、輝度差が小さ
く色のみが変化している画像や動きの速い画像に対して
も画像の動きを正確に検出でき、さらに髪の毛のような
細かい物体の含まれる画像に対しても精度の高い動き検
出ができるという効果がある。

【図面の簡単な説明】

【図１】本発明の一実施例における画像信号の動き検出
装置の構成を示すブロック図

【図２】本実施例における制御回路の時空間フィルタフ
ィルタのＯＦＦ信号生成パターンの説明図

【図３】本実施例における制御回路の構成例を示すブロ
ック図

【図４】本発明の他の実施例における画像信号の動き検
出装置の構成を示すブロック図

【図５】従来の動き検出装置の一例を示すブロック図

【図６】従来における変換回路の変換特性を示す図

【図７】従来の動き検出装置の問題点を説明するための
図

【符号の説明】

１ Ａ／Ｄ変換回路 ２ 帯域通過フィルタ回路 ３ ＡＣＣ用増幅回路 ４ 色復調回路 ５ フレームメモリ回路 ６、６Ａ 減算回路 ７、７Ａ 低域通過フィルタ回路 ８、８Ａ 絶対値回路 ９、９Ａ 変換回路 １０ 第１の合成回路 １１ 係数回路 １２ 第１のフィールドメモリ回路 １３ ラインメモリ回路 １４ 最大値選択回路 １５ 水平フィルタ回路 １６ 第１の比較回路 １７ フレーム合成回路 １８ 制御回路 １９ 第２の合成回路 ２０ 切替回路 ２１ 第１の動き検出回路 ２２ 第２の動き検出回路 ２３ 時空間フィルタ回路 ２４ 第２の比較回路 ２５ ＡＮＤ回路 ２６ ＯＲ回路 ２７ 第２のフィールドメモリ回路

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｈ０４Ｎ 9/64 Ｚ 8942−5Ｃ 11/04 Ｂ 7337−5Ｃ

Claims (2)

【特許請求の範囲】
1. 【請求項１】 画像信号のフレーム間差を基にして検出
   対象画素の動きを検出する動き検出回路と、前記動き検
   出回路の出力を時間方向と空間方向の少なくとも一方の
   フィルタ処理を行なう時空間フィルタ回路と、前記検出
   対象画素と前記検出対象画素の周辺ｍ×ｎ画素におい
   て、前記両画素の画像信号レベル及び前記両画素の前記
   動き検出回路の出力レベルの少なくとも一方の比較によ
   り前記時空間フィルタ回路を制御する制御回路を有する
   ことを特徴とする画像信号の動き検出装置。
2. 【請求項２】 前記制御回路は、前記検出対象画素と同
   レベルの画像信号と動き検出回路の出力の少なくとも一
   方が、前記周辺画素ｍ×ｎ範囲の外縁まで続いている場
   合に前記時空間フィルタ回路の処理をＯＦＦに制御する
   ことを特徴とする請求項１記載の画像信号の動き検出装
   置。