JPH07105949B2 - 画像の動きベクトル検出装置および揺れ補正装置 - Google Patents

画像の動きベクトル検出装置および揺れ補正装置

Info

Publication number
JPH07105949B2
JPH07105949B2 JP6820589A JP6820589A JPH07105949B2 JP H07105949 B2 JPH07105949 B2 JP H07105949B2 JP 6820589 A JP6820589 A JP 6820589A JP 6820589 A JP6820589 A JP 6820589A JP H07105949 B2 JPH07105949 B2 JP H07105949B2
Authority
JP
Japan
Prior art keywords
motion vector
image
output
field
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP6820589A
Other languages
English (en)
Other versions
JPH02246686A (ja
Inventor
浩史 石井
森村　　淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP6820589A priority Critical patent/JPH07105949B2/ja
Priority to EP19900302783 priority patent/EP0392671B1/en
Priority to DE69022461T priority patent/DE69022461T2/de
Priority to KR1019900003759A priority patent/KR930002613B1/ko
Publication of JPH02246686A publication Critical patent/JPH02246686A/ja
Priority to US07/769,521 priority patent/US5157732A/en
Publication of JPH07105949B2 publication Critical patent/JPH07105949B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)
  • Color Television Systems (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】 産業上の利用分野 本発明は画像の動きベクトル検出および画像の揺れ補正
の画像処理に関するものである。
従来の技術 近年、画像の動きベクトル検出および平滑化信号処理装
置としては、特開昭61-107886号公報に示されている。
以下に従来の画像の動きベクトル検出および平滑化信号
処理装置について説明する。第５図は従来の画像の動き
ベクトル平滑化回路を用いた動きベクトル検出装置のブ
ロック図である。また第６図はその動作を説明するため
の略線図である。第５図において、１は画像信号入力端
子である。２は代表点メモリで、入力される画像信号の
うち代表点にあたる画素の信号を記憶する。３は差分・
絶対値変換器で、入力の差の絶対値を出力する。４は累
計加算器、５は最小点検出回路である。６は選択手段で
ある。７は動きベクトル平滑手段である。また第４図a,
bにおいて８は画面であり9a〜9dは動きベクトル検出領
域であり、10a〜10dはその各領域からそれぞれ検出され
る動きベクトルである。
以上のように構成された従来例の画像の動きベクトル検
出装置について以下その動作を説明する。まず入力端子
１に時間的に連続する画像信号が入力される。代表点メ
モリ２では、まず予め画面８の各検出領域9a〜9d中に複
数の代表点が決められており、入力画像信号のうち代表
点の位置にあたる画素の信号を記憶する。差分・絶対値
変換器３はは前フィールドの代表点の位置の信号と、現
フィールドの代表点から（水平方向i,垂直方向ｊ）偏移
した位置の信号との差の絶対値｜ΔL|（i,j）を求め
る。累積加算器４には、各検出領域9a〜9dについて中偏
移（i,j）に対応するテーブルがあり、差分・絶対値変
換器３からの信号を偏移（i,j）別に累計加算し、これ
を偏移（i,j）における相関値Σ｜ΔL|（i,j）とする。
最小点検出回路５では、その相関値の最小値を与える偏
移（ｉ′,j′）を検出し、各検出領域9a〜9dの動きベク
トル10a〜10dとしてそれぞれ出力する。選択手段６は各
検出領域の動きベクトル10a〜10dより画面全体の動きベ
クトルを求める。動きベクトル平滑手段７ではフィール
ド毎に得られる動きベクトルについて下式に示すように
時間的に平滑化した値を出力する。
Vo（ｋ）＝Ｗ（ｋ）×Vi（ｋ）＋（１−Ｗ（ｋ））×Vo
（ｋ−１） （ただし、Vi（ｋ）は、ｋ番目のフィールドの入力動き
ベクトル、Vo（ｋ）は、ｋ番目のフィールドの出力動き
ベクトル、Ｗ（ｋ）は、ｋ番目のフィールドの重み係数
である。） これは動きベクトルを時間軸方向に平滑化処理を施すこ
とにより、選択手段６で検出される画面全体の動きベク
トルが誤ベクトルであった場合に、誤ベクトルによる動
きベクトルの時間的不連続を低減し、動き補正を行った
場合の視覚特性の向上を図る。
なお、Ｗ（ｋ）はシーンチェンジ等の場合は１とし速い
変化に追従し、定常状態には1/8程度にして雑音除去効
果を大とする。
しかしながら、この従来の画像の動きベクトル平滑化回
路を用いた動きベクトル検出装置をたとえば画像の揺れ
の補正に用いた場合以下のような課題が発生する。
まず画像の揺れの補正は、画像信号を１フィールド、メ
モリに記憶しておき、またその間そのフィールドの、１
フィールド前からの画面全体の動きベクトルを検出し、
その動きを補正する方向でメモリからの読みだし位置を
フィールド毎にシフトすることによってなされる。
したがって、メモリからの読出位置は原則的に検出され
る動きベクトルを積分した値によって決まる。そこでこ
の従来の画像の動きベクトル平滑化回路を用いた動きベ
クトル検出装置による揺れ補正の動作を第７図a,b,cを
用いて以下に説明する。第７図ａは、あるフィールドで
選択手段６で検出される画面全体の動きベクトルが誤ベ
クトルであった場合のその誤差を示したものであり、第
７図ｂは、そのときの動きベクトル平滑手段７の出力で
生じる誤差を示したものであり、第７図ｃは、それを積
分したときの積分誤差を示したものである。
あるフィールドにおいて、選択手段６で検出される画面
全体の動きベクトルが誤ベクトルであり、第７図ａに示
すように誤差20が生じた場合に、動きベクトル平滑手段
７の出力での誤差は第７図ｂに示すように、誤ベクトル
による動きベクトルの時間的不連続は低減されるが、発
生した誤ベクトルの誤差は、数フィールドにわたって平
滑化されるだけであるので、検出される動きベクトルを
積分した値に蓄積される誤差は第７図ｃに示すようにな
り、その最終的積分誤差の値21は低減されない。したが
って揺れ補正においてはこの発生した誤ベクトルの誤差
の影響を直接受け、補正画像がこの誤差の逆方向にシフ
トするといった誤動作が生じる。
また平滑化によって動きベクトルに遅れ時間が発生する
ので、揺れ補正画面においては、揺れの低周波成分だけ
が補正され、揺れの高周波成分は補正されずに残るの
で、視覚上不自然さが感じられるものとなってしまう。
発明が解決しようとする課題 以上のように従来の画像の動きベクトル平滑化回路を用
いた動きベクトル検出装置は、画像の揺れの補正に用い
た場合、誤動作や視覚上不自然さの欠点を有していた。
本発明は上記従来の課題を解決するもので、確率的に発
生する誤ベクトルの誤差の影響を効果的に低減し、かつ
遅れ時間の発生を抑えた画像の動きベクトル検出装置お
よび、視覚上不自然さを感じさせない良好な補正画像が
得られる画像の揺れの補正装置を提供することを目的と
する。
課題を解決するための手段 上記目的を達成するため、本発明の動きベクトル検出装
置は、時間的に連続して入力される画像信号について、
画面中に複数の動きベクトルの検出領域を有し、各検出
領域において動きベクトルを検出する手段と、各領域に
おける動きベクトルの信頼性を判定する手段と、現フィ
ールドにおいて、信頼性ありと判定された動きベクトル
の集合の要素数が所定の数未満の場合、前フィールドま
でに得られた動きベクトルまたはそこから現フィールド
で予測される動きベクトルをその集合に加える手段と、
前記集合から画面全体の動きベクトルを決定する手段を
有する構成である。
また、本発明の画像の揺れ補正装置は、時間的に連続し
て入力される画像信号について、画面中に複数の動きベ
クトルの検出領域を有し、各検出領域において動きベク
トルを検出する手段と、各領域における動きベクトルの
信頼性を判定する手段と、現フィールドにおいて、信頼
性ありと判定された動きベクトルの集合の要素数が所定
の数未満の場合、前フィールドまでに得られた動きベク
トルまたはそこから現フィールドで予測される動きベク
トルをその集合に加える手段と、前記集合から画面全体
の動きベクトルを決定する手段と、画像信号を記憶する
メモリと、前記画面全体の動きベクトルをもとに前記メ
モリから画像信号を読み出す位置を制御する手段を有す
る構成である。
作用 本発明は上記構成により、現フィールドで信頼性ありと
判定された領域の動きベクトルの数が所定の数未満の場
合のみ、前フィールド以前の出力の動きベクトルまたは
現フィールドで予測される動きベクトルを、その集合に
加え、この集合から画面全体の動きベクトルを決定する
ので、検出されるベクトルに遅れ時間が発生する確率が
非常に少ない。
したがって揺れ補正された画面では、揺れの高周波成分
が補正されずに残るといった問題はほとんど発生しな
い。またたとえ極まれにその問題が発生した場合でも、
それは現フィールドで信頼性有りと判定された領域の動
きベクトルの数が所定の数未満の場合のみであり、これ
は画像内で移動物が激しく動いている場合やノイズが著
しい場合であるので、わずかな揺れの残りが視覚上不自
然さを感じさせることはほんどない。
これよりいろいろに変化する画像の状態全般にわたって
視覚上良好な揺れ補正画像を得ることができる。
実施例 第１図は本発明の第１の実施例の画像の動きベクトル検
出装置のブロック図である。
第１図において、１は画像信号入力端子である。２は代
表点メモリで、入力される画像信号のうち代表点にあた
る画素の信号を記憶する。３は差分・絶対値変換器で、
入力の差の絶対値を出力する。４は累計加算器、５は最
小点検出回路、11は中間値選択手段である。12は信頼性
判定手段、13,14はメモリである。
以上のように構成された本発明第１の実施例の画像の動
きベクトル検出装置について以下その動作を説明する。
まず入力端子１に時間的に連続する画像信号が入力され
る。代表点メモリ２では、従来例と同様に第６図に示す
ようにまず予め画面８の各検出領域9a〜9d中に複数の代
表点が決められており、入力画像信号のうち代表点の位
置にあたる画素の信号を記憶する。差分・絶対値変換器
３はは前フィールドの代表点の位置の信号と、現フィー
ルドの代表点から（水平方向i,垂直方向ｊ）偏移した位
置の信号との差の絶対値｜ΔL|（i,j）を求める。累積
加算器４には、各検出領域9a〜9dについてそれぞれ偏移
（i,j）に対応するテーブルがあり、差分・絶対値変換
器３からの信号を偏移（i,j）別に累計加算し、これを
偏移（i,j）における相関値Σ｜ΔL|（i,j）とする。最
小点検出回路５では、その相関値の最小値を与える偏移
（ｉ′,j′）を検出し、各検出領域9a〜9dの動きベクト
ル10a〜10dとしてそれぞれ出力する。また信頼性判定手
段12は各領域の動きベクトルについて信頼性の判定を行
い、信頼性ありと判定されるベクトルを中間値選択手段
11とメモリ13に出力する。メモリ14は信頼性有りと判定
された検出領域の動きベクトルの集合と前フィールドと
前々フィールドの出力の動きベクトルを記憶する。メモ
リ13は信頼性有りと判定された検出領域の動きベクトル
がそのフィールドで１つの場合そのベクトルを次々フィ
ールドまで記憶する。中間値選択手段11は、信頼性判定
手段12、メモリ13、メモリ14からの出力より以下の方法
で画面全体の動きベクトルを求める。
まず現フィールドにおいて信頼性判定手段12から入力さ
れる信頼性有りと判定された検出領域の動きベクトルの
集合の要素の数が３以上の場合、その集合の中間値（集
合の各要素を値の大小の順にならべた列の中央に位置す
る要素の値、集合の要素が数が偶数の場合、列の中央の
位置に最も近い２つ要素の値の平均値）を出力する。た
だしベクトルの水平方向と垂直方向の値を独立に考え、
各々の集合の中間値で出力のベクトルとする。
また現フィールドにおいて信頼性有りと判定された検出
領域の動きベクトルの集合の要素の数が２の場合、前フ
ィールド出力の動きベクトルを集合に加え、集合の要素
の数３としてからその中間値を出力する。
また現フィールドにおいて信頼性有りと判定された検出
領域の動きベクトルの集合の要素の数が１の場合、前フ
ィールドと前々フィールドの出力の動きベクトルを集合
に加え、集合の要素の数を３としてからその中間値を出
力する。
ただし信頼性有りと判定された検出領域の動きベクトル
の集合の要素の数が１の場合が３フィールド以上続く場
合、前フィールドと前々フィールドの信頼性有りと判定
された検出領域の動きベクトルを集合に加え、集合の要
素の数３としてからその中間値を出力する。
（これは信頼性有りと判定された検出領域の動きベクト
ルの集合の要素の数が１である状態が続くとき、前フィ
ールドと前々フィールドの出力の動きベクトルを集合に
加え、集合の要素の数を３としてからその中間値を出力
すると、たとえば同じ値が２フィールド連続して出力さ
れたときそれ以降のフィールドではそれと同じ値が出力
され続けるといった誤動作が生じので、それを防止する
ものである。） また現フィールドにおいて信頼性有りと判定された検出
領域の動きベクトルの集合の要素の数が０の場合、前フ
ィールドと前々フィールドの出力の動きベクトルと前フ
ィールドの出力の動きベクトルに１以下の係数をかけた
ものを集合に加え、集合の要素の数を３としてからその
中間値を出力する。
以上のように集合の要素の数を３としてからその中間値
を出力することによって要素のなかでたとえ１つが誤ベ
クトルであった場合でも残りの要素が正確であれば誤ベ
クトルの影響をまったく受けず正確なベクトルの値を選
んで出力できる。
また現フィールドで信頼性有りと判定された領域の動き
ベクトルの数が３未満の場合のみ、前フィールド以前の
出力の動きベクトルまたは前フィールド以前の信頼性有
りと判定された領域の動きベクトルを、その集合に加
え、集合の要素の数を３とし、この集合のなかの中間値
の値を出力するので、検出されるベクトルに遅れ時間が
発生する確率が非常に少ない。
たとえば現フィールドで信頼性有りと判定された領域の
動きベクトルの数が２の場合を考えると、この２つの動
きベクトルがともに現フィールドでの正しい動きベクト
ルであるときは、これらは互いに等しい値を持っている
ので、その集合に前フィールドの出力の動きベクトルを
加えて、その集合の中間値を選んでも、正しい現フィー
ルドでの動きベクトルの値が選ばれ、遅れ時間が発生し
ない。またこの２つの動きベクトルのうち１つが正しい
現フィールドでの動きベクトルから大きく離れた誤ベク
トルであるときは、その２つの動きベクトルの集合に前
フィールドの出力の動きベクトルを加えて、その集合の
中間値を選ぶことにより、現フィールドでの正しい動き
ベクトルか、その値に近い前フィールドの出力の動きベ
クトルのいずれかが出力されるので、誤ベクトルの影響
を取り除くことができる。
第２図は本発明の第２の実施例の画像の動きベクトル検
出装置のブロック図である。第２図において、１は画像
信号入力端子、２は代表点メモリで、３は差分・絶対値
変換器、４は累計加算器、５は最小点検出回路、11は中
間値選択手段で、12は信頼性判定手段、13はメモリであ
る。なお第２図において第１図と共通の要素には、同一
番号を付している。またこの画像の動きベクトル検出装
置の動作を以下に説明する。
まず、画像信号入力端子１から、代表点メモリ２、差分
・絶対値変換器３、累計加算器４、最小点検出回路５、
信頼性判定手段12までの構成および動作は第１の実施例
と同様である。つぎに信頼性判定手段12が各領域の動き
ベクトルについて信頼性の判定を行い、信頼性ありと判
定されたベクトルはメモリ13に出力する。メモリ13は信
頼性判定手段12から出力されるベクトルを新しい順に４
つ記憶し、その４つのベクトルを中間値選択手段11に出
力する。中間値選択手段11はその４つのベクトルの集合
の中間値を画面の動きベクトルとして出力する。
このように本実施例によれば、ここでは４つのベクトル
の集合の中間値を画面の動きベクトルとして出力するの
で、その集合の１つの要素が誤ベクトルであった場合で
も、誤ベクトルの影響を受けず正しい動きベクトルを検
出できる。
また現フィールドにおいて信頼性判定手段12から出力さ
れるベクトルの数が４の場合、メモリ13から出力される
４つのベクトルは全て、現フィールドで検出されたもの
であるから、その４つのベクトルの集合の中間値をとっ
た出力には遅れ時間は発生しない。
また現フィールドにおいて信頼性判定手段12から出力さ
れるベクトルの数が４に満たない場合でも、メモリ13に
おいて前フィールド以前の信頼性判定手段12から出力さ
れたベクトルによって、ベクトルの数が４つに補われ、
そのベクトルの集合の中間値を画面の動きベクトルとし
て出力するので、誤ベクトルの影響を取り除くことがで
きる。
したがって第１の実施例とほぼ同様の効果をより簡単に
実現することができる。
第３図は本発明の第３の実施例の画像の揺れ補正装置の
ブロック図である。第３図において、１は画像信号入力
端子、２は代表点メモリ、３は差分・絶対値変換器、４
は累計加算器、５は最小点検出回路、11は中間値選択手
段、12は信頼性判定手段、13,14はメモリ、15はフィー
ルドメモリ、17は読みだし制御手段、18は補間拡大手段
である。なお第３図において第１図と共通の要素には、
同一番号を付している。また代表点メモリ２、差分・絶
対値変換器３、累計加算器４、最小点検出回路５、中間
値選択手段11、信頼性判定手段12、メモリ13,14、によ
って構成される部分を動きベクトル検出手段とする。
以上のように構成された画像の揺れ補正装置の動作を以
下に説明する。
まず画像信号入力端子１から画像信号が入力される。フ
ィールドメモリ15はこの画像信号を１フィールド記憶す
る。
また動きベクトル検出手段16は、本発明の第１の実施
例、第１図の動きベクトル検出装置と同様の構成と動作
により、そのフィールドの、１フィールド前からの画面
全体の動きベクトルを検出し読みだし制御手段17に出力
する。
読みだし制御手段17は入力される動きベクトルよりその
動きを補正する方向でメモリからの読みだし位置を前フ
ィールドの読みだし位置に対してシフトして、またその
読みだし位置が画面の外に出ないようにセンタリングや
クリップ等の処理を行い補間拡大手段18に出力する。
補間拡大手段18は入力される読みだし位置が指定する部
分の画像信号を、フィールドメモリ15から読みだし、さ
らに読みだした部分の画像信号を拡大補間し、１画面の
画像信号にして出力する。
第４図a,bはさらに詳しく動作を説明するための画面の
略線図である。第４図a,bにおいて８は画面であり、9a,
9b,9c,9dは動きベクトル検出手段16の持つ複数の各動き
ベクトル検出領域であり、10a,10b,10c,10dはその各領
域からそれぞれ検出される動きベクトルである。19a,19
b,19cは画像の画面全体の動きとは異なる動きをする画
面内の移動物である。
第４図ａは画面内に移動物が無い場合である、ここでは
動きベクトル検出手段16において、9a,9b,9c,9dの各検
出領域からの検出ベクトル10a,10b,10c,10dは全て信頼
性有りと判定され、それらのなかの中間値が画面の動き
ベクトルとして出力される。したがって検出ベクトル10
a,10b,10c,10dのなかの１つが誤ベクトルであった場合
でもその影響を取り除いて正しい動きベクトルが検出さ
れるので、良好な補正画面が得られる。また第４図ａの
ように画面内に移動物が無い場合は、揺れ補正画面にお
いてわずかな補正残差でもあると、それが視覚的に認知
され易く、不自然に感じられるが、この場合は動きベク
トル検出手段16から出力される動きベクトルには遅れ時
間がないので、揺れ補正画面において遅れ時間により補
正残差は発生しない。
第４図ｂは画面内に移動物が多く存在する場合である、
ここでは移動物19a〜19b,19cのため、動きベクトル検出
手段16において、9a,9b,9c,9dの各検出領域からの検出
ベクトル10a〜10dのうち、10dだけが信頼性有りと判定
される。このとき10dと前フィールド、前々フィールド
の出力または信頼性有りと判定される各領域の動きベク
トルにより、要素の数が３であるベクトルの集合とし、
その集合の中間値が画面の動きベクトルとして出力され
る。
したがって現フィールドにおいて検出ベクトル10dが誤
ベクトルであった場合でもその影響を取り除いて正しい
動きベクトルが検出されるので、良好な補正画面が得ら
れる。ただしこの場合は動きベクトル検出手段16から出
力される動きベクトルには遅れ時間が発生する場合があ
り、揺れ補正画面において遅れ時間による揺れの高周波
成分の補正残差が発生する。しかし第４図ｂのように画
面内に移動物が多く存在する場合は、揺れ補正画面にお
いてのわずかな補正残差は、視覚的に認知することは難
しく、不自然に感じられることはない。
以上のように本実施例によれば、中間値選択手段11にお
いて、現フィールドで信頼性有りと判定された領域の動
きベクトルの数が所定の数未満の場合のみ、前フィール
ド以前の出力の動きベクトルまたは前フィールド以前の
信頼性有りと判定された領域の動きベクトルを、その集
合に加え、集合の要素の数を所定の数以上とし、この集
合のなかの代表的な値を出力するので、常に誤ベクトル
による誤差の影響が低く抑えられ、かつ揺れの補正残差
が、画像内で移動物が激しく動いている場合やノイズが
著しい場合にしか発生せず、この場合わずかな揺れの残
りが視覚上不自然さを感じさせることはほとんどなく、
一方画像内で移動物やノイズが少なく、視覚上やわずか
な揺れの残りでも認知しやすい場合には正確に揺れを補
正することができ、したがって、いろいろに変化する画
像の状態全般にわたって視覚上良好な揺れ補正画像を得
ることができる。
なお、第３の実施例では、動きベクトル検出手段16にお
いて、第１の実施例の動きベクトル検出装置の構成と同
構成のものとしたが、これを第２の実施例の動きベクト
ル検出装置の構成と同構成のものとしても、同様の効果
が得られることは明かである。
なお、第１、第２、第３の実施例では、画面中４つの検
出領域を設けているがその数はこれ４以外の数でもよ
い。
また、第１、第２、第３の実施例では、中間値選択手段
11で中間値を求める集合の要素の最小の数をそれぞれ
３、４としているがこれは３以上の数であればそのほか
の数でもよい。
さらに、第１、第２、第３の実施例では、中間値選択手
段11で中間値を集合の代表的な値として出力している
が、これは集合の全体的な傾向から離れた要素を取り除
き、残った要素より値を求めるものならばよい、例えば
集合の要素の数を８とし、大小の順に並べたときの中央
に近い４つの要素の値の平均値をその集合の代表的な値
として出力するものとしてもよい。また例えばベクトル
の集合の要素の数を８とし、そのなかから４つの要素を
選ぶとき、その４つのベクトル間の距離の総和が最も小
さくなるように選び、その４つのベクトルの平均値をそ
の集合の代表的な値として出力するものとしてもよい。
また、第１、第２、第３の実施例では、現フィールドに
おいて信頼性有りと判定された検出領域の動きベクトル
の集合の要素の数が３に満たない場合、前フィールドの
出力の動きベクトル等を集合に加えているが、これは前
フィールドと前々フィールドの出力等から現フィールド
の動きベクトルを予測したものを集合に加えてもよい。
たとえば、前フィールドの出力を２倍したものから前々
フィールドの出力を減算したベクトルを集合に加えても
よい。
さらに、第１、第２、第３の実施例では、代表点メモリ
２、差分・絶対値変換器３、累計加算器４、最小点検出
回路５を用いて２フィールド間の画像信号について、１
画面のなかに複数の検出領域を設け、代表点マッチング
法を用いて複数の動きベクトルを検出し、中間値選択手
段11とメモリ13に出力したが、これは複数の動きベクト
ルを検出するものならばよい。例えば代表点マッチング
法の代わりに全点マッチング法または勾配法を用いても
よい。
発明の効果 以上のように本発明によれば、集合の中に誤ベクトルが
ある場合でも、その影響を取り除く効果が高いため、出
力される動きベクトルは、いろいろに変化する画像の状
態にあわせて、常に誤差が非常に小さく抑えられ、かつ
極力遅れ時間が抑えられているので、動き補正や符号化
等の画像処理やその他の機器の制御等に用いたとき良好
な結果が得られその効果は高い。
また、本発明の画像の揺れ補正装置は、上記本発明の画
像の動きベクトル検出装置を用いることにより、揺れの
高周波成分の補正残差が、画像内で移動物が激しく動い
ている場合やノイズが著しい場合にしか発生せず、この
場合わずかな揺れの残りが視覚上不自然さを感じさせる
ことはほとんどなく、一方画像内で移動物やノイズが少
なく、視覚上やわずかな揺れの残りでも認知しやすい場
合には、揺れの高周波成分まで正確に補正することがで
きる。したがって、いろいろに変化する画像の状態全般
にわたって視覚上良好な揺れ補正画像を得ることができ
る。
【図面の簡単な説明】 第１図は本発明の第１の実施例の画像の動きベクトル検
出装置のブロック図、第２図は本発明の第２の実施例の
画像の動きベクトル検出装置のブロック図、第３図は本
発明の第３の実施例の画像の揺れ補正装置のブロック
図、第４図は本発明の第３の実施例の画像の揺れ補正装
置の動作説明図、第５図は従来例の画像の動きベクトル
検出装置のブロック図、第６図は同従来例の動作説明
図、第７図は従来例の画像の動きベクトル検出装置を揺
れ補正装置として用いた場合の動作説明図である。 １……画像信号入力端子、２……代表点メモリ、３……
差分・絶対値変換器、４……累計加算器、５……最小点
検出回路、６……選択手段、７……動きベクトル平滑手
段、８……画面、９……動きベクトル検出領域、10……
各領域から検出される動きベクトル、11……中間値選択
手段、12……信頼性判定手段、13,14……メモリ、15…
…フィールドメモリ、16……動きベクトル検出手段、17
……読みだし位置制御手段、18……補間拡大手段、19…
…移動物、20……動きベクトルの誤差、21……動きベク
トルの積分誤差。

Claims (2)

    【特許請求の範囲】
  1. 【請求項１】時間的に連続して入力される画像信号につ
    いて、画面中に複数の動きベクトルの検出領域を有し、
    各検出領域において動きベクトルを検出する手段と、各
    領域における動きベクトルの信頼性を判定する手段と、
    現フィールドにおいて、信頼性ありと判定された動きベ
    クトルの集合の要素数が所定の数未満の場合、前フィー
    ルドまでに得られた動きベクトルまたはそこから現フィ
    ールドで予測される動きベクトルをその集合に加える手
    段と、前記集合から画面全体の動きベクトルを決定する
    手段を有することを特徴とする画像の動きベクトル検出
    装置。
  2. 【請求項２】時間的に連続して入力される画像信号につ
    いて、画面中に複数の動きベクトルの検出領域を有し、
    各検出領域において動きベクトルを検出する手段と、各
    領域における動きベクトルの信頼性を判定する手段と、
    現フィールドにおいて、信頼性ありと判定された動きベ
    クトルの集合の要素数が所定の数未満の場合、前フィー
    ルドまでに得られた動きベクトルまたはそこから現フィ
    ールドで予測される動きベクトルをその集合に加える手
    段と、前記集合から画面全体の動きベクトルを決定する
    手段と、画像信号を記憶するメモリと、前記画面全体の
    動きベクトルをもとに前記メモリから画像信号を読み出
    す位置を制御する手段を有することを特徴とする画像の
    揺れ補正装置。
JP6820589A 1989-03-20 1989-03-20 画像の動きベクトル検出装置および揺れ補正装置 Expired - Lifetime JPH07105949B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP6820589A JPH07105949B2 (ja) 1989-03-20 1989-03-20 画像の動きベクトル検出装置および揺れ補正装置
EP19900302783 EP0392671B1 (en) 1989-03-20 1990-03-15 Image motion vector detector
DE69022461T DE69022461T2 (de) 1989-03-20 1990-03-15 Bildbewegungsvektordetektor.
KR1019900003759A KR930002613B1 (ko) 1989-03-20 1990-03-20 화상의 움직임벡터검출장치
US07/769,521 US5157732A (en) 1989-03-20 1991-10-02 Motion vector detector employing image subregions and median values

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6820589A JPH07105949B2 (ja) 1989-03-20 1989-03-20 画像の動きベクトル検出装置および揺れ補正装置

Publications (2)

Publication Number Publication Date
JPH02246686A JPH02246686A (ja) 1990-10-02
JPH07105949B2 true JPH07105949B2 (ja) 1995-11-13

Family

ID=13367057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6820589A Expired - Lifetime JPH07105949B2 (ja) 1989-03-20 1989-03-20 画像の動きベクトル検出装置および揺れ補正装置

Country Status (5)

Country Link
US (1) US5157732A (ja)
EP (1) EP0392671B1 (ja)
JP (1) JPH07105949B2 (ja)
KR (1) KR930002613B1 (ja)
DE (1) DE69022461T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182829A (ja) * 2003-12-23 2005-07-07 Genesis Microchip Inc 一時的動きベクトルフィルタリング

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03147488A (ja) * 1989-11-01 1991-06-24 Olympus Optical Co Ltd 画像フリーズ用信号処理装置
JP2827424B2 (ja) * 1990-03-31 1998-11-25 ソニー株式会社 画振れ補正装置
US5583947A (en) * 1990-05-18 1996-12-10 U.S. Philips Corporation Device for the detection of objects in a sequence of images
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JPH04145778A (ja) * 1990-10-05 1992-05-19 Sharp Corp カメラ一体型ビデオ装置
EP0497586A3 (en) * 1991-01-31 1994-05-18 Sony Corp Motion detection circuit
JP2861462B2 (ja) * 1991-04-12 1999-02-24 ソニー株式会社 動きベクトル検出装置
KR940001831B1 (ko) * 1991-06-28 1994-03-09 삼성전자 주식회사 캠코더의 화상떨림 보상방법 및 장치
JP3123130B2 (ja) * 1991-06-28 2001-01-09 ソニー株式会社 動きベクトル検出装置
JP3116967B2 (ja) * 1991-07-16 2000-12-11 ソニー株式会社 画像処理装置および画像処理方法
JP2595841B2 (ja) * 1991-07-17 1997-04-02 松下電器産業株式会社 動き検出回路
US5453800A (en) * 1991-10-17 1995-09-26 Sony Corporation Apparatus for judging a hand movement of an image
JP3068304B2 (ja) * 1992-01-21 2000-07-24 日本電気株式会社 動画像符号化方式および復号化方式
US5581309A (en) * 1992-02-03 1996-12-03 Sanyo Electric Co., Ltd. Motion vector detecting circuit
US5594813A (en) * 1992-02-19 1997-01-14 Integrated Information Technology, Inc. Programmable architecture and methods for motion estimation
US5731849A (en) * 1992-03-13 1998-03-24 Canon Kabushiki Kaisha Movement vector detecting apparatus
SE469412B (sv) * 1992-04-13 1993-06-28 Dv Sweden Ab Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler
US5587739A (en) * 1993-03-26 1996-12-24 Nikon Corporation Variable magnification image taking device
GB2309350B (en) * 1993-04-08 1998-01-07 Sony Uk Ltd Motion compensated video signal processing
JP2940762B2 (ja) * 1993-06-28 1999-08-25 三洋電機株式会社 手振れ補正装置を有するビデオカメラ
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
KR950024600A (ko) * 1994-01-31 1995-08-21 김광호 휘도신호적응 움직임 평가방법
NO941126D0 (no) * 1994-03-25 1994-03-25 Int Digital Tech Inc Multidomenes bevegelsesestimator
JP3193833B2 (ja) * 1994-07-25 2001-07-30 ケイディーディーアイ株式会社 動ベクトル処理装置
JP3339191B2 (ja) * 1994-08-08 2002-10-28 ミノルタ株式会社 ブレ補正機能付カメラ
EP0697788A3 (en) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
FR2725577B1 (fr) * 1994-10-10 1996-11-29 Thomson Consumer Electronics Procede de codage ou de decodage de vecteurs mouvement et dispositif de codage ou de decodage mettant en oeuvre ledit procede
US5886745A (en) * 1994-12-09 1999-03-23 Matsushita Electric Industrial Co., Ltd. Progressive scanning conversion apparatus
US5510856A (en) * 1994-12-30 1996-04-23 Daewoo Electronics Co., Ltd. Apparatus for determining motion vectors
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
DE19524688C1 (de) * 1995-07-06 1997-01-23 Siemens Ag Verfahren zur Dekodierung und Kodierung eines komprimierten Videodatenstroms mit reduziertem Speicherbedarf
US5910909A (en) * 1995-08-28 1999-06-08 C-Cube Microsystems, Inc. Non-linear digital filters for interlaced video signals and method thereof
DE19536691B4 (de) * 1995-09-30 2008-04-24 Bts Holding International B.V. Verfahren und Anordnung zur Korrektur von Bildstandsfehlern bei der fernsehmäßigen Filmabtastung
JPH1091795A (ja) * 1996-09-12 1998-04-10 Toshiba Corp 移動物体検出装置及び移動物体検出方法
KR100259136B1 (ko) 1997-04-19 2000-06-15 김영환 움직임 벡터 검출 장치
US6633611B2 (en) * 1997-04-24 2003-10-14 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for region-based moving image encoding and decoding
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
US6756974B2 (en) * 1997-09-24 2004-06-29 Canon Kabushiki Kaisha Display control apparatus and method
KR100255648B1 (ko) * 1997-10-10 2000-05-01 윤종용 그래디언트 패턴 정합에 의한 영상 움직임 검출장치 및 그 방법
JP3149840B2 (ja) * 1998-01-20 2001-03-26 日本電気株式会社 動きベクトル検出装置及び方法
US6298144B1 (en) 1998-05-20 2001-10-02 The United States Of America As Represented By The National Security Agency Device for and method of detecting motion in an image
US7330886B2 (en) * 1999-10-27 2008-02-12 American Power Conversion Corporation Network appliance management
US6714977B1 (en) 1999-10-27 2004-03-30 Netbotz, Inc. Method and system for monitoring computer networks and equipment
US7392309B2 (en) 1999-10-27 2008-06-24 American Power Conversion Corporation Network appliance management
DE60234814D1 (de) 2001-01-26 2010-02-04 American Power Conv Corp Verfahren und vorrichtung für netzfähige geräte, dielen
US8271626B2 (en) 2001-01-26 2012-09-18 American Power Conversion Corporation Methods for displaying physical network topology and environmental status by location, organization, or responsible party
JP4157686B2 (ja) * 2001-05-15 2008-10-01 株式会社モノリス 画像符号化および復号のための方法および装置
AU2003232039A1 (en) 2002-05-03 2003-11-17 Netbotz, Inc. Method and apparatus for collecting and displaying network device information
EP1616237B1 (en) 2003-04-14 2017-10-25 Schneider Electric IT Corporation Environmental monitoring device
DE602004024296D1 (de) 2003-04-14 2010-01-07 American Power Conv Corp Erweiterbare sensorüberwachung, warnungsverarbeitungs- und benachrichtigungssystem und verfahren
EP1616236B1 (en) 2003-04-14 2016-11-23 Schneider Electric IT Corporation Method and system for journaling and accessing sensor and configuration data
US8566292B2 (en) 2003-04-14 2013-10-22 Schneider Electric It Corporation Method and system for journaling and accessing sensor and configuration data
US7627651B2 (en) * 2003-10-27 2009-12-01 American Power Conversion Corporation System and method for network device communication
KR20060123237A (ko) * 2003-11-05 2006-12-01 코닌클리즈케 필립스 일렉트로닉스 엔.브이. 이미지 식별 방법 및 장치, 이미지의 움직임을 결정하는방법 및 장치, 이미지 안정화 방법 및 장치, 컴퓨터프로그램 제품
US7778466B1 (en) * 2003-12-02 2010-08-17 Hrl Laboratories, Llc System and method for processing imagery using optical flow histograms
US7433497B2 (en) * 2004-01-23 2008-10-07 Hewlett-Packard Development Company, L.P. Stabilizing a sequence of image frames
US20080144716A1 (en) * 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
FR2875091B1 (fr) * 2004-09-08 2006-11-24 Citilog Sa Procede et dispositif pour stabiliser les images donnees par une camera video
US7649549B2 (en) * 2004-09-27 2010-01-19 Texas Instruments Incorporated Motion stabilization in video frames using motion vectors and reliability blocks
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
JP4595834B2 (ja) * 2006-03-03 2010-12-08 日本ビクター株式会社 動きベクトル検出方法及び装置
TWI367026B (en) * 2007-03-28 2012-06-21 Quanta Comp Inc Method and apparatus for image stabilization
DK2147585T3 (en) 2007-05-15 2017-01-16 Schneider Electric It Corp PROCEDURE AND SYSTEM FOR HANDLING EQUIPMENT AND COOLING
US8041077B2 (en) * 2007-12-18 2011-10-18 Robert Bosch Gmbh Method of motion detection and autonomous motion tracking using dynamic sensitivity masks in a pan-tilt camera
US8120659B2 (en) * 2008-05-22 2012-02-21 Aptina Imaging Corporation Method and system for motion estimation in digital imaging applications
JP4813517B2 (ja) * 2008-05-29 2011-11-09 オリンパス株式会社 画像処理装置、画像処理プログラム、画像処理方法、および電子機器
CN101753774B (zh) * 2008-12-16 2012-03-14 财团法人资讯工业策进会 数字影像稳定方法与系统
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
US8990536B2 (en) 2011-06-01 2015-03-24 Schneider Electric It Corporation Systems and methods for journaling and executing device control instructions
US9952103B2 (en) 2011-12-22 2018-04-24 Schneider Electric It Corporation Analysis of effect of transient events on temperature in a data center
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
WO2014014957A1 (en) * 2012-07-16 2014-01-23 Flir Systems, Inc. Methods and systems for suppressing noise in images
US8988733B2 (en) * 2013-04-16 2015-03-24 Hewlett-Packard Indigo B.V. To generate an image
JP6442613B2 (ja) 2015-08-19 2018-12-19 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
WO2017199559A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US11113791B2 (en) 2017-01-03 2021-09-07 Flir Systems, Inc. Image noise reduction using spectral transforms
US10755419B2 (en) * 2017-01-30 2020-08-25 Nec Corporation Moving object detection apparatus, moving object detection method and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4575756A (en) * 1983-07-26 1986-03-11 Nec Corporation Decoder for a frame or field skipped TV signal with a representative movement vector used for individual vectors
JPS61113376A (ja) * 1984-11-07 1986-05-31 Sony Corp テレビジヨン信号の動き検出装置
JPS61269475A (ja) * 1985-05-23 1986-11-28 Toshiba Corp 動きベクトル検出装置
US4661853A (en) * 1985-11-01 1987-04-28 Rca Corporation Interfield image motion detector for video signals
EP0236519B1 (en) * 1986-03-08 1989-06-07 ANT Nachrichtentechnik GmbH Motion compensating field interpolation method using a hierarchically structured displacement estimator
DE3682068D1 (de) * 1986-03-19 1991-11-21 British Broadcasting Corp Fernsehbild-bewegungsmessung.
DE3869475D1 (de) * 1987-06-02 1992-04-30 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
EP0294960B1 (en) * 1987-06-09 1994-09-28 Sony Corporation Motion vector processing in television images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005182829A (ja) * 2003-12-23 2005-07-07 Genesis Microchip Inc 一時的動きベクトルフィルタリング

Also Published As

Publication number Publication date
EP0392671B1 (en) 1995-09-20
EP0392671A2 (en) 1990-10-17
US5157732A (en) 1992-10-20
EP0392671A3 (en) 1992-01-02
DE69022461T2 (de) 1996-05-02
DE69022461D1 (de) 1995-10-26
JPH02246686A (ja) 1990-10-02
KR900015551A (ko) 1990-10-11
KR930002613B1 (ko) 1993-04-03

Similar Documents

Publication Publication Date Title
JPH07105949B2 (ja) 画像の動きベクトル検出装置および揺れ補正装置
US5111511A (en) Image motion vector detecting apparatus
US5748231A (en) Adaptive motion vector decision method and device for digital image stabilizer system
US6005639A (en) Vector assignment for video image motion compensation
US7365801B2 (en) Apparatus and method for processing signal
JPH0832048B2 (ja) 動きベクトル検出装置
JP2507138B2 (ja) 動きベクトル検出装置及び画像揺れ補正装置
JPH0759019A (ja) 飛び越しラインの適応形順次走査変換方法および装置
US20030059126A1 (en) Apparatus and method for line interpolating of image signal
JP2005051460A (ja) ビデオ信号処理装置及びビデオ信号の処理方法
JP3265590B2 (ja) 画像の動きベクトル検出装置及び画像揺れ補正装置
KR100532099B1 (ko) 프레임 레이트 변환 장치 및 방법
JP2658625B2 (ja) 補間信号生成回路
EP1836678B1 (en) Image processing
JP3214660B2 (ja) 動きベクトル検出装置
KR100252943B1 (ko) 스캔컨버터회로
JPH0728408B2 (ja) 画像の動きベクトル検出装置
JPH05176218A (ja) 画像動き補正装置
JP3486227B2 (ja) 動きベクトル補間フィルタ
JP3271275B2 (ja) 画像の振動補正装置及び画像の振動補正方法
JPH0670217A (ja) 画像補正装置及びその方法
JP3242164B2 (ja) 画像信号の走査線数変換装置
JP2653442B2 (ja) 順次走査変換回路
JP2689716B2 (ja) 画像動き検出装置
JPH04320588A (ja) 動きベクトル補間装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071113

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081113

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091113

Year of fee payment: 14

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091113

Year of fee payment: 14