JP2677312B2 - カメラワーク検出方法 - Google Patents

カメラワーク検出方法

Info

Publication number
JP2677312B2
JP2677312B2 JP3070475A JP7047591A JP2677312B2 JP 2677312 B2 JP2677312 B2 JP 2677312B2 JP 3070475 A JP3070475 A JP 3070475A JP 7047591 A JP7047591 A JP 7047591A JP 2677312 B2 JP2677312 B2 JP 2677312B2
Authority
JP
Japan
Prior art keywords
frame
motion
motion vector
block
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP3070475A
Other languages
English (en)
Other versions
JPH04281679A (ja
Inventor
孝文 宮武
博唯 上田
聡 吉沢
Original Assignee
工業技術院長
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 工業技術院長 filed Critical 工業技術院長
Priority to JP3070475A priority Critical patent/JP2677312B2/ja
Priority to DE69219944T priority patent/DE69219944T2/de
Priority to EP92102624A priority patent/EP0509208B1/en
Priority to US07/840,825 priority patent/US5267034A/en
Publication of JPH04281679A publication Critical patent/JPH04281679A/ja
Application granted granted Critical
Publication of JP2677312B2 publication Critical patent/JP2677312B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/20—Disc-shaped record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00—Record carriers by type
    • G11B2220/90—Tape-like record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ビデオや映画の画像編
集時に必要となる動画像のシーンの記述方法に係わり、
特に、カメラのズーム（カメラのレンズの移動による撮
像倍率の変化）やパンおよびチルトなど（カメラの左右
および上下への回転移動）の動き情報に基づいて、ビデ
オテープやビデオディスクに格納された動画像から目的
とする動画像フレームを検索し、画像編集を効率良く行
なうのに好適なカメラワーク検出方法に関するものであ
る。
【０００２】
【従来の技術】従来、ビデオテープ等に格納された動画
像から画像の変化点を自動検出することにより、シーン
の変わり目を検出し、動画像編集時の頭だし操作などを
容易にする技術が、例えば特願平２−２３０９３０に開
示されている。この技術を用いて検出したシーン毎に、
さらに、ビデオカメラ自体の動き、すなわち、ビデオカ
メラのズームやパンなどのカメラワークに関する情報を
用いることにより、例えば、「右から左にパンしている
シーンを見たい」、または、「ズームアップ直後のシー
ンを見たい」などの動画像の検索や、「パンの速度むら
を修正したい」、「パンの速度をもっと速くしたい」な
どの動画像の編集作業を編集システムが支援することが
可能になる。そのためには、ビデオカメラのズームやパ
ンなどのカメラワークを検出して、それを自動的に記述
しておく技術が必要となる。
【０００３】従来、ビデオカメラ自体の動きを検出する
技術としては、例えば、特開平２−１５７９８０号公報
に記載のものがある。これは、ビデオカメラの振動を検
出して、画像ブレを補正するものである。すなわち、画
面上で、比較的大きな検出領域を、例えば４個程度設定
し、所定の偏移における相関値により、フレーム間の動
きベクトルを求め、相関値の状態と、それ以前の動きベ
クトルの信頼性の判定結果とから画面の動きベクトルを
決定する。ビデオカメラの振動による動きベクトルは０
ベクトルを中心に振動し、移動物が侵入した場合は、移
動物の動きとビデオカメラの動きが加算されて動きベク
トルが求まる。この時の動きベクトルは振動による動き
ベクトルに一定値が加算されたものとなり、振動による
動きベクトルとの分離が可能であり、振動による動きベ
クトルだけからビデオカメラの振動による画像のブレを
補正するものである。
【０００４】
【発明が解決しようとする課題】解決しようとする問題
点は、従来の技術では、カメラ自体のゆっくりした動き
を示す動きベクトルの検出を正確に行なうことができな
いために、パンやズームなどのカメラワークを自動的に
検出することができず、効率の良い画像編集ができない
点である。
【０００５】すなわち、特開平２−１５７９８０号公報
に記載の装置は、ビデオカメラの振動検出が目的であ
り、パンやズームなどのカメラワークの検出目的には考
慮が払われていない。例えば、右から左にビデオカメラ
をパンした画像に関しては、上述の装置では移動物が侵
入したものと判定し、カメラの動きとは見なさない。ま
た、ズームアップやズームダウン時の画像については、
動きベクトルは画面中心から放射状の方向に検出される
が、それらの動きベクトルからズームの倍率値に変換す
る手段は無い。さらにパンやズーム時のビデオカメラの
動きは、手振れの動きよりも速度が遅い。そのため、一
回の動き検出で画面の動きを決定する上述の装置では十
分な精度が得られない可能性が高い。
【０００６】本発明の目的は、このような従来の課題を
解決し、速度の遅いパンやズームなどの画像からカメラ
の動きを検出して、目的とするパン動作およびズーム動
作の変化点を自動的に検索でき、効率の良い画像編集を
可能とするカメラワーク検出方法を提供することであ
る。
【０００７】
【課題を解決するための手段】上記目的を達成するた
め、本発明のカメラワーク検出方法は、（１）連続した
複数枚の画像からなる動画像を、フレーム単位で時系列
に入力し、このフレーム間で、小ブロック毎に定めたそ
れぞれの代表点の偏移量に対する相関値に基づき動きベ
クトルを検出し、この動きベクトルを用いて、カメラの
動きを検出するカメラワーク検出方法において、任意の
第１のフレームの代表点で検出した動きベクトルを用い
て、もしくは、この動きベクトルと第１のフレームの直
前に入力した第２のフレームの代表点の位置ベクトルと
を用いて、カメラの動きを示す第１の動きパラメータを
求め、この第１の動きパラメータを、フレーム毎に求
め、かつ、予め任意に定めた許容値を越えるまで積分
し、第１の動きパラメータの積分値が許容値を超えた時
点で、この積分値を積分区間で平均して、この積分区間
のカメラの動きを示す第２の動きパラメータを算出し、
この第２の動きパラメータに基づき、カメラの動きを検
出することを特徴とする。
【０００８】また、（２）上記（１）に記載のカメラワ
ーク検出方法において、第２のフレームで画像のパター
ンが非一様な小ブロックを標準辞書とし、この標準辞書
に対応する第１のフレーム中の小ブロックの近傍で、こ
の標準辞書のパターンと最も一致するパターンを求め、
求めたパターンの第１のフレーム中での位置と、標準辞
書の第２のフレームでの位置との差から動きベクトルを
検出することを特徴とする。
【０００９】また、（３）上記（２）に記載のカメラワ
ーク検出方法において、求めたパターンの第１のフレー
ム中での位置と、第２のフレームでの標準辞書の位置と
の差は、標準辞書のパターンの任意の位置の点を代表点
として求めることを特徴とする。
【００１０】また、（４）上記（１）から（３）のいず
れかに記載のカメラワーク検出方法において、小ブロッ
ク毎に定めたそれぞれの代表点の動きベクトルの方向と
大きさの統計的な偏差を求め、予め任意に定めた許容範
囲内の偏差を有する動きベクトルの平均値を算出し、こ
の動きベクトルの平均値を用いて、第１の動きパラメー
タの内、カメラの回転運動に係わる動きを示すパラメー
タを求め、そして、小ブロック毎に定めたそれぞれの代
表点の位置ベクトルの方向との差が予め任意に定めた許
容範囲内の方向を有する動きベクトルを抽出し、抽出し
たこの動きベクトルと位置ベクトルとの内積をそれぞれ
に算出し、この内積と位置ベクトルの大きさとを加算し
た値を位置ベクトルの大きさで正規化して撮像倍率をそ
れぞれに求め、それぞれに求めた撮像倍率の統計的な偏
差を求め、予め任意に定めた許容範囲内の偏差の撮像倍
率の平均値を算出し、この撮像倍率の平均値を用いて、
第１の動きパラメータの内、カメラのレンズ移動に係わ
る動きを示すパラメータを求めることを特徴とする。
【００１１】そして、（５）上記（１）から（４）のい
ずれかに記載のカメラワーク検出方法において、カメラ
の回転運動に係わる動きを示す第１の動きパラメータに
基づく第２の動きパラメータ、および、カメラのレンズ
移動に係わる動きを示す第１の動きパラメータに基づく
第２の動きパラメータを、フレーム単位に、それぞれ分
けて登録するテーブルに記述し、このテーブルを検索し
て、カメラの動きをフレーム単位に検出することを特徴
とする。
【００１２】
【作用】本発明においては、カメラワークの変化を表す
カメラのズームやパンの情報をフレーム毎に自動的に記
述するために、カメラの回転運動のパラメータ推定（第
１の動きパラメータ）、および、レンズ移動による撮像
倍率のパラメータ推定（第１の動きパラメータ）を行な
う。例えば、カメラの回転運動のパラメータ推定は、フ
レーム単位で時系列に入力して求めたブロック毎の動画
像の動きベクトルを用いて行ない。また、カメラのレン
ズ移動による撮像倍率のパラメータ推定は、この動きベ
クトルと、代表点の位置ベクトルを用いて行なう。さら
に、推定したパラメータをフレーム毎にそれぞれ積分
し、積分した動きパラメータが予め任意に定めた許容値
を越えるまで、この推定と積分処理を繰返し行なう。許
容値を越えた時点で、積分値をその積分区間で平均し、
この平均値をその積分区間での正式な動きベクトル（第
２の動きパラメータ）とする。このことにより、カメラ
ワークがゆっくりしたスピードの場合でも、カメラワー
クの検出に必要な動きベクトルを得ることができる。
【００１３】また、第１の動きパラメータの推定に用い
るブロック単位の動きベクトルは、非一様なパターンを
有するブロックのものを抽出し、誤検出の可能性が高く
なるブロックを事前に除去する。さらに、動きパラメー
タの推定は、複数のブロックにおける動きベクトルの方
向や大きさについての統計的な偏差を求め、量子化誤差
やノイズにより本来あるべき方向からずれてしまった許
容範囲外の動きベクトルについても予め除去することが
できる。
【００１４】さらに、このようにして得た信頼性の高い
パンやズームのカメラの動き情報を、それぞれ各フレー
ム毎に自動的に記述し格納することができる。そして、
格納したそれぞれの情報に基づき、目的とするパン動作
およびズーム動作の変化点を検索し、効率の良い画像編
集が可能となる。
【００１５】
【実施例】以下、本発明の実施例を、図面により詳細に
説明する
【００１６】図１は、本発明の一実施例を示す動画像の
カメラワーク検出システムの全体ブロック図である。
【００１７】本実施例のカメラワーク検出システムは、
シーケンシャルにビデオデータを記録するビデオディス
ク装置（図中、ＶＤと記載）１０とビデオテープレコー
ダ１１（図中、ＶＴＲと記載）、および、一定速度で放
送局等から一方的に送信（放送）されてくる画像を受信
するテレビチューナ（図中、ＴＶＴと記載）１２からな
る動画像入出力機器、これらの動画像入出力機器の制御
および入力先の切り換えを行うビデオコントローラ１
３、動画像がフレーム毎に格納されるフレームメモリ１
４、システム全体の制御を行なう中央処理装置１５、中
央処理装置１５で実行されるプログラムや、使用される
データを格納するメインメモリ１６、そして、メインメ
モリ１６の容量を補充するための外部メモリである磁気
ディスク装置１７により構成されている。
【００１８】そして、メインメモリ１６には、フレーム
メモリ１４に格納した動画像から動きベクトルを検出す
る動きベクトル検出プログラム（図中、検出Ｐｇｍと記
載）２と、検出した動きベクトルからパンおよびズーム
の動きを示す動きパラメータ（すなわち、第１、２の動
きパラメータ）の抽出処理を行なう動きパラメータ抽出
処理プログラム（図中、抽出Ｐｇｍと記載）３と、抽出
したパンおよびズームの動きを示す動きパラメータを、
メインメモリ１６の動き記述テーブル１８に登録する登
録処理プログラム（図中、登録Ｐｇｍと記載）４からな
るカメラワーク検出・登録処理プログラム（図中、カメ
ラワーク処理Ｐｇｍと記載）１が格納され、中央処理装
置１５は、このカメラワーク検出・登録処理プログラム
１に基づき、本発明に係わるカメラワーク検出および登
録処理を行なう。
【００１９】ビデオディスク装置１０は、シーケンシャ
ルにビデオデータを記録するが、ランダムアクセスが可
能である。また、ビデオテープレコーダ１１は、シーケ
ンシャルにビデオデータを記録し、アクセスもシーケン
シャルアクセスであるが、スロー再生が可能である。そ
して、テレビチューナ１２は、記録が不可能であって、
画像は一定速度で放送局等から一方適に送信（放送）さ
れてくる。
【００２０】ビデオコントローラ１３は、中央処理装置
１５の指令に基づき、ビデオディスク装置１０、ビデオ
テープレコーダ１１、テレビチューナ１２などの各種の
動画像入出力機器の制御を行うと共に、それらの１つ
に、入力先を切り換えて接続し、動画像を取り込み、１
フレームずつ、フレームメモリ１４に一時記憶する。
【００２１】そして、中央処理装置１５は、カメラワー
ク検出・登録処理プログラム１に基づき、フレームメモ
リ１４から読み出した動画像の動きを解析し、解析した
中間データ、例えば、カットの変わり目間のシーン内に
おける動画像の変化点、すなわち、パンおよびズームか
らなる動画像のカメラワークの情報を、フレーム毎に、
メインメモリ１６の動き記述テーブル１８に記述する。
尚、磁気ディスク装置１７にも動き記述テーブル１８を
設け、カメラワークの情報を、メインメモリ１６に一旦
格納した後、磁気ディスク装置１７に登録しても良い。
【００２２】このようにして、カメラワークの情報を記
述した動き記述テーブル１８を用いることにより、本実
施例のカメラワーク検出システムでは、例えば、「右か
ら左にパンしているシーンを見たい」、または、「ズー
ムアップ直後のシーンを見たい」などの動画像の検索
や、「パンの速度むらを修正したい」、「パンの速度を
もっと速くしたい」などの動画像の編集作業を支援する
ことが可能になる。尚、動き記述テーブル１８に記述し
ておくのではなく、例えば、パンやズームを示す動きベ
クトル量を予め指定しておき、入力されてくる動画像の
動きベクトルを、比較しながらカメラワークを検出する
操作も可能である。
【００２３】このように、本実施例のカメラワーク検出
システムでは、特別なハードウェア構成は設けておら
ず、ＡＶ機器（音声映像機器）とワークステーションな
どの装置で容易に構成することができる。以下、本実施
例のカメラワーク検出システムによる本発明に係わる処
理動作を詳しく説明する。
【００２４】図２は、図１における中央処理装置の本発
明に係わるカメラワーク検出処理動作を示すフローチャ
ートである。
【００２５】図１の中央処理装置１５による、カメラワ
ークの動きパラメータの検出動作、および、この検出に
よる動画像のフレーム毎の動きの記述動作を示す。
【００２６】初期化処理（ボックス６０）で、各種変数
に初期値を付与する。初期化処理の詳細は、図６で述べ
る。次に、画像入力処理（ボックス６１）では、動画像
を１フレーム（すなわち、第１のフレーム）だけフレー
ムメモリ１４に取り込む。この時の画像をＰｎとした
時、フレームメモリ１４の中には、一つ前のフレーム
（すなわち、第２のフレーム）の画像Ｐｎ-1も格納して
おく。そして、動きベクトル検出処理（ボックス６２）
では、画像を多数のブロックに分割し、そのブロック毎
に動きベクトル（すなわち、第１の動きパラメータ）を
計算する。ここではブロックの中心位置の点の動きベク
トルを求める。この動きベクトル検出処理の詳細は、図
７で後述する。このようにして、ブロック毎に求めた動
きベクトルを用い、図１の中央処理装置１５は、図１の
カメラワーク検出・登録処理プログラム１に基づき、本
発明に係わるパンの動き、および、ズームの動きに対す
る検出および登録処理を行なう。
【００２７】すなわち、パンの動き検出処理（ボックス
６３）で、ブロック毎に求めた動きベクトルを統計的に
処理して、異常な動きベクトルは除外した上で、パンの
動きパラメータを計算する。このことにより、検出した
動きベクトルの信頼性を高める。尚、パンの動き検出処
理の詳細は、図８で述べる。次に、積分処理（ボックス
６４）では、フレーム毎にパンの動きパラメータを積分
する。これにより、速度の遅いパンも正確に検出できる
ようになる。積分処理の詳細は図９で述べる。さらに、
判断ボックス６５では、積分結果の絶対値が所定の閾値
αを超えた時点を検出する。もし超えた場合、積分区間
での平均処理（ボックス６６）で、積分結果を積分区間
で所要したフレーム数で割ることにより、積分区間での
平均値を求める。そして、パンの動き登録処理（ボック
ス６７）で、図１のメインメモリ１６内の動き記述テー
ブル１８に、この平均値からなるパンの動きパラメータ
（すなわち、第２の動きパラメータ）を書き込む。尚、
登録終了後積分処理のための各種変数は初期化してお
く。また、これらの積分区間での平均処理、および、パ
ンの動き登録処理の詳細は、それぞれ、図１０、図１１
で説明する。
【００２８】次に、ズームの倍率検出処理（ボックス６
８）では、ブロック毎に求めた動きベクトルと位置ベク
トルを統計的に処理して、異常な動きベクトルを除外し
た上で、ズームの倍率パラメータを計算する。このズー
ムの動き検出処理の詳細は、図１２で述べる。さらに、
積分処理（ボックス６９）では、フレーム毎にズームの
倍率パラメータを積分する。これにより、速度の遅いズ
ームも正確に検出できるようになる。積分処理の詳細
は、図１３で述べる。尚、ズームしていない状態では倍
率パラメータは「１」となるので、積分は倍率パラメー
タ−「１」の値を用い、これを次の処理に利用する。判
断ボックス７０では、積分結果の絶対値が所定の閾値β
を超えた時点を検出し、もし超えた場合、積分区間で平
均を求め、ズームの倍率パラメータを図１の動き記述テ
ーブル１８ヘ登録する。すなわち、積分区間での平均処
理（ボックス７１）で、積分結果を積分区間で所要した
フレーム数で割ることにより平均値を求め、ズームの倍
率登録処理（ボックス７２）で、図１のメインメモリ１
６内の動き記述テーブル１８にズームの倍率パラメータ
を書き込む。尚、登録終了後に、積分処理のための各種
変数は初期化しておく。また、これらの積分区間での平
均処理、および、ズームの倍率登録処理の詳細は、それ
ぞれ、図１４、図１５で述べる。
【００２９】このようにして、一フレーム分におけるパ
ンの動き登録処理とズームの倍率登録処理が終了する
と、フレーム更新処理（ボックス７３）を行ない、ボッ
クス６１からボックス７２までの処理を繰返し、次のフ
レームに対して、パンの動き登録処理とズームの倍率登
録処理を行なう。尚、図１の動き記述テーブル１８を図
１のメインメモリ１６に格納する時に、フレーム数が大
きくなる場合は、外部メモリである図１の磁気ディスク
１７に格納するようにしても良い。
【００３０】次に、パンおよびズームの動き検出方法に
関して説明する。
【００３１】図３は、図１におけるカメラワーク検出シ
ステムで検出するカメラワークの透視変換モデルの一実
施例を示す説明図である。
【００３２】図３において、符号２０、２１、２２は空
間の直交座標系の軸であり、それぞれＸ軸２０、Ｙ軸２
１、Ｚ軸２２である。また符号２３は画像面であり、こ
の画像面２３の画像原点ｏをＺ軸２２が貫き、かつ、垂
直になるような平面とする。ｆは直交座標系の原点Ｏと
画像面２３との距離であり、焦点距離と呼ぶ。また、原
点Ｏは視点と呼ぶ。この透視変換モデルでは、空間中の
点Ｐ（Ｘ，Ｙ，Ｚ）は、この点Ｐと原点Ｏを結ぶ直線の
画像面２３との交点ｐに投影される。その点ｐの画像座
標を（ｘ，ｙ）とすれば、透視変換モデルの幾何学的関
係から、 ｘ＝（ｆ×Ｘ）÷Ｚ ，ｙ＝（ｆ×Ｙ）÷Ｚ （数１） となる。このモデルによれば、パンと呼ぶカメラワーク
は、Ｘ軸２０またはＹ軸２１を回転させる運動であり、
ズームと呼ぶカメラワークは、画像面２３のＺ軸２２の
平行移動の運動である。まず、パンの動き、例えば、Ｙ
軸２１を回転させる運動に関しての説明を行なう。
【００３３】図４は、図１におけるカメラワーク検出シ
ステムのパンの動き検出動作の一実施例を示す説明図で
ある。
【００３４】図３および図４（ｂ）で示すＹ軸２１回り
の画像面２３の回転による画像面２３上の動きベクトル
の例を示し、図４（ａ）において、各ブロック３０の動
きベクトル（図中の矢印）は、ほぼ同じ大きさのものが
同じ方向を向く。図４（ｂ）では、Ｙ軸２１回りに、Δ
θだけ、座標系が回転した場合の点ｐ（ｘ，ｙ）の動き
ベクトルｖ（ｖｘ，ｖｙ）を示している。
【００３５】ここで、点ｐのＸ軸方向の動きベクトル成
分ｖｘは、図４（ｂ）により、 ｖｘ＝ｆ×（ｔａｎ（θ＋Δθ）−ｔａｎθ） （数２） となる。ここで、θは、点ｐの原点Ｏからの位置ベクト
ルのＹＺ平面とのなす角度であり、ｔａｎθ＝ｘ÷ｆで
ある。そこで、数２を変形すると、 ｖｘ＝ｆ×((tanθ＋tanΔθ)÷(１−tanθ×tanΔθ)−tanθ) （数３） となる。ここで、焦点距離ｆが画像面２３のサイズより
十分大きい時、数３は、 ｖｘ≒ｆ×ｔａｎΔθ （数４） で近似できる。したがって、動きベクトルｖを求めるこ
とによってカメラの回転速度が間接的に求められる。
【００３６】次に、ズームの動き、すなわち、画像面２
３のＺ軸２２の平行移動の運動に関しての説明を行な
う。
【００３７】図５は、図１におけるカメラワーク検出シ
ステムのズームの動き検出動作の一実施例を示す説明図
である。
【００３８】図３において、原点ＯからＺ軸２２方向へ
の画像面２３の平行移動Δｆによる画像面２３上の動き
ベクトルの例を示し、各ブロック３０の動きベクトル
は、画像原点ｏから放射状の方向に、画像原点ｏからの
距離に比例して大きくなる。ここで、ズームの倍率ｚ
は、 ｚ＝（ｆ＋Δｆ）÷ｆ （数５） であり、図３の透視変換モデルにより、焦点距離ｆの時
の画像面上での点ｐの位置ベクトルｐｖ１（ｘ１，ｙ
１）と、焦点距離ｆ＋Δｆの時の点ｐの位置ベクトルｐ
ｖ２（ｘ２，ｙ２）から、その絶対値を用いて、 ｚ＝‖ｐｖ２‖÷‖ｐｖ１‖ （数６） でも記述できる。数６は、さらに画像面上での点ｐの動
きベクトルｖを用いて、 ｚ＝‖ｐｖ１＋ｖ‖÷‖ｐｖ１‖ （数７） で記述できる。また、本実施例では、動きベクトルｖが
ノイズ等で誤差を持つ可能性があるので、位置ベクトル
ｐｖ１と方向が同じ成分の大きさだけを加算するように
している。すなわち、 ｚ＝（（‖ｐｖ１‖）＋（ｖ・ｐｖ１））÷‖ｐｖ１‖ （数８） でズーム倍率を求める。
【００３９】次に、図２で説明した図１におけるカメラ
ワーク検出システムの各処理ボックスの詳細を説明す
る。
【００４０】図６は、図２における初期化処理の詳細の
一実施例を示すフローチャートである。
【００４１】ボックス６０１で、各種変数の初期値を０
にリセットする。すなわち、パンの動きパラメータの積
分用のワークエリアを意味する変数ＳＧＭＶＸおよびＳ
ＧＭＶＹと、ズーム倍率の積分用のワークエリアを意味
する変数ＳＧＭＺと、フレーム番号を意味する変数ｎ
と、パンの動きパラメータの積分区間の始点と終点のフ
レーム番号を意味する変数ＰＳおよびＰＥと、ズーム倍
率の動きパラメータの積分区間の始点と終点のフレーム
番号を意味する変数ＺＳおよびＺＥを、全て「０」にす
る。
【００４２】図７は、図２における動きベクトル検出処
理の詳細の一実施例を示すフローチャートである。
【００４３】先ず、ボックス６２１で、動きベクトル検
出フラグＦｋを０にリセットする。これはブロックｋで
の動きベクトルの検出がされなかった状態である。次
に、ボックス６２２では、ブロックｋが、動きベクトル
検出に適しているかどうかを判定する。すなわち、本発
明では、動きベクトル検出に、パターンマッチングによ
る相関値を用いているので、ブロック内が一様な濃度の
パターンでは、たとえ相関値が低くても信頼性はない。
そこで、事前に、ブロック内に縦、横、斜めのパターン
成分が一定値以上含まれているかどうかをチェックす
る。
【００４４】ブロック６２３では、ブロック内に縦、
横、斜めのパターン成分が一定値以上含まれ、パターン
が非一様であるかどうかをチェックする。そして、パタ
ーンが非一様であると判定すると、ブロック６２４で、
パターンマッチングによる動きベクトルの検出を行う。
すなわち、ブロック６２４では、１フレーム前の画像Ｐ
ｎ-1のブロックｋのパターンを標準辞書として、画像Ｐ
ｎ中で最小となる相関値Ｍｉｎと、その時の偏移ΔＸｋ
とΔＹｋを求める。そして、ブロック６２５では、最小
となる相関値が、閾値γより小さいことを判定する。小
さければ、ボックス６２６で、動きベクトル検出フラグ
Ｆｋを１にセットし、ブロックｋで、動きベクトルが求
まった状態にする。
【００４５】以上のことを全てのブロックｋについて行
うと、画面の各ブロックで、多数の動きベクトルが得ら
れることになる。このように、本実施例では、動きベク
トルを求める前に、ブロック内のパターンのチェックを
行っているので、信頼性の高い動きベクトルが求まる。
また、パターンマッチングによる動き検出であるので、
ノイズに対しても安定に動作する。
【００４６】図８は、図２におけるパンの動き検出処理
の詳細の一実施例を示すフローチャートである。
【００４７】先ず、ブロック６３１では、各ブロックで
求めた動きベクトルの平均（ＡＶＥＶＸ，ＡＶＥＶＹ）
と、標準偏差（ＳＴＶＸ，ＳＴＶＹ）を計算する。次
に、ブロック６３２で、各ブロックで求められた動きベ
クトルから、この平均から標準偏差内に入っている動き
ベクトルを求める。そして、ブロック６３３では、平均
から標準偏差内に入っている動きベクトルについて、平
均を求め、パンの動きベクトル（ＶＸ，ＶＹ）とする。
このように本実施例では、単純な平均ではなく、異常な
動きベクトルを除いた上で平均化しており、得られる動
きベクトルの信頼性は高くなる。また、画面中に移動物
体が現われても、全画面の半分以下であればその影響は
ない。
【００４８】図９は、図２におけるパンの動き積分処理
の詳細の一実施例を示すフローチャートである。
【００４９】ブロック６４１で、積分結果をＳＧＭＶ
Ｘ、ＳＧＭＶＹに格納し、ブロック６４２で、積分区間
の終点のフレームを１つ更新し、変数ＰＥに格納する。
【００５０】図１０は、図２におけるパンの積分区間で
の平均処理の詳細の一実施例を示すフローチャートであ
る。
【００５１】ブロック６６１においては、積分区間（Ｐ
Ｅ−ＰＳ）で、ＳＧＭＶＸ、ＳＧＭＶＹを割り、パンの
動きパラメータを変数ＤＸ、ＤＹに格納する。
【００５２】図１１は、図２におけるパンの動き登録処
理の詳細の一実施例を示すフローチャートである。
【００５３】ブロック６７１で、変数ＤＸ、ＤＹを、図
１の動き記述テーブル１８におけるフレーム区間ＰＳか
らＰＥ−１までの該当するＤＸ、ＤＹの項に登録する。
次に、ブロック６７２で、次の積分区間の初期化のた
め、変数ＰＳに変数ＰＥの内容を代入する。そして、ブ
ロック６７３で、次の積分の初期化のため、変数ＳＧＭ
ＶＸ、ＳＧＭＶＹを０にリセットする。
【００５４】図１２は、図２におけるズームの倍率検出
処理の詳細の一実施例を示すフローチャートである。
【００５５】ブロック６８１では、各ブロックの中心の
点の位置ベクトルと、それに対応する動きベクトルか
ら、数式８により、ズームの倍率Ｚｋを計算する。尚、
この時、動きベクトルの方向と、位置ベクトルの方向が
大幅にずれている場合は、異常な動きベクトルと判断
し、ズームの倍率計算は行わない。また、ズームの倍率
Ｚｋは、値１を中心に、ズームアップ時には１より大き
くなり、ズームダウン時には１より小さくなる。次に、
ブロック６８２では、各ブロックで求めたズーム倍率Ｚ
ｋの平均と標準偏差を計算し、変数ＡＶＥＺ、ＳＴＶＺ
にそれぞれ格納する。そして、ブロック６８３で、各ブ
ロックで求めたズーム倍率Ｚｋが、この平均から標準偏
差内に入っているものについてのみ平均を求め、ズーム
倍率Ｚとする。このように本実施例では、ズームの検出
についても、単純な平均ではなく、異常なズーム倍率を
除いた上で平均化しており、得られるズーム倍率の信頼
性は高くなる。また、パンの検出の場合と同様に、画面
中に移動物体が現われても、全画面の半分以下であれば
その影響はない。
【００５６】図１３は、図２におけるズームの倍率積分
処理の詳細の一実施例を示すフローチャートである。
【００５７】ブロック６９１で、積分結果を変数ＳＧＭ
Ｚに格納するが、この際、ズーム倍率Ｚから１を差し引
いたものを積分する。次に、ブロック６９２で、積分区
間の終点のフレームを１つ更新し、変数ＺＥに格納す
る。
【００５８】図１４は、図２におけるズームの積分区間
での平均処理の詳細の一実施例を示すフローチャートで
ある。
【００５９】ブロック７１１では、積分区間（ＺＥ−Ｚ
Ｓ）でＳＧＭＺを割り、それに１を加算した後、ズーム
の倍率を変数Ｚに格納する。
【００６０】図１５は、図２におけるズームの倍率登録
処理の詳細の一実施例を示すフローチャートである。
【００６１】ブロック７２１では、変数Ｚを、図１の動
き記述テーブル１８におけるフレーム区間ＺＳからＺＥ
−１までの該当するＺの項に登録する。次に、ブロック
７２２で、次の積分区間の初期化のため、変数ＺＳに変
数ＺＥの内容を代入する。また、ブロック７２３で、次
の積分の初期化のため、変数ＳＧＭＺを０にリセットす
る。
【００６２】以上、図１〜図１５を用いて説明したよう
に、本実施例のカメラワーク検出方法によれば、パンや
ズームなどのカメラワークを、フレーム毎に自動的に記
述することができる。この時、動きベクトルを多数のブ
ロックで検出しているので、統計的に矛盾のある動きベ
クトルを、予め除去することが可能となり、記述内容の
信頼性を向上させることができる。また、動きパラメー
タは、フレーム毎に積分するようにしており、カメラワ
ークがゆっくりしたスピードの場合でも、動きパラメー
タの検出ができる。また、処理を高速化するためには、
たとえば画像入力処理時点で、画像を１／８程度のサイ
ズに間引いても良い。この場合、検出精度が粗くなり、
フレーム間で８画素以上の動きがなければ間引き画像上
では検出できない。しかしながら、フレーム毎に積分す
るようにしており、８フレーム積分する間に、動きが検
出できる。従って、通常のワークステーションでも、実
用的な速度で、動画像のカメラワークを記述することが
できる。
【００６３】
【発明の効果】本発明によれば、パンやズームなどのカ
メラワークを、たとえ移動物体が画面に侵入しても正確
に検出でき、かつ、通常のワークステーションでも高速
に検出して記述することが可能となり、このカメラワー
クの記述データを、ビデオ編集時の動画像の検索やパン
などの速度調整作業の情報として有効に利用することが
でき、画像編集処理操作の向上が可能となる。
【００６４】
【図面の簡単な説明】
【図１】本発明の一実施例を示す動画像のカメラワーク
検出システムの全体ブロック図である。
【図２】図１における中央処理装置の本発明に係わるカ
メラワーク検出処理動作を示すフローチャートである。
【図３】図１におけるカメラワーク検出システムで検出
するカメラワークの透視変換モデルの一実施例を示す説
明図である。
【図４】図１におけるカメラワーク検出システムのパン
の動き検出動作の一実施例を示す説明図である。
【図５】図１におけるカメラワーク検出システムのズー
ムの動き検出動作の一実施例を示す説明図である。
【図６】図２における初期化処理の詳細の一実施例を示
すフローチャートである。
【図７】図２における動きベクトル検出処理の詳細の一
実施例を示すフローチャートである。
【図８】図２におけるパンの動き検出処理の詳細の一実
施例を示すフローチャートである。
【図９】図２におけるパンの動き積分処理の詳細の一実
施例を示すフローチャートである。
【図１０】図２におけるパンの積分区間での平均処理の
詳細の一実施例を示すフローチャートである。
【図１１】図２におけるパンの動き登録処理の詳細の一
実施例を示すフローチャートである。
【図１２】図２におけるズームの倍率検出処理の詳細の
一実施例を示すフローチャートである。
【図１３】図２におけるズームの倍率積分処理の詳細の
一実施例を示すフローチャートである。
【図１４】図２におけるズームの積分区間での平均処理
の詳細の一実施例を示すフローチャートである。
【図１５】図２におけるズームの倍率登録処理の詳細の
一実施例を示すフローチャートである。
【符号の説明】
１ カメラワーク検出・登録処理プログラム ２ 動きベクトル検出プログラム ３ 動きパラメータ抽出処理プログラム ４ 登録処理プログラム １０ ビデオディスク装置 １１ ビデオテープレコーダ １２ テレビチューナ １３ ビデオコントローラ １４ フレームメモリ １５ 中央処理装置 １６ メインメモリ １７ 磁気ディスク装置 １８ 動き記述テーブル ２０ Ｘ軸 ２１ Ｙ軸 ２２ Ｚ軸 ２３ 画像面 ３０ ブロック

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項１】 連続した複数の画像から構成される動画像
    をフレーム単位で時系列に入力し、 該フレーム間で、該フレームを小ブロックに分割したと
    きのその小ブロック毎に定められた各代表点の動きベク
    トルを検出し、 各代表点の動きベクトルの平均値と標準偏差を求め、 該平均値から該標準偏差内にある各代表点の動きベクト
    ルの平均値を求め、 求められた平均値を連続するフレームにおいて積分し、
    積分された値が所定の閾値を越えたときにその値を積分
    区間で平均化し、 該平均化された値を該当するフレーム区間のパン及びチ
    ルトの動きパラメータとして、フレーム毎にカメラワー
    クを記録する登録テーブルに出力することを特徴とする
    カメラワーク検出方法。
  2. 【請求項２】 請求項１に記載のカメラワーク検出方法に
    おいて、小ブロックの各代表点の動きベクトルは、連続
    するフレームの前のフレームで、画像のパターンが非一
    様なブロックを標準パターンとし、続くフレーム中の、
    上記ブロックの近傍で、該標準位置との差から求めるよ
    うにしたことを特徴とするカメラワーク検出方法。
  3. 【請求項３】 連続した複数の画像から構成される動画像
    をフレーム単位で時系列に入力し、 該フレーム間で、該フレームを小ブロックに分割したと
    きのその小ブロック毎に定められた各代表点の動きベク
    トルを検出し、 各代表点の動きベクトルと位置ベクトルとからズーム倍
    率を求め、 該ズーム倍率の平均値と標準偏差を求め、 該平均値から該標準偏差内にある各代表点のズーム倍率
    の平均値を求め、 求められたズーム倍率の平均値を連続するフレームにお
    いて積分し、積分された値が所定の閾値を越えたとき、
    その値を積分区間で平均化し、 該平均化された値を該当するフレーム区間のズームの動
    きパラメータとして、フレーム毎にカメラワークを記録
    する登録テーブルに出力することを特徴とするカメラワ
    ーク検出方法。
  4. 【請求項４】 請求項３に記載のカメラワーク検出方法に
    おいて、小ブロックの各代表点の動きベクトル、連続す
    るフレームの前のフレームで、画像のパターンが非一様
    なブロックを標準パターンとし、続くフレーム中の、上
    記ブロックの近傍で、該標準位置との差から求めるよう
    にしたことを特徴とするカメラワーク検出方法。
JP3070475A 1991-03-11 1991-03-11 カメラワーク検出方法 Expired - Lifetime JP2677312B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP3070475A JP2677312B2 (ja) 1991-03-11 1991-03-11 カメラワーク検出方法
DE69219944T DE69219944T2 (de) 1991-03-11 1992-02-17 Verfahren zur Erfassung der Bewegung einer Kamera
EP92102624A EP0509208B1 (en) 1991-03-11 1992-02-17 Camera work detecting method
US07/840,825 US5267034A (en) 1991-03-11 1992-02-25 Camera work detecting method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP3070475A JP2677312B2 (ja) 1991-03-11 1991-03-11 カメラワーク検出方法

Publications (2)

Publication Number Publication Date
JPH04281679A JPH04281679A (ja) 1992-10-07
JP2677312B2 true JP2677312B2 (ja) 1997-11-17

Family

ID=13432591

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3070475A Expired - Lifetime JP2677312B2 (ja) 1991-03-11 1991-03-11 カメラワーク検出方法

Country Status (4)

Country Link
US (1) US5267034A (ja)
EP (1) EP0509208B1 (ja)
JP (1) JP2677312B2 (ja)
DE (1) DE69219944T2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004061387A1 (ja) * 2002-12-27 2004-07-22 Hiroshi Arisawa 多視点ビデオキャプチャシステム
JP2007072789A (ja) * 2005-09-07 2007-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像構造化方法及び装置及びプログラム

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
GB9206396D0 (en) * 1992-03-24 1992-05-06 British Broadcasting Corp Video image motion measurement
EP0590759B1 (en) * 1992-08-12 1998-12-09 International Business Machines Corporation System and method for locating video segment boundaries
DE69329717T2 (de) * 1992-10-09 2001-05-10 Sony Corp., Tokio/Tokyo Erzeugung und Aufnahme von Bildern
KR100215586B1 (ko) * 1992-11-09 1999-08-16 모리시타 요이찌 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법
US6034723A (en) * 1992-11-20 2000-03-07 Sony Corporation Image movement vector detection apparatus
US6236682B1 (en) * 1993-03-08 2001-05-22 Sony Corporation Video motion vector detection including rotation and/or zoom vector generation
JPH0767015A (ja) * 1993-08-24 1995-03-10 Canon Inc 画像記録装置
JPH07135663A (ja) * 1993-09-17 1995-05-23 Oki Electric Ind Co Ltd 動きベクトル検出方法および動きベクトル検出装置
US6211912B1 (en) * 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes
GB9404091D0 (en) * 1994-03-03 1994-04-20 Snell & Wilcox Ltd Video signal processing
US6271892B1 (en) 1994-06-02 2001-08-07 Lucent Technologies Inc. Method and apparatus for compressing a sequence of information-bearing frames having at least two media
US6493031B1 (en) * 1995-03-31 2002-12-10 Canon Kabushiki Kaisha Visual information processing method and apparatus for extracting feature quantities from a two-dimensional image signal
US5973733A (en) * 1995-05-31 1999-10-26 Texas Instruments Incorporated Video stabilization system and method
JPH0973109A (ja) * 1995-09-06 1997-03-18 Nikon Corp ブレ検出装置
US5666504A (en) * 1995-09-29 1997-09-09 Intel Corporation Method for displaying a graphical rocker button control
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
DE19545990A1 (de) * 1995-12-09 1997-06-12 Thomson Brandt Gmbh System zur Aufnahme von Bildern
KR100215448B1 (ko) * 1996-04-27 1999-08-16 윤종용 캠코더의 손떨림/이동속도 디스플레이장치
CN1055187C (zh) * 1996-10-07 2000-08-02 广播电影电视部广播科学研究院 视频节目制作参数的提取方法及其系统
JP3907254B2 (ja) * 1996-12-27 2007-04-18 キヤノン株式会社 画像記録装置、画像記録方法及びコンピュータ可読の記録媒体
CN1053547C (zh) * 1997-01-10 2000-06-14 广播电影电视部广播科学研究院 用节目制作参数进行图象运动估计的装置及其方法
AU9449698A (en) * 1997-10-10 1999-05-03 Harlequin Limited Image processing system, method and computer program product
US6266369B1 (en) * 1998-06-09 2001-07-24 Worldgate Service, Inc. MPEG encoding technique for encoding web pages
US6307550B1 (en) * 1998-06-11 2001-10-23 Presenter.Com, Inc. Extracting photographic images from video
WO1999065224A2 (en) * 1998-06-11 1999-12-16 Presenter.Com Creating animation from a video
US6268864B1 (en) 1998-06-11 2001-07-31 Presenter.Com, Inc. Linking a video and an animation
US6081278A (en) * 1998-06-11 2000-06-27 Chen; Shenchang Eric Animation object having multiple resolution format
WO2000042771A1 (en) * 1999-01-12 2000-07-20 Koninklijke Philips Electronics N.V. Camera motion parameters estimation method
US6748158B1 (en) * 1999-02-01 2004-06-08 Grass Valley (U.S.) Inc. Method for classifying and searching video databases based on 3-D camera motion
EP1068576A1 (en) * 1999-02-01 2001-01-17 Koninklijke Philips Electronics N.V. Descriptor for a video sequence and image retrieval system using said descriptor
TW472484B (en) * 1999-03-09 2002-01-11 Sanyo Electric Co Method and apparatus for processing camera signals
US6404441B1 (en) 1999-07-16 2002-06-11 Jet Software, Inc. System for creating media presentations of computer software application programs
US7996878B1 (en) 1999-08-31 2011-08-09 At&T Intellectual Property Ii, L.P. System and method for generating coded video sequences from still media
US7702014B1 (en) 1999-12-16 2010-04-20 Muvee Technologies Pte. Ltd. System and method for video production
RU2265285C2 (ru) * 2000-01-31 2005-11-27 Ой Вирчуал Эдветайзинг Системз Ви-Эй-Эс Лтд. Способ модификации изображения объекта, снимаемого телевизионной камерой
US6249281B1 (en) 2000-02-28 2001-06-19 Presenter.Com On-demand presentation graphical user interface
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
US7751683B1 (en) * 2000-11-10 2010-07-06 International Business Machines Corporation Scene change marking for thumbnail extraction
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
KR100443677B1 (ko) * 2001-09-29 2004-08-09 엘지전자 주식회사 동영상의 모션벡터 양자화를 이용한 카메라 모션 검출방법
KR100453222B1 (ko) * 2001-12-17 2004-10-15 한국전자통신연구원 카메라 움직임 판별 장치 및 방법
EP1488630B1 (en) * 2002-03-14 2015-07-29 UTC Fire & Security Americas Corporation, Inc. High-speed search of recorded video information to detect motion
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
EP1377040A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Method of stabilizing an image sequence
JP4223762B2 (ja) * 2002-08-26 2009-02-12 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
GB0229096D0 (en) * 2002-12-13 2003-01-15 Qinetiq Ltd Image stabilisation system and method
FR2882160B1 (fr) 2005-02-17 2007-06-15 St Microelectronics Sa Procede de capture d'images comprenant une mesure de mouvements locaux
KR100618395B1 (ko) * 2005-03-18 2006-09-01 에스케이 텔레콤주식회사 카메라 움직임 입력 수치화 방법 및 그 장치
JP4919637B2 (ja) * 2005-09-14 2012-04-18 株式会社日立製作所 撮像装置及び撮像方法
JP4661514B2 (ja) * 2005-10-07 2011-03-30 ソニー株式会社 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体
US7553229B2 (en) * 2006-03-21 2009-06-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Active referencing method with interleaved crosshair navigation frames
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
US8208792B2 (en) * 2006-09-12 2012-06-26 Panasonic Corporation Content shooting apparatus for generating scene representation metadata
JP5009639B2 (ja) * 2007-02-09 2012-08-22 株式会社リコー レーザ書換システム
JP5205337B2 (ja) 2009-06-18 2013-06-05 富士フイルム株式会社 ターゲット追跡装置および画像追跡装置ならびにそれらの動作制御方法ならびにディジタル・カメラ
CN102740106B (zh) * 2011-03-31 2014-12-03 富士通株式会社 在视频中检测摄像机运动类型的方法及装置
US20130089301A1 (en) * 2011-10-06 2013-04-11 Chi-cheng Ju Method and apparatus for processing video frames image with image registration information involved therein
US9420170B2 (en) 2013-12-30 2016-08-16 Nxp B.V. Graphical user interface for video recording device
US20160148648A1 (en) * 2014-11-20 2016-05-26 Facebook, Inc. Systems and methods for improving stabilization in time-lapse media content
EP3453168B1 (en) * 2016-05-02 2025-10-15 HRL Laboratories, LLC An efficient hybrid method for ego-motion from videos captured using an aerial camera

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07118784B2 (ja) * 1984-10-27 1995-12-18 ソニー株式会社 テレビジヨン信号の動き検出方法
EP0250533B1 (en) * 1985-12-24 1993-01-27 British Broadcasting Corporation Method of coding a video signal for transmission in a restricted bandwidth
DE3869475D1 (de) * 1987-06-02 1992-04-30 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
GB2220319B (en) * 1988-07-01 1992-11-04 Plessey Co Plc Improvements in or relating to image stabilisation
EP0682449B1 (en) * 1988-09-09 2003-01-02 Canon Kabushiki Kaisha Automatic image stabilization device
EP0419752B1 (en) * 1989-09-25 1995-05-10 Rai Radiotelevisione Italiana System for encoding and transmitting video signals comprising motion vectors
DE69033296T2 (de) * 1989-10-26 2000-03-30 Canon K.K., Tokio/Tokyo Bewegungsentdeckungsgerät
GB9001468D0 (en) * 1990-01-23 1990-03-21 Sarnoff David Res Center Computing multiple motions within an image region
JP2863818B2 (ja) * 1990-08-31 1999-03-03 工業技術院長 動画像の変化点検出方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004061387A1 (ja) * 2002-12-27 2004-07-22 Hiroshi Arisawa 多視点ビデオキャプチャシステム
CN100523715C (zh) * 2002-12-27 2009-08-05 有泽博 多视点视频捕获系统
JP2007072789A (ja) * 2005-09-07 2007-03-22 Nippon Telegr & Teleph Corp <Ntt> 映像構造化方法及び装置及びプログラム

Also Published As

Publication number Publication date
US5267034A (en) 1993-11-30
DE69219944D1 (de) 1997-07-03
JPH04281679A (ja) 1992-10-07
EP0509208B1 (en) 1997-05-28
EP0509208A2 (en) 1992-10-21
EP0509208A3 (en) 1993-03-03
DE69219944T2 (de) 1998-02-05

Similar Documents

Publication Publication Date Title
JPH04281679A (ja) カメラワーク検出方法
JP3554595B2 (ja) カメラ移動誘発シーン変化を検出するための方法
EP3413236B1 (en) Control apparatus, method of controlling image sensing device, and computer-readable storage medium
US5835641A (en) Image pick-up apparatus for detecting and enlarging registered objects
JP4140591B2 (ja) 撮像システム及び撮像方法
EP1914682B1 (en) Image processing system and method for improving repeatability
KR100676232B1 (ko) 물체추적방법, 물체추적장치 및 물체추적을 행하기 위한 계산기의 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
US7734144B2 (en) Method and apparatus for editing source video to provide video image stabilization
US20090169067A1 (en) Face detection and tracking method
US20110134329A1 (en) Stabilization method for vibrating video frames
US20200160560A1 (en) Method, system and apparatus for stabilising frames of a captured video sequence
JPS63166370A (ja) 画像動き補正装置
US8363726B2 (en) Electronic apparatus, motion vector detecting method, and program therefor
JP4948294B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
KR101589823B1 (ko) 이벤트 상황을 효율적으로 검색하기 위한 가변형 디스플레이 환경을 제공하는 cctv모니터링 시스템
KR20030049642A (ko) 스테레오스카픽 실사 동영상 정보와 컴퓨터 그래픽 영상합성을 위한 카메라 정보 부호화/복호화 방법
JP2006148208A (ja) 画像処理装置、再生画像処理装置、画像処理方法及び再生画像処理装置
US20050185059A1 (en) Image processing method
JPH04213973A (ja) 画像ゆれ補正装置
JP3286360B2 (ja) 動画像ダイジェスト自動表示装置
JPH10276359A (ja) 追尾装置および追尾方法
JP2889410B2 (ja) 画像認識装置
KR20030085810A (ko) 영상데이터의 변화값 추출을 이용한 영상데이터 저장방법
JPH04148282A (ja) 画像撮像装置の撮像状態検出方法
WO2004019611A1 (ja) 画像信号処理装置及び方法、並びに画像信号処理システム

Legal Events

Date Code Title Description
EXPY Cancellation because of completion of term