JPH07168932A - ビデオ画像中の人間を探索する方法 - Google Patents

ビデオ画像中の人間を探索する方法

Info

Publication number
JPH07168932A
JPH07168932A JP6186824A JP18682494A JPH07168932A JP H07168932 A JPH07168932 A JP H07168932A JP 6186824 A JP6186824 A JP 6186824A JP 18682494 A JP18682494 A JP 18682494A JP H07168932 A JPH07168932 A JP H07168932A
Authority
JP
Japan
Prior art keywords
image
head
processor
human head
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6186824A
Other languages
English (en)
Inventor
David C Gibbon
シー．ギボン デビッド
Jakub Segen
セゲン ジャクブ
Behzad Shahraray
シャハラライ バーザド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Inc
Original Assignee
American Telephone and Telegraph Co Inc
AT&T Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by American Telephone and Telegraph Co Inc, AT&T Inc filed Critical American Telephone and Telegraph Co Inc
Publication of JPH07168932A publication Critical patent/JPH07168932A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

(57)【要約】 【目的】 一連の画像において人間を識別する。 【構成】 運動の領域を抽出するためにある画像とその
前の画像の差を取得し、運動領域の境界における局所曲
率極値を格納されている人間の頭部のモデルと比較し、
人間の頭部のモデルに対応する局所境界を識別する。あ
る画像とその前の画像の差を取得するステップは、その
差を取得する前に画像をディジタル化することを含むこ
とも可能である。また、比較ステップは、人間の頭部お
よび首に対応する領域境界の部分に、包囲する環状形状
をフィットすることを含むことも可能である。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、画像シーケンス中で人
間を検出する方法および手段に関し、特に、ビジュアル
通信を容易にするためにビデオ画像中で人間を発見する
ことに関する。
【０００２】
【従来の技術】ビデオ画像中で人間を発見することは、
自動カメラ撮影、人間と機械のインタフェース、自動セ
キュリティアプリケーション、人間トラフィックモニタ
リング、画像圧縮などのアプリケーションを容易にする
ことができる。
【０００３】米国特許出願第５，０８６，４８０号は、
引き続く画像の対応する画像要素を減算し、画像要素の
輝度しきい値以下のノイズを除去し、その結果のデータ
セットをフィルタリングおよびクラスタリングし、その
セットを含む最小の長方形を決定し、その長方形の周り
に有限の太さの境界を生成し、各境界内に入るデータセ
ットによって表される要素に対応する原画像における要
素から頭部コードブックを生成することによって、ビデ
オ画像中の人間を識別しようと試みている。その米国特
許では、減算された出力を生じる画像内には運動する頭
部があることを仮定している。しかし、画像内の人間が
手を挙げた場合、その特許の方法は手と頭を混同するこ
とがある。
【０００４】
【発明が解決しようとする課題】本発明の目的は、一連
の画像において人間を識別するシステムを改良すること
である。
【０００５】本発明のもう１つの目的は、前記の問題点
を克服することである。
【０００６】
【課題を解決するための手段】本発明の特徴によれば、
これらの目的は、運動の領域を抽出するためにある画像
とその前の画像の差を取得し、運動領域の境界における
局所曲率極値を格納されている人間の頭部のモデルと比
較し、人間の頭部のモデルに対応する局所境界を識別す
る。
【０００７】本発明のもう１つの特徴によれば、ある画
像とその前の画像の差を取得するステップは、その差を
取得する前に画像をディジタル化することを含む。
【０００８】本発明のさらにもう１つの特徴によれば、
比較ステップは、人間の頭部および首に対応する領域境
界の部分に、包囲する環状形状をフィットすることを含
む。
【０００９】
【実施例】図１のブロック図は、本発明を実現するいく
つかのシステムのうちの１つを示す。ここで、ビデオカ
メラＶＣ１は検出したビデオ信号をプロセッサＰＲ１へ
送る。プロセッサＰＲ１は、適当な記憶装置および中央
処理装置を有するコンピュータの形式である。ディスプ
レイＤＩ１は、プロセッサＰＲ１による処理に基づい
て、ビデオカメラＶＣ１からのビデオ出力を表示する。
ビデオカメラＶＣ１は、場面が少なくとも１人の人間を
含んでいるかどうかを判定する。プロセッサＰＲ１は、
視者がビデオカメラＶＣ１、ディスプレイＤＩ１、また
はその両方に送ることができる制御信号を生成する。Ｐ
Ｒ１のプロセスが制御信号をカメラＶＣ１に送ると、こ
の制御信号はビデオカメラを場面に向け、場面内の人間
が所望の位置に、好ましくは中心に、来るようにする。
ディスプレイＤＩ１に送られると、この制御信号は、場
面内の所望の所望の位置に、好ましくは中心に、電子的
にこの人間を置く。レコーダＲＥ１（例えばビデオカセ
ットレコーダ）は、プロセッサＰＲ１からの処理された
信号を記録する。
【００１０】プロセッサＰＲ１はマニュアル制御すなわ
ち入力ＭＩ１を有する。ＭＩ１によって、ディスプレイ
ＤＩ１は、ビデオカメラＶＣ１からの未処理の出力、ま
たは、プロセッサＰＲ１からの、場面中の人間を中央に
置いた、または、位置決めした処理済み出力を選択的に
表示する。これによって、ビデオカメラＶＣ１は、ビデ
オカメラＶＣ１からの未処理画像か、または、人間が中
央に位置した、もしくは、プロセッサＰＲ１がビデオカ
メラＶＣ１の位置を制御して人間が位置決めされたプロ
セッサＰＲ１からの処理済み画像かのいずれかを表示す
ることを選択する。ディスプレイの選択は、全く視者の
自由である。
【００１１】図２および図３は、ビデオカメラＶＣ１か
らの画像を処理するためにプロセッサＰＲ１によって実
行されるステップを説明する流れ図である。図２および
図３の例では、ステップ１０１で、プロセッサＰＲ１
は、カメラＶＣ１からビデオ入力を受信する。
【００１２】ビデオ入力がアナログ信号の形式である場
合、ステップ１０４で、プロセッサＰＲ１はそのビデオ
入力をディジタル化する。プロセッサＰＲ１は、ステッ
プ１０７で、ビデオ入力からの連続する画像を格納し、
ステップ１１０で、連続する２つの画像の差をとる（す
なわち、連続する２つの画像のうちの一方の画素を他方
の対応する画素から減算する）。プロセッサＰＲ１は、
直接連続するフレーム（すなわち画像）の要素を減算す
るのが好ましいが、減算プロセスのために数フレーム戻
ることも可能である。ステップ１１４で、プロセッサＰ
Ｒ１は非減算画像内の要素の絶対値を生成し、ステップ
１１７で、その絶対値を、プロセッサＰＲ１に格納され
ているしきい値１２０と比較し、しきい値より大きい値
を１にセットし、しきい値以下の値を０にセットして、
２値動画像を生成する。ステップ１１４における絶対値
の生成、および、ステップ１７７におけるしきい値との
比較演算の目的は、一時的なノイズを除去することであ
る。
【００１３】このようにして、ステップ１０７〜１２０
で、プロセッサＰＲ１は、ビデオカメラＶＣ１から現在
来た画像の要素から前の画像の対応する要素を減算し、
その絶対値をとり、その結果をしきい値と比較すること
によって、「セグメンテーション」を生成することによ
り、次式のように一時的ノイズを除去する。
【数１】
【００１４】τの値は、プロセッサＰＲ１が減算のため
に戻る過去の画像すなわちフレームの数を表し、１画像
（フレーム）を表すのが好ましい。本発明のもう１つの
実施例によれば、プロセッサＰＲ１はマニュアル操作可
能なフレーム制御ＦＣを有し、τをより大きい整数値に
変化させ、ゆっくりと運動する対象の検出を視者が改善
することができる。フレーム制御ＦＣは自動とすること
も可能である。
【００１５】本発明の１つの特徴によれば、しきい値を
表す値Ｔはすべてのノイズを除去するように選択され
る。しかし、このような高いしきい値は、正当な差分信
号の重要部分をも除去する可能性がある。好ましい実施
例では、プロセッサＰＲ１はより低いしきい値Ｔを使用
して、ランダムに離間した独立のノイズピクセルの画像
を生成し、残りのノイズの除去は、後の処理段階まで延
期する。一実施例によれば、ユーザが入力を制御し、し
きい値Ｔの値をセットして、対象／背景セグメンテーシ
ョンの精度に影響を与える可能性のある残りのノイズを
除去する。
【００１６】図４に、ステップ１０１〜１２０で行われ
る減算の結果を例示する。この減算は、頭部の中央付近
のギャップＧＡのためにプロセッサＰＲ１が図４におい
て図４の対象ＯＢの頭部ＨＥを頭部として認識できない
ような場合に不完全な対象セグメンテーションを生成す
ることが多い。セグメンテーションを改善するために、
ステップ１２４で、プロセッサＰＲ１は２値動画像を膨
張させ、図５の膨張対象ＤＯに示されるように２値動画
像のギャップを充填する。この充填は、解像度および精
度には影響を与えない。本発明の実施例によれば、形態
学的閉成として、膨張に続いて侵食を行うことにより、
ギャップを充填する。しかし、処理時間を節約するた
め、本発明の好ましい実施例では侵食ステップを省略
し、膨張の結果として対象のサイズがわずかに増大する
ことを受容する。
【００１７】図５に、膨張した図を例示し、対象セグメ
ンテーションがどのように改善されているかを示す。手
ＨＡは図４および図５の両方に現れている。
【００１８】ステップ１２７で、プロセッサＰＲ１は、
図５の膨張差分画像の外形の輪郭を追跡することによっ
て差分画像の境界を識別する。オー．ジョンソン(O. Jo
hnson)、ジェー．シーゲン(J. Segen)、ジー．エル．キ
ャッシュ（G. L. Cash)による論文「パターンマッチン
グおよび置換による２値画像の符号化(Coding of TwoLe
vel Pictures by Pattern Matching and Substitutio
n)」、Bell System Technical Journal、第６２巻第８
号（１９８３年１０月）、には、図１のステップ１２７
の輪郭追跡と、ステップ１３０の局所境界曲率極値を計
算することによる領域特徴の発見について開示されてい
る。この論文のプロセスを使用する際に、プロセッサＰ
Ｒ１は領域境界の座標値（ｘ（ｉ）およびｙ（ｉ））を
発見する。ステップ１３０で、プロセッサＰＲ１は、長
さ２ｋ＋１の長方形フィルタで領域境界の座標値を平滑
化する。ただし、ｋは輪郭のｋ−曲率を計算するための
パラメータである。輪郭のｋ−曲率の決定は既知であ
り、エー．ローゼンフェルド(A. Rosenfeld)、エー．カ
ク(A. Kak)による論文「ディジタル画像処理(Digital P
icture Processing)」、アカデミック・プレス（１９７
６年）、ＩＳＢＮ０−１２−５９７３６０−８、に記載
されている。これはまた、ジェイカブ・シーゲン(Jacub
Segen)による論文「部分的視野からのランダムな向き
を有する対象の探索(Locating Randomly Oriented Obje
cts from Partial View)」、SPIE Conference on Robot
Vision and Sensory Control（１９８３年、ケンブリ
ッジ、米国マサチューセッツ州）にも記載されている。
ステップ１３０の要素は図６ではステップ５０１〜５２
４に示されている。これらのステップは、平滑化ステッ
プ５０１から始まり、傾斜決定ステップ５０４、計算ス
テップ５０７と続く。
【００１９】本発明のもう１つの実施例によれば、代わ
りに曲率が決定される。しかし、ｋ−曲率が、本発明の
目的にとって簡単かつ十分である。
【００２０】図６において、ステップ５０７は、向きＯ
（ｉ）すなわちｋ−傾斜を以下のように計算する。
【数２】
【数３】
【数４】 ただし、ダッシュは輪郭の平滑化バージョンを表し、Ａ
ｔａｎ２関数は、直交座標から極座標への変換の場合の
ように−πからπまでの領域でのｄy／ｄxの逆正接を計
算する。曲率は次のように計算される。
【数５】
【００２１】プロセッサＰＲ１は、ステップ５１０で、
画像の曲率を平滑化し、ステップ５１４で曲率の微分を
決定し、ステップ５１７で曲率の微分の有意なゼロ交差
を探索し、ステップ５２０で、各有意ゼロ交差における
曲線の法線を決定する。法線の決定は、有意ゼロ交差の
点からユークリッド距離ｋだけそれぞれ離れた輪郭上の
２点を使用して行われる。ステップ５２４で、プロセッ
サＰＲ１は、これらの各「特徴」点（すなわち、微分の
ゼロ交差）のパラメータ、すなわち、ｘ−ｙ位置、曲
率、および、曲線に対する法線の角度、を格納する。曲
率は、凸特徴に対して正であり、凹特徴に対して負であ
る。プロセッサＰＲ１は、時計回りにたどる輪郭に現れ
るように特徴点を格納する。
【００２２】図７に、ステップ１２７の輪郭追跡と、ス
テップ１３０およびステップ５０１〜５２４の局所境界
曲率極値の計算の結果を示す。図７は、追跡した輪郭Ｃ
Ｎとともに、法線ＮＯを含む。
【００２３】処理のこの時点で、プロセッサＰＲ１は、
領域から輪郭へ、そして特徴点へとデータを縮小したこ
とになる。次に、プロセッサＰＲ１は、特徴点のセット
から頭部および首の形状に対応する特徴を探索する。こ
のために、プロセッサＰＲ１は、モデル入力ステップ１
３４で、頭部および首の形状の単純な、ハードコード化
された（学習したものではない）モデルを使用する。モ
デルの代表例ＲＥはステップ１３４とともに現れてい
る。
【００２４】ステップ１３７で、プロセッサＰＲ１は、
領域特徴と格納されているモデルとをマッチングする。
このステップで、プロセッサＰＲ１は、首の左側の凹
部、頭部の頂上の凸部、続いて首の右側の凹部を示す特
徴点の列を探索する。プロセッサＰＲ１は、曲率の符号
のみを調べ、その大きさは調べない。頭部の頂上はほぼ
円形であるため、曲率の局所的最大の位置は、ノイズや
背景セグメンテーション誤差に対して非常に敏感であ
る。実際に、複数の特徴点が存在することもある。従っ
て、プロセッサＰＲ１は、位置を制限せずに、頭部の頂
上の１個以上の凸特徴点を探索する。プロセッサＰＲ１
は、検出される頭部がほぼ上を向いていることを保証す
るために、首の点における輪郭に対する法線の受容可能
な方向を制限する。プロセッサＰＲ１は、首の左側の点
における対象に対する法線は９０〜２２５度の範囲、か
つ、首の右側の点における対象に対する法線は−４５〜
９０度の範囲のみを受容する。これは、頭部全体の傾き
を鉛直から約±３０度に制限する。図８に、膨張した２
値動画像から得られる輪郭からの正しい検出の例を表す
画像における対象ＯＢを示す。直線ＳＬは、首における
曲率の局所的極値の位置ＭＡを結ぶ。マッチングステッ
プ１３７は、肩に対応する特徴点の存在を必要としな
い。
【００２５】ステップ１４０で、プロセッサＰＲ１は、
頭部形状を識別し、首特徴点の位置から首の幅を計算す
る。プロセッサＰＲ１は、首の幅を全体のサイズと比較
し、首の左側の点が実際に首の右側の点の左側にあるこ
とを判定する。また、プロセッサＰＲ１は、頭部および
首の周囲長を測定し、その周囲長が所定の周囲長しきい
値より大きい可能性のみを選択する。この最小周囲長の
制限により、残りの孤立ノイズ領域がスキップされる。
プロセッサは、頭部の可能性のある各領域に対してステ
ップ１３７および１４０を繰り返す。
【００２６】図９に、他の差分画像ＤＡを示し、図１０
に、特徴点と、特徴点ＦＰにおける法線ＮＯとともに、
対応する輪郭を示す。図１０の各図番号（ａ）〜（ｋ）
は、対応する図９の（ａ）〜（ｋ）の図の輪郭を表す。
ステップ１４４までのプロセスは、頭部および首の形状
を検出するが、例えば図９および図１０の（ｄ）〜
（ｆ）の逆Ｔ字形のような他の形状も検出する。
【００２７】ステップ１４４の前に、プロセッサＰＲ１
は形状をマッチングするために特徴点のみを使用した。
ステップ１４４では、プロセッサは輪郭自体に戻る。ス
テップ１４４で、プロセッサは、頭部を横切り首の点で
終端する輪郭のセグメントの重心を計算することによっ
て頭部の中心を見つける。首の点を直線で結ぶことによ
り重心計算が開始される。次に、頭部の半径が、計算さ
れる頭部の中心から輪郭までの平均距離となる。ステッ
プ１４４の詳細を図１１のサブステップ２２０１〜２２
０７に示す。ここで、プロセッサＰＲ１は、ステップ２
２０１で、首の点を結び、ステップ２２０４で、頭部の
重心を計算し、ステップ２２０７で、確からしい頭部の
半径を決定する。
【００２８】ステップ１４７は、各検出に信頼度を割り
当てることによって頭部の円形性をチェックする。円形
性チェックは、首状構造の頂部の円形形状を探索する。
本発明のもう１つの実施例によれば、信頼性尺度として
他の特徴点が使用される。
【００２９】図１０に示すように、プロセッサＰＲ１
は、頭部半径マイナス頭部半径の６分の１から、頭部半
径プラス頭部半径の６分の１までの半径を有する円環内
に入る輪郭点の割合を決定することによって、信頼度を
検出する（ステップ１４７）。これは、厚さが頭部半径
の３分の１に等しい円環を頭部上に置き、どのくらいの
輪郭がその円環によって覆われるかを調べることとみな
すことができる。頭部は実際には円形というよりは楕円
形であるが、円環の厚さは、頭部の離心率を補償するの
に十分である。
【００３０】図３のステップ１５０で、プロセッサＰＲ
１は、頭部画像が信頼度画像しきい値百分率を越えてい
る場合にのみ、その頭部画像を選択する。このしきい値
は、ユーザが変更することができる選択されたデフォル
ト値である。代表的なデフォルト値は４０％である。本
発明の一実施例によれば、適当な手段によってユーザは
このしきい値を変更することができる。
【００３１】ステップ１５４で、プロセッサＰＲ１は、
累積信頼度を計算し、頭部形状が累積信頼度しきい値を
越える場合にのみ、その頭部形状を選択する。本発明の
一実施例によれば、適当な手段によってユーザはこの累
積しきい値を変更することができる。ステップ１５７
で、プロセッサＰＲ１は、複数の頭部画像が累積信頼度
しきい値を越えているかどうかを判定する。複数の頭部
画像が累積信頼度しきい値を越えている場合、プロセッ
サＰＲ１はデフォルトにより１つの頭部画像を選択す
る。例えば、デフォルトの頭部画像として中央の頭部画
像をとることができる。本発明の一実施例によれば、ユ
ーザが入力を操作してデフォルト規則を例えば最も速く
運動している頭部を選択するように変更することができ
る。
【００３２】この時点で、プロセッサＰＲ１は頭部画像
によって人間を識別しており、ステップ１６０の制御に
よって、その情報を使用して、選択した頭部画像をビデ
オ画像に適用し、その画像を抽出し、ビデオカメラの焦
点をその画像に合わせる。
【００３３】図１２の流れ図にステップ１５４の詳細を
示す。ステップ２３０１で、プロセッサＰＲ１は、所定
のしきい値信頼度を越える頭部形状のリストを維持す
る。ステップ２３０４で、プロセッサＰＲ１は、各頭部
の検出の履歴を、位置、サイズ、信頼度、タイムスタン
プとともに維持し、以前の信頼度からなる累積信頼度を
形成する。すなわち、プロセッサＰＲ１は、新たな信頼
度を前の信頼度に加えて累積信頼度の形成を開始し、続
いて、新たに検出される信頼度を、既に累積した信頼度
に加える。プロセッサＰＲ１の再帰的低域フィルタは、
計算されたサイズ（フィルタリングされたサイズ）を平
滑化する。新たな頭部画像がカメラの視野に入ると、プ
ロセッサＰＲ１は頭部のリストにそれを追加し、デフォ
ルトとしての選択の位置に入れる。
【００３４】ステップ２３０７で、新たな検出の位置が
前の頭部の位置に近い場合、プロセッサＰＲ１はこの新
たな検出を前の頭部の位置に追加する。次に、プロセッ
サＰＲ１は新たな各検出の信頼度を累積信頼度に追加
し、そのサイズはフィルタリングされたサイズを修正す
る。プロセッサＰＲ１では、再帰的低域フィルタが、古
いフィルタリングされたサイズの８０％をとり、新たに
検出されたサイズの２０％を追加することによってフィ
ルタリングされたサイズを計算する。他の種類の低域フ
ィルタも使用可能であり、その百分率も変更可能であ
る。ステップ２３１０で、プロセッサは、新たな検出が
２つの対象に近いかどうかを判定し、その検出を最後に
検出のあった対象に帰属させる。これによって、静止し
た人間を通り過ぎる人間を正確に追跡することが可能と
なる。運動する人間は静止している人間よりも最近に検
出された対象を表す。
【００３５】ステップ２３１４で、プロセッサＰＲ１
は、人間が、すなわち頭部がフレーム内に現れていない
かどうかを判定する。プロセッサＰＲ１が、小さい差分
画像領域によって示されるように、運動をほとんど検出
しない場合、プロセッサは背景画像を更新しない。この
条件付き背景減算は、式（１）のτパラメータの増大に
対応する。これによって、時間的なサンプリングレート
が減少し、対象の速度は増大する。
【００３６】本発明のもう１つの実施例によれば、プロ
セッサＰＲ１はある時刻ｔ＝ｔ0で取得した背景フレー
ムをシーケンスから繰り返し減算することによって静的
背景減算を利用する。式（１）で、ｆ（ｘ，ｙ，ｔ−
τ）はｆ（ｘ，ｙ，ｔ0）ｅとなる。このような静的背
景減算は、人間が運動しているか静止しているかにかか
わらず、差分信号が同一であるという利益を提供する。
これは、フレーム減算、すなわち、動的背景減算とは対
照的である。動的背景減算では、人間が運動を停止する
と信号は０になる。静的背景減算では、対象の速度は検
出速度に影響を与えない。
【００３７】本発明のもう１つの実施例によれば、プロ
セッサＰＲ１は、以前のフレームを減算したり以前のフ
レームと比較したりする代わりに、時間的に低域フィル
タリングしたシーケンスを減算する。すなわち、プロセ
ッサＰＲ１は、入力画像を、低域フィルタリングしたシ
ーケンスと比較する。
【００３８】本発明の実施例によれば、プロセッサＰＲ
１は、データキューブ・マックスビデオ２０(Datacube
MaxVideo20)画像処理システムのような画像処理ハード
ウェアと、スカイボルトｉ８６０(SKYbolt i860)シング
ルボートコンピュータのような汎用コンピュータと、サ
ン・スパーク・エンジン１ｅ(Sun Sparc engine 1e)を
利用する。サン・スパーク・エンジンは主にシステムコ
ントローラとして作用する。プロセッサＰＲ１ハードウ
ェアは、プロセッサ外部で実行されるもの以外の各図の
ステップを実行する手段を形成する処理装置およびその
他の周辺装置を含む。開示した特定のハードウェアは単
なる例示であり、当業者であれば他の処理装置も使用可
能である。
【００３９】カメラＣＡは、ソニーＸＣ−７７カメラ
で、４．８ｍｍのｃ−マウントレンズおよび２／３イン
チのＣＣＤを使用する。プロセッサＰＲ１は画像を、ア
スペクト比が４．３の５１２×４８０ピクセルにディジ
タル化する。これによって、カメラから１〜１０フィー
トで、水平８０度および垂直６０度の視野がアクティブ
検出領域となる。本発明の実施例によれば、ディジタイ
ザのタイミングを変化させて正方形のピクセルを生成す
る。６８２×４８０ピクセルの画像をディジタル化する
ことによって８０度全体を正方形のピクセルで取得する
ことが可能である。
【００４０】本発明の一実施例によれば、式（１）にお
けるＴの設定は１３である。本発明のもう１つの実施例
によれば、信号の損失を少なくするため、Ｔ＝８とす
る。プロセッサＰＲ１では、背景除去および膨張がマッ
クスビデオ２０画像処理システム上で行われる。これ
は、低レベルのフレーム全体の演算がリアルタイムで行
われるパイプラインシステムである。マックスビデオ２
０画像処理システムの２５６×２５６参照テーブルおよ
びダブルバッファは背景除去のために利用される。スカ
イボルトコンピュータは残りの処理を実行する。
【００４１】本発明の実施例によれば、プロセッサＰＲ
１は畳み込み器を使用して膨張を行う。特に、プロセッ
サＰＲ１はマックスビデオ２０画像処理システムの８×
８畳み込み器を使用して膨張演算を実行する。この大き
い核による膨張により、領域増大パフォーマンスが大き
くなる。画像ｆ（ｘ，ｙ）と８×８核ｈ（ｉ，ｊ）との
畳み込みは次式で与えられる。
【数６】
【００４２】０および１の値を有する２値画像ｆ（ｘ，
ｙ）を、常に１となる８×８核（ｈ（ｉ，ｊ）＝１）と
畳み込みすると、その結果の画像ｇ（ｘ，ｙ）は０から
６４までの値をとる。これは普通低域フィルタリングし
た画像と考えられるが、この場合には、グレイスケール
値は異なる解釈をすることができる。これらの値は、各
ピクセルの周りの８×８近傍において０でないピクセル
の数を示す。
【００４３】膨張は、画像上に構造要素（各）を通過さ
せ、画像と構造要素の間の空集合でない交わりがあるよ
うな各ピクセルを１にセットするという考えを含む。交
わりは、構造要素の各部分と対応する画像データとの論
理的ＡＮＤ演算として定義される。畳み込みされた画像
ｇ（ｘ，ｙ）において、０より大きいすべての値を１に
セットすることによって、原画像を８×８構造要素で膨
張させるのと同じ結果が生じる。もし、
【数７】 である場合、ｇ’は、構造要素ｈ（ｈ（ｉ，ｊ）＝１）
によるｆの膨張であり、
【数８】 である。ただし、ｈx,yはｈを（ｘ，ｙ）に平行移動し
たものである。これは、エー．ケー．ジェイン(A. K. J
ain)「ディジタル画像処理の基礎(Fundamentalsof Digi
tal Image Processing)」、プレンティス・ホール社
（１９８９年）、ＩＳＢＮ０−１３−３３６１６５−
９、という刊行物に開示されている。
【００４４】本発明の実施例によれば、結果の画像にお
ける０でない値をすべて使用するのではなく、プロセッ
サＰＲ１は、それをしきい値で分別し、孤立したノイズ
ピクセルを除去する。本発明のもう１つの実施例によれ
ば、最初のステップで、プロセッサＰＲ１は、対象の考
慮すべき部分である中央ピクセルに対して、８×８領域
に少なくともｎ個の（例えばｎ＝２）ピクセルが存在し
なければならないという条件を課す。次のノイズ除去ス
テップは、輪郭の抽出中に実行され、境界追跡ルーチン
が小さい（ノイズ）領域を除去する。
【００４５】本発明の実施例によれば、上記のフレーム
全体の処理とは異なり、処理はＣコードを実行する汎用
マイクロプロセッサ（スカイボルトシングルボードコン
ピュータではインテルｉ８６０）上で実行される。この
セクションへの入力は、フレーム全体処理セクションの
出力であって、膨張されたフレーム差分画像である２次
元の８ビットアレイである。
【００４６】輪郭抽出により、差分画像の領域の境界ま
たは閉じた輪郭に対応するＸ−Ｙ座標対のリストが生成
される。本発明の実施例は、処理を高速にするために、
前掲のジェインの論文に開示された標準的な輪郭追従ア
ルゴリズムでいくつかの近道を使用する。第１に、画像
は、対象を探索しながら垂直に粗くサブサンプリングさ
れる（２０ラインごとにのみ検査される）。これによっ
て、いくつかの小さい対象が飛ばされるため、本質的
に、対象に対する最小高さ条件を課していることにな
る。第２に、輪郭の追跡は、２つの方向で２対１で画像
データをサブサンプリングする。偶数番号行の偶数番号
のピクセルのみが検査される。第３に、内部輪郭の発見
の試みはされない（例えば、ドーナツ形状の中心は発見
されないことになる）。
【００４７】もう１つの実施例は、以下のようにして、
同じ対象を２度追跡することを回避しながら、複数の対
象（すなわち、頭部）を発見する。形のはっきりしない
もの（ブロブ）の画像を探索する前に、全探索パターン
（膨張差分画像の２０ラインごとにおいて１ピクセルお
きに）をしきい値と比較する。ピクセルが０でない場
合、そのピクセルは１にセットされる。全画像をしきい
値と比較する必要はなく、探索している場所のみでよ
い。システムは、ブロブ（０でない値によって示され
る）を発見するために画像の走査を開始する。ブロブを
発見すると、その境界を追跡し、後で使用するために格
納する。すると、ブロブ境界に沿って画像にタグレベル
（例えば値２を使用する）を書き込むことにより、その
ブロブに、追跡したことを示すタグを付ける。処理は、
実際には、処理が行われるにつれて画像データを変更す
る。これにより、探索パスには３種の可能なピクセル値
が残る。０は対象がないことを示す。１は追跡すべき新
たな対象を示す。２は既に追跡した対象を示す。走査が
進行するにつれて、以下のアルゴリズムが使用される。
【００４８】・ピクセル値が０である場合、次の偶数番
号ピクセルにスキップする（すなわち、走査を継続す
る）。 ・ピクセル値が１である場合、対象の輪郭を追跡し、ブ
ロブにタグを付ける。 ・ピクセル値が２である場合、他の２を発見する（これ
はブロブの右端を示す）まで、ラインに従い続ける。
【００４９】図１３のブロック図に、本発明を実現する
テレコンファレンス（テレビ会議）テレビデオ（遠隔ビ
デオ）システムを例示する。ビデオカメラＶＣ１は一方
のテレビデオ局ＴＳ１にあり、検出したビデオ・音声信
号をプロセッサＰＲ１に送る。ディスプレイＤＩ１は、
プロセッサＰＲ１による処理に基づいてビデオカメラＶ
Ｃ１からのビデオ出力を表示し、音声出力を再生する。
ビデオカメラＶＣ１は、少なくとも１人の人間を含む場
面を記録し、プロセッサＰＲ１は、ビデオカメラが人間
に集中するように、または、ディスプレイが電子的に人
間を中心にもってくるように、ビデオカメラＶＣ１に制
御信号を発する。
【００５０】伝送ラインＴＲ１は、プロセッサＰＲ１が
ディスプレイＤＩ１用に生成するビデオ信号を、音声信
号とともに、第２のテレビデオ局ＴＳ２にあってプロセ
ッサＰＲ１に対応するプロセッサＰＲ２へ伝送する。プ
ロセッサＰＲ２もまた、コマンドに応じてビデオカメラ
ＶＣ２を制御して人間に集中させることが可能な制御信
号を生成する。プロセッサＰＲ２もまたビデオカメラＶ
Ｃ２からの信号を処理し、その信号をディスプレイＤＩ
２に表示し、コマンドに応じて、人間をディスプレイの
中心にもってくることができる。
【００５１】プロセッサＰＲ１およびＰＲ２はそれぞれ
マニュアル入力ＭＩ１およびＭＩ２を有する。これらの
マニュアル入力によって、ディスプレイＤＩ１およびＤ
Ｉ２はそれぞれ選択的にビデオカメラＶＣ１またはＶＣ
２もしくはその両方に処理済み入力を表示することがで
きる。それによって、ビデオカメラＶＣ１の一方の端の
視者は、ビデオカメラＶＣ１からの処理済み画像または
ビデオカメラＶＣ２からの処理済み画像もしくはその両
方の表示を選択することができる。同様に、ビデオカメ
ラＶＣ２の端の視者は、ビデオカメラＶＣ２からの処理
済みビデオ画像、または、ビデオカメラＶＣ１からの処
理済みビデオ画像、もしくはその両方を、ディスプレイ
ＤＩ２上に表示することを選択することができる。ディ
スプレイの選択は、完全に視者の判断に任されており、
従って伝送ラインＴＲ１のいずれかの端にある送信機に
任されている。一般的に、ディスプレイＤＩ１の視者は
カメラＶＣ２からの処理済み画像を見ることを望み、デ
ィスプレイＤＩ２の視者は、ほとんどは、カメラＶＣ１
からの処理済み画像を見ることを望む。各視者は、リモ
ートの場面からローカルの場面に、ときどき一時的に見
ている場面を切り換えると予想される。
【００５２】プロセッサＰＲ１およびＰＲ２によって、
各視者は、カメラＶＣ１およびＶＣ２のそれぞれから未
処理視野を選択することも可能である。
【００５３】図１３のシステムは、自動パニング（転
回）を可能にする。図１３のシステムによって、一方の
サイトの視者は、遠隔サイトのカメラを制御し、パニン
グおよびズーミング（拡大）をして、視者が関心のある
場面の部分の良好な画像を得ることができる。
【００５４】図１４に、テレビ教育およびテレビ講義の
ための画像内画像を示す。教師の顔ＦＡ１がウィンドウ
ＷＩ１内に現れている。ウィンドウＷＩ１は、表示され
ているノートの画像ＮＴ１上に重ね合わされている。図
１および図１４のシステムでは、プロセッサＰＲ１およ
びＰＲ２は、教師の画像を選択し、それを図示の位置に
重ね合わせる手段を含む。
【００５５】
【発明の効果】本発明によれば、ユーザは、カメラの視
野にあるようにターミナルのまっすぐ前に位置し続ける
必要がないため、テレビ電話が受け入れやすくなる。テ
レビ電話およびテレビ会議では、自動カメラパニングに
より、ユーザは、カメラの視覚のような技術的なことよ
りも、人との対話にさらに集中することができる。自動
カメラパニングにより、テレビ教育においてカメラ操作
者を必要としなくなる。自動カメラパニングは、テレビ
教育のコストおよび複雑さを縮小する。
【００５６】本発明の実施例によれば、人間の頭部の方
向が、カーソルを制御するためのコンピュータ入力のソ
ースとして作用する。また、人間検出は、注視追跡の前
処理ステップとして使用することもできる。続いて、注
視追跡が、マン・マシン・インタフェースとして使用さ
れる。
【００５７】本発明のもう１つの実施例によれば、図１
および図１４のシステムは、テレビ監視におけるビデオ
運動検出システムとして動作する。システムは、運動を
含む場面のみを見るオペレータのモニタに入力を自動的
に切り換える。システムは、画像中の人間と、他の運動
物体とを弁別する。システムは、人間を検出するとアラ
ーム（図示せず）を発する。
【００５８】本発明の実施例によれば、図１のシステム
のプロセッサＰＲ１は、人間のある画像のみに応答して
ＶＣＲの画像を格納する。これにより、人間を含む部分
画像を抽出することによって、必要なデータ記憶領域が
縮小する。
【００５９】本発明のもう１つの実施例によれば、図１
および図１４の装置は、小売店の客のトラフィックパタ
ーンを記録する。これによって、トラフィックの変化を
調べることにより、商品の新しいディスプレイまたは配
置の効果の評価をすることができる。人目を引く配置に
より、通行人の停止時間が長くなる。
【００６０】本発明は、画像上の人間の位置についての
知識を組み込むことによって、画像圧縮を改善する可能
性がある。例えば、第１のステップで、全画像をサブサ
ンプリングする代わりに、カメラのフルの解像度でサブ
ウィンドウを画像符号器に供給する。本発明は、人間検
出により、関心のあるサブウィンドウを選択することが
できる。これは、圧縮の援助として電子カメラパニング
を本質的に使用する。
【００６１】本発明は、単一のカメラで、場面内のほと
んどどこにいる人間を検出することも可能である。本発
明は、特殊な照明を必要としたり、背景場面の制限を課
したりせずに、通常のオフィス環境で動作可能である。
本発明は、リアルタイム動作が可能である。本発明は、
人間が存在しない背景画像を取得するといったような特
殊な起動手続きを要しない。本発明は、カメラ位置の変
化や、照明の変化のような場面の変化に対する強固さ
（ロバストネス）を有する。
【００６２】本発明は、エヌ．ファラハティ(N. Faraha
ti)、エー．グリーン(A. Green)、エヌ．ピアシー(N. P
iercy)、エル．ロビンソン(L. Robinson)、「新しい赤
外照明を使用したリアルタイム認識」、Optical Engine
ering（１９９２年８月）第３１巻第８号第１６５８〜
１６６２ページ、に記載されたような顔の認識の前処理
ステップとして使用することも可能である。
【００６３】本発明のもう１つの実施例によれば、ビデ
オカメラＶＣ１およびＶＣ２は、テレビ会議などの目的
のために必要なビデオ信号だけでなく音声信号も記録す
る。ディスプレイＤＩ１およびＤＩ２は、レコーダＲＥ
１とともに、音声（オーディオ）出力および必要に応じ
て記録（レコーディング）のためのオーディオ装置を含
む。
【００６４】本発明によれば、プロセッサＰＲ１および
ＰＲ２では、コンピュータ要素によって実行される判
断、信号生成などの各ステップは、電圧または電流の形
式で物理的信号を発生する。プロセッサＰＲ１およびＰ
Ｒ２のハードウェアは、このような信号を使用するため
の処理装置およびその他の周辺装置を含み、各図のプロ
セッサステップを実行する手段を形成する。
【００６５】本発明の実施例によれば、カメラＣＡ１ま
たはＣＡ２のいずれかもしくはこれらの両方は、頭部の
領域を識別するプロセスで広角レンズを使用する。満足
な累積信頼度に到達した後、プロセッサＰＲ１またはＰ
Ｒ２のいずれかもしくはこれらの両方は、電子パニン
グ、傾斜、および周知のズーミングによって、頭部にズ
ームインする。拡大された頭部の再生によって、適当な
ディスプレイＤＩ１またはＤＩ２の画面の大部分、また
は、必要であればほとんど全部をとる。人間が一方の側
から他方の側へ移動し、座り、立ち上がり、歩き去るに
つれて、画像は拡大された頭部を追跡する。
【００６６】本発明のさらにもう１つの実施例によれ
ば、ビデオ信号のパニングおよび傾斜を制御するのと同
じ信号が、マイクロホンの音響パターンやカメラの焦点
を人間の頭部に合わせるために利用される。
【図面の簡単な説明】
【図１】本発明の特徴を実現するシステムのブロック図
である。
【図２】図１のプロセッサにおけるステップを説明し、
本発明の特徴を実現する流れ図である。
【図３】図１のプロセッサにおけるステップを説明し、
本発明の特徴を実現する流れ図である。
【図４】本発明の実施例によって、ある画像の要素を別
の画像の要素から減算することにより形成された画像の
図である。
【図５】図４の膨張画像の図である。
【図６】図２のステップの詳細を示すブロック図であ
る。
【図７】図５の画像の輪郭画像の図である。
【図８】膨張したフレーム間差分画像から得られる輪郭
からの正確な画像の検出の例を示す図である。直線は、
首における曲率の局所的最大値の位置を示す。
【図９】本発明によって発見される可能性のある人間の
頭部および胸部の膨張画像の例である。
【図１０】本発明によって図９の膨張画像の処理から得
られる輪郭の例である。輪郭で頭部の可能性のある部分
に円環を描き、本発明による信頼度を示す。
【図１１】図３の流れ図のあるステップの詳細を示す流
れ図である。
【図１２】本発明の特徴を実現する他のステップを説明
する流れ図である。
【図１３】本発明を実現するもう１つのシステムのブロ
ック図である。
【図１４】本発明のある特徴によるシステムの動作を示
すビデオディスプレイの図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/60 Ｈ０４Ｎ 7/18 Ｋ 9061−5Ｌ Ｇ０６Ｆ 15/70 ３５０ Ｃ (72)発明者 ジャクブ セゲン アメリカ合衆国、07704 ニュージャージ ー、フェアー ヘブン、サード ストリー ト 37 (72)発明者 バーザド シャハラライ アメリカ合衆国、07728 ニュージャージ ー、フリーホールド、シャーウッド ドラ イブ 194

Claims (23)

    【特許請求の範囲】
  1. 【請求項１】 ビデオ画像から差分画像を形成して差分
    図形を抽出する抽出ステップと、 差分図形の局所境界曲率極値を、格納されている人間頭
    部のモデルと比較する比較ステップと、 前記比較から人間頭部のモデルに対応する領域を識別す
    る識別ステップとからなることを特徴とする、ビデオ画
    像中の人間を探索する方法。
  2. 【請求項２】 前記抽出ステップが、画像をディジタル
    化するステップと、画像を前の画像から減算するステッ
    プとを含むことを特徴とする請求項１の方法。
  3. 【請求項３】 前記抽出ステップが、画像をディジタル
    化してディジタルデータの２次元配列を形成するステッ
    プと、画像を前の画像から減算するステップとを含むこ
    とを特徴とする請求項１の方法。
  4. 【請求項４】 前記抽出ステップが、しきい値を形成す
    るステップと、ディジタル画像データの絶対値をとるス
    テップと、その絶対値をしきい値と比較するステップと
    を含むことを特徴とする請求項３の方法。
  5. 【請求項５】 前記比較ステップが、境界の曲率の局所
    曲値を、格納モデルと比較する前に計算するステップを
    含むことを特徴とする請求項１の方法。
  6. 【請求項６】 前記比較ステップが、人間の頭部および
    首の形状を比較するステップを含むことを特徴とする請
    求項１の方法。
  7. 【請求項７】 前記比較ステップが、頭部に対応する領
    域境界の部分に、周回形状をフィッティングするステッ
    プを含むことを特徴とする請求項７の方法。
  8. 【請求項８】 前記周回形状が円環であることを特徴と
    する請求項７の方法。
  9. 【請求項９】 別の動作のために、人間頭部の形状に対
    応する入力画像の部分領域からのデータを検知するステ
    ップをさらに有することを特徴とする請求項１の方法。
  10. 【請求項１０】 前記別の動作が人間頭部の表示である
    ことを特徴とする請求項９の方法。
  11. 【請求項１１】 前記別の動作が人間頭部のデータの送
    信であることを特徴とする請求項９の方法。
  12. 【請求項１２】 人間頭部を送信し、その頭部に手動で
    向けられたカメラの効果を達成するために、人間頭部に
    対応する領域全体にわたり、入力画像の部分領域からの
    データを検知する検知ステップをさらに有することを特
    徴とする請求項１の方法。
  13. 【請求項１３】 前記検知ステップが、画像内に頭部を
    保持するようにカメラを向ける機械システムを制御する
    ステップをさらに有することを特徴とする請求項１２の
    方法。
  14. 【請求項１４】 前記検知ステップが、頭部を含む部分
    領域に送信帯域幅の大部分を割り当てるステップをさら
    に有することを特徴とする請求項１２の方法。
  15. 【請求項１５】 前記検知ステップが、その検知に基づ
    いて、カメラの視野に人間を表示するようにシステムの
    いくつかのカメラのうちの１つを選択するステップを含
    むことを特徴とする請求項９の方法。
  16. 【請求項１６】 前記検知ステップが、３次元表示を可
    能にするコンピュータ入力を形成するステップを含むこ
    とを特徴とする請求項９の方法。
  17. 【請求項１７】 前記検知ステップが、人間の顔の認識
    の速度および効率を向上させるために、検知領域を部分
    領域に制限するステップを含むことを特徴とする請求項
    ９の方法。
  18. 【請求項１８】 前記検知ステップが、場面内の人間の
    頭部の運動および存在に関する統計データを格納するス
    テップを含むことを特徴とする請求項９の方法。
  19. 【請求項１９】 前記識別ステップが、ビデオ画像の中
    心に頭部を位置づけるステップを含むことを特徴とする
    請求項１の方法。
  20. 【請求項２０】 前記識別ステップが、ビデオ画像内の
    所定位置に頭部の画像を位置づけるステップを含むこと
    を特徴とする請求項１の方法。
  21. 【請求項２１】 前記抽出ステップが、直前の画像を減
    算するステップを含むことを特徴とする請求項１の方
    法。
  22. 【請求項２２】 前記抽出ステップが、時間τだけ離れ
    た画像を減算するステップと、図形を調整するために時
    間τを変化させる変化ステップとを含むことを特徴とす
    る請求項１の方法。
  23. 【請求項２３】 前記変化ステップが手動で実行される
    ことを特徴とする請求項２２の方法。
JP6186824A 1993-07-19 1994-07-18 ビデオ画像中の人間を探索する方法 Pending JPH07168932A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US9428693A 1993-07-19 1993-07-19
US094286 1993-07-19

Publications (1)

Publication Number Publication Date
JPH07168932A true JPH07168932A (ja) 1995-07-04

Family

ID=22244262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6186824A Pending JPH07168932A (ja) 1993-07-19 1994-07-18 ビデオ画像中の人間を探索する方法

Country Status (4)

Country Link
US (1) US5987154A (ja)
EP (1) EP0635983A3 (ja)
JP (1) JPH07168932A (ja)
CA (1) CA2119327A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002516535A (ja) * 1998-05-15 2002-06-04 ピクチャーテル コーポレイション オーディオソースの位置決定
JP2005196519A (ja) * 2004-01-08 2005-07-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2007233517A (ja) * 2006-02-28 2007-09-13 Fujifilm Corp 顔検出装置および方法並びにプログラム
JP2008520988A (ja) * 2004-11-23 2008-06-19 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄカメラ用誤差補償方法
JP2012048484A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
JP2019186649A (ja) * 2018-04-04 2019-10-24 パナソニックＩｐマネジメント株式会社 インターホン装置、インターホンシステム、情報端末、処理方法及びプログラム

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) * 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
GB2316169A (en) * 1996-08-08 1998-02-18 Secr Defence Optical detection system
JP3567066B2 (ja) 1997-10-31 2004-09-15 株式会社日立製作所 移動体組合せ検出装置および方法
US7391443B2 (en) * 1998-08-21 2008-06-24 Sony Corporation Information processing apparatus, information processing method, and medium
JP4031122B2 (ja) * 1998-09-30 2008-01-09 本田技研工業株式会社 差分画像を用いた被写体の検出装置
EP1049046A1 (de) * 1999-04-23 2000-11-02 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung der Position eines Objektes innerhalb einer Szene
US7123745B1 (en) 1999-11-24 2006-10-17 Koninklijke Philips Electronics N.V. Method and apparatus for detecting moving objects in video conferencing and other applications
JP3386025B2 (ja) * 1999-12-15 2003-03-10 株式会社ニコン 画像特徴抽出装置、画像特徴抽出方法、監視検査システム、半導体露光システム、およびインターフェースシステム
US6816085B1 (en) 2000-01-14 2004-11-09 Michael N. Haynes Method for managing a parking lot
US7123166B1 (en) 2000-11-17 2006-10-17 Haynes Michael N Method for managing a parking lot
WO2002041255A1 (en) * 2000-11-20 2002-05-23 Orlean Holding N.V. Improved two-image cropping system and method and the use thereof in the digital printing and surveillance field
JP4095243B2 (ja) * 2000-11-28 2008-06-04 キヤノン株式会社 Ｕｒｌ取得および処理システムおよびその方法およびその処理を実行するプログラムを記憶した記憶媒体。
US6785419B1 (en) * 2000-12-22 2004-08-31 Microsoft Corporation System and method to facilitate pattern recognition by deformable matching
US7346186B2 (en) * 2001-01-30 2008-03-18 Nice Systems Ltd Video and audio content analysis system
US6980697B1 (en) 2001-02-01 2005-12-27 At&T Corp. Digitally-generated lighting for video conferencing applications
US6813372B2 (en) * 2001-03-30 2004-11-02 Logitech, Inc. Motion and audio detection based webcamming and bandwidth control
US8108892B1 (en) 2001-05-03 2012-01-31 Comcast Cable Holdings, Llc Interactive television network and method including content searching
US8479238B2 (en) 2001-05-14 2013-07-02 At&T Intellectual Property Ii, L.P. Method for content-based non-linear control of multimedia playback
US7017591B2 (en) * 2001-08-23 2006-03-28 International Tape Partners Llc Particulate coated monofilament devices
JP3943367B2 (ja) * 2001-10-31 2007-07-11 株式会社デンソー 車両用乗員頭部検出装置
US20030174869A1 (en) * 2002-03-12 2003-09-18 Suarez Anthony P. Image processing apparatus, image processing method, program and recording medium
AUPS170902A0 (en) * 2002-04-12 2002-05-16 Canon Kabushiki Kaisha Face detection and tracking in a video sequence
US7139411B2 (en) * 2002-06-14 2006-11-21 Honda Giken Kogyo Kabushiki Kaisha Pedestrian detection and tracking with night vision
US7676062B2 (en) * 2002-09-03 2010-03-09 Automotive Technologies International Inc. Image processing for vehicular applications applying image comparisons
CA2509644A1 (en) 2002-12-11 2004-06-24 Nielsen Media Research, Inc. Detecting a composition of an audience
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
US7956889B2 (en) 2003-06-04 2011-06-07 Model Software Corporation Video surveillance system
JP4612635B2 (ja) * 2003-10-09 2011-01-12 本田技研工業株式会社 低照度の深度に適応可能なコンピュータ視覚を用いた移動物体検出
JP4085959B2 (ja) * 2003-11-14 2008-05-14 コニカミノルタホールディングス株式会社 物体検出装置、物体検出方法、および記録媒体
US20070147681A1 (en) * 2003-11-21 2007-06-28 Koninklijke Philips Electronics N.V. System and method for extracting a face from a camera picture for representation in an electronic system
US20050128054A1 (en) * 2003-12-16 2005-06-16 Jeff Glickman Method, system, and apparatus to identify and transmit data to an image display
US20050208457A1 (en) * 2004-01-05 2005-09-22 Wolfgang Fink Digital object recognition audio-assistant for the visually impaired
CN100574811C (zh) * 2005-01-10 2009-12-30 重庆海扶(Hifu)技术有限公司 一种高强度聚焦超声治疗用微粒类助剂及其应用
JP4588642B2 (ja) * 2005-03-15 2010-12-01 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
EP1739965A1 (en) * 2005-06-27 2007-01-03 Matsuhita Electric Industrial Co., Ltd. Method and system for processing video data
JP4516516B2 (ja) * 2005-12-07 2010-08-04 本田技研工業株式会社 人物検出装置、人物検出方法及び人物検出プログラム
AU2007221976B2 (en) 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
US8411963B2 (en) 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
JP5227888B2 (ja) * 2009-05-21 2013-07-03 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US20110125758A1 (en) * 2009-11-23 2011-05-26 At&T Intellectual Property I, L.P. Collaborative Automated Structured Tagging
TWI447658B (zh) * 2010-03-24 2014-08-01 Ind Tech Res Inst 人臉影像擷取方法與裝置
US8620088B2 (en) 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US9082004B2 (en) 2011-12-15 2015-07-14 The Nielsen Company (Us), Llc. Methods and apparatus to capture images
US20130201316A1 (en) 2012-01-09 2013-08-08 May Patents Ltd. System and method for server based control
US9185456B2 (en) 2012-03-27 2015-11-10 The Nielsen Company (Us), Llc Hybrid active and passive people metering for audience measurement
US8737745B2 (en) 2012-03-27 2014-05-27 The Nielsen Company (Us), Llc Scene-based people metering for audience measurement
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
KR101393570B1 (ko) * 2012-12-28 2014-05-27 현대자동차 주식회사 선택적 조명을 이용한 손 제스처 인식 방법 및 시스템
JP5683663B1 (ja) * 2013-09-27 2015-03-11 パナソニックＩｐマネジメント株式会社 滞留時間測定装置、滞留時間測定システムおよび滞留時間測定方法
EP4250738B1 (en) 2014-04-22 2025-12-31 Snap-Aid Patents Ltd. METHOD FOR CONTROLLING A CAMERA BASED ON PROCESSING AN IMAGE CAPTURED BY ANOTHER CAMERA
US9836118B2 (en) 2015-06-16 2017-12-05 Wilson Steele Method and system for analyzing a movement of a person
WO2016207875A1 (en) 2015-06-22 2016-12-29 Photomyne Ltd. System and method for detecting objects in an image
KR102564477B1 (ko) 2015-11-30 2023-08-07 삼성전자주식회사 객체 검출 방법 및 장치
US10255490B2 (en) * 2016-12-01 2019-04-09 Sasken Communication Technologies Ltd Method and apparatus for human detection in images
US12039799B2 (en) * 2019-03-28 2024-07-16 Nec Solution Innovators, Ltd. Part detection apparatus, part detection method, and computer-readable recording medium
CN110232705B (zh) * 2019-05-17 2023-05-12 沈阳大学 一种融合分数阶变分调整的反向低秩稀疏学习目标跟踪方法
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US12356286B2 (en) 2021-07-22 2025-07-08 The Nielsen Company (Us), Llc Methods, apparatus, and articles of manufacture to locate persons based on adjustable signal strength thresholds
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
JP7315049B1 (ja) * 2022-02-22 2023-07-26 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置
US12088882B2 (en) 2022-08-26 2024-09-10 The Nielsen Company (Us), Llc Systems, apparatus, and related methods to estimate audience exposure based on engagement level

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4581760A (en) * 1983-04-27 1986-04-08 Fingermatrix, Inc. Fingerprint verification method
GB8710737D0 (en) * 1987-05-06 1987-06-10 British Telecomm Video image encoding
US4975969A (en) * 1987-10-22 1990-12-04 Peter Tal Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same
US4951140A (en) * 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus
US5012522A (en) * 1988-12-08 1991-04-30 The United States Of America As Represented By The Secretary Of The Air Force Autonomous face recognition machine
US5245329A (en) * 1989-02-27 1993-09-14 Security People Inc. Access control system with mechanical keys which store data
JPH0771288B2 (ja) * 1990-08-24 1995-07-31 神田通信工業株式会社 自動視野調整方法及び装置
JPH04334188A (ja) * 1991-05-08 1992-11-20 Nec Corp 動画像信号の符号化方式
JPH0816958B2 (ja) * 1991-12-11 1996-02-21 茨城警備保障株式会社 防犯監視システム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002516535A (ja) * 1998-05-15 2002-06-04 ピクチャーテル コーポレイション オーディオソースの位置決定
JP2005196519A (ja) * 2004-01-08 2005-07-21 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2008520988A (ja) * 2004-11-23 2008-06-19 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄカメラ用誤差補償方法
JP4869246B2 (ja) * 2004-11-23 2012-02-08 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． 一つのシーン内の距離値を３ｄイメージセンサの出力から計算する方法
JP2007233517A (ja) * 2006-02-28 2007-09-13 Fujifilm Corp 顔検出装置および方法並びにプログラム
JP2012048484A (ja) * 2010-08-26 2012-03-08 Canon Inc 画像処理装置、画像処理方法及びプログラム
US8942511B2 (en) 2010-08-26 2015-01-27 Canon Kabushiki Kaisha Apparatus and method for detecting object from image, and program
JP2019186649A (ja) * 2018-04-04 2019-10-24 パナソニックＩｐマネジメント株式会社 インターホン装置、インターホンシステム、情報端末、処理方法及びプログラム

Also Published As

Publication number Publication date
EP0635983A3 (en) 1995-04-26
CA2119327A1 (en) 1995-01-20
EP0635983A2 (en) 1995-01-25
US5987154A (en) 1999-11-16

Similar Documents

Publication Publication Date Title
US5987154A (en) Method and means for detecting people in image sequences
US11594031B2 (en) Automatic extraction of secondary video streams
JP4541316B2 (ja) 映像監視検索システム
US8848053B2 (en) Automatic extraction of secondary video streams
US9363487B2 (en) Scanning camera-based video surveillance system
US8866910B1 (en) Unusual event detection in wide-angle video (based on moving object trajectories)
Kim et al. Fisheye lens camera based surveillance system for wide field of view monitoring
US6925122B2 (en) Method for video-based nose location tracking and hands-free computer input devices based thereon
US6181345B1 (en) Method and apparatus for replacing target zones in a video sequence
KR20010113661A (ko) 비디오 회의 및 다른 응용들에서 움직이는 대상물들을검출하기 위한 방법 및 장치
US20040141633A1 (en) Intruding object detection device using background difference method
US11037013B2 (en) Camera and image processing method of camera
WO2007032821A2 (en) Enhanced processing for scanning video
JP2010057105A (ja) オブジェクトの３次元追跡方法およびシステム
KR20200010690A (ko) 다수개의 카메라를 활용한 이동물체 연계추적시스템 및 방법
JP3227179B2 (ja) 動物体検出および追跡処理方式
JP2002245560A (ja) 監視システム
JPH0793558A (ja) 画像監視装置
KR100541618B1 (ko) 감시용 카메라의 제어장치 및 방법
JPH0514891A (ja) 画像監視装置
KR100536747B1 (ko) 팬/틸트/줌 카메라를 이용한 영상 보안 시스템 및 방법
KR100457302B1 (ko) 영상 처리를 이용한 다채널 자동 트랙킹 및 자동 줌 방법
JP2004128648A (ja) 侵入物体追尾方法
JPH08167022A (ja) 画像監視装置
JP3607440B2 (ja) ジェスチャー認識方法