JPH0630318A - ビデオカメラシステム - Google Patents

ビデオカメラシステム

Info

Publication number
JPH0630318A
JPH0630318A JP4207107A JP20710792A JPH0630318A JP H0630318 A JPH0630318 A JP H0630318A JP 4207107 A JP4207107 A JP 4207107A JP 20710792 A JP20710792 A JP 20710792A JP H0630318 A JPH0630318 A JP H0630318A
Authority
JP
Japan
Prior art keywords
small area
skin color
small
area
hair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4207107A
Other languages
English (en)
Other versions
JP3298072B2 (ja
Inventor
Tadafusa Tomitaka
忠房 富高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20710792A priority Critical patent/JP3298072B2/ja
Priority to KR1019930012564A priority patent/KR100274999B1/ko
Priority to US08/086,868 priority patent/US5430809A/en
Priority to EP93305419A priority patent/EP0578508B1/en
Priority to DE69326394T priority patent/DE69326394T2/de
Publication of JPH0630318A publication Critical patent/JPH0630318A/ja
Application granted granted Critical
Publication of JP3298072B2 publication Critical patent/JP3298072B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

(57)【要約】 【目的】光源の強度、方向の影響を受けないように被写
体に計測枠を設定できるようにする。 【構成】表示画面を小領域に分割して各小領域について
輝度信号が所定の明るさをもつ明るさ小領域及び色相信
号が肌色の部分の肌色小領域を抽出し、当該抽出結果に
基づいて被写体の画面上の位置を検出するようにしたこ
とにより、色相信号を使用した分光源の強度、方向の影
響を受けないような計測枠の設定をすることができる。

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段(図1及び図3〜図7) 作用(図3、図6及び図7) 実施例(図1〜図8) 発明の効果
【0002】
【産業上の利用分野】本発明はビデオカメラシステムに
関し、被写体、例えば人間顔モデルを顔の中央部にビデ
オカメラの視野を追尾させるような被写体追尾装置場合
に適用して好適なものである。
【0003】
【従来の技術】ビデオカメラの被写体追尾装置として従
来、計測枠内の輝度信号の高周波成分のピーク値を記憶
し、その動きを被写体の特徴として自動追尾する第1の
被写体自動追尾方法が提案されている。また第2の被写
体自動追尾方法として、計測枠内の前後のフイールドの
輝度信号について、代表点のマツチングを取ることによ
り動きベクトルを形成し、計測枠内の動きベクトルを被
写体の動きと仮定して自動追尾する方法が提案されてい
る。
【0004】
【発明が解決しようとする課題】ところが第1の自動追
尾方法は、全体としての構成が簡易である利点はある
が、例えば計測枠内に人間と共に背景の木がある場合、
木の高周波成分が最も大きなピークになるために人間を
自動追尾できなくなる問題がある。また第1の追尾方法
は、基本的にピーク時の信号を利用するので、ノイズに
弱く、その結果低い照度の撮影環境においては自動追尾
ができなくなるおそれがある。また原理的に高周波成分
を抽出しているので、コントラストが低い被写体を自動
追尾できなくなるおそれがある。
【0005】また第2の自動追尾方法は計算された動き
ベクトルがビデオカメラの手ぶれによるものか、又は被
写体の動きによるものかを分離することが困難であり、
そのため実際上誤動作をするおそれがある。本発明は以
上の点を考慮してなされたもので、光源の強度や方向の
影響を受け難くすると共に、かつ背景の影響を一段と受
け難くし得るようにしたビデオカメラの自動追尾装置を
提案しようとするものである。
【0006】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、レンズブロツク部1から送出され
る撮像出力信号S1によつて表される表示画面PICを
所定数32×32、16×16の小領域ARに分割する小領域分
割手段(16、SP1)と、小領域ARのうち色相信号
HUEが肌色の部分の肌色小領域ARBを抽出する肌色
領域抽出手段(16、SP1)と、小領域ARのうち輝
度信号Yが所定の明るさをもつ明るさ小領域ARAを抽
出する明るさ領域抽出手段(16、SP1)と、肌色小
領域ARB及び明るさ小領域ARAの周囲にある空白小
領域ARを併合することにより肌色小領域群FC1、F
C2及び明るさ小領域群HR1、HR2を形成する併合
手段(16、SP2)と、肌色小領域群FC1、FC2
及び明るさ小領域群HR1、HR2のうち互いに隣接す
る肌色小領域群FC1及び明るさ小領域群HR1の組を
抽出する隣接小領域群抽出手段(16、SP5)と、肌
色小領域群FC1及び明るさ小領域群HR1の組が計測
枠PIC内に入るように当該計測枠PICを設定する計
測枠設定手段(16、SP9)とを設けるようにする。
【0007】
【作用】肌色小領域ARB及び明るさ小領域ARAの周
囲にある空白領域ARを併合すると、光源の強度、方向
の影響によつて肌色領域ARB及び明るさ領域ARAに
空白小領域ARが生じても、これを肌色小領域群FC
1、FC2及び明るさ小領域群HR1、HR2に併合し
たことにより肌色領域及び明るさ領域を適切に抽出する
ことができると共に、当該肌色小領域群FC1、FC2
及び明るさ小領域群HR1、HR2のうち互いに隣接す
る組FC1、HR1に基づいて計測枠を設定するように
したことにより、被写体に対して確実に計測枠を設定す
ることができる。
【0008】
【実施例】以下図面について、本発明の一実施例を詳述
する。
【0009】図1において、ATTは全体としてビデオ
カメラシステムの被写体追尾装置を示し、被写体追尾装
置ATTは被写体として人間顔モデルを対象とし、かく
して人間顔モデルによる人間認識装置(Autonomous Tar
get Tracker with Human Recognition, ATT−HR)
システムを構成するビデオカメラシステムのレンズブロ
ツクを自動追尾動作させる手段として適用される。被写
体追尾装置ATTは、被写体である人間顔モデルから到
来する撮像光LAをレンズブロツク部1のレンズ2にア
イリス3を通つて例えばCCD(charge coupled devic
e )でなる固体撮像素子4に受けて被写体像を表す撮像
出力信号S1を信号分離/自動利得調整回路部5に与え
る。
【0010】信号分離/自動利得調整回路部5は撮像出
力信号S1をサンプルホールドすると共に、オートアイ
リス(AE)システム(図示せず)からの制御信号によ
つて撮像出力信号S2が所定のゲインをもつように利得
制御され、かくして得られる撮像出力信号S2をアナロ
グ/デイジタル変換回路部6を介してデイジタルカメラ
処理回路7に供給する。デイジタルカメラ処理回路7は
撮像出力信号S2に基づいて輝度信号Y、クロマ信号C
並びに色差信号R−Y及びB−Yを形成し、輝度信号Y
及びクロマ信号Cをデイジタル/アナログ変換回路8を
介してビデオ信号S3として送出する。
【0011】これに加えてデイジタルカメラ処理回路7
は被写体追尾用検出信号S4として輝度信号Y並びに色
差信号R−Y及びB−Yを追尾制御回路部11に供給
し、追尾制御回路部11はこの被写体追尾用検出信号S
4に基づいてレンズブロツク部1について設けられたパ
ンニング駆動モータ12及びチルテイング駆動モータ1
3に対する追尾制御信号S5を発生する。先ず追尾制御
回路部11は色差信号R−Y及びB−Yを飽和度/色相
検出回路14に与えて色相(Hue )信号HUE及び飽和
度(Saturation)信号SATを形成し、これを輝度信号
Yと共に例えばフイールドメモリで構成された画像メモ
リ15に各画素単位で記憶する。
【0012】飽和度/色相検出回路14は色差信号R−
Y及びB−Yを直交座標/極座標変換することにより色
相信号HUE及び飽和度信号SATを形成し、かくして
輝度信号Y、色相信号HUE及び飽和度信号SATによ
つて被写体としての人間顔モデルを人間が知覚できる視
覚刺激に基づいて被写体認識をする。因に一般に人間が
知覚できる視覚刺激は図2に示すように、L軸とこれに
直交するSH平面を有するいわゆるHLS系と呼ばれる
色座標系によつて表現される。L軸は明るさ(Lightnes
s )を表し、輝度信号Yに相当する。SH平面はL軸に
直交する極座標で表現される。SH平面において、Sは
飽和度(Saturation)を表し、L軸からの距離によつて
表現される。またHは色相(Hue )を表し、色差信号B
−Yの方向を0〔°〕としたときの角度によつて色相を
表す。
【0013】このHLS系の立体は、光源が明るくなる
と色座標すなわちSH平面がL軸に沿つて上方向に行く
と共に、すべての色が白になる。このとき飽和度Sが減
少して行く。これに対して光源が暗くなると、色座標す
なわちSH平面がL軸に沿つて下方方向に行くと共に、
すべての色が黒になる。このとき同時に飽和度Sも減少
して行く。このようなHLS色座標系の特徴に基づい
て、飽和度S及び輝度Yは光源の明るさの影響を受け易
く、従つて被写体の特徴量を表すパラメータとしては最
適とは言い難いことが分る。これとは逆に色相Hは被写
体固有の特徴量を表現するものとして、光源の影響を受
け難い量であることが分る。
【0014】ただしそうであるといつても、被写体の色
がL軸上の近傍にあるような場合、すなわち白、黒、灰
色の場合は、色相Hの信号が情報としての意味をもたな
くなり、最悪の場合S/Nの悪い画像では白であるにも
かかわらず様々な色相Hのベクトルをもつている可能性
があることが分る。かかるHLS色座標系の性質を利用
して追尾制御回路部11は被写体である人間顔モデルの
特徴を抽出し、特徴の変化が生じたときこれに追従する
ようにパンニング駆動モータ12及びチルテイング駆動
モータ13を駆動することにより結果としてビデオ信号
S3として被写体の動きに追尾するような映像信号を得
るようにする。
【0015】すなわち、画像メモリ15に記憶された被
写体追尾用検出信号S4はマイクロプロセツサ構成の追
尾信号処理回路16から送出されるブロツク指定信号S
6をアドレス発生回路17に与えることにより図3に示
すように、実質上画像メモリ15内に形成されている表
示画面PICをxy直交座標(x、y)に基づいて所定
の大きさの小領域ARに分割するようなアドレス信号S
7を画像メモリ15に供給させる。かくして画像メモリ
16の表示画面PICを構成する各画素のデータは小領
域ARごとに読み出されて各小領域ARごとに1つの画
像情報として評価される。
【0016】この実施例の場合、表示画面PICはx方
向及びy方向にそれぞれ32個(又は16個)の小領域AR
に分割し、かくして32×32個(又は16×16個)の小領域
ARについて直交座標(x、y)の座標をx=i、y=
jに指定することにより指定される小領域ARの画像情
報I(x=i、y=j)を読み出すことができる。この
ようにして画像メモリ15から小領域ARごとに読み出
される画像情報I(x=i、y=j)のうち、色相信号
HUE成分がゲート回路18を通つて肌色検出回路19
に与えられるのに対して、輝度信号Y成分が直接髪の毛
検出回路20に与えられる。
【0017】肌色検出回路19は人間の顔モデルのうち
肌の画像部分を検出するもので、到来する色相信号HU
E成分が所定の肌色範囲に入つているとき、当該画素の
画像が肌色であるとして肌色画素数カウンタ21に「+
1」カウント出力S8を与える。実際上色相信号HUE
成分のダイナミツクレンジは角度で0〜359 〔°〕の範
囲の値をとる。これに対して髪の毛検出回路20は人間
顔モデルの画像部分のうち髪の毛の領域を検出するもの
で、この実施例の場合輝度信号Yのダイナミツクレンジ
は数値0〜 255(8ビツト)で表現されており、各画素
の輝度信号Yが値50以下のときこれを黒として当該画素
が髪の毛領域にあると判定して、髪の毛画素数カウンタ
22に「+1」カウント出力S9を送出する。
【0018】かくして肌色画素数カウンタ21及び髪の
毛画素数カウンタ22には各小領域ARに含まれる画素
のうち、それぞれ肌色及び髪の毛の情報をもつている画
素数がカウントされて行くことになる。この肌色画素数
カウンタ21及び髪の毛画素数カウンタ22の各小領域
ARごとのカウント結果はコンパレータ23及び24に
おいて追尾信号処理回路16から与えられる判定基準信
号S10及びS11と比較される。
【0019】ここで判定基準信号S10及びS11は肌
色画素数カウンタ21及び髪の毛画素数カウンタ22の
カウント結果が当該小領域ARについて肌色領域候補又
は髪の毛領域候補として判断すべきか否かを決める値に
予め選定され、かくしてコンパレータ23及び24は肌
色領域候補検出情報S12及び髪の毛領域候補検出情報
S13を追尾信号処理回路16に与える。この実施例の
場合、ゲート回路18に対してコンパレータ構成の色相
ノイズゲート信号形成回路25が設けられ、画像メモリ
15から各画素ごとに読み出される飽和度信号SATを
追尾信号処理回路16から送出されるノイズ判定信号S
14と比較し、飽和度信号SATが所定レベル以下のと
きゲート回路18を閉動作させるゲート信号S15をゲ
ート回路18に与えることにより、当該画素の色相信号
HUE成分を肌色検出回路19に入力させないようにな
されている。
【0020】因に飽和度/色相検出回路14において検
出された色相信号HUEがL軸の近傍(図2)にあると
き、このことは当該色相信号HUEは飽和度が小さいた
めにノイズに埋もれて情報としての意味をもつていない
おそれがあるので、このような意味をもたない色相信号
HUEをゲート回路18において除去する。以上の構成
において、追尾信号処理回路16は、図4及び図5に示
す追尾処理手順RT1を実行することにより、画像メモ
リ15に取り込んだ各画素の輝度信号Y、色相信号HU
E及び飽和度信号SATに基づいて得られる肌色領域候
補検出情報S12及び髪の毛領域候補検出情報S13か
ら表示画面PIC上の画像の特徴を判断して、常時人の
顔モデルの重心が計測枠の中央位置に来るような追尾制
御信号S5をパンニング駆動モータ12及びチルテイン
グ駆動モータ13に与える。
【0021】この実施例の場合、表示画面PICが全体
として1つの計測枠であるとして、顔モデルの重心が表
示画面PICの中央位置に来るようになされている。追
尾信号処理回路16は、図4の追尾処理手順RT1に入
ると先ずフイールド番号FNをFN=1に初期設定した
後、ステツプSP1に移つて表示画面PICを32×32個
の小領域ARに分割した後、各小領域ARに含まれる画
素について、肌色検出回路19及び髪の毛検出回路20
の当該検出結果に基づいて肌色画素数カウンタ21及び
髪の毛画素数カウンタ22のカウント結果を得、これを
用いて当該小領域が肌色領域候補であるとき当該肌色領
域候補検出情報S12を取り込むと共に、当該小領域A
Rが髪の毛領域候補であるとき髪の毛領域候補検出情報
S13を取り込む。
【0022】ステツプSP1においてかかる処理が終わ
ると、追尾信号処理回路16はフイールド番号FNをF
N=FN+1にインクリメントすることにより、次回に
抽出処理をするフイールド番号を指定する。このように
してステツプSP1の処理が終わると、追尾信号処理回
路16には図3又は図6に示すように髪の毛候補小領域
ARA及び肌色候補小領域ARBと判定された小領域A
Rの分布状態が得られる。ここで図3のように、髪の毛
候補小領域ARA及び肌色候補小領域ARBがそれぞれ
隙間なく隣接し、しかも髪の毛候補小領域ARA及び肌
色候補小領域ARB間にも隙間がないような候補の抽出
結果が得られると、この場合には被写体としての人間顔
モデルの実態に適合するような情報が得られていること
を意味する。
【0023】しかしながら通常は、被写体に対する光源
の向きや反射の仕方が一様ではないために、図6に示す
ように、髪の毛候補小領域ARA及び肌色候補小領域A
RBの集まりの中に空白領域ができ、これに加えて髪の
毛候補小領域ARAの集まり及び肌色候補小領域ARB
の集まり間においても空白小領域ができるような抽出結
果が得られることが多い。そこで追尾信号処理回路16
は続くステツプSP2において当該不連続領域を「髪の
毛領域併合ルール1」及び「肌色領域併合ルール2」に
従つて併合する。
【0024】不連続領域の「併合ルール1」は『IF I
(i+p、j+q)=髪の毛領域、(p、q=+1or−
1or0、ただしp=q=0を除く) Then I(i、
j)=髪の毛領域候補』として併合する。この不連続領
域の「併合ルール1」は、アドレス(x=i、y=j)
領域において、当該小領域ARを中心として隣接する小
領域に髪の毛候補小領域ARAがあつた場合には当該指
定小領域(x=i、y=j)の画像情報I(i、j)を
髪の毛候補小領域ARAに併合することを意味する。
【0025】例えば図6において空白小領域(x=6、
y=5)を指定領域としたとき、当該空白小領域(x=
6、y=5)を囲む周囲の小領域AR、すなわち(x=
5、y=4)(x=6、y=4)(x=7、y=4)
(x=7、y=5)(x=7、y=6)(x=6、y=
6)(x=5、y=6)及び(x=5、y=6)の小領
域ARには髪の毛候補小領域ARA1として髪の毛領域
(x=6、y=4)が含まれているので、「併合ルール
1」によつて当該空白小領域(x=6、y=5)は髪の
毛候補小領域ARA1の集まりに併合される。また不連
続領域の「併合ルール2」は、「併合ルール2」を適用
した後に適用され、その内容は『IF I(i+p、j+
q)=肌色領域候補(p、q=+1or−1or0、ただし
p=q=0を除く) Then I(i、j)=肌色領域候
補』として併合する。
【0026】この不連続領域の「併合ルール2」は髪の
毛候補小領域ARAについて上述したと同様に、指定小
領域(x=i、y=j)についてこれに隣接する領域に
肌色領域候補があれば、当該指定された小領域(x=
i、y=j)の画像情報I(x=i、y=j)を肌色候
補小領域ARBであるとして併合する。例えば図6にお
いて空白小領域(x=6、y=6)を指定小領域とした
とき、当該空白小領域(x=6、y=6)を囲む周囲の
小領域AR、すなわち(x=5、y=5)(x=6、y
=5)(x=7、y=5)(x=7、y=6)(x=
7、y=7)(x=6、y=7)(x=5、y=7)及
び(x=5、y=6)の小領域ARには肌色候補小領域
ARB1として肌色小領域(x=7、y=7)が含まれ
ているので、「併合ルール2」によつて当該空白小領域
(x=6、y=6)は肌色候補小領域ARB1の集まり
に併合される。
【0027】かくしてステツプSP2の不連続領域の併
合処理が終わると、図6に示すように、髪の毛候補小領
域ARA1の集まりの間に空白小領域があるために髪の
毛候補小領域ARA1の集まりが不連続であつたもの
が、図7に示すように当該不連続小領域を併合領域AR
A1として埋めて行くことができる。肌色候補小領域A
RB1についても同様に、肌色候補小領域ARB1の集
まりの間に空白があるために当該肌色候補小領域ARB
1が不連続であつたものが、図7に示すように当該空白
を併合肌色候補小領域ARB2によつて埋めることがで
きる。
【0028】追尾信号処理回路16はステツプSP2の
処理が終了すると、ステツプSP3に移つて髪の毛領域
及び肌色領域の決定を「髪の毛領域の決定ルール1」及
び「肌色領域の決定ルール2」によつて決定する。「髪
の毛領域の決定ルール1」は、『IF I(i、j)=髪
の毛領域候補 and I(i+p、j+q)=髪の毛領域
候補(p、q=+1or−1or0、ただしp=q=0を除
く) Then I(i、j)、I(i+p、j+q)を髪
の毛領域として統合する。
【0029】この「髪の毛領域の決定ルール1」は、ア
ドレス(x=i、y=j)の小領域において、当該小領
域を中心として隣接する小領域に髪の毛候補小領域があ
つた場合には当該指定領域(x=i、y=j)の画像情
報I(i、j)を髪の毛小領域群HRに統合することを
意味する。また「肌色領域の決定ルール2」は、『IF
I(i、j)=肌色領域候補 and I(i+p、j+
q)=肌色領域候補(p、q=+1or−1or0、ただし
p=q=0を除く) Then I(i、j)、I(i+
p、j+q)を肌色領域として統合する。
【0030】この「肌色領域の決定ルール2」は、髪の
毛候補小領域について上述したと同様に、指定小領域
(x=i、y=j)についてこれに隣接する領域に肌色
候補小領域があれば、当該指定された小領域(x=i、
y=j)の画像情報I(x=i、y=j)及び肌色候補
小領域がある隣接領域の画像情報を肌色小領域群FCに
統合する。
【0031】そこで例えば上述したように「髪の毛領域
の併合ルール1」によつて髪の毛小領域に併合された領
域(x=6、y=5)(図6)について「髪の毛領域の
決定ルール1」を適用すれば、小領域(x=6、y=
5)の周囲の小領域すなわち(x=5、y=4)(x=
6、y=4)(x=7、y=4)(x=7、y=5)
(x=7、y=6)(x=6、y=6)(x=5、y=
6)及び(x=5、y=5)の小領域には髪の毛候補小
領域として髪の毛小領域(x=5、y=5)、(x=
5、y=4)、(x=6、y=4)(x=7、y=4)
及び(x=7、y=5)が含まれているので、領域(x
=5、y=4)(x=6、y=4)(x=7、y=4)
(x=7、y=5)(x=6、y=5)及び(x=5、
y=5)が髪の毛小領域群FC1として統合される。
【0032】また例えば上述したように「肌色領域の併
合ルール2」によつて肌色小領域に併合された小領域
(x=6、y=6)について「肌色領域の決定ルール
2」を適用すれば、小領域(x=6、y=6)の周囲の
小領域、すなわち(x=5、y=5)(x=6、y=
5)(x=7、y=5)(x=7、y=6)(x=7、
y=7)(x=6、y=7)(x=5、y=7)及び
(x=5、y=6)の小領域には肌色領域候補として肌
色小領域(x=7、y=6)、(x=7、y=7)及び
(x=6、y=7)が含まれているので、領域(x=
6、y=6)(x=7、y=6)(x=7、y=7)及
び(x=6、y=7)が肌色小領域群FC1として統合
される。
【0033】このようにしてステツプSP2及びSP3
において不連続小領域の併合、並びに髪の毛小領域及び
肌色小領域の統合処理をすることにより、表示画面PI
Cは、図7に示すように、小領域群HR1及びHR2が
髪の毛領域として統合され、かつ小領域群FC1及びF
C2が肌色領域として統合される。その後追尾信号処理
回路16は図5のステツプSP4に移つて、統合された
髪の毛領域HR1及びHR2並びに肌色領域FC1及び
FC2の面積Area Hair並びにArea Skinを算出する。
図7の表示画面PICの場合、髪の毛領域HR1の面積
Area Hair HR1はこれに含まれる領域の総数として
Area Hair HR1=45と算出され、同様にして髪の
毛領域群HR2の面積はArea Hair HR2=14、肌
色領域群FC1の面積はArea Skin FC1=66、肌
色領域群FC2の面積はArea Skin FC2=10とし
ても算出される。
【0034】続いて追尾信号処理回路16はステツプS
P5に移つて顔領域を決定する処理を「顔領域決定ルー
ル1」及び「顔領域決定ルール2」の条件を満たすこと
を条件として判定する。「顔領域決定ルール1」は1つ
の髪の毛小領域群と1つの肌色小領域群とを1組の領域
と考えて、当該1つの髪の毛領域群の面積Area Hairと
1つの肌色小領域群の面積Area Skinとの面積比が、
『IF (Area Hair) /(Area Skin) >5 and (Ar
ea Hair) /(Area Skin) <1/5 Then 顔領域候
補である』と決定する。
【0035】この「顔決定ルール1」は、髪の毛小領域
群と肌色小領域群の面積比が5倍以内かつ1/5 倍以上で
あれば、この小領域群の組は顔領域である可能性がある
と判定する。このような判定をするのは、表示画面PI
C上軌道レベルが暗い小領域が多数あるような画像(例
えば背景に暗幕がある場合などのように)、この暗い小
領域をすべて髪の毛領域として判断するおそれがあるの
でこれを防止し、同様にして肌色の小領域が顔の肌色以
外に大量に存在するような場合には顔領域の判断を正し
くできなくなるおそれがあり、かかる誤判断を防止する
ものである。
【0036】また「顔領域決定ルール2」は、『IF I
(i、j)=髪の毛領域 and I(i、j−1)=肌色
領域 Then Neighbor=Neighbor+1 IF Neighbor>
3 Then 髪の毛領域+肌色領域は顔である』と決定す
る。この「顔領域決定ルール2」は、画面の上側が髪の
毛小領域群であり(すなわちI(i、j)であり)、か
つ下側が肌色小領域群であり(すなわちI(i、j−
1)の領域であり)、しかもこれら髪の毛小領域群及び
肌色小領域群が最低3つの小領域で接している条件があ
れば、この髪の毛小領域群及び肌色小領域群の組を顔で
あると判断する。
【0037】この「顔領域決定ルール2」を適用するこ
とにより、図7の表示画面PICのうち、一対の小領域
群、すなわち髪の毛小領域群HR1及び肌色小領域群F
C1の組は8つの小領域で接しているのでルール2を満
たしており、従つて1つの顔であると判断する。これに
対して一対の領域群、すなわち髪の毛小領域群HR2及
び肌色小領域群FC2の組は接している小領域がないの
で、ルール2の条件を満たしておらず、従つて顔領域の
判断から除外される。
【0038】続いて追尾信号処理回路16はステツプS
P6に移つてステツプSP2〜SP5の処理を2回繰り
返したか否かを判断し、1回目の処理が終了したときに
はステツプSP7に移つて、ステツプSP1において分
割処理された小領域分割数を32×32から16×16に変更し
て髪の毛領域候補及び肌色領域候補を抽出して上述のス
テツプSP2に戻る。かくして追尾信号処理回路16は
当該16×16の分割小領域についてステツプSP2−SP
3−SP4−SP5の処理を実行し、かくして32×32分
割の処理より粗い分割領域についての処理を実行するこ
とにより、顔を認識する確率を高めるようにする。
【0039】因にこのような粗い分割領域について処理
することによつて顔の認識をすると、32×32分割処理時
には認識できなかつた顔対象であつても、認識できるよ
うな結果を得ることができる場合があり、例えば表示画
面PIC内にズームアツプした大きな顔を扱う場合など
には特に有利である。ステツプSP6において肯定結果
が得られたときこのことは、2回の画像処理が終了した
ことを意味し、このとき追尾信号処理回路16はステツ
プSP8に移つて1つの表示画面PICから2つ以上の
顔が抽出されたとき、Rec Pause ボタン「記録ポーズボ
タン」解除時に表示画面PICの中心近くにある顔領域
を被写体として選定するような処理を実行し、その後ス
テツプSP9において顔の重心が測定枠すなわち表示画
面PICの中央部に来るような追尾制御信号S5をパン
ニング駆動モータ12及びチルテイング駆動モータ13
に供給する。
【0040】かくして追尾信号処理回路16は1回の自
動追尾処理サイクルを終了して上述のステツプSP1に
戻り、続く自動追尾処理サイクルに入る。以上の構成に
よれば、被写体の特徴量として、光源の強度、方向の影
響を受け難くし、かつ表示画面上で最も効果的に被写体
の特徴量を表す色相信号を用いるようにしたので、背景
の影響を受け難くかつ手ぶれに強い簡便な被写体追尾装
置を得ることができる。
【0041】因に従来のように被写体の特徴量として輝
度信号を基準にして処理するようにした場合には、表示
画面PICの明るさが極端に明るくなつたり又は暗くな
つたりした場合には、図2のHLS色座標系について上
述したように被写体の画像情報を適確に把握することが
困難であつたのに対して、上述の実施例の場合のように
多少明るさが極端に明るくなつたり又は暗くなつたりし
ても被写体の特徴量を失わないようにできる。また上述
の構成によれば、特徴量としてピーク値を用いていない
のでノイズに強く、また動きベクトルを用いず画面上の
座標の変化の影響を受けない人間顔モデルを使うように
したことにより、手ぶれに対して強いシステムを構築で
きる。
【0042】さらに上述の構成においては人間顔モデル
を内部にもつているので、ユーザは被写体の初期設定を
する必要がなく、しかも計測枠を設ける必要がないの
で、たとえ計測枠内に背景があつたとしても、これに引
かれるような現象を生じさせないようにできる。図8は
本発明の他の実施例を示すもので、図1との対応部分に
同一符号を付して示すように、デイジタルカメラ処理回
路7から得られる輝度信号Y、並びに色差信号R−Y及
びB−Yをローパスフイルタ31を介して画面縮小回路
32に与える。画面縮小回路32はデイジタルカメラ処
理回路7から送出される各画素の輝度信号並びに色差信
号R−Y及びB−Yを追尾信号処理回路16から送出さ
れる画面縮小制御信号S21によつて、表示画面PIC
を32×32小領域又は16×16小領域に分割する処理を実行
する。
【0043】かくして画面縮小回路32から32×32小領
域又は16×16小領域に対応する色差信号R−Y及びB−
Yを被写体追尾用検出信号S4として飽和度/色相検出
回路14に与えることにより、色相信号HUE及び飽和
度信号SATを画像メモリ15に供給すると共に、輝度
信号Yを被写体追尾用検出信号として直接画像メモリ1
5に供給する。この場合画像メモリ15は32×32画像分
のメモリエリアを有し、かくして図1の場合は1フイー
ルド分の画素についてのメモリ容量を用意する必要があ
るのに対して図8の場合これを一段と簡略化し得る。
【0044】これと共に、画像メモリ15から送出され
る輝度信号Y、色相信号HUE及び飽和度信号SATは
32×32画素又は16×16画素に集約された信号として出力
され、これにより髪の毛検出回路20および肌色検出回
路19は32×32小領域又は16×16小領域についてそれぞ
れ髪の毛領域であるか又は肌色領域であるかを検出し、
当該検出結果を髪の毛領域検出出力S22及び肌色領域
検出出力S23として追尾信号処理回路16に供給す
る。図8の構成によれば、デイジタルカメラ処理回路7
から送出される1画面分の画素信号を画面縮小回路32
において32×32小領域又は16×16小領域の画像情報とし
て縮小した後飽和度/色相検出回路14、画像メモリ1
5、髪の毛検出回路20及び肌色検出回路19の処理を
実行するようにしたことにより、当該処理回路の部分の
回路構成を一段と簡易化し得る。
【0045】図1又は図8の構成の被写体追尾装置AT
Tは、これを自動焦点調整システムに適用した場合に
は、自動焦点調整システムはレンズブロツク部1が顔の
重心部分の変化に追従して表示画面PIC従つて計測枠
を設定できるように追尾することにより、顔の重心位置
にレンズ2を合焦させるような自動焦点調整動作を実現
できる。また上述の構成の被写体追尾装置を自動アイリ
ス調整システムに適用する場合、レンズブロツク部1が
顔の重心部分に表示画面PIC従つて計測枠を追尾する
ように設定し得ることにより、当該顔の重心部分を常に
測光できることにより、自動アイリス調整システムとし
て逆光補正の必要がなくなると共に、自動的に被写体の
輝度レベルを最適値に設定できる。
【0046】また上述の被写体追尾装置を自動ホワイト
バランス調整システムに適用する場合、レンズブロツク
部1が顔の重心位置に表示画面PIC従つて計測枠を追
尾させることにより、自動ホワイトバランス調整システ
ムは顔の肌色を最適化するように調整動作することによ
り画面全体の色調整をし得る。かくして自動ホワイトバ
ランス調整システム全体としてオートスキンカラーバラ
ンス(ASB)を調整できるような結果になり、かくし
て画面全体を積分した結果が白であるとして調整動作を
する従来の自動ホワイトバランス調整装置と比較して、
被写体環境が明る過ぎたり又は暗過ぎたりするような場
合にも、色バランスが良好な表示画面を実現できる。
【0047】なお、上述の実施例においては、表示画面
PIC全体について計測枠を設定して髪の毛小領域群及
び肌色小領域群の併合、統合及び決定処理を実行するよ
うにしたが、これに代え、表示画面PIC内に必要に応
じて選定した領域に計測枠を設定するようにしても、上
述の場合と同様の効果を得ることができる。また上述の
実施例においては、レンズブロツク1をパンニング及び
又はチルテイングすることにより被写体の移動に対して
レンズブロツク1の視野を移動させ、これにより計測枠
内に所定の被写体像を入れるようにしたが、これに代え
パンニング及び又はチルテイングをせずに、表示画面P
IC内の画像に対して計測枠を移動させるようにしても
上述の場合と同様の効果を得ることができる。
【0048】
【発明の効果】上述のように本発明によれば、表示画面
を構成する各画素の画像情報を所定数の小領域に分割
し、各小領域の色相信号に基づいて肌色領域の位置及び
大きさを判定して計測枠を設定するようにしたことによ
り、計測枠を常に被写体に高い精度で設定できるビデオ
カメラシステムを容易に実現できる。
【図面の簡単な説明】
【図1】図1は本発明によるビデオカメラシステムに適
用し得るビデオカメラ被写体追尾装置の構成を示すブロ
ツク図である。
【図2】図2は視覚刺激を表すHLS色座標系の説明に
供する略線図である。
【図3】図3は小領域に分割することにより画像情報を
得るようにした表示画面PICを示す略線図である。
【図4】図4は追尾処理手順を表すフローチヤートであ
る。
【図5】図5は図4に続いて追尾処理手順を表すフロー
チヤートである。
【図6】図6は検出された髪の毛領域及び肌色領域をも
つ表示画面PICを示す略線図である。
【図7】図7は併合及び統合処理された表示画面PIC
を示す略線図である。
【図8】図8は本発明の他の実施例におけるビデオカメ
ラ被写体追尾装置を示すブロツク図である。
【符号の説明】
ATT……被写体追尾装置、1……レンズブロツク部、
2……レンズ、3……アイリス、4……固体撮像素子、
5……信号分離/自動利得調整回路部、7……デイジタ
ルカメラ処理回路、11……追尾制御回路部、12……
パンニング駆動モータ、13……チルテイング駆動モー
タ、14……飽和度/色相検出回路、15……画像メモ
リ、16……追尾信号処理回路、19……肌色検出回
路、20……髪の毛検出回路、21……肌色画素数カウ
ンタ、22……髪の毛画素数カウンタ、32……画面縮
小回路。

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】レンズブロツク部から送出される撮像出力
    信号によつて表される表示画面を所定数の小領域に分割
    する小領域分割手段と、 上記小領域のうち色相信号が肌色の部分の肌色小領域を
    抽出する肌色領域抽出手段と、 上記小領域のうち輝度信号が所定の明るさをもつ明るさ
    小領域を抽出する明るさ領域抽出手段と、 上記肌色小領域及び上記明るさ小領域の周囲にある空白
    小領域を併合することにより肌色小領域群及び明るさ小
    領域群を形成する併合手段と、 上記肌色小領域群及び明るさ小領域群のうち互いに隣接
    する肌色小領域群及び明るさ小領域群の組を抽出する隣
    接小領域群抽出手段と、 上記肌色小領域群及び明るさ小領域群の組が計測枠内に
    入るように当該計測枠を設定する計測枠設定手段とを具
    えることを特徴とするビデオカメラシステム。
  2. 【請求項2】上記計測枠設定手段は、上記隣接小領域群
    抽出手段の抽出結果に基づいて、上記計測枠を上記表示
    画面内において移動させることにより、上記肌色小領域
    群及び明るさ小領域群の組の画像部分を上記計測枠内に
    入れるように設定することを特徴とする請求項1に記載
    のビデオカメラシステム。
  3. 【請求項3】上記計測枠設定手段は、上記隣接小領域群
    抽出手段の抽出結果に基づいて、上記レンズブロツク部
    をパンニング及び又はチルテイング制御することによ
    り、上記肌色小領域群及び明るさ小領域群の組の画像部
    分を上記計測枠内に入るように設定することを特徴とす
    る請求項1に記載のビデオカメラシステム。
  4. 【請求項4】レンズブロツク部から送出される撮像出力
    信号によつて表される表示画面を所定数の小領域に分割
    する小領域分割手段と、 上記小領域のうち色相信号が肌色の部分の肌色小領域を
    抽出する肌色領域抽出手段と、 上記小領域のうち輝度信号が髪の毛の明るさをもつ髪の
    毛小領域を抽出する髪の毛領域抽出手段と、 上記肌色小領域及び上記髪の毛小領域の周囲にある空白
    小領域を併合することにより肌色小領域群及び髪の毛小
    領域群を形成する併合手段と、 上記肌色小領域群及び髪の毛小領域群のうち互いに隣接
    する肌色小領域群及び髪の毛小領域群の組を抽出する隣
    接小領域群抽出手段と、 上記抽出された上記肌色小領域群及び髪の毛小領域群の
    組のうち、上記髪の毛小領域群が上記肌色小領域群の上
    側に隣接していることを条件として当該肌色小領域群及
    び髪の毛小領域群の組を顔であると判定する顔判定手段
    と、 上記顔の領域が上記計測枠内に入るように当該計測枠を
    設定する計測枠設定手段とを具えることを特徴とするビ
    デオカメラシステム。
  5. 【請求項5】上記計測枠設定手段は、上記顔の重心が上
    記計測枠としての上記表示画面の中央に来るように、上
    記レンズブロツク部をパンニング及び又はチルテイング
    制御することにより、上記顔の領域を上記計測枠内に入
    るように設定することを特徴とする請求項4に記載のビ
    デオカメラシステム。
  6. 【請求項6】レンズブロツク部から送出される撮像出力
    信号によつて表される表示画面を所定数の小領域に分割
    する小領域分割手段と、 上記小領域のうち色相信号が肌色の部分の肌色小領域を
    抽出する肌色領域抽出手段と、 上記小領域のうち輝度信号が髪の毛の明るさをもつ髪の
    毛小領域を抽出する髪の毛領域抽出手段と、 上記肌色小領域及び上記髪の毛小領域の周囲にある空白
    小領域を併合することにより肌色小領域群及び髪の毛小
    領域群を形成する併合手段と、 上記肌色小領域群及び髪の毛小領域群のうち互いに隣接
    する肌色小領域群及び髪の毛小領域群の組を抽出する隣
    接小領域群抽出手段と、 上記抽出された上記肌色小領域群及び上記髪の毛小領域
    群の組について、上記髪の毛小領域群及び上記肌色小領
    域群の面積を算出し、上記髪の毛小領域群の面積と肌色
    小領域群の面積との面積比が所定数範囲にあり、かつ上
    記髪の毛小領域群が上記肌色小領域群の上側に隣接して
    いることを条件として当該髪の毛小領域群及び上記肌色
    小領域群の組を顔であると判定する顔判定手段と、 上記顔の領域が上記計測枠内に入るように当該計測枠を
    設定する計測枠設定手段とを具えることを特徴とするビ
    デオカメラシステム。
JP20710792A 1992-07-10 1992-07-10 ビデオカメラシステム Expired - Lifetime JP3298072B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP20710792A JP3298072B2 (ja) 1992-07-10 1992-07-10 ビデオカメラシステム
KR1019930012564A KR100274999B1 (ko) 1992-07-10 1993-07-05 비디오 카메라 시스템
US08/086,868 US5430809A (en) 1992-07-10 1993-07-07 Human face tracking system
EP93305419A EP0578508B1 (en) 1992-07-10 1993-07-09 Video camera with colour-based target tracking system
DE69326394T DE69326394T2 (de) 1992-07-10 1993-07-09 Videokamera mit farbbasiertem Zielverfolgungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20710792A JP3298072B2 (ja) 1992-07-10 1992-07-10 ビデオカメラシステム

Publications (2)

Publication Number Publication Date
JPH0630318A true JPH0630318A (ja) 1994-02-04
JP3298072B2 JP3298072B2 (ja) 2002-07-02

Family

ID=16534320

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20710792A Expired - Lifetime JP3298072B2 (ja) 1992-07-10 1992-07-10 ビデオカメラシステム

Country Status (5)

Country Link
US (1) US5430809A (ja)
EP (1) EP0578508B1 (ja)
JP (1) JP3298072B2 (ja)
KR (1) KR100274999B1 (ja)
DE (1) DE69326394T2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0634665A1 (en) * 1993-07-14 1995-01-18 Sony Corporation Video signal follow-up processing apparatus
JP2001014457A (ja) * 1999-06-29 2001-01-19 Minolta Co Ltd 画像処理装置
EP1279289A4 (en) * 2000-04-11 2004-03-31 Safehouse Internat Ltd OBJECT MONITORING SYSTEM
JP2005027331A (ja) * 2004-08-03 2005-01-27 Ricoh Co Ltd 電子スチルカメラ装置及び映像編集方法
US6995798B1 (en) 1999-04-16 2006-02-07 Ikegami Tsushinki Co., Ltd. Viewfinder control unit and television camera
JP2006229663A (ja) * 2005-02-18 2006-08-31 Casio Hitachi Mobile Communications Co Ltd 撮像装置、撮像データ表示方法および撮像データ表示プログラム
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP2007104200A (ja) * 2005-10-03 2007-04-19 Nikon Corp 撮像装置
WO2008044270A1 (en) * 2006-10-05 2008-04-17 Panasonic Corporation Light emitting display device
JP2010500836A (ja) * 2006-08-11 2010-01-07 フォトネーション ビジョン リミテッド デジタル画像収集装置におけるリアルタイム顔追跡
WO2012099174A1 (ja) * 2011-01-18 2012-07-26 富士フイルム株式会社 オートフォーカスシステム
US8422739B2 (en) 2006-08-11 2013-04-16 DigitalOptics Corporation Europe Limited Real-time face tracking in a digital image acquisition device
JP2018037041A (ja) * 2016-09-02 2018-03-08 富士通株式会社 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム

Families Citing this family (144)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699442A (en) * 1992-04-10 1997-12-16 Andrew Welch System for detecting the location of a reflective object within a video field
KR100276681B1 (ko) * 1992-11-07 2001-01-15 이데이 노부유끼 비디오 카메라 시스템
US5774261A (en) * 1993-11-19 1998-06-30 Terumo Kabushiki Kaisha Image display system
ATE192275T1 (de) * 1993-12-03 2000-05-15 Terumo Corp Stereoskopisches bildanzeigesystem
JPH07222204A (ja) * 1994-02-07 1995-08-18 Terumo Corp 立体画像表示装置
JPH07218864A (ja) * 1994-02-07 1995-08-18 Terumo Corp 立体画像表示装置
JPH07222866A (ja) * 1994-02-09 1995-08-22 Terumo Corp 立体画像ゲーム装置
JPH07226957A (ja) * 1994-02-09 1995-08-22 Terumo Corp 立体画像通信装置
US6011580A (en) * 1994-06-07 2000-01-04 Terumo Kabushiki Kaisha Image display apparatus
US6714665B1 (en) 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
JPH0896129A (ja) * 1994-09-21 1996-04-12 Omron Corp モデル画像登録方法
US5535302A (en) * 1994-12-01 1996-07-09 Tsao; Tien-Ren Method and apparatus for determining image affine flow using artifical neural system with simple cells and lie germs
DE19511713A1 (de) * 1995-03-30 1996-10-10 C Vis Computer Vision Und Auto Verfahren und Vorrichtung zur automatischen Bildaufnahme von Gesichtern
US6172706B1 (en) * 1995-04-19 2001-01-09 Canon Kabushiki Kaisha Video camera with automatic zoom adjustment based on distance between user's eyes
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
EP0865637A4 (en) * 1995-12-04 1999-08-18 Sarnoff David Res Center DETECTION SYSTEM WITH A WIDE AND NARROW FIELD OF VIEW AND METHOD
GB2311182A (en) * 1996-03-13 1997-09-17 Innovision Plc Improved gradient based motion estimation
US5717512A (en) * 1996-05-15 1998-02-10 Chmielewski, Jr.; Thomas A. Compact image steering and focusing device
US6222939B1 (en) 1996-06-25 2001-04-24 Eyematic Interfaces, Inc. Labeled bunch graphs for image analysis
US7650015B2 (en) 1997-07-22 2010-01-19 Image Processing Technologies. LLC Image processing method
GB9619117D0 (en) * 1996-09-12 1996-10-23 Pandora Int Ltd Digital image processing
US6343141B1 (en) 1996-10-08 2002-01-29 Lucent Technologies Inc. Skin area detection for video image systems
US5864630A (en) * 1996-11-20 1999-01-26 At&T Corp Multi-modal method for locating objects in images
US6275258B1 (en) 1996-12-17 2001-08-14 Nicholas Chim Voice responsive image tracking system
US6121953A (en) * 1997-02-06 2000-09-19 Modern Cartoons, Ltd. Virtual reality system for sensing facial movements
US5845009A (en) * 1997-03-21 1998-12-01 Autodesk, Inc. Object tracking system using statistical modeling and geometric relationship
US6252976B1 (en) * 1997-08-29 2001-06-26 Eastman Kodak Company Computer program product for redeye detection
US6151403A (en) * 1997-08-29 2000-11-21 Eastman Kodak Company Method for automatic detection of human eyes in digital images
US6148092A (en) 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
US6556708B1 (en) * 1998-02-06 2003-04-29 Compaq Computer Corporation Technique for classifying objects within an image
JP3271750B2 (ja) * 1998-03-05 2002-04-08 沖電気工業株式会社 アイリス識別コード抽出方法及び装置、アイリス認識方法及び装置、データ暗号化装置
US6301370B1 (en) 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
AU3639699A (en) 1998-04-13 1999-11-01 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6272231B1 (en) 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
JP2000048184A (ja) * 1998-05-29 2000-02-18 Canon Inc 画像処理方法及び顔領域抽出方法とその装置
AUPP400998A0 (en) 1998-06-10 1998-07-02 Canon Kabushiki Kaisha Face detection in digital images
AU739936B2 (en) * 1998-06-10 2001-10-25 Canon Kabushiki Kaisha Face detection in digital images
US6404900B1 (en) 1998-06-22 2002-06-11 Sharp Laboratories Of America, Inc. Method for robust human face tracking in presence of multiple persons
US6714661B2 (en) 1998-11-06 2004-03-30 Nevengineering, Inc. Method and system for customizing facial feature tracking using precise landmark finding on a neutral face image
US7050655B2 (en) * 1998-11-06 2006-05-23 Nevengineering, Inc. Method for generating an animated three-dimensional video head
GB2343945B (en) * 1998-11-18 2001-02-28 Sintec Company Ltd Method and apparatus for photographing/recognizing a face
US7050624B2 (en) * 1998-12-04 2006-05-23 Nevengineering, Inc. System and method for feature location and tracking in multiple dimensions including depth
US7057636B1 (en) * 1998-12-22 2006-06-06 Koninklijke Philips Electronics N.V. Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications
US6393136B1 (en) * 1999-01-04 2002-05-21 International Business Machines Corporation Method and apparatus for determining eye contact
US6539100B1 (en) 1999-01-27 2003-03-25 International Business Machines Corporation Method and apparatus for associating pupils with subjects
JP4366758B2 (ja) * 1999-05-27 2009-11-18 コニカミノルタホールディングス株式会社 領域抽出装置および領域抽出方法、ならびに領域抽出プログラムを記録した記録媒体
AU739832B2 (en) * 1999-06-10 2001-10-18 Canon Kabushiki Kaisha Object camera description
US6466695B1 (en) 1999-08-04 2002-10-15 Eyematic Interfaces, Inc. Procedure for automatic analysis of images and image sequences based on two-dimensional shape primitives
JP4604439B2 (ja) * 1999-08-19 2011-01-05 ソニー株式会社 画像処理装置及び画像処理方法、並びに記録媒体
US6792135B1 (en) * 1999-10-29 2004-09-14 Microsoft Corporation System and method for face detection through geometric distribution of a non-intensity image property
US6940545B1 (en) 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
WO2001098730A2 (en) * 2000-06-16 2001-12-27 Eyeweb, Inc. Sizing objects from an image
JP2002047694A (ja) * 2000-07-31 2002-02-15 Komatsu Ltd 建設機械の表示装置
JP3707371B2 (ja) * 2000-08-28 2005-10-19 セイコーエプソン株式会社 画像表示システム、画像処理方法および情報記憶媒体
US6774908B2 (en) * 2000-10-03 2004-08-10 Creative Frontier Inc. System and method for tracking an object in a video and linking information thereto
US6917703B1 (en) 2001-02-28 2005-07-12 Nevengineering, Inc. Method and apparatus for image analysis of a gabor-wavelet transformed image using a neural network
US7392287B2 (en) 2001-03-27 2008-06-24 Hemisphere Ii Investment Lp Method and apparatus for sharing information using a handheld device
US6853379B2 (en) * 2001-08-13 2005-02-08 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US6876364B2 (en) 2001-08-13 2005-04-05 Vidiator Enterprises Inc. Method for mapping facial animation values to head mesh positions
US6834115B2 (en) 2001-08-13 2004-12-21 Nevengineering, Inc. Method for optimizing off-line facial feature tracking
US7298412B2 (en) * 2001-09-18 2007-11-20 Ricoh Company, Limited Image pickup device, automatic focusing method, automatic exposure method, electronic flash control method and computer program
KR100439377B1 (ko) * 2002-01-17 2004-07-09 엘지전자 주식회사 이동 통신 환경에서의 사람 영역 추출방법
EP1353516A1 (en) * 2002-04-08 2003-10-15 Mitsubishi Electric Information Technology Centre Europe B.V. A method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
US6975759B2 (en) * 2002-06-25 2005-12-13 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
US7110575B2 (en) * 2002-08-02 2006-09-19 Eastman Kodak Company Method for locating faces in digital color images
US7991192B2 (en) 2002-11-27 2011-08-02 Lockheed Martin Corporation Method of tracking a moving object by an emissivity of the moving object
US7120279B2 (en) * 2003-01-30 2006-10-10 Eastman Kodak Company Method for face orientation determination in digital color images
US7039222B2 (en) * 2003-02-28 2006-05-02 Eastman Kodak Company Method and system for enhancing portrait images that are processed in a batch mode
US7508961B2 (en) * 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US8896725B2 (en) 2007-06-21 2014-11-25 Fotonation Limited Image capture device with contemporaneous reference image capture mechanism
US8494286B2 (en) 2008-02-05 2013-07-23 DigitalOptics Corporation Europe Limited Face detection in mid-shot digital images
US7565030B2 (en) 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
US7792970B2 (en) 2005-06-17 2010-09-07 Fotonation Vision Limited Method for establishing a paired connection between media devices
US7616233B2 (en) 2003-06-26 2009-11-10 Fotonation Vision Limited Perfecting of digital image capture parameters within acquisition devices using face detection
US8948468B2 (en) * 2003-06-26 2015-02-03 Fotonation Limited Modification of viewing parameters for digital images using face detection information
US7269292B2 (en) 2003-06-26 2007-09-11 Fotonation Vision Limited Digital image adjustable compression and resolution using face detection information
US8155397B2 (en) 2007-09-26 2012-04-10 DigitalOptics Corporation Europe Limited Face tracking in a camera processor
US9129381B2 (en) 2003-06-26 2015-09-08 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US8498452B2 (en) 2003-06-26 2013-07-30 DigitalOptics Corporation Europe Limited Digital image processing using face detection information
US8682097B2 (en) 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US8989453B2 (en) 2003-06-26 2015-03-24 Fotonation Limited Digital image processing using face detection information
US7471846B2 (en) 2003-06-26 2008-12-30 Fotonation Vision Limited Perfecting the effect of flash within an image acquisition devices using face detection
US8330831B2 (en) 2003-08-05 2012-12-11 DigitalOptics Corporation Europe Limited Method of gathering visual meta data using a reference image
US9692964B2 (en) 2003-06-26 2017-06-27 Fotonation Limited Modification of post-viewing parameters for digital images using image region or feature information
US7844076B2 (en) 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
US8553949B2 (en) 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
US8363951B2 (en) 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US7792335B2 (en) 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
US8593542B2 (en) 2005-12-27 2013-11-26 DigitalOptics Corporation Europe Limited Foreground/background separation using reference images
US7440593B1 (en) * 2003-06-26 2008-10-21 Fotonation Vision Limited Method of improving orientation and color balance of digital images using face detection information
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
FR2857481A1 (fr) * 2003-07-08 2005-01-14 Thomson Licensing Sa Procede et dispositif de detection de visages dans une image couleur
JP2005165984A (ja) * 2003-12-05 2005-06-23 Seiko Epson Corp 人物顔の頭頂部検出方法及び頭頂部検出システム並びに頭頂部検出プログラム
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US20060018522A1 (en) * 2004-06-14 2006-01-26 Fujifilm Software(California), Inc. System and method applying image-based face recognition for online profile browsing
US7623156B2 (en) * 2004-07-16 2009-11-24 Polycom, Inc. Natural pan tilt zoom camera motion to preset camera positions
KR100612858B1 (ko) * 2004-08-23 2006-08-14 삼성전자주식회사 로봇을 이용하여 사람을 추적하는 방법 및 장치
JP4677753B2 (ja) * 2004-10-01 2011-04-27 株式会社ニコン 動画像処理装置及び方法
US8320641B2 (en) 2004-10-28 2012-11-27 DigitalOptics Corporation Europe Limited Method and apparatus for red-eye detection using preview or other reference images
EP1672460B1 (en) * 2004-12-15 2009-11-25 STMicroelectronics (Research & Development) Limited Computer user detection apparatus
JP2006185109A (ja) * 2004-12-27 2006-07-13 Hitachi Ltd 画像計測装置及び画像計測方法
US7715597B2 (en) 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8488023B2 (en) * 2009-05-20 2013-07-16 DigitalOptics Corporation Europe Limited Identifying facial expressions in acquired digital images
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
JP4245185B2 (ja) * 2005-02-07 2009-03-25 パナソニック株式会社 撮像装置
KR101303877B1 (ko) * 2005-08-05 2013-09-04 삼성전자주식회사 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
JP4718952B2 (ja) * 2005-09-27 2011-07-06 富士フイルム株式会社 画像補正方法および画像補正システム
GB2432659A (en) * 2005-11-28 2007-05-30 Pixology Software Ltd Face detection in digital images
US7804983B2 (en) 2006-02-24 2010-09-28 Fotonation Vision Limited Digital image acquisition control and correction method and apparatus
JP4127297B2 (ja) * 2006-06-09 2008-07-30 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
WO2008023280A2 (en) 2006-06-12 2008-02-28 Fotonation Vision Limited Advances in extending the aam techniques from grayscale to color images
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US7916897B2 (en) 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
DE102006049681B4 (de) * 2006-10-12 2008-12-24 Caveh Valipour Zonooz Aufnahmeeinrichtung zur Erstellung einer multimedialen Aufnahme einer Veranstaltung und Verfahren zur Bereitstellung einer multimedialen Aufnahme
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
US7847830B2 (en) * 2006-11-21 2010-12-07 Sony Ericsson Mobile Communications Ab System and method for camera metering based on flesh tone detection
US8055067B2 (en) 2007-01-18 2011-11-08 DigitalOptics Corporation Europe Limited Color segmentation
ATE472140T1 (de) * 2007-02-28 2010-07-15 Fotonation Vision Ltd Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen
JP4970557B2 (ja) 2007-03-05 2012-07-11 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド デジタル画像取込装置における顔検索及び検出
WO2008109622A1 (en) * 2007-03-05 2008-09-12 Fotonation Vision Limited Face categorization and annotation of a mobile phone contact list
US7916971B2 (en) 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
US20090043654A1 (en) * 2007-05-30 2009-02-12 Bates Daniel L Method And System For Enabling Advertising And Transaction Within User Generated Video Content
JP4874913B2 (ja) * 2007-09-28 2012-02-15 富士フイルム株式会社 頭頂位置算出装置、それを用いた画像処理装置および頭頂位置算出方法並びにプログラム
US8750578B2 (en) 2008-01-29 2014-06-10 DigitalOptics Corporation Europe Limited Detecting facial expressions in digital images
US7855737B2 (en) 2008-03-26 2010-12-21 Fotonation Ireland Limited Method of making a digital camera image of a scene including the camera user
KR20090120991A (ko) * 2008-05-21 2009-11-25 엘지이노텍 주식회사 자동 화이트 밸런스 영역 설정 방법
CN106919911A (zh) 2008-07-30 2017-07-04 快图有限公司 使用脸部检测的自动脸部和皮肤修饰
US8270682B2 (en) * 2008-11-25 2012-09-18 Eastman Kodak Company Hair segmentation
WO2010063463A2 (en) 2008-12-05 2010-06-10 Fotonation Ireland Limited Face recognition using face tracker classifier data
US20100208078A1 (en) * 2009-02-17 2010-08-19 Cisco Technology, Inc. Horizontal gaze estimation for video conferencing
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
JP5383366B2 (ja) * 2009-07-28 2014-01-08 キヤノン株式会社 画像処理装置、画像処理方法、および、そのプログラム
US8379917B2 (en) 2009-10-02 2013-02-19 DigitalOptics Corporation Europe Limited Face recognition performance using additional image features
JP5424819B2 (ja) * 2009-11-04 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
US8914734B2 (en) 2009-12-23 2014-12-16 8X8, Inc. Web-enabled conferencing and meeting implementations with a subscription-based model
US20110150194A1 (en) 2009-12-23 2011-06-23 Ramprakash Narayanaswamy Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling Features
US20110149811A1 (en) 2009-12-23 2011-06-23 Ramprakash Narayanaswamy Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling Features
US20110149809A1 (en) 2009-12-23 2011-06-23 Ramprakash Narayanaswamy Web-Enabled Conferencing and Meeting Implementations with Flexible User Calling and Content Sharing Features
US8817801B1 (en) 2011-07-08 2014-08-26 8X8, Inc. Conferencing and meeting implementations with advanced features
CN109459722A (zh) * 2018-10-23 2019-03-12 同济大学 基于人脸追踪装置的语音交互方法
KR102170912B1 (ko) * 2019-05-15 2020-10-28 한국과학기술원 얼굴 피부 컬러 판정을 위한 인물 영상 촬영 용 컬러 팔레트 및 그를 이용한 방법 및 장치
CN114708543B (zh) * 2022-06-06 2022-08-30 成都信息工程大学 一种考场监控视频图像中考生定位方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60253887A (ja) * 1984-05-30 1985-12-14 Canon Inc カメラにおける自動追尾装置
US4975969A (en) * 1987-10-22 1990-12-04 Peter Tal Method and apparatus for uniquely identifying individuals by particular physical characteristics and security system utilizing the same
US4991223A (en) * 1988-06-30 1991-02-05 American Innovision, Inc. Apparatus and method for recognizing image features using color elements
GB8905926D0 (en) * 1989-03-15 1990-04-25 British Aerospace Target aim point location
JP2854359B2 (ja) * 1990-01-24 1999-02-03 富士通株式会社 画像処理システム
JPH0771288B2 (ja) * 1990-08-24 1995-07-31 神田通信工業株式会社 自動視野調整方法及び装置
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JP2921973B2 (ja) * 1990-11-29 1999-07-19 株式会社日立製作所 特定物体の画像抽出方法及び画像抽出装置
US5093869A (en) * 1990-12-26 1992-03-03 Hughes Aircraft Company Pattern recognition apparatus utilizing area linking and region growth techniques
JPH04354490A (ja) * 1991-05-31 1992-12-08 Mitsubishi Heavy Ind Ltd 自動追尾ビデオ撮影装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0634665A1 (en) * 1993-07-14 1995-01-18 Sony Corporation Video signal follow-up processing apparatus
US6995798B1 (en) 1999-04-16 2006-02-07 Ikegami Tsushinki Co., Ltd. Viewfinder control unit and television camera
JP2001014457A (ja) * 1999-06-29 2001-01-19 Minolta Co Ltd 画像処理装置
EP1279289A4 (en) * 2000-04-11 2004-03-31 Safehouse Internat Ltd OBJECT MONITORING SYSTEM
JP2005027331A (ja) * 2004-08-03 2005-01-27 Ricoh Co Ltd 電子スチルカメラ装置及び映像編集方法
JP2006229663A (ja) * 2005-02-18 2006-08-31 Casio Hitachi Mobile Communications Co Ltd 撮像装置、撮像データ表示方法および撮像データ表示プログラム
JP2007065290A (ja) * 2005-08-31 2007-03-15 Nikon Corp オートフォーカス装置
JP2007104200A (ja) * 2005-10-03 2007-04-19 Nikon Corp 撮像装置
JP2010500836A (ja) * 2006-08-11 2010-01-07 フォトネーション ビジョン リミテッド デジタル画像収集装置におけるリアルタイム顔追跡
US8422739B2 (en) 2006-08-11 2013-04-16 DigitalOptics Corporation Europe Limited Real-time face tracking in a digital image acquisition device
US8509498B2 (en) 2006-08-11 2013-08-13 DigitalOptics Corporation Europe Limited Real-time face tracking in a digital image acquisition device
US8666124B2 (en) 2006-08-11 2014-03-04 DigitalOptics Corporation Europe Limited Real-time face tracking in a digital image acquisition device
WO2008044270A1 (en) * 2006-10-05 2008-04-17 Panasonic Corporation Light emitting display device
WO2012099174A1 (ja) * 2011-01-18 2012-07-26 富士フイルム株式会社 オートフォーカスシステム
JP2018037041A (ja) * 2016-09-02 2018-03-08 富士通株式会社 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム

Also Published As

Publication number Publication date
EP0578508A2 (en) 1994-01-12
KR940003341A (ko) 1994-02-21
EP0578508B1 (en) 1999-09-15
JP3298072B2 (ja) 2002-07-02
KR100274999B1 (ko) 2000-12-15
DE69326394D1 (de) 1999-10-21
US5430809A (en) 1995-07-04
EP0578508A3 (en) 1995-01-04
DE69326394T2 (de) 2000-03-23

Similar Documents

Publication Publication Date Title
JP3298072B2 (ja) ビデオカメラシステム
JP3487436B2 (ja) ビデオカメラシステム
KR100276681B1 (ko) 비디오 카메라 시스템
JP3733392B2 (ja) 画像の構図変化検出方法
US8599268B2 (en) Image capturing apparatus, method of detecting tracking object, and computer program product
EP0932114A2 (en) A method of and apparatus for detecting a face-like region and observer tracking display
JPH0730796A (ja) ビデオ信号追従処理システム
CN102572238B (zh) 摄像设备及其控制方法
JP2012217137A (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP2009123081A (ja) 顔検出方法及び撮影装置
JP3459950B2 (ja) 顔検出及び顔追跡方法並びにその装置
US8576306B2 (en) Image sensing apparatus, image processing apparatus, control method, and computer-readable medium
JP2956056B2 (ja) 追尾制御方法及び装置並びにぶれ補正方法及び装置
JP3399995B2 (ja) 映像信号追尾方法及びビデオカメラシステム
US5293255A (en) Method and system for extracting a specific image
US10609275B2 (en) Image processing device, image processing method, and recording medium
JPH08116485A (ja) ビデオカメラの被写体追尾装置及び追尾方法
JP2007067559A (ja) 画像処理方法、画像処理装置、及び撮像装置の制御方法
US11558542B1 (en) Event-assisted autofocus methods and apparatus implementing the same
JP2603212B2 (ja) カメラにおける自動追尾装置
US9197822B1 (en) Array augmented parallax image enhancement system and method
JP3610604B2 (ja) ビデオカメラの被写体追尾装置及び追尾方法
CN115022553A (zh) 一种补光灯的动态控制方法和装置
JP3704201B2 (ja) 自動撮影カメラシステム及びそのシステムにおける被写体の認識方法
JP3757403B2 (ja) 被写体検出装置および被写体検出方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080419

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090419

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100419

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110419

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120419

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130419

Year of fee payment: 11