JPH02121070A - 画像認識システム及び方法 - Google Patents

画像認識システム及び方法

Info

Publication number
JPH02121070A
JPH02121070A JP1239813A JP23981389A JPH02121070A JP H02121070 A JPH02121070 A JP H02121070A JP 1239813 A JP1239813 A JP 1239813A JP 23981389 A JP23981389 A JP 23981389A JP H02121070 A JPH02121070 A JP H02121070A
Authority
JP
Japan
Prior art keywords
image
predetermined
pattern
recognition system
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1239813A
Other languages
English (en)
Inventor
Daozheng Lu
ダオツェン　ルー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TNC US Holdings Inc
Original Assignee
AC Nielsen Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AC Nielsen Co filed Critical AC Nielsen Co
Publication of JPH02121070A publication Critical patent/JPH02121070A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Collating Specific Patterns (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の分野〕 本発明は、−船釣には画像認識システムに関し、より特
定的にはテレビジョン視聴者測定システム及び市場デー
タ収集システムと共に使用する画像認識システム及び方
法に関する。
〔従来の技術〕
一般大衆の視聴の習性を決定するための手動システムは
、故意に、或は故意ではなく登録され得る誤ったデータ
の登録によって不正確になりやすく、またデータ取得が
遅くなる。
１９６２年９月２５日付のカレーらの合衆国特許３，０
５６，１３５号には、波信号受信機使用者の聴取の習性
を自動的に決定する方法及び装置が記載されている。カ
レーらのこの方法は、受信機の動作状態を監視し、また
特定の領域に入る人、その領域から去る人及びその領域
内に居る人の数を計数するために戦略的に配置したスイ
ッチ、及び視聴者の構成を周期的に記録するための写真
計録装置の両方を使用することによって、波信号受信機
を使用している人々の数及び型の記録を得るようになっ
ている。調査機関による手動処理のために郵送可能なマ
ガジンが視聴者の構成及び受信機動作情報の両者の記録
を提供する。従って欠点はデータの取得が遅れること、
及び多数の視聴者対象を写真記録から識別することであ
る。
１９８７年２月１７日付のキーウィツトらの合衆国特許
４，６４４，５０９号には、ラジオ受信機及びテレビジ
ョン受像機の両方或は何れか一方の視聴者の人数及び構
成を決定するための超音波パルスエコ一方法及び装置が
記載されている。監視領域の第１及び第２の反射超音波
マツプが収集される。
第１のマツプは人の居ない監視領域から、また第２のマ
ツプは人が存在する監視領域から収集される。収集され
た第１の背景限定用マツプを収集された第２のマツプか
ら差し引いて結果のマツプを求める。結果のマツプは処
理されて最小密度を有する複数の集団が識別される。こ
のようにして識別された集団の大きさを利用して、ある
観衆内の人々に該当する手段を識別する。この配列は視
聴者を計数するには有効であるが、個々の視聴者を識別
することはできない。
記録されたビデオ画像内のパターンを識別する画像認識
配列及びシステムは種々知られている。
しかし、従来のパターン認識システムは、これらのシス
テムに必要とされる情報記憶及び計算要求が真人である
ために、視聴者の一人一人を識別することは実行不能で
あり、不経済である。個々の視聴者を識別する能力を有
する画像認識システムを提供することが望ましい。
〔発明の概要〕
本発明の目的は、一般大衆の視聴の習性を決定するため
の、従来システムの多くの欠陥を解消する方法及びシス
テムを提供することである。
本発明の目的は、監視領域内の視聴者の中から所定の個
人を識別する画像認識方法及びシステムを提供すること
である。
本発明の目的は、改良された容貌特色抜出し及び記憶技
術を使用してビデオ画像内の複数の所定のパターンの中
からあるパターンを識別する画像認識方法及びシステム
を提供することである。
従って、本発明の好ましい実施例によれば、ビデオ画像
内の複数の所定のパターンの中からあるパターンを識別
する画像認識方法及びシステムが提供される。複数の容
貌像特徴は、複数の各所定パターンに対応して記憶され
る。記憶された各容貌像特徴を含む万人共通の容貌像特
徴が記憶される。捕捉されたビデオ画像の予め限定され
たシリーズの部分は万人共通の容貌像特徴と順次比較さ
れ、整合部分が識別される。識別された各整合ビデオ画
像部分は記憶された容貌像特徴と比較され、所定のパタ
ーンが識別される。
本発明の特色によれば、複数の各容貌像特徴及び万人共
通の容貌像特徴は所定の容量の別個のメモリスペース内
に記憶される。容貌像特徴は、識別すべきパターンの複
数のビデオ画像を処理することによって発生させる。処
理した各ビデオ画像から特徴が抜出され、特定のパター
ンのための対応所定メモリスペース内に、及び万人共通
の容貌像特徴のための所定メモリスペース内に記憶され
る。
容貌像特徴は、視聴者の所定の各個人の顔に対応して記
憶される。視聴者スキャナは、監視領域内の個々の視聴
者を探知する視聴者探知回路を含む。探知された個々の
視聴者の最初の１人のビデオ画像が撮影され、処理され
る。処理されたビデオ画像の中から、各容貌像特徴を含
む記憶された万人共通の像特徴と整合する部分が識別さ
れる。
識別された部分は記憶された容貌像特徴と比較され、そ
の視聴者が識別される。これらの段階は、監視領域内の
探知された複数の視聴者の全てが識別されるまで反覆さ
れる。
本発明のこれらの及び他の目的、及び長所は、添付図面
に基く以下の説明から明白になるであろう。
〔実施例〕
添付図面、特に第１図を参照する。第１図は本発明によ
る新規なる且つ改良された画像認識システム１０のブロ
ック線図である。以下の画像認識システム１０の説明に
おいては、視聴者の一人一人を識別するためにテレビジ
ョン受像機と共に使用することとするが、本発明の原理
は他の画像認識システムにも適用可能である。
画像認識システム１０は、その主成分として、監視領域
を走査して視聴者の像を捕捉する視聴者スキャナ１２、
及び制御動作を遂行し且つ捕捉した像を記憶して処理す
る制御指令プロセッササブシステム１４を含む。データ
転送装置１６は記憶したデータを、テレビジョン視聴者
測定システム及び市場データ収集システムの両方或は何
れか一方の中央コンピュータ（図示せず）へ周期的に転
送するのに使用される。画像認識システム１０は、監視
領域内の視聴者を探知するための第３図に示す視聴者探
知サブシステム１８、視聴者と視聴者スキャナ１２との
間の距離を識別するための第４図に示す距離測定サブシ
ステム２０、視聴者スキャナ１２へ照明及び電動機制御
信号を供給する照明制御装置２２及びスキャナ制御装置
２４を含む。
視聴者の容貌像特徴を学習し、認識しる視聴者認識サブ
システム２６は第６図及び第７図に示してある。
第２図も参照する。視聴者スキャナ１２はビデオカメラ
２８を含み、ビデオカメラ２８はライン２８Ａ上にビデ
オ画像信号を発生して視聴者認識サブシステム２６へ供
給する。例えばニュージャジー州ナソトレーのエレクト
ロフィジックス社が製造、販売しているモデルＣＣＤ１
２００ＩＲマイクロカムのような赤外ビデオカメラをビ
デオカメラ２８として使用することができる。
赤外センサ３０からライン３０Ａ上に供給される探知さ
れた赤外信号は視聴者探知サブシステム１８へ印加され
る。例えば、フロリダ州デイトナビーチのエルテックイ
ンスッルメンツ社が製造、販売しているエルチックモデ
ル４２９及びエルチックモデル８２６Ｃのように、１対
の固定された表面鏡及びフレネルレンズを含む光学集束
装置と共に使用される平行対同次焦電式赤外検出器を各
赤外センサ３０として使用することができる。
超音波信号を送受信するための、例えば５０ＫＦＩｚ静
電変換器のような超音波変換器３２は、ライン３２Ａ上
に距離パルスエコー信号を発生して距離測定サブシステ
ム２０に供給する。
監視領域を照明するための１対の赤外照明装置３４は照
明制御装置２２によって動作を制御される。赤外レーザ
、発光ダイオード或はフィルタ付フラッシュ灯のような
種々の照明装置が使用可能であるが、ニュージャジー州
ナットレーのエレクトロフィジックス社が製造、販売し
ているモデルＩＲＬ２００赤外室内照明器を照明装置３
４として使用して差支えない。
ステッピング電動機のようなスキャナ駆動装置３６はス
キャナ制御装置２４によって動作を制御され、ビデオカ
メラ２８を段階的に角度回転させて監視領域を走査させ
る。
第３図は画像認識システム１０の視聴者探知サブシステ
ム１８のブロック線図である。ライン３０Ａ上の赤外セ
ンサ３０の電圧信号出力は監視領域の温度分布に対応す
る。ライン３０Ａ上の検知された赤外信号は前置増巾器
３８へ印加され、増巾された赤外信号はローパスフィル
タ４０へ印加される。濾波された赤外信号はアナログ・
ディジタル（Ａ／Ｄ）変換器４２へ印加され、処理され
た赤外信号のディジタル表示に変換される。ディジタル
化された信号は視聴者探知計算論理回路４４に印加され
、個々の視聴者の考え得る位置に対応する監視領域内の
方向が識別される。識別された方向信号はうイン４６を
通して制御指令プロセッササブシステム１４へ印加され
る。
変形として、Ａ／Ｄ変換器４２のディジタル化信号出力
を制御指令プロセッササブシステム１４へ印加すること
によって、分離した視聴者探知計算論理回路４４を除去
することができる。この場合、計算論理回路４４の方向
識別機能は制御指令プロセッササブシステム１４によっ
て遂行される。
制御指令プロセッササブシステム１４はライン４６上の
視聴者探知サブシステム１８からの識別された方向信号
を使用して距離測定サブシステム２０の動作を開始させ
る。
第４図は画像識別システムｌＯの距離測定サブシステム
１０のブロック線図である。超音波測距モジュール４８
は送信機制御装置５０から印加される駆動或は開始入力
信号に応答して超音波変換器３２を駆動して超音波バー
スト信号を送信させ、エコー信号を受信させる。超音波
測距モジュール４８の出力エコー信号は距離測定論理回
路５２によって制御指令プロセッササブシステム１４の
使用に適するフォーマントに変換された後該サブシステ
ム１４へ供給される。例えば、テキサスインスツルメン
ツが製造、販売している５Ｎ２８Ｂ２７型集積回路のよ
うなソナー測距モジュールを超音波測距モジュール４８
として使用することができる。ライン５４を介しての制
御指令プロセッササブシステム１４との双方向通信には
距離測定論理回路５２の処理されたエコー信号出力及び
送信機制御装置５０への入力制御信号が含まれる。
スキャナ１２と探知された個々の視聴者との間の距離を
表わす処理されたエコー信号は、ビデオカメラ２８の焦
点及びズーミング機能を調整するために制御指令プロセ
ッササブシステム１４によって使用される。
第５図は、画像認識システム１０の制御指令プロセッサ
サブシステム１４のブロック線図である。
制御指令プロセッササブシステム１４は、例えば統合さ
れたメモリ管理を有しマルチタスキングシステムに適合
するようになっているインテル８０２８６高性能１６ビ
ツトマイクロプロセツサのような中央処理ユニット５６
、及び附属のメモリ装Ｗ５８を含む。中央処理装置＆５
６は制御及び信号処理機能を遂行するようにプログラム
可能であり、周知のように非同期入力信号タイミング及
びクロック制？ｉｌｌバスタイミング機能を含む。イン
タフェース装置６０が中央処理ユニット５６と共に設け
られており、画像認識システム１０と特定の応用のため
のホストシステムとの間の双方向通信を可能ならしめて
いる。ホストシステムは、デビットＡ。
キーウィツト及びダオツェンルーの合衆国特許４．６９
７，２０９号に記載されている型の家庭用装置（図示せ
ず）及びデータ転送装置１６の両者或は何れか一方であ
ってよい。
制御指令プロセッササブシステム１４は更に、画像認識
システム１０を設置する際に使用するために、画像表示
装置６２、コンピュータ表示装置６４及びキーボード６
６を含むことができる。
中央処理ユニット５６からライン６８に供給される制御
信号は照明制御装置２２へ印加されて監視領域の照明を
制御する。中央処理ユニット５６からライン７０に供給
される電動機制御信号は、スキャナ制御装置２４へ印加
され、変換されてライン３６Ａを通してステッピング電
動機３６へ供給される。フィードバック位置信号を中央
処理ユニット５６へ供給することができる。中央処理ユ
ニット５６と視聴者認識サブシステム２６との間の双方
向通信はライン７２によって概示しである。
第６図及び第７図は視聴者認識サブシステム２６のブロ
ック線図である。先ず、第６図に視聴者認識サブシステ
ム２６の学習動作モードを示す。
ライン２ＢＡ上の赤外ビデオカメラ２８からの赤外画像
出力信号は画像取得ブロックを通してアナログ・ディジ
タル変換器７６に印加され、赤外画像信号のディジタル
表示に変換される。顔画像探知ブロック７８はディジタ
ル化された画像信号の所定の部分（ｍＸｎ）画素を識別
する。ｍ及びｎの値は例えば３２乃至２５６の間で可変
であり、中央画素画像部分は、例えばｍ＝５０、ｎ−５
０を含む。ラインＧ−３ＵＢ上の顔画像探知ブロック７
８のグレイレベルサブイメージ出力は標準化ブロック８
０に印加される。ブロック８０の標準化された出力はし
きい値ブロック８２に印加され、ラインＢ−３ＵＢに上
にしきい値で分けた２値レベルの顔画像出力が発生する
。（ｍＸｎ）個の２値レベルの顔画像即ちＢ−３ＵＢ画
像の各画素は単一の２値デイジツト、即ちビットによっ
て、即ち５０Ｘ５０画素は２５００ビツトによって表わ
される。Ｂ−３ＵＢ画像信号は容貌特徴抜出しブロック
８４に印加される。容貌特徴抜出しブロック８４からの
抜出されたパターン像特徴出力は、個人顔記憶ライブラ
リ　（ＩＦＬ）８６及び万人共通類モデル（、ＵＦＭ）
記憶ブロック８８内に記憶される。万人共通類モデルＦ
ＵＭは個人顔うイブラリＩＦＬ内に記憶される個人パタ
ーン画像及び顔特徴の全てを含む。第８Ａ図に示すよう
に、制御指令プロセッササブシステム１４によって遂行
された画像ライブラリを更新するために、停止ブロック
９０に停止機能フラグがセットされる。
第６Ａ図はｍ　Ｘ　ｎ画素を含むＢ−３ＵＢ画像を図式
的に示す。ｍ×ｎの各画像はＯか１の何れかである。Ｂ
−３ＵＢ画像画素データは、学習動作モード（第６図）
においては記憶するだめのパターン像特徴を抜出すのに
使用され、また第７図に示す認識動作モードにおいては
万人共通像特徴及び容貌像特徴と比較するためのパター
ン像特徴を抜出すのに使用される。
本発明の特色によれば、ｍ×ｎのＢ−３ＵＢ画像ビット
の擬似ランダムの所定シーケンスが、容貌特徴抜出しブ
ロック８４によって抜出された容貌特徴出力を記憶する
ために使用される容貌位置の所定数Ｔを限定する。各容
貌位置は所定の長さしを有し、Ｌの値は３乃至１０であ
る。所定位置の長さＬ＝７であるものとし、前例のよう
にＢＳＵＢ画像が２５００ビツトであるとすれば、２５
００／７即ち３５７　（Ｔ＝３５７）の擬似ランダムシ
ーケンスが得られる。各容貌は０乃至（２Ｌ−１）の値
を有し、例えばＬ＝７の場合には０乃至１２７の値を有
している。ｂ＝２し／８とし、バイトｂとして配列され
た２Ｌビツトのメモリスペースが、各容貌位置毎の考え
得る容貌値、即ち例えば２７即ち１２８ビット即ち１６
バイトを記憶するために使用される。従って各パターン
或は顔画像特徴及び万人共通パターン像特徴のための合
計メモリスペースはＴにｂを乗じた値に等しく、例えば
３５７位置×１６バイト／位置−５７１２バイトに等し
い。
第６Ａ図は、容貌抜出しブロック８４に対応する複数の
容貌位置（全体を８４で示す）ｉ−０乃至１＝（ＴＩ）
を示す。対応メモリスペースはＩＦＬブロック８６′に
対応する参照番号８６で表わされている。第１の、即ち
ｉ＝Ｑ容貌位置値は、メモリスペース８４内の０乃至（
ｂ−１）の対応バイト内の対応ビット位置Ｂに記憶され
る。
個々の顔及び万人共通類モデルを記憶するために遂行さ
れる論理段階は、第８Ｂ図を参照して後述する。
画像記憶ライブラリ万人共通パターン像特徴及び各パタ
ーン像即ち個人顔特徴のために所定容量の別個のメモリ
スペースが限定される。例えば、限定された数の視聴者
Ｐを含む視聴者に対して、個人の顔特徴（ＴＸＰ）が対
応ＩＦＬの限定されたメモリスペース（ｂｘＴｘＰ）及
びＵＦＭの限定されたメモリスペース（ｂＸＴ）の両者
の中に記憶される。各視聴者毎に第６図の画像信号処理
ブロックによってビデオカメラ２８の一連のビデオ画像
を順次処理することによって、各視聴者Ｐ毎に複数の顔
画像が学習される。各視聴者毎の全ての抜出されたパタ
ーン像特徴がＩＦＬメモリスペースの特定対応メモリス
ペース内に記憶される。
第７図は視聴者認識サブシステム２６の認識モードのブ
ロック線図である。視聴者探知サブシステム１８によっ
て識別された視聴者の方向に対応するアナログ・ディジ
タル（Ａ／Ｄ）変換器７６からの赤外画像のディジタル
表示はズーミング及び垂直ストリップ画像ブロック９２
に印加される。
最初の検索領域マｌ−ＩＪクス（ｍＸｎ）ｉは検索領域
登録ブロック９４によって識別される。検索領域登録ブ
ロック９４のグレイレベルサブイメージ出力Ｇ−３ＵＢ
は標準化ブロック９６に印加される。ブロック９６の標
準化出力はしきい値ブロック９８に印加され、しきい値
で分けられた２値レベル検索領域画像出力Ｂ−３ＵＢが
発生する。検索領域１３−３ＵＢ画像は、ＵＦＭに対す
る認識と名付けたブロック１００において万人共通パタ
ーン像特徴と比較される。
ブロック１０２において、検索領域Ｂ−３ＵＢ画像が万
人共通パターン像特徴と整合している、或は所定の相関
しきい値を超えていると判定されれば、検索領域Ｂ−８
ＵＢ画像はブロック１０４において個人類ライブラリ内
に記憶されている各パターン像特徴との整合を識別する
ために比較される。ブロック１０２における判定が検索
領域ＢＳＵＢ画像と万人共通パターン像特徴とが整合し
ないことを指令すれば、ブロック１０６においてｉが１
だけ増加され（即ちｉ＝ｉ＋１）次の検索マトリクス（
ｍＸｎ）ｉが検索領域登録ブロック９４によって、最初
の検索領域マトリクスにおいて説明したように識別され
、処理される。
各検索領域マトリクスが処理された後、１以上のＢ−３
ＵＢ画像が万人共通類モデル及び個人類ライブラリと整
合することが見出され得る。個人類ライブラリ内の個人
類と最良の整合率即ち最高の相関を有する検索領域Ｂ−
３ＵＢ画像が判定ブロック１０８において識別される。
万人共通類モデル及び個人類を認識するために遂行され
る論理段階を第８Ｂ図を参照して後述する。ライン１１
０上の出力信号は視聴者の識別された特定個人に対応し
て記憶される。以上のようにして識別された個人視聴者
データは、監視されている受像機の受信チャンネルのよ
うなテレビジョンデータ収集システムの他のパラメータ
データと共に記憶させることができる。
第８Ａ図は画像認識システム１０の制御指令プロセッサ
サブシステム１４が遂行する論理段階を示す主流れ図で
ある。順次段階は初期化ルーチンから開始される。次に
、もし停止機能がセットされていれば、特定のパターン
像特徴及び万人共通パターン像特徴メモリスペースは、
第６図のブロック８６及び８８に記憶されているＩＦＬ
及びＵＦＭ特徴を含むように更新することができる。
セントされていなければ、遠隔制御或はキーボード入力
等によって何等かの機能或はモードが選択されているか
否かが判定される。もし諾（ＹＥＳ）であれば、選択さ
れた機能がセントされるか或はモードが更新され、遂行
される。もし否（Ｎ　Ｏ）であれば次の順次機能或はモ
ード１〜７が遂行される。
第８Ｂ図は万人共通の顔モデル及び個人の顔を学習し、
認識するために遂行される論理段階を示す流れ図である
。順次動作は、整合値Ｎが０にセットされる開始アドレ
スにメモリスペースアドレスＡＤＤＲをセットすること
から開始される。学習モードにおいては、Ｂ−３ＵＢ像
からの識別された容貌値は、容貌値Ｗｉ　＝０で始まる
対応ビット位置にセントされ、各容貌位置毎に１＝３５
６まで反覆される。ＡＤＤＲ＋Ａバイトの対応ビット位
置Ｂビットは特定の容貌値Ｓによって決定される。但し
、ＳはＯ乃至１２７であり、Ａは整数値Ｓ／８に等しく
、Ｂは８進法のＳに等しく或はＡバイトの後の残余に等
しい。例えば、Ｂ−５ＵＢ像からの容貌値が５＝１１４
であれば、その容貌位置ｉ＝ｏはＡＤＤＲ＋１４バイト
の第２ビツトにセットされる。
個人視聴者顔画像は複数回（Ｒ回）学習することができ
る。但しＲは視聴者の顔の表情の変化或は種々の横顔に
依存して生ずる考え得る異なる抜出された特徴である。
抜出された各容貌特徴は、第６図の順次信号処理及び第
８Ｂ図の学習或は記憶段階を反覆することによって、特
定視聴者のための対応パターン像特徴メモリスペース内
に順次記憶される。
もし学習モードでなければ、検索領域Ｂ−３ＩＩＢ画像
が万人共通パターン像特徴として比較される場合のＵＦ
Ｍに対する認識ブロック１００におけるような、或は検
索領域Ｂ−３ＵＢ画像が個人パターン像特徴と比較され
る場合のブロック１０４におけるような認識モードのた
めの順次段階が遂行される。
認識モードにおいては、Ｂ−３ＵＢ像からの識別された
容貌値は、容貌位置ｉ＝０から始めて１＝３５６まで各
容貌位置毎に対応ビット位置と反覆して比較される。も
し対応ビット位置がセットされていれば整合が指示され
、Ｎ整合値が１だけ増加する。もし対応ビット位置がセ
ットされていなければ非整合が指示され、Ｎ整合値は変
化しない。次で、次の容貌位置が識別された容貌値の対
応ビット位置と比較される。
最後の容貌位置１＝３５６が整合のために識別され、比
較されてしまうと、得られたＮ整合値があるしきい値と
比較される。得られたＮ整合値がしきい値より小さけれ
ば、ＵＦＭ或は特定ＩＦＬに対して偽即ち非認識が指示
される。一方、得られたＮ整合値がしきい値より大きい
か或はしきい値に等しければ、ＵＦＭ或は特定ＴＦＬに
対して真即ち認識が指示される。
第８Ｃ図は、個人パターン像特徴及び万人共通パターン
像特徴メモリスペース或はライブラリに付加するために
遂行される動作機能即ちモード１論理段階を示す流れ図
である。順次段階は第８Ｄ図に示す画を取得して表示す
ブルーチンから開始される。次に第８Ｅ図に示す全ライ
ブラリ検索サブルーチンが遂行される。その結果が表示
され、ライブラリに付加される。
第８Ｄ図の画を取得して表示ザブルーチンは画像取得段
階（第６図のブロック７４）から開始される。赤外ビデ
オ画像は２値画（Ｂ−３ＵＢ画像）を得るように処理さ
れる（第６図のブロック７６．７８．８０及び８２）。
得られた２値画の１の比が計算され、この２値画が表示
される。
第８Ｅ図に示す全ライブラリ検索サブルーチンは、計算
された１の比に基づく露出時間の点検から開始され、も
し調整が必要であればこの順次動作はライブラリを検索
することなく戻される。もし露出時間の調整を必要とし
なければ所定のＮ整合価の初期最大値がセットされる。
最初のライブラリが検索され（第７図のブロック１０４
及び第８Ｂ図）、もし得られたＮ整合値が初期最大値よ
りも大きければ最大値が更新される。そうでない場合に
は、最大値は変更されない。次で、ライブラリが検索さ
れ、結果は得られた最大値と比較されて調整される。こ
のプロセスは全ライブラリが検索されるまで反覆される
。
第８Ｆ図は、ライブラリの照合及びライブラリへの付加
を遂行する動作機能即ちモード２論理段階を示す流れ図
である。順次動作は第８Ｄ図に示す画を取得して表示す
ブルーチンから開始される。
次で第８Ｅ図に示す全ライブラリ検索サブルーチンが遂
行される。結果は表示され、識別された正確なライブラ
リに付加される。
第８Ｇ図は、検索して表示するために遂行される動作機
能、即ちモード３論理段階を示す流れ図である。順次段
階は第８Ｄ図に示す画を取得して表示すブルーチンから
開始される。次に第８Ｅ図に示す全ライブラリ検索サブ
ルーチンが遂行される。結果は表示される。
第８Ｈ図は、頭を探知し検索するために遂行される動作
機能、即ちモード４論理段階を示す流れ図である。゛順
次段階は第８１図に示す頭の未処理検索サブルーチンか
ら開始される。次に第８Ｊ図に示す頭探知及び検索サブ
ルーチンが遂行される。
第８１図における頭の未処理画検索サブルーチンは露出
時間の点検から開始され、もし調整が必要であれば頭の
検索は遂行されることなく順次動作は戻される。一方、
もし露出時間の調整が必要でなければ初期最大値は所定
のＮ整合値に対してセントされ、検索領域ポインタｉが
リセフトされる。最初の検索領域マトリクスが識別され
、万人共通パターン像特徴ＵＦＭと比較される（第７図
のＩＦＭブロック１００）。その結果はセントされた所
定の相関しきい値の最大値と比較され、もし結果が初期
最大値より大きければ検索領域ポインタはセーブされ、
最大値が更新される。そうでない場合には、検索領域ポ
インタはセーブされず、最大値は変更されない。次で検
索領域ポインタ値が更新され、次の検索領域マトリクス
が識別され、そして全ての未処理側が検索されてしまう
まで順次段階が反覆される。
第８Ｊ図は、モード４において制御指令プロセッササブ
システム１４によって遂行される頭探知及び検索サブル
ーチンを示す。もし１つの検索領域ポインタが第８Ｉ図
のサブルーチン内に記憶されていれば、検索領域窓が頭
像部分に対応するセーブされたポインタ値によって識別
された検索領域マトリクスにセットされる。露出時間が
調整され、第８Ｅ図の全ライブラリ検索サブルーチンが
遂行され、そして結果が表示される。
一方、■或はそれ以上のポインタ値が第８１図のサブル
ーチン内に記憶されていれば、最大値は所定の初期値に
対してリセットされる。次で検索領域窓が最初の頭像部
分に対応する最初のセーブされたポインタ値によって識
別された最初の検索領域マトリクスにセットされる。こ
の検索領域マトリクスのデータに対して局部標準化が遂
行され、第８Ｅ図に示す全ライブラリ検索サブルーチン
が遂行される。もしその結果が初期最大値よりも大きけ
れば最大値が更新される。そうでない場合には最大値は
変化しない。次に、次の検索領域窓が次の頭像部分に対
応する次のセーブされたポインタ値にセントされ、全て
の頭像部分が検索されてしまうまで上記順次段階が反覆
される。次で、検索領域窓は頭像部分に対応する最高最
大値を有する識別された検索領域マトリクスにセットさ
れる。
この検索領域マトリクスのデータに対して局部標準化が
遂行され、第８Ｅ図に示す全ライブラリ検索サブルーチ
ンが遂行され、そして結果が表示される。
第８に図は、監視領域を走査及び検索するために遂行さ
れる動作機能、即ちモード５論理段階を示す流れ図であ
る。順次段階は監視領域の走査から開始される。次でビ
デオカメラ２８が監視領域内の視聴者に向けられ、第８
Ｈ図のモード４動作が遂行される。
第８Ｌ図は移動及び学習のために遂行される動作機能、
即ちモード６論理段階を示す流れ図である。順次段階は
第８Ｄ図に示す画を取得して表示すブルーチンから開始
される。次に第８Ｅ図に示す全ライブラリ検索サブルー
チンが遂行される。
その結果は表示され、もし全ての位置が学習されてしま
っていれば、ライブラリに付加されることなく順次動作
は戻される。全ての位置の学習が終了していなければ、
視聴者の画像は左へ１位置移動され、パターン像特徴Ｉ
ＦＬ及び万人共通パターン像特徴ＵＦＭに付加される。
次で視聴者画像は上へ１位置動かされ、全ての位置が学
習されてライブラリに付加されてしまうまで順次反覆さ
れる。
第８Ｍ図は、検索及び休止のために遂行される動作機能
、即ちモード７論理段階を示す流れ図である。順次段階
は第８１図に示す頭の未処理側検索サブルーチンから開
始される。次に第８Ｊ図に示す頭探知及び検索サブルー
チンが遂行される。
もし続行判定が諾（ＹＥＳ）であれば、順次モード７は
反覆される。
以上に本発明を好ましい実施例に関連して説明したが、
本発明から逸脱することなく多くの変形及び変更を考案
することが可能である。従ってこれらの変形及び変更は
全て本発明の思想及び範囲内にあることを理解されたい
。
【図面の簡単な説明】
第１図は本発明による画像認識システムのブロック線図
であり、 第２図は第１図の画像認識システムの観衆スキャナの内
部の詳細を示すために一部を切欠いた斜視図であり、 第３図は第１図の画像認識システムの視聴者探知サブシ
ステムのブロック線図であり、第４図は第１図の画像認
識システムの距離測定サブシステムのブロック線図であ
り、 第５図は第１図の画像認識システムの距離測定サブシス
テムのブロック線図であり、 第６図は第１図の画像認識システムの観衆認識サブシス
テムの学習機能部分のブロック線図であり、 第６Ａ図は第１図の画像認識システムの画像時徴を抜出
し記憶するための２値サブイメージ及び容貌識別を図式
的に表わし、 第７図は第１図の画像認識システムの観衆認識サブシス
テムの認識機能部分のブロック線図であり、 第８Ａ図〜第８Ｍ図は第１図の画像認識システムが遂行
する論理的諸段階を示す流れ図である。 １０・・・・・・画像認識システム、１２・・・・・・
視聴者スキャナ、１４・・・・・・制御指令プロセッサ
サブシステム、１６・・・・・・データ転送装置、１８
・・・・・・視聴者探知サブシステム、２０・・・・・
・距離測定サブシステム、２２・・・・・・照明制御装
置、２４・・・・・・スキャナ制御装置、２６・・・・
・・視聴者認識サブシステム、２８・・・・・・ビデオ
カメラ、３０・・・・・・赤外センサ、３２・・・・・
・超音波変換器、３４・・・・・・赤外照明装置、３６
・・・・・・スキャナ駆動装置、３８・・・・・・前置
増巾器、４０・・・・・・ローパスフィルタ、４２．７
６・・・・・・アナログ・ディジタル変換器、５６・・
・・・・中央処理ユニット、５８・・・・・・メモリ装
置、６０・・・・・・インタフェース装置、６２・・・
・・・画像表示装置、６４・・・・・・コンピュータ表
示装置、６６・・・・・・キーボード、７４・・・・・
・画像取得ブロック、７８・・・・・・顔画像探知ブロ
ック、８０．９６・・・・・・標準化ブロック、８２．
９８・・・・・・しきい値ブロック、８４・・・・・・
容貌特徴抜出しブロック、８６・・・・・・個人顔記憶
ライブラリ、８８・・・・・・万人共通類モデル記憶ブ
ロック、９０・・・停止ブロック、９２・・・・・・ズ
ーミング及び垂直ストリップ画像ブロック、９４・・・
・・・探索領域登録ブロック、１００・・・・・・ＵＦ
Ｍに対する認識ブロック、１０２・・・・・・顔判定ブ
ロック、１０４・・・・・・ＩＦＬに対する認識ブロッ
ク、１０６・・・・・・次の行或は列ブロック、１０８
・・・・・・判定ブロック。 ＦＩＧ、８Ｊ ＦＩＧ、８に

Claims (1)

  1. 【特許請求の範囲】 １、ビデオ画像内の複数の所定のパターンの中から所定
    のパターンを識別する画像認識システムであって： それぞれが複数の所定のパターンの１つに対応する複数
    のパターン像特徴を記憶する手段；前記パターン像特徴
    を含む万人共通パターン像特徴を記憶する手段； ビデオ画像の所定連の部分と万人共通パターン像特徴と
    を順次比較し、整合部分を識別する手段；及び 識別された各整合ビデオ画像部分と記憶されているパタ
    ーン像特徴とを比較し、所定のパターンを識別する手段 を具備する画像認識システム。 ２、複数のパターン像特徴を記憶する手段が、各パター
    ン像特徴毎に限定される所定の容量を有する別個のメモ
    リスペースを含む請求項１記載の画像認識システム。 ３、万人共通パターン像特徴を記憶する手段が、所定の
    容量を有する別個のメモリスペースを含む請求項３記載
    の画像認識システム。 ４、複数のパターン像特徴を発生する手段をも具備する
    請求項１記載の画像認識システム。 ５、パターン像特徴発生手段が： 所定のパターンのビデオ画像を捕捉する手段；捕捉され
    たビデオ画像を処理してディジタル化された画像信号を
    発生する手段； ディジタル化された画像信号からパターン特徴を抜出す
    手段 を含む請求項４記載の画像認識システム。 ６、ディジタル化された画像信号が、ディジタル化され
    たグレイレベル画像からなる請求項５記載の画像認識シ
    ステム。 ７、ディジタル化された画像信号が、しきい値で分けら
    れた２値画像からなる請求項５記載の画像認識システム
    。 ８、パターン特徴抜出し手段が： ディジタル化された画像信号から複数の所定の容貌位置
    を限定する手段； 複数の所定の各容貌位置毎に容貌値を識別する手段；及
    び 複数の所定の各容貌位置毎に識別された容貌値に対応す
    るメモリ位置を決定する手段 を具備する請求項５記載の画像認識システム。 ９、所定の容貌位置が、ディジタル化された画像信号の
    中の所定数Ｌの画素を含み、各画素が単一の２進数によ
    って表わされる請求項８記載の画像認識システム。 １０、ディジタル化された画像信号がｍ×ｎの２進数を
    含み、複数の容貌位置が（ｍ×ｎ）／Ｌに等しい請求項
    ９記載の画像認識システム。 １１、複数の容貌位置が、ｍ×ｎの２進数の所定の擬似
    ランダムシーケンスによって限定される請求項１０記載
    の画像認識システム。 １２、容貌値が、０乃至（２＾Ｌ−１）の範囲の値に等
    しい請求項９記載の画像認識システム。 １３、２＾Ｌのメモリ位置に等しい所定数が、複数の各
    容貌位置毎に限定される請求項９記載の画像認識システ
    ム。 １４、ビデオ画像用の複数の所定のパターンの中から所
    定のパターンを識別するために、複数の所定のパターン
    の１つに対応する各パターン像特徴を記憶する複数の別
    個のパターン像特徴メモリスペースと、万人共通のパタ
    ーン像特徴を記憶する万人共通像メモリスペースとを含
    む画像認識システム内で使用するパターン像特徴を発生
    する方法であって： 所定のパターンのビデオ画像を捕捉し； 捕捉したビデオ画像を処理してディジタル化された画像
    信号を発生し； ディジタル化された画像信号から複数の各所定の容貌位
    置毎に容貌値を識別し； 複数の各所定容貌位置毎に識別された容貌値に対応する
    メモリ位置を識別し； 識別されたメモリ位置内の２進数１を所定のパターンに
    対応するパターン像特徴メモリスペース内に記憶する 諸段階を具備する方法。 １５、少なくとも１つの後続する所定パターンのビデオ
    画像を捕捉し、特徴発生段階を順次反覆する段階をも具
    備する請求項１４記載の方法。 １６、万人共通像特徴メモリスペース内の対応メモリ位
    置を識別し； 識別された対応メモリ位置内に２進数１を記憶する 諸段階をも具備する請求項１４記載の方法。 １７、監視領域内の視聴者の中の複数の所定の個人を識
    別する画像認識システムであって： それぞれが所定の個人の１人に対応する複数のパターン
    像特徴を記憶するメモリ手段； 前記パターン像特徴を含む万人共通パターン像特徴を記
    憶するメモリ手段； 監視領域内の個人を探知する視聴者走査手段；監視領域
    内の探知された個人の像を捕捉する手段； 捕捉されたビデオ画像の所定連の部分と万人共通パター
    ン像特徴とを順次比較し、ビデオ画像の整合部分を識別
    する手段；及び 識別された各ビデオ画像整合部分と記憶されているパタ
    ーン像特徴とを比較して所定の個人を識別する手段 を具備する画像認識システム。
JP1239813A 1988-09-14 1989-09-14 画像認識システム及び方法 Pending JPH02121070A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US244492 1988-09-14
US07/244,492 US5031228A (en) 1988-09-14 1988-09-14 Image recognition system and method

Publications (1)

Publication Number Publication Date
JPH02121070A true JPH02121070A (ja) 1990-05-08

Family

ID=22922996

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1239813A Pending JPH02121070A (ja) 1988-09-14 1989-09-14 画像認識システム及び方法

Country Status (8)

Country Link
US (1) US5031228A (ja)
EP (1) EP0358910B1 (ja)
JP (1) JPH02121070A (ja)
AT (1) ATE111663T1 (ja)
AU (1) AU2854189A (ja)
CA (1) CA1325480C (ja)
DE (1) DE68918209T2 (ja)
ES (1) ES2058415T3 (ja)

Families Citing this family (213)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
WO1992017287A2 (en) * 1991-03-29 1992-10-15 Csx Transportation, Inc. Device to uniquely recognize travelling containers
US6418424B1 (en) 1991-12-23 2002-07-09 Steven M. Hoffberg Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US7242988B1 (en) 1991-12-23 2007-07-10 Linda Irene Hoffberg Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
USRE47908E1 (en) 1991-12-23 2020-03-17 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US6081750A (en) * 1991-12-23 2000-06-27 Hoffberg; Steven Mark Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
USRE48056E1 (en) 1991-12-23 2020-06-16 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5903454A (en) 1991-12-23 1999-05-11 Hoffberg; Linda Irene Human-factored interface corporating adaptive pattern recognition based controller apparatus
US6850252B1 (en) 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
USRE46310E1 (en) 1991-12-23 2017-02-14 Blanding Hovenweep, Llc Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5331544A (en) * 1992-04-23 1994-07-19 A. C. Nielsen Company Market research method and system for collecting retail store and shopper market research data
US5432864A (en) * 1992-10-05 1995-07-11 Daozheng Lu Identification card verification system
US5550928A (en) * 1992-12-15 1996-08-27 A.C. Nielsen Company Audience measurement system and method
DE4312185A1 (de) * 1993-04-14 1994-10-20 Thomas Hohenacker Vorrichtung zum Speichern von auf einem Monitor dargestellter Bildinformation
US5481294A (en) * 1993-10-27 1996-01-02 A. C. Nielsen Company Audience measurement system utilizing ancillary codes and passive signatures
US5841978A (en) 1993-11-18 1998-11-24 Digimarc Corporation Network linking method using steganographically embedded data objects
US5497314A (en) * 1994-03-07 1996-03-05 Novak; Jeffrey M. Automated apparatus and method for object recognition at checkout counters
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US6560349B1 (en) 1994-10-21 2003-05-06 Digimarc Corporation Audio monitoring using steganographic information
JPH08138053A (ja) * 1994-11-08 1996-05-31 Canon Inc 被写体情報処理装置及び遠隔装置
EP1026521B1 (en) * 1995-04-12 2004-09-29 Matsushita Electric Industrial Co., Ltd. Method and apparatus for detecting an object
US6760463B2 (en) 1995-05-08 2004-07-06 Digimarc Corporation Watermarking methods and media
US7805500B2 (en) 1995-05-08 2010-09-28 Digimarc Corporation Network linking methods and apparatus
US7224819B2 (en) 1995-05-08 2007-05-29 Digimarc Corporation Integrating digital watermarks in multimedia content
US7711564B2 (en) 1995-07-27 2010-05-04 Digimarc Corporation Connected audio and other media objects
US6577746B1 (en) 1999-12-28 2003-06-10 Digimarc Corporation Watermark-based object linking and embedding
US6505160B1 (en) 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US6829368B2 (en) 2000-01-26 2004-12-07 Digimarc Corporation Establishing and interacting with on-line media collections using identifiers in media signals
US7562392B1 (en) 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US6411725B1 (en) 1995-07-27 2002-06-25 Digimarc Corporation Watermark enabled video objects
US6965682B1 (en) 1999-05-19 2005-11-15 Digimarc Corp Data transmission by watermark proxy
US6647548B1 (en) * 1996-09-06 2003-11-11 Nielsen Media Research, Inc. Coded/non-coded program audience measurement system
US5933502A (en) * 1996-12-20 1999-08-03 Intel Corporation Method and apparatus for enhancing the integrity of visual authentication
US6111517A (en) * 1996-12-30 2000-08-29 Visionics Corporation Continuous video monitoring using face recognition for access control
DE19708240C2 (de) 1997-02-28 1999-10-14 Siemens Ag Anordnung und Verfahren zur Detektion eines Objekts in einem von Wellen im nichtsichtbaren Spektralbereich angestrahlten Bereich
DE19728099A1 (de) * 1997-07-02 1999-01-07 Klaus Dr Ing Schulze Verfahren und Vorrichtung zur Erkennung unikater Bildfolgen
US6381346B1 (en) * 1997-12-01 2002-04-30 Wheeling Jesuit University Three-dimensional face identification system
US5940118A (en) * 1997-12-22 1999-08-17 Nortel Networks Corporation System and method for steering directional microphones
US7689532B1 (en) 2000-07-20 2010-03-30 Digimarc Corporation Using embedded data with file sharing
US7134130B1 (en) 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US7062073B1 (en) 1999-01-19 2006-06-13 Tumey David M Animated toy utilizing artificial intelligence and facial image recognition
US7904187B2 (en) 1999-02-01 2011-03-08 Hoffberg Steven M Internet appliance system and method
US7039221B1 (en) 1999-04-09 2006-05-02 Tumey David M Facial image verification utilizing smart-card with integrated video camera
US7302574B2 (en) 1999-05-19 2007-11-27 Digimarc Corporation Content identifiers triggering corresponding responses through collaborative processing
US7565294B2 (en) 1999-05-19 2009-07-21 Digimarc Corporation Methods and systems employing digital content
US6519607B1 (en) * 1999-10-28 2003-02-11 Hewlett-Packard Company Image driven operating system
US8121843B2 (en) 2000-05-02 2012-02-21 Digimarc Corporation Fingerprint methods and systems for media signals
WO2002051063A1 (en) 2000-12-21 2002-06-27 Digimarc Corporation Methods, apparatus and programs for generating and utilizing content signatures
US7046819B2 (en) 2001-04-25 2006-05-16 Digimarc Corporation Encoded reference signal for digital watermarks
US6735329B2 (en) 2001-05-18 2004-05-11 Leonard S. Schultz Methods and apparatus for image recognition and dictation
US20020194586A1 (en) * 2001-06-15 2002-12-19 Srinivas Gutta Method and system and article of manufacture for multi-user profile generation
US20030002646A1 (en) * 2001-06-27 2003-01-02 Philips Electronics North America Corp. Intelligent phone router
US7113916B1 (en) * 2001-09-07 2006-09-26 Hill Daniel A Method of facial coding monitoring for the purpose of gauging the impact and appeal of commercially-related stimuli
US20030226968A1 (en) * 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
US7395062B1 (en) 2002-09-13 2008-07-01 Nielson Media Research, Inc. A Delaware Corporation Remote sensing system
US8154581B2 (en) 2002-10-15 2012-04-10 Revolutionary Concepts, Inc. Audio-video communication system for receiving person at entrance
US8144183B2 (en) * 2002-10-15 2012-03-27 Revolutionary Concepts, Inc. Two-way audio-video communication method for receiving person at entrance
US8139098B2 (en) * 2002-10-15 2012-03-20 Revolutionary Concepts, Inc. Video communication method for receiving person at entrance
US6862253B2 (en) * 2002-10-23 2005-03-01 Robert L. Blosser Sonic identification system and method
US7203338B2 (en) * 2002-12-11 2007-04-10 Nielsen Media Research, Inc. Methods and apparatus to count people appearing in an image
WO2004054255A1 (en) * 2002-12-11 2004-06-24 Nielsen Media Research, Inc. Detecting a composition of an audience
US8235725B1 (en) * 2005-02-20 2012-08-07 Sensory Logic, Inc. Computerized method of assessing consumer reaction to a business stimulus employing facial coding
US7631324B2 (en) * 2005-06-08 2009-12-08 The Nielsen Company (Us), Llc Methods and apparatus for indirect illumination in electronic media rating systems
US8600174B2 (en) * 2005-09-28 2013-12-03 Facedouble, Inc. Method and system for attaching a metatag to a digital image
US7599527B2 (en) * 2005-09-28 2009-10-06 Facedouble, Inc. Digital image search system and method
US8369570B2 (en) 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
US7450740B2 (en) 2005-09-28 2008-11-11 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US8311294B2 (en) 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US7587070B2 (en) * 2005-09-28 2009-09-08 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
JP4749139B2 (ja) * 2005-12-05 2011-08-17 株式会社日立製作所 危険映像検出方法、映像相違検出方法及び装置
US9015740B2 (en) 2005-12-12 2015-04-21 The Nielsen Company (Us), Llc Systems and methods to wirelessly meter audio/visual devices
US7930199B1 (en) 2006-07-21 2011-04-19 Sensory Logic, Inc. Method and report assessing consumer reaction to a stimulus by matching eye position with facial coding
US7826464B2 (en) * 2007-01-10 2010-11-02 Mikhail Fedorov Communication system
KR101378372B1 (ko) * 2007-07-12 2014-03-27 삼성전자주식회사 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체
US20100162285A1 (en) * 2007-09-11 2010-06-24 Yossef Gerard Cohen Presence Detector and Method for Estimating an Audience
US8108055B2 (en) * 2007-12-28 2012-01-31 Larry Wong Method, system and apparatus for controlling an electrical device
US9721148B2 (en) 2007-12-31 2017-08-01 Applied Recognition Inc. Face detection and recognition
CN102016882B (zh) * 2007-12-31 2015-05-27 应用识别公司 利用脸部签名来标识和共享数字图像的方法、系统和计算机程序
US20090284578A1 (en) * 2008-05-11 2009-11-19 Revolutionary Concepts, Inc. Real estate communications and monitoring systems and methods for use by real estate agents
US20090278683A1 (en) * 2008-05-11 2009-11-12 Revolutionary Concepts, Inc. Systems, methods, and apparatus for metal detection, viewing, and communications
US10380603B2 (en) * 2008-05-31 2019-08-13 International Business Machines Corporation Assessing personality and mood characteristics of a customer to enhance customer satisfaction and improve chances of a sale
US8219438B1 (en) * 2008-06-30 2012-07-10 Videomining Corporation Method and system for measuring shopper response to products based on behavior and facial expression
US8411963B2 (en) * 2008-08-08 2013-04-02 The Nielsen Company (U.S.), Llc Methods and apparatus to count persons in a monitored environment
US9124769B2 (en) 2008-10-31 2015-09-01 The Nielsen Company (Us), Llc Methods and apparatus to verify presentation of media content
US8487772B1 (en) 2008-12-14 2013-07-16 Brian William Higgins System and method for communicating information
JP2010157119A (ja) * 2008-12-26 2010-07-15 Fujitsu Ltd 監視装置、監視方法、及び監視プログラム
US8049643B2 (en) 2009-02-04 2011-11-01 Pete Ness Vehicle tracking system for vehicle washing
US20100223144A1 (en) * 2009-02-27 2010-09-02 The Go Daddy Group, Inc. Systems for generating online advertisements offering dynamic content relevant domain names for registration
US9195898B2 (en) 2009-04-14 2015-11-24 Qualcomm Incorporated Systems and methods for image recognition using mobile devices
US8600100B2 (en) * 2009-04-16 2013-12-03 Sensory Logic, Inc. Method of assessing people's self-presentation and actions to evaluate personality type, behavioral tendencies, credibility, motivations and other insights through facial muscle activity and expressions
US8538093B2 (en) * 2009-04-20 2013-09-17 Mark Kodesh Method and apparatus for encouraging social networking through employment of facial feature comparison and matching
US8351712B2 (en) * 2009-04-27 2013-01-08 The Neilsen Company (US), LLC Methods and apparatus to perform image classification based on pseudorandom features
US20100325253A1 (en) * 2009-06-18 2010-12-23 The Go Daddy Group, Inc. Generating and registering screen name-based domain names
US20100325128A1 (en) * 2009-06-18 2010-12-23 The Go Daddy Group, Inc. Generating and registering domain name-based screen names
US8326002B2 (en) * 2009-08-13 2012-12-04 Sensory Logic, Inc. Methods of facial coding scoring for optimally identifying consumers' responses to arrive at effective, incisive, actionable conclusions
US8276057B2 (en) 2009-09-17 2012-09-25 Go Daddy Operating Company, LLC Announcing a domain name registration on a social website
US8312364B2 (en) 2009-09-17 2012-11-13 Go Daddy Operating Company, LLC Social website domain registration announcement and search engine feed
GB2474508B (en) 2009-10-16 2015-12-09 Norwell Sa Audience measurement system
JP2011124819A (ja) * 2009-12-11 2011-06-23 Sanyo Electric Co Ltd 電子カメラ
JP2011130043A (ja) * 2009-12-16 2011-06-30 Sanyo Electric Co Ltd 電子カメラ
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US10614289B2 (en) 2010-06-07 2020-04-07 Affectiva, Inc. Facial tracking with classifiers
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10628985B2 (en) 2017-12-01 2020-04-21 Affectiva, Inc. Avatar image animation using translation vectors
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US9646046B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state data tagging for data collected from multiple sources
US11151610B2 (en) 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US12076149B2 (en) 2010-06-07 2024-09-03 Affectiva, Inc. Vehicle manipulation with convolutional image processing
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US10517521B2 (en) 2010-06-07 2019-12-31 Affectiva, Inc. Mental state mood analysis using heart rate collection based on video imagery
US9204836B2 (en) 2010-06-07 2015-12-08 Affectiva, Inc. Sporadic collection of mobile affect data
US9959549B2 (en) 2010-06-07 2018-05-01 Affectiva, Inc. Mental state analysis for norm generation
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US9503786B2 (en) 2010-06-07 2016-11-22 Affectiva, Inc. Video recommendation using affect
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10108852B2 (en) 2010-06-07 2018-10-23 Affectiva, Inc. Facial analysis to detect asymmetric expressions
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US9247903B2 (en) 2010-06-07 2016-02-02 Affectiva, Inc. Using affect within a gaming context
US10474875B2 (en) 2010-06-07 2019-11-12 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US11232290B2 (en) 2010-06-07 2022-01-25 Affectiva, Inc. Image analysis using sub-sectional component evaluation to augment classifier usage
US10204625B2 (en) 2010-06-07 2019-02-12 Affectiva, Inc. Audio analysis learning using video data
US9642536B2 (en) 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10799168B2 (en) 2010-06-07 2020-10-13 Affectiva, Inc. Individual data sharing across a social network
US10628741B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Multimodal machine learning for emotion metrics
US10401860B2 (en) 2010-06-07 2019-09-03 Affectiva, Inc. Image analysis for two-sided data hub
US11073899B2 (en) 2010-06-07 2021-07-27 Affectiva, Inc. Multidevice multimodal emotion services monitoring
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US9723992B2 (en) 2010-06-07 2017-08-08 Affectiva, Inc. Mental state analysis using blink rate
US10111611B2 (en) 2010-06-07 2018-10-30 Affectiva, Inc. Personal emotional profile generation
US10869626B2 (en) 2010-06-07 2020-12-22 Affectiva, Inc. Image analysis for emotional metric evaluation
US10843078B2 (en) 2010-06-07 2020-11-24 Affectiva, Inc. Affect usage within a gaming context
US10143414B2 (en) 2010-06-07 2018-12-04 Affectiva, Inc. Sporadic collection with mobile affect data
US10289898B2 (en) 2010-06-07 2019-05-14 Affectiva, Inc. Video recommendation via affect
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US12329517B2 (en) 2010-06-07 2025-06-17 Affectiva, Inc. Cognitive state vehicle navigation based on image processing and modes
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US12204958B2 (en) 2010-06-07 2025-01-21 Affectiva, Inc. File system manipulation using machine learning
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US10074024B2 (en) 2010-06-07 2018-09-11 Affectiva, Inc. Mental state analysis using blink rate for vehicles
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US11056225B2 (en) 2010-06-07 2021-07-06 Affectiva, Inc. Analytics for livestreaming based on image analysis within a shared digital environment
US8565500B2 (en) * 2010-06-14 2013-10-22 Siemens Medical Solutions Usa, Inc. Automatic patient and device recognition and association system
US20120116252A1 (en) * 2010-10-13 2012-05-10 The Regents Of The University Of Colorado, A Body Corporate Systems and methods for detecting body orientation or posture
JP2014511620A (ja) 2011-02-27 2014-05-15 アフェクティヴァ，インコーポレイテッド 感情に基づく映像推薦
US20130127620A1 (en) 2011-06-20 2013-05-23 Cerner Innovation, Inc. Management of patient fall risk
US9489820B1 (en) 2011-07-12 2016-11-08 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US10546481B2 (en) 2011-07-12 2020-01-28 Cerner Innovation, Inc. Method for determining whether an individual leaves a prescribed virtual perimeter
US9741227B1 (en) 2011-07-12 2017-08-22 Cerner Innovation, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
US8548207B2 (en) 2011-08-15 2013-10-01 Daon Holdings Limited Method of host-directed illumination and system for conducting host-directed illumination
US8620088B2 (en) 2011-08-31 2013-12-31 The Nielsen Company (Us), Llc Methods and apparatus to count people in images
US8809788B2 (en) * 2011-10-26 2014-08-19 Redwood Systems, Inc. Rotating sensor for occupancy detection
US9082004B2 (en) 2011-12-15 2015-07-14 The Nielsen Company (Us), Llc. Methods and apparatus to capture images
US9202105B1 (en) 2012-01-13 2015-12-01 Amazon Technologies, Inc. Image analysis for user authentication
US20130226539A1 (en) * 2012-02-29 2013-08-29 BVI Networks, Inc. Method and system for statistical analysis of customer movement and integration with other data
US8769557B1 (en) 2012-12-27 2014-07-01 The Nielsen Company (Us), Llc Methods and apparatus to determine engagement levels of audience members
US10096223B1 (en) 2013-12-18 2018-10-09 Cerner Innovication, Inc. Method and process for determining whether an individual suffers a fall requiring assistance
US10078956B1 (en) 2014-01-17 2018-09-18 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US10225522B1 (en) 2014-01-17 2019-03-05 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections
US9729833B1 (en) 2014-01-17 2017-08-08 Cerner Innovation, Inc. Method and system for determining whether an individual takes appropriate measures to prevent the spread of healthcare-associated infections along with centralized monitoring
CA2902093C (en) 2014-08-28 2023-03-07 Kevin Alan Tussy Facial recognition authentication system including path parameters
US10915618B2 (en) 2014-08-28 2021-02-09 Facetec, Inc. Method to add remotely collected biometric images / templates to a database record of personal information
US10803160B2 (en) 2014-08-28 2020-10-13 Facetec, Inc. Method to verify and identify blockchain with user question data
US12130900B2 (en) 2014-08-28 2024-10-29 Facetec, Inc. Method and apparatus to dynamically control facial illumination
US10698995B2 (en) 2014-08-28 2020-06-30 Facetec, Inc. Method to verify identity using a previously collected biometric image/data
US10614204B2 (en) 2014-08-28 2020-04-07 Facetec, Inc. Facial recognition authentication system including path parameters
US11256792B2 (en) 2014-08-28 2022-02-22 Facetec, Inc. Method and apparatus for creation and use of digital identification
US10090068B2 (en) 2014-12-23 2018-10-02 Cerner Innovation, Inc. Method and system for determining whether a monitored individual's hand(s) have entered a virtual safety zone
US10524722B2 (en) 2014-12-26 2020-01-07 Cerner Innovation, Inc. Method and system for determining whether a caregiver takes appropriate measures to prevent patient bedsores
CN105809655B (zh) * 2014-12-30 2021-06-29 清华大学 车辆检查方法和系统
KR102306538B1 (ko) 2015-01-20 2021-09-29 삼성전자주식회사 콘텐트 편집 장치 및 방법
US10091463B1 (en) 2015-02-16 2018-10-02 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using 3D blob detection
US10342478B2 (en) 2015-05-07 2019-07-09 Cerner Innovation, Inc. Method and system for determining whether a caretaker takes appropriate measures to prevent patient bedsores
US9892611B1 (en) 2015-06-01 2018-02-13 Cerner Innovation, Inc. Method for determining whether an individual enters a prescribed virtual zone using skeletal tracking and 3D blob detection
GB2540562B (en) * 2015-07-21 2019-09-04 Advanced Risc Mach Ltd Method of and apparatus for generating a signature representative of the content of an array of data
US9892311B2 (en) 2015-12-31 2018-02-13 Cerner Innovation, Inc. Detecting unauthorized visitors
US10439556B2 (en) * 2016-04-20 2019-10-08 Microchip Technology Incorporated Hybrid RC/crystal oscillator
USD1074689S1 (en) 2016-04-26 2025-05-13 Facetec, Inc. Display screen or portion thereof with animated graphical user interface
USD987653S1 (en) 2016-04-26 2023-05-30 Facetec, Inc. Display screen or portion thereof with graphical user interface
US10147184B2 (en) 2016-12-30 2018-12-04 Cerner Innovation, Inc. Seizure detection
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
US10810427B1 (en) 2017-12-15 2020-10-20 AI Incorporated Methods for an autonomous robotic device to identify locations captured in an image
US10643446B2 (en) 2017-12-28 2020-05-05 Cerner Innovation, Inc. Utilizing artificial intelligence to detect objects or patient safety events in a patient room
US10482321B2 (en) 2017-12-29 2019-11-19 Cerner Innovation, Inc. Methods and systems for identifying the crossing of a virtual barrier
US10922936B2 (en) 2018-11-06 2021-02-16 Cerner Innovation, Inc. Methods and systems for detecting prohibited objects
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
US11560784B2 (en) 2019-06-11 2023-01-24 Noven, Inc. Automated beam pump diagnostics using surface dynacard
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US12148512B2 (en) 2019-12-31 2024-11-19 Cerner Innovation, Inc. Patient safety using virtual observation
US11711638B2 (en) 2020-06-29 2023-07-25 The Nielsen Company (Us), Llc Audience monitoring systems and related methods
US12356286B2 (en) 2021-07-22 2025-07-08 The Nielsen Company (Us), Llc Methods, apparatus, and articles of manufacture to locate persons based on adjustable signal strength thresholds
US11860704B2 (en) 2021-08-16 2024-01-02 The Nielsen Company (Us), Llc Methods and apparatus to determine user presence
US11758223B2 (en) 2021-12-23 2023-09-12 The Nielsen Company (Us), Llc Apparatus, systems, and methods for user presence detection for audience monitoring
US12160422B2 (en) 2022-04-04 2024-12-03 Bank Of America Corporation Device manipulation system for counteracting facial recognition authentication security malfeasance
US12177214B2 (en) 2022-05-04 2024-12-24 Bank Of America Corporation Data obfuscation authentication security display session system
US12088882B2 (en) 2022-08-26 2024-09-10 The Nielsen Company (Us), Llc Systems, apparatus, and related methods to estimate audience exposure based on engagement level

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS57157378A (en) * 1981-03-25 1982-09-28 Hitachi Ltd Setting method of binary-coded threshold level
US4606069A (en) * 1983-06-10 1986-08-12 At&T Bell Laboratories Apparatus and method for compression of facsimile information by pattern matching
US4672678A (en) * 1984-06-25 1987-06-09 Fujitsu Limited Pattern recognition apparatus
US4611347A (en) * 1984-09-24 1986-09-09 At&T Bell Laboratories Video recognition system
US4739398A (en) * 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
US4754487A (en) * 1986-05-27 1988-06-28 Image Recall Systems, Inc. Picture storage and retrieval system for various limited storage mediums
US4885785A (en) * 1986-10-31 1989-12-05 Quad/Tech, Inc. Cutoff control system

Also Published As

Publication number Publication date
US5031228A (en) 1991-07-09
DE68918209T2 (de) 1995-02-02
DE68918209D1 (de) 1994-10-20
EP0358910A3 (en) 1991-10-09
EP0358910B1 (en) 1994-09-14
ES2058415T3 (es) 1994-11-01
EP0358910A2 (en) 1990-03-21
AU2854189A (en) 1990-03-22
CA1325480C (en) 1993-12-21
ATE111663T1 (de) 1994-09-15

Similar Documents

Publication Publication Date Title
JPH02121070A (ja) 画像認識システム及び方法
JP2915013B2 (ja) 監視区域内で視聴する個々のメンバーを特定する画像認識装置
US5467403A (en) Portable fingerprint scanning apparatus for identification verification
US7355627B2 (en) Moving object monitoring surveillance apparatus for detecting, tracking and identifying a moving object by zooming in on a detected flesh color
US8705808B2 (en) Combined face and iris recognition system
US7643684B2 (en) Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
EP1455297A1 (en) Image detection system and method
US20060110014A1 (en) Expression invariant face recognition
WO2003025859A1 (fr) Dispositif d'interface
JP2007504562A (ja) １つの画像から虹彩認証を行う方法および装置
JP2009059257A (ja) 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
CN112784740B (zh) 步态数据的采集与标注方法及应用
GB2343945A (en) Photographing or recognising a face
CN112347856A (zh) 一种基于教室场景的无感知考勤系统及方法
CN114495395A (zh) 一种人形检测方法、监控预警方法、装置及系统
JPH0723012A (ja) 視聴率調査システム
CN113378651A (zh) 分布式快速行人重识别系统
US8526673B2 (en) Apparatus, system and method for recognizing objects in images using transmitted dictionary data
CN111259789A (zh) 一种人脸识别智能安防监控管理方法和系统
CN214151721U (zh) 一种基于人脸算法的识别一体机系统
KR102656084B1 (ko) 이동경로 기반 객체 매핑 방법 및 장치
TW466452B (en) Method and apparatus for photographing/recognizing a face
WO2003069555A3 (en) System and method for biometric data capture and comparison
WO2016105558A1 (en) Unobtrusive identity matcher: a tool for real-time verification of identity
KR100382792B1 (ko) 지능형 로보틱 카메라 및 그 분산 제어장치