JPH0723012A

JPH0723012A - 視聴率調査システム

Info

Publication number: JPH0723012A
Application number: JP18751293A
Authority: JP
Inventors: Koichi Umezawa; 光一梅沢
Original assignee: Individual
Current assignee: Individual
Priority date: 1993-06-30
Filing date: 1993-06-30
Publication date: 1995-01-24

Abstract

(57)【要約】【目的】視聴者の申告に寄らず、精確な視聴率を作成
するシステムを確立する。【構成】テレビ１の視聴空間を撮影するテレビカメラ
３を設置し、カメラ３の映像信号から視聴者の識別情報
を画像フレーム単位ごとに抽出する切出し部５と、その
記憶部（メモリ６，７）と、メモリ６の信号から顔画像
を抽出し識別番号を付与する顔認識部８と、顔画像を比
較すると共に、過去の状況を判断して個人識別情報を決
定する総合判定部９と、これにそのときの時刻を表す情
報を得る時計とを設け、テレビ１のチャンネル情報と、
前記個人識別情報による個人時間帯情報を情報処理装置
に送る伝達手段を設ける。テレビ１を視聴する個人を予
め特定し個人識別情報として記憶させておく。次に、実
際に見ている人物の画像フレームから顔画像を抽出し総
合判定部９により、特定の個人を同定することができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、テレビジョン放送を受
ける側の視聴者の動向を察知し集計するための視聴率調
査システムに関するものである。

【０００２】

【従来の技術】従来、テレビジョン放送の視聴率調査を
行う場合、テレビジョン受像機（以下、テレビという）
の稼働占有時間とどのチャンネルが選択されていたかと
いうチャンネル情報を必要としていた。チャンネル情報
は、チャンネル選択機能と連動させるか、あるいは、テ
レビ内部で発生する同調用周波数を検出することで得て
いる。この占有時間情報とチャンネル情報を一定時刻ご
とに出力して情報処理し視聴率調査を行っている。

【０００３】このような調査装置では、例えば、家庭内
において家族のだれが視聴していたかは把握できず、女
性向け番組を視聴していたのが幼児であったかも知れな
いし、極端な場合には単にテレビの電源が入っていて部
屋は無人であったかも知れないなどの問題点があった。

【０００４】個人別の視聴状況を把握するために日記を
提出させる方法もあるが、記入データが必ずしも正確と
は限らない問題があった。個人別視聴状況を機械的に計
測する装置として、ピープルメータと呼ばれるものがあ
り、視聴者個人ごとにスイッチを持たせ、各人ごとに番
組の視聴開始時と終了時にスイッチを開閉して貰うこと
により測定を行う装置もあるが、スイッチの押し忘れが
多く、必ずしも正確なデータが採取できるとは限らない
ものであった。

【０００５】したがって、視聴者の申告に頼らないため
には、テレビにテレビカメラを備え付け、テレビカメラ
によって室内を撮影し、その取り込んだ映像からテレビ
を見ているかいないかを判定し、視聴者各人がだれであ
るかを認識することができれば良い。視聴者各人を判別
するには、テレビを見ている顔を対象にすることが考え
られる。

【０００６】顔の判定については、正面顔の静止写真か
ら認識を行う研究が多く、例えば、雑誌「計測と制御」
に掲載された解説記事「顔の識別技術」（南敏著、１９
８６年８月発行）に解説がある。また、最近の研究で
は、「電子情報通信学会論文誌」第Ｊ７３−Ｄ−ＩＩ巻
第９号掲載論文「３次元データより得られる横顔輪郭線
を用いた人間の顔の自動識別」（阿部亨他著、１９９０
年９月発行）において、顔の形状を３次元的に計測し、
この計測により得られた顔のデータを計算機の中で３次
元的に回転し、横顔画像を求めて、この横顔画像により
個人認識する手法を提案しており、高い認識率を得てい
る。

【０００７】

【発明が解決しようとする課題】しかしながら、顔認識
を行う場合、上記の正面静止画像では、視聴者がテレビ
の前に正対しなければならなくなり、また、視聴者が移
動することを踏まえた動画像からの試みはあまりなく、
視聴者が横を向いていたり、新聞で顔が隠れていたりす
る場合などがあり、実用に不適である。また、３次元計
測は高精度にして識別能力を高くすることができるが、
準備段階として、周囲を暗くしてスリット光を照射する
必要があり、また、処理に要する時間がかかり過ぎるた
め、テレビの視聴状況調査に利用するには難しいもので
ある。

【０００８】本発明は、テレビカメラによって視聴者を
認識し、視聴者が動き回っていても、テレビの前にいる
複数人の視聴者の識別を確実に行い、チャンネル情報と
合わせ総合的に精度の高い視聴率を求められるようにし
た視聴率調査システムを提供することを目的とする。

【０００９】

【課題を解決するための手段】本発明は上記目的を達成
するために、テレビジョン受像機と、テレビジョン受像
機の視聴空間に向けられた視聴者画像入力手段と、前記
視聴者画像入力手段により抽出した画像フレームから切
り出された視聴者の識別情報を得る手段と、特定の視聴
者の識別情報をあらかじめ記憶する手段と、前記視聴者
画像入力手段により新たに抽出した視聴者の識別情報と
前期記憶手段により収納された特定の視聴者の識別情報
とを比較し同定する判定手段と、該判定手段に付加され
新たに抽出した視聴者の識別情報の入力信号の時間帯を
検出するための時計手段と、前記判定手段により得られ
た個人時間帯情報と前記テレビジョン受像機のチャンネ
ル情報とを情報処理装置へ送る伝達手段と、を設けたこ
とを特徴とする。なお、画像フレームとは一画面を構成
する信号要素に対応するものである。

【００１０】また、連続に抽出した複数の画像フレーム
間で、抽出した複数の識別情報が連続する位置で確認さ
れたとき、該連続する複数の識別情報に同一の識別番号
を付与して記憶する記憶手段と、識別番号を付与した新
たな人物と特定の視聴者とを同定して、前記識別番号ま
たは前記識別番号を付与した人物の記憶情報を、特定し
た視聴者の識別情報として置き換える判定手段を設け
る。または、判定手段において、同定されない識別番号
の識別情報を情報処理装置に送り、前記同定されない識
別番号を付与した人物が特定した視聴者と同一であるこ
とを判定したときに、前記伝達した個人時間帯情報と後
発の同定した個人時間帯情報とを対応させる信号を送出
する手段を設けたことを特徴とする。

【００１１】さらに、上記システムにおいて、情報処理
を行う側からの信号を受けて、時計手段の時刻を較正す
る手段を設けたことを特徴とする。

【００１２】このほか、画像フレームから、視聴範囲内
に存在する人物の人数を計数し、または、視聴の態様を
識別し、この人数情報または視聴態様を表す情報を個人
時間帯情報と共に送出することを特徴とする。

【００１３】また、前述の記憶させておく識別情報を得
るためには、特定の人物の識別情報を識別番号を付与し
て学習させると共に記憶し、該識別番号を付与した識別
情報を特定の視聴者の識別情報に置き換えるようにした
こと、および、各人物の位置確認装置を備え、学習時に
位置確認装置の出力から、画面フレーム中の各人物の画
像を同定するようにしたことを特徴とする。

【００１４】さらに、これらのシステムにおいて、該シ
ステムを複数設け、請求項１記載のシステムを複数設置
し、複数のテレビジョン受像機についての個人時間帯情
報およびチャンネル情報を総合判定し、複数台に関する
各個人の視聴データを一括して伝達することを特徴とす
る。

【００１５】なお、視聴者画像入力手段としてテレビカ
メラを使用し、このテレビカメラの映像信号から、各画
像フレームごとに識別情報としての顔画像を切り出し、
顔画像どうしの比較認識を行って、視聴者を同定し、時
々刻々の視聴者識別情報を得ると共に、各画像フレーム
間の視聴者の同一性を判定するものである。また、伝達
手段として電話回線を利用する。

【００１６】

【作用】本発明は上記の構成とすることによって、ま
ず、視聴者画像入力手段（テレビカメラ等）の映像信号
からいくつかの画像フレームをサンプリングして人物の
区別を行い、さらに、特定の視聴者の人物像から識別情
報としての顔画像を対象に記憶させておく。この記憶し
た比較識別情報には顔情報に対応して性別、年齢、職業
等を入力しておく。そして、画像フレームから入ってき
た顔画像を記憶させた顔画像と比較し同定することによ
って個人の識別情報から性別、年齢を知ることができ
る。このように順次、画像フレーム内の顔画像を同定し
てこの個人識別情報と視聴時間帯情報と同時刻の受像機
の受信状況の情報とを集計処理することで、視聴率に有
効な複数人からなる個人視聴率データを得ることができ
る。

【００１７】個人識別情報の判定時に、同定されていな
い顔画像が記憶した顔画像といまだ一致しない場合に
は、そのまま識別番号をつけた人物として記憶され、未
確定の個人識別情報として伝達される。該未確定の個人
識別情報は、伝達前、または伝達後であっても抽出され
た画像フレームから得た顔画像が確実に記憶した特定の
視聴者の顔画像と同定された時に、過去の同人物のデー
タも一緒に移植される。このようにして個人識別情報を
追補するので、正確な視聴時の個人データが得られる。

【００１８】また、画像フレーム単位では特定の個人を
同定できない場合には、判定を留保し、複数の画像フレ
ーム間の視聴者の同一性を利用して確実に個人識別を行
う。すなわち、過去から現在までの未確定の同一人物の
複数の顔情報のうち、確実に判定できる顔情報と比較す
ることができる。最適な顔情報は、視聴者が画面に対し
て正対している画像フレームであることが多い。

【００１９】さらに、情報処理装置側から時間較正を行
うのでチャンネル情報と個人時間帯情報との時間のずれ
がなく、視聴している時間を正確に知ることができる。
また、部屋全体を撮影してモニタするので人数や視聴態
度まで把握することができる。また、複数人の視聴者が
数台の受像機を使用している場合、個人時間帯情報およ
びチャンネル情報を整理して一括して送ることにより、
情報処理を速やかに行うことができる。

【００２０】

【実施例】以下、本発明の実施例を添付図面に基づいて
説明する。図１に示すように、調査システムの構成は、
テレビ（テレビジョン受像機）１を含む11個の回路ブロ
ックから構成されている。先ず、テレビ１は、通常の映
像および音声を出力する機能に加え、電源のオン／オフ
状況と現在選択されているチャンネル情報を出力する機
能を有し、この信号を中央情報処理装置Ａに送信する通
信装置２に出力するように結線されている。また、テレ
ビ１の画面に対する視聴空間を視野とするようなテレビ
カメラ（以下、カメラという）３がテレビ１の上に設置
される。カメラ３のレンズの方向は視聴者がテレビ１を
正対して見ている時に視聴者の顔が正面画像となるのが
良い。

【００２１】カメラ３の映像信号はフレームメモリ４に
入力される。映像信号は室内の動画像情報であり、適当
なサンプリング間隔で１フレーム分の画像が取り出さ
れ、フレーム単位でフレームメモリ４に貯えられる。サ
ンプリング間隔は、カメラ３のフレーム周期の整数倍で
あるが、視聴率計測精度を追求する目的ではできるだけ
短くし、処理速度の観点からはできるだけ長くする。実
際、15秒〜１分の時間間隔が上記二つの要求の妥協点と
して妥当な設計目標である。なお、後述するように、個
人追跡の目的ではサンプリング間隔を短く、個人認識の
目的ではサンプリング間隔を長くするような変更も可能
である。

【００２２】切出し部５は、フレームメモリ４に貯えら
れた現在の画像フレームから、人物画像を検出し、その
部分を切出し、他は消去してメモリ６に送る。人物画像
の検出のためには、公知の技術により、画像フレームの
中の動きのある部分画像を検出し、顔画像の部分を検出
すれば良い。現在の画像フレームに複数の人物が存在す
る場合には、メモリ６にそれぞれの人物の画像を貯え
る。

【００２３】メモリ６の内部のデータ配置を図３に示
す。この設計例では、３人分の人物画像を貯えるものと
して設計してあるが、人数の変更は容易である。図３に
おいてアドレス２００には現在の画像フレームにおいて
切り出された人数の数Ｎが格納されている（Ｎ＝＜
３）。２０１〜２０５は、第１の人物の画像の先頭アド
レスを表すポインタＰ１、画像の横サイズＷ１、縦サイ
ズＨ１、人物画像の中心座標Ｘ１、Ｙ１、がそれぞれ格
納されている。先頭アドレスＰ１が１０００バイト、横
サイズＷ１が４０（画素）、縦サイズＨ１が６０（画
素）とし、画像の１画素の濃淡値を１バイトで表すと
き、この第１の人物の画像は１０００〜３３９９番地の
２４００バイトに格納される。ただし、番地の単位はバ
イト（８ビット）である。

【００２４】図４はこの人物画像を表す模式図である。
２０６〜２１０には、第２の人物の画像の先頭アドレス
を表すポインタＰ２、画像の横サイズＷ２、縦サイズＨ
２、人物画像の中心座標Ｘ２、Ｙ２、がそれぞれ格納さ
れている。このとき、Ｐ２は、３４００番地であり、Ｗ
２＝１６、Ｈ２＝２５とするとき、第２の人物の画像
は、３４００〜３７９９番地の４００バイトに格納され
る。２１１〜２１５は第３の人物の画像の先頭アドレス
を表すポインタＰ３、画像の横サイズＷ３、縦サイズＨ
３、中心座標Ｘ３、Ｙ３、がそれぞれ格納される。この
とき、Ｐ３は、３８００番地であり、Ｗ３＝４０、Ｈ３
＝３０とするとき、第３の人物の画像は、３８００〜４
９９９番地の１２００バイトに格納される。

【００２５】バッファメモリ７は、過去のフレームにお
ける人物画像を貯えるもので、その構成はメモリ６と同
一であるが、貯えられる人物画像の人数は異なっていて
も良い。また、対応する各人物の画像サイズはメモリ６
とバッファメモリ７とでは異なっていても良い。

【００２６】顔認識部８では、一旦、入力されたメモリ
６の中の各人物の顔画像に識別番号を付与する。付与さ
れた顔画像をあらかじめ登録した人物の顔画像と比較
し、最も類似した人物のＩＤ情報（個人識別情報）を出
力する。ＩＤ情報は登録した人物に対応して設けられて
いる。このほかに、十分に類似した人物が決定できない
ときに出力する、不明を表すＩＤ情報Ｚ₁ 、Ｚ₂ 、・・
・が設けられている。ここで、Ｚ_n は第ｎ番目の不明人
物を表す。なお、各人の人物画像に対して、最も類似し
た人物のＩＤ情報だけでなく、２位以下の候補のＩＤ情
報も出力するようにしても良い。顔認識部８から出力さ
れるＩＤ情報は総合判定部９に送られる。

【００２７】個人追跡部10は、メモリ６の中の各人の画
像と、バッファメモリ７の中の各人の画像とを比較し、
どの部分画像が対応するかを決定するものである。決定
には、部分画像の中心の座標を基本として用いるが、画
像の類似度を加味することもできる。

【００２８】総合判定部９では、顔認識部の出力である
ＩＤ情報と、個人追跡部10で決定される部分画像の対応
関係を用いて、最終的な個人認識を行う。すなわち、現
在の画像フレームで不明と判定された人物Ｚ_i の顔画像
が、人物Ａと判定された顔画像の過去の画像フレームに
登場する人物画像と連続している位置にある場合、人物
Ｚ_i は人物Ａであると決定する。また、過去の画像フレ
ームで不明と判定された人物Ｚ_j の顔画像があって、こ
れが現在の画像フレームの顔画像で人物Ｂと判定された
ものの人物画像ｉと連続している位置にある場合、過去
の画像フレームで人物Ｚ_j は人物Ｂであると過去に遡っ
て決定する。これによって、不明を表すＩＤ情報Ｚ₁ 、
Ｚ₂ 、・・・が少なくなり、すでに決定されたＩＤ情報
にデータが付加されたりして、情報が正確になる。

【００２９】総合判定部９で判定された人物のＩＤ情報
は視聴時間帯を加味して、通信装置２から中央情報処理
装置Ａに伝達される。通信装置２は、適当な時刻、例え
ば深夜あるいは早朝に、記憶したＩＤ情報を一括して通
信線11を介して受信側の中央情報処理装置Ａに出力して
も良い。この場合、チャンネル情報も一時記憶させる必
要がある（記憶手段1a）。また、通信装置２からは総合
判定部９の判定結果を時々刻々伝達し、不明ＩＤ情報を
確定する処理は受信側の情報処理装置Ａに任せても良
い。ただし、その場合には、フレーム間の人物の同一性
を表す情報も送出する必要がある。さらに、個人時間帯
情報にチャンネル情報を組み込み一信号として伝達する
こともできる。このようにして送られてくる複数の情報
を情報処理装置Ａによって処理し、詳しい視聴率データ
を得ることができる。

【００３０】また、上記説明では、個人追跡部10におけ
る個人追跡と顔認識部８における顔認識は、同じ時間間
隔でサンプリングされたフレームについて行うとした
が、個人追跡をできるだけ細かい時間間隔で行なってお
き、顔認識は比較的に粗い時間間隔で行なうようにして
も良く、このようにすれば、個人追跡が確実に行なえる
ので、顔認識で不明となることがあっても、総合的な判
定で修正することができ、顔認識部８にかかる負担を減
らすことができる。

【００３１】次に、切出し部５の詳細を図２を参照して
説明する。符号４は図１に示したフレームメモリであっ
て、現在の室内画像が記憶される。符号51は同じくフレ
ームメモリであり、フレームメモリ４から一定時間間隔
Ｔ（例えば１秒）ごとに、その内容が複写される。すな
わち、フレームメモリ51はＴだけ過去の時点での室内画
像が記憶されている。

【００３２】差分演算回路52には、フレームメモリ４と
フレームメモリ52の画像が入力され、その差分画像が作
られる。差分演算回路52では、入力された二つの画像を
画素ごとに比較し、その差の値を画素の値とするような
画像を作り出し、フレームメモリ53に格納する。フレー
ムメモリ53の差分画像では、動きのない室内背景は消去
され、動いている人物画像の輪郭が大きな値を持ってい
る。例えば、図５に示すように、輪郭Ａは全身が動いて
いる人物を表し、輪郭Ｂは顔面のみが動いた場合を示し
ている。

【００３３】輪郭検出部54では、フレームメモリ53の差
分画像から、輪郭部を検出し、人物外郭部を示す長方形
の座標を求め、一時メモリ55に与える。一般には、人物
は複数存在することがあり、一時メモリ55には複数の人
物外郭部に関する座標が与えられている。顔画像検出部
56では、一時メモリ55から与えられる座標を用いて、フ
レームメモリ４から顔画像の部分を抽出するものであ
る。すなわち、人物画像の部分を抽出し、さらにその中
から顔部分に対応した濃淡値の画素を抽出してそれらの
画素を取り囲む長方形を決定し、顔画像の座標を一時メ
モリ57に格納する。一時メモリ55に複数の人物画像の座
標が与えられている場合には、その各々について、顔画
像の座標が一時メモリ57に与えられることは言うまでも
ない。

【００３４】顔画像抽出部58は、この座標情報を用い
て、フレームメモリ４から顔画像の部分を抽出して、メ
モリ６に格納する。メモリ６の構成は前述した通りであ
るが、その中で必要とされる情報が一時メモリ57から得
られることは明らかである、

【００３５】次に、顔認識部８の詳細を説明する。顔認
識部８では、適当な時間間隔Ｔ_R ごとに、メモリ６の中
の顔画像を認識するものであるが、時間間隔Ｔ_R は画像
取り込み時間間隔Ｔの整数倍に取るのが便利である。例
えば、Ｔ＝１秒、Ｔ_R ＝１５秒などが、実用上好適な値
である。顔認識部８には、メモリ６に格納された複数の
顔画像が与えられるが、原理的には同一であるので、１
名の顔画像の認識について説明する。

【００３６】また、図６に示すように、顔認識部８のバ
ッファメモリ81には、メモリ６から１名分の顔画像が複
写される。この顔画像から、自己相関係数計算回路82に
より、顔画像の自己相関係数が計算され、バッファメモ
リ83に格納される。

【００３７】ここで、自己相関係数はで定義される量である。ここで、Ｐ（ｉ，ｊ）は画像の
（ｉ，ｊ）画素の値を示し、ＭとＮは顔画像の大きさを
示す。また、（ξ，η）は画像の相対移動量を示し、 −Ｒ＝＜ξ＝＜Ｒ， −Ｒ＝＜η＝＜Ｒの範囲で計算するならば、Ｋ＝（２Ｒ＋１）² 個の自己
相関係数が得られる。このＫ個の自己相関係数を並べた
ものが、個人認識すべき顔画像、すなわち未知顔画像の
特徴ベクトルである。

【００３８】バッファメモリ83に格納された自己相関係
数（Ｋ次元ベクトル）は、制御部84の制御のもとに、メ
モリ85に記憶された各個人の標準パターンと順次比較さ
れる（比較部86）。標準パターンは、認識しようとする
各個人についてあらかじめ計算しておいた特徴ベクトル
（自己相関関数、Ｋ次元ベクトル）である。第Ｋ番目の
視聴者の特徴ベクトルを σ_K （ξ，η）とすれば、未知顔画像と第Ｋ視聴者顔画像との間の距離
はで与えられる。

【００３９】この距離はメモリ87に格納される。すべて
の認識対象視聴者についての距離がメモリ87に格納され
た後で、制御部84の制御によって、最小距離を与えるよ
うなｍを求め認識結果とし、メモリ88に記憶させる。た
だし、Ｄ_m ＝＞δ のときは、認識結果を保留し、認識不能として答えを返
す。ここで、δは適当に定めたパラメータである。

【００４０】顔認識部８による認識不能が複数個生じる
場合もあり、一般には、これを区別するために、Ｚ₁ 、
Ｚ₂ 、・・・のように表現する。例えば、Ｚ_n ＝−ｎと
表現するのは一つの方法である。認識結果は図１の総合
判定部９に送られる。認識不能の場合も、確定していな
い人物の識別番号を近似した特定の視聴者の識別番号に
対応させて総合判定部９に送ることは有効である。この
場合、特定の視聴者の識別番号をｍとすれば、認識結果
としてＺ_n ＝−ｍとするのは、また別の一つの表現方法
である。

【００４１】次に、個人追跡部10の詳細を図７を参照し
て説明する。メモリ６およびバッファメモリ７は図１に
示したものであり、既に説明したように、メモリ６には
現在の画像フレームにおける各人の顔画像が、バッファ
メモリ７には過去の画像フレームにおける各人の顔画像
が格納されており、比較計算機10a に入力される。メモ
リ６およびバッファメモリ７の内部構造は図３に示した
ようになっているので、これから各人物顔画像の中心座
標が得られる。比較計算機10a においては、各人物の顔
画像の中心座標を比較し、メモリ６，７における各人の
顔画像の対応関係を求める。すなわち、中心座標（ｘｉ
⁶ ，ｙｉ⁶ ）と（ｘｊ⁷ ，ｙｊ⁷ ）の距離が小さい場
合、メモリ６の中の人物ｉとバッファメモリ７の中の人
物ｊは同一であると判定する。この判定結果は総合判定
部９に送られる。

【００４２】次に、図８を参照して総合判定部９の詳細
を説明する。顔認識部８および個人追跡部10の判定結果
が総合判定部９に与えられている。顔認識部８の認識結
果はメモリ91に格納される。個人追跡部10の結果は処理
部92に与えられ、処理部92ではメモリ91の内容と個人追
跡部10の結果を総合し、メモリ91の内容を修正する。メ
モリ91の内容を出力したものが総合判定結果である。メ
モリ91の内部構成を図９に示す。図９において、各行は
ある一時点における認識結果を示し（単位画像フレーム
に相当する）、各列はメモリ６における各個人画像を示
す。なお、図９のＡからＤまでは時間経過を分かりやす
くしたものである。

【００４３】図９のＡの第１行Ｔ１では、人物２が視聴
者１と認識され、人物１、３は認識できなかったことを
示す。すなわち、人物１、３については特定の視聴者と
同定されなかったので、認識不能を示す数値Ｚ₁ ¹、Ｚ₂ ¹
が入る。ただし、Ｚの上付きの添え字は、時刻を区別す
るためのものである。第２行Ｔ２では、人物１、２、３
に対してそれぞれ特定の視聴者２、１、３が顔認識部８
の出力として得られたことを示す。人物１、２、３は画
像フレームにおいて移動している場合があるが、ここで
は、画像フレーム内で連続した位置にある人物を同一人
物として図９の表に整理して並べている。

【００４４】そのとき、処理部92では、人物１、２、３
は第２行で同定した視聴者が第１行Ｔ１の人物と合致し
たものについて置換する。第１行Ｔ１の不確定人物に対
し、第２行Ｔ２の結果を遡らせて比較することにより、Ｚ₁ ¹＝２、Ｚ₂ ¹＝３と確定できる。したがって、図９のＢのようになる。

【００４５】また、第３行Ｔ３に対しては、不明人物Ｚ
₁ ³（図９のＢ）に対し、第２行Ｔ２の認識結果を伝達す
ることにより、Ｚ₁ ³＝１と確定できる（図９のＣ）。第
４行Ｔ４についても同様であるが、不明人物Ｚ₂ ⁴につい
ては、過去の情報が利用できないので不明として残り
（図９のＤ）、後の処理を待つことになる。

【００４６】次に、他の実施例を図10を参照して説明す
る。ここでは、人数カウンタ13が設けられている。人数
カウンタ13は室内に存在する人物の人数を計るもので、
例えば、超音波センサを用いることができる。総合判定
部９においては、人数情報と顔認識部８の出力として得
られる人物の人数を比較し、両者が一致しない場合に切
出し部５にフィードバックを行って、認識を再実行する
ようにしても良い。

【００４７】また、顔認識部８において、顔の向いてい
る方向を識別し、ＩＤ情報の一部として通信装置２に送
出する。この情報は、テレビジョン視聴の態度を表す情
報として利用される。したがって、この情報を受信した
中央情報処理装置Ａは、さらにきめ細かい視聴率データ
を作成することができ、テレビジョン番組の質向上に役
立てることができる。

【００４８】また、時計12の較正回路を設けても良く、
この場合、通信線11を介して通信装置２が時刻較正信号
を受取り、較正回路を働かせるものである。例えば、毎
日午後12時に信号を発信することで、時計の経時的な誤
差の累積による誤データの発生を避けることができる。

【００４９】さらに、複数のテレビ１を有する家庭にお
いては、各テレビ１の設置された部屋ごとに本システム
を取付け、通信装置２を共用するようにしても良い。こ
の場合、片方のシステムの通信を停止させるので、その
間の記憶装置を設けて置く。また、複数個のテレビ１が
あっても一度に一台のテレビ１しか稼働させない状態に
おいては、チャンネル情報が常に一つのため、一つのチ
ャンネル情報に複数人のデータを乗せる方式がある。こ
のほかにも、一個人の個人時間帯情報に複数個のテレビ
１のチャンネル情報を付加して通信する方式がある。こ
れにより、家庭内において、個人がどのテレビジョン受
像機を利用しても正確に視聴率データを得ることができ
る。

【００５０】以上の実施例において、各個人の登録した
顔の標準パターンは、既に顔識別部８に登録済であると
仮定してきたが、以下にその標準パターンの学習方法に
ついて述べる。

【００５１】先ず、カメラ３の前に数人の指定された視
聴者が立ち、正面および各方向を向いた顔をその都度動
かさずに掲示し、カメラ３で撮影する。カメラ３の出力
から連続に画像フレームをサンプリングし、画像フレー
ムから切出し部５により各顔画像を抽出してデータを作
成し、個人識別を行った標準パターン情報として顔認識
部８に登録しＩＤ情報として出力できるようにする。各
顔画像を抽出した際、各個人を区別できるようなスイッ
チを各視聴者に持たせ、このスイッチが押されている時
点で、画像を切出すと同時に、スイッチの区別により性
別、年齢、職業等の情報を付加することができる。学習
は一回だけでなく、何回か行うようにした方が良い。

【００５２】この採取された標準パターンは、平均して
１個のパターンとしても良いが、別々のパターンとして
登録されている。また、登録したパターンのいずれと一
致した場合でも同一のＩＤ情報を出力するような構成と
しても良い。また、各個人ごとに超音波発信機のような
位置情報発信装置を持たせ、この位置情報を用いて、画
面内の個人の存在箇所を推定し、画像フレームの中での
個人画像の切出しを行うようにすれば、学習時に切出し
誤りが生ずることをほとんど皆無にでき、学習の誤りに
よる誤認識の誘発が防止できる。

【００５３】以上説明したように、実際に視聴している
不特定数の視聴者をカメラ３で捕らえるものであり、カ
メラ３で捕らえた人物は動画像として追跡され、特定の
個人が顔画像によって確定されたときには、その人物の
過去の視聴データも付加される。したがって、最終的
に、不明の人物は視聴率協力者以外の人物となり、デー
タの数値を確かなものにすることができる。さらに、視
聴者がどのような姿勢で何時に何を見ているかがわかる
ので、個人別の視聴率データを自動的に取得することが
でき、視聴者に負担をかけることがなく、従来のよう
に、視聴の開始、終了に際してスイッチなどの操作を要
請する必要がなく、スイッチの押し忘れなどによる精度
低下が避けられる。

【００５４】

【発明の効果】本発明は、以上のように構成したもので
あるから、画像フレームから視聴者の識別情報を抽出
し、あらかじめ用意した識別情報と比較することによっ
て特定の視聴者を同定し、さらに過去の視聴データを参
考にするので、同定の出来ない人物については識別番号
によってデータを蓄積しておき、確立された時点で個人
識別情報に変換されるので、精度の高い個人識別が行わ
れ、信頼性の高い個人別の視聴率データを取得すること
ができる。また、この結果、視聴者の反応を正確に把握
でき、テレビジョン放送の水準向上に寄与することがで
きる。また、視聴者画像入力手段にテレビカメラを使用
することによって、視聴者の存在だけでなく、各視聴者
の視聴態度までも含めた質の高い個人別の視聴率データ
が採取できる。

【図面の簡単な説明】

【図１】本発明による実施例の視聴率調査システムの構
成を示すブロック図である。

【図２】図１に示す切出し部の詳細な構成を示すブロッ
ク図である。

【図３】図１に示すメモリ内部のデータ配置を示す説明
図である。

【図４】図１に示すメモリ内部のデータによる顔画像の
模式図である。

【図５】図２に示すメモリ43内部のデータが表す差分画
像の模式図である。

【図６】図１に示す顔認識部の詳細な構成を示すブロッ
ク図である。

【図７】図１に示す視聴率調査システムの構成中の個人
追跡部を示すブロック図である。

【図８】図１に示す総合判定部の詳細を示すブロック図
である。

【図９】図８に示す総合判定部の内部のデータ配置を示
す説明図である。

【図１０】他の実施例の視聴率調査システムの構成を示
すブロック図である。

【符号の説明】

１テレビジョン受像機３テレビカメラ８顔認識部９総合判定部 10 個人追跡部 12 時計

Claims

【特許請求の範囲】

【請求項１】テレビジョン受像機と、テレビジョン受
像機の視聴空間に向けられた視聴者画像入力手段と、前
記視聴者画像入力手段により抽出した画像フレームから
切り出された視聴者の識別情報を得る手段と、特定の視
聴者の識別情報をあらかじめ記憶する手段と、前記視聴
者画像入力手段により新たに抽出した視聴者の識別情報
と前期記憶手段により収納された特定の視聴者の識別情
報とを比較し同定する判定手段と、該判定手段に付加さ
れ新たに抽出した視聴者の識別情報の入力信号の時間帯
を検出するための時計手段と、前記判定手段により得ら
れた個人時間帯情報と前記テレビジョン受像機のチャン
ネル情報とを情報処理装置へ送る伝達手段と、を設けた
ことを特徴とする視聴率調査システム。
【請求項２】連続に抽出した複数の画像フレーム間
で、抽出した複数の識別情報が連続する位置で確認され
たとき、該連続する複数の識別情報に同一の識別番号を
付与して記憶する記憶手段と、識別番号を付与した新た
な人物と特定の視聴者とを同定して、前記識別番号また
は前記識別番号を付与した人物の記憶情報を、特定した
視聴者の識別情報として置き換える判定手段を設けたこ
とを特徴とする請求項１記載の視聴率調査システム。
【請求項３】同定されない識別番号の識別情報を情報
処理装置に送る判定手段と、前記同定されない識別番号
を付与した人物が特定した視聴者と同一であることを判
定したときに、前記伝達した個人時間帯情報と後発の同
定した個人時間帯情報とを対応させる信号を送出する手
段を設けたことを特徴とする請求項１記載の視聴率調査
システム。
【請求項４】情報処理を行う側からの信号を受けて、
時計手段の時刻を較正する手段を設けたことを特徴とす
る請求項１記載の視聴率調査システム。
【請求項５】画像フレームから視聴範囲内に存在する
人物の人数を計数し、この人数情報を伝達することを特
徴とする請求項１記載の視聴率調査システム。
【請求項６】画像フレームから視聴の態様を識別し、
この視聴態様を表す情報を伝達することを特徴とする請
求項１記載の視聴率調査システム。
【請求項７】特定の人物の識別情報を識別番号を付与
して学習させると共に記憶し、該識別番号を付与した識
別情報を特定の視聴者の識別情報に置き換えるようにし
たことを特徴とする請求項１記載の視聴率調査システ
ム。
【請求項８】各人物の位置確認装置を備え、学習時に
位置確認装置の出力から、画面フレーム中の各人物の画
像を同定するようにしたことを特徴とする請求項７記載
の視聴率調査システム。
【請求項９】請求項１記載のシステムを複数設置し、
複数のテレビジョン受像機についての個人時間帯情報お
よびチャンネル情報を総合判定し、複数台に関する各個
人の視聴データを一括して伝達することを特徴とする視
聴率調査システム。