JPH1051755A - テレビ会議端末の画面表示制御装置 - Google Patents
テレビ会議端末の画面表示制御装置Info
- Publication number
- JPH1051755A JPH1051755A JP9047849A JP4784997A JPH1051755A JP H1051755 A JPH1051755 A JP H1051755A JP 9047849 A JP9047849 A JP 9047849A JP 4784997 A JP4784997 A JP 4784997A JP H1051755 A JPH1051755 A JP H1051755A
- Authority
- JP
- Japan
- Prior art keywords
- image
- person
- unit
- screen
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/148—Interfacing a video terminal to a particular transmission medium, e.g. ISDN
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/001—Model-based coding, e.g. wire frame
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
(57)【要約】
【課題】 人物画像の適切な表示を行うためのテレビ会
議端末の画面表示制御装置に関し、人物検出を確実に行
い、かつ人物の移動があっても見やすい画像表示を自動
的に行うことを課題とする。 【解決手段】 カメラ１が、人物を含めた会議室全体の
広角撮影画像を人物位置検出手段２および画像切出手段
３へ送る。人物位置検出手段２は、送られた画像を基に
して人物位置を検出する。画像切出手段３が、人物位置
検出手段２により検出された人物位置の画面上での移動
度合いに応じて、人物を含めた表示されるべき画像範囲
を決定し、カメラ１の画像から当該画像範囲を切り出
す。画面調整手段４が、画像切出手段３により切り出さ
れた画像を画像表示装置の画面の大きさに調整する。
議端末の画面表示制御装置に関し、人物検出を確実に行
い、かつ人物の移動があっても見やすい画像表示を自動
的に行うことを課題とする。 【解決手段】 カメラ１が、人物を含めた会議室全体の
広角撮影画像を人物位置検出手段２および画像切出手段
３へ送る。人物位置検出手段２は、送られた画像を基に
して人物位置を検出する。画像切出手段３が、人物位置
検出手段２により検出された人物位置の画面上での移動
度合いに応じて、人物を含めた表示されるべき画像範囲
を決定し、カメラ１の画像から当該画像範囲を切り出
す。画面調整手段４が、画像切出手段３により切り出さ
れた画像を画像表示装置の画面の大きさに調整する。
Description
【０００１】
【発明の属する技術分野】本発明は、テレビ会議端末の
画面表示制御装置に関し、特に、人物画像の適切な表示
を行うためのテレビ会議端末の画面表示制御装置に関す
る。
画面表示制御装置に関し、特に、人物画像の適切な表示
を行うためのテレビ会議端末の画面表示制御装置に関す
る。
【０００２】テレビ会議端末においては、相手端末で再
生される画像に自端末側の人物が正常に写っているかど
うかを確認することが必要である。これを行わないとせ
っかくテレビ会議を行っているにもかかわらず、相手に
送られた画像に人物が含まれていなかったり、人物の一
部しか含まれていないことがしばしば発生し、円滑なテ
レビ会議の進行を阻害する。本発明は、そうした人物像
の確実な送信に関する技術を提供する。
生される画像に自端末側の人物が正常に写っているかど
うかを確認することが必要である。これを行わないとせ
っかくテレビ会議を行っているにもかかわらず、相手に
送られた画像に人物が含まれていなかったり、人物の一
部しか含まれていないことがしばしば発生し、円滑なテ
レビ会議の進行を阻害する。本発明は、そうした人物像
の確実な送信に関する技術を提供する。
【０００３】
【従来の技術】従来の最も一般的な装置では、相手端末
へ送信している画像を、自端末側の画像表示装置の画面
の一部にもモニタ画像として表示するようにしている。
この装置では、送信側において、モニタ画面に写ってい
る人物自身がその画面を見ながら定期的に自分の姿が正
常に送られているか、すなわち、画面の中に正常に入っ
ているかどうかを常時確認し、画面から自分の画像がは
み出しているような場合には、手動でカメラの向きを修
正するなどの行為が必要となる。そのため、自分の姿が
正常に送られているかどうかを常に気を使っていなけれ
ばならず、またカメラの位置を修正したりすることによ
りテレビ会議の円滑な進行を阻害するという問題を抱え
ている。
へ送信している画像を、自端末側の画像表示装置の画面
の一部にもモニタ画像として表示するようにしている。
この装置では、送信側において、モニタ画面に写ってい
る人物自身がその画面を見ながら定期的に自分の姿が正
常に送られているか、すなわち、画面の中に正常に入っ
ているかどうかを常時確認し、画面から自分の画像がは
み出しているような場合には、手動でカメラの向きを修
正するなどの行為が必要となる。そのため、自分の姿が
正常に送られているかどうかを常に気を使っていなけれ
ばならず、またカメラの位置を修正したりすることによ
りテレビ会議の円滑な進行を阻害するという問題を抱え
ている。
【０００４】また、カメラ自身にズーム機構および首振
り機構を持たせたものを使用し、首振りやズームの操作
を相手端末側や自端末側で行うようにした装置もある。
この装置では、こうした操作を行う操作者が必要とな
る。特に操作者が会議参加者である場合には操作に意識
が集中してしまい、円滑な会議の進行の妨げとなる。
り機構を持たせたものを使用し、首振りやズームの操作
を相手端末側や自端末側で行うようにした装置もある。
この装置では、こうした操作を行う操作者が必要とな
る。特に操作者が会議参加者である場合には操作に意識
が集中してしまい、円滑な会議の進行の妨げとなる。
【０００５】こうした上記の装置ではいずれも、送信側
の人物像が受信端末に正しく表示されるようにするため
に、注意を集中しなければならない人や操作を行わなけ
ればならない人が必要である。こうした人の介在を無用
とすることを可能にした装置として、従来、送信側にお
いて、広角で解像度の高い固定カメラにより人物を含め
て会議室全体を撮影し、その画像を基にして人物の存在
する領域を検出し、人物を中心に据えた一定の大きさの
画像を切り取り、受信側の画像表示装置の画面に合わせ
た大きさに拡大して受信側へ送るようにしたものがあ
る。この装置では、人物が移動しても、その移動が、広
角の固定カメラで撮影されている範囲内であれば、受信
側の表示装置の画面中央に常時その人物像を表示するこ
とが可能である。
の人物像が受信端末に正しく表示されるようにするため
に、注意を集中しなければならない人や操作を行わなけ
ればならない人が必要である。こうした人の介在を無用
とすることを可能にした装置として、従来、送信側にお
いて、広角で解像度の高い固定カメラにより人物を含め
て会議室全体を撮影し、その画像を基にして人物の存在
する領域を検出し、人物を中心に据えた一定の大きさの
画像を切り取り、受信側の画像表示装置の画面に合わせ
た大きさに拡大して受信側へ送るようにしたものがあ
る。この装置では、人物が移動しても、その移動が、広
角の固定カメラで撮影されている範囲内であれば、受信
側の表示装置の画面中央に常時その人物像を表示するこ
とが可能である。
【０００６】
【発明が解決しようとする課題】しかし、上記の人物像
を受信側の画像表示装置の画面中央に自動的に常時表示
する装置では、後述のように人物像の検出に問題がある
とともに、人物像の検出ができたとしても、人物像の大
きさを一定にし、それを中心に据えた画像を切り出すた
め、人物の移動に伴い背景のみが変化する。こうした画
像では、背景を含めた人物の全体的な動きを把握するこ
とが困難になると共に、背景に関してはカメラ移動を過
度に行なったときと同じような感じの画像となり、違和
感のある見づらい画面表示になってしまう。
を受信側の画像表示装置の画面中央に自動的に常時表示
する装置では、後述のように人物像の検出に問題がある
とともに、人物像の検出ができたとしても、人物像の大
きさを一定にし、それを中心に据えた画像を切り出すた
め、人物の移動に伴い背景のみが変化する。こうした画
像では、背景を含めた人物の全体的な動きを把握するこ
とが困難になると共に、背景に関してはカメラ移動を過
度に行なったときと同じような感じの画像となり、違和
感のある見づらい画面表示になってしまう。
【０００７】なお従来の人物検出の方法としては、はじ
めに人物のいない状態の背景画像を記憶しておき、その
画像とテレビ会議中の人物を含む画像との差分を求める
ことにより人物位置を求める方法が知られている。しか
し、この方法は、背景に時間的変化が生じない場合にし
か適用できず、また、この方法ではカメラの向きや位置
を変えることもできないことになる。
めに人物のいない状態の背景画像を記憶しておき、その
画像とテレビ会議中の人物を含む画像との差分を求める
ことにより人物位置を求める方法が知られている。しか
し、この方法は、背景に時間的変化が生じない場合にし
か適用できず、また、この方法ではカメラの向きや位置
を変えることもできないことになる。
【０００８】また、従来の人物検出方法として、画像フ
レーム間の差分（動き量）を求めることで人物位置を抽
出する方法もあるが、フレーム間の細かなノイズや背景
の動きによるノイズなどが混在してしまい、十分安定し
た検出精度を得ることは難しい。
レーム間の差分（動き量）を求めることで人物位置を抽
出する方法もあるが、フレーム間の細かなノイズや背景
の動きによるノイズなどが混在してしまい、十分安定し
た検出精度を得ることは難しい。
【０００９】本発明はこのような点に鑑みてなされたも
のであり、人物検出を確実に行い、かつ人物の移動があ
っても見やすい画像表示を自動的に行うことを可能にし
たテレビ会議端末の画面表示制御装置を提供することを
目的とする。
のであり、人物検出を確実に行い、かつ人物の移動があ
っても見やすい画像表示を自動的に行うことを可能にし
たテレビ会議端末の画面表示制御装置を提供することを
目的とする。
【００１０】
【課題を解決するための手段】本発明では上記目的を達
成するために、図１に示すように、カメラ１から送られ
た広角撮影画像を基にして人物位置を検出する人物位置
検出手段２と、人物位置検出手段２により検出された人
物位置の画面上での移動度合いに応じて、人物を含めた
表示されるべき画像範囲を決定し、カメラ１の画像から
当該画像範囲を切り出す画像切出手段３と、画像切出手
段３により切り出された画像を画像表示装置の画面の大
きさに調整する画面調整手段４とを有することを特徴と
するテレビ会議端末の画面表示制御装置が提供される。
成するために、図１に示すように、カメラ１から送られ
た広角撮影画像を基にして人物位置を検出する人物位置
検出手段２と、人物位置検出手段２により検出された人
物位置の画面上での移動度合いに応じて、人物を含めた
表示されるべき画像範囲を決定し、カメラ１の画像から
当該画像範囲を切り出す画像切出手段３と、画像切出手
段３により切り出された画像を画像表示装置の画面の大
きさに調整する画面調整手段４とを有することを特徴と
するテレビ会議端末の画面表示制御装置が提供される。
【００１１】以上のような構成において、カメラ１が、
人物を含めた会議室全体の広角撮影画像を人物位置検出
手段２および画像切出手段３へ送る。カメラ１は、固定
された広角ビデオカメラである。人物位置検出手段２
は、送られた画像を基にして人物位置を検出する。具体
的には、カメラ１からの画像を基にして、まず人物の顔
位置を検出し、検出した顔位置を基準にして人物の身体
位置を検出する。これらの顔位置や身体位置の検出に
は、顔色や動きベクトルが利用される。
人物を含めた会議室全体の広角撮影画像を人物位置検出
手段２および画像切出手段３へ送る。カメラ１は、固定
された広角ビデオカメラである。人物位置検出手段２
は、送られた画像を基にして人物位置を検出する。具体
的には、カメラ１からの画像を基にして、まず人物の顔
位置を検出し、検出した顔位置を基準にして人物の身体
位置を検出する。これらの顔位置や身体位置の検出に
は、顔色や動きベクトルが利用される。
【００１２】つぎに、画像切出手段３が、人物位置検出
手段２により検出された人物位置の画面上での移動度合
いに応じて、人物を含めた表示されるべき画像範囲を決
定し、カメラ１の画像から当該画像範囲を切り出す。す
なわち、人物位置の画面上での移動度合いを検出し、こ
の移動度合いが大きいときには、人物を含めた表示され
るべき画像範囲を大きく設定し、一方、移動度合いが小
さいときには、人物を含めた表示されるべき画像範囲を
小さく設定する。そして、カメラ１の画像から、この設
定された画像範囲の画像を抽出する。
手段２により検出された人物位置の画面上での移動度合
いに応じて、人物を含めた表示されるべき画像範囲を決
定し、カメラ１の画像から当該画像範囲を切り出す。す
なわち、人物位置の画面上での移動度合いを検出し、こ
の移動度合いが大きいときには、人物を含めた表示され
るべき画像範囲を大きく設定し、一方、移動度合いが小
さいときには、人物を含めた表示されるべき画像範囲を
小さく設定する。そして、カメラ１の画像から、この設
定された画像範囲の画像を抽出する。
【００１３】最後に、画面調整手段４が、画像切出手段
３により切り出された画像を画像表示装置の画面の大き
さに調整する。このようにして、人物抽出を確実に行
い、かつ人物の移動があっても、自動的にズームアウト
する方法により見やすい画像表示を可能としている。
３により切り出された画像を画像表示装置の画面の大き
さに調整する。このようにして、人物抽出を確実に行
い、かつ人物の移動があっても、自動的にズームアウト
する方法により見やすい画像表示を可能としている。
【００１４】
【発明の実施の形態】以下、本発明の実施の形態を、図
面を参照して説明する。まず、本発明に係るテレビ会議
端末の画面表示制御装置の第１の実施の形態の原理構成
を、図１を参照して説明する。本実施の形態は、カメラ
１から送られた広角撮影画像を基にして人物位置を検出
する人物位置検出手段２と、人物位置検出手段２により
検出された人物位置の画面上での移動度合いに応じて、
人物を含めた表示されるべき画像範囲を決定し、カメラ
１の画像から当該画像範囲を切り出す画像切出手段３
と、画像切出手段３により切り出された画像を画像表示
装置の画面の大きさに調整する画面調整手段４とから構
成される。
面を参照して説明する。まず、本発明に係るテレビ会議
端末の画面表示制御装置の第１の実施の形態の原理構成
を、図１を参照して説明する。本実施の形態は、カメラ
１から送られた広角撮影画像を基にして人物位置を検出
する人物位置検出手段２と、人物位置検出手段２により
検出された人物位置の画面上での移動度合いに応じて、
人物を含めた表示されるべき画像範囲を決定し、カメラ
１の画像から当該画像範囲を切り出す画像切出手段３
と、画像切出手段３により切り出された画像を画像表示
装置の画面の大きさに調整する画面調整手段４とから構
成される。
【００１５】以上のような構成において、カメラ１が、
人物を含めた会議室全体の広角撮影画像を人物位置検出
手段２および画像切出手段３へ送る。カメラ１は、固定
された広角ビデオカメラである。人物位置検出手段２
は、送られた画像を基にして人物位置を検出する。具体
的には、カメラ１からの画像を基にして、まず人物の顔
位置を検出し、検出した顔位置を基準にして人物の身体
位置を検出する。これらの顔位置や身体位置の検出に
は、顔色や動きベクトルが利用される。
人物を含めた会議室全体の広角撮影画像を人物位置検出
手段２および画像切出手段３へ送る。カメラ１は、固定
された広角ビデオカメラである。人物位置検出手段２
は、送られた画像を基にして人物位置を検出する。具体
的には、カメラ１からの画像を基にして、まず人物の顔
位置を検出し、検出した顔位置を基準にして人物の身体
位置を検出する。これらの顔位置や身体位置の検出に
は、顔色や動きベクトルが利用される。
【００１６】つぎに、画像切出手段３が、人物位置検出
手段２により検出された人物位置の画面上での移動度合
いに応じて、人物を含めた表示されるべき画像範囲を決
定し、カメラ１の画像から当該画像範囲を切り出す。す
なわち、人物位置の画面上での移動度合いを検出し、こ
の移動度合いが大きいときには、人物を含めた表示され
るべき画像範囲を大きく設定し、一方、移動度合いが小
さいときには、人物を含めた表示されるべき画像範囲を
小さく設定する。そして、カメラ１の画像から、この設
定された画像範囲の画像を抽出する。
手段２により検出された人物位置の画面上での移動度合
いに応じて、人物を含めた表示されるべき画像範囲を決
定し、カメラ１の画像から当該画像範囲を切り出す。す
なわち、人物位置の画面上での移動度合いを検出し、こ
の移動度合いが大きいときには、人物を含めた表示され
るべき画像範囲を大きく設定し、一方、移動度合いが小
さいときには、人物を含めた表示されるべき画像範囲を
小さく設定する。そして、カメラ１の画像から、この設
定された画像範囲の画像を抽出する。
【００１７】最後に、画面調整手段４が、画像切出手段
３により切り出された画像を画像表示装置の画面の大き
さに調整する。このようにして、人物抽出を確実に行
い、かつ人物の移動があっても、自動的にズームアウト
する方法により見やすい画像表示を可能としている。
３により切り出された画像を画像表示装置の画面の大き
さに調整する。このようにして、人物抽出を確実に行
い、かつ人物の移動があっても、自動的にズームアウト
する方法により見やすい画像表示を可能としている。
【００１８】図２は第１の実施の形態の詳しい構成を示
すブロック図である。なお、図１に示す構成と図２に示
す構成との対応関係については、図２に基づく説明を行
なった後に記述する。
すブロック図である。なお、図１に示す構成と図２に示
す構成との対応関係については、図２に基づく説明を行
なった後に記述する。
【００１９】図中、カメラ１１が、会議に参加している
人物を含めた会議室全体を撮影し、その画像をフレーム
メモリ１２へ送り、格納する。カメラ１１は、広範囲に
撮影することができる広角のテレビカメラであるととも
に、高解像度のテレビカメラである。ズーム機構や首振
り機構を備えてはいず、カメラ１１の向きや位置も固定
されている。
人物を含めた会議室全体を撮影し、その画像をフレーム
メモリ１２へ送り、格納する。カメラ１１は、広範囲に
撮影することができる広角のテレビカメラであるととも
に、高解像度のテレビカメラである。ズーム機構や首振
り機構を備えてはいず、カメラ１１の向きや位置も固定
されている。
【００２０】フレームメモリ１２に蓄えられた画像情報
に対して、所定数の画素間隔のサンプリングが行われ、
間引きフレームメモリ１３に蓄えられる。顔位置検出回
路１４は、間引きフレームメモリ１３に蓄えられた画像
情報を処理することにより人物の顔位置や大きさを検出
する。その顔位置や大きさを基にして、人物位置検出回
路１５が、人物の身体の位置の検出を行う。こうして検
出された人物位置を基にして、切り出し位置決定回路１
６が、人物位置が移動している場合には、その人物像を
含めた画像の切り出されるべき範囲を広く設定し（後述
のようにズームアウトしたような画像になる）、人物位
置が移動していない場合にはその画像の切り出されるべ
き範囲を狭く設定する（後述のようにズームインしたよ
うな画像になる）。
に対して、所定数の画素間隔のサンプリングが行われ、
間引きフレームメモリ１３に蓄えられる。顔位置検出回
路１４は、間引きフレームメモリ１３に蓄えられた画像
情報を処理することにより人物の顔位置や大きさを検出
する。その顔位置や大きさを基にして、人物位置検出回
路１５が、人物の身体の位置の検出を行う。こうして検
出された人物位置を基にして、切り出し位置決定回路１
６が、人物位置が移動している場合には、その人物像を
含めた画像の切り出されるべき範囲を広く設定し（後述
のようにズームアウトしたような画像になる）、人物位
置が移動していない場合にはその画像の切り出されるべ
き範囲を狭く設定する（後述のようにズームインしたよ
うな画像になる）。
【００２１】画像切り出し回路１７は、設定された範囲
のアスペクト比を調整の上、フレームメモリ１２に格納
された画像から、その範囲の画像を切り出して画像拡大
縮小回路１８へ送る。画像拡大縮小回路１８は、送られ
た画像を、受信側の画像表示装置の画面に合わせた大き
さに調整して、切り出し画像フレームバッファ１９に格
納する。画像圧縮回路２０は、切り出し画像フレームバ
ッファ１９から読み出した画像データに対して、ＣＣＩ
ＴＴ−Ｈ．２６１などの標準化された画像符号化方法に
より情報量の圧縮を行い、受信側へ出力する。
のアスペクト比を調整の上、フレームメモリ１２に格納
された画像から、その範囲の画像を切り出して画像拡大
縮小回路１８へ送る。画像拡大縮小回路１８は、送られ
た画像を、受信側の画像表示装置の画面に合わせた大き
さに調整して、切り出し画像フレームバッファ１９に格
納する。画像圧縮回路２０は、切り出し画像フレームバ
ッファ１９から読み出した画像データに対して、ＣＣＩ
ＴＴ−Ｈ．２６１などの標準化された画像符号化方法に
より情報量の圧縮を行い、受信側へ出力する。
【００２２】なお、図１に示すカメラ１は図２のカメラ
１１に対応し、図１に示す人物位置検出手段２は図２の
顔位置検出回路１４および人物位置検出回路１５に対応
し、図１に示す画像切出手段３は図２の切り出し位置決
定回路１６および画像切り出し回路１７に対応し、図１
に示す画面調整手段４は図２の画像拡大縮小回路１８に
対応する。
１１に対応し、図１に示す人物位置検出手段２は図２の
顔位置検出回路１４および人物位置検出回路１５に対応
し、図１に示す画像切出手段３は図２の切り出し位置決
定回路１６および画像切り出し回路１７に対応し、図１
に示す画面調整手段４は図２の画像拡大縮小回路１８に
対応する。
【００２３】図３は顔位置検出回路１４の動作を説明す
る図である。顔位置検出回路１４は、色識別を基本とす
る顔位置検出処理（処理２３，データ２４）とフレーム
間微分を基本とする顔位置検出処理（処理２５，データ
２６）を行い、それらの結果を用いて人物の顔位置を特
定する（データ２７，データ２８）。それらの処理を高
速に行うために、フレームメモリ１２に格納された原画
像２１の全画素に対してではなく、所定数の画素間隔の
サンプル点（サンプル点配列データ２２）に対してこう
した処理を行うようにする。そのために、顔位置検出回
路１４の処理に先立って、データのサンプリングが行わ
れる。
る図である。顔位置検出回路１４は、色識別を基本とす
る顔位置検出処理（処理２３，データ２４）とフレーム
間微分を基本とする顔位置検出処理（処理２５，データ
２６）を行い、それらの結果を用いて人物の顔位置を特
定する（データ２７，データ２８）。それらの処理を高
速に行うために、フレームメモリ１２に格納された原画
像２１の全画素に対してではなく、所定数の画素間隔の
サンプル点（サンプル点配列データ２２）に対してこう
した処理を行うようにする。そのために、顔位置検出回
路１４の処理に先立って、データのサンプリングが行わ
れる。
【００２４】すなわち、原画像２１の左上を起点とする
画像データ配列をＰx,y とすると、サンプル点配列デー
タ２２のサンプル点Ｑi,j （n ）を、下記式（１）に基
づき算出する。
画像データ配列をＰx,y とすると、サンプル点配列デー
タ２２のサンプル点Ｑi,j （n ）を、下記式（１）に基
づき算出する。
【００２５】
【数１】
【００２６】ただし、ｎはフレーム番号、ｓx はｘ方向
間引き間隔、ｓy はｙ方向間引き間隔である。なお、原
画像２１の画像データはカラー情報であるので、Ｐおよ
びＱはＲＧＢデータまたはＹＣ表現による３次ベクトル
値である。
間引き間隔、ｓy はｙ方向間引き間隔である。なお、原
画像２１の画像データはカラー情報であるので、Ｐおよ
びＱはＲＧＢデータまたはＹＣ表現による３次ベクトル
値である。
【００２７】こうしたサンプル点配列データ２２のサン
プル点Ｑi,j （n ）を用いて、顔位置検出回路１４は、
色識別を基本とする顔位置検出処理を行う。すなわち、
下記式（２）に基づき、サンプル点Ｑi,j （n ）と、人
物顔色の標準辞書の中に登録されている色との距離を、
色評価値Ｅci,jとして算出する（処理２３）。
プル点Ｑi,j （n ）を用いて、顔位置検出回路１４は、
色識別を基本とする顔位置検出処理を行う。すなわち、
下記式（２）に基づき、サンプル点Ｑi,j （n ）と、人
物顔色の標準辞書の中に登録されている色との距離を、
色評価値Ｅci,jとして算出する（処理２３）。
【００２８】
【数２】
【００２９】ここで、Ｄc （ｋ）は、前もって設定され
た人物の顔色（肌色）に関する標準値であり、Ｎd は標
準値の個数、｜｜は絶対値、Ｗ(k) は標準値毎の分散を
基本とする重み係数である。
た人物の顔色（肌色）に関する標準値であり、Ｎd は標
準値の個数、｜｜は絶対値、Ｗ(k) は標準値毎の分散を
基本とする重み係数である。
【００３０】こうして得られた色評価値Ｅci,jが、図３
のデータ２４である。ここでは、色評価値Ｅci,jが大き
く、顔色に近い点を大きな黒丸で図示している。なお、
カメラ１１の色入力値の偏りや、照明などの影響を考慮
して、上記の色評価値の代わりに、下記式（３）で表さ
れるようなＱ'i,jを使用するようにしてもよい。
のデータ２４である。ここでは、色評価値Ｅci,jが大き
く、顔色に近い点を大きな黒丸で図示している。なお、
カメラ１１の色入力値の偏りや、照明などの影響を考慮
して、上記の色評価値の代わりに、下記式（３）で表さ
れるようなＱ'i,jを使用するようにしてもよい。
【００３１】
【数３】
【００３２】ただし、Ｓc は画面内の平均色を示すオフ
セット量であり、下記式（４）で表せる。
セット量であり、下記式（４）で表せる。
【００３３】
【数４】
【００３４】また、サンプル点配列データ２２のサンプ
ル点Ｑi,j （n ）を用いて、顔位置検出回路１４は、フ
レーム間微分を基本とする顔位置検出処理を行う。すな
わち、下記式（５）に基づき、フレーム間差分である動
きに対する評価値Ｅmi,jを算出する（処理２５）。
ル点Ｑi,j （n ）を用いて、顔位置検出回路１４は、フ
レーム間微分を基本とする顔位置検出処理を行う。すな
わち、下記式（５）に基づき、フレーム間差分である動
きに対する評価値Ｅmi,jを算出する（処理２５）。
【００３５】
【数５】
【００３６】ただし、Ｎp は差分を取るための次数、ａ
k は予測のための係数である。例えばＮp ＝１、ａ1 ＝
１とすると、単純なフレーム間差分を計算することにな
る。Ｎｄ、ａk は、実際には画像のフレーム間の時間に
より指定されることが望ましい。
k は予測のための係数である。例えばＮp ＝１、ａ1 ＝
１とすると、単純なフレーム間差分を計算することにな
る。Ｎｄ、ａk は、実際には画像のフレーム間の時間に
より指定されることが望ましい。
【００３７】こうして得られた動き評価値Ｅmi,jが、図
３のデータ２６である。ここでは、動き評価値Ｅmi,jが
大きく、したがって人物像である可能性の高い点を大き
な黒丸で図示している。
３のデータ２６である。ここでは、動き評価値Ｅmi,jが
大きく、したがって人物像である可能性の高い点を大き
な黒丸で図示している。
【００３８】以上の色評価値Ｅc および動き評価値Ｅm
を基にして、総合的な顔位置の評価値Ｅi,j を下記式
（６）により定義する。
を基にして、総合的な顔位置の評価値Ｅi,j を下記式
（６）により定義する。
【００３９】
【数６】
【００４０】ここで、Ａc 、Ａm はそれぞれ、色評価値
Ｅc および動き評価値Ｅm の線形結合用の重み係数であ
る。なお、動き評価値Ｅm は基本的に微分操作を含んで
いるため、顔の周辺部分のみで大きくなり、顔の中心部
では小さくなる傾向がある。こうしたこと避けるため、
動き評価値Ｅm を隣接周辺部分に伝搬し、安定した顔の
検出を実現することが望ましい。そのためには、下記式
（７）に基づき「ぼかし」処理を施した総合評価値Ｅi,
j を得るようにする。
Ｅc および動き評価値Ｅm の線形結合用の重み係数であ
る。なお、動き評価値Ｅm は基本的に微分操作を含んで
いるため、顔の周辺部分のみで大きくなり、顔の中心部
では小さくなる傾向がある。こうしたこと避けるため、
動き評価値Ｅm を隣接周辺部分に伝搬し、安定した顔の
検出を実現することが望ましい。そのためには、下記式
（７）に基づき「ぼかし」処理を施した総合評価値Ｅi,
j を得るようにする。
【００４１】
【数７】
【００４２】ここで、Ａm(i,j)は動き評価値Ｅm を加算
するための加算重み係数値であり、ガウス分布またはピ
ラミッド型の重み係数として設定される。このようにし
て各サンプル点毎に計算された総合評価値Ｅi,j を用い
て、顔位置検出回路１４は顔位置の検出を行う。すなわ
ち、全サンプル点について、下記式（８）を満たす点を
顔候補点として登録する（データ２７）。
するための加算重み係数値であり、ガウス分布またはピ
ラミッド型の重み係数として設定される。このようにし
て各サンプル点毎に計算された総合評価値Ｅi,j を用い
て、顔位置検出回路１４は顔位置の検出を行う。すなわ
ち、全サンプル点について、下記式（８）を満たす点を
顔候補点として登録する（データ２７）。
【００４３】
【数８】
【００４４】ここで、ＴＨf は顔位置の検出のための評
価基準値であり、前もって設定されるものである。この
ようにして得られた顔候補点の座標をパラメータとする
クラスタリング処理またはヒストグラム（投影）による
グルーピング処理を行うことにより、顔候補点の座標を
数個のグループに分割する。このグループ毎の点群に対
する外接四角形を計算することにより顔位置および顔の
大きさを得ることができる（データ２８）。
価基準値であり、前もって設定されるものである。この
ようにして得られた顔候補点の座標をパラメータとする
クラスタリング処理またはヒストグラム（投影）による
グルーピング処理を行うことにより、顔候補点の座標を
数個のグループに分割する。このグループ毎の点群に対
する外接四角形を計算することにより顔位置および顔の
大きさを得ることができる（データ２８）。
【００４５】以上の処理により一度顔位置を検出した
後、その時に検出された顔色の値をその後の顔位置検出
処理の際の標本色に設定する。これにより、顔位置検出
処理の精度の向上を図ることが可能である。
後、その時に検出された顔色の値をその後の顔位置検出
処理の際の標本色に設定する。これにより、顔位置検出
処理の精度の向上を図ることが可能である。
【００４６】図４は人物位置検出回路１５の動作を示す
図である。人物位置検出回路１５には、顔位置検出回路
１４から、図３のデータ２６およびデータ２８が送られ
る。これらを図４では、データ３３およびデータ３１と
それぞれ表すことにする。また人物位置検出回路１５に
は、人物の顔位置に対する身体位置の形状を知識データ
ベース３２として予め記憶しておく。これらのデータ２
６、データ２８、知識データベース３２を基にして、人
物位置検出回路１５は人物位置の検出を行う（処理３
４）。
図である。人物位置検出回路１５には、顔位置検出回路
１４から、図３のデータ２６およびデータ２８が送られ
る。これらを図４では、データ３３およびデータ３１と
それぞれ表すことにする。また人物位置検出回路１５に
は、人物の顔位置に対する身体位置の形状を知識データ
ベース３２として予め記憶しておく。これらのデータ２
６、データ２８、知識データベース３２を基にして、人
物位置検出回路１５は人物位置の検出を行う（処理３
４）。
【００４７】すなわち、まず、知識データベース３２と
して、顔位置の中心を基準とする身体位置の相対座標群
を座標列により指定する。または、そうした相対座標群
を、判定関数と、それに付随する評価値計算のための係
数または係数式とにより定義する。このとき、身体位置
は顔の大きさをパラメータとして決定される。
して、顔位置の中心を基準とする身体位置の相対座標群
を座標列により指定する。または、そうした相対座標群
を、判定関数と、それに付随する評価値計算のための係
数または係数式とにより定義する。このとき、身体位置
は顔の大きさをパラメータとして決定される。
【００４８】具体的には、顔位置を基準とする身体位置
の相対座標群は次の様に表現される。 （ａ）人物の身体形状を三角形で近似する場合には、人
物の顔位置を座標中心（原点）と考えたときに、人物の
身体形状を下記式（９ａ），（９ｂ）を満たす範囲とし
て表すことができる。
の相対座標群は次の様に表現される。 （ａ）人物の身体形状を三角形で近似する場合には、人
物の顔位置を座標中心（原点）と考えたときに、人物の
身体形状を下記式（９ａ），（９ｂ）を満たす範囲とし
て表すことができる。
【００４９】
【数９】
【００５０】人物位置検出回路１５は、こうした範囲を
人物の身体が存在する可能性のある場所と見做して、デ
ータ３３を基に、その範囲における動き評価値Ｅmi,jが
大きい場所を探索する。 （ｂ）人物の身体形状を四角形で近似する場合には、人
物の顔位置を座標中心（原点）と考えたときに、人物の
身体形状を下記式（１０ａ），（１０ｂ）を満たす範囲
として表すことができる。
人物の身体が存在する可能性のある場所と見做して、デ
ータ３３を基に、その範囲における動き評価値Ｅmi,jが
大きい場所を探索する。 （ｂ）人物の身体形状を四角形で近似する場合には、人
物の顔位置を座標中心（原点）と考えたときに、人物の
身体形状を下記式（１０ａ），（１０ｂ）を満たす範囲
として表すことができる。
【００５１】
【数１０】
【００５２】人物位置検出回路１５は、こうした範囲を
人物の身体が存在する可能性のある場所と見做して、デ
ータ３３を基に、その範囲における動き評価値Ｅmi,jが
大きい場所を探索する。 （ｃ）人物身体形状を重み付き三角形領域で定義する場
合には、まず、下記式（１１）により身体位置に対応す
る重みＣｂを算出する。
人物の身体が存在する可能性のある場所と見做して、デ
ータ３３を基に、その範囲における動き評価値Ｅmi,jが
大きい場所を探索する。 （ｃ）人物身体形状を重み付き三角形領域で定義する場
合には、まず、下記式（１１）により身体位置に対応す
る重みＣｂを算出する。
【００５３】
【数１１】
【００５４】ただし、Ａ，Ｂは定数であり、ａ０は下記
式（１２）により算出する。
式（１２）により算出する。
【００５５】
【数１２】
【００５６】ここで、ｘｆ，ｙｆは顔の中心座標値であ
る。そして、こうして得られた重みＣｂを用いて、下記
式（１３）に基づき動き評価値Ｅ'mi,j を算出する。
る。そして、こうして得られた重みＣｂを用いて、下記
式（１３）に基づき動き評価値Ｅ'mi,j を算出する。
【００５７】
【数１３】
【００５８】この動き評価値Ｅ'mi,j のうちで、下記式
（１４）を満たす値を以て、人物の身体が存在する位置
とする。
（１４）を満たす値を以て、人物の身体が存在する位置
とする。
【００５９】
【数１４】
【００６０】ただし、ＴＨb は身体位置の検出のための
評価基準値であり、前もって設定されるものである。動
き評価値Ｅ'mi,j を実際の身体位置の判定パラメータと
することにより、安定に身体位置の検出を実現すること
が可能となる。
評価基準値であり、前もって設定されるものである。動
き評価値Ｅ'mi,j を実際の身体位置の判定パラメータと
することにより、安定に身体位置の検出を実現すること
が可能となる。
【００６１】上記の場合（ａ）または場合（ｂ）の場合
には、下記式（１５）を満たす値を以て、人物の身体が
存在する位置とする。
には、下記式（１５）を満たす値を以て、人物の身体が
存在する位置とする。
【００６２】
【数１５】
【００６３】すなわち、上記の場合（ａ）または場合
（ｂ）の場合、人物の身体が存在する可能性のある場所
の中で、動き評価値Ｅmi,jが規定値ＴＨｂを越える部分
を身体位置とする。実際は、図４のデータ３５に示すよ
うに、上記式（１４）または（１５）を満たす値からな
る人物身体位置および顔位置を含む外接四角形をもって
人物位置とする。人物位置検出回路１５は、顔中心位
置、身体位置、頭部大きさ、人物外接四角形位置に関す
る情報を切り出し位置決定回路１６へ送る。
（ｂ）の場合、人物の身体が存在する可能性のある場所
の中で、動き評価値Ｅmi,jが規定値ＴＨｂを越える部分
を身体位置とする。実際は、図４のデータ３５に示すよ
うに、上記式（１４）または（１５）を満たす値からな
る人物身体位置および顔位置を含む外接四角形をもって
人物位置とする。人物位置検出回路１５は、顔中心位
置、身体位置、頭部大きさ、人物外接四角形位置に関す
る情報を切り出し位置決定回路１６へ送る。
【００６４】なお、人物位置の検出にあたり、複数の人
物が存在すると判断され得るサンプル点グループが存在
する場合には、複数人物を包含する領域を切り出し領域
とするようにしてもよい。また、顔の面積を比べ、面積
最大の人物のみを画像切り出し対象としてもよい。さら
に、選択スイッチにより、こうした両方の方式を備え、
それらのうちのいずれか一方の方式を選択できるように
してもよい。
物が存在すると判断され得るサンプル点グループが存在
する場合には、複数人物を包含する領域を切り出し領域
とするようにしてもよい。また、顔の面積を比べ、面積
最大の人物のみを画像切り出し対象としてもよい。さら
に、選択スイッチにより、こうした両方の方式を備え、
それらのうちのいずれか一方の方式を選択できるように
してもよい。
【００６５】つぎに、切り出し位置決定回路１６が人物
画像切り出し位置の決定を行う。その決定の手順を、図
５を参照して説明する。図５は切り出し位置決定回路１
６による人物画像切り出し位置の決定手順を示すフロー
チャートである。以下、図中のステップに沿って説明す
る。
画像切り出し位置の決定を行う。その決定の手順を、図
５を参照して説明する。図５は切り出し位置決定回路１
６による人物画像切り出し位置の決定手順を示すフロー
チャートである。以下、図中のステップに沿って説明す
る。
【００６６】〔Ｓ１〕身体位置パラメータの初期化を行
う。その後、各フレーム毎または数フレーム毎に以下の
処理を行う。各フレーム毎に処理を行うこととすると、
処理が頻繁になるため細かな身体の動きやノイズなどの
影響で切り出し位置が頻繁に動いてしまい、人物画像と
して非常に不安定で見にくいものとなる場合がある。そ
ういった場合に数フレーム毎の処理とすることで画像を
見やすいものにすることが可能である。
う。その後、各フレーム毎または数フレーム毎に以下の
処理を行う。各フレーム毎に処理を行うこととすると、
処理が頻繁になるため細かな身体の動きやノイズなどの
影響で切り出し位置が頻繁に動いてしまい、人物画像と
して非常に不安定で見にくいものとなる場合がある。そ
ういった場合に数フレーム毎の処理とすることで画像を
見やすいものにすることが可能である。
【００６７】〔Ｓ２〕現在の人物位置情報を人物位置検
出回路１５から読み込み、それに基づいて画像切り出し
領域の決定を行う。人物位置検出回路１５からは顔中心
位置、身体位置、頭部大きさ、人物外接四角形位置など
の情報がもたらされるが、ここでは人物外接四角形位置
を用いて画像切り出し領域の決定を行う。
出回路１５から読み込み、それに基づいて画像切り出し
領域の決定を行う。人物位置検出回路１５からは顔中心
位置、身体位置、頭部大きさ、人物外接四角形位置など
の情報がもたらされるが、ここでは人物外接四角形位置
を用いて画像切り出し領域の決定を行う。
【００６８】すなわち、図６に示すように、人物外接四
角形４１の位置はＸＬ（左側）、ＸＲ（右側）、ＹＵ
（上側）、ＹＤ（下側）によって表現される。ところ
で、頻繁に画像切り出し領域の変更を行わないようにす
るためには、画像切り出し領域を、人物外接四角形領域
が安定に包含されるように設定することが望ましい。そ
のために、画像切り出し領域をＳL （左側）、ＳR （右
側）、ＳU （上側）、ＳD（下側）とした場合に、これ
らを次のように決定するようにする。
角形４１の位置はＸＬ（左側）、ＸＲ（右側）、ＹＵ
（上側）、ＹＤ（下側）によって表現される。ところ
で、頻繁に画像切り出し領域の変更を行わないようにす
るためには、画像切り出し領域を、人物外接四角形領域
が安定に包含されるように設定することが望ましい。そ
のために、画像切り出し領域をＳL （左側）、ＳR （右
側）、ＳU （上側）、ＳD（下側）とした場合に、これ
らを次のように決定するようにする。
【００６９】まず、ＸL 、ＸR 、ＹU 、ＹD に対して、
下記式（１６ａ），（１６ｂ），（１６ｃ），（１６
ｄ）に基づきメディアンフィルタリング処理を行い、Ｓ
L ' 、ＳR ' 、ＳU ' 、ＳD ' を算出する。
下記式（１６ａ），（１６ｂ），（１６ｃ），（１６
ｄ）に基づきメディアンフィルタリング処理を行い、Ｓ
L ' 、ＳR ' 、ＳU ' 、ＳD ' を算出する。
【００７０】
【数１６】
【００７１】ここで、ＭＩＤはメディアンフィルタリン
グ処理を示し、Ｎa 、Ｎb はそれぞれメディアンフィル
タ個数と中央値個数を示す。この式により計算されたＳ
L '、ＳR ' 、ＳU ' 、ＳD ' を元にして、下記式（１
７ａ），（１７ｂ），（１７ｃ），（１７ｄ）に基づ
き、画像切り出し領域ＳL 、ＳR 、ＳU 、ＳD を決定す
る。
グ処理を示し、Ｎa 、Ｎb はそれぞれメディアンフィル
タ個数と中央値個数を示す。この式により計算されたＳ
L '、ＳR ' 、ＳU ' 、ＳD ' を元にして、下記式（１
７ａ），（１７ｂ），（１７ｃ），（１７ｄ）に基づ
き、画像切り出し領域ＳL 、ＳR 、ＳU 、ＳD を決定す
る。
【００７２】
【数１７】
【００７３】ここで、Ｎc はＳL 、ＳR 、ＳU 、ＳD の
最大、最小を求める際のサンプル時間間隔である。 〔Ｓ３〕人物位置検出回路１５から送られた顔中心位
置、身体位置等を用いて、所定時間に人物が画面内で移
動する量を算出する。
最大、最小を求める際のサンプル時間間隔である。 〔Ｓ３〕人物位置検出回路１５から送られた顔中心位
置、身体位置等を用いて、所定時間に人物が画面内で移
動する量を算出する。
【００７４】〔Ｓ４〕その算出された移動量を所定値と
比較し、移動量が所定値よりも大きいときにはステップ
Ｓ５へ進み、移動量が所定値よりも小さいときにはステ
ップＳ７へ進む。
比較し、移動量が所定値よりも大きいときにはステップ
Ｓ５へ進み、移動量が所定値よりも小さいときにはステ
ップＳ７へ進む。
【００７５】〔Ｓ５〕ステップＳ４の判別が行われた今
回よりも前の移動量を所定値と比較し、移動量が所定値
よりも大きいときにはステップＳ２へ戻り、移動量が所
定値よりも小さいときにはステップＳ６へ進む。
回よりも前の移動量を所定値と比較し、移動量が所定値
よりも大きいときにはステップＳ２へ戻り、移動量が所
定値よりも小さいときにはステップＳ６へ進む。
【００７６】〔Ｓ６〕過去に人物の移動量が多くなかっ
たので、画像切り出し領域が狭く設定されているはずで
ある。そうした状態において、今回、移動量が多い場合
には、その人物が切り出された画面の外に出てしまう可
能性があるので、画像切り出し領域を、移動量に応じた
量だけ広く設定する。すなわち、移動する人物を追尾す
るのではなく、結果的にズームアウトしたような画像表
示がなされるように画像切り出し領域を設定する。
たので、画像切り出し領域が狭く設定されているはずで
ある。そうした状態において、今回、移動量が多い場合
には、その人物が切り出された画面の外に出てしまう可
能性があるので、画像切り出し領域を、移動量に応じた
量だけ広く設定する。すなわち、移動する人物を追尾す
るのではなく、結果的にズームアウトしたような画像表
示がなされるように画像切り出し領域を設定する。
【００７７】〔Ｓ７〕ステップＳ４の判別が行われた今
回よりも前の移動量を所定値と比較し、移動量が所定値
よりも小さいときにはステップＳ２へ戻り、移動量が所
定値よりも大きいときにはステップＳ８へ進む。
回よりも前の移動量を所定値と比較し、移動量が所定値
よりも小さいときにはステップＳ２へ戻り、移動量が所
定値よりも大きいときにはステップＳ８へ進む。
【００７８】〔Ｓ８〕過去に人物の移動量が多かったの
で、画像切り出し領域が広く設定され、人物像が小さく
画面表示されているはずである。そうした状態におい
て、今回、移動量が少ない場合には、その人物があまり
動かなくなったと思われるので、画像切り出し領域を移
動量に応じた量だけ狭く設定する。すなわち、結果的に
人物に対してズームインしたような画像表示がなされる
ように画像切り出し領域を設定する。
で、画像切り出し領域が広く設定され、人物像が小さく
画面表示されているはずである。そうした状態におい
て、今回、移動量が少ない場合には、その人物があまり
動かなくなったと思われるので、画像切り出し領域を移
動量に応じた量だけ狭く設定する。すなわち、結果的に
人物に対してズームインしたような画像表示がなされる
ように画像切り出し領域を設定する。
【００７９】〔Ｓ９〕ステップＳ６またはステップＳ８
の設定に従い、最終切り出し領域を指定する。 〔Ｓ１０〕最終切り出し領域と現在の切り出し領域との
間に中間的な切り出し領域を指定する。この中間切り出
し領域は、画像圧縮回路２０での画像符号化において符
号情報量が極端に増加しないようにするために設定する
ものであり、その点を考慮して段階的に変化する複数の
中間切り出し領域を設定するようにする。
の設定に従い、最終切り出し領域を指定する。 〔Ｓ１０〕最終切り出し領域と現在の切り出し領域との
間に中間的な切り出し領域を指定する。この中間切り出
し領域は、画像圧縮回路２０での画像符号化において符
号情報量が極端に増加しないようにするために設定する
ものであり、その点を考慮して段階的に変化する複数の
中間切り出し領域を設定するようにする。
【００８０】〔Ｓ１１〕中間切り出し領域に基づく画像
切りだしを行なった結果、最終切り出し領域に達したか
否かを判別し、最終切り出し領域に達していればステッ
プＳ２へ戻り、達していなければステップＳ１０へ戻
る。
切りだしを行なった結果、最終切り出し領域に達したか
否かを判別し、最終切り出し領域に達していればステッ
プＳ２へ戻り、達していなければステップＳ１０へ戻
る。
【００８１】図７は、送信側から送られた符号化画像を
受信側で復号化して画像表示装置に表示した場合の画面
の例を示す図である。すなわち、カメラ１１により原画
像４２が撮影されたとする。通信開始時においては、受
信側で画面４３のようにほぼ全体画像を表示するように
する。次に、原画像４２において人物に動きがなく安定
している場合には、画像切り出し領域を狭くし、画面４
４のようなズームイン画像にする。その後、さらに人物
が安定している場合には、画像切り出し領域をさらに狭
くし、画面４５のようなズームイン画像にする。なお、
画面４３から画面４４へ、さらに画面４５への変化は画
面を見る人にとって違和感のない滑らかさと速度とで行
う。
受信側で復号化して画像表示装置に表示した場合の画面
の例を示す図である。すなわち、カメラ１１により原画
像４２が撮影されたとする。通信開始時においては、受
信側で画面４３のようにほぼ全体画像を表示するように
する。次に、原画像４２において人物に動きがなく安定
している場合には、画像切り出し領域を狭くし、画面４
４のようなズームイン画像にする。その後、さらに人物
が安定している場合には、画像切り出し領域をさらに狭
くし、画面４５のようなズームイン画像にする。なお、
画面４３から画面４４へ、さらに画面４５への変化は画
面を見る人にとって違和感のない滑らかさと速度とで行
う。
【００８２】ここで、画面４５のズームイン状態におい
て人物が移動した場合には、画像切り出し領域を大きく
し、移動した人物を包含する位置にまで大きくする。そ
の結果、画面４４さらには画面４３へ移行する。
て人物が移動した場合には、画像切り出し領域を大きく
し、移動した人物を包含する位置にまで大きくする。そ
の結果、画面４４さらには画面４３へ移行する。
【００８３】以上のように、人物の顔位置を顔の色情報
と顔の動き情報とにより検出し、その顔位置を基にして
身体位置の検出を行っている。身体位置の検出には、顔
位置を基準として探索範囲を決定し、その探索範囲にお
ける動き検出によって身体位置を検出している。このた
め、背景中に移動する物があっても人物像の抽出を確実
に行うことができる。また、人物が移動した場合に、人
物画像の追跡を行うのではなく、ズームアウトと等価な
画像切り出しを行うようにする。これにより、非常に見
やすいテレビ会議画像の表示を実現している。
と顔の動き情報とにより検出し、その顔位置を基にして
身体位置の検出を行っている。身体位置の検出には、顔
位置を基準として探索範囲を決定し、その探索範囲にお
ける動き検出によって身体位置を検出している。このた
め、背景中に移動する物があっても人物像の抽出を確実
に行うことができる。また、人物が移動した場合に、人
物画像の追跡を行うのではなく、ズームアウトと等価な
画像切り出しを行うようにする。これにより、非常に見
やすいテレビ会議画像の表示を実現している。
【００８４】次に、第２の実施の形態を説明する。図８
は、第２の実施の形態を示す構成図である。カメラ５１
が、会議に参加している複数の人物を含めた会議室全体
を撮影し、その画像（ＲＧＢ信号またはＹＵＶ信号）を
フレームメモリ５２へ送り、格納する。カメラ５１は、
広範囲に撮影することができる広角のテレビカメラであ
るとともに、高解像度の性能を備えたカラーテレビカメ
ラである。ズーム機構や首振り機構を備えてはいず、カ
メラ５１の向きや位置も固定されている。今回フレーム
（ｎ）の画像がフレームメモリ５２に送られると、フレ
ームメモリ５２は今回フレーム（ｎ）の画像を格納する
とともに、前回フレーム（ｎ−１）の画像をフレームメ
モリ５３へ送り、そこに格納させる。
は、第２の実施の形態を示す構成図である。カメラ５１
が、会議に参加している複数の人物を含めた会議室全体
を撮影し、その画像（ＲＧＢ信号またはＹＵＶ信号）を
フレームメモリ５２へ送り、格納する。カメラ５１は、
広範囲に撮影することができる広角のテレビカメラであ
るとともに、高解像度の性能を備えたカラーテレビカメ
ラである。ズーム機構や首振り機構を備えてはいず、カ
メラ５１の向きや位置も固定されている。今回フレーム
（ｎ）の画像がフレームメモリ５２に送られると、フレ
ームメモリ５２は今回フレーム（ｎ）の画像を格納する
とともに、前回フレーム（ｎ−１）の画像をフレームメ
モリ５３へ送り、そこに格納させる。
【００８５】フレーム間差分回路５４は、フレームメモ
リ５２から今回フレームを読み出し、また、フレームメ
モリ５３から前回フレームを読み出し、両者の差分を算
出する。そして、この差分のフレーム全体にわたった平
均値εn を算出する。この平均値εn を閾値として利用
してフレーム間差分の２値化を行い、動画素出力Ｍx, y
を確保する。フレーム内差分回路５５は、フレームメモ
リ５２から今回フレームを読み出し、フレーム内差分を
算出する。そして、平均値εn を閾値として利用してフ
レーム内差分の２値化を行い、エッジ画素出力Ｅx,y を
確保する。
リ５２から今回フレームを読み出し、また、フレームメ
モリ５３から前回フレームを読み出し、両者の差分を算
出する。そして、この差分のフレーム全体にわたった平
均値εn を算出する。この平均値εn を閾値として利用
してフレーム間差分の２値化を行い、動画素出力Ｍx, y
を確保する。フレーム内差分回路５５は、フレームメモ
リ５２から今回フレームを読み出し、フレーム内差分を
算出する。そして、平均値εn を閾値として利用してフ
レーム内差分の２値化を行い、エッジ画素出力Ｅx,y を
確保する。
【００８６】重複領域抽出回路５６は、動画素出力Ｍ
x,y とエッジ画素出力Ｅx,y との重複部分を算出し、こ
れを動画エッジ画素ＭＥx,y とする。動画エッジ画素Ｍ
Ｅx,yは、会議に参加している複数の人物の実際の存在
位置を表している可能性が高い。
x,y とエッジ画素出力Ｅx,y との重複部分を算出し、こ
れを動画エッジ画素ＭＥx,y とする。動画エッジ画素Ｍ
Ｅx,yは、会議に参加している複数の人物の実際の存在
位置を表している可能性が高い。
【００８７】人物抽出回路５７は、動画エッジ画素ＭＥ
x,y を基にして、人物の存在する可能性の高い領域を特
定する。人物判定回路５８は、人物抽出回路５７で特定
された領域の形状が、一般の人物の形状と見なせるか否
かを判定する。人物の形状と見なせると判定された場
合、顔位置人物位置検出回路５９は、人物抽出回路５７
で特定された領域の形状を基に、顔位置及び身体位置を
特定する。
x,y を基にして、人物の存在する可能性の高い領域を特
定する。人物判定回路５８は、人物抽出回路５７で特定
された領域の形状が、一般の人物の形状と見なせるか否
かを判定する。人物の形状と見なせると判定された場
合、顔位置人物位置検出回路５９は、人物抽出回路５７
で特定された領域の形状を基に、顔位置及び身体位置を
特定する。
【００８８】色情報保存回路６２には、前回フレームま
での処理において抽出された人物の顔に関する色パター
ン情報が格納されている。色パターンマッチング回路６
０は、顔位置人物位置検出回路５９で検出された顔位置
における色パターンを、色情報保存回路６２に格納され
ている色パターン情報と比較する。これによって、さら
に人物抽出回路５７で特定された領域の形状が、人物の
形状と見なせるか否かを判定する。登録処理回路６１
は、こうした判定の結果に基づき、色情報保存回路６２
に、今回フレームの処理において抽出された人物の顔に
関する色パターン情報を格納する。
での処理において抽出された人物の顔に関する色パター
ン情報が格納されている。色パターンマッチング回路６
０は、顔位置人物位置検出回路５９で検出された顔位置
における色パターンを、色情報保存回路６２に格納され
ている色パターン情報と比較する。これによって、さら
に人物抽出回路５７で特定された領域の形状が、人物の
形状と見なせるか否かを判定する。登録処理回路６１
は、こうした判定の結果に基づき、色情報保存回路６２
に、今回フレームの処理において抽出された人物の顔に
関する色パターン情報を格納する。
【００８９】画像切出回路６３は、予め設定されている
切り出し処理モードに基づき、カメラ５１より送られた
画像から、画像表示装置に出力されるべき画像範囲を切
り出す。画像拡大縮小回路６４は、画像切出回路６３に
より切り出された画像を、画像表示装置に合うように拡
大または縮小し、一時的に切り出し画像フレームバッフ
ァ６５に格納する。
切り出し処理モードに基づき、カメラ５１より送られた
画像から、画像表示装置に出力されるべき画像範囲を切
り出す。画像拡大縮小回路６４は、画像切出回路６３に
より切り出された画像を、画像表示装置に合うように拡
大または縮小し、一時的に切り出し画像フレームバッフ
ァ６５に格納する。
【００９０】画像圧縮回路６６は、切り出し画像フレー
ムバッファ６５から画像を読み出し、ＣＣＩＴＴ−Ｈ．
２６１の画像符号化方式により情報量の圧縮を行い、符
号化画像を出力する。
ムバッファ６５から画像を読み出し、ＣＣＩＴＴ−Ｈ．
２６１の画像符号化方式により情報量の圧縮を行い、符
号化画像を出力する。
【００９１】こうした構成の詳しい動作を、図９を参照
して説明する。図９は、第２の実施の形態における動作
を示すフローチャートである。このフローチャートはカ
メラ５１から新たなフレームが入力される毎に実行され
る。以下、図中のステップ番号に沿って説明する。
して説明する。図９は、第２の実施の形態における動作
を示すフローチャートである。このフローチャートはカ
メラ５１から新たなフレームが入力される毎に実行され
る。以下、図中のステップ番号に沿って説明する。
【００９２】〔Ｓ２１〕フレーム間差分回路５４は、フ
レームメモリ５２から今回フレーム（ｎ）の画素値Ｐ
n,x,y を読み出し、また、フレームメモリ５３から前回
フレーム（ｎ−１）の画素値Ｐn-1,x,y を読み出す。こ
こでｘ、ｙはフレーム内の各画素の座標を示す。これら
を使用して下記式（１８）に基づき、フレーム間差分の
平均値εn を算出する。
レームメモリ５２から今回フレーム（ｎ）の画素値Ｐ
n,x,y を読み出し、また、フレームメモリ５３から前回
フレーム（ｎ−１）の画素値Ｐn-1,x,y を読み出す。こ
こでｘ、ｙはフレーム内の各画素の座標を示す。これら
を使用して下記式（１８）に基づき、フレーム間差分の
平均値εn を算出する。
【００９３】
【数１８】
【００９４】ただし、Ｎはフレーム内の画素の総数であ
る。 〔Ｓ２２〕フレーム間差分回路５４は、画素値Ｐn,x,y
と画素値Ｐn-1,x,y とを使用して下記式（１９）に基づ
き、フレーム間差分値Ｄn を算出する。
る。 〔Ｓ２２〕フレーム間差分回路５４は、画素値Ｐn,x,y
と画素値Ｐn-1,x,y とを使用して下記式（１９）に基づ
き、フレーム間差分値Ｄn を算出する。
【００９５】
【数１９】
【００９６】〔Ｓ２３〕フレーム間差分回路５４は、下
記式（２０）が成立する画素に対しては値１（動画素）
を付与し、成立しない画素に対しては値０（静止画素）
を付与し、動画素出力Ｍx,y として出力する。
記式（２０）が成立する画素に対しては値１（動画素）
を付与し、成立しない画素に対しては値０（静止画素）
を付与し、動画素出力Ｍx,y として出力する。
【００９７】
【数２０】
【００９８】ここでＴＨmov は下記式（２１）によって
決まる値である。
決まる値である。
【００９９】
【数２１】
【０１００】なお、αmov は定数であり、これが大きい
値であると、動き量の大きい画像を構成する画素に対し
てだけ値１が付与される。これが小さい値であると、動
き量が小さくとも値１が付与されるが、不要なノイズ成
分にまで値１が付与されてしまう欠点がある。また、Ｔ
Ｈmov を平均値εn を用いて決定することにより、カメ
ラ５１で発生する定常的なノイズを除去したり、外部の
照明のフリッカによる映像全体の直流分のシフト等に対
して安定にフレーム間差分の検出を行い得るようにな
る。〔Ｓ２４〕動画素出力Ｍx,y において、値１の画素
が多数の値０の画素の中に１つまたは２つ孤立して存在
するときに、フレーム間差分回路５４は、その値１の画
素を値０の画素に変換する。また逆に、値０の画素が多
数の値１の画素の中に１つまたは２つ孤立して存在する
ときに、その値０の画素を値１の画素に変換する。これ
によって、ノイズが除去される。
値であると、動き量の大きい画像を構成する画素に対し
てだけ値１が付与される。これが小さい値であると、動
き量が小さくとも値１が付与されるが、不要なノイズ成
分にまで値１が付与されてしまう欠点がある。また、Ｔ
Ｈmov を平均値εn を用いて決定することにより、カメ
ラ５１で発生する定常的なノイズを除去したり、外部の
照明のフリッカによる映像全体の直流分のシフト等に対
して安定にフレーム間差分の検出を行い得るようにな
る。〔Ｓ２４〕動画素出力Ｍx,y において、値１の画素
が多数の値０の画素の中に１つまたは２つ孤立して存在
するときに、フレーム間差分回路５４は、その値１の画
素を値０の画素に変換する。また逆に、値０の画素が多
数の値１の画素の中に１つまたは２つ孤立して存在する
ときに、その値０の画素を値１の画素に変換する。これ
によって、ノイズが除去される。
【０１０１】〔Ｓ２５〕フレーム内差分回路５５は、フ
レームメモリ５２から今回フレーム（ｎ）の画素値Ｐ
n,x,y を読み出し、フレーム内差分を算出する。この算
出は、多値画像に対するラプラシアン処理方法や方向別
のグラディエント抽出処理方法を使用する。そして、平
均値εn を閾値として利用してフレーム内差分の２値化
を行い、エッジ画素出力Ｅx,y を確保する。
レームメモリ５２から今回フレーム（ｎ）の画素値Ｐ
n,x,y を読み出し、フレーム内差分を算出する。この算
出は、多値画像に対するラプラシアン処理方法や方向別
のグラディエント抽出処理方法を使用する。そして、平
均値εn を閾値として利用してフレーム内差分の２値化
を行い、エッジ画素出力Ｅx,y を確保する。
【０１０２】すなわち、フレーム内差分回路５５は、下
記式（２２）が成立する画素に対しては値１（エッジ画
素）を付与し、成立しない画素に対しては値０（非エッ
ジ画素）を付与し、エッジ画素出力Ｅx,y として出力す
る。
記式（２２）が成立する画素に対しては値１（エッジ画
素）を付与し、成立しない画素に対しては値０（非エッ
ジ画素）を付与し、エッジ画素出力Ｅx,y として出力す
る。
【０１０３】
【数２２】
【０１０４】ここでＴＨedg は下記式（２３）によって
決まる値である。
決まる値である。
【０１０５】
【数２３】
【０１０６】なお、αedg は定数であり、これが大きい
値であると、エッジが急峻な画像を構成する画素に対し
てだけ値１が付与される。これが小さい値であると、エ
ッジが緩やかであっても値１が付与されるが、不要なノ
イズ成分にまで値１が付与されてしまう欠点がある。ま
た、ＴＨedg を平均値εn を用いて決定することによ
り、カメラ５１で発生する定常的なノイズを除去した
り、外部の照明のフリッカによる映像全体の直流分のシ
フト等に対して安定にフレーム間差分の検出を行い得る
ようになる。
値であると、エッジが急峻な画像を構成する画素に対し
てだけ値１が付与される。これが小さい値であると、エ
ッジが緩やかであっても値１が付与されるが、不要なノ
イズ成分にまで値１が付与されてしまう欠点がある。ま
た、ＴＨedg を平均値εn を用いて決定することによ
り、カメラ５１で発生する定常的なノイズを除去した
り、外部の照明のフリッカによる映像全体の直流分のシ
フト等に対して安定にフレーム間差分の検出を行い得る
ようになる。
【０１０７】なおステップＳ２５においても、ステップ
Ｓ２４と同様な処理が行われる。〔Ｓ２６〕重複領域抽
出回路５６は、動画素出力Ｍx,y とエッジ画素出力Ｅx,
y とを用いて、下記式（２４）に基づき動画エッジ画素
ＭＥx,y を算出する。
Ｓ２４と同様な処理が行われる。〔Ｓ２６〕重複領域抽
出回路５６は、動画素出力Ｍx,y とエッジ画素出力Ｅx,
y とを用いて、下記式（２４）に基づき動画エッジ画素
ＭＥx,y を算出する。
【０１０８】
【数２４】
【０１０９】図１０は、こうして算出された動画エッジ
画素ＭＥx,y の一例を示す図である。図中の升目は画素
を示し、空白の升目が値０の画素を表し、斜線部の升目
が値１の画素を表す。斜線部の升目が、人物の輪郭線を
示している可能性が高い。
画素ＭＥx,y の一例を示す図である。図中の升目は画素
を示し、空白の升目が値０の画素を表し、斜線部の升目
が値１の画素を表す。斜線部の升目が、人物の輪郭線を
示している可能性が高い。
【０１１０】すなわち、本発明とは異なり、フレーム間
差分だけにより人物画像を切り取る方式では、フレーム
間の時間間隔が長い場合に（例えば数フレーム／秒）、
前回フレームの撮影時点から今回フレームの撮影時点ま
での間に人物が急激に大きく移動したとき、その人物の
前回フレームでの画像位置と今回フレームでの画像位置
との両方にそれぞれ人物がいると判定されてしまうとい
う問題がある。しかし、本発明のようにフレーム間差分
に今回フレームでのフレーム内差分を組み合わせると、
そうした２人分の画像位置のうち、前回フレームでの画
像位置を消去することが可能となる。
差分だけにより人物画像を切り取る方式では、フレーム
間の時間間隔が長い場合に（例えば数フレーム／秒）、
前回フレームの撮影時点から今回フレームの撮影時点ま
での間に人物が急激に大きく移動したとき、その人物の
前回フレームでの画像位置と今回フレームでの画像位置
との両方にそれぞれ人物がいると判定されてしまうとい
う問題がある。しかし、本発明のようにフレーム間差分
に今回フレームでのフレーム内差分を組み合わせると、
そうした２人分の画像位置のうち、前回フレームでの画
像位置を消去することが可能となる。
【０１１１】〔Ｓ２７〕人物抽出回路５７は、動画エッ
ジ画素ＭＥx,y を基にして、人物の存在する可能性の高
い領域を特定する。図１１は、ステップＳ２７の詳細な
内容を示すフローチャートである。以下、このフローチ
ャートに沿って説明する。
ジ画素ＭＥx,y を基にして、人物の存在する可能性の高
い領域を特定する。図１１は、ステップＳ２７の詳細な
内容を示すフローチャートである。以下、このフローチ
ャートに沿って説明する。
【０１１２】〔Ｓ４１〕動画エッジ画素ＭＥx,y が展開
されている画面において、左上の画素を起点にしてラス
タースキャンを行う。ラスタースキャンは、画面の各画
素を左から右へ、上から下へと順に走査するものであ
る。
されている画面において、左上の画素を起点にしてラス
タースキャンを行う。ラスタースキャンは、画面の各画
素を左から右へ、上から下へと順に走査するものであ
る。
【０１１３】〔Ｓ４２〕ラスタースキャン対象となった
画素が、値１の画素（黒画素）であるか否か判別する。
その結果、値１の画素であればステップＳ４３へ進み、
値０の画素であれば、次の画素に対して再度ステップＳ
４２を実行する。
画素が、値１の画素（黒画素）であるか否か判別する。
その結果、値１の画素であればステップＳ４３へ進み、
値０の画素であれば、次の画素に対して再度ステップＳ
４２を実行する。
【０１１４】〔Ｓ４３〕値１の画素であるとされた画素
が、画面の右下の最終画素であれば、図１１のフローチ
ャートの処理を終了する。以上のステップの実行によっ
て、図１０に示した例では、画素ｐ１が検出される。
が、画面の右下の最終画素であれば、図１１のフローチ
ャートの処理を終了する。以上のステップの実行によっ
て、図１０に示した例では、画素ｐ１が検出される。
【０１１５】〔Ｓ４４〕値１の画素であるとされた画素
が存在する行において、この画素に連結し、かつ、値１
である画素を探す。見つかった場合さらに、見つけられ
た画素に連結し、かつ、値１である画素を繰り返し探
す。こうして同一行において、値１である画素の連続す
る画素群を検出する。
が存在する行において、この画素に連結し、かつ、値１
である画素を探す。見つかった場合さらに、見つけられ
た画素に連結し、かつ、値１である画素を繰り返し探
す。こうして同一行において、値１である画素の連続す
る画素群を検出する。
【０１１６】図１０に示す例では、画素ｐ１と画素ｐ２
とからなる画素群が検出される。 〔Ｓ４５〕ステップＳ４４で得られた画素群を基にし
て、その直ぐ下の行において、上の行の画素群の幅より
も所定量だけ幅を広くした探索エリアを決定する。この
探索エリアは上の行の画素群の直下に位置する。
とからなる画素群が検出される。 〔Ｓ４５〕ステップＳ４４で得られた画素群を基にし
て、その直ぐ下の行において、上の行の画素群の幅より
も所定量だけ幅を広くした探索エリアを決定する。この
探索エリアは上の行の画素群の直下に位置する。
【０１１７】図１２は、この探索エリアを説明する図で
ある。図中の升目は画素を示し、空白の升目が値０の画
素を表し、斜線部の升目が値１の画素を表す。例えば、
最上の第１の行Ｌ１で１０個の画素からなる画素群を検
出したとすると、次の第２の行Ｌ２では、例えば、左右
に３つの画素分だけ増やした１６個の画素からなる探索
エリアを決定する。第３の行Ｌ３でも同様にして探索エ
リアが決定される。
ある。図中の升目は画素を示し、空白の升目が値０の画
素を表し、斜線部の升目が値１の画素を表す。例えば、
最上の第１の行Ｌ１で１０個の画素からなる画素群を検
出したとすると、次の第２の行Ｌ２では、例えば、左右
に３つの画素分だけ増やした１６個の画素からなる探索
エリアを決定する。第３の行Ｌ３でも同様にして探索エ
リアが決定される。
【０１１８】〔Ｓ４６〕ステップＳ４５で決定された探
索エリア内に、値１の画素（黒画素）が存在するか否か
を判定する。存在すればステップＳ４７へ進み、存在し
なければステップＳ４８へ進む。
索エリア内に、値１の画素（黒画素）が存在するか否か
を判定する。存在すればステップＳ４７へ進み、存在し
なければステップＳ４８へ進む。
【０１１９】〔Ｓ４７〕ステップＳ４６で存在するとさ
れた複数の画素のうちの最外側の２つの画素で挟まれる
エリアを登録し、そのエリア内に位置する値１の画素を
値０の画素に変換する。次に実行されるステップＳ４５
では、このエリアを「画素群」として扱うようにする。
なお、上記エリアが、直ぐ上の行のエリアよりも狭くな
る場合には、直ぐ上の行のエリアの幅をこの行のエリア
の幅に設定する。
れた複数の画素のうちの最外側の２つの画素で挟まれる
エリアを登録し、そのエリア内に位置する値１の画素を
値０の画素に変換する。次に実行されるステップＳ４５
では、このエリアを「画素群」として扱うようにする。
なお、上記エリアが、直ぐ上の行のエリアよりも狭くな
る場合には、直ぐ上の行のエリアの幅をこの行のエリア
の幅に設定する。
【０１２０】〔Ｓ４８〕値１の画素が探索エリア内に存
在しない場合、その対象としている行のうち、ステップ
Ｓ４４で検出された画素群の下方に位置する部分におい
ては、「白行」と見なされるが、この白行が設定値以上
の数にわたって連続して存在するか否かを判定する。存
在するならばステップＳ４９へ進み、存在しないならば
ステップＳ４５へ戻る。
在しない場合、その対象としている行のうち、ステップ
Ｓ４４で検出された画素群の下方に位置する部分におい
ては、「白行」と見なされるが、この白行が設定値以上
の数にわたって連続して存在するか否かを判定する。存
在するならばステップＳ４９へ進み、存在しないならば
ステップＳ４５へ戻る。
【０１２１】〔Ｓ４９〕以上のステップＳ４２からステ
ップＳ４８までの実行によって、人物１人分の画像領域
が特定されたことになる。この画像領域を登録する。つ
ぎにステップＳ４２からステップＳ４８までを実行する
と、別の人物１人分の画像領域が特定される。そして、
全員が特定されると、図１１のフローチャートの処理を
終了する。
ップＳ４８までの実行によって、人物１人分の画像領域
が特定されたことになる。この画像領域を登録する。つ
ぎにステップＳ４２からステップＳ４８までを実行する
と、別の人物１人分の画像領域が特定される。そして、
全員が特定されると、図１１のフローチャートの処理を
終了する。
【０１２２】この結果、図１３に示すような登録画像領
域が得られる。図１３は、図１０に示す動画エッジ画素
ＭＥx,y が展開されている画面の例を基に得られた登録
画像領域を概ね示している。図１３中の升目は数画素分
を１目にしている。
域が得られる。図１３は、図１０に示す動画エッジ画素
ＭＥx,y が展開されている画面の例を基に得られた登録
画像領域を概ね示している。図１３中の升目は数画素分
を１目にしている。
【０１２３】図９に戻って、 〔Ｓ２８〕人物判定回路５８は、ステップＳ４９で特定
された人物毎の画像領域を基に、その特定された画像領
域が人物に相当することを確認する。
された人物毎の画像領域を基に、その特定された画像領
域が人物に相当することを確認する。
【０１２４】すなわち、特定された人物毎の画像領域
が、例えば図１４に示すような形状であったとする。こ
の形状の上辺６８の長さと下辺６９の長さとの比や、下
辺６９の長さと体高７０の長さとの比を算出し、これら
が、前もって設定しておいた値の範囲内に収まっている
かどうかを調べる。この結果、設定範囲に収まらない画
像領域は捨てる。
が、例えば図１４に示すような形状であったとする。こ
の形状の上辺６８の長さと下辺６９の長さとの比や、下
辺６９の長さと体高７０の長さとの比を算出し、これら
が、前もって設定しておいた値の範囲内に収まっている
かどうかを調べる。この結果、設定範囲に収まらない画
像領域は捨てる。
【０１２５】〔Ｓ２９〕人物と認められる画像領域に関
しては、顔位置人物位置検出回路５９において、下記式
（２５）に示すような人物領域登録データＨn を人物毎
に作成する。
しては、顔位置人物位置検出回路５９において、下記式
（２５）に示すような人物領域登録データＨn を人物毎
に作成する。
【０１２６】
【数２５】
【０１２７】すなわち、図１４に示すように、下辺６９
と体高７０とによって表される人物矩形を作成するとと
もに、上辺６８と顔長さｆｌｙとによって表される顔矩
形を作成する。顔長さｆｌｙは、上辺６８に対する所定
比率によって算出される人物の顔の長さである。こうし
た各矩形において、ｘ、ｙが、人物矩形の左上角の点の
座標を示し、ｌｘは下辺６９の長さを示し、ｌｙは体高
７０の長さを示す。ｆｘ、ｆｙは、顔矩形の左上角の点
の座標を示し、ｆｌｘは上辺６８の長さを示す。
と体高７０とによって表される人物矩形を作成するとと
もに、上辺６８と顔長さｆｌｙとによって表される顔矩
形を作成する。顔長さｆｌｙは、上辺６８に対する所定
比率によって算出される人物の顔の長さである。こうし
た各矩形において、ｘ、ｙが、人物矩形の左上角の点の
座標を示し、ｌｘは下辺６９の長さを示し、ｌｙは体高
７０の長さを示す。ｆｘ、ｆｙは、顔矩形の左上角の点
の座標を示し、ｆｌｘは上辺６８の長さを示す。
【０１２８】図９に戻って、 〔Ｓ３０〕色パターンマッチング回路６０は、顔位置人
物位置検出回路５９で検出された顔位置における色パタ
ーンを、色情報保存回路６２に格納されている色パター
ン情報と比較する。これによって、さらに人物抽出回路
５７で特定された領域の形状が、人物の形状と見なせる
か否かを判定する。登録処理回路６１は、こうした判定
の結果に基づき、色情報保存回路６２に、今回フレーム
の処理において抽出された人物の顔に関する色パターン
情報を格納する。
物位置検出回路５９で検出された顔位置における色パタ
ーンを、色情報保存回路６２に格納されている色パター
ン情報と比較する。これによって、さらに人物抽出回路
５７で特定された領域の形状が、人物の形状と見なせる
か否かを判定する。登録処理回路６１は、こうした判定
の結果に基づき、色情報保存回路６２に、今回フレーム
の処理において抽出された人物の顔に関する色パターン
情報を格納する。
【０１２９】図１５は、ステップＳ３０の詳しい内容を
示すフローチャートである。以下、このフローチャート
に沿って説明する。 〔Ｓ５１〕今回検出された人物矩形が、前回検出された
人物矩形とオーバラップしているか否かを判別する。オ
ーバラップしていれば、同一人の可能性が高いと判断し
てステップ５２へ進み、オーバラップしていなければ、
別人の可能性が高いと判断してステップＳ５５へ進む。
示すフローチャートである。以下、このフローチャート
に沿って説明する。 〔Ｓ５１〕今回検出された人物矩形が、前回検出された
人物矩形とオーバラップしているか否かを判別する。オ
ーバラップしていれば、同一人の可能性が高いと判断し
てステップ５２へ進み、オーバラップしていなければ、
別人の可能性が高いと判断してステップＳ５５へ進む。
【０１３０】〔Ｓ５２〕今回検出された人物矩形内の顔
矩形における色パターンを、オーバラップしている前回
検出された人物矩形の顔矩形における色パターンと比較
する。その結果、類似度が大きい場合にはステップＳ５
３へ進み、類似度が小さい場合にはステップＳ５４へ進
む。
矩形における色パターンを、オーバラップしている前回
検出された人物矩形の顔矩形における色パターンと比較
する。その結果、類似度が大きい場合にはステップＳ５
３へ進み、類似度が小さい場合にはステップＳ５４へ進
む。
【０１３１】〔Ｓ５３〕前回検出された人物矩形内の顔
矩形における色パターンを更新せずに、そのまま、色情
報保存回路６２に保存する。 〔Ｓ５４〕色情報保存回路６２に保存されている、前回
検出された人物矩形内の顔矩形における色パターンに代
えて、今回検出された人物矩形内の顔矩形における色パ
ターンを保存する。
矩形における色パターンを更新せずに、そのまま、色情
報保存回路６２に保存する。 〔Ｓ５４〕色情報保存回路６２に保存されている、前回
検出された人物矩形内の顔矩形における色パターンに代
えて、今回検出された人物矩形内の顔矩形における色パ
ターンを保存する。
【０１３２】〔Ｓ５５〕ステップＳ５１〜Ｓ５４の処理
を人物矩形毎に行い、検出された全部の人物矩形に対し
て処理が終了するとステップＳ５６へ進む。 〔Ｓ５６〕ステップＳ５１においてオーバラップなしと
判別された人物矩形に対して、新たな人物が画面に登場
したものとして、新たに、今回検出された人物矩形内の
顔矩形における色パターンを、色情報保存回路６２に保
存する。
を人物矩形毎に行い、検出された全部の人物矩形に対し
て処理が終了するとステップＳ５６へ進む。 〔Ｓ５６〕ステップＳ５１においてオーバラップなしと
判別された人物矩形に対して、新たな人物が画面に登場
したものとして、新たに、今回検出された人物矩形内の
顔矩形における色パターンを、色情報保存回路６２に保
存する。
【０１３３】〔Ｓ５７〕ステップＳ５１においてオーバ
ラップなしと判別された人物矩形が複数存在する場合、
ステップＳ５６の処理を、人物矩形毎に行い、全部の人
物矩形に対して処理が終了するとステップＳ５８へ進
む。
ラップなしと判別された人物矩形が複数存在する場合、
ステップＳ５６の処理を、人物矩形毎に行い、全部の人
物矩形に対して処理が終了するとステップＳ５８へ進
む。
【０１３４】〔Ｓ５８〕ステップＳ５２で類似度大とさ
れた人物矩形に対しては、今回検出された人物矩形内の
顔矩形における色パターンを、この顔矩形の位置にある
前回検出された人物矩形の色パターンと比較する。その
結果、類似度が大きい場合にはステップＳ６０へ進み、
類似度が小さい場合にはステップＳ５９へ進む。
れた人物矩形に対しては、今回検出された人物矩形内の
顔矩形における色パターンを、この顔矩形の位置にある
前回検出された人物矩形の色パターンと比較する。その
結果、類似度が大きい場合にはステップＳ６０へ進み、
類似度が小さい場合にはステップＳ５９へ進む。
【０１３５】〔Ｓ５９〕この場合の人物矩形は、ステッ
プ５６で登録された人物矩形の残り分であると思われる
ので、消去する。 〔Ｓ６０〕この場合、人物が静止状態であるか、または
人物以外の静止物を人物と見なしている可能性がある。
そこで、その人物矩形に対して、ステップＳ５８によっ
て類似度大と判別された回数を、静止カウンタによりカ
ウントする。
プ５６で登録された人物矩形の残り分であると思われる
ので、消去する。 〔Ｓ６０〕この場合、人物が静止状態であるか、または
人物以外の静止物を人物と見なしている可能性がある。
そこで、その人物矩形に対して、ステップＳ５８によっ
て類似度大と判別された回数を、静止カウンタによりカ
ウントする。
【０１３６】〔Ｓ６１〕静止カウンタのカウント値が所
定数ＴＨstopよりも大きくなった場合には、ステップＳ
６２へ進む。 〔Ｓ６２〕人物がどいた後の壁などの画像を、そのまま
人物として扱っていた可能性が高いので、この人物矩形
を削除する。
定数ＴＨstopよりも大きくなった場合には、ステップＳ
６２へ進む。 〔Ｓ６２〕人物がどいた後の壁などの画像を、そのまま
人物として扱っていた可能性が高いので、この人物矩形
を削除する。
【０１３７】〔Ｓ６３〕ステップＳ５２において類似度
大と判別された人物矩形が複数存在する場合、ステップ
Ｓ５８〜Ｓ６２の処理を、人物矩形毎に行う。人物矩形
の全部に対して各処理が終了すると、図１５に示すフロ
ーチャートの処理を終了する。
大と判別された人物矩形が複数存在する場合、ステップ
Ｓ５８〜Ｓ６２の処理を、人物矩形毎に行う。人物矩形
の全部に対して各処理が終了すると、図１５に示すフロ
ーチャートの処理を終了する。
【０１３８】こうした図１５に示すフローチャートの処
理を実行することにより、登録処理回路６１は、下記式
（２６）で表される最終的な人物切り出し矩形ＨＲn を
出力する。
理を実行することにより、登録処理回路６１は、下記式
（２６）で表される最終的な人物切り出し矩形ＨＲn を
出力する。
【０１３９】
【数２６】
【０１４０】なお、Ｎｍは、切り出された人物矩形の数
である。図９に戻って、 〔Ｓ３１〕画像切出回路６３は人物切り出し矩形ＨＲn
を受け取り、予め設定されている切り出し処理モードに
基づき、カメラ５１より送られた画像から、画像表示装
置に出力されるべき画像範囲を切り出す。
である。図９に戻って、 〔Ｓ３１〕画像切出回路６３は人物切り出し矩形ＨＲn
を受け取り、予め設定されている切り出し処理モードに
基づき、カメラ５１より送られた画像から、画像表示装
置に出力されるべき画像範囲を切り出す。
【０１４１】図１６は、ステップＳ３１の詳しい内容を
示すフローチャートである。以下、このフローチャート
に沿って説明する。 〔Ｓ７１〕切り出し矩形パラメータを初期化する。
示すフローチャートである。以下、このフローチャート
に沿って説明する。 〔Ｓ７１〕切り出し矩形パラメータを初期化する。
【０１４２】〔Ｓ７２〕人物切り出し矩形ＨＲn を読み
込む。 〔Ｓ７３〕切り出し処理モードが「全員包含モード」で
あるか、「個人切り出しモード」であるかを判別する。
「全員包含モード」であるならば、ステップＳ７４へ進
み、「個人切り出しモード」であれば、ステップＳ７５
へ進む。
込む。 〔Ｓ７３〕切り出し処理モードが「全員包含モード」で
あるか、「個人切り出しモード」であるかを判別する。
「全員包含モード」であるならば、ステップＳ７４へ進
み、「個人切り出しモード」であれば、ステップＳ７５
へ進む。
【０１４３】〔Ｓ７４〕各人の人物切り出し矩形ＨＲn
を全員分、包含する外接矩形を生成して出力する。 〔Ｓ７５〕「個人切り出しモード」であり、かつ人物が
指定されている場合には、その人物の人物切り出し矩形
ＨＲm を選択して出力する。
を全員分、包含する外接矩形を生成して出力する。 〔Ｓ７５〕「個人切り出しモード」であり、かつ人物が
指定されている場合には、その人物の人物切り出し矩形
ＨＲm を選択して出力する。
【０１４４】〔Ｓ７６〕出力された人物切り出し矩形の
アスペクト比は、画像表示装置の画面のアスペクト比と
異なっているので、これを調整する必要がある。この調
整を、図１７を参照して説明する。
アスペクト比は、画像表示装置の画面のアスペクト比と
異なっているので、これを調整する必要がある。この調
整を、図１７を参照して説明する。
【０１４５】図１７（Ａ）は、出力された人物切り出し
矩形の形状を表し、図１７（Ｂ）は、この形状が、画像
表示装置の画面のアスペクト比に調整された後の形状を
表す。図１７（Ａ）の形状の横縦の各長さをｘＬ，ｙＬ
とし、図１７（Ｂ）の形状の横縦の各長さをＸＬ，ＹＬ
とする。画像表示装置の画面のアスペクト比をＡとす
る。
矩形の形状を表し、図１７（Ｂ）は、この形状が、画像
表示装置の画面のアスペクト比に調整された後の形状を
表す。図１７（Ａ）の形状の横縦の各長さをｘＬ，ｙＬ
とし、図１７（Ｂ）の形状の横縦の各長さをＸＬ，ＹＬ
とする。画像表示装置の画面のアスペクト比をＡとす
る。
【０１４６】ここで、下記式（２７ａ）、（２７ｂ）に
基づき値α，βを算出する。
基づき値α，βを算出する。
【０１４７】
【数２７】
【０１４８】図１６に戻って、 〔Ｓ７７〕値αが値βよりも大きいならばステップＳ７
８へ進み、値αが値β以下であればステップＳ７９へ進
む。
８へ進み、値αが値β以下であればステップＳ７９へ進
む。
【０１４９】〔Ｓ７８〕下記式（２８ａ）、（２８ｂ）
に基づき、図１７（Ｂ）の形状の長さＸＬ，ＹＬを決定
する。
に基づき、図１７（Ｂ）の形状の長さＸＬ，ＹＬを決定
する。
【０１５０】
【数２８】
【０１５１】〔Ｓ７９〕下記式（２９ａ）、（２９ｂ）
に基づき、図１７（Ｂ）の形状の長さＸＬ，ＹＬを決定
する。
に基づき、図１７（Ｂ）の形状の長さＸＬ，ＹＬを決定
する。
【０１５２】
【数２９】
【０１５３】なお、切り出し処理モードが「個人切り出
しモード」であるときに、ステップＳ７５において、
「人物自動選択サブモード」が指定され得るようにして
もよい。この場合には、パラメータを算出比較すること
により特定の人物切り出し矩形ＨＲm を選択し、出力す
るようにする。パラメータとしては、人物矩形や顔矩形
の面積または平均移動量が考えられる。すなわち、これ
らの値がいずれも大きい場合、それらの値に対応する人
物は話し手である確率が高く、こうした人物の画像を切
り出すことが有効と思われる。
しモード」であるときに、ステップＳ７５において、
「人物自動選択サブモード」が指定され得るようにして
もよい。この場合には、パラメータを算出比較すること
により特定の人物切り出し矩形ＨＲm を選択し、出力す
るようにする。パラメータとしては、人物矩形や顔矩形
の面積または平均移動量が考えられる。すなわち、これ
らの値がいずれも大きい場合、それらの値に対応する人
物は話し手である確率が高く、こうした人物の画像を切
り出すことが有効と思われる。
【０１５４】人物矩形の面積Ｓｎ及び顔矩形の面積ＦＳ
ｎは下記式（３０ａ），（３０ｂ）に基づいて算出す
る。
ｎは下記式（３０ａ），（３０ｂ）に基づいて算出す
る。
【０１５５】
【数３０】
【０１５６】人物矩形の平均移動量Ｄave は下記式（３
１）に基づいて算出する。
１）に基づいて算出する。
【０１５７】
【数３１】
【０１５８】ただし、Ｄbodyは下記式（３２）のように
表される。
表される。
【０１５９】
【数３２】
【０１６０】顔矩形の平均移動量Ｆave は下記式（３
３）に基づいて算出する。
３）に基づいて算出する。
【０１６１】
【数３３】
【０１６２】ただし、Ｆbodyは下記式（３４）のように
表される。
表される。
【０１６３】
【数３４】
【０１６４】かくして画像切出回路６３により切り出さ
れた画像を、図８に示すように、画像拡大縮小回路６４
が、画像表示装置に合うように拡大または縮小を行い、
一時的に切り出し画像フレームバッファ６５に格納す
る。画像圧縮回路６６は、切り出し画像フレームバッフ
ァ６５から画像を読み出し、ＣＣＩＴＴ−Ｈ．２６１の
画像符号化方式により情報量の圧縮を行い、符号化画像
を出力する。
れた画像を、図８に示すように、画像拡大縮小回路６４
が、画像表示装置に合うように拡大または縮小を行い、
一時的に切り出し画像フレームバッファ６５に格納す
る。画像圧縮回路６６は、切り出し画像フレームバッフ
ァ６５から画像を読み出し、ＣＣＩＴＴ−Ｈ．２６１の
画像符号化方式により情報量の圧縮を行い、符号化画像
を出力する。
【０１６５】図１８は、カメラ５１で撮影された実際の
画像から人物矩形が切り出される様子を示す図であり、
（Ａ）、（Ｂ）、（Ｃ）の順に時間経過をしている。
（Ａ）、（Ｂ）、（Ｃ）の各図において、左端部分はカ
メラ５１の出力画像を示し、中部分はカメラ５１の出力
画像をそのまま画像表示装置に出力した場合の画像を示
し、右端部分はカメラ５１の出力画像から人物切り出し
を行った結果を画像表示装置に出力した場合の画像を示
している。（Ａ）、（Ｂ）、（Ｃ）の各図における左端
部分から分かるように、画面の中で１人の人物が左から
右へ、急激に移動している。そうした場合でも第２の実
施の形態では確実にその人物像を追尾することが可能で
ある。
画像から人物矩形が切り出される様子を示す図であり、
（Ａ）、（Ｂ）、（Ｃ）の順に時間経過をしている。
（Ａ）、（Ｂ）、（Ｃ）の各図において、左端部分はカ
メラ５１の出力画像を示し、中部分はカメラ５１の出力
画像をそのまま画像表示装置に出力した場合の画像を示
し、右端部分はカメラ５１の出力画像から人物切り出し
を行った結果を画像表示装置に出力した場合の画像を示
している。（Ａ）、（Ｂ）、（Ｃ）の各図における左端
部分から分かるように、画面の中で１人の人物が左から
右へ、急激に移動している。そうした場合でも第２の実
施の形態では確実にその人物像を追尾することが可能で
ある。
【０１６６】図１９は、カメラ５１で撮影された複数人
の人物画像を含む実際の画像から人物矩形が切り出され
る様子を示す図であり、（Ａ）はカメラ５１の出力画像
を示し、（Ｂ）は全員を切り出した場合の画像表示装置
の画面を示し、（Ｃ），（Ｄ），（Ｅ）は特定の１人を
切り出した場合の画像表示装置の画面を示す。
の人物画像を含む実際の画像から人物矩形が切り出され
る様子を示す図であり、（Ａ）はカメラ５１の出力画像
を示し、（Ｂ）は全員を切り出した場合の画像表示装置
の画面を示し、（Ｃ），（Ｄ），（Ｅ）は特定の１人を
切り出した場合の画像表示装置の画面を示す。
【０１６７】特定の１人を切り出すには、図１６のステ
ップ７５で示したように、自動的に特定の人物を選択す
る方法の他に、画像表示装置の画面に対して外部からマ
ウスポインタ等を利用して特定の人物を指定するように
してもよい。
ップ７５で示したように、自動的に特定の人物を選択す
る方法の他に、画像表示装置の画面に対して外部からマ
ウスポインタ等を利用して特定の人物を指定するように
してもよい。
【０１６８】
【発明の効果】人物位置検出手段が、カメラから送られ
た画像を基にして人物の顔位置を検出し、検出した顔位
置を基準にして人物の身体位置を検出する。つぎに、画
像切出手段が、人物位置の画面上での移動度合いに応じ
て、人物を含めた表示されるべき画像範囲を決定し、カ
メラの画像から当該画像範囲を切り出す。すなわち、人
物位置の画面上での移動度合いを検出し、この移動度合
いが大きいときには、人物を含めた表示されるべき画像
範囲を大きく設定し、一方、移動度合いが小さいときに
は、人物を含めた表示されるべき画像範囲を小さく設定
する。そして、カメラの画像から、この設定された画像
範囲の画像を抽出する。最後に、画面調整手段が、画像
切出手段により切り出された画像を画像表示装置の画面
の大きさに調整する。
た画像を基にして人物の顔位置を検出し、検出した顔位
置を基準にして人物の身体位置を検出する。つぎに、画
像切出手段が、人物位置の画面上での移動度合いに応じ
て、人物を含めた表示されるべき画像範囲を決定し、カ
メラの画像から当該画像範囲を切り出す。すなわち、人
物位置の画面上での移動度合いを検出し、この移動度合
いが大きいときには、人物を含めた表示されるべき画像
範囲を大きく設定し、一方、移動度合いが小さいときに
は、人物を含めた表示されるべき画像範囲を小さく設定
する。そして、カメラの画像から、この設定された画像
範囲の画像を抽出する。最後に、画面調整手段が、画像
切出手段により切り出された画像を画像表示装置の画面
の大きさに調整する。
【０１６９】このようにして、人物抽出を確実に行い、
かつ人物の移動があっても、自動的にズームアウトする
方法により見やすい画像表示を可能としている。また、
フレーム間差分とフレーム内差分との組み合わせ情報を
用いて人物の切り出しを行う。これにより、人物の動き
が大きな時でも正確に人物画像を切り出すことができ
る。
かつ人物の移動があっても、自動的にズームアウトする
方法により見やすい画像表示を可能としている。また、
フレーム間差分とフレーム内差分との組み合わせ情報を
用いて人物の切り出しを行う。これにより、人物の動き
が大きな時でも正確に人物画像を切り出すことができ
る。
【０１７０】さらに、人物位置の正確な検出から顔位置
の正確な推定も可能となる。これにより、たとえ切り出
された人物の動きが小さくなっても、単にフレーム間差
分をとって人物の存在領域を検出する従来の方法に比
べ、安定した人物追尾を実現できる。
の正確な推定も可能となる。これにより、たとえ切り出
された人物の動きが小さくなっても、単にフレーム間差
分をとって人物の存在領域を検出する従来の方法に比
べ、安定した人物追尾を実現できる。
【０１７１】またさらに、切り出された人物領域の形状
が持つ特徴を、一般の人物のそれと比較することによ
り、人物と人物以外の物との区別を明確に行うことが可
能となる。
が持つ特徴を、一般の人物のそれと比較することによ
り、人物と人物以外の物との区別を明確に行うことが可
能となる。
【０１７２】また、顔の色パターンを、それまでに記憶
していた色パターンと比較することにより、ほとんど静
止している人物についても良好に人物切り出しが可能と
なる。
していた色パターンと比較することにより、ほとんど静
止している人物についても良好に人物切り出しが可能と
なる。
【図１】本発明の原理説明図である。
【図２】第１の実施の形態の詳しい構成を示すブロック
図である。
図である。
【図３】顔位置検出回路の動作を説明する図である。
【図４】人物位置検出回路の動作を示す図である。
【図５】切り出し位置決定回路による人物画像切り出し
位置の決定手順を示すフローチャートである。
位置の決定手順を示すフローチャートである。
【図６】画面上の人物外接四角形位置を説明する図であ
る。
る。
【図７】送信側から送られた符号化画像を受信側で復号
化して画像表示装置に表示した場合の画面の例を示す図
である。
化して画像表示装置に表示した場合の画面の例を示す図
である。
【図８】第２の実施の形態を示す構成図である。
【図９】第２の実施の形態における動作を示すフローチ
ャートである。
ャートである。
【図１０】動画エッジ画素ＭＥx,y の一例を示す図であ
る。
る。
【図１１】図９におけるステップＳ２７の詳細な内容を
示すフローチャートである。
示すフローチャートである。
【図１２】探索エリアを説明する図である。
【図１３】登録画像領域を示す図である。
【図１４】特定された人物の画像領域を示す図である。
【図１５】図９におけるステップＳ３０の詳しい内容を
示すフローチャートである。
示すフローチャートである。
【図１６】図９におけるステップＳ３１の詳しい内容を
示すフローチャートである。
示すフローチャートである。
【図１７】（Ａ）は、出力された人物切り出し矩形の形
状を示す図であり、（Ｂ）は、この形状が、画像表示装
置の画面のアスペクト比に調整された後の形状を示す図
である。
状を示す図であり、（Ｂ）は、この形状が、画像表示装
置の画面のアスペクト比に調整された後の形状を示す図
である。
【図１８】（Ａ）は、カメラで撮影された実際の画像か
ら人物矩形が切り出される様子を示す第１の図であり、
（Ｂ）は、カメラで撮影された実際の画像から人物矩形
が切り出される様子を示す第２の図であり、（Ｃ）は、
カメラで撮影された実際の画像から人物矩形が切り出さ
れる様子を示す第３の図である。
ら人物矩形が切り出される様子を示す第１の図であり、
（Ｂ）は、カメラで撮影された実際の画像から人物矩形
が切り出される様子を示す第２の図であり、（Ｃ）は、
カメラで撮影された実際の画像から人物矩形が切り出さ
れる様子を示す第３の図である。
【図１９】（Ａ）は複数の人物画像を撮影したカメラか
らの出力画像を示す図であり、（Ｂ）は全員を切り出し
た場合の画像表示装置の画面を示す図であり、（Ｃ）は
特定の１人を切り出した場合の画像表示装置の画面を示
す図であり、（Ｄ）は他の特定の１人を切り出した場合
の画像表示装置の画面を示す図であり、（Ｅ）はさらに
他の特定の１人を切り出した場合の画像表示装置の画面
を示す図である。
らの出力画像を示す図であり、（Ｂ）は全員を切り出し
た場合の画像表示装置の画面を示す図であり、（Ｃ）は
特定の１人を切り出した場合の画像表示装置の画面を示
す図であり、（Ｄ）は他の特定の１人を切り出した場合
の画像表示装置の画面を示す図であり、（Ｅ）はさらに
他の特定の１人を切り出した場合の画像表示装置の画面
を示す図である。
１ カメラ ２ 人物位置検出手段 ３ 画像切出手段 ４ 画面調整手段
Claims (27)
- 【請求項１】 人物画像の適切な表示を行うためのテレ
ビ会議端末の画面表示制御装置において、 カメラから送られた広角撮影画像を基にして人物位置を
検出する人物位置検出手段と、 前記人物位置検出手段により検出された人物位置の画面
上での移動度合いに応じて、前記人物を含めた表示され
るべき画像範囲を決定し、前記カメラの画像から当該画
像範囲を切り出す画像切出手段と、 前記画像切出手段により切り出された画像を画像表示装
置の画面の大きさに調整する画面調整手段と、 を有することを特徴とするテレビ会議端末の画面表示制
御装置。 - 【請求項２】 前記人物位置検出手段は、 前記カメラから送られた画像を基にして人物の顔位置を
検出する顔位置検出手段と、 前記顔位置検出手段が検出した顔位置を基準にして前記
人物の身体位置を検出する身体位置検出手段と、 を含むことを特徴とする請求項１記載のテレビ会議端末
の画面表示制御装置。 - 【請求項３】 前記顔位置検出手段は、 前記カメラから送られた画像の中の色を、予め設定され
た顔色と比較して人 物の顔位置である可能性がある部
分を探索する顔色探索手段と、 前記カメラから送られた画像の中で動く部分を探索する
動き探索手段と、 前記顔色探索手段および前記動き探索手段による両探索
結果に基づき、人物の顔が存在する位置を判別する顔位
置判別手段と、 を含むことを特徴とする請求項２記載のテレビ会議端末
の画面表示制御装置。 - 【請求項４】 前記顔位置検出手段は、 前記カメラから送られた画像に対して、所定数の画素間
隔のサンプリングを行うサンプリング手段を、更に含
み、 前記顔色探索手段および前記動き探索手段は、前記サン
プリング手段によりサンプリングされた画像を基に各探
索を行うことを特徴とする請求項３記載のテレビ会議端
末の画面表示制御装置。 - 【請求項５】 前記動き探索手段は、所定時間間隔毎の
フレームを基に動く部分を探索することを特徴とする請
求項３記載のテレビ会議端末の画面表示制御装置。 - 【請求項６】 前記顔色探索手段は、前記カメラから送
られた画像の中の色を、予め設定された複数の色標本と
比較し、その類似度合いを求めて、人物の顔位置である
可能性を判別することを特徴とする請求項３記載のテレ
ビ会議端末の画面表示制御装置。 - 【請求項７】 前記顔色探索手段は、 前記カメラから送られた画像全体の色の偏りを検出する
色偏り検出手段と、 前記色偏り検出手段により検出された色の偏りを基に、
前記カメラから送られた画像の色を補正する色補正手段
と、 を含むことを特徴とする請求項３記載のテレビ会議端末
の画面表示制御装置。 - 【請求項８】 前記顔色探索手段は、人物の顔が存在す
る位置が正しく判別されたときに、人物の顔位置である
可能性があるとされた部分の色を、次回の顔色の標本と
して設定する顔色標本設定手段を、含むことを特徴とす
る請求項３記載のテレビ会議端末の画面表示制御装置。 - 【請求項９】 前記身体位置検出手段は、 予め設定された人物の身体位置の特徴を保持する保持手
段と、 前記顔位置検出手段が検出した顔位置を基に、前記保持
手段に保持された人物の身体位置の特徴を参照して前記
人物の身体が存在する可能性のある領域を決定する領域
決定手段と、 前記領域決定手段で決定された領域における画像の動き
を検出する動き検出手段と、 前記動き検出手段によって動きが検出された画素をもっ
て身体位置とする身体位置判定手段と、 を含むことを特徴とする請求項２記載のテレビ会議端末
の画面表示制御装置。 - 【請求項１０】 前記画像切出手段は、 前記人物位置検出手段により検出された人物位置の画面
上での移動度合いを検出する移動検出手段と、 前記移動検出手段で検出された移動度合いが大きいとき
に、前記人物を含めた表示されるべき画像範囲を大きく
設定し、移動度合いが小さいときに、前記人物を含めた
表示されるべき画像範囲を小さく設定する画像範囲設定
手段と、 前記カメラの画像から、前記画像範囲設定手段により設
定された画像範囲の画像を抽出する画像抽出手段と、 を含むことを特徴とする請求項１記載のテレビ会議端末
の画面表示制御装置。 - 【請求項１１】 前記人物位置検出手段は、前記検出し
た人物位置に対して時間軸上でメディアンフィルタを作
用させるメディアンフィルタ作用手段を、含むことを特
徴とする請求項１記載のテレビ会議端末の画面表示制御
装置。 - 【請求項１２】 人物画像の適切な表示を行うためのテ
レビ会議端末の画面表示制御装置において、 カメラから送られた広角撮影画像を基にして複数の人物
の顔位置および顔領域面積を検出する顔位置面積検出手
段と、 前記顔位置面積検出手段が検出した複数の人物の顔領域
面積を比べ、最大面積の人物を選び、当該人物について
検出された顔位置を基準にして当該人物の身体位置を検
出する身体位置検出手段と、 前記身体位置検出手段により検出された身体位置の画面
上での移動度合いに応じて、前記選ばれた人物を含めた
表示されるべき画像範囲を決定し、前記カメラの画像か
ら当該画像範囲を切り出す画像切出手段と、 前記画像切出手段により切り出された画像を画像表示装
置の画面の大きさに調整する画面調整手段と、 を有することを特徴とするテレビ会議端末の画面表示制
御装置。 - 【請求項１３】 人物画像の適切な表示を行うためのテ
レビ会議端末の画面表示制御装置において、 カメラから送られた広角撮影画像を基にして複数の人物
の位置を検出する人物位置検出手段と、 前記人物位置検出手段により検出された複数の人物位置
の画面上での移動度合いに応じて、前記複数の人物を含
めた表示されるべき画像範囲を決定し、前記カメラの画
像から当該画像範囲を切り出す画像切出手段と、 前記画像切出手段により切り出された画像を画像表示装
置の画面の大きさに調整する画面調整手段と、 を有することを特徴とするテレビ会議端末の画面表示制
御装置。 - 【請求項１４】 人物画像の適切な表示を行うためのテ
レビ会議端末の画面表示制御装置において、 カメラから送られた広角撮影画像を基にして複数の人物
の顔位置および顔領域面積を検出する顔位置面積検出手
段と、 前記顔位置面積検出手段が検出した複数の人物の顔領域
面積を比べ、最大面積の人物を選び、当該人物について
の検出された顔位置を基準にして当該人物の身体位置を
検出する身体位置検出手段と、 前記身体位置検出手段により検出された身体位置の画面
上での移動度合いに応じて、前記選ばれた人物を含めた
表示されるべき画像範囲を決定し、前記カメラの画像か
ら当該画像範囲を切り出す第１の画像切出手段と、 前記カメラから送られた画像を基にして複数の人物の位
置を検出する人物位置検出手段と、 前記人物位置検出手段により検出された複数の人物位置
の画面上での移動度合いに応じて、前記複数の人物を含
めた表示されるべき画像範囲を決定し、前記カメラの画
像から当該画像範囲を切り出す第２の画像切出手段と、 前記第１の画像切出手段および前記第２の画像切出手段
が出力する画像のうちの一方の画像を選択して出力する
選択出力手段と、 前記選択出力手段から出力された画像を画像表示装置の
画面の大きさに調整する画面調整手段と、 を有することを特徴とするテレビ会議端末の画面表示制
御装置。 - 【請求項１５】 人物画像の適切な表示を行うためのテ
レビ会議端末の画面表示制御装置において、 カメラから送られた広角撮影画像を基にして、フレーム
間差分を算出するフレーム間差分算出手段と、 前記広角撮影画像を基にして、フレーム内差分を算出す
るフレーム内差分算出手段と、 前記算出されたフレーム間差分及びフレーム内差分にお
ける重複部分を算出する重複部分算出手段と、 前記算出された重複部分を基にして、前記広角撮影画像
から人物画像を切り出す人物画像切出手段と、 前記人物画像切出手段により切り出された人物画像を画
像表示装置の画面の大きさに調整する画面調整手段と、 を有することを特徴とするテレビ会議端末の画面表示制
御装置。 - 【請求項１６】 前記フレーム間差分のフレーム全体に
わたる平均値を算出するフレーム間差分平均値算出手段
を、さらに有し、 前記フレーム間差分算出手段は、前記フレーム間差分平
均値算出手段で算出された平均値を閾値として使用し
て、フレーム間差分を２値化するフレーム間差分２値化
手段を含み、 前記フレーム内差分算出手段は、前記フレーム間差分平
均値算出手段で算出された平均値を閾値として使用し
て、フレーム内差分を２値化するフレーム内差分２値化
手段を含むことを特徴とする請求項１５記載のテレビ会
議端末の画面表示制御装置。 - 【請求項１７】 前記人物画像切出手段は、 前記算出された重複部分を基にして、当該重複部分を構
成する画素の中から、画面最上に位置する画素を検出す
るとともに、当該最上画素に連結する水平方向の画素を
検出する最上行画素検出手段と、 前記重複部分を構成する画素の中から、前記最上行画素
検出手段で検出された連結画素群に連結する下方の画素
を検出する下方画素検出手段と、 前記連結画素群の直ぐ下の行において、前記下方画素検
出手段で検出された画素を含み、前記連結画素群の幅以
上の幅を有する行領域を設定する第１の行領域設定手段
と、 下方の行毎に、前記下方画素検出手段で検出された画素
を含み、直ぐ上の行を構成する行領域の幅以上の幅を有
する行領域を設定する第２の行領域設定手段と、 前記重複部分を構成する画素の中から、前記最上行画素
検出手段により検出された連結画素群と、前記第１及び
第２の行領域設定手段により設定された各行領域とに含
まれる各画素とを削除する削除手段と、 を含むことを特徴とする請求項１５記載のテレビ会議端
末の画面表示制御装置。 - 【請求項１８】 前記人物画像切出手段は、 前記削除手段によって画素の削除が行われた後の重複部
分を基にして、前記最上行画素検出手段、前記下方画素
検出手段、前記第１の行領域設定手段、前記第２の行領
域設定手段、および前記削除手段を繰り返し動作させ、
前記最上行画素検出手段が画面最上に位置する画素を検
出できなくなったときに前記繰り返し動作を停止させる
動作制御手段をさらに含むことを特徴とする請求項１７
記載のテレビ会議端末の画面表示制御装置。 - 【請求項１９】 前記人物画像切出手段は、 人物の形状に関する特徴を保持する特徴保持手段と、 前記最上行画素検出手段により検出された連結画素群
と、前記第１及び第２の行領域設定手段により設定され
た各行領域とから構成される検出形状を、前記特徴保持
手段に保持されている特徴と比較して、前記検出形状が
人物に相当する形状であるか否かを判定する判定手段
と、 をさらに含むことを特徴とする請求項１７記載のテレビ
会議端末の画面表示制御装置。 - 【請求項２０】 前記特徴保持手段には、前記検出形状
の上辺及び下辺の各長さ、並びに前記検出形状の高さに
おける相互間の比に相当する実際の人物における比が保
持されることを特徴とする請求項１９記載のテレビ会議
端末の画面表示制御装置。 - 【請求項２１】 前記人物画像切出手段は、 前記最上行画素検出手段により検出された連結画素群
と、前記第１及び第２の行領域設定手段により設定され
た各行領域とから構成される検出形状を基に、人物の顔
位置を検出する顔位置検出手段をさらに含むことを特徴
とする請求項１７記載のテレビ会議端末の画面表示制御
装置。 - 【請求項２２】 前記人物画像切出手段は、 人物の顔位置の色パターンを保持する色パターン保持手
段と、 前記顔位置検出手段により検出された顔位置における色
パターンを、前記色パターン保持手段に保持された色パ
ターンと比較する色パターン比較手段と、 前記色パターン比較手段による比較結果に基づき、人物
の検出を確認する人物検出確認手段と、 をさらに含むことを特徴とする請求項２１記載のテレビ
会議端末の画面表示制御装置。 - 【請求項２３】 前記色パターン保持手段は、常時、信
頼性の高い色パターンを保持するようにすることを特徴
とする請求項２２記載のテレビ会議端末の画面表示制御
装置。 - 【請求項２４】 前記人物画像切出手段は、 画像表示装置に表示すべき人物を特定するための複数の
方法モードのうちの１つを、外部から指定する指定手段
を、さらに有し、 前記人物画像切出手段は、前記指定手段により指定され
た方法モードに従い、前記広角撮影画像から人物画像を
切り出すことを特徴とする請求項１７記載のテレビ会議
端末の画面表示制御装置。 - 【請求項２５】 前記複数の方法モードは、 全員切り出しモードと、個人切り出しモードとからなる
ことを特徴とする請求項２４記載のテレビ会議端末の画
面表示制御装置。 - 【請求項２６】 前記人物画像切出手段は、 個人切り出しモードにおいて使用され、各人物の動き量
に基づいて特定の人物の画像を自動的に切り出す第１の
人物画像切出手段をさらに有することを特徴とする請求
項２５記載のテレビ会議端末の画面表示制御装置。 - 【請求項２７】 前記人物画像切出手段は、 個人切り出しモードにおいて使用され、各人物の画面上
での面積に基づいて特定の人物の画像を自動的に切り出
す第２の人物画像切出手段をさらに有することを特徴と
する請求項２５記載のテレビ会議端末の画面表示制御装
置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9047849A JPH1051755A (ja) | 1996-05-30 | 1997-03-03 | テレビ会議端末の画面表示制御装置 |
| US08/865,027 US6297846B1 (en) | 1996-05-30 | 1997-05-29 | Display control system for videoconference terminals |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8-136251 | 1996-05-30 | ||
| JP13625196 | 1996-05-30 | ||
| JP9047849A JPH1051755A (ja) | 1996-05-30 | 1997-03-03 | テレビ会議端末の画面表示制御装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1051755A true JPH1051755A (ja) | 1998-02-20 |
Family
ID=26388050
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9047849A Pending JPH1051755A (ja) | 1996-05-30 | 1997-03-03 | テレビ会議端末の画面表示制御装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6297846B1 (ja) |
| JP (1) | JPH1051755A (ja) |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002051315A (ja) * | 2000-05-24 | 2002-02-15 | Sony Corp | データ伝送方法およびその装置、並びにデータ伝送システム |
| JP2002112215A (ja) * | 2000-09-29 | 2002-04-12 | Nec Corp | テレビ会議システム |
| JP2002516535A (ja) * | 1998-05-15 | 2002-06-04 | ピクチャーテル コーポレイション | オーディオソースの位置決定 |
| WO2002071315A3 (en) * | 2001-03-05 | 2003-02-20 | Koninkl Philips Electronics Nv | Automatic positioning of display depending upon the viewer's location or gesture |
| JP2004007283A (ja) * | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | 映像配信システム、プログラム及び記録媒体 |
| EP1260935A3 (en) * | 2001-05-22 | 2004-01-14 | Matsushita Electric Industrial Co., Ltd. | Face detection device, face pose detection device, partial image extraction device, and methods for said devices |
| JP2004193661A (ja) * | 2002-12-06 | 2004-07-08 | Sony Corp | 双方向コミュニケーションシステム，映像通信装置，および映像通信装置の撮影処理制御方法 |
| JP2004272933A (ja) * | 2004-06-03 | 2004-09-30 | Toshiba Corp | 顔画像監視システム |
| EP1158786A3 (en) * | 2000-05-24 | 2005-03-09 | Sony Corporation | Transmission of the region of interest of an image |
| JP2006197505A (ja) * | 2005-01-17 | 2006-07-27 | Sony Corp | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 |
| JP2007019893A (ja) * | 2005-07-08 | 2007-01-25 | Casio Comput Co Ltd | 画像生成装置、及び画像生成方法 |
| WO2007077614A1 (ja) * | 2005-12-28 | 2007-07-12 | Fujitsu Limited | Ｔｖ電話機能の撮影画像処理切り替え装置 |
| JP2008504760A (ja) * | 2004-06-30 | 2008-02-14 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 顔画像の補正 |
| JP2008141611A (ja) * | 2006-12-04 | 2008-06-19 | Yamaha Corp | 通信装置 |
| US7469054B2 (en) | 2003-12-16 | 2008-12-23 | Canon Kabushiki Kaisha | Image displaying method and image displaying apparatus |
| JP2009005238A (ja) * | 2007-06-25 | 2009-01-08 | Sony Computer Entertainment Inc | 符号化処理装置および符号化処理方法 |
| US7586491B2 (en) | 2005-06-15 | 2009-09-08 | Canon Kabushiki Kaisha | Image display method and image display apparatus |
| KR100924286B1 (ko) * | 2002-11-26 | 2009-10-30 | 엘지전자 주식회사 | 이동 통신 단말기 및 그의 영상 디스플레이 방법 |
| JP2009278568A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2010068471A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Motor Corp | 画像処理装置 |
| US7808555B2 (en) | 2005-06-15 | 2010-10-05 | Canon Kabushiki Kaisha | Image display method and image display apparatus with zoom-in to face area of still image |
| JP2010239499A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム |
| WO2011007489A1 (ja) * | 2009-07-14 | 2011-01-20 | パナソニック株式会社 | テレビ会議装置及び映像表示処理方法 |
| JP2011055291A (ja) * | 2009-09-02 | 2011-03-17 | Ricoh Co Ltd | 映像表示装置及びプログラム |
| WO2011052120A1 (ja) * | 2009-11-02 | 2011-05-05 | パナソニック株式会社 | 撮影制御装置および撮影制御方法 |
| JP2013228930A (ja) * | 2012-04-26 | 2013-11-07 | Canon Inc | 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 |
| JP2013240110A (ja) * | 2013-08-21 | 2013-11-28 | Olympus Imaging Corp | 画像処理装置、画像処理方法、および撮影方法 |
| JP2014161103A (ja) * | 2014-05-01 | 2014-09-04 | Olympus Imaging Corp | 撮影装置および撮影装置の制御方法 |
| JP2016083225A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
| CN112887655A (zh) * | 2021-01-25 | 2021-06-01 | 联想(北京)有限公司 | 一种信息处理方法和信息处理装置 |
| EP3905127A1 (en) | 2020-04-28 | 2021-11-03 | Roland Corporation | Image processing program, image processing method and image processing apparatus |
Families Citing this family (72)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3657769B2 (ja) * | 1998-03-19 | 2005-06-08 | 富士写真フイルム株式会社 | 画像処理方法および画像処理装置 |
| US6704048B1 (en) * | 1998-08-27 | 2004-03-09 | Polycom, Inc. | Adaptive electronic zoom control |
| JP3314043B2 (ja) * | 1998-09-29 | 2002-08-12 | 松下電器産業株式会社 | 動き検出回路とノイズ低減装置 |
| US7057636B1 (en) * | 1998-12-22 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications |
| JP4243883B2 (ja) * | 1999-03-15 | 2009-03-25 | フジノン株式会社 | リモコン雲台システム |
| US20010017650A1 (en) * | 1999-12-23 | 2001-08-30 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for transmitting a video image |
| JP3603737B2 (ja) * | 2000-03-30 | 2004-12-22 | 日本電気株式会社 | 移動体追尾方法及びその装置 |
| US20010055058A1 (en) * | 2000-06-08 | 2001-12-27 | Rajko Milovanovic | Method and system for video telephony |
| KR100746463B1 (ko) * | 2000-08-21 | 2007-08-03 | 주식회사 케이티 | 영상회의 시스템에서의 영상 전송 장치 및 그 방법 |
| US6680745B2 (en) * | 2000-11-10 | 2004-01-20 | Perceptive Network Technologies, Inc. | Videoconferencing method with tracking of face and dynamic bandwidth allocation |
| US7034848B2 (en) * | 2001-01-05 | 2006-04-25 | Hewlett-Packard Development Company, L.P. | System and method for automatically cropping graphical images |
| KR100404885B1 (ko) * | 2001-02-16 | 2003-11-10 | 삼성전자주식회사 | 휴대용 동화상 폰을 이용한 원격감시 장치 |
| EP1374579A4 (en) * | 2001-03-22 | 2008-10-08 | Polycom Inc | HIGH RESOLUTION GRAPHIC SIDE CHANNEL IN A VIDEO CONFERENCE |
| WO2002080521A2 (en) * | 2001-03-30 | 2002-10-10 | Digeo, Inc. | System and method for a software steerable web camera with multiple image subset capture |
| US20020141657A1 (en) * | 2001-03-30 | 2002-10-03 | Robert Novak | System and method for a software steerable web Camera |
| US20030048353A1 (en) * | 2001-08-07 | 2003-03-13 | Michael Kenoyer | System and method for high resolution videoconferencing |
| KR100439377B1 (ko) * | 2002-01-17 | 2004-07-09 | 엘지전자 주식회사 | 이동 통신 환경에서의 사람 영역 추출방법 |
| JP3962607B2 (ja) * | 2002-02-28 | 2007-08-22 | キヤノン株式会社 | 画像処理装置及び方法及びプログラム及び記憶媒体 |
| JP4143314B2 (ja) * | 2002-03-15 | 2008-09-03 | キヤノン株式会社 | 画像処理方法及びそれを実現する装置及びプリンタドライバ |
| GB2395853A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Association of metadata derived from facial images |
| KR100474312B1 (ko) * | 2002-12-12 | 2005-03-10 | 엘지전자 주식회사 | 디지털 카메라의 자동 주밍 방법 |
| JP4218348B2 (ja) * | 2003-01-17 | 2009-02-04 | オムロン株式会社 | 撮影装置 |
| KR100469727B1 (ko) * | 2003-03-07 | 2005-02-02 | 삼성전자주식회사 | 통화자의 얼굴을 화면 가운데에 위치시킬 수 있는화상통신용 통신단말기 및 방법 |
| US7321384B1 (en) * | 2003-06-03 | 2008-01-22 | Cisco Technology, Inc. | Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference |
| US8199222B2 (en) | 2007-03-05 | 2012-06-12 | DigitalOptics Corporation Europe Limited | Low-light video frame enhancement |
| US8180173B2 (en) | 2007-09-21 | 2012-05-15 | DigitalOptics Corporation Europe Limited | Flash artifact eye defect correction in blurred images using anisotropic blurring |
| US7639889B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method of notifying users regarding motion artifacts based on image analysis |
| US9160897B2 (en) | 2007-06-14 | 2015-10-13 | Fotonation Limited | Fast motion estimation method |
| US8264576B2 (en) | 2007-03-05 | 2012-09-11 | DigitalOptics Corporation Europe Limited | RGBW sensor array |
| US8989516B2 (en) * | 2007-09-18 | 2015-03-24 | Fotonation Limited | Image processing method and apparatus |
| US8417055B2 (en) | 2007-03-05 | 2013-04-09 | DigitalOptics Corporation Europe Limited | Image processing method and apparatus |
| US7636486B2 (en) | 2004-11-10 | 2009-12-22 | Fotonation Ireland Ltd. | Method of determining PSF using multiple instances of a nominally similar scene |
| US20070118812A1 (en) * | 2003-07-15 | 2007-05-24 | Kaleidescope, Inc. | Masking for presenting differing display formats for media streams |
| US8228377B2 (en) * | 2003-09-12 | 2012-07-24 | Logitech Europe S.A. | Pan and tilt camera |
| JP4470434B2 (ja) * | 2003-10-06 | 2010-06-02 | 富士ゼロックス株式会社 | 動作識別装置、及び対象物の姿勢識別装置 |
| US8675059B2 (en) * | 2010-07-29 | 2014-03-18 | Careview Communications, Inc. | System and method for using a video monitoring system to prevent and manage decubitus ulcers in patients |
| GB2414614A (en) * | 2004-05-28 | 2005-11-30 | Sony Uk Ltd | Image processing to determine most dissimilar images |
| US20060044741A1 (en) * | 2004-08-31 | 2006-03-02 | Motorola, Inc. | Method and system for providing a dynamic window on a display |
| US7917935B2 (en) * | 2004-10-01 | 2011-03-29 | Logitech Europe S.A. | Mechanical pan, tilt and zoom in a webcam |
| US7639888B2 (en) | 2004-11-10 | 2009-12-29 | Fotonation Ireland Ltd. | Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts |
| JP4540705B2 (ja) * | 2005-02-17 | 2010-09-08 | 富士通株式会社 | 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム |
| US7576766B2 (en) * | 2005-06-30 | 2009-08-18 | Microsoft Corporation | Normalized images for cameras |
| US7864210B2 (en) * | 2005-11-18 | 2011-01-04 | International Business Machines Corporation | System and methods for video conferencing |
| US8265392B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Inter-mode region-of-interest video object segmentation |
| US8150155B2 (en) | 2006-02-07 | 2012-04-03 | Qualcomm Incorporated | Multi-mode region-of-interest video object segmentation |
| US8265349B2 (en) * | 2006-02-07 | 2012-09-11 | Qualcomm Incorporated | Intra-mode region-of-interest video object segmentation |
| JP4182117B2 (ja) * | 2006-05-10 | 2008-11-19 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム及び記憶媒体 |
| IES20070229A2 (en) | 2006-06-05 | 2007-10-03 | Fotonation Vision Ltd | Image acquisition method and apparatus |
| GB2440993C (en) * | 2006-07-25 | 2014-03-19 | Sony Comp Entertainment Europe | Apparatus and method of interaction with a data processor |
| US7773118B2 (en) | 2007-03-25 | 2010-08-10 | Fotonation Vision Limited | Handheld article with movement discrimination |
| JP4375448B2 (ja) * | 2007-06-26 | 2009-12-02 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法およびプログラム |
| JP4959535B2 (ja) | 2007-12-13 | 2012-06-27 | 株式会社日立製作所 | 撮像装置 |
| KR20090083108A (ko) * | 2008-01-29 | 2009-08-03 | 삼성전자주식회사 | 특정 영역이 확대된 영상을 촬영된 영상에 부가하는촬영방법 및 이를 적용한 촬영장치 |
| JP5141317B2 (ja) * | 2008-03-14 | 2013-02-13 | オムロン株式会社 | 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器 |
| US8306262B2 (en) * | 2008-05-15 | 2012-11-06 | Arcsoft, Inc. | Face tracking method for electronic camera device |
| US20100074557A1 (en) * | 2008-09-25 | 2010-03-25 | Sanyo Electric Co., Ltd. | Image Processing Device And Electronic Appliance |
| CN101374233B (zh) * | 2008-10-23 | 2011-09-07 | 杭州华三通信技术有限公司 | 视频流帧率适配方法和装置及fpga芯片及视频流处理设备 |
| JP5100606B2 (ja) * | 2008-10-24 | 2012-12-19 | 三洋電機株式会社 | 撮像装置 |
| KR101050555B1 (ko) * | 2008-12-18 | 2011-07-19 | 삼성전자주식회사 | 표시부에 인물 사진을 표시하는 방법 및 장치 |
| JP2010157854A (ja) * | 2008-12-26 | 2010-07-15 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| JP2010157119A (ja) * | 2008-12-26 | 2010-07-15 | Fujitsu Ltd | 監視装置、監視方法、及び監視プログラム |
| US8385638B2 (en) | 2009-01-05 | 2013-02-26 | Apple Inc. | Detecting skin tone in images |
| US8548257B2 (en) * | 2009-01-05 | 2013-10-01 | Apple Inc. | Distinguishing between faces and non-faces |
| JP5350928B2 (ja) | 2009-07-30 | 2013-11-27 | オリンパスイメージング株式会社 | カメラ及びカメラの制御方法 |
| US9536046B2 (en) * | 2010-01-12 | 2017-01-03 | Microsoft Technology Licensing, Llc | Automated acquisition of facial images |
| US8941750B2 (en) * | 2011-12-27 | 2015-01-27 | Casio Computer Co., Ltd. | Image processing device for generating reconstruction image, image generating method, and storage medium |
| WO2014001095A1 (en) * | 2012-06-26 | 2014-01-03 | Thomson Licensing | Method for audiovisual content dubbing |
| CN103686048B (zh) * | 2012-09-11 | 2018-08-10 | 联想(北京)有限公司 | 终端设备以及视频产生方法 |
| US9148625B2 (en) | 2012-09-21 | 2015-09-29 | Cisco Technology, Inc. | Transition control in a videoconference |
| US9369668B2 (en) * | 2014-03-14 | 2016-06-14 | Cisco Technology, Inc. | Elementary video bitstream analysis |
| JP7225631B2 (ja) | 2018-09-21 | 2023-02-21 | ヤマハ株式会社 | 画像処理装置、カメラ装置、および画像処理方法 |
| NO344836B1 (en) | 2019-04-08 | 2020-05-18 | Huddly As | Interpolation based camera motion for transitioning between best overview frames in live video |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63182788A (ja) | 1987-01-26 | 1988-07-28 | Mitsubishi Electric Corp | 画像処理装置の輪郭線発生方法 |
| JPS63223974A (ja) | 1987-03-13 | 1988-09-19 | Toshiba Corp | 画像処理装置 |
| US5815199A (en) * | 1991-01-31 | 1998-09-29 | Matsushita Electric Works, Ltd. | Interphone with television |
| JPH0696397A (ja) * | 1992-09-16 | 1994-04-08 | Mitsubishi Electric Corp | 画像追尾装置および画像追尾方法 |
| US5835641A (en) * | 1992-10-14 | 1998-11-10 | Mitsubishi Denki Kabushiki Kaisha | Image pick-up apparatus for detecting and enlarging registered objects |
| JP3133517B2 (ja) * | 1992-10-15 | 2001-02-13 | シャープ株式会社 | 画像領域検出装置、該画像検出装置を用いた画像符号化装置 |
| US5742329A (en) * | 1992-10-26 | 1998-04-21 | Canon Kabushiki Kaisha | Image pickup system and communication system for use in video conference system or the like |
| US5488675A (en) * | 1994-03-31 | 1996-01-30 | David Sarnoff Research Center, Inc. | Stabilizing estimate of location of target region inferred from tracked multiple landmark regions of a video image |
| US5737011A (en) * | 1995-05-03 | 1998-04-07 | Bell Communications Research, Inc. | Infinitely expandable real-time video conferencing system |
-
1997
- 1997-03-03 JP JP9047849A patent/JPH1051755A/ja active Pending
- 1997-05-29 US US08/865,027 patent/US6297846B1/en not_active Expired - Lifetime
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002516535A (ja) * | 1998-05-15 | 2002-06-04 | ピクチャーテル コーポレイション | オーディオソースの位置決定 |
| KR100881526B1 (ko) * | 2000-05-24 | 2009-02-05 | 소니 가부시끼 가이샤 | 데이터 전송 방법 및 그 장치, 및 데이터 전송 시스템 |
| JP2002051315A (ja) * | 2000-05-24 | 2002-02-15 | Sony Corp | データ伝送方法およびその装置、並びにデータ伝送システム |
| EP1158786A3 (en) * | 2000-05-24 | 2005-03-09 | Sony Corporation | Transmission of the region of interest of an image |
| US6947601B2 (en) | 2000-05-24 | 2005-09-20 | Sony Corporation | Data transmission method, apparatus using same, and data transmission system |
| JP2002112215A (ja) * | 2000-09-29 | 2002-04-12 | Nec Corp | テレビ会議システム |
| WO2002071315A3 (en) * | 2001-03-05 | 2003-02-20 | Koninkl Philips Electronics Nv | Automatic positioning of display depending upon the viewer's location or gesture |
| EP1260935A3 (en) * | 2001-05-22 | 2004-01-14 | Matsushita Electric Industrial Co., Ltd. | Face detection device, face pose detection device, partial image extraction device, and methods for said devices |
| JP2004007283A (ja) * | 2002-05-31 | 2004-01-08 | Ricoh Co Ltd | 映像配信システム、プログラム及び記録媒体 |
| KR100924286B1 (ko) * | 2002-11-26 | 2009-10-30 | 엘지전자 주식회사 | 이동 통신 단말기 및 그의 영상 디스플레이 방법 |
| JP2004193661A (ja) * | 2002-12-06 | 2004-07-08 | Sony Corp | 双方向コミュニケーションシステム，映像通信装置，および映像通信装置の撮影処理制御方法 |
| US7469054B2 (en) | 2003-12-16 | 2008-12-23 | Canon Kabushiki Kaisha | Image displaying method and image displaying apparatus |
| JP2004272933A (ja) * | 2004-06-03 | 2004-09-30 | Toshiba Corp | 顔画像監視システム |
| JP2008504760A (ja) * | 2004-06-30 | 2008-02-14 | ソニー エリクソン モバイル コミュニケーションズ， エービー | 顔画像の補正 |
| JP2006197505A (ja) * | 2005-01-17 | 2006-07-27 | Sony Corp | カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法 |
| US7586491B2 (en) | 2005-06-15 | 2009-09-08 | Canon Kabushiki Kaisha | Image display method and image display apparatus |
| US7808555B2 (en) | 2005-06-15 | 2010-10-05 | Canon Kabushiki Kaisha | Image display method and image display apparatus with zoom-in to face area of still image |
| JP2007019893A (ja) * | 2005-07-08 | 2007-01-25 | Casio Comput Co Ltd | 画像生成装置、及び画像生成方法 |
| WO2007077614A1 (ja) * | 2005-12-28 | 2007-07-12 | Fujitsu Limited | Ｔｖ電話機能の撮影画像処理切り替え装置 |
| KR101006668B1 (ko) * | 2005-12-28 | 2011-01-10 | 후지쯔 가부시끼가이샤 | Ｔｖ 전화 기능의 촬영 화상 처리 절환 장치 |
| US8063938B2 (en) | 2005-12-28 | 2011-11-22 | Fujitsu Limited | Photographed image process changeover apparatus of a video telephone function |
| JP2008141611A (ja) * | 2006-12-04 | 2008-06-19 | Yamaha Corp | 通信装置 |
| JP2009005238A (ja) * | 2007-06-25 | 2009-01-08 | Sony Computer Entertainment Inc | 符号化処理装置および符号化処理方法 |
| JP2009278568A (ja) * | 2008-05-16 | 2009-11-26 | Sony Corp | 画像処理装置および画像処理方法 |
| JP2010068471A (ja) * | 2008-09-12 | 2010-03-25 | Toyota Motor Corp | 画像処理装置 |
| JP2010239499A (ja) * | 2009-03-31 | 2010-10-21 | Brother Ind Ltd | 通信端末装置、通信制御装置、通信端末装置の通信制御方法、通信制御プログラム |
| WO2011007489A1 (ja) * | 2009-07-14 | 2011-01-20 | パナソニック株式会社 | テレビ会議装置及び映像表示処理方法 |
| JP2011023886A (ja) * | 2009-07-14 | 2011-02-03 | Panasonic Corp | テレビ会議装置及び映像表示処理方法 |
| JP2011055291A (ja) * | 2009-09-02 | 2011-03-17 | Ricoh Co Ltd | 映像表示装置及びプログラム |
| WO2011052120A1 (ja) * | 2009-11-02 | 2011-05-05 | パナソニック株式会社 | 撮影制御装置および撮影制御方法 |
| US11036966B2 (en) | 2012-04-26 | 2021-06-15 | Canon Kabushiki Kaisha | Subject area detection apparatus that extracts subject area from image, control method therefor, and storage medium, as well as image pickup apparatus and display apparatus |
| JP2013228930A (ja) * | 2012-04-26 | 2013-11-07 | Canon Inc | 被写体領域検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 |
| JP2013240110A (ja) * | 2013-08-21 | 2013-11-28 | Olympus Imaging Corp | 画像処理装置、画像処理方法、および撮影方法 |
| JP2014161103A (ja) * | 2014-05-01 | 2014-09-04 | Olympus Imaging Corp | 撮影装置および撮影装置の制御方法 |
| JP2016083225A (ja) * | 2014-10-27 | 2016-05-19 | 株式会社ソニー・コンピュータエンタテインメント | 情報処理装置 |
| US11109108B2 (en) | 2014-10-27 | 2021-08-31 | Sony Interactive Entertainment Inc. | Information processing device |
| EP3905127A1 (en) | 2020-04-28 | 2021-11-03 | Roland Corporation | Image processing program, image processing method and image processing apparatus |
| EP3905128A2 (en) | 2020-04-28 | 2021-11-03 | Roland Corporation | Image processing program, image processing method and image processing apparatus |
| US11776309B2 (en) | 2020-04-28 | 2023-10-03 | Roland Corporation | Image processing method, image processing apparatus and non-transitory computer readable medium |
| CN112887655A (zh) * | 2021-01-25 | 2021-06-01 | 联想(北京)有限公司 | 一种信息处理方法和信息处理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US6297846B1 (en) | 2001-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6297846B1 (en) | Display control system for videoconference terminals | |
| US6636635B2 (en) | Object extraction method, and image sensing apparatus using the method | |
| US7057636B1 (en) | Conferencing system and method for the automatic determination of preset positions corresponding to participants in video-mediated communications | |
| JP4377472B2 (ja) | 顔画像処理装置 | |
| JP4335565B2 (ja) | 画像あるいは一連の画像内の１つあるいは複数の色領域を検出しかつ／または追跡するための方法および装置 | |
| US8508599B2 (en) | Motion vector detection apparatus, motion vector detection method, and image capturing apparatus | |
| US7327890B2 (en) | Imaging method and system for determining an area of importance in an archival image | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| US11704933B2 (en) | Information processing apparatus, information processing method, and program | |
| CN107230187A (zh) | 多媒体信息处理的方法和装置 | |
| JP2000082147A (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| CN101248454A (zh) | 图像处理方法和设备、数字照相机以及记录图像处理程序的记录介质 | |
| WO2005116910A2 (en) | Image comparison | |
| JP2005303991A (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
| US12141231B2 (en) | Information processing apparatus, information processing method, and non-transitory computer-readable storage medium | |
| JP5429564B2 (ja) | 画像処理装置および方法、並びにプログラム | |
| CN112839167A (zh) | 图像处理方法、装置、电子设备及计算机可读介质 | |
| JP4577252B2 (ja) | カメラ、ベストショット撮影方法、プログラム | |
| JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
| JP2004062393A (ja) | 注目判定方法及び注目判定装置 | |
| JP4898655B2 (ja) | 撮像装置及び画像合成プログラム | |
| JP2003203237A (ja) | 画像マッチング方法と装置、および画像符号化方法と装置 | |
| JP2005309740A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| JP2012055017A (ja) | 撮像装置、撮影制御方法、およびプログラム | |
| JPH09265538A (ja) | 自動追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040330 |