JP2004304718A - 近接領域画像抽出装置及び近接領域画像抽出方法 - Google Patents
近接領域画像抽出装置及び近接領域画像抽出方法 Download PDFInfo
- Publication number
- JP2004304718A JP2004304718A JP2003098098A JP2003098098A JP2004304718A JP 2004304718 A JP2004304718 A JP 2004304718A JP 2003098098 A JP2003098098 A JP 2003098098A JP 2003098098 A JP2003098098 A JP 2003098098A JP 2004304718 A JP2004304718 A JP 2004304718A
- Authority
- JP
- Japan
- Prior art keywords
- image
- infrared
- infrared image
- field
- proximity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 29
- 239000000284 extract Substances 0.000 claims abstract description 18
- 230000001678 irradiating effect Effects 0.000 claims abstract 2
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000010354 integration Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 230000000873 masking effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000001444 catalytic combustion detection Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 208000010415 Low Vision Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000004303 low vision Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Picture Signal Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Abstract
【課題】屋外使用時のロバスト性を確保しつつ、近接領域画像をフィールドレートで取得する。
【解決手段】カラー動画像を撮影するカラーカメラ１１と、近接物体ＯＢに赤外光を照射する赤外光源部１５と、点灯赤外画像と消灯赤外画像とを交互に取得する赤外カメラ１２と、点灯赤外画像と消灯赤外画像の絶対値差分画像を取得する絶対値差分画像取得部２２と、絶対値差分画像から近接領域画像を抽出する近接領域画像抽出部２３と、近接領域画像から近接物体を表すオブジェクト画像を抽出するオブジェクト画像抽出部２４とを備える。
【選択図】 図２
【解決手段】カラー動画像を撮影するカラーカメラ１１と、近接物体ＯＢに赤外光を照射する赤外光源部１５と、点灯赤外画像と消灯赤外画像とを交互に取得する赤外カメラ１２と、点灯赤外画像と消灯赤外画像の絶対値差分画像を取得する絶対値差分画像取得部２２と、絶対値差分画像から近接領域画像を抽出する近接領域画像抽出部２３と、近接領域画像から近接物体を表すオブジェクト画像を抽出するオブジェクト画像抽出部２４とを備える。
【選択図】 図２
Description
【０００１】
【発明の属する技術分野】
本発明は、近接物体を含むカラー動画像から、近接物体を含む近接領域画像を抽出する技術に関する。
【０００２】
【従来の技術】
近年、カラービデオカメラと赤外カメラとを用いて、カラービデオカメラが撮影したカラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する技術がいくつか提案されている。
【０００３】
非特許文献１においては、カラー動画像を撮影するカラービデオカメラと、このカラービデオカメラと光軸一致状態に配設された赤外カメラと、赤外光を発光する赤外光源とを備え、被写体からの赤外反射光を受光することで得られた赤外画像に基づいて、カラー動画像から近接領域画像を抽出する装置が開示されている。かかる装置では、カラービデオカメラと赤外カメラとが光軸一致の状態で配設されているため、両カメラは同一の被写体を撮影することが可能となり、カラー動画像から近接領域画像を精度よく抽出することができる。なお、赤外画像は、輝度が距離の二乗に反比例して現れる特性を有しているため、輝度を基に、近接領域画像と背景画像とを分離することができる。
【０００４】
しかし、非特許文献１の装置においては、屋内では近接領域画像を良好に抽出することができるものの、屋外では太陽光に多く含まれる赤外光の影響により、赤外画像中の背景画像の輝度が高くなってしまい、近接領域画像を精度良く抽出することができず、屋外でのロバスト性が低下するという問題を有していた。
【０００５】
そこで、赤外光源に対して、赤外カメラが赤外画像を取得するタイミングと同期して、点灯及び消灯を交互に繰り返し実行させ、赤外光源の点灯時の赤外画像（点灯赤外画像）と赤外光源の消灯時の赤外画像（消灯赤外画像）とを交互に取得し、点灯赤外画像から、その点灯赤外画像の次フィールドで取得された消灯赤外画像を差し引くことにより差分画像を取得し、この差分画像を用いて、近接領域画像を抽出することで屋外でのロバスト性を確保できる装置が開示されている。
【０００６】
ここで、点灯赤外画像には、太陽光に含まれる赤外光の成分（太陽光赤外成分）と赤外光源からの赤外光の成分（光源赤外光成分）とが含まれている。一方、消灯赤外画像には、太陽赤外光成分のみが含まれる。そのため、点灯赤外画像から消灯赤外画像を差し引くと、両画像に含まれる太陽赤外光成分が相殺されることとなり、差分画像には、光源赤外光成分のみが含まれ、背景画像と近接領域画像とを精度よく分離することができる。その他、以下に示す非特許文献３及び４なども存在する。
【０００７】
【非特許文献１】
上岡、河村、河野、木戸出“ウェアラブル装置を用いたオブジェクト登録・検索システムの基礎実験”画像電子学会第９１回研究会、ｐｐ２５−３０，ｊａｎ ２００２
【非特許文献２】
Ｌｅｅ，Ｃ．，Ｓｃｈｒｏｄｅｒ，Ｋ，ａｎｄ Ｓｅｉｂｅｌ，Ｅ．Ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｗａｌｋｉｎｇ ｈａｚａｒｄｓ ｕｓｉｎｇ ＩＲ ｉｌｌｕｍｉｎａｔｉｏｎ ｉｎ Ｗｅａｒａｂｌｅ ｌｏｗ ｖｉｓｉｏｎ ａｉｄｓ．Ｐｒｏｃ．６ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｗｅａｒａｂｌｅ Ｃｏｍｐｕｔｅｒｓ（ＩＳＷＣ２００２），ｐｐ１２７−１２８，Ｏｃｔ．２００２
【非特許文献３】
種本、松本、今井、小笠原“赤外光源を用いたての画像取得に基づく非接触インターフェイスの構築”ロボティクス・メカトロニクス講演会’０１公演論文集、１Ｐ１−Ｍ１０，２００１
【非特許文献４】
三原、原島、沼崎Ｐｏｐ．ｅｙｅ“パーソナルユーザ向けの「飛び出す」動画取得システム”ＷＩＳＳ２００２論文集，ｐｐ．７３−７９，Ｄｅｃ２００２
【０００８】
【発明が解決しようとする課題】
しかしながら、非特許文献２に開示された装置では、点灯赤外画像からその次に取得される消灯赤外画像を差し引くことにより差分画像を取得しているが、これでは差分画像は、奇数フィールド画像及び偶数フィールド画像が取得される周期をΔＴとすると、２ΔＴの周期で取得されるため、近接領域画像をフィールドレートで取得することができないという問題があった。特に、赤外カメラ及びカラーカメラを頭部に装着してウェアラブルに使用する場合、頭部運動（首振り）による画像変動が大きいため、差分画像を取得する周期が大きいと、赤外画像及びカラー画像間における近接物体の位置が相違してしまい、近接領域画像を高精度に検出することができなくなってしまう。
【０００９】
本発明は、上記課題を解決するためになされたものであり、屋外におけるロバスト性を確保しつつ、近接領域画像をフィールドレートで取得することができる近接領域画像抽出装置及び近接領域画像抽出方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本近接領域画像抽出装置は、カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出装置であって、可視光を用いて前記近接物体のカラー動画像を取得する撮影手段と、前記近接物体に赤外光を照射する赤外光源と、前記赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し行わせる点灯制御手段と、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得する赤外画像取得手段と、現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続して取得された点灯赤外画像と消灯赤外画像との差分の絶対値の画像を取得する絶対値差分画像取得手段と、前記絶対値差分画像取得手段が取得した絶対値差分画像を基に、前記カラー動画像から前記近接領域画像を抽出する抽出手段とを備えることを特徴とする。
【００１１】
この構成によれば、撮影手段によって、カラー動画像が撮影されるとともに、撮影手段がフィールド画像を取得するタイミングと同期して、赤外光源の点灯と消灯とが交互に繰り返され、赤外画像取得手段によって、点灯赤外画像と消灯赤外画像とが交互に繰り返し撮影される。そして、時間的に連続する点灯赤外画像と消灯赤外画像との差分の絶対値の画像（絶対値差分画像）が取得される。ここで、絶対値差分画像は、前フィールド画像に対応する赤外画像が点灯赤外画像であり、現フィールド画像に対応する赤外画像が消灯赤外画像である場合は、点灯赤外画像から消灯赤外画像を差し引くことで取得され、前フィールド画像に対応する赤外画像が消灯赤外画像であり、現フィールド画像に対応する赤外画像が点灯赤外画像である場合は、消灯赤外画像から点灯赤外画像を差し引いた差分画像にマイナス１を乗算することで取得される。
【００１２】
これにより、点灯赤外画像と消灯赤外画像との差分画像がフィールドレートで得ることが可能となる。そして、この差分画像を基に近接領域画像が抽出され、この近接領域画像をマスク画像として、対応するカラー動画像にマスキング処理を施し、カラー動画像から近接領域画像が抽出される。
【００１３】
また、前記撮影手段及び前記赤外画像取得手段の光軸は、一致の状態で配設されていることが好ましい。この構成によれば、赤外画像取得手段と撮影手段とは、同じ被写体を撮影することが可能となるため、カラー動画像から抽出される近接領域画像の抽出精度をより高めることができる。
【００１４】
また、前記撮影手段によって取得された時間的に連続する２枚のフィールド画像、前記２枚のフィールド画像とそれぞれ同期して取得された点灯赤外画像及び消灯赤外画像を１枚の画像に統合して、前記絶対値差分画像取得手段に出力する画像統合部をさらに備え、前記画像統合部は、前記２枚のフィールド画像、前記点灯赤外画像及び前記消灯赤外画像をそれぞれ、水平方向の画素数が１／２となるように圧縮して、１枚の画像に統合することが好ましい。
【００１５】
この構成によれば、連続する２枚のカラー画像、点灯赤外画像及び消灯赤外画像は、それぞれ水平方向の画素数が１／２に圧縮されて１枚の画像に統合されるため、これら４枚の画像を効率よく絶対値差分画像取得手段に出力することができる。
【００１６】
また、前記抽出手段は、前記近接領域画像から肌色の領域を除去し、前記近接物体を表すオブジェクト画像を抽出することが好ましい。この構成によれば、近接領域画像に含まれる近接物体を把持する撮影者の手の画像を除去することが可能となり、カラー動画像から近接物体を表すオブジェクト画像を抽出することができる。
【００１７】
また、前記抽出手段が抽出したオブジェクト画像を表示するオーバーヘッドディスプレイをさらに備え、前記撮影手段、前記赤外光源及び前記赤外画像取得手段は、前記オーバーヘッドディスプレイと一体的に構成されているとともに、その光軸が撮影者の視野内に含まれるように配設することが好ましい。
【００１８】
この構成によれば、撮影手段及び赤外画像取得手段は、撮影者が近接物体を把持し、把持した近接物体を目視したときの画像を撮影することができる。
【００１９】
本発明に係る近接領域画像抽出方法は、カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出方法であって、撮影手段を用い、前記近接物体のカラー動画像を撮影するステップと、前記近接物体に対して赤外光を照射する赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し実行させるステップと、赤外画像取得手段を用い、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得するステップと、現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続する前記点灯赤外画像と前記消灯赤外画像との差分の絶対値の画像を取得するステップと、前記差分の絶対値の画像を基に、前記撮影手段が取得したカラー動画像から前記近接領域画像を抽出するステップとを備えることを特徴とする。
【００２０】
この構成によれば、撮影手段によって、カラー動画像が撮影されるとともに、撮影手段がフィールド画像を取得するタイミングと同期して、赤外光源の点灯と消灯とが交互に繰り返され、赤外画像取得手段によって、点灯赤外画像と消灯赤外画像とが交互に繰り返し撮影される。そして、時間的に連続する点灯赤外画像と消灯赤外画像との差分の絶対値の画像（絶対値差分画像）が取得される。ここで、絶対値差分画像は、前フィールド画像に対応する赤外画像が点灯赤外画像であり、現フィールド画像に対応する赤外画像が消灯赤外画像である場合は、点灯赤外画像から消灯赤外画像を差し引くことで取得され、前フィールド画像に対応する赤外画像が消灯赤外画像であり、現フィールド画像に対応する赤外画像が点灯赤外画像である場合は、消灯赤外画像から点灯赤外画像を差し引いた差分画像にマイナス１を乗算することで取得される。
【００２１】
これにより、点灯赤外画像と消灯赤外画像との差分画像がフィールドレートで得ることが可能となる。そして、この差分画像を基に近接領域画像が抽出され、この近接領域画像をマスク画像として、対応するカラー動画像にマスキング処理を施し、カラー動画像から近接領域画像が抽出される。
【００２２】
【発明の実施の形態】
以下、本発明の一の実施の形態について説明する。図１は、本実施形態に係る近接領域画像抽出装置の外観構成を示した図である。本近接領域画像抽出装置は、撮影者Ｐの顔面部に装着される装着部１０及び撮影者Ｐの例えば腰部に装着されるウェアラブルコンピュータ２０から構成されている。装着部１０及びウェアラブルコンピュータ２０は電気ケーブルにより電気的に接続されている。なお、電気ケーブルに代えて無線により通信可能に接続してもよい。
【００２３】
装着部１０は、撮影ユニット１０１、制御ユニット１０２及び表示ユニット１０３を備えている。撮影ユニット１０１は、被写体からの反射光を受光するビームスプリッタ１３、ビームスプリッタ１３の上下に配設された赤外光源部１５を備えている。ビームスプリッタ１３は、撮影者のこめかみ付近に配設され、撮影者Ｐの視野内に存在する被写体からの反射光が受光可能となっている。本近接領域画像抽出装置は、撮影者Ｐによって把持された近接物体ＯＢをカラービデオカメラにより撮影し、得られたカラー動画像から近接物体ＯＢの画像（オブジェクト画像）を抽出し、このオブジェクト画像を表示ユニット１０３に動画像表示させるものである。
【００２４】
赤外光源部１５は、赤外発光ダイオードが所定行所定列に配列されている。制御ユニット１０２は、後述するフィールド多重回路及び同期回路を備えている。
【００２５】
表示ユニット１０３は、眼鏡１０４及び眼鏡１０４のフレーム上であって、撮影者Ｐが左右何れか一方の眼（図１では、撮影者Ｐの右眼）の前方に配設された片眼ディスプレイ１０５とを備えている。
【００２６】
図２は、本近接領域画像抽出装置の全体構成を示したブロック図である。図２に示すように、装着部１０は、カラーカメラ１１、赤外カメラ１２、ビームスプリッタ１３、フィールド多重回路１４、赤外光源部１５、同期回路１６、赤外透過フィルタ１７及び表示装置１８を備えている。
【００２７】
カラーカメラ１１は、ビームスプリッタ１３の図中上側に配設され、所定のフィールドレートでカラー動画像を取得する。カラーカメラ１１は、表示装置１８の各画素と対応するように所定行所定列で配列されたエリアＣＣＤを備えている。赤外カメラ１２は、ビームスプリッタ１３の図中右側に配設され、カラーカメラ１１と同一のフィールドレートで赤外画像を取得する。赤外カメラ１２は、表示装置１８の各画素と対応するように所定行所定列で配列され、赤外光帯域に高い感度を有するエリアＣＣＤを備えている。
【００２８】
ビームスプリッタ１３は、近接物体ＯＢの光像を反射してカラーカメラ１１側に導くとともに、近接物体ＯＢからの反射光を透過して赤外カメラ１２側に導く。これにより、カラーカメラ１１と赤外カメラ１２との光軸が一致し、両カメラは同じ被写体を撮影することができる。ビームスプリッタ１３と赤外カメラ１２との間には、赤外透過フィルタ１４が配設されている。これにより、赤外カメラ１２には、被写体からの反射光に含まれる赤外光成分のみが抽出され、導かれることとなる。なお、ビームスプリッタ１３として、赤外光のみを透過して赤外カメラ１２側に導く特性を有するものを採用した場合、赤外透過フィルタ１４は不要となる。
【００２９】
赤外光源部１５は、赤外発光ダイオード及び赤外発光ダイオードに駆動電流を供給する駆動回路等から構成され、同期回路１６の制御の基、近接物体ＯＢに対して赤外光の点灯及び消灯を交互に繰り返し照射する。
【００３０】
同期回路１６は、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外光源部１５に赤外光の点灯と消灯とを繰り返し実行させるとともに、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外カメラ１２に赤外画像を取得させる。これにより、赤外カメラ１２は、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外光源部１５の点灯時の赤外画像である点灯赤外画像と消灯時の赤外画像である消灯赤外画像とを交互に取得することが可能となる。点灯赤外画像及び消灯赤外画像の垂直解像度は、それぞれ、フレーム画像の垂直解像度の１／２である。
【００３１】
なお、以下の説明では、カラーカメラ１１が奇数フィールド画像（１枚のフレーム画像の奇数行のみを表した画像）を取得するときに、赤外カメラ１２は、点灯赤外画像を取得するものとし、カラーカメラ１１が偶数フィールド画像（１枚のフレーム画像の偶数行のみを表した画像）を取得するときに、赤外カメラ１２は、消灯赤外画像を取得するものとする。ただし、本発明はこれに限定されず、カラーカメラ１１が奇数フィールド画像を取得するときに、赤外カメラ１２は、消灯赤外画像を取得し、カラーカメラ１１が偶数フィールド画像を取得するときに、赤外カメラ１２は、点灯赤外画像を取得してもよい。
【００３２】
フィールド多重回路１７は、奇数フィールド画像とこれと同時に取得された点灯赤外画像、偶数フィールド画像とこれと同時に取得された消灯赤外画像の合計４枚の画像を統合して１枚の画像（統合画像）とし、ウェアラブルコンピュータ２０に出力する。これにより、上記４枚の画像を効率よくウェアラブルコンピュータ２０に出力することが可能となる。フィールド多重回路１７は、この統合画像を上記４枚の画像を取得する毎に生成し、ウェアラブルコンピュータ２０に出力する。したがって、統合画像は、フィールド画像が取得される周期をΔＴとすると、２ΔＴの周期で生成されることになる。
【００３３】
図３は、フィールド多重回路１７が生成した統合画像の一例を示している。図３に示すように、フィールド多重回路１７は、１枚の画像を水平方向の中心部で左右２つのエリアＡ１及びＡ２に分ける。そして、エリアＡ１には、それぞれ水平方向の画素数が１／２に圧縮された奇数フィールド画像及び偶数フィールド画像を奇数フィールド画像から順番に１ラインずつ交互に配列する。また、エリアＡ２には、それぞれ水平方向の画素数が１／２に圧縮された点灯赤外画像及び消灯赤外画像を、点灯赤外画像から順番に１ラインずつ交互に配列する。この場合、エリアＡ１には、奇数フィールド画像及び偶数フィールド画像を偶数フィールド画像から順番に１ラインずつ交互に配列し、エリアＡ２には、点灯赤外画像及び消灯赤外画像を消灯赤外画像から順番に１ラインずつ交互に配列してもよい。さらに、エリアＡ１に奇数フィールド画像及び偶数フィールド画像を、エリアＡ２に点灯赤外画像及び消灯赤外画像を配列してもよい。
【００３４】
図２に示すウェアラブルコンピュータ２０は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置等から構成されている（いずれも図略）。補助記憶装置には、オペレーティングシステム及びウェアラブルコンピュータ２０を本近接領域画像抽出装置の処理部として機能させるための制御プログラム等を記憶する。ＣＰＵは、オペレーティングシステムの制御の基、この制御プログラムを実行することで、ウェアラブルコンピュータ２０を画像メモリ２１、絶対値差分画像取得部２２、近接領域画像抽出部２３及びオブジェクト画像抽出部２４として機能させる。
【００３５】
画像メモリ２１は、例えばＲＡＭから構成され、フィールド多重回路１７で生成された統合画像を一時的に記憶する。
【００３６】
絶対値差分画像取得部２２は、画像メモリ２１から１枚の統合画像を読み出し、この統合画像に含まれる点灯赤外画像から消灯赤外画像を差し引くことで得られた差分画像を絶対値差分画像として取得するとともに、画像メモリ２１から次の統合画像を読み出し、前の統合画像に含まれる消灯画像から、次の統合画像に含まれる点灯赤外画像を差し引くことで得られた差分画像に−１を乗算し絶対差分画を取得する。ここでいう差分画像とは、点灯赤外画像及び消灯赤外画像の対応する画素同士の輝度の差分を算出することにより得られる画像をいう。
【００３７】
近接領域画像抽出部２３は、絶対値差分画像取得部２２が取得した絶対値差分画像の輝度を所定の閾値と比較し、この閾値よりも大きな輝度を有する領域を近接領域画像として抽出し、抽出した画像をマスク画像として、対応する奇数フィールド画像又は偶数フィールド画像に対してマスキング処理を施し、奇数フィールド画像又は偶数フィールド画像から近接領域画像を抽出する。
【００３８】
オブジェクト画像抽出部２４は、近接領域画像抽出部２３が抽出した近接領域画像に対して、肌色の画素領域を除去することにより、近接領域画像中の近接物体を把持する撮影者の手の画像を除去し、オブジェクト画像を抽出する。
【００３９】
表示装置１８は、片眼ディスプレイ１０５から構成され、オブジェクト画像抽出部２４が抽出したオブジェクト画像を表示する。
【００４０】
なお、本近接領域画像抽出装置は、フィールド多重回路１４が画像統合部に相当し、同期回路１６が点灯制御手段に相当し、近接領域画像抽出部２３及びオブジェクト画像抽出部２４が抽出手段に相当する。
【００４１】
次に、本近接領域画像抽出装置の動作を図４〜図６を参照して説明する。図４は、本近接領域画像抽出装置が行う処理を説明するための図である。また、図５は、カラーカメラ１１が取得する奇数フィールド画像及び偶数フィールド画像を時系列的に表すとともに、赤外カメラ１２が取得する点灯赤外画像及び消灯赤外画像を時系列的に表した図である。さらに、図６（ａ）はカラーカメラ１１が取得するカラー動画像を示し、（ｂ）は赤外カメラ１２が取得する点灯赤外画像及び消灯赤外画像を用いて生成された絶対値差分画像を示し、（ｃ）近接領域画像を示し、（ｄ）はオブジェクト画像を示している。
【００４２】
図４では、１列目には統合画像ＪＩ１、ＪＩ２、・・・が下側に向けて時系列的に示されており、２列目には奇数フィールド画像ＯＩ１、偶数フィールド画像ＥＩ１、点灯赤外画像ＬＲ１及び消灯赤外画像ＯＲ１、・・・が下側に向けて時系列的に示されており、３列目には絶対値差分画像ＳＩ１、ＳＩ２、・・・が下側に向けて時系列的に示されており、４列目にはマスク画像Ｍ１、Ｍ２、・・・が下側に時系列的に示されており、５列目には近接領域画像ＥＸ１、ＥＸ２、・・・が下方向に向けて時系列的に示されている。また、図５では、奇数フィールド画像ＯＩ１、ＯＩ２、・・・及び偶数フィールド画像ＥＪ１、ＥＪ２、・・・が時系列的に交互に表されており、点灯赤外画像ＬＲ１、ＬＲ２、・・・及び消灯赤外画像ＯＲ１、ＯＲ２、・・・が時系列的に表されている。さらに図５では、絶対値差分画像ＳＩ１、ＳＩ２、・・・及び近接領域画像ＥＸ１、ＥＸ２、・・・が時系列的に表されている。なお、図４及び図５において同じ符号を付しているものは同じ画像を表している。
【００４３】
図４に示すように、まず、絶対値差分画像取得部２２は、統合画像ＪＩ１に含まれる点灯赤外画像ＬＲ１から消灯赤外画像ＯＲ１を差し引き、絶対値差分画像ＳＩ１を算出する。この場合、図６（ｂ）に示すような絶対値差分画像が取得される。この絶対値差分画像は輝度情報のみを含むモノクロ画像である。
【００４４】
このように絶対値差分画像を算出しているため、屋外使用時におけるロバスト性を確保することができる。屋外環境下において、太陽光には多量の赤外光成分が含まれており、近接物体ＯＢの赤外画像には、太陽光に起因する赤外成分と照射赤外光に起因する赤外成分とが含まれている。近接物体ＯＢの赤外画像に太陽光に起因する赤外成分が多く含まれると、近接物体ＯＢ以外の背景画像の輝度も大きくなり、輝度に基づいて、赤外画像から近接物体ＯＢのみを抽出することが困難となる。そのため、近接物体ＯＢを精度よく抽出するためには、近接物体ＯＢの赤外画像から太陽光に起因する赤外成分を取り除き、照射赤外光に起因する赤外成分のみを抽出する必要がある。点灯赤外画像には、太陽光に起因する赤外成分と照射赤外光に起因する赤外成分が含まれている。一方、消灯赤外画像に太陽光に起因する赤外成分のみが含まれている。したがって、点灯赤外画像から消灯赤外画像を差し引くと、両赤外画像に含まれる太陽光に起因する赤外成分が相殺され、照射赤外光に起因する赤外成分のみを抽出することが可能となる。これにより屋外環境下でのロバスト性が確保されることとなる。
【００４５】
次いで、近接領域画像抽出部２３は、この絶対値差分画像ＳＩ１の各画素の輝度を所定の閾値と比較することにより、絶対値差分画像ＳＩ１からマスク画像Ｍ１を抽出する。赤外画像は、輝度が距離の二乗に反比例して表れるという特性を有している。すなわち、赤外カメラ１２の近傍に位置する近接物体ＯＢは、赤外画像中、高い輝度で表され、背景画像は、近接物体ＯＢに比べて極端に低い輝度で表される。そのため、近接物体ＯＢの輝度と背景画像の輝度との間の所定の値を閾値として設定し、各画素の輝度をこの閾値と比較することにより、カラー動画像から近接領域画像を抽出することができる。
【００４６】
次いで、近接領域画像抽出部２３は、マスク画像Ｍ１を用いて奇数フィールド画像ＯＩ１に対してマスキングを施し、奇数フィールド画像ＯＩ１から近接領域画像ＥＸ１を抽出する。この場合、図６（ｃ）に示すように近接物体ＯＢ及び撮影者Ｐの手Ｈの画像が近接領域画像として抽出される。
【００４７】
次いで、オブジェクト画像抽出部２４は、近接領域画像ＥＸ１から肌色の画素を除去することで、撮影者Ｐの手Ｈの画像を除去し、オブジェクト画像を抽出する。この場合、図６（ｄ）に示すように、近接物体ＯＢ（コップ）の画像のみが抽出される、すなわちオブジェクト画像が抽出されることとなる。抽出されたオブジェクト画像は、表示装置１８に表示される。
【００４８】
次いで、図４に示すように、絶対値差分画像取得部２２は、統合画像Ｊ１１の次に生成された統合画像ＪＩ２に含まれる点灯赤外画像ＬＲ２から統合画像ＪＩ１に含まれる消灯赤外画像を差し引くことにより、絶対値差分画像ＳＩ２を取得する。すなわち、絶対値差分画像取得部２２は、図５に示すように、偶数番目の差分画像（絶対値差分画像ＳＩ２、ＳＩ４、・・・）を取得するにあたり、消灯赤外画像から点灯赤外画像を差し引いた差分画像に−１を乗算し、この差分画像の各画素の輝度をプラスの値とすることにより絶対値差分画像を得ている。その結果、絶対値差分画像ＳＩ１、ＳＩ２、・・・をフィールドレートで得ることができる。
【００４９】
表示装置１８は、このようにして抽出されたオブジェクト画像を順次表示していく。これにより、表示装置１８には、撮影者Ｐの視野内に存在する近接物体ＯＢの画像が撮影者Ｐの動作に追従して表示されることとなる。
【００５０】
以上説明したように本近接領域画像抽出装置によれば、屋外におけるロバスト性を確保するために、点灯赤外画像と消灯赤外画像の差分画像を算出するにあたり、絶対値差分画像を用いているため、オブジェクト画像をフィールドレート（ΔＴ）で得ることができる。
【００５１】
また、カラーカメラ１１及び赤外カメラ１２は、ユーザが顔面部に装着する装着部１０に含まれているため、頭部運動（首振運動）が頻繁に発生することが想定され、この場合、取得画像毎の画像変動が大きくなるが、本近接領域画像抽出装置は、フィールドレートで絶対値差分画像を取得することができるため、オブジェクト画像を高精度で抽出することが可能となる。
【００５２】
また、ビームスプリッタ１３を用い、カラーカメラ１１と赤外カメラ１２との光軸を一致させているため、両カメラは同じ被写体を撮影することが可能となり、近接領域画像の抽出精度をより高めることができる。
【００５３】
さらに、フィールド多重回路１４を用いて、統合画像を生成し、ウェアラブルコンピュータ２０に出力しているため、奇数フィールド画像、偶数フィールド画像、点灯赤外画像及び消灯赤外画像を効率良くウェアラブルコンピュータ２０に出力することができる。
【００５４】
さらに、ビームスプリッタ１３が撮影者Ｐのこめかみ付近に位置するように撮影ユニット１０２の装着が可能となっているため、撮影者Ｐが近接物体ＯＢを目視することにより、近接物体ＯＢを撮影することが可能となる。そのため、撮影者Ｐは、撮影することを意識することなく、近接物体ＯＢを用いて、何らかの作業を行なっているときの近接物体ＯＢの画像を取得することができる。
【００５５】
さらに、ウェアラブルコンピュータ２０を用いているため、撮影者Ｐは、本近接領域画像抽出装置を装着した状態で、自由に動き回ることができる。
【００５６】
なお、本発明は、以下の態様を採用してもよい。
【００５７】
（１）上記実施形態では、カラーカメラ１１と赤外カメラ１２とは、フィールド画像と赤外画像とを同じタイミングで取得しているがこれに限定されず、例えば、図７に示すように、奇数フィールド画像ＯＩ１、点灯赤外画像ＬＲ１、偶数フィールド画像ＥＩ１、消灯赤外画像ＯＲ１、・・・の順番となるように、フィールド画像と赤外画像とを一定の時間間隔（ΔＴ）でタイミングをずらして取得する態様も請求項１に記載する「同期」に含まれる。この場合、従来の方式、すなわち点灯赤外画像から消灯赤外画像を差し引いた画像のみを差分画像とする方式を採用すると、差分画像は４ΔＴの周期で取得されることとなる。一方、本発明による方式を採用すれば、絶対値差分画像ＳＩ１、ＳＩ２、ＳＩ３、・・・は、２ΔＴの周期で取得されることとなるため、本変形例においても、高速にオブジェクト画像を抽出することができる。
【００５８】
（２） 上記実施形態では、フィールド多重回路１４は、図３に示すような統合画像を取得しているが、これに限定されず、図８に示すように、エリアＡ１には、それぞれ水平方向の画素数が１／２に圧縮された点灯赤外画像及び奇数フィールド画像を１ラインずつ交互に配列し、エリアＡ２には、それぞれの水平方向の画素数が１／２に圧縮された消灯赤外画像及び偶数フィールド画像を１ラインずつ交互に配列してもよい。
【００５９】
（３）上記実施形態では、奇数フィールド画像と偶数フィールド画像とに分けて取得するインターレース方式のカラーカメラ１１を採用したが、本発明は、これに限定されず、プログレッシブ方式のカラーカメラ１１を採用してもよい。この場合、フィールド多重回路１４は、インターレース方式のカラーカメラを採用したときと同様に、プログレッシブ方式のカラーカメラによって取得された２枚の画像と、その２枚の画像と同期して取得された点灯赤外画像及び消灯赤外画像の合計４枚の画像を用いて統合画像を生成すればよい。この場合であっても、統合画像をフレームレート（２ΔＴ）で取得することができる。
【００６０】
【発明の効果】
以上説明したように本発明によれば、点灯赤外画像と消灯赤外画像との絶対値差分画像を用いて、近接領域画像を抽出しているため、屋外におけるロバスト性を確保しつつ、近接領域画像をフィールドレートで抽出することができる。
【図面の簡単な説明】
【図１】本実施形態に係る近接領域画像抽出装置の外観構成を示した図である。
【図２】本近接領域画像抽出装置の全体構成を示したブロック図である。
【図３】フィールド多重回路が生成した統合画像の一例を示した図である。
【図４】本近接領域画像抽出装置が行う処理を説明するための図である。
【図５】カラービデオカメラが取得する奇数フィールド画像及び偶数フィールド画像を時系列的に表すとともに、赤外カメラが取得する点灯赤外画像及び消灯赤外画像を時系列的に表した図である。
【図６】（ａ）はカラーカメラが取得するカラー動画像を示し、（ｂ）は赤外カメラが取得する点灯赤外画像及び消灯赤外画像を用いて生成された絶対値差分画像を示し、（ｃ）近接領域画像を示し、（ｄ）はオブジェクト画像を示している。
【図７】カラービデオカメラ及び赤外カメラの画像取得タイミングの変形例を示した図である。
【図８】統合画像の他の例を示した図である。
【符号の説明】
１０ 装着部
１１ カラービデオカメラ
１２ 赤外カメラ
１３ ビームスプリッタ
１４ フィールド多重回路
１５ 赤外光源部
１６ 同期回路
１７ 表示装置
１８ 眼鏡
２０ ウェアラブルコンピュータ
２１ 画像メモリ
２２ 絶対値差分画像取得部
２３ 近接領域画像抽出部
２４ オブジェクト画像抽出部
【発明の属する技術分野】
本発明は、近接物体を含むカラー動画像から、近接物体を含む近接領域画像を抽出する技術に関する。
【０００２】
【従来の技術】
近年、カラービデオカメラと赤外カメラとを用いて、カラービデオカメラが撮影したカラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する技術がいくつか提案されている。
【０００３】
非特許文献１においては、カラー動画像を撮影するカラービデオカメラと、このカラービデオカメラと光軸一致状態に配設された赤外カメラと、赤外光を発光する赤外光源とを備え、被写体からの赤外反射光を受光することで得られた赤外画像に基づいて、カラー動画像から近接領域画像を抽出する装置が開示されている。かかる装置では、カラービデオカメラと赤外カメラとが光軸一致の状態で配設されているため、両カメラは同一の被写体を撮影することが可能となり、カラー動画像から近接領域画像を精度よく抽出することができる。なお、赤外画像は、輝度が距離の二乗に反比例して現れる特性を有しているため、輝度を基に、近接領域画像と背景画像とを分離することができる。
【０００４】
しかし、非特許文献１の装置においては、屋内では近接領域画像を良好に抽出することができるものの、屋外では太陽光に多く含まれる赤外光の影響により、赤外画像中の背景画像の輝度が高くなってしまい、近接領域画像を精度良く抽出することができず、屋外でのロバスト性が低下するという問題を有していた。
【０００５】
そこで、赤外光源に対して、赤外カメラが赤外画像を取得するタイミングと同期して、点灯及び消灯を交互に繰り返し実行させ、赤外光源の点灯時の赤外画像（点灯赤外画像）と赤外光源の消灯時の赤外画像（消灯赤外画像）とを交互に取得し、点灯赤外画像から、その点灯赤外画像の次フィールドで取得された消灯赤外画像を差し引くことにより差分画像を取得し、この差分画像を用いて、近接領域画像を抽出することで屋外でのロバスト性を確保できる装置が開示されている。
【０００６】
ここで、点灯赤外画像には、太陽光に含まれる赤外光の成分（太陽光赤外成分）と赤外光源からの赤外光の成分（光源赤外光成分）とが含まれている。一方、消灯赤外画像には、太陽赤外光成分のみが含まれる。そのため、点灯赤外画像から消灯赤外画像を差し引くと、両画像に含まれる太陽赤外光成分が相殺されることとなり、差分画像には、光源赤外光成分のみが含まれ、背景画像と近接領域画像とを精度よく分離することができる。その他、以下に示す非特許文献３及び４なども存在する。
【０００７】
【非特許文献１】
上岡、河村、河野、木戸出“ウェアラブル装置を用いたオブジェクト登録・検索システムの基礎実験”画像電子学会第９１回研究会、ｐｐ２５−３０，ｊａｎ ２００２
【非特許文献２】
Ｌｅｅ，Ｃ．，Ｓｃｈｒｏｄｅｒ，Ｋ，ａｎｄ Ｓｅｉｂｅｌ，Ｅ．Ｅｆｆｉｃｉｅｎｔ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｗａｌｋｉｎｇ ｈａｚａｒｄｓ ｕｓｉｎｇ ＩＲ ｉｌｌｕｍｉｎａｔｉｏｎ ｉｎ Ｗｅａｒａｂｌｅ ｌｏｗ ｖｉｓｉｏｎ ａｉｄｓ．Ｐｒｏｃ．６ｔｈ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｗｅａｒａｂｌｅ Ｃｏｍｐｕｔｅｒｓ（ＩＳＷＣ２００２），ｐｐ１２７−１２８，Ｏｃｔ．２００２
【非特許文献３】
種本、松本、今井、小笠原“赤外光源を用いたての画像取得に基づく非接触インターフェイスの構築”ロボティクス・メカトロニクス講演会’０１公演論文集、１Ｐ１−Ｍ１０，２００１
【非特許文献４】
三原、原島、沼崎Ｐｏｐ．ｅｙｅ“パーソナルユーザ向けの「飛び出す」動画取得システム”ＷＩＳＳ２００２論文集，ｐｐ．７３−７９，Ｄｅｃ２００２
【０００８】
【発明が解決しようとする課題】
しかしながら、非特許文献２に開示された装置では、点灯赤外画像からその次に取得される消灯赤外画像を差し引くことにより差分画像を取得しているが、これでは差分画像は、奇数フィールド画像及び偶数フィールド画像が取得される周期をΔＴとすると、２ΔＴの周期で取得されるため、近接領域画像をフィールドレートで取得することができないという問題があった。特に、赤外カメラ及びカラーカメラを頭部に装着してウェアラブルに使用する場合、頭部運動（首振り）による画像変動が大きいため、差分画像を取得する周期が大きいと、赤外画像及びカラー画像間における近接物体の位置が相違してしまい、近接領域画像を高精度に検出することができなくなってしまう。
【０００９】
本発明は、上記課題を解決するためになされたものであり、屋外におけるロバスト性を確保しつつ、近接領域画像をフィールドレートで取得することができる近接領域画像抽出装置及び近接領域画像抽出方法を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本近接領域画像抽出装置は、カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出装置であって、可視光を用いて前記近接物体のカラー動画像を取得する撮影手段と、前記近接物体に赤外光を照射する赤外光源と、前記赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し行わせる点灯制御手段と、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得する赤外画像取得手段と、現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続して取得された点灯赤外画像と消灯赤外画像との差分の絶対値の画像を取得する絶対値差分画像取得手段と、前記絶対値差分画像取得手段が取得した絶対値差分画像を基に、前記カラー動画像から前記近接領域画像を抽出する抽出手段とを備えることを特徴とする。
【００１１】
この構成によれば、撮影手段によって、カラー動画像が撮影されるとともに、撮影手段がフィールド画像を取得するタイミングと同期して、赤外光源の点灯と消灯とが交互に繰り返され、赤外画像取得手段によって、点灯赤外画像と消灯赤外画像とが交互に繰り返し撮影される。そして、時間的に連続する点灯赤外画像と消灯赤外画像との差分の絶対値の画像（絶対値差分画像）が取得される。ここで、絶対値差分画像は、前フィールド画像に対応する赤外画像が点灯赤外画像であり、現フィールド画像に対応する赤外画像が消灯赤外画像である場合は、点灯赤外画像から消灯赤外画像を差し引くことで取得され、前フィールド画像に対応する赤外画像が消灯赤外画像であり、現フィールド画像に対応する赤外画像が点灯赤外画像である場合は、消灯赤外画像から点灯赤外画像を差し引いた差分画像にマイナス１を乗算することで取得される。
【００１２】
これにより、点灯赤外画像と消灯赤外画像との差分画像がフィールドレートで得ることが可能となる。そして、この差分画像を基に近接領域画像が抽出され、この近接領域画像をマスク画像として、対応するカラー動画像にマスキング処理を施し、カラー動画像から近接領域画像が抽出される。
【００１３】
また、前記撮影手段及び前記赤外画像取得手段の光軸は、一致の状態で配設されていることが好ましい。この構成によれば、赤外画像取得手段と撮影手段とは、同じ被写体を撮影することが可能となるため、カラー動画像から抽出される近接領域画像の抽出精度をより高めることができる。
【００１４】
また、前記撮影手段によって取得された時間的に連続する２枚のフィールド画像、前記２枚のフィールド画像とそれぞれ同期して取得された点灯赤外画像及び消灯赤外画像を１枚の画像に統合して、前記絶対値差分画像取得手段に出力する画像統合部をさらに備え、前記画像統合部は、前記２枚のフィールド画像、前記点灯赤外画像及び前記消灯赤外画像をそれぞれ、水平方向の画素数が１／２となるように圧縮して、１枚の画像に統合することが好ましい。
【００１５】
この構成によれば、連続する２枚のカラー画像、点灯赤外画像及び消灯赤外画像は、それぞれ水平方向の画素数が１／２に圧縮されて１枚の画像に統合されるため、これら４枚の画像を効率よく絶対値差分画像取得手段に出力することができる。
【００１６】
また、前記抽出手段は、前記近接領域画像から肌色の領域を除去し、前記近接物体を表すオブジェクト画像を抽出することが好ましい。この構成によれば、近接領域画像に含まれる近接物体を把持する撮影者の手の画像を除去することが可能となり、カラー動画像から近接物体を表すオブジェクト画像を抽出することができる。
【００１７】
また、前記抽出手段が抽出したオブジェクト画像を表示するオーバーヘッドディスプレイをさらに備え、前記撮影手段、前記赤外光源及び前記赤外画像取得手段は、前記オーバーヘッドディスプレイと一体的に構成されているとともに、その光軸が撮影者の視野内に含まれるように配設することが好ましい。
【００１８】
この構成によれば、撮影手段及び赤外画像取得手段は、撮影者が近接物体を把持し、把持した近接物体を目視したときの画像を撮影することができる。
【００１９】
本発明に係る近接領域画像抽出方法は、カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出方法であって、撮影手段を用い、前記近接物体のカラー動画像を撮影するステップと、前記近接物体に対して赤外光を照射する赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し実行させるステップと、赤外画像取得手段を用い、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得するステップと、現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続する前記点灯赤外画像と前記消灯赤外画像との差分の絶対値の画像を取得するステップと、前記差分の絶対値の画像を基に、前記撮影手段が取得したカラー動画像から前記近接領域画像を抽出するステップとを備えることを特徴とする。
【００２０】
この構成によれば、撮影手段によって、カラー動画像が撮影されるとともに、撮影手段がフィールド画像を取得するタイミングと同期して、赤外光源の点灯と消灯とが交互に繰り返され、赤外画像取得手段によって、点灯赤外画像と消灯赤外画像とが交互に繰り返し撮影される。そして、時間的に連続する点灯赤外画像と消灯赤外画像との差分の絶対値の画像（絶対値差分画像）が取得される。ここで、絶対値差分画像は、前フィールド画像に対応する赤外画像が点灯赤外画像であり、現フィールド画像に対応する赤外画像が消灯赤外画像である場合は、点灯赤外画像から消灯赤外画像を差し引くことで取得され、前フィールド画像に対応する赤外画像が消灯赤外画像であり、現フィールド画像に対応する赤外画像が点灯赤外画像である場合は、消灯赤外画像から点灯赤外画像を差し引いた差分画像にマイナス１を乗算することで取得される。
【００２１】
これにより、点灯赤外画像と消灯赤外画像との差分画像がフィールドレートで得ることが可能となる。そして、この差分画像を基に近接領域画像が抽出され、この近接領域画像をマスク画像として、対応するカラー動画像にマスキング処理を施し、カラー動画像から近接領域画像が抽出される。
【００２２】
【発明の実施の形態】
以下、本発明の一の実施の形態について説明する。図１は、本実施形態に係る近接領域画像抽出装置の外観構成を示した図である。本近接領域画像抽出装置は、撮影者Ｐの顔面部に装着される装着部１０及び撮影者Ｐの例えば腰部に装着されるウェアラブルコンピュータ２０から構成されている。装着部１０及びウェアラブルコンピュータ２０は電気ケーブルにより電気的に接続されている。なお、電気ケーブルに代えて無線により通信可能に接続してもよい。
【００２３】
装着部１０は、撮影ユニット１０１、制御ユニット１０２及び表示ユニット１０３を備えている。撮影ユニット１０１は、被写体からの反射光を受光するビームスプリッタ１３、ビームスプリッタ１３の上下に配設された赤外光源部１５を備えている。ビームスプリッタ１３は、撮影者のこめかみ付近に配設され、撮影者Ｐの視野内に存在する被写体からの反射光が受光可能となっている。本近接領域画像抽出装置は、撮影者Ｐによって把持された近接物体ＯＢをカラービデオカメラにより撮影し、得られたカラー動画像から近接物体ＯＢの画像（オブジェクト画像）を抽出し、このオブジェクト画像を表示ユニット１０３に動画像表示させるものである。
【００２４】
赤外光源部１５は、赤外発光ダイオードが所定行所定列に配列されている。制御ユニット１０２は、後述するフィールド多重回路及び同期回路を備えている。
【００２５】
表示ユニット１０３は、眼鏡１０４及び眼鏡１０４のフレーム上であって、撮影者Ｐが左右何れか一方の眼（図１では、撮影者Ｐの右眼）の前方に配設された片眼ディスプレイ１０５とを備えている。
【００２６】
図２は、本近接領域画像抽出装置の全体構成を示したブロック図である。図２に示すように、装着部１０は、カラーカメラ１１、赤外カメラ１２、ビームスプリッタ１３、フィールド多重回路１４、赤外光源部１５、同期回路１６、赤外透過フィルタ１７及び表示装置１８を備えている。
【００２７】
カラーカメラ１１は、ビームスプリッタ１３の図中上側に配設され、所定のフィールドレートでカラー動画像を取得する。カラーカメラ１１は、表示装置１８の各画素と対応するように所定行所定列で配列されたエリアＣＣＤを備えている。赤外カメラ１２は、ビームスプリッタ１３の図中右側に配設され、カラーカメラ１１と同一のフィールドレートで赤外画像を取得する。赤外カメラ１２は、表示装置１８の各画素と対応するように所定行所定列で配列され、赤外光帯域に高い感度を有するエリアＣＣＤを備えている。
【００２８】
ビームスプリッタ１３は、近接物体ＯＢの光像を反射してカラーカメラ１１側に導くとともに、近接物体ＯＢからの反射光を透過して赤外カメラ１２側に導く。これにより、カラーカメラ１１と赤外カメラ１２との光軸が一致し、両カメラは同じ被写体を撮影することができる。ビームスプリッタ１３と赤外カメラ１２との間には、赤外透過フィルタ１４が配設されている。これにより、赤外カメラ１２には、被写体からの反射光に含まれる赤外光成分のみが抽出され、導かれることとなる。なお、ビームスプリッタ１３として、赤外光のみを透過して赤外カメラ１２側に導く特性を有するものを採用した場合、赤外透過フィルタ１４は不要となる。
【００２９】
赤外光源部１５は、赤外発光ダイオード及び赤外発光ダイオードに駆動電流を供給する駆動回路等から構成され、同期回路１６の制御の基、近接物体ＯＢに対して赤外光の点灯及び消灯を交互に繰り返し照射する。
【００３０】
同期回路１６は、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外光源部１５に赤外光の点灯と消灯とを繰り返し実行させるとともに、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外カメラ１２に赤外画像を取得させる。これにより、赤外カメラ１２は、カラーカメラ１１がフィールド画像を取得するタイミングと同期して、赤外光源部１５の点灯時の赤外画像である点灯赤外画像と消灯時の赤外画像である消灯赤外画像とを交互に取得することが可能となる。点灯赤外画像及び消灯赤外画像の垂直解像度は、それぞれ、フレーム画像の垂直解像度の１／２である。
【００３１】
なお、以下の説明では、カラーカメラ１１が奇数フィールド画像（１枚のフレーム画像の奇数行のみを表した画像）を取得するときに、赤外カメラ１２は、点灯赤外画像を取得するものとし、カラーカメラ１１が偶数フィールド画像（１枚のフレーム画像の偶数行のみを表した画像）を取得するときに、赤外カメラ１２は、消灯赤外画像を取得するものとする。ただし、本発明はこれに限定されず、カラーカメラ１１が奇数フィールド画像を取得するときに、赤外カメラ１２は、消灯赤外画像を取得し、カラーカメラ１１が偶数フィールド画像を取得するときに、赤外カメラ１２は、点灯赤外画像を取得してもよい。
【００３２】
フィールド多重回路１７は、奇数フィールド画像とこれと同時に取得された点灯赤外画像、偶数フィールド画像とこれと同時に取得された消灯赤外画像の合計４枚の画像を統合して１枚の画像（統合画像）とし、ウェアラブルコンピュータ２０に出力する。これにより、上記４枚の画像を効率よくウェアラブルコンピュータ２０に出力することが可能となる。フィールド多重回路１７は、この統合画像を上記４枚の画像を取得する毎に生成し、ウェアラブルコンピュータ２０に出力する。したがって、統合画像は、フィールド画像が取得される周期をΔＴとすると、２ΔＴの周期で生成されることになる。
【００３３】
図３は、フィールド多重回路１７が生成した統合画像の一例を示している。図３に示すように、フィールド多重回路１７は、１枚の画像を水平方向の中心部で左右２つのエリアＡ１及びＡ２に分ける。そして、エリアＡ１には、それぞれ水平方向の画素数が１／２に圧縮された奇数フィールド画像及び偶数フィールド画像を奇数フィールド画像から順番に１ラインずつ交互に配列する。また、エリアＡ２には、それぞれ水平方向の画素数が１／２に圧縮された点灯赤外画像及び消灯赤外画像を、点灯赤外画像から順番に１ラインずつ交互に配列する。この場合、エリアＡ１には、奇数フィールド画像及び偶数フィールド画像を偶数フィールド画像から順番に１ラインずつ交互に配列し、エリアＡ２には、点灯赤外画像及び消灯赤外画像を消灯赤外画像から順番に１ラインずつ交互に配列してもよい。さらに、エリアＡ１に奇数フィールド画像及び偶数フィールド画像を、エリアＡ２に点灯赤外画像及び消灯赤外画像を配列してもよい。
【００３４】
図２に示すウェアラブルコンピュータ２０は、ＣＰＵ（中央処理装置）、ＲＯＭ（リードオンリーメモリ）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置等から構成されている（いずれも図略）。補助記憶装置には、オペレーティングシステム及びウェアラブルコンピュータ２０を本近接領域画像抽出装置の処理部として機能させるための制御プログラム等を記憶する。ＣＰＵは、オペレーティングシステムの制御の基、この制御プログラムを実行することで、ウェアラブルコンピュータ２０を画像メモリ２１、絶対値差分画像取得部２２、近接領域画像抽出部２３及びオブジェクト画像抽出部２４として機能させる。
【００３５】
画像メモリ２１は、例えばＲＡＭから構成され、フィールド多重回路１７で生成された統合画像を一時的に記憶する。
【００３６】
絶対値差分画像取得部２２は、画像メモリ２１から１枚の統合画像を読み出し、この統合画像に含まれる点灯赤外画像から消灯赤外画像を差し引くことで得られた差分画像を絶対値差分画像として取得するとともに、画像メモリ２１から次の統合画像を読み出し、前の統合画像に含まれる消灯画像から、次の統合画像に含まれる点灯赤外画像を差し引くことで得られた差分画像に−１を乗算し絶対差分画を取得する。ここでいう差分画像とは、点灯赤外画像及び消灯赤外画像の対応する画素同士の輝度の差分を算出することにより得られる画像をいう。
【００３７】
近接領域画像抽出部２３は、絶対値差分画像取得部２２が取得した絶対値差分画像の輝度を所定の閾値と比較し、この閾値よりも大きな輝度を有する領域を近接領域画像として抽出し、抽出した画像をマスク画像として、対応する奇数フィールド画像又は偶数フィールド画像に対してマスキング処理を施し、奇数フィールド画像又は偶数フィールド画像から近接領域画像を抽出する。
【００３８】
オブジェクト画像抽出部２４は、近接領域画像抽出部２３が抽出した近接領域画像に対して、肌色の画素領域を除去することにより、近接領域画像中の近接物体を把持する撮影者の手の画像を除去し、オブジェクト画像を抽出する。
【００３９】
表示装置１８は、片眼ディスプレイ１０５から構成され、オブジェクト画像抽出部２４が抽出したオブジェクト画像を表示する。
【００４０】
なお、本近接領域画像抽出装置は、フィールド多重回路１４が画像統合部に相当し、同期回路１６が点灯制御手段に相当し、近接領域画像抽出部２３及びオブジェクト画像抽出部２４が抽出手段に相当する。
【００４１】
次に、本近接領域画像抽出装置の動作を図４〜図６を参照して説明する。図４は、本近接領域画像抽出装置が行う処理を説明するための図である。また、図５は、カラーカメラ１１が取得する奇数フィールド画像及び偶数フィールド画像を時系列的に表すとともに、赤外カメラ１２が取得する点灯赤外画像及び消灯赤外画像を時系列的に表した図である。さらに、図６（ａ）はカラーカメラ１１が取得するカラー動画像を示し、（ｂ）は赤外カメラ１２が取得する点灯赤外画像及び消灯赤外画像を用いて生成された絶対値差分画像を示し、（ｃ）近接領域画像を示し、（ｄ）はオブジェクト画像を示している。
【００４２】
図４では、１列目には統合画像ＪＩ１、ＪＩ２、・・・が下側に向けて時系列的に示されており、２列目には奇数フィールド画像ＯＩ１、偶数フィールド画像ＥＩ１、点灯赤外画像ＬＲ１及び消灯赤外画像ＯＲ１、・・・が下側に向けて時系列的に示されており、３列目には絶対値差分画像ＳＩ１、ＳＩ２、・・・が下側に向けて時系列的に示されており、４列目にはマスク画像Ｍ１、Ｍ２、・・・が下側に時系列的に示されており、５列目には近接領域画像ＥＸ１、ＥＸ２、・・・が下方向に向けて時系列的に示されている。また、図５では、奇数フィールド画像ＯＩ１、ＯＩ２、・・・及び偶数フィールド画像ＥＪ１、ＥＪ２、・・・が時系列的に交互に表されており、点灯赤外画像ＬＲ１、ＬＲ２、・・・及び消灯赤外画像ＯＲ１、ＯＲ２、・・・が時系列的に表されている。さらに図５では、絶対値差分画像ＳＩ１、ＳＩ２、・・・及び近接領域画像ＥＸ１、ＥＸ２、・・・が時系列的に表されている。なお、図４及び図５において同じ符号を付しているものは同じ画像を表している。
【００４３】
図４に示すように、まず、絶対値差分画像取得部２２は、統合画像ＪＩ１に含まれる点灯赤外画像ＬＲ１から消灯赤外画像ＯＲ１を差し引き、絶対値差分画像ＳＩ１を算出する。この場合、図６（ｂ）に示すような絶対値差分画像が取得される。この絶対値差分画像は輝度情報のみを含むモノクロ画像である。
【００４４】
このように絶対値差分画像を算出しているため、屋外使用時におけるロバスト性を確保することができる。屋外環境下において、太陽光には多量の赤外光成分が含まれており、近接物体ＯＢの赤外画像には、太陽光に起因する赤外成分と照射赤外光に起因する赤外成分とが含まれている。近接物体ＯＢの赤外画像に太陽光に起因する赤外成分が多く含まれると、近接物体ＯＢ以外の背景画像の輝度も大きくなり、輝度に基づいて、赤外画像から近接物体ＯＢのみを抽出することが困難となる。そのため、近接物体ＯＢを精度よく抽出するためには、近接物体ＯＢの赤外画像から太陽光に起因する赤外成分を取り除き、照射赤外光に起因する赤外成分のみを抽出する必要がある。点灯赤外画像には、太陽光に起因する赤外成分と照射赤外光に起因する赤外成分が含まれている。一方、消灯赤外画像に太陽光に起因する赤外成分のみが含まれている。したがって、点灯赤外画像から消灯赤外画像を差し引くと、両赤外画像に含まれる太陽光に起因する赤外成分が相殺され、照射赤外光に起因する赤外成分のみを抽出することが可能となる。これにより屋外環境下でのロバスト性が確保されることとなる。
【００４５】
次いで、近接領域画像抽出部２３は、この絶対値差分画像ＳＩ１の各画素の輝度を所定の閾値と比較することにより、絶対値差分画像ＳＩ１からマスク画像Ｍ１を抽出する。赤外画像は、輝度が距離の二乗に反比例して表れるという特性を有している。すなわち、赤外カメラ１２の近傍に位置する近接物体ＯＢは、赤外画像中、高い輝度で表され、背景画像は、近接物体ＯＢに比べて極端に低い輝度で表される。そのため、近接物体ＯＢの輝度と背景画像の輝度との間の所定の値を閾値として設定し、各画素の輝度をこの閾値と比較することにより、カラー動画像から近接領域画像を抽出することができる。
【００４６】
次いで、近接領域画像抽出部２３は、マスク画像Ｍ１を用いて奇数フィールド画像ＯＩ１に対してマスキングを施し、奇数フィールド画像ＯＩ１から近接領域画像ＥＸ１を抽出する。この場合、図６（ｃ）に示すように近接物体ＯＢ及び撮影者Ｐの手Ｈの画像が近接領域画像として抽出される。
【００４７】
次いで、オブジェクト画像抽出部２４は、近接領域画像ＥＸ１から肌色の画素を除去することで、撮影者Ｐの手Ｈの画像を除去し、オブジェクト画像を抽出する。この場合、図６（ｄ）に示すように、近接物体ＯＢ（コップ）の画像のみが抽出される、すなわちオブジェクト画像が抽出されることとなる。抽出されたオブジェクト画像は、表示装置１８に表示される。
【００４８】
次いで、図４に示すように、絶対値差分画像取得部２２は、統合画像Ｊ１１の次に生成された統合画像ＪＩ２に含まれる点灯赤外画像ＬＲ２から統合画像ＪＩ１に含まれる消灯赤外画像を差し引くことにより、絶対値差分画像ＳＩ２を取得する。すなわち、絶対値差分画像取得部２２は、図５に示すように、偶数番目の差分画像（絶対値差分画像ＳＩ２、ＳＩ４、・・・）を取得するにあたり、消灯赤外画像から点灯赤外画像を差し引いた差分画像に−１を乗算し、この差分画像の各画素の輝度をプラスの値とすることにより絶対値差分画像を得ている。その結果、絶対値差分画像ＳＩ１、ＳＩ２、・・・をフィールドレートで得ることができる。
【００４９】
表示装置１８は、このようにして抽出されたオブジェクト画像を順次表示していく。これにより、表示装置１８には、撮影者Ｐの視野内に存在する近接物体ＯＢの画像が撮影者Ｐの動作に追従して表示されることとなる。
【００５０】
以上説明したように本近接領域画像抽出装置によれば、屋外におけるロバスト性を確保するために、点灯赤外画像と消灯赤外画像の差分画像を算出するにあたり、絶対値差分画像を用いているため、オブジェクト画像をフィールドレート（ΔＴ）で得ることができる。
【００５１】
また、カラーカメラ１１及び赤外カメラ１２は、ユーザが顔面部に装着する装着部１０に含まれているため、頭部運動（首振運動）が頻繁に発生することが想定され、この場合、取得画像毎の画像変動が大きくなるが、本近接領域画像抽出装置は、フィールドレートで絶対値差分画像を取得することができるため、オブジェクト画像を高精度で抽出することが可能となる。
【００５２】
また、ビームスプリッタ１３を用い、カラーカメラ１１と赤外カメラ１２との光軸を一致させているため、両カメラは同じ被写体を撮影することが可能となり、近接領域画像の抽出精度をより高めることができる。
【００５３】
さらに、フィールド多重回路１４を用いて、統合画像を生成し、ウェアラブルコンピュータ２０に出力しているため、奇数フィールド画像、偶数フィールド画像、点灯赤外画像及び消灯赤外画像を効率良くウェアラブルコンピュータ２０に出力することができる。
【００５４】
さらに、ビームスプリッタ１３が撮影者Ｐのこめかみ付近に位置するように撮影ユニット１０２の装着が可能となっているため、撮影者Ｐが近接物体ＯＢを目視することにより、近接物体ＯＢを撮影することが可能となる。そのため、撮影者Ｐは、撮影することを意識することなく、近接物体ＯＢを用いて、何らかの作業を行なっているときの近接物体ＯＢの画像を取得することができる。
【００５５】
さらに、ウェアラブルコンピュータ２０を用いているため、撮影者Ｐは、本近接領域画像抽出装置を装着した状態で、自由に動き回ることができる。
【００５６】
なお、本発明は、以下の態様を採用してもよい。
【００５７】
（１）上記実施形態では、カラーカメラ１１と赤外カメラ１２とは、フィールド画像と赤外画像とを同じタイミングで取得しているがこれに限定されず、例えば、図７に示すように、奇数フィールド画像ＯＩ１、点灯赤外画像ＬＲ１、偶数フィールド画像ＥＩ１、消灯赤外画像ＯＲ１、・・・の順番となるように、フィールド画像と赤外画像とを一定の時間間隔（ΔＴ）でタイミングをずらして取得する態様も請求項１に記載する「同期」に含まれる。この場合、従来の方式、すなわち点灯赤外画像から消灯赤外画像を差し引いた画像のみを差分画像とする方式を採用すると、差分画像は４ΔＴの周期で取得されることとなる。一方、本発明による方式を採用すれば、絶対値差分画像ＳＩ１、ＳＩ２、ＳＩ３、・・・は、２ΔＴの周期で取得されることとなるため、本変形例においても、高速にオブジェクト画像を抽出することができる。
【００５８】
（２） 上記実施形態では、フィールド多重回路１４は、図３に示すような統合画像を取得しているが、これに限定されず、図８に示すように、エリアＡ１には、それぞれ水平方向の画素数が１／２に圧縮された点灯赤外画像及び奇数フィールド画像を１ラインずつ交互に配列し、エリアＡ２には、それぞれの水平方向の画素数が１／２に圧縮された消灯赤外画像及び偶数フィールド画像を１ラインずつ交互に配列してもよい。
【００５９】
（３）上記実施形態では、奇数フィールド画像と偶数フィールド画像とに分けて取得するインターレース方式のカラーカメラ１１を採用したが、本発明は、これに限定されず、プログレッシブ方式のカラーカメラ１１を採用してもよい。この場合、フィールド多重回路１４は、インターレース方式のカラーカメラを採用したときと同様に、プログレッシブ方式のカラーカメラによって取得された２枚の画像と、その２枚の画像と同期して取得された点灯赤外画像及び消灯赤外画像の合計４枚の画像を用いて統合画像を生成すればよい。この場合であっても、統合画像をフレームレート（２ΔＴ）で取得することができる。
【００６０】
【発明の効果】
以上説明したように本発明によれば、点灯赤外画像と消灯赤外画像との絶対値差分画像を用いて、近接領域画像を抽出しているため、屋外におけるロバスト性を確保しつつ、近接領域画像をフィールドレートで抽出することができる。
【図面の簡単な説明】
【図１】本実施形態に係る近接領域画像抽出装置の外観構成を示した図である。
【図２】本近接領域画像抽出装置の全体構成を示したブロック図である。
【図３】フィールド多重回路が生成した統合画像の一例を示した図である。
【図４】本近接領域画像抽出装置が行う処理を説明するための図である。
【図５】カラービデオカメラが取得する奇数フィールド画像及び偶数フィールド画像を時系列的に表すとともに、赤外カメラが取得する点灯赤外画像及び消灯赤外画像を時系列的に表した図である。
【図６】（ａ）はカラーカメラが取得するカラー動画像を示し、（ｂ）は赤外カメラが取得する点灯赤外画像及び消灯赤外画像を用いて生成された絶対値差分画像を示し、（ｃ）近接領域画像を示し、（ｄ）はオブジェクト画像を示している。
【図７】カラービデオカメラ及び赤外カメラの画像取得タイミングの変形例を示した図である。
【図８】統合画像の他の例を示した図である。
【符号の説明】
１０ 装着部
１１ カラービデオカメラ
１２ 赤外カメラ
１３ ビームスプリッタ
１４ フィールド多重回路
１５ 赤外光源部
１６ 同期回路
１７ 表示装置
１８ 眼鏡
２０ ウェアラブルコンピュータ
２１ 画像メモリ
２２ 絶対値差分画像取得部
２３ 近接領域画像抽出部
２４ オブジェクト画像抽出部
Claims (6)
- カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出装置であって、
可視光を用いて前記近接物体のカラー動画像を取得する撮影手段と、
前記近接物体に赤外光を照射する赤外光源と、
前記赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し行わせる点灯制御手段と、
前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得する赤外画像取得手段と、
現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続して取得された点灯赤外画像と消灯赤外画像との差分の絶対値の画像を取得する絶対値差分画像取得手段と、
前記絶対値差分画像取得手段が取得した絶対値差分画像を基に、前記カラー動画像から前記近接領域画像を抽出する抽出手段とを備えることを特徴とする近接領域画像抽出装置。 - 前記撮影手段及び前記赤外画像取得手段の光軸は、一致の状態で配設されていることを特徴とする請求項１記載の近接領域画像抽出装置。
- 前記撮影手段によって取得された時間的に連続する２枚のフィールド画像、前記２枚のフィールド画像とそれぞれ同期して取得された点灯赤外画像及び消灯赤外画像を１枚の画像に統合して、前記絶対値差分画像取得手段に出力する画像統合部をさらに備え、
前記画像統合部は、前記２枚のフィールド画像、前記点灯赤外画像及び前記消灯赤外画像をそれぞれ、水平方向の画素数が１／２となるように圧縮して、１枚の画像に統合することを特徴とする請求項１又は２記載の近接領域画像抽出装置。 - 前記抽出手段は、前記近接領域画像から肌色の領域を除去し、前記近接物体を表すオブジェクト画像を抽出することを特徴とする請求項１〜３のいずれかに記載の近接領域画像抽出装置。
- 前記抽出手段が抽出したオブジェクト画像を表示するオーバーヘッドディスプレイをさらに備え、
前記撮影手段、前記赤外光源及び前記赤外画像取得手段は、前記オーバーヘッドディスプレイと一体的に構成されているとともに、その光軸が撮影者の視野内に含まれるように配設されていることを特徴とする請求項１〜４のいずれかに記載の近接領域画像取得装置。 - カラー動画像から撮影者の近傍に位置する近接物体を含む近接領域画像を抽出する近接領域画像抽出方法であって、
撮影手段を用い、前記近接物体のカラー動画像を撮影するステップと、
前記近接物体に対して赤外光を照射する赤外光源に対し、前記撮影手段がフィールド画像を取得するタイミングと同期して、点灯と消灯とを交互に繰り返し実行させるステップと、
赤外画像取得手段を用い、前記撮影手段がフィールド画像を取得するタイミングと同期して、前記赤外光源の点灯時の前記近接物体の赤外画像である点灯赤外画像と前記赤外光源の消灯時の前記近接物体の赤外画像である消灯赤外画像とを交互に取得するステップと、
現フィールド画像に対応する赤外画像が点灯赤外画像であり、前フィールドに対応する赤外画像が消灯赤外画像であるときは、前記消灯赤外画像から前記点灯赤外画像の差分にマイナス１を乗算して得られた画像を絶対値差分画像とすることにより、時間的に連続する前記点灯赤外画像と前記消灯赤外画像との差分の絶対値の画像を取得するステップと、
前記差分の絶対値の画像を基に、前記撮影手段が取得したカラー動画像から前記近接領域画像を抽出するステップとを備えることを特徴とする近接領域画像抽出方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003098098A JP2004304718A (ja) | 2003-04-01 | 2003-04-01 | 近接領域画像抽出装置及び近接領域画像抽出方法 |
| US10/731,982 US20040196371A1 (en) | 2003-04-01 | 2003-12-10 | Close region image extraction device and close region image extraction method |
| EP03029091A EP1465415A1 (en) | 2003-04-01 | 2003-12-17 | Close region image extraction device and close region image extraction method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003098098A JP2004304718A (ja) | 2003-04-01 | 2003-04-01 | 近接領域画像抽出装置及び近接領域画像抽出方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004304718A true JP2004304718A (ja) | 2004-10-28 |
Family
ID=32844671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003098098A Pending JP2004304718A (ja) | 2003-04-01 | 2003-04-01 | 近接領域画像抽出装置及び近接領域画像抽出方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20040196371A1 (ja) |
| EP (1) | EP1465415A1 (ja) |
| JP (1) | JP2004304718A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006259900A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
| JP2006259829A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
| JP2010039529A (ja) * | 2008-07-31 | 2010-02-18 | Sankyo:Kk | 工事現場防犯システム |
| JP2010147878A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 撮像装置 |
| JP2017200090A (ja) * | 2016-04-28 | 2017-11-02 | 任天堂株式会社 | 情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法 |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050227217A1 (en) * | 2004-03-31 | 2005-10-13 | Wilson Andrew D | Template matching on interactive surface |
| US7379562B2 (en) * | 2004-03-31 | 2008-05-27 | Microsoft Corporation | Determining connectedness and offset of 3D objects relative to an interactive surface |
| US7394459B2 (en) | 2004-04-29 | 2008-07-01 | Microsoft Corporation | Interaction between objects and a virtual environment display |
| US7787706B2 (en) | 2004-06-14 | 2010-08-31 | Microsoft Corporation | Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface |
| US7593593B2 (en) * | 2004-06-16 | 2009-09-22 | Microsoft Corporation | Method and system for reducing effects of undesired signals in an infrared imaging system |
| US7519223B2 (en) | 2004-06-28 | 2009-04-14 | Microsoft Corporation | Recognizing gestures and using gestures for interacting with software applications |
| US7576725B2 (en) * | 2004-10-19 | 2009-08-18 | Microsoft Corporation | Using clear-coded, see-through objects to manipulate virtual objects |
| US7499027B2 (en) * | 2005-04-29 | 2009-03-03 | Microsoft Corporation | Using a light pointer for input on an interactive display surface |
| US7525538B2 (en) * | 2005-06-28 | 2009-04-28 | Microsoft Corporation | Using same optics to image, illuminate, and project |
| US7911444B2 (en) | 2005-08-31 | 2011-03-22 | Microsoft Corporation | Input method for surface of interactive display |
| DE102005041536A1 (de) * | 2005-08-31 | 2007-03-01 | Siemens Ag | Nightvisionsystem, bei dem die Umgebung mittels einer Aufnahmevorrichtung aufgenommen und auf einer Anzeige dargestellt wird und Verfahren zur Darstellung der Umgebung bei schlechten Sichtverhältnissen, insbesondere bei Nacht |
| US8060840B2 (en) | 2005-12-29 | 2011-11-15 | Microsoft Corporation | Orientation free user interface |
| US7515143B2 (en) | 2006-02-28 | 2009-04-07 | Microsoft Corporation | Uniform illumination of interactive display panel |
| JP2007334311A (ja) * | 2006-05-18 | 2007-12-27 | Nippon Hoso Kyokai <Nhk> | 可視光・赤外光撮影光学系 |
| US8212857B2 (en) | 2007-01-26 | 2012-07-03 | Microsoft Corporation | Alternating light sources to reduce specular reflection |
| JP4316629B2 (ja) * | 2007-03-29 | 2009-08-19 | 株式会社東芝 | 画像処理システム、画像取得方法及びプログラム |
| WO2009158662A2 (en) * | 2008-06-26 | 2009-12-30 | Global Rainmakers, Inc. | Method of reducing visibility of illimination while acquiring high quality imagery |
| JP5485004B2 (ja) * | 2010-04-23 | 2014-05-07 | パナソニック株式会社 | 撮像装置 |
| JP2011239259A (ja) * | 2010-05-12 | 2011-11-24 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
| JP5545016B2 (ja) * | 2010-05-12 | 2014-07-09 | ソニー株式会社 | 撮像装置 |
| US9245332B2 (en) * | 2011-03-09 | 2016-01-26 | Alcatel Lucent | Method and apparatus for image production |
| JP5914992B2 (ja) * | 2011-06-02 | 2016-05-11 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| JP5880916B2 (ja) * | 2011-06-03 | 2016-03-09 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| GB201110159D0 (en) * | 2011-06-16 | 2011-07-27 | Light Blue Optics Ltd | Touch sensitive display devices |
| US20130246967A1 (en) * | 2012-03-15 | 2013-09-19 | Google Inc. | Head-Tracked User Interaction with Graphical Interface |
| US9096920B1 (en) * | 2012-03-22 | 2015-08-04 | Google Inc. | User interface method |
| US9218673B2 (en) * | 2012-10-11 | 2015-12-22 | Nike, Inc. | Method and system for manipulating camera light spectrum for sample article false color rendering |
| US9304594B2 (en) * | 2013-04-12 | 2016-04-05 | Microsoft Technology Licensing, Llc | Near-plane segmentation using pulsed light source |
| JP5983575B2 (ja) * | 2013-09-27 | 2016-08-31 | 株式会社Ｊｖｃケンウッド | 操作入力装置、操作入力方法およびプログラム |
| US8917354B2 (en) * | 2013-09-30 | 2014-12-23 | Amlogic Co., Ltd. | Motion detection in video fields |
| WO2015130226A1 (en) * | 2014-02-25 | 2015-09-03 | Heptagon Micro Optics Pte. Ltd. | Image sensor modules including primary high-resolution imagers and secondary imagers |
| US11030778B2 (en) * | 2014-03-31 | 2021-06-08 | Healthy.Io Ltd. | Methods and apparatus for enhancing color vision and quantifying color interpretation |
| US10547829B2 (en) * | 2016-06-16 | 2020-01-28 | Samsung Electronics Co., Ltd. | Image detecting device and image detecting method using the same |
| KR102913121B1 (ko) * | 2021-09-17 | 2026-01-16 | 삼성전자주식회사 | 전기 변색 소자를 포함하는 전자 장치 및 그 제어 방법 |
| US12474615B2 (en) * | 2021-09-17 | 2025-11-18 | Samsung Electronics Co., Ltd. | Electronic device including electrochromic device and method of controlling the electronic device |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4028725A (en) * | 1976-04-21 | 1977-06-07 | Grumman Aerospace Corporation | High-resolution vision system |
| DE4228629C2 (de) * | 1992-08-28 | 1994-12-15 | Dornier Gmbh | Bildaufnahme- und Bildverarbeitungssystem zur nächtlichen Videoüberwachung |
| GB9415660D0 (en) * | 1994-08-03 | 1994-09-21 | Lam David C S | Multi-part camera |
| GB2307816B (en) * | 1995-12-01 | 2000-03-29 | Fuji International Productions | Television production using infra-red light |
| US6021210A (en) * | 1997-12-01 | 2000-02-01 | Sensar, Inc. | Image subtraction to remove ambient illumination |
| US7076088B2 (en) * | 1999-09-03 | 2006-07-11 | Honeywell International Inc. | Near-infrared disguise detection |
| US7053928B1 (en) * | 2000-03-20 | 2006-05-30 | Litton Systems, Inc. | Method and system for combining multi-spectral images of a scene |
| GB2373943A (en) * | 2001-03-28 | 2002-10-02 | Hewlett Packard Co | Visible and infrared imaging camera |
-
2003
- 2003-04-01 JP JP2003098098A patent/JP2004304718A/ja active Pending
- 2003-12-10 US US10/731,982 patent/US20040196371A1/en not_active Abandoned
- 2003-12-17 EP EP03029091A patent/EP1465415A1/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006259900A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
| JP2006259829A (ja) * | 2005-03-15 | 2006-09-28 | Omron Corp | 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム |
| JP2010039529A (ja) * | 2008-07-31 | 2010-02-18 | Sankyo:Kk | 工事現場防犯システム |
| JP2010147878A (ja) * | 2008-12-19 | 2010-07-01 | Panasonic Electric Works Co Ltd | 撮像装置 |
| JP2017200090A (ja) * | 2016-04-28 | 2017-11-02 | 任天堂株式会社 | 情報処理システム、画像処理装置、情報処理プログラムおよび情報処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP1465415A1 (en) | 2004-10-06 |
| US20040196371A1 (en) | 2004-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004304718A (ja) | 近接領域画像抽出装置及び近接領域画像抽出方法 | |
| US10949647B2 (en) | System and method of efficient illuminator-sensor synchronization to capture images | |
| EP2467805B1 (en) | Method and system for image analysis | |
| JP3761059B2 (ja) | ヒトの顔を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| JP3938257B2 (ja) | 顔のような領域を検出する方法および装置、ならびに観察者トラッキングディスプレイ | |
| US11343441B2 (en) | Imaging device and apparatus | |
| KR101094766B1 (ko) | 시선 위치 추적 장치 및 방법 | |
| TWI477123B (zh) | 多功能控制照明裝置 | |
| JP2011010258A (ja) | 画像処理装置、画像表示システム、画像抽出装置 | |
| CN102301316A (zh) | 用户界面装置以及输入方法 | |
| EP2720464A1 (en) | Generating image information | |
| CN206370880U (zh) | 一种双摄像头成像系统和移动终端 | |
| CN109963136B (zh) | 一种智能手机结构光深度相机的工作方法及装置 | |
| US11179035B2 (en) | Real-time removal of IR LED reflections from an image | |
| US20190158717A1 (en) | Information processing apparatus and information processing method | |
| JP2014033265A (ja) | 撮像装置、撮像方法およびプログラム | |
| US12387363B2 (en) | Image-capturing apparatus, control method of image-capturing apparatus, display device, and image-capturing system | |
| CN112926367A (zh) | 一种活体检测的设备及方法 | |
| CN107427264A (zh) | 摄像装置、图像处理装置和图像处理方法 | |
| JP2009147607A (ja) | 人物追尾装置 | |
| KR20180000580A (ko) | 조명기를 구비한 스테레오 매칭 시스템에서의 코스트 볼륨 연산장치 및 그 방법 | |
| CN106303276B (zh) | 一种基于侦测球的图像采集方法及侦测球 | |
| US12477222B2 (en) | Image-capturing apparatus and control method of image-capturing apparatus | |
| JP6044702B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び、画像処理システム | |
| KR102868442B1 (ko) | 적외선 이미지의 배경광 제거 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040927 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040927 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20040927 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050629 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050905 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20051018 |