JP2010056661A - 頭部装着型映像取得表示装置 - Google Patents

Abstract

【課題】撮像された被写体像を、被写体までの距離の違いによる被写体の表示領域の変化を低減して表示することが可能な頭部装着型映像取得表示装置を提供する。
【解決手段】頭部装着型映像取得表示装置は、前頭部に装着するためのフレーム３と、装着時に眼前よりも下側に配置される表示ユニット６とを、支持部５を介して接続している。観察者は、フレーム３と表示ユニット６との間に構成された空間を介して被写体を直視し得る。フレーム３や支持部５には、撮像部１１や測距用照明部１５、測距用照明受光部１６などが配設されている。表示ユニット６は、映像処理部と、映像表示部と、左右の接眼光学系と、を備えている。そして、映像処理部は、測距して得られる距離情報に基づいて、撮像部１１により得られた画像の少なくとも一部を切り出す処理を行い、切り出された画像信号を映像表示部に表示するための表示信号に変換する。
【選択図】図２

Description

本発明は、被写体を撮像し、撮像して得られた電子映像を表示する表示頭部装着型映像取得表示装置に関する。

従来より、眼前にＬＣＤ等の画像表示部を配置して、画像を観察する頭部装着型映像表示装置が提案され、あるいは製品化されている。

この頭部装着型映像表示装置には、何れかの映像ソースから供給される映像を表示するだけのもの（観察専用）と、撮像部を備えて該撮像部により撮像した映像を表示するもの（観察および撮像用）と、がある。

前者の例としては、国際公開番号ＷＯ２００４／０１７１２３に、メガネフレーム形状の本体と、右目用表示装置および左目用表示装置と、を備えて構成される画像表示装置が記載されている。より詳しくは、観察者の視線正面方向には通常のメガネにおいてレンズが配置されるフレーム部分が配設され、右目用表示装置および左目用表示装置はこのフレーム部分の下側に位置して視線を下方向に向けることにより映像を観察することができるようにしたものとなっている。従って、この画像表示装置は、視線を正面側へ向けることにより被写体を直視する（ここに、「直視」とは、透明板や視度調整用のレンズなどを介して観察する場合も含むものとする）ことができ、視線を下側へ向けることにより映像を観察することが可能となるものである。

また、後者の例としては、特開平７−１６８１２０号公報に、対物レンズを有する撮像部と、単一の画像表示部と、を備えた頭部装着型画像表示装置が記載されている。この頭部装着型画像表示装置は、片眼しか使用しない装着者のためのものであるために、画像表示部が１つのみとなっており、例えば画像表示部が設けられていない空きスペース側に撮像部を配置する構成となっている。

なお、上記各公報の何れにも、画像を撮像することと、撮像した画像を両眼で観察することと、が同時には記載されておらず、これらの構成に被写体を直視することができる構成をさらに加えたものも当然にして記載されていない。
国際公開番号ＷＯ２００４／０１７１２３ 特開平７−１６８１２０号公報

ところで、撮像部から被写体までの距離が変化すると、撮像された画像中の被写体の大きさが変化する（被写体が遠くなれば小さく写り、被写体が近くなれば大きく写る）。さらに、撮像部の光軸とは異なる方向に撮像部から被写体までの距離が変化すると、撮像された画像中の被写体の中心位置がずれることがある。

これに対して、映像を観察する際には、被写体の中心位置が変化しないことが望ましい場合がある。そして、映像を観察する際に、被写体までの距離によることなく一定の大きさで被写体を観察したい場合もある。

本発明は上記事情に鑑みてなされたものであり、撮像された被写体像を、被写体までの距離の違いによる被写体の表示領域の変化を低減して表示することが可能な頭部装着型映像取得表示装置を提供することを目的としている。

上記の目的を達成するために、本発明の一態様による頭部装着型映像取得表示装置は、観察者の前頭部に装着され得るように構成されたフレームと、上記フレームから下方へ連設された支持部と、上記フレームまたは上記支持部に配設された被写体を撮像するための撮像部と、上記フレームとは別体に設けられていて上記支持部を介して該フレームとの間に観察者の視線を妨げることのない空間を構成するように配設され上記撮像部により撮像して得られた画像信号を表示信号に変換する映像処理部とこの映像処理部により変換された表示信号を電子映像として表示するための映像表示部とこの映像表示部により表示された電子映像を観察者の両眼に向けて投影するためのものであり少なくとも１つの反射面をそれぞれ備える左右の接眼光学系とを有する表示ユニットと、特定距離範囲内にある被写体の距離情報を取得する距離測定部と、を具備し、上記映像処理部は、上記距離測定部から得られる上記距離情報に基づいて、上記撮像部により得られた画像の少なくとも一部を切り出す処理を行い、切り出された画像信号を表示信号に変換するものである。

本発明の頭部装着型映像取得表示装置によれば、撮像された被写体像を、被写体までの距離の違いによる被写体の表示領域の変化を低減して表示することが可能となる。

以下、図面を参照して本発明の実施の形態を説明する。

［実施形態１］
図１から図１２は本発明の実施形態１を示したものである。

まず、図２〜図４を参照して、本実施形態の頭部装着型映像取得表示装置の外観やレイアウトなどについて説明する。ここに、図２は頭部装着型映像取得表示装置を正面斜め上方向から示す斜視図、図３は頭部装着型映像取得表示装置を側方から示す断面図、図４は頭部装着型映像取得表示装置を示す正面図である。

上述した頭部装着型映像取得表示装置の本体１は、図２に示すように、左右方向に横長のフレーム３と、このフレーム３の左右端部に各連設されたテンプル部４Ｒ，４Ｌと、フレーム３の中央部から下方に連設された支持部５と、この支持部５により中央部上端側を支持されている左右方向に横長の表示ユニット６と、を備えている。

フレーム３は、テンプル部４Ｒ，４Ｌの支持により、装着時に、観察者の前頭部（眼前の上側）に位置するように構成されたものである。このフレーム３の略中央部には、被写体を撮像するための撮像部１１が配設されている。さらに、フレーム３の略中央部におけるこの撮像部１１の近傍には、撮像部１１による被写体の撮像範囲を含む範囲を照明するための照明部１２が配設されている。そして、フレーム３の一方の端部、例えば図２および図４に示す左側（観察者の右眼側）の端部から、下方（つまり、観察者の眼がある方向）へ向けて、視線方向測定部たる視線検知用照明部１３が延出して設けられている。また、このフレーム３の観察者側には例えば図示しない額パッド等が配設されて、この額パッドを介して、観察者の眼と表示ユニット６との距離が一定に保たれるように構成されている。

テンプル部４Ｒ，４Ｌは、この頭部装着型映像取得表示装置の本体１を装着する際に、先端側を例えば観察者の左右の耳に掛けて用いるようになされたものである。このテンプル部４Ｒ，４Ｌは、フレーム３に対してヒンジ等を介して折り畳み可能に構成されている。従って、非使用時には、頭部装着型映像取得表示装置の本体１をコンパクトに収納することが可能となっている。

支持部５は、観察者による直視の視野を妨げることのない空間をフレーム３と表示ユニット６との間に構成するように、表示ユニット６をフレーム３に対して支持するものである。ここに、フレーム３は上述したように観察者の眼前の上側に位置するように配設されるために、表示ユニット６は観察者の眼前の下側に位置するように配置されることになる。

なお、上述では撮像部１１や照明部１２をフレーム３に配設したが、これに限らず、何れか一方または両方を例えばこの支持部５に配設しても構わない。

また、図２〜図４に示す構成例では、支持部５はフレーム３と表示ユニット６とを中央部で連結するものとなっているが、これに限るものではなく、左端部と右端部との何れか一方または両方で連結するものであっても良い。さらにあるいは、中央部と左端部と右端部との内の一以上の箇所でフレーム３と表示ユニット６とを連結するものであっても良い。このように、支持部５は、フレーム３と表示ユニット６とを、観察者の視線を妨げることない位置において連結するものであれば足りる。また、支持部５をどのように配置するかは、フレーム３に対して表示ユニット６を支持する際の剛性や、頭部装着型映像取得表示装置の本体１の軽量化などを勘案して、適宜に設計することが可能である。

そして、支持部５を介して連結されるフレーム３と表示ユニット６との間は、本実施形態においては単なる空間となっているが、この空間部分に直視の視野を妨げることのない透明な部材が配置されていても構わない。ここに、直視の視野を妨げることのない透明な部材としては、観察者の眼を保護するための透明プラスチック板、視度調整用のレンズ、などが幾つかの例として挙げられる。

上述した支持部５の正面側には、測距用照明部１５と測距用照明受光部１６とが配設されている。なお、ここでは測距用照明部１５や測距用照明受光部１６を支持部５に配設したが、これに限らず、何れか一方または両方を例えばフレーム３に配設しても構わない。また、支持部５の観察者の眼側であって、上述した視線検知用照明部１３が配設された眼の側には、視線方向測定部たる視線検知部１４が配設されている。

表示ユニット６は、映像処理部たる画像処理部１７、映像表示部１８、接眼光学系１９が配設されたものである。ここに、接眼光学系１９は、図３等に示すように、例えば自由曲面プリズム等の導光光学系（少なくとも１つの反射面を有する光学系）を含んで構成され、軽量化を図りながら高性能な光学性能を得ることができるようになっている。

次に、図１は、頭部装着型映像取得表示装置の電気系の構成を主に示すブロック図である。

この頭部装着型映像取得表示装置は、撮像部１１と照明部１２と電気制御部２１と映像表示部１８とを備える本体１と、第２制御装置２と、を有している。

撮像部１１は、ＣＣＤやＣＭＯＳあるいはその他の種類の撮像素子と、この撮像素子へ被写体の光学像を結像するための撮像光学系と、を備えている。

照明部１２は、例えばＬＥＤ等の発光素子と、この発光素子により発光された光を被写体へ向けて照明光として照射するための照明光学系と、を備えている。

電気制御部２１は、第１制御装置であって、カメラＩ／Ｆ部２２と、フォーカス調整部２３と、ＡＦ駆動部２４と、上述した映像処理部たる画像処理部１７と、上述した視線方向測定部たる視線検知用照明部１３と、上述した視線方向測定部たる視線検知部１４と、視線方向測定部たる視線方向検出部３１と、映像処理部たる切出情報演算部３２と、制御部たる撮像部電源制御部３３と、制御部たる照明制御部３４と、制御部たる映像表示部電源制御部３５と、距離測定部たる測距センサ３６と、電源入力部３８と、を備えている。

カメラＩ／Ｆ部２２は、撮像部１１により撮像して得られた画像信号を画像処理部１７とフォーカス調整部２３とへ転送するためのインタフェースである。

フォーカス調整部２３は、撮像部１１により撮影して得られた画像データ（撮像画像データ）を読み込んで、切出情報演算部３２から取得した切出範囲の画像全体をエッジ強調フィルタにより輪郭検出し、全画素の輝度値を算出する。そして、フォーカス調整部２３は、ＡＦ駆動部２４を介して撮像部１１の撮像光学系に含まれるフォーカスレンズを前後に移動させ、輝度値のピークを探索しながら、輝度値がピークになるまでフォーカスを調整する。

ＡＦ駆動部２４は、上述したように、フォーカス調整部２３の制御に基づいて、撮像部１１の撮像光学系に含まれるフォーカスレンズを駆動するものである。

画像処理部１７は、倍率調整部２５と、表示信号変換部２８と、を備えている。これらの内の倍率調整部２５は、さらに、切出処理部２６と、倍率処理部２７と、を備えている。

切出処理部２６は、切出情報演算部３２により後述するように演算された切出範囲の情報（例えば、切出中心位置の情報と切り出す領域の大きさの情報）に基づいて、カメラＩ／Ｆ部２２を介して入力されるフォーカス調整後の画像信号（撮像画像）の切り出しを行うものである。

倍率処理部２７は、切出処理部２６により切り出された画像を、映像表示部１８に表示するのに適した所定のサイズに拡大／縮小するものである。

表示信号変換部２８は、倍率調整部２５により切り出され倍率調整された画像信号を、映像表示部１８により表示可能な表示信号に変換するものである。なお、特に図示はしないが、この表示信号は、例えば教育目的などの用途を考慮して、別途の外部モニタ等へも出力可能となっている。

映像表示部１８は、左眼用映像表示素子１８Ｌと右眼用映像表示素子１８Ｒとを備えている。また、上述した接眼光学系１９は、図示はしないが、左眼用映像表示素子１８Ｌにより表示された映像を観察者ＯＢＳの左眼へ向けて投影するための左眼用接眼光学系と、右眼用映像表示素子１８Ｒにより表示された映像を観察者ＯＢＳの右眼へ向けて投影するための右眼用接眼光学系と、を備えている。なお、ここでは、左右一対の映像表示素子１８Ｌ，１８Ｒを設けているが、左右で同一の映像のみを表示する場合には、１つの映像表示素子を左右で兼用するように構成しても構わない。

視線検知用照明部１３は、例えば、光源である赤外発光ダイオード（ＩＲＬＥＤ）や、このＩＲＬＥＤから発光された光を略平行光に変換するためのコリメートレンズなどを含んで構成されたものである。

視線検知部１４は、例えば、上述した視線検知用照明部１３から投光され観察者ＯＢＳの眼で反射された光を集光するシリンドリカルレンズ１４ａ（図５参照）や、このシリンドリカルレンズ１４ａにより集光された光を電気信号に変換するラインセンサ１４ｂ（図５参照）などを含んで構成されたものである。この視線検知部１４は、視線検知用照明部１３の制御も行うようになっている。

視線方向検出部３１は、視線検知部１４のラインセンサから出力された信号に基づいて、観察者ＯＢＳの視線方向を検出するものである。

撮像部電源制御部３３は、撮像部１１のオン／オフを制御するものである。この撮像部電源制御部３３による撮像部１１のオン／オフ制御は、各種の要因に基づき行われるが、その要因の１つが、後述するように視線方向検出部３１により検出された視線方向となっている。

照明制御部３４は、照明部１２のオン／オフや、あるいはこの照明部１２による発光量を制御するものである。この照明制御部３４による照明部１２の制御は、各種の要因に基づき行われるが、その要因の１つが、後述するように視線方向検出部３１により検出された視線方向となっている。

映像表示部電源制御部３５は、映像表示部１８のオン／オフを制御するものである。この映像表示部電源制御部３５による映像表示部１８の制御は、各種の要因に基づき行われるが、その要因の１つが、後述するように視線方向検出部３１により検出された視線方向となっている。

測距センサ３６は、上述した測距用照明部１５と、上述した測距用照明受光部１６と、測距部３７と、を備えている。

測距用照明部１５は、例えば、光源である赤外発光ダイオード（ＩＲＬＥＤ）や、このＩＲＬＥＤから発光された光を照射するための発光用レンズなどを含んで構成されている。

測距用照明受光部１６は、上述した測距用照明部１５から投光され被写体（観察物体）で反射された光を受光する受光用レンズや、この受光用レンズにより集光された光を電気信号に変換する位置検出素子（ＰＳＤ）などを含んで構成されている。この測距用照明受光部１６は、測距用照明部１５とは所定距離だけ離隔して配設され、いわゆる三角測量方式により被写体までの距離を検出するものとなっている。

測距部３７は、測距用照明部１５を制御して発光を行わせるとともに、測距用照明受光部１６の位置検出素子（ＰＳＤ）から出力される信号に基づいて、被写体（観察物体）までの距離を測定するものである。

なお、ここでは測距センサ３６により観察物体ＯＢＪまでの距離を測定しているが、測定精度をより向上するために、視線方向検出部３１により検出された視線方向の延長上に位置する観察物体ＯＢＪの一部分（すなわち、観察者ＯＢＳの注視部分）までの距離を測定して距離情報とするようにしても良い。

切出情報演算部３２は、視線方向検出部３１から得られた観察者ＯＢＳの視線方向の情報と、測距センサ３６から得られた被写体の距離情報と、設計時に予め定められている撮像部１１の取付位置や取付角度の情報と、に基づいて、視線方向にある被写体部分が中心となり、かつ例えば被写体までの距離によることなく注目部分が常に一定の大きさとして表示されるように、撮像された画像から切り出す範囲（上述したように、例えば、切出中心位置と切り出す領域の大きさ）を演算するものである。

また、第２制御装置２は、バッテリ４１を備えた電源部として構成されていて、頭部に装着して用いる本体１をより軽量化するために、本体１とは例えば別体として構成されている。この第２制御装置２は、本体１の電源入力部３８へ電源を供給するためのものである。また、この第２制御装置２は、ＡＣコンセント等の外部電源に接続することも可能となっていて、外部電源から得た電力を電気制御部２１へ供給したり、あるいはバッテリ４１の充電を行ったりすることができるようになっている。

次に、図５は視線検知部１４の構成を図４の矢印Ａ方向から示す図、図６は視線検知部１４により眼を検出したときの受光出力の様子を示す図である。

視線検知部１４は、上述したように、シリンドリカルレンズ１４ａとラインセンサ１４ｂとを備えている。ここに、シリンドリカルレンズ１４ａは、瞳孔ＰＵＰを含む眼からの反射光ＲＥＦＬをラインセンサ１４ｂ上に集光するものであり、図２および図３における縦方向（図４における矢印Ａ方向）がレンズ面の軸方向となるように細長の形状に形成されたものである。また、ラインセンサ１４ｂは、レンズ面の軸方向と平行な方向に複数のフォトダイオードを配列したものである。

このような構成の視線検知部１４により、図６の右側に示すような眼を検出したときのラインセンサ１４ｂによる検出結果が、例えば図６の左側に示したようになったものとする。

すなわち、眼ＥＹＥ以外の部分では受光出力が低く、眼ＥＹＥの部分で受光出力が立ち上がり、虹彩ＩＲの中心に位置する瞳孔ＰＵＰの部分で受光出力がピークとなるような検出結果であったものとする（瞳孔ＰＵＰと虹彩ＩＲとではコントラストが異なるために、受光出力に基づくこのような検出が可能である）。このとき、視線方向検出部３１は、受光出力のピーク位置が所定位置（例えば中央）である場合には観察者が正面を注視していると検出し、ピーク位置が所定位置よりも上側である場合にはそのずれ量に応じた仰角の上方向を注視していると検出し、ピーク位置が所定位置よりも下側である場合にはそのずれ量に応じた仰角の下方向を注視していると検出するようになっている。

なお、この頭部装着型映像取得表示装置を、例えば歯科に使用する場合には、いわゆる横目で被写体を観察することはほとんど考えられず、上下方向の視線を検知するだけで足りる。そこで、本実施形態の図２〜図４に示すように、上下方向の視線を検知するための視線検知用照明部１３および視線検知部１４を設けたが、用途などに応じて必要な場合には、左右方向の視線を検知するための視線検知用照明部１３および視線検知部１４をさらに設けてももちろん構わない。

次に、図７はフォーカス調整部２３により算出される輝度値の総和とフォーカスレンズ位置との関係を示す線図である。

フォーカス調整部２３は、ＡＦ駆動部２４を介して焦点位置を少しずつ移動させ、各焦点位置において、カメラＩ／Ｆ部２２を介して撮像部１１から輝度信号（もしくは、Ｇ信号等の輝度信号に相当する信号）をそれぞれ取得し、その総和をコントラストを示す値として算出する。そして、このコントラスト値が最大値となるフォーカスレンズ位置を合焦位置とし、この合焦位置にフォーカスレンズを移動させるように制御するものである。

続いて、図８は、フレーム３と表示ユニット６との間に構成される視界の様子を示す配置図である。

頭部装着型映像取得表示装置の構成が、上述した図２〜図４に示したようなものである場合には、上下方向の視界は、観察者の眼ＥＹＥから観察したときのフレーム３と表示ユニット６との間に構成される空間の画角（図８に示す視野角αは、この画角の上下方向の角度を示す）により決まることになる。この画角を決定する要因は、フレーム３の下端と表示ユニット６の上端との間の距離や、観察者の眼ＥＹＥからフレーム３の下端までの距離および表示ユニット６の上端までの距離などである。

そこで、本実施形態の構成においては、垂直方向の視野角αとして例えば１５．２°（なお、水平方向の視野角は、右眼の水平右方向には視野を遮るものがなく、かつ左眼の水平左方向には視野を遮るものがないために、左右両眼を合わせれば通常の人間の視野角と同様の１８０°以上（例えば２００°）である。）の角度を確保することができるようにしている。ここに、１５．２°の視野角αは、観察者の頭部が垂直になっていて、視線が水平方向を向いているときの視線方向を中心として１５．２°であるために、このときには、水平方向上側７．６°、水平方向下側７．６°となる。上述したように、観察者の眼ＥＹＥからフレーム３の下端および表示ユニット６の上端までの距離が略一定に保たれるように例えば額パッド等を配置しているために、この距離と、１５．２°という垂直方向の視野角αと、に基づいて、フレーム３の下端と表示ユニット６の上端との間の距離を設計時に決定することが可能である。

この頭部装着型映像取得表示装置を、特定用途、例えば歯科に使用する場合には、観察者（この場合には歯科医等）の眼から観察物体である歯牙等までの想定される距離（特定距離範囲）は、最短距離Ｌ１＝３００ｍｍ〜最長距離Ｌ２＝５００ｍｍである。そこで、本実施形態の頭部装着型映像取得表示装置も、この最短距離Ｌ１および最長距離Ｌ２に合わせて設計されている。

また、撮像部１１は、観察者の眼ＥＹＥからの垂直方向の距離Ｔが典型値３０ｍｍとなるように設計されている（図示はしないが、本体１には装着位置調整機構が設けられていて、観察者が最適な位置での装着を行えるように調整可能である）。さらに、撮像部１１は、最短距離Ｌ１において、撮像光軸Ｏが視界の中心線（頭部を垂直にして水平方向を見ているときの視線方向（なお、ここでは説明を容易にするために頭部が垂直である場合を例に挙げて説明しているが、もちろん、頭部が斜め上あるいは斜め下に傾いているときには、その傾きに応じて視界の中心線も傾くことはいうまでもない））と交差するようにやや下へ傾けて構成されている。正接（タンジェント）がＴ／Ｌ１＝３０／３００となる角度θは５．７°であるために、撮像光軸Ｏと視界の中心線とは５．７°をなして交差することになる。

最短距離Ｌ１（３００ｍｍ）において観察者の視界に入り得る物体の垂直方向の大きさは、Ｌ１×２×ｔａｎ（α／２）＝３００ｍｍ×２×ｔａｎ（７．６°）＝８０ｍｍである。そこで、撮像部１１の垂直方向の画角δは、最短距離Ｌ１から最長距離Ｌ２までの何れの位置に大きさ８０ｍｍの観察物体ＯＢＪがあるときでも、この観察物体ＯＢＪを垂直方向の画像内に含み得るように設定されている。これにより、撮像部１１に機械的なチルト機構を設けなくても、被写体距離によることなく被写体を撮像することができるようになる。

一方、表示ユニット６の接眼光学系１９は、主光線ＰＲを観察するときの視線方向が、上述した直視時の視界の中心線よりも角度β＝２５°下方を向くように構成されている。また、観察する画像の画角は、垂直方向の画角γ＝１５°（図示はしないが、水平方向の画角＝２０°）となるように構成されている。

次に、図９は、視線方向が水平方向である場合に、観察者ＯＢＳから観察物体ＯＢＪまでの距離が変化したときにも、画像を切り出す切出中心位置を一定にするようにした様子を示す図である。ここに、図９（Ａ）は観察者ＯＢＳ（頭部装着型映像取得表示装置）から観察物体ＯＢＪまでの距離が最短距離（上述したように、例えば３００ｍｍ）であるときの様子を示し、図９（Ｂ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が中程度の距離（例えば４００ｍｍ）であるときの様子を示し、図９（Ｃ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が最長距離（上述したように、例えば５００ｍｍ）であるときの様子を示している。なお、この図９における符号ＦＰで示される四角枠は、撮像部１１による撮像範囲を示している。

本実施形態の頭部装着型映像取得表示装置は、上述したように、視線検知を行って観察者ＯＢＳの視線方向を検出し、測距を行って観察物体ＯＢＪまでの距離を測定している。そして、切出情報演算部３２は、検出された視線方向の情報と観察物体ＯＢＪまでの距離とに基づいて、撮像部１１により撮像されている画像中の、どの部分を観察者ＯＢＳが注視しているかを算出する（図９の撮像範囲ＦＰ内に示されている十字線の交点が、注視点（図示の例では、歯科における注視歯牙）を示している）。さらに、算出された画像中の注視位置を、切出中心位置ＣＰとして確定するようになっている。

すなわち、視線方向と撮像部１１の撮像光軸Ｏの方向とは図８に示したように角度θをなして交差しているために、撮像部１１により撮像して得られる画像（撮像画像）中の観察物体ＯＢＪの上下位置は、観察者ＯＢＳから観察物体ＯＢＪまでの距離に応じて異なることになる。具体的には、最短距離Ｌ１においては水平方向を見ているときの視界の中心線と被写体とが交差する注視点は、撮像画像の中心（撮像画像中の撮像光軸と被写体とが交差する点）に一致する。しかし、被写体距離が最短距離Ｌ１から最長距離Ｌ２側へ向けて変化する（遠ざかる）と、図９（Ａ）〜図９（Ｃ）に示すように、注視点は被写体距離に応じて撮像画像の中心よりも上にずれていくことになる。

そこで、切出情報演算部３２は、視線方向の情報および被写体距離の情報に基づいて、表示画像の中心に注視点が位置するように切出中心位置ＣＰを設定することにより、このようなずれを補正するようになっている。

続いて、図１０は、視線方向が水平方向であって、観察者ＯＢＳから観察物体ＯＢＪまでの距離が変化したときに、図９に示したように切出中心位置ＣＰを一定にしながら、画像を切り出す範囲を設定する様子を示す図である。上述した図９と同様に、図１０（Ａ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が最短距離であるときの様子を示し、図１０（Ｂ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が中程度の距離であるときの様子を示し、図１０（Ｃ）は観察者ＯＢＳから観察物体ＯＢＪまでの距離が最長距離であるときの様子を示している。

観察者ＯＢＳから観察物体ＯＢＪまでの距離、すなわち、頭部装着型映像取得表示装置から観察物体ＯＢＪまでの距離が変化すると、撮像画像内における注視位置が変化するだけでなく、さらに、撮像画像内における観察物体ＯＢＪの大きさが変化する（すなわち、観察物体ＯＢＪは、近くにあるときには大きく撮像され、遠くにあるときには小さく撮像される）。

本実施形態においては、被写体距離の変化に伴って撮像画像中の観察物体ＯＢＪの大きさがこのように変化したとしても、表示画像中における観察物体ＯＢＪの大きさは常に略一定となるように倍率処理部２７により倍率処理を行うようになっている。そして、この倍率処理部２７により処理される画像部分を切り出すのが切出処理部２６である。さらに、この切出処理部２６により切り出される画像領域の大きさを、測距センサ３６から得られる距離情報に基づいて演算するのは、切出情報演算部３２である。

すなわち、切出情報演算部３２は、撮像範囲ＦＰ内において、観察物体ＯＢＪが最短距離Ｌ１にあるときには図１０（Ａ）に示すように比較的大きい範囲を切出範囲ＤＡとして設定し、中程度の距離にあるときには図１０（Ｂ）に示すように中程度の範囲を切出範囲ＤＡとして設定し、最長距離Ｌ２にあるときには図１０（Ｃ）に示すように比較的小さい範囲を切出範囲ＤＡとして設定するようになっている。なお、何れの場合にも、切出範囲ＤＡに対する観察物体ＯＢＪの相対的な大きさは一定である。また、この切出範囲ＤＡの最短距離Ｌ１におけるサイズを縦ＤＹ×横ＤＸとすると、歯科用途における具体的な数値例としてＤＹ＝２４ｍｍ、ＤＸ＝３２ｍｍが挙げられる。

次に、図１１は頭部装着型映像取得表示装置により測距および視線検知を行って撮像画像を切り出して表示する処理を示すフローチャートである。

この処理を開始すると、測距用照明部１５の赤外発光ダイオード（ＩＲＬＥＤ）を発光させ（ステップＳ１）、観察物体ＯＢＪにより反射された赤外光を測距用照明受光部１６の位置検出素子（ＰＳＤ）により受光して（ステップＳ２）、測距部３７により観察物体ＯＢＪまでの距離を算出する（ステップＳ３）。

このような観察物体ＯＢＪまでの距離測定を行う一方で、頭部装着型映像取得表示装置は、観察者ＯＢＳの視線方向の検出を行う（なお、測距と視線方向検知とは、同時であっても構わないし、適宜の順序による順次であっても良い）。すなわち、まず、視線検知用照明部１３の赤外発光ダイオード（ＩＲＬＥＤ）を発光させ（ステップＳ４）、観察者ＯＢＳの眼球により反射された赤外光を視線検知部１４のラインセンサにより受光して（ステップＳ５）、ラインセンサの出力に基づき視線方向検出部３１が観察者ＯＢＳの視線方向を算出する（ステップＳ６）。

そして、検出された視線方向が、図８に示した視野角α（上述した例においては、水平方向を中心とした１５．２°）の範囲内に入っているか否かを判定する（ステップＳ７）。なお、ここでは便宜上、図８における横方向を水平方向と述べたが、重力方向に対する水平方向である必要はなく、頭部装着型映像取得表示装置が装着されたときに観察者ＯＢＳにより直視されていると想定されている方向（頭部装着型映像取得表示装置を設計したときに、そのように想定した方向）であれば良い。

このステップＳ７において、視線方向が視野角αの範囲内に入っていないと判定された場合には、切出情報演算部３２は、観察者ＯＢＳが表示ユニット６を介して観察物体ＯＢＪを観察している状態であると判定して、視線を移動する前の切出中心位置ＣＰと切出範囲ＤＡとをそのまま保持する（ステップＳ８）。

一方、上記ステップＳ７において、視線方向が視野角αの範囲内に入っていると判定された場合には、切出情報演算部３２は、観察者ＯＢＳが観察物体ＯＢＪを直視で観察している状態であると判定して、撮像画像の切出中心位置ＣＰを、ステップＳ３により算出された観察物体ＯＢＪまでの距離と、ステップＳ６により算出された視線方向と、に基づき算出する（ステップＳ９）。

そして、切出情報演算部３２は、切出中心位置ＣＰを基準にして、観察物体ＯＢＪまでの距離に基づき切出範囲ＤＡを算出する（ステップＳ１０）。

このステップＳ１０の処理または上述したステップＳ８の処理が終了したら、フォーカス調整部２３がＡＦ駆動部２４を介して撮像部１１のレンズのフォーカスを上述したように調整し（ステップＳ１１）、撮像部１１により撮像を行って撮像画像を取得する（ステップＳ１２）。

次に、ステップＳ８またはステップＳ１０において設定された切出範囲（中心位置および領域の大きさ）となるように切出処理部２６により撮像画像の切り出しを行い（ステップＳ１３）、切り出した画像を、映像表示部１８の各表示素子の表示領域に合わせた倍率となるように倍率処理部２７により処理して（ステップＳ１４）、表示信号変換部２８により表示信号に変換した後に映像表示部１８の各表示素子に表示する（ステップＳ１５）。なお、上述したように外部モニタ等が接続されているときには、このステップＳ１５において、外部モニタ等への表示も行われる。

このような処理は、動画像表示を行う際に、各フレーム毎に（あるいは複数フレームに１回の割合で）行われる。そして、この頭部装着型映像取得表示装置の電源がオフされるなどしたところで、この処理を終了する。

次に、図１２は、観察者ＯＢＳが観察物体ＯＢＪを直視で観察しているときに、より省電力を図るようにする処理例を示すフローチャートである。この図１２に示す処理は、図１１のステップＳ７において判断の分岐が行われたときの処理となっている。

上述した図１１の処理においては、観察者ＯＢＳが観察物体ＯＢＪを直視しているかあるいは映像表示部１８を観察しているかに関わらず、映像表示部１８、撮像部１１、および照明部１２をオンにしていることを前提としていた。これに対して、この図１２に示す例においては、視線方向やモード設定に応じて適宜にオン／オフを行うことにより、省電力を図るようになっている。

すなわち、上記ステップＳ７において、視線方向が視野角αの範囲内に入っていると判定されると、この頭部装着型映像取得表示装置が映像表示部１８の自動オフモードに設定されているか否かを判定する（ステップＳ２１）。ここで、映像表示部１８の自動オフモードに設定されていると判定された場合には、映像表示部１８をオフする（ステップＳ２２）。なお、このステップＳ２２の処理が行われたときには、図１１に示したステップＳ１５においては外部モニタへの表示のみが行われるか、もしくはステップＳ１５の処理がスキップされる。

このステップＳ２２の処理が終了したら、次に、この頭部装着型映像取得表示装置が撮像部１１の自動オフモードに設定されているか否かを判定する（ステップＳ２３）。ここに、観察者ＯＢＳが映像表示部１８を観察していないときであっても、撮像部１１により撮像された画像を別途のモニタ等へ出力して表示し、上述したような教育目的などに用いることが考えられる。このような理由により、映像表示部１８のオン／オフと、撮像部１１のオン／オフとは、独立して設定することができるようになっている。

このステップＳ２３において撮像部１１の自動オフモードに設定されていると判定された場合には、撮像部１１をオフする（ステップＳ２４）。

このステップＳ２４の処理が終了したら、次に、この頭部装着型映像取得表示装置が照明部１２の自動オフモードに設定されているか否かを判定する（ステップＳ２５）。ここで、照明部１２の自動オフモードに設定されていると判定された場合には、照明部１２をオフする（ステップＳ２６）。

一方、ステップＳ２５において照明部１２の自動オフモードに設定されていないと判定された場合には、照明部１２をオンする（ステップＳ２７）。

これらステップＳ２６またはステップＳ２７の処理が終了したら、図１１に示したステップＳ７の処理へ戻って、視線方向が変化したか否かの検出を行う。

また、ステップＳ２１において、映像表示部１８の自動オフモードに設定されていないと判定された場合には、映像表示部１８をオンする（ステップＳ２８）。

このステップＳ２８の処理が終了するか、またはステップＳ２３において撮像部１１の自動オフモードに設定されていないと判定された場合には、撮像部１１をオンし（ステップＳ２９）、さらに照明部１２をオンしてから（ステップＳ３０）、図１１に示したステップＳ９の処理へ移行する。なお、ここでは撮像部１１がオンのときには必ず照明部１２もオンするようにしているが、環境照明光が十分であるときやより省電力を図りたいときにはこれに限るものではない。

一方、ステップＳ７において、視線方向が視野角αの範囲内に入っていないと判定された場合には、映像表示部１８をオンし（ステップＳ３１）、撮像部１１をオンし（ステップＳ３２）、照明部１２をオンしてから（ステップＳ３３）、ステップＳ８の処理へ移行する。

なお、上述では、検出された視線方向が映像表示部１８による表示を観察する方向である場合にはステップＳ３３において照明部１２をオンし、映像表示部１８による表示を観察する方向外であってかつ照明部１２の自動オフモードが設定されていた場合にはステップＳ２６において照明部１２をオフするように制御するようにしていた。しかし、このような制御を行うに限るものではない。例えば、検出された視線方向が映像表示部１８による表示を観察する方向である場合には照明部１２により発光される照明光の光量を撮像部１１により撮像を行って映像表示部１８により観察するのに適した光量となるように制御し、映像表示部１８による表示を観察する方向外である場合には照明部１２により発光される照明光の光量を肉眼により被写体を観察を行うのに適した光量となるように制御するようにしても構わない。

このような実施形態１によれば、観察者が本体１を装着した際に、前頭部にフレーム３が配置され、眼前よりも下側に表示ユニット６が配置されて、フレーム３と表示ユニット６との間に視界を妨げない空間が構成されるようにしたために、観察物体の直視と、表示ユニット６を介した観察とを所望に行うことができる。さらに、撮像部１１をフレーム３または支持部５に設けているために、撮像して得られた画像を表示ユニット５により観察することが可能となる。

そして、被写体距離に応じて画像の切り出しを制御するようにしたために、観察者の視線と撮像部の撮像光軸とが角度をもって交差していても、被写体距離によることなく被写体の所定部分に対応する画像部分が表示画像中の中心位置となるように切り出しを行うことができる。さらに、被写体距離によることなく、表示画像中の被写体の大きさを一定にすることもできる。このように、被写体距離に応じて画像の切り出しを制御することにより、撮像された被写体像を、被写体距離の違いによる被写体の表示領域の変化を低減して表示することができる。

また、視線方向を検知して、視線方向の延長上にある被写体部分に対応する画像部分を切り出そうとする画像の中心位置に決定するようにしたために、被写体距離によることなく、観察者の注視部分を表示画像の中心にすることができる。

さらに、検知された視線方向に応じて撮像部、映像表示部、照明部の電源を適切にオン／オフし、あるいは照明部の光量を適切に制御するようにしたために、消費電力を効率的に低減することが可能となる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

本発明の実施形態１における頭部装着型映像取得表示装置の電気系の構成を主に示すブロック図。 上記実施形態１における頭部装着型映像取得表示装置を正面斜め上方向から示す斜視図。 上記実施形態１における頭部装着型映像取得表示装置を側方から示す断面図。 上記実施形態１における頭部装着型映像取得表示装置を示す正面図。 上記実施形態１における視線検知部の構成を図４の矢印Ａ方向から示す図。 上記実施形態１において、視線検知部により眼を検出したときの受光出力の様子を示す図。 上記実施形態１において、フォーカス調整部により算出される輝度値の総和とフォーカスレンズ位置との関係を示す線図。 上記実施形態１において、フレームと表示ユニットとの間に構成される視界の様子を示す配置図。 上記実施形態１において、視線方向が水平方向である場合に、観察者ＯＢＳから観察物体ＯＢＪまでの距離が変化したときにも、画像を切り出す切出中心位置を一定にするようにした様子を示す図。 上記実施形態１において、視線方向が水平方向であって、観察者ＯＢＳから観察物体ＯＢＪまでの距離が変化したときに、図９に示したように切出中心位置ＣＰを一定にしながら、画像を切り出す範囲を設定する様子を示す図。 上記実施形態１における頭部装着型映像取得表示装置により測距および視線検知を行って撮像画像を切り出して表示する処理を示すフローチャート。 上記実施形態１において、観察者ＯＢＳが観察物体ＯＢＪを直視で観察しているときに、より省電力を図るようにする処理例を示すフローチャート。

符号の説明

１…本体
２…第２制御装置
３…フレーム
４Ｒ，４Ｌ…テンプル部
５…支持部
６…表示ユニット
１１…撮像部
１２…照明部
１３…視線検知用照明部（視線方向測定部）
１４…視線検知部（視線方向測定部）
１４ａ…シリンドリカルレンズ
１４ｂ…ラインセンサ
１５…測距用照明部
１６…測距用照明受光部
１７…画像処理部（映像処理部）
１８…映像表示部
１８Ｌ…左眼用映像表示素子
１８Ｒ…右眼用映像表示素子
１９…接眼光学系
２１…電気制御部（第１制御装置）
２２…カメラＩ／Ｆ部
２３…フォーカス調整部
２４…ＡＦ駆動部
２５…倍率調整部
２６…切出処理部
２７…倍率処理部
２８…表示信号変換部
３１…視線方向検出部（視線方向測定部）
３２…切出情報演算部（映像処理部）
３３…撮像部電源制御部（制御部）
３４…照明制御部（制御部）
３５…映像表示部電源制御部（制御部）
３６…測距センサ（距離測定部）
３７…測距部
３８…電源入力部
４１…バッテリ

Claims (7)

1. 観察者の前頭部に装着され得るように構成されたフレームと、
   上記フレームから下方へ連設された支持部と、
   上記フレームまたは上記支持部に配設された、被写体を撮像するための撮像部と、
   上記フレームとは別体に設けられていて、上記支持部を介して該フレームとの間に観察者の視線を妨げることのない空間を構成するように配設され、上記撮像部により撮像して得られた画像信号を表示信号に変換する映像処理部と、この映像処理部により変換された表示信号を電子映像として表示するための映像表示部と、この映像表示部により表示された電子映像を観察者の両眼に向けて投影するためのものであり少なくとも１つの反射面をそれぞれ備える左右の接眼光学系と、を有する表示ユニットと、
   特定距離範囲内にある被写体の距離情報を取得する距離測定部と、
   を具備し、
   上記映像処理部は、上記距離測定部から得られる上記距離情報に基づいて、上記撮像部により得られた画像の少なくとも一部を切り出す処理を行い、切り出された画像信号を表示信号に変換するものであることを特徴とする頭部装着型映像取得表示装置。
2. 上記映像処理部は、上記距離測定部から得られる上記距離情報に基づいて、被写体距離によることなく被写体の所定部分に対応する画像部分が表示画像の中心位置となるように、切り出そうとする画像の中心位置を決定して、上記切り出す処理を行うものであることを特徴とする請求項１に記載の頭部装着型映像取得表示装置。
3. 上記映像処理部は、上記距離測定部から得られる上記距離情報に基づいて、被写体距離によることなく表示画像における被写体の大きさが一定となるように、切り出そうとする画像の大きさを決定して、上記切り出す処理を行うものであることを特徴とする請求項１または請求項２に記載の頭部装着型映像取得表示装置。
4. 観察者の視線方向を測定する視線方向測定部をさらに具備し、
   上記視線方向測定部により測定された視線方向が上記フレームと上記表示ユニットとの間に構成された空間を介して被写体を観察する方向である場合には、上記映像処理部は、上記視線方向の延長上にある被写体部分に対応する画像部分を上記切り出そうとする画像の中心位置に決定して、上記切り出す処理を行うものであることを特徴とする請求項２に記載の頭部装着型映像取得表示装置。
5. 上記視線方向測定部により測定された視線方向が、上記映像表示部による表示を観察する方向である場合には上記撮像部と該映像表示部との両方をオンし、該映像表示部による表示を観察する方向外である場合には該撮像部と該映像表示部との少なくとも一方をオフするように制御する制御部をさらに具備したことを特徴とする請求項４に記載の頭部装着型映像取得表示装置。
6. 被写体を照明するための照明部をさらに具備し、
   上記制御部は、さらに、上記視線方向測定部により測定された視線方向が、上記映像表示部による表示を観察する方向である場合には上記照明部をオンし、該映像表示部による表示を観察する方向外である場合には該照明部をオフするように制御するものであることを特徴とする請求項５に記載の頭部装着型映像取得表示装置。
7. 被写体を照明するための照明部をさらに具備し、
   上記制御部は、さらに、上記視線方向測定部により測定された視線方向が、上記映像表示部による表示を観察する方向である場合には上記照明部により発光される照明光の光量を上記撮像部により撮像を行って上記映像表示部により観察するのに適した光量となるように制御し、該映像表示部による表示を観察する方向外である場合には該照明部により発光される照明光の光量を肉眼により被写体を観察するのに適した光量となるように制御するものであることを特徴とする請求項５に記載の頭部装着型映像取得表示装置。

Images