JP5053655B2 - 映像装置および画像通信装置 - Google Patents

Description

本発明は、映像装置および画像通信装置に関し、特に撮像機能と表示機能を備えた映像装置および画像通信装置に関する。

従来、遠隔地と映像信号を用いて双方向通信を行うテレビ電話装置、テレビ会議装置等の画像通信装置においては、撮像機能と表示機能を備えた映像装置として様々な形態の映像装置が提案されている。特に、近年はインターネットの普及が目覚しく、比較的容易にテレビ電話装置やテレビ会議装置が構成できる。特に、映像信号を表示する表示装置として、液晶表示装置を手軽に使用することが可能であり、液晶表示装置の低コスト化により、大型の画面を備える液晶表示装置を使用することができ、見やすく、高画質なものとなってきている。
特開平０７−０６７０９０号公報 特開平０５−３２８３３６号公報

しかしながら、従来技術で提案されているテレビ電話装置においては、このような使いやすさと同時に以下のようなデメリットも浮上してきている。

１．近年、あるいは将来のテレビ電話装置はモニタ画面が大きく、且つ高画質な為、会話者同士の視線があわないと目立ってしまう事が問題になってきている。例えば、上記の特許文献１にあるように４５度のハーフミラーを使用すれば上記問題点は解決する。しかし、表示装置と被写体との間に大画面に対応した４５度のハーフミラーを入れることはサイズ的に家庭に入りにくいような問題を出してしまう。

２．これに対して表示装置に近接して複数のカメラを配置してそれらからの画像の合成によってアイコンタクト画像（一種のＣＧ画像）を作り出すということも考えられる。しかしこの場合、画像の作成に多大な時間を要する。または画像を間引いて処理時間を短縮する為、本来のテレビ電話装置のあるべき姿であるリアルタイム性や、臨場感を出すことが難しくなってしまう。

また、上記の特許文献２に示されるように、画面の前面にホログラム反射板を用いて光を斜め上方に反射させ、それを撮像する方法も提案されている。しかし、この方法は視線は捕らえることができるが画質（像のゆがみや色の純度）が劣化する。さらに、該ホログラム板を通過してユーザの視野に入ってくる外光（照明光等の）が虹色に光ってしまい、画像を見難くしてしまうという欠点があった。

３．他には画面の中心に小型のビデオカメラを設置するという方法もとられるが、相手の顔の上にビデオカメラが存在するような状況になり、ビデオカメラが如何に小型とはいえ見栄えの良い物ではなかった。

したがって、本発明の目的は、比較的簡単な構成及び処理により、テレビ電話装置等に使用して違和感がなく、画質の品質が高い映像信号が得られる映像装置を提供することが可能となる。

上記の目的を達成するため、本発明の実施形態に係る映像装置は、
表示装置と、
少なくとも可視光の波長領域を中心とする光に感度を有し、前記表示装置の表示画面に正対するユーザの可視光像を撮像する、前記表示画面の外側の前記表示装置に近接した位置に前記表示画面に対して傾斜して取り付けられた第１の撮像装置と、
前記第１の撮像装置が出力する映像信号の色映像信号に対して、前記第１の撮像装置の傾斜の角度を用いた角度補正を行うことにより、前記第１の撮像装置の傾斜に基づく歪みを補正する画像変換手段と、
前記表示装置の前記表示画面の前に、前記表示画面に対して予め定められた角度を持つように配置され、赤外光の波長領域を中心とする光を反射する反射板と、
前記反射板で反射された前記赤外光の波長領域を中心とする光に感度を有し、前記反射板で反射された前記ユーザの赤外光像を撮像する第２の撮像装置と、
前記画像変換手段で補正された前記色映像信号と、前記第２の撮像装置が出力する映像信号の輝度映像信号を合成し、合成映像信号を生成する合成手段と、を備えることを特徴とする映像装置。

また、本発明のさらに他の実施形態における画像通信装置は、
本発明の実施形態に係る映像装置を備えるとともに、さらにコンピュータを備え、
前記コンピュータの通信機能を利用して双方向の画像通信を可能とすることを特徴とする。

本発明によれば、比較的簡単な構成及び処理により、テレビ電話装置等に使用して違和感のない映像信号の得られる映像装置を提供することが可能となる。

＜実施形態１＞
図１は、本発明の第１の実施形態に係る映像装置が応用された、たとえば画像通信装置であるテレビ電話装置を示す。勿論、画像通信装置はテレビ会議装置であってもよい。図において、１はテレビ電話装置を使用するユーザ、２は、ユーザが座るイス、３は例えば表示装置としての液晶表示パネルである。４は撮像装置としての赤外線ビデオカメラで、後述する図３に示すような波長感度特性を持たせる。赤外線ビデオカメラ４は、比較的狭いバンド幅の赤外線を通過させる光学フィルタを内蔵しており、例えば波長０．７〜０．９μｍ位の近赤外光のみの画像を得ることができるように構成されている。

５及び６は、赤外線とは異なる波長領域の可視光に感度のある通常の撮像装置としての可視光ビデオカメラである。可視光ビデオカメラ５、６はユーザ１の画面を見る視野の外に設置されてユーザ１を撮像する。そのため、可視光ビデオカメラ５は、液晶表示パネル３の表示画面に対して予め定められた角度であるα度、可視光ビデオカメラ６は予め定められた角度であるβ度だけ傾斜するように予め定めて取り付けられる。又、この２台の可視光ビデオカメラ５、６は公知のズーム光学系が搭載されている。そして、撮影されたユーザの像を後述する画像変換処理を行った後に赤外線カメラ４の人物の像と例えば同じ画素数、あるいは同じ倍率となるように公知のコントロール手段により制御されている。

赤外線ビデオカメラ４、２つの可視光ビデオカメラ５及び６の出力は最終的に合成され、合成映像信号としてパーソナルコンピュータ７に入力される。液晶表示パネル３も同じくパーソナルコンピュータ７に接続される。パーソナルコンピュータ７は、内蔵する処理プログラムに従って動作し、テレビ電話装置として機能する。したがって、パーソナルコンピュータ７は、自身が備える通信機能を利用することでインターネット２０に接続可能とされる。

従って、インターネット２０を介して、通話相手の顔が液晶表示パネル３に表示される。一方、パーソナルコンピュータ７に入力された合成映像信号は、通話相手の表示装置で表示されることとなる。尚、パーソナルコンピュータ７を含めてテレビ電話装置として機能するためには、マイク及びスピーカも必要であるが、マイク及びスピーカは、とくにこの発明には関係しないので省略する。

また、本発明の実施形態１においては、液晶表示パネル３の表示画面に透明なガラスもしくはプラスチックの板からなる赤外線反射板９が近接して配置されている。赤外線反射板９には、後述する赤外光の照明装置１０により照明される光の波長に合わせた赤外反射コーティングが施されている。赤外線反射板９により赤外光像は、液晶表示パネル３の表示画面に対して垂直に進行し、ユーザ１を正面から撮像可能とされている。この場合、ユーザ１が正視する視線と赤外線ビデオカメラ４の撮像する撮影する方向となる撮像線とのなす角を２θ度とすると、赤外線反射板９の赤外反射面は液晶表示パネル３の表示画面に対してθ度だけ傾かせればよい。すなわち赤外線ビデオカメラ４は、液晶表示パネル３の表示画面に正対する領域を撮像する。

この赤外光の反射処理として赤外反射処理のコーティングが施されていても、ユーザ１が液晶表示パネル３の表示画面を見る分には、単なる透過板として機能する為、可視光であるために、赤外線反射板９を透過して全く素通しであり、画質を損なうことはない。

１０は赤外光の照明装置で公知の赤外発光ダイオードと照明光学系からなり該照明光により照明された赤外光は赤外線反射板９により良好に反射されユーザ１を照明する。この結果被写体像は赤外光像＋可視光像となる。被写体像のうち赤外光像は赤外線反射板９で良好に反射されて赤外線ビデオカメラ４に結像し、ユーザ１の赤外光像に基づく被写体画像を生成し、可視光像は可視光ビデオカメラ５、６に入射して色情報を作り出す。この照明装置は、パーソナルコンピュータ７で制御される。

図２は、本発明の実施形態１で使用される回路構成を示す。図において、図１と同じ構成要素には同じ参照符号が使用される。

赤外線ビデオカメラ４は、撮像素子４１、赤外線通過フィルタ４２及び画像処理回路４４を内蔵する。このましくは、撮像素子４１は、赤外波長領域に感度が高い撮像素子が選別されて使用されてもよい。カラーフィルタは不要である。画像処理回路４４からは、輝度映像信号が出力される。尚、赤外線ビデオカメラ４は赤外線反射板９で反射したユーザ１の像を撮像する。したがって、赤外線反射板９で反射したユーザ１の像は反転像である。したがって赤外線ビデオカメラ４は、反転像を正規の像に戻し、正規の像に対応する映像信号を出力する。単純には、赤外線ビデオカメラ４内で今一度反射させて正規の像にしてもよい。また、撮像素子４１の走査方向を変更することでも実現可能である。

また、可視光ビデオカメラ５は、撮像素子５１、カラーフィルタ５２、赤外線カットフィルタ５３及び画像処理回路５４を備える。画像処理回路５４は、撮像素子５１から出力される映像信号の中の色信号のみを出力する。したがって帯域幅の狭い色映像信号を使用するので、撮像素子５１の画素数は少ないものが使用できる。

同様に、可視光ビデオカメラ６は、撮像素子６１、カラーフィルタ６２、赤外線カットフィルタ６３及び画像処理回路６４を備える。この画像処理回路６４においても、撮像素子６１から出力される映像信号の中の色信号のみを出力する。したがって帯域幅の狭い色映像信号を使用するので、同様に、撮像素子６１の画素数は少ないものが使用できる。

赤外線ビデオカメラ４から出力される輝度映像信号は帯域幅の広い信号であり、合成回路１６に供給される。一方、可視光ビデオカメラ５から出力される色映像信号は、画像変換回路１２を介して合成回路１６に供給され、同じく、可視光ビデオカメラ６から出力される色映像信号は、画像変換回路１３を介して合成回路１６に供給される。

画像変換回路１２、１３は出力される色映像信号の歪みを補正するために使用される。すなわちユーザ１を睨んでいる視差の角度α度分の画像の補正（伸長）を行う。すなわちα分だけ斜めの位置からユーザ１を撮像している為、画像の空間情報がｃｏｓαだけ圧縮された画像になっている。これを元に戻すための画像変換処理である。

先に述べたように、可視光ビデオカメラ５、６は、ユーザ１に対して角度をもって撮像している。したがって、可視光ビデオカメラ５ではα度、可視光ビデオカメラ６ではβ度の傾斜に基づく歪みをそれぞれ画像変換回路１２、１３で補正する。しかしユーザ１の位置がずれると、補正が必要となる。そのため誤差検出回路１４、１５が設けられ、色映像信号と輝度映像信号との誤差、すなわちずれを検出し、誤差検出回路１４、１５の出力で画像変換回路１２、１３でのずれがなくなるように補正量を制御するものである。先に説明したように、色映像信号は帯域幅が狭いので、画像変換回路１２、１３は比較的小規模な回路で構成が可能となる。

尚、合成回路１６の出力は、パーソナルコンピュータ７に供給されている。これらの画像変換処理は、専用のＤＳＰ（Digital Signal Processor）などによって高速に行うことも可能である。尚、予め定められた角度であるα度及びβ度は、夫々３０度より少ない値が好ましい。赤外線ビデオカメラ４は、液晶表示パネル３の画面に対して垂直に進入する赤外線が赤外線反射板９で反射された後に赤外線ビデオカメラ４に進入する位置に取り付けられる。

図３は、本発明の実施形態で使用される照明光、撮影光の波長を整理した図であり、横軸が波長、縦軸は光の強度を示す物である。この図からわかるように赤外線ビデオカメラ４に内蔵されている赤外線通過フィルタ４２の特性は赤外線反射板のバンド幅より狭く、又照明装置１０のバンド幅はこれらより広くても良い様な構成となっている。

図２に示した本発明の実施形態１の映像装置の画像の信号処理は、コンピュータソフトウエアを使用しても実現可能である。以下の説明は、説明の簡略化のために、可視光ビデオカメラ５のみを使用する場合について、基本的な動作を図４に示すフローチャートで説明する。まず、処理の開始後、可視光ビデオカメラ５からの色映像信号及び赤外線ビデオカメラ４からの輝度映像信号がステップＳ１０及びＳ２０で取り出される。可視光ビデオカメラ５からの色映像信号に対しては、係数（１／ｃｏｓα）によるステップＳ３０の画像処理により画像変換処理が実行される。この処理は、図２の画像変換回路１２の処理に相当する。

次に、ステップＳ４０で、画像変換された色映像信号と赤外線ビデオカメラ４からの輝度映像信号との誤差が検出される。この処理は、図２の誤差検出回路１４での処理に相当する。ステップＳ４０で誤差がなければ、ステップＳ６０、Ｓ７０のレンダリング処理及び画像生成処理が実行されて処理を終了する。このステップＳ６０、Ｓ７０での処理は、図２の合成回路１６での処理に相当する。また、ステップＳ４０で誤差があれば、ステップＳ５０に進み、係数を（（１／ｃｏｓα）＋１）とし、再度ステップＳ３０で画像変換処理を行う。この処理は、ステップＳ４０で誤差がなくなるまで繰り返されることになる。

以上説明した、本発明の実施形態１によれば、帯域幅の狭い色映像信号に対してのみ、画像変換処理を行うので、比較的簡単な構成、処理により、テレビ電話装置等に使用した場合に、違和感のない合成映像信号を出力する映像装置を提供することが可能となる。

＜実施形態２＞
図５は、本発明の実施形態２に係る映像装置を応用したテレビ電話装置であって、実施形態１のテレビ電話装置と同じ機能を果たす回路部品等については、同じ参照番号を付し、詳細な説明は省略する。

本発明の実施形態２に係る映像装置を使用したテレビ電話装置においては、赤外線ビデオカメラ４は軸１００により回動可能に保持される。そして使用状態では、図５の（ａ）に図示するように、水平位置から２θだけ、半時計方向に回転した位置で保持される構成とされている。

図５の（ｂ）に示すように、反射板１０１は、液晶表示パネル３の表示画面を覆うような形で取り付けられ、その中心部分にビームスプリッタ部１０１ａを有している。ビームスプリッタ部１０１ａは赤外光を反射し、可視光を透過する特性を備えるダイクロイック膜で構成されている。ビームスプリッタ部１０１ａは、ユーザ１の赤外線の画像を図中右斜め上方に反射し、赤外線ビデオカメラ４の画像センサに結像させる。このときに液晶表示パネル３に表示されている可視光の画像は何ら影響を受けることなくユーザ１の瞳に結像する。

この反射板１０１は、例えば２つのガラス板から構成されていて互いに接着される斜めの面に、後述の赤外線の照明装置１０に内蔵される赤外発光ダイオードの発光波長にあわせた赤外反射のダイクロイックミラーが蒸着されている構造である。また赤外線ビデオカメラ４の画像は、ユーザ１の正面顔がビームスプリッタ部１０１ａのダイクロイック膜で反射されたものであるので正対した画像となる。５は実施形態１で使用した、可視光に感度のある可視光ビデオカメラである。

１０２はフードを兼ねた保護カバーで、図５（ａ）の使用状態ではほぼ水平位置までヒンジ軸１０３を中心に回動していて公知の手段により係止されている。

この保護カバー１０２は液晶表示パネル３の不使用時には、図示の状態からヒンジ軸１０３を中心にして略９０度時計方向に回動して液晶表示パネル３の前面を埃などから覆う保護カバーの役目も持っている。そのときには反射板１０１も保護カバー１０２に押されて液晶表示パネル３と保護カバー１０２の間に収納される。

また、図５の（ａ）の使用状態においては赤外線ビデオカメラ４、及び可視光ビデオカメラ５は、それぞれ前述した角度まで保護カバー１０２の開閉に連動して回動する。図５の（ａ）に示すように、赤外線ビデオカメラ４は、水平から２θ度の位置、可視光ビデオカメラ５は水平からα度の位置に固定され、撮像を開始する。

７はパーソナルコンピュータで、液晶表示パネル３、赤外線ビデオカメラ４、可視光ビデオカメラ５および赤外光による照明装置１０と接続される。パーソナルコンピュータ７は、これらを後述するフローチャートに従って駆動、制御すると同時に、公知のインターネット接続手段をもち、テレビ電話装置の時には、不図示の相手方のＰＣと接続する役割を担う。

１０は照明装置で、比較的発光波長の帯域幅の狭い種類の赤外発光ダイオードと照明光学系からなり、照明装置１０からの赤外の照明光はユーザ１を良好に照明する。その赤外光像は、反射板１０１により反射されて赤外線ビデオカメラ４の画像センサに結像する。

以上のような構成を備える本発明の実施形態２に係る映像装置の動作を図６に示すフローチャートで説明する。

先ずパーソナルコンピュータ７及び液晶表示パネル３は、スタンバイの状態からテレビ電話装置の開始のコマンドをステップＳ１０１でユーザが入力する。すると、ステップＳ１００で先ず保護カバー１０２が適正な位置まで開きいているか否かのチェックを行う。この場合、もし適正な位置の信号がきていない場合は、ステップＳ１０１に進み、モータ機構などで適正な位置になったことを示す信号が入ってくるまで保護カバー１０２を反時計方向に回動させる。

その後、保護カバー１０２が、図５の（ａ）に示す状態になると、パーソナルコンピュータ７は、ステップＳ１０３で照明装置１０を駆動し、ユーザ１に向かって赤外ＬＥＤを用いた照明を開始する。この状態で赤外線ビデオカメラ４、可視光ビデオカメラ５を駆動してステップＳ１０４で、撮像を開始する。ステップＳ１０５でこれら２つのカメラの画像を合成して合成映像信号を生成する。そして合成された合成映像信号に公知のＭ−ＰＥＧなどの圧縮処理を行いインターネット回線の先にある相手のパーソナルコンピュータに向けて送信することとなる。尚、ステップＳ１０５での処理は、図４で示した画像変換処理に相当するものである。

以上説明した本発明の実施形態２に係る映像装置によれば、比較的簡単な構成、処理により、テレビ電話装置等に使用した場合に、違和感のない映像装置を提供することが可能となる。さらに、収納状態と稼動状態を１つの操作により、複数のビデオカメラを含む装置の正しい設定することが可能となる。

また、反射板を支えている構造部材が液晶表示パネルの保護カバーを兼ねて天井からの照明光による液晶表示パネルの画面のテカリを防ぐことができると同時に、不使用時に折りたたまれて液晶表示パネルの画面の保護カバーともなる。したがって、画面に埃がつくことを防止すると共に、太陽光などによる紫外線による劣化も防ぐことができる。

さらに、本発明に係る実施形態の映像装置とコンピュータを組み合わせて双方向の画像通信装置を提供することが可能である。すなわち、映像装置とパーソナルコンピュータ７を組あわせ、パーソナルコンピュータ７が備える通信機能を利用することで、テレビ会議装置、テレビ電話装置等の双方向の画像通信装置を実現することが可能となる。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても実施可能である。すなわち本発明の目的は、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することで、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行うこともありうる。それにより、本発明は、その処理によって前述した実施形態の機能が実現される場合も含まれる。

さらに本発明においては、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれて実施することも可能である。したがって、書込まれプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。

本発明の実施形態１に係る映像装置が適用されたテレビ電話装置の１例を示す図である。 本発明の実施形態１に係る映像装置が適用されたテレビ電話装置のブロック図を示す。 本発明の実施形態１に係る映像装置の動作を説明するための照明光、可視光および赤外光の波長の関係を説明する図である。 本発明の実施形態１に係る映像装置の画像処理の動作を説明するフローチャートである。 本発明の実施形態２に係る映像装置が適用されたテレビ電話装置の１例を示す図である。 本発明の実施形態２に係る映像装置の動作を説明するフローチャートである。

符号の説明

１ ユーザ
２ イス
３ 液晶表示パネル
４ 赤外線ビデオカメラ
５、６ 可視光ビデオカメラ
７ パーソナルコンピュータ
９ 赤外線反射板
１０ 照明装置
１２、１３ 画像変換回路
１４、１５ 誤差検出回路
１６ 合成回路
２０ インターネット
１００ 反射板
１０１ａ ビームスプリッタ部
１０２ 保護カバー

Claims (7)

1. 表示装置と、
   少なくとも可視光の波長領域を中心とする光に感度を有し、前記表示装置の表示画面に正対するユーザの可視光像を撮像する、前記表示画面の外側の前記表示装置に近接した位置に前記表示画面に対して傾斜して取り付けられた第１の撮像装置と、
   前記第１の撮像装置が出力する映像信号の色映像信号に対して、前記第１の撮像装置の傾斜の角度を用いた角度補正を行うことにより、前記第１の撮像装置の傾斜に基づく歪みを補正する画像変換手段と、
   前記表示装置の前記表示画面の前に、前記表示画面に対して予め定められた角度を持つように配置され、赤外光の波長領域を中心とする光を反射する反射板と、
   前記反射板で反射された前記赤外光の波長領域を中心とする光に感度を有し、前記反射板で反射された前記ユーザの赤外光像を撮像する第２の撮像装置と、
   前記画像変換手段で補正された前記色映像信号と、前記第２の撮像装置が出力する映像信号の輝度映像信号を合成し、合成映像信号を生成する合成手段と、を備えることを特徴とする映像装置。
2. 前記反射板の前記予め定められた角度は、前記ユーザの視線が前記第２の撮像装置の撮影する方向と同じとなるように定められることを特徴とする請求項１に記載の映像装置。
3. 前記予め定められた角度は、３０度より小さいことを特徴とする請求項１または２に記載の映像装置。
4. 前記表示装置の前記表示画面を覆うための保護カバーを更に有し、
   前記第１の撮像装置及び前記第２の撮像装置は、前記保護カバーに取り付けられていることを特徴とする請求項１乃至３のいずれか１項に記載の映像装置。
5. 前記保護カバーは、前記映像装置を使用しない場合には、前記表示装置の前記表示画面を覆うようにたたまれることを特徴とする請求項４に記載の映像装置。
6. 前記第１の撮像装置が、複数配置されていることを特徴とする請求項１乃至５のいずれか１項に記載の映像装置。
7. 請求項１乃至６のいずれか１項に記載の映像装置を備えると共に、さらにコンピュータを備え、
   前記コンピュータの通信機能を利用して双方向の画像通信を可能とすることを特徴とする画像通信装置。

Images