JPH0799644A

JPH0799644A - 画像通信装置

Info

Publication number: JPH0799644A
Application number: JP5242486A
Authority: JP
Inventors: Katsumi Iijima; 克己飯島; Tomotaka Muramoto; 知孝村本; Akira Suga; 章菅; Masayoshi Sekine; 正慶関根; Hideaki Mitsutake; 英明光武
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1993-09-29
Filing date: 1993-09-29
Publication date: 1995-04-11

Abstract

(57)【要約】【目的】ＴＶ会議で互いの視線を一致させる。【構成】カメラ１，２は同じ人物を撮像する。撮像さ
れた画像は、ビデオ信号処理部３，４で処理され、対応
点抽出部５及び法線ベクトル抽出部６に印加される。対
応点抽出部５は２つの画像の対応点を抽出し、法線ベク
トル抽出部６は法線ベクトルを抽出する。３次元構造処
理部７は、対応点抽出部５及び法線ベクトル抽出部６で
抽出された情報を使い、被写体のおおよその３次元位置
情報を算出する。このように算出された被写体の構造情
報を使い、座標変換部８が、視線が一致する方向にカメ
ラ１，２を向け、その撮像画像を送受信伝送部９が通信
相手に送信する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像通信装置に関し、
より具体的には、互いの視線を一致させた状態でＴＶ会
議できる画像通信装置に関する。

【０００２】

【従来の技術】２つの撮像装置の撮影画像を組み合わせ
て利用する複眼撮像系としては、以下のものが知られて
いる。例えば４，０００×４，０００画素の超高精細な
画像を超高精細モニタに表示する場合、撮像系における
高密度化および高感度化が間題となる。撮像系における
解決手法として、画素数の少ない二つの撮像系を用いて
共通の被写体を撮像し、各撮像系でそれぞれ得られる二
つの画像を合成することにより高精細な一つの画像を得
る複眼撮像装置の原理が提案されている（相澤など、
「超高精細画像取得のための基礎検討」、画像電子学会
予稿９０−０３−０４、ｐ．２３〜２８）。

【０００３】この原理に基づく複眼撮像装置は、図７に
示すように、左側撮像系１１０_Lと右側撮像系１１０_Rと
を用意し、左側撮像系１１０_Lと右側撮像系１１０_Rとで
サンプリング点を空問位相で１／２ピッチずらして被写
体１０１を撮像するとともに、左側撮像系１１０_Lで得
られた左側画像Ｉ_Lと右側撮像系１１０_Rで得られた右側
画像Ｉ_Rとをマイクロプロセッサ（以下、「ＣＰＵ」と
称する。）１２０で合成処理することにより、一つの撮
像系で被写体１０１を撮像したときに比べて高精細な一
つの出力画像Ｉ_OUTを得るものである。

【０００４】図８は、図７に示した左側撮像系１１０_L
および右側撮像系１１０_Rの基本的な光学構造を示す。
左側撮像系１１０_Lは、左側撮像光学系１１１_Lと左側イ
メージセンサ１１２_Lとからなる。右側撮像系１１０
_Rは、右側撮像光学系１１１_Rと右側イメージセンサ１１
２_Rとからなる。ここで、左側撮像光学系１１１_Lと右側
撮像光学系１１１_Rとは、互いに等価な仕様（又は性
能）を有し、ここではズームレンズからなる。また、左
側イメージセンサ１１２_Lと右側イメージセンサ１１２_R
とは互いに等価な仕様（又は性能）を有し、サチコンな
どの撮像管又はＣＣＤ型撮像素子等の固体撮像素子から
なる。

【０００５】左側撮像系１１０_Lと右側撮像系１１０_Rと
は、それらの光軸Ｌ_L，Ｌ_Rが被写体面１０２上の点Ｏで
ほぼ交差し、かつ、被写体面１０２の法線Ｏ−Ｏ’に対
して線対称になるように配置されている。なお、各光軸
Ｌ_L，Ｌ_Rと被写体面１０２の法線Ｏ−Ｏ’とのなす角
（以下、「傾斜角」と称する。）をそれぞれθとしたと
きに、２θを輻輳角と定義する。

【０００６】この複眼撮像装置では、被写体距離が変化
した場合には、例えば、図８に示す×印を中心として左
側撮像系１１０_L及び右側撮像系１１０_Rをそれぞれ回転
させて、被写体距離の変化に応じて輻輳角２θを変更し
た上で、撮像が行なわれる。次に、距離画像に関して説
明する。図９は、距離画像を求めるために用いられる三
角測量の説明図である。なお、以下の説明では、特記し
ない限り、右側カメラ及び左側カメラのイメージセンサ
がそれぞれポジ面に置かれた状態で図示する。三角測量
によれば、２つのカメラ（右側カメラおよび左側カメ
ラ）を用いて三次元空間内にある物体（被写体）を撮像
した場合で、右側カメラのレンズの中心点をＯ_R、左側
カメラのレンズの中心点をＯ_Lとしたとき、この物体上
の一点Ｐの、右側カメラのセンサ面Ａ_SRでの投影点Ｐ_R
と左側カメラのセンサ面Ａ_SLでの投影点Ｐ_Lとから、こ
の物体上の一点Ｐの三次元座標を得ることができる。

【０００７】図９において、基線Ｂ、基線長Ｌ_B、エピ
ポーラ面（視線面）Ａ_e及びエピポーラ・ライン（視線
像）Ｌ_eR，Ｌ_eLは、それぞれ以下のように定義される。
即ち、基線Ｂとは、右側カメラのレンズの中心点Ｏ_Rと
左側カメラのレンズの中心点Ｏ_Lとを結ぶ線をいう。基
線長Ｌ_Bとは、基線Ｂの長さをいう。エピポーラ面Ａ_eと
は、物体上の一点Ｐ、投影点Ｐ_R及び投影点Ｐ_Lの三点を
結んでできる平面をいう。エピポーラ・ライン（視線
像）Ｌ_eRとは、エピポーラ面Ａ_eと右側カメラのセンサ
面Ａ_SRとの交線をいい、エピポーラ・ラインＬ_eLとは、
エピポーラ面Ａ_eと左側カメラのセンサ面Ａ_SLとの交線
をいう。

【０００８】図１０に示すように、基線Ｂの中点を原点
Ｏ（０，０，０）、基線Ｂに沿ってｘ軸、紙面に垂直な
方向にｙ軸（図示せず。）、そして、基線Ｂ及びｙ軸に
垂直な方向にｚ軸をとり、右側カメラのレンズおよび左
側カメラのレンズの焦点距離をそれぞれｆとし、物体上
の一点Ｐの座標を（ｘ_P，ｙ_P，ｚ_P）、投影点Ｐ_Rの座標
を（ｘ_PR，ｙ_PR，ｚ_PR）及び投影点Ｐ_Lの座標を
（ｘ_PL，ｙ_PL，ｚ_PL）とする。このとき、右側カメラお
よび左側カメラの光軸がそれぞれ、図１０に示すよう
に、基線Ｂに対して垂直である場合（即ち、２つの光軸
が互いに平行である場合）、以下の式が成立する。即
ち、

【０００９】

【数１】(x_PL+L_B/2)/f=(x_P+L_B/2)/z_P

【００１０】

【数２】(x_PR-L_B/2)/f=(x_P-L_B/2)/z_P

【００１１】

【数３】ｙ_Ｌ／ｆ＝ｙ_Ｒ／ｆ＝ｙ／ｚ_Ｐ

【００１２】

【数４】（Ｌ_Ｂ＋ｘ_ＰＬ−ｘ_ＰＲ）／ｆ＝Ｌ_Ｂ／ｚ_Ｐよって、物体上の一点Ｐの座標（ｘ_P，ｙ_P，ｚ_P）は、
下記式により求められる。即ち、

【００１３】

【数５】x_P=L_B((x_PL+x_PR)/2)/(L_B+x_PL-x_PR)

【００１４】

【数６】y_P=L_B((y_PL+y_PR)/2)/(L_B+X_PL-x_PR)

【００１５】

【数７】z_P=L_Bf/(L_B+x_PL-x_PR) また、右側カメラ及び左側カメラの光軸がそれぞれ、図
１１に示すように基線Ｂに対して所定の角度（輻輳角）
θをもっている場合には、以下の式が成立する。即ち、

【００１６】

【数８】(x_PL+L_B/2)z_PL=(x_P+L_B/2)/z_P

【００１７】

【数９】(x_PR-L_B/2)/z_PR=(x_P-L_B/2)/z_P

【００１８】

【数１０】y_PL/z_PL=y_PR/z_PR=y_P/z_P

【００１９】

【数１１】Ｌ_Ｂ／ｚ_Ｐ＝（（ｚ_ＰＬ＋Ｌ_Ｂ／２）−（ｚ_ＰＬ／ｚ
_ＰＲ）（ｘ_ＰＲ−Ｌ_Ｂ／２）／Ｚ_ＰＬ但し、｜ｘ_ＰＲ｜≧｜x_PL｜

【００２０】

【数１２】 L_B/z_P=(-(x_PR-L_B/2)+(z_PR/z_PL)(x_PL+L_B/2))/z_PR 但し、｜x_PR｜＜｜x_PL｜

【００２１】

【数１３】z_PR=(x_PR-L_B/2)tan(θ)+fcos(θ)

【００２２】

【数１４】z_PL=-(x_PL+L_B/2)tan(θ)+fcos(θ)

【００２３】これらの

【数１】〜

【数１４】から、物体上の一点Ｐの座標（ｘ_P，ｙ_P，ｚ
_P）を求めることができる。

【００２４】以上説明した三角測量により、右側撮像系
及び左側撮像系からなる複眼撮像系によって撮像した二
枚の画像から、物体（被写体）までの距離を求めること
ができる。しかし、三角測量は、右側カメラのセンサ面
Ａ_SRでの投影点Ｐ_Rと左側カメラのセンサ面Ａ_SLでの投
影点Ｐ_Lとが同じ点Ｐの投影点であることを前提条件と
して、物体までの距離を求めるものであるので、左側カ
メラのセンサ面Ａ_SLでの投影点Ｐ_Lに対応する右側カメ
ラのセンサ面Ａ_SRでの投影点Ｐ_Rが抽出されている必要
がある。従って、複眼撮像系を用いて距離情報を得るに
は、如何にして対応点を抽出するか（対応点抽出方法）
が問題となる。代表的な対応点抽出方法としては、既に
工場などで応用されているテンプレート・マッチング法
等がある。

【００２５】テンプレート・マッチング法を説明する。
テンプレート・マッチング法は、左側カメラのセンサ面
Ａ_SLに結像される左画像の任意の一点を囲むテンプレー
トを考え、このテンプレート内の画像に対して、右側カ
メラのセンサＡ_SRに結像される右画像とを比較し、その
類似性から対応点を決定するものである。なお、類似性
の判定には、ＳＳＤＡ（ＳｅｑｕｅｎｔｉａｌＳｉｍ
ｉｌａｒｉｔｙＤｅｔｅｃｔｉｏｎＡｌｇｏｒｉｔ
ｈｍ）法と、相関法がある。

【００２６】ＳＳＤＡ法では、数１５に示すように、左
画像のエピポーラ・ラインＬ_eL上の全ての画素と右画像
のエピポーラ・ラインＬ_eR上の全ての画素に対して、左
画像のテンプレート内の画像中の画素値Ｅ_Lと探索する
右画像中の画素値Ｅ_Rとの差を加算し、得られた和Ｅ
（ｘ，ｙ）が最小になる座標をもって対応点の座標とす
るものである。

【００２７】

【数１５】

【００２８】ＳＳＤＡ法では、今までに計算した他の座
標における最小値よりも計算中の画素値の差の和が大き
〈なった場合には、計算を中止して次の座標に移動して
もよいので、余分な計算をなくして計算時間を短縮でき
る。

【００２９】相関法は、数１６に示すように、左画像の
テンプレート内の画像中の画素値ＥLと探索する右画像
中の画素値Ｅ_Rとの相互相関をとることにより相関値Ｐ
（ｘ，ｙ）を求めて、求めた相関値Ｐ（ｘ，ｙ）が最大
となる座標をもって対応点の座標とするものである。な
お、数１６に示す正規化相互相関では、最大値は１とな
る。

【００３０】

【数１６】

【００３１】また、視線を一致させる技術に関しては、
平成４年特許出願公開第１９６６９６号がある。そこに
は、通信相手の顔画像を見ながら同時にその観察者であ
る通信者の画像を撮像して通信相手に送信する対面通信
において、通信相手との視線一致を光学的に実現する方
式として次のようなものが提案されている。例えば、動
画像として表示される通信相手と正対する通信において
良好な視線一致を得るために、撮像系（カメラ）と表示
系（ディスプレイ装置）の光軸をハーフミラーで結合す
る構成を開示している。

【００３２】また、他の例として、図１２に示すよう
に、表示装置に近接した位置にカメラを配置する。図１
２（１）は正面図、同（２）はその側面図を示し、表示
装置（ディスプレイ）の上方にカメラ２を配置する。カ
メラ２は、被撮影者３に対しては角度θ（カメラ２とデ
ィスプレイ１面の動画ウインドウ中心Ｔ点を注視する被
撮影者３の眼Ｅを結ぶ線とのなす角度）をもっている。
これは、ディスプレイ面と被撮影者との距離Ｌが大きい
場合に、視線の不一致を感じさせない機器配置構成であ
る。

【００３３】

【発明が解決しようとする課題】しかし、従来例では、
視覚的に違和感を感じさせるという問題点があった。ま
た、より臨場感を高めるためには大画面表示が必須とな
り、表示装置の画面サイズが大きくなると共に半透鏡の
サイズも大きくしなければならない。その結果、奥行き
が大きくなり、表示・撮像装置自体が大型のものとなっ
てしまうという問題点があった。

【００３４】大画面化に応じて撮像装置にも広角のレン
ズを用いる事が不可欠となり、かつ、半透鏡の価格もサ
イズに応じて高いものとなるので、その結果、装置全体
が高価なものになるという問題点があった。

【００３５】従来例では更に、目を避けたい場合に、有
効な手段が存在しない。

【００３６】本発明は、このような問題点を解決する画
像通信装置を提示することを目的とする。

【００３７】

【課題を解決するための手段】本発明に係る画像通信装
置は、通信相手の画像を互いの表示装置に表示して会話
する画像通信装置であって、各通信端末が、複数の撮像
装置と、当該複数の撮像装置による撮影画像を、通信相
手の視線と一致させるべく処理する視線一致処理装置と
を具備することを特徴とする。

【００３８】

【作用】上記手段により、通信相手との視線が一致した
画像を通信相手に送信できるようになり、視線を相互に
一致させることができる。

【００３９】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００４０】図１は、本発明の一実施例の概略構成ブロ
ック図を示し、図２は端末の外観図を示す。

【００４１】図２に示すように、端末としては、ディス
プレイ装置、２台のカメラ、マンマシン・インターフェ
ース部（キーボード、マウス、スイッチ類など）からな
る。図１において、カメラ１，２は同じ被写体を撮像す
る。ＴＶ会議などの状況下では、通常、主たる被写体は
ＴＶ会議しようとする人物である。撮像された画像は、
画像メモリを有するビデオ信号処理部３，４へ伝送され
る。ビデオ信号処理部３，４で処理された画像は、対応
点抽出部５及び法線ベクトル抽出部６に印加される。対
応点抽出部５は対応点を抽出し、法線ベクトル抽出部６
は法線ベクトルを抽出する。

【００４２】３次元構造処理部７は、対応点抽出部５及
び法線ベクトル抽出部６で抽出された情報を使い、被写
体のおおよその３次元位置情報を算出する。このように
算出された被写体の構造情報を使い、座標変換部８が、
任意の指定の方向に被写体を向かせる。指定の方向に向
けられた被写体の画像を送受信伝送部９から通信相手に
送信する。

【００４３】以上はごく基本的な情報の流れであるが、
以下、細部を詳細に説明する。

【００４４】対応点抽出部５を説明する。対応点抽出部
５は、２つの撮像画像からそれぞれ抽出した二本のエピ
ポーラ・ラインから形成される視差画面上の各交点で、
この二枚の二値画像の実画素に基づく興奮性結合及び抑
制性結合をもつ局所演算を行うことにより視差ラインを
算出する。この二枚の二値画像の対応点を抽出する際
に、各二値画像の互いに隣り合う実画素の間に、実画素
間の連続性を示す仮想画素をそれぞれ設け、仮想画素に
基づく興奮性結合及び抑制性結合をもつ局所演算を、実
画素に基づく興奮性結合及び抑制性結合をもつ局所演算
と並行して行う。なお、仮想画素に基づく興奮性結合
は、実画素に基づく興奮性結合と互いに拮抗し、また、
仮想画素に基づく抑制性結合は実画素に基づく抑制性結
合と互いに拮抗する。

【００４５】ＤａｖｉｄＭａｒｒにより提案された協
調アルゴリズムでは以下の３つの規則がある。即ち、規則１（適合性）・・・黒点は黒点とのみ整合し得る。

【００４６】規則２（一意性）・・・ほとんど常に、一
つの画像の一つの黒点は、他方の画像の唯一の黒点と整
合し得る。

【００４７】規則３（連続性）・・・整合する点の視差
は、ほとんど全域で滑らかに変化する。

【００４８】本実施例は、これらの３つの規則に更に、
以下の規則４〜６を追加するものである。即ち、規則４・・・視差の連続性の度合いを、局所処理の中心
ほど強く局所処理の周辺ほど弱くする。

【００４９】規則５・・・一意性を強化するため、局所
処理の周辺に行くほど抑制性結合を強くする。

【００５０】規則６・・・画像中の互いに隣り合う実画
素の間に、実画素間の連続性を示す仮想画素をそれぞれ
設け、設けた各仮想画素に基づいて規則１〜５に拮抗す
る処理を施す。

【００５１】なお、規則５における局所処理とは、一つ
の画像の一実画素に注目したとき、その実画素を中心と
した局所領域に施す処理をいい、局所処理の中心とは、
このとき注目した一実画素の位置をいい、局所処理の周
辺とは、このとき注目した一実画素から離れた位置をい
う。この局所処理に繰り返しにより、視差ラインを算出
し、対応点を抽出する。

【００５２】法線ベクトル抽出部６は、図３に示すよう
に３つのモジュールからなる。ＳＳモジュールは、画像
上の物体の遮蔽輪郭部分の法線方向を基に３次元構造情
報を抽出する。このモジュールは、３次元物体の表面に
対する滑らかな拘束を仮定して、緩和法により大局的に
最も誤差の少ない状態を解とするものである。初期条件
として遮蔽輪郭の法線方向情報が用いられる。画素点
〈ｘ，ｙ）における法線方回を表わす関数をｆ（ｘ，
ｙ），ｇ（ｘ，ｙ）とする。近傍の法線との問の滑らか
さを表わす量egを、次式のように定義する。即ち、

【００５３】

【数１７】eg=∫∫((f_x ²+f_y ²)+(g_x ²+g_y ²))dxdy 但し、f_xは関数ｆのｘ方向の偏微分、f_yは関数ｆのｙ方
向の偏微分、g_xは関数ｇのｘ方向の偏微分、g_yは関数ｇ
のｙ方向の偏微分である。

【００５４】また、測定輝度値Ｉと理論値Ｒ（ｆ，ｇ）
との誤差を表わす量ｅｆを、次式のように定義する。即
ち、

【００５５】

【数１８】ef=∫∫(I(x,y)−R(f,g))²dxdy ＳＳモジュールは、ｅｇ＋λｅｆを最小化するために変
分法によりｆ，ｇを解いて離散化を行ない、緩和法を実
行して法線方向情報を抽出する。

【００５６】ＬＳＡＭモジュールは、物体の表面形状と
して球面を想定して、画素の局所的な輝度変化情報に基
づいて法線方向を算出する。画素上での方向ξにおける
輝度Ｉの２次微分ｄ²Ｉは、ξだけ回転した座標系
（ｕ，ｖ）におけるｕ方向の２次偏微分Ｉ_uuの値と等し
い。この値は、次の座標変換式 I_uu=I_xxcos²ξ+I_yysin²ξ+2I_xycosξsinξ から求められる。

【００５７】Ｉ_uuが最小になる条件は、ｄＩ_uu／ｄξ＝０である。従って、 tanξ＝２Ｉ_ｘｙ／（Ｉ_ｘｘ−Ｉ_ｙｙ）となる。

【００５８】物体表面が球状であると仮定し、そのとき
のＩ_ｘｘ，I_yy，I_xyの値を代入すると、 tan2ξ＝
2xy/(x²-y²) となる。また、 tanθ＝ｙ／ｘであるから、 tan2θ＝2tanθ／（１−tan²θ）＝2xy/(x²-y²) ＝tan2ξ となる。

【００５９】従って、表面形状を球面と仮定したとき、
法線の方位角θは、輝度の２次微分ｄ²Ｉの最小方向に
等しい。ＬＳＡＭモジュールは、このような演算により
法線方向を算出する。

【００６０】ＳＳモジュール及びＬＳＡＭモジュールの
詳細は、Ｉｋｅｕｃｈｉ，Ｋ．＆Ｂ．Ｋ．Ｐ．Ｈｏ
ｒｎ ”ＮｕｍｅｒｉｃａｌＳｈａｐｅｆｒｏｍ
ＳｈａｄｉｎｇａｎｄＯｃｄｕｌｉｎｇＢｏｕｎ
ｄａｒｉｅｓ”，Ａ１，ｖｏｌ．１７，＃１−３，Ｐ
Ｐ．１４１−１８４，１９８１、及び、Ｐｅｎｔｌａｎ
ｄＡ．Ｐ．”ＬｏｃａｌＳｈａｄｉｎｇａｎａｌ
ｙｓｉｓ”，ＩＥＥＥＴｒａｎｓ，ＰＡＭ１−６，＃
２，１９８４に記載されている。

【００６１】ＳＳモジュール及びＬＳＡＭモジュールで
算出された法線方向情報から、新たに利用する法線方向
情報を次のように定義する。即ち、ＳＳモジュールで算
出された法線ベクトルをｆ_SSとし、ＬＳＡＭモジュール
で算出された法線ベクトルをｆ_LSAMとすると、新たに利
用する法線方向情報ｆを次式により求める。即ち、ｆ＝（ｆ_SS＋ｆ_LSAM）／２又は、任意の点（ｘ，ｙ）の近傍領域のｆ_SSとｆ_LSAMの
全体の平均からｆを定義してもよい。仮に、近傍領域か
ら４つのｆ_SS1，ｆ_SS2，ｆ_SS3，ｆ_SS4；ｆ_LSAM1，ｆ
_LSAM2，ｆ_LSAM3，ｆ_LSAM4が得られたとき、ｆ＝（１／８）（Σ（ｆ_SSi＋ｆ_LSAMi））とする。但し、ｉは１〜４である。

【００６２】座標変換部８を説明する。座標変換部８
は、自動選択モードと任意選択モードのどちらか一方を
選択し、実行する。自動変換モードは、法線ベクトル抽
出部６で算出した法線ベクトルを利用する。通常、法線
ベクトルは被写体の形によって様々な方向を向いている
が、例えば、ＴＶ会議などで人物が中心の被写体の場
合、撮像される被写体として人物がほぼ中心に位置する
ので、中心近傍の領域の平均値から全体の方向を見地
し、これがカメラの光軸と一致するように回転させる。
数学的には、次の変換になる。

【００６３】

【数１９】

【００６４】ここで、（ω，φ，χ）が回転角である。

【００６５】任意選択モードでは、ＴＶ会議における通
信相手が、送信側の撮像画像の向きを変換することを可
能にする。変換式として数１９と同じであるが、変換の
回転角の情報が通信相手から伝送されてくるのが特徴で
ある。

【００６６】次に、複眼光学系を説明する。図４は、本
実施例における複眼撮像系の基本配置を示す。右側撮像
系１００は、右側撮像光学系１０２と右側イメージセン
サ１０３とからなり、左側撮像光学系２００は、左側撮
像光学系２０２と左側イメージセンサ２０３とからな
る。ここで、右側撮像光学系１０２と左側撮像光学系２
０２とは互いに等価な仕様（又は性能）を有し、ここで
はズームレンズからなる。また、右側イメージセンサ１
０３と左側イメージセンサ２０３は互いに等価な仕様
（又は性能）を有し、ここでは、サチコンなどの撮像管
又はＣＣＤ型撮像素子等のような固体撮像索子からな
る。

【００６７】右側撮像系１００と左側撮像系２００は、
それらの光軸１０１，２０１が被写体面ｌ上の点Ｏでほ
ぼ交差し、かつ、被写体面１０００の法線Ｏ−Ｏ’に対
して線対称になるように配置されている。なお、各光軸
１０１，２０１と被写体面１の法線Ｏ−Ｏ’とのなす角
（以下、傾斜角と称する）をそれぞれθとしたときに、
２θを輻輳角と定義する。この複眼撮像装置では、被写
体距離が変化した場合には、たとえば回転中心Ｆ₁，Ｆ₂
を中心として右側撮像系１００及び左側撮像系２００を
それぞれ回転させて、被写体距離の変化に応じて輻輳角
２θを変更し、その後、撮像を実行する。

【００６８】次に、本実施例における複眼撮像装置およ
びその処理系を具体的に説明する。図５は本実施例の複
眼撮像装置の第１実施例を示す概略構成図、図６はその
処理ブロック図である。図５に示す複眼撮像装置では、
図４に示す基本配置を前提に、２組の撮像系（右側撮像
系１００及び左側撮像系２００）を用いて、共通の被写
体を撮像して得られる２つの画像を合成することにより
高精細な１つの画像を得るものである。

【００６９】右側撮像系１００及び左側撮像系２００の
構成を、図５を参照して詳細に説明する。右側撮像系１
００は、右側撮像光学系１０２と、撮像管からなる右側
イメージ・センサ１０３とからなり、左側撮像系２００
は、左側撮像光学系２０２と、撮像管からなる左側イメ
ージ・センサ２０３とからなる。

【００７０】右側撮像光学系１０２及び左側撮像光学系
２０２はそれぞれ、変倍群１０２ｂ，２０２ｂ及び合焦
群１０２ｄ，２０２ｄを含むレンズ群１０２ａ〜１０２
ｄ，２０２ａ〜２０２ｄと、変倍群１０２ｂ，２０２ｂ
を駆動するための駆動系であるズーム・モータ１０６，
２０６と、合焦群１０２ｄ，２０２ｄを駆動するための
駆動系であるフォーカス・モータ１０７，２０７と、光
軸１０１，２０１を含む平面内で撮像光学系１０２，２
０２及びイメージ・センサ１０３，２０３を一体として
回転させるための機構系（不図示）及び駆動系（輻輳角
モータ１０４，２０４）と、輻輳角モータ１０４，２０
４の回転角を検出する角度エンコーダ１０５，２０５と
を含む。なお、角度エンコータ１０５，２０５として
は、例えばポテンショメータのような外付けの部材を用
いてもよいし、例えばパルス・モータのように駆動信号
から回転角を検出できるモータではの駆動信号を回転角
に変換する手段でもよい。

【００７１】右側撮像光学系１０２のフォーカス・モー
タ１０７及びズーム・モータ１０６は、変倍群１０２ｂ
の光軸方向の位置情報を得るためのフォーカス・エンコ
ーダ１０９の出力信号及び合焦群１０２ｄの光軸方向の
位置情報を得るためのズーム・エンコーダ１０８の出力
信号により制御され、左側撮像光学系２０２のフォーカ
ス・モータ２０７及びズーム・モータ２０６は、変倍群
２０２ｂの光軸方向の位置情報を得るためのフォーカス
・エンコーダ２０９の出力信号及び合焦群２０２ｄの光
軸方向の位置情報を得るためのズーム・エンコーダ２０
８の出力信号により制御される。これらにより、右側撮
像光学系１０２の焦点距離と左側撮像光学系２０２の焦
点距離とは常に一致するように制御され、この結果、右
側撮像光学系１０２の結像倍率と左側撮像光学系２０２
の結像倍率は常に一致する。

【００７２】以上の構成により、まず回転角情報検出手
段１０５，２０５が輻輳角２θを検出する。次に、ズー
ム・エンコーダ１０８，２０８の出力信号により、各撮
像光学系１０２，２０２の焦点距離が求められる。そし
て、フォーカス・エンコーダ１０９，２０９の出力信号
により各撮像光学系１０２，２０２に対する被写体距離
が求められ、上述の各撮像光学系１０２．２０２の焦点
距離と合わせて、各撮像光学系１０２，２０２のレンズ
バックが求められる。なお、ズーム・エンコーダ１０
８，２０８及びフォーカス・エンコーダ１０９，２０９
の出力信号により、各撮像光学系１０２，２０２の焦点
距離とレンズバックも常に一致する。

【００７３】図６に示すように、変換信号生成部１２
Ｒ，１２Ｌは、それぞれイメージ・センサ１０３，２０
３からの画像信号及び角度エンコーダ１０５，２０５か
らの角度信号をもとに、後述するエピポーラ・ラインを
再構成する。座標変換部１１Ｒ，１１Ｌは、変換信号生
成部１２Ｒ，１２Ｌの出力信号に従い、イメージ・セン
サ１０３，２０３の出力画像を座標変換処理する。画像
メモリ１１１，２１１は、座標変換部１１Ｒ，１１Ｌに
おいてそれぞれ座標変換された映像信号１１２，２１２
を一時保存する。補間処理部１３Ｒ，１３Ｌは、画像メ
モリ１１１，２１１に記憶された映像信号１１２，２１
２に対し補間処理を施し、サンプリング点を内挿する。

【００７４】対応点検出部５は、補間処理部１３Ｒ，１
３Ｌにおいてそれぞれ補間処理された映像信号１１３，
２１３における対応点を検出する。メモリ１５は、対応
点検出部５において得られた対応点の位置と、対応する
位置における画索間の差の絶対値の和（以下「残差」と
称する）を保存する。法線ベクトル抽出部６は２つの画
像を利用して法線ベクトルを求める。画像メモリ３１１
には、法線ベクトル抽出部６において抽出きれた映像が
書き込まれる。

【００７５】最後に、伝送部９を説明する。伝送部９
は、通信相手に画像を伝送すると共に、通信相手から座
標変換コントロール信号を受信する。通常、通信相手側
にジョイスティック等のポインティング・デバイスが装
備される。通信相手は、再正像の任意の点を設定して、
変換処理装置で使用される任意の方位角（ω，φ，χ）
に相当する情報を伝送する。

【００７６】他の実施例として、座標変換部において、
座標変換の方位角と被写体の最高部、即ち、ディスプレ
イと最も近い最近部の近傍領域の法線方向を基に座標変
換してもよい。これは例えば、ＴＶ会議などでは通常、
被写体の顔がディスプレイに相対しており、この時、鼻
のあたりが一番ディスプレイに近く、その近傍領域で、
カメラの倍率及びその鼻の概略の大きさから決まる領域
の法線方向から、その法線方向をディスプレイと垂直に
するように変換し、伝送する。

【００７７】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、互いに視線が一致するので、通信
相手と違和感の無い対面会議又は通話を実現できる。ま
た、そのための構成も簡単であり、端末装置を安価に構
築できる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成ブロック図であ
る。

【図２】端末の外観図である。

【図３】法線ベクトル抽出部６の内部構成ブロック図
である。

【図４】複眼撮像装置の概略構成図である。

【図５】撮像系の概略構成図である。

【図６】処理の流れに応じた概略機能ブロック図であ
る。

【図７】複眼撮像装置の基本原理の説明図である。

【図８】図７の左側撮像系及び右側撮像系の基本構造
の説明図である。

【図９】距離画像を求めるための三角測量の説明図で
ある。

【図１０】右側カメラと左側カメラの光軸が平行な場
合の物体座標算出の説明図である。

【図１１】右側カメラと左側カメラの光軸が交差する
場合の物体座標算出の説明図である。

【図１２】ＴＶ会議で視線をほぼ一致させる従来の端
末装置のディスプレイ正面図と端末の側面図である。

【符号の説明】

１，２：カメラ３，４：ビデオ信号処理部５：対応点抽出部６：法線ベクトル抽出部７：３次元構造処理部８：座標変換部９：送受信伝送部１１Ｒ，１１Ｌ：座標変換部１２Ｒ，１２Ｌ：変換信号生成部１３Ｒ，１３Ｌ：補間処理部１５：メモリ１００：右側撮像系１０１：光軸１０２：右側撮像光学系１０３：右側イメージセンサ２００：左側撮像系２０１：光軸２０２：左側撮像光学系２０３：左側イメージセンサ１０２ｂ，２０２ｂ：変倍群１０２ｄ，２０２ｄ：合焦群１０２ａ〜１０２ｄ，２０２ａ〜２０２ｄ：レンズ群１０４，２０４：輻輳角モータ１０５，２０５：角度エンコーダ１０６，２０６：ズーム・モータ１０７，２０７：フォーカス・モータ１０８，２０８：ズーム・エンコーダ１０９，２０９：フォーカス・エンコーダ１１１，２１１：画像メモリ１１２，２１２：座標変換された映像信号１０１：被写体１０２：被写体面１１０_L：左側撮像系１１０_R：右側撮像系１１１_L：左側撮像光学系１１２_L：左側イメージセンサ１１１_R：右側撮像光学系１１２_R：右側イメージセンサ１２０：マイクロプロセッサ３１１：画像メモリ１０００：被写体面Ｌ_L，Ｌ_R：光軸Ｉ_L：左側画像Ｉ_R：右側画像Ｆ₁，Ｆ₂：回転中心

───────────────────────────────────────────────────── フロントページの続き (72)発明者関根正慶東京都大田区下丸子３丁目30番２号キヤノン株式会社内 (72)発明者光武英明東京都大田区下丸子３丁目30番２号キヤノン株式会社内

Claims

【特許請求の範囲】

【請求項１】通信相手の画像を互いの表示装置に表示
して会話する画像通信装置であって、各通信端末が、複
数の撮像装置と、当該複数の撮像装置による撮影画像
を、通信相手の視線と一致させるべく処理する視線一致
処理装置とを具備することを特徴とする画像通信装置。
【請求項２】上記視線一致処理装置が、当該複数の撮
影光学装置による撮影画像から距離構造と法線情報を演
算し、座標変換する演算手段を具備する請求項１に記載
の画像通信装置。