JPH09214920A

JPH09214920A - 画像通信装置

Info

Publication number: JPH09214920A
Application number: JP8035821A
Authority: JP
Inventors: Masatoshi Otani; 正寿大谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-01-31
Filing date: 1996-01-31
Publication date: 1997-08-15

Abstract

(57)【要約】【課題】高品質の画像通信が行えると共に、操作性の
優れた画像通信装置を提供する。【解決手段】ポインタ検出部１０９によりある特定の
色または形状の画像が検出された時、その画像の位置情
報がポインタ検出部１０９により検出され、該検出され
た位置情報に基づき表示ＶＲＡＭ１１０により出力表示
された文書原稿全体画像中にポインティングカーソル情
報が画像合成処理部１０５によりオーバーレイ表示さ
れ、システム制御部１３により前記位置情報が通信相手
側に通知され、該通知された通信相手に自側の表示ＶＲ
ＡＭ１１０により出力表示された文書原稿全体画像中に
ポインティングカーソル情報が画像合成処理部１０５に
よりオーバーレイ表示される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声情報・画像情
報・データ等のマルチメディア情報を多重化してリアル
タイムに相互通信することが可能な、テレビ電話装置、
テレビ会議システム等のＡＶ（ＡｕｄｉｏＶｉｓｕａ
ｌ）通信装置に関する。

【０００２】

【従来の技術】近年、ＩＳＤＮ（サービス総合デジタル
網）回線による通信サービスの実用化が進み、このよう
なデジタル回線を用いた画像情報・音声情報・データ等
のマルチメディア情報通信が実現されてきた。ＩＴＵ−
Ｔ（国際電気通信連合電気標準化部門）においてもＩＴ
Ｕ−Ｔ勧告Ｈシリーズとして、サービス規定・画像符
号化方式・マルチメディア多重化構造規定・プロトコル
規定等が勧告化されている。また、画像処理がリアルタ
イムに十分処理可能な高速の処理プロセッサ、圧縮化／
符号化チップ等も安価に供給されるようになり、一段と
画像通信が活性化されようとしている。

【０００３】代表的な画像通信装置としては、従来より
テレビ会議システムがあるが、上記標準化の促進、処理
プロセッサの高速化、各種画像処理チップの廉価化、ま
たパソコン（パーソナル・コンピュータ）・ワークステ
ーションの高機能化・廉価化と相俟って、パソコン（以
下、ＰＣと記述する）・ワークステーション（以下、Ｗ
Ｓと記述する）上でのテレビ会議・テレビ電話機能の実
現が促進されてきている。

【０００４】テレビ会議システムにおいては、音声情報
通信に加え、相手の人物画像をＩＴＵ−Ｔ勧告Ｈ．２６
１等の符号化アルゴリズムに従って圧縮符号化して相互
通信することにより、お互いに相手の人物動画像を見な
がら会議を進め、一般的に書画カメラと呼ばれる文書原
稿を撮像するためのカメラにより文書原稿を画像として
相互通信し、共通の文書原稿を画面上で表示しながら会
議を進めるのが一般的な通信形態である。

【０００５】実際の会議では、人の画像だけを見ながら
進行するのではなく、共通の文書原稿を見ながら進行す
ることが多く、鮮明な文書原稿の相互通信を会議中に簡
単に行える方式の改善が要望されている。

【０００６】文書原稿の相互通信・表示方式としては、
ＰＣ／ＷＳをベースとしたテレビ会議システムにおいて
は、ＰＣ／ＷＳ上で作成したドキュメントをそのまま送
受信及び表示する方式或は事前にスチルビデオカメラ等
で取り込んだ静止画像を送受信及び表示する方式等も試
みられているが、ＰＣ／ＷＳの違い等の問題や操作の繁
雑性、実際に表示されたドキュメントへのポインティン
グやドキュメント差し替えの繁雑さ等、更には、専用の
カメラ・スキャナ等を別途用意すると高価になってしま
い且つ操作が益々複雑になってしまう等の問題があり、
一般的には普及していないのが現状である。

【０００７】誰でも簡単に文書原稿の送受信を行え且つ
立体的なものも送受信可能な方式として、書画カメラに
よる送受信が最も良く用いられている。書画カメラとし
ては、書画カメラ専用のものや人物カメラと兼用のもの
がある。

【０００８】従来は、書画カメラまたは書画カメラの下
に文書原稿をセットし、画面を見ながらカメラの焦点・
ズーム度・文書原稿設定位置合わせを行う。通常のＮＴ
ＳＣ／ＰＡＬ画像信号出力のカメラでは、文字中心のＡ
４サイズ相等の文書原稿全体を表示しても文字が解読で
きないため、必要に応じてセットした文書原稿の一部を
解読可能な表示にするようにズーム制御を行っている。
画像はＮＴＳＣ／ＰＡＬといった通常の画像信号にて取
り込まれ、人物画像と同様な動画像として符号化及び送
信する方式が用いられている。受信側では、復号化後、
通常の人物画像と同様に表示している。

【０００９】現在市販されているＣＣＤカメラで一般的
な３８万画素相当のカメラでは、読取り有効画素数は一
般的に、水平解像度４５０本、垂直解像度３５０本程度
である。説明の簡略化のため、ファクシミリ（ＦＡＸ）
でいう解像度に換算してみると、Ａ４サイズの文書原稿
を撮像した場合、約２ｐｅｌ／ｍｍ（約５０ｄｐｉ）に
相当する。また、最近のＰＣ／ＷＳ等のＯＡモニタは、
高解像度表示可能なものが廉価に提供されるようにな
り、１２８０×１０２４／１０２４×７６８といった表
示が可能となっている。Ａ４サイズの文書原稿をＦＡＸ
にて２００ｄｐｉで読み込む時は、１７２８×２３３９
のドット数であり、約この半分の１００ｄｐｉ相当、約
８００×１０００程度の解像度があれば高解像度表示対
応のＯＡモニタ上で略Ａ４サイズの文書原稿１枚の表示
は可能であり、実際スキャナで読み込んだ文書原稿を表
示した時、解読可能な表示ができることが知られてい
る。また、ＮＴＳＣ／ＰＡＬ等の画像入力信号は、横縦
比４：３であり、Ａ４サイズの文書原稿は、２１０ｍｍ
×２９７ｍｍであり、横向きの文書原稿は約４：３で問
題ないが、縦向きの文書原稿は逆に３：４となり、方向
が合わない。

【００１０】上記解像度から算出してＡ４サイズの文書
原稿の場合、４分割して入力すれば略満足な画像が得ら
れることを利用して、実際に４分割入力を試みたものも
あるが、カメラを機械的に可動させて入力するため、機
械的な動きに誤差があることから、最終的に合成された
全体画像は、境界部分に歪みが生じたものとなってしま
う。

【００１１】また、同じＡ４サイズの文書原稿でも横方
向・縦方向により画像の読取り方式を変える必要があ
り、ましてやＢ４・Ａ５ドキュメント等、サイズの異な
るドキュメントの場合はカメラ制御が異なってしまい、
実際に文書原稿を原稿台のどの位置にセットするかによ
ってもカメラの可動位置も異なってしまうが、セットす
るユーザの操作に任せてしまっており、この点を十分に
考慮した画像通信装置はない。

【００１２】また、実際に会議で使用する時は、書画カ
メラ台にセットした文書原稿を手やポインタで指し示し
ながら説明するのが通常であるが、上記分割送信を試み
た装置やスキャナ等で送信する文書原稿送信手段では、
文書原稿そのものの解像度は高くなるが、ポインティン
グは、別途表示画面を参照しながらマウスやデジタイザ
等で行っている。

【００１３】

【発明が解決しようとする課題】しかしながら、上述し
た従来装置にあっては、動画像で文書画像を送受信する
装置では、入力画像がＮＴＳＣ／ＰＡＬといった通常の
画像信号にて取り込まれるため、オフィスで通常取り扱
うマニュアルやワープロ（ワードプロセッサー）等で作
成されたＡ４サイズ相当の文書原稿全体を表示するに
は、相当大きな文字による文書以外は解像度が低すぎ
て、解読可能な文書原稿画像の撮像は不可能であった。
また、文書原稿画像を分割入力して、該入力画像を合成
することにより高解像度の静止文書画像の送受信を試み
たものは、カメラ全体を可動させるための大掛かりな機
構が必要なため、高価になってしまう。更に、実際にセ
ットされる文書原稿には、Ｂ４・Ａ５・Ｂ５サイズ等、
様々なサイズの文書原稿及びそれぞれが横方向／縦方向
といった方向性の違いがあり、ユーザの操作に頼ってし
まっていて、非常に繁雑な操作を必要とするという問題
点があった。

【００１４】本発明は上述した従来の技術の有するこの
ような問題点に鑑みてなされたものであり、その目的と
するところは、高品質の画像通信が行えると共に、操作
性の優れた画像通信装置を提供しようとするものであ
る。

【００１５】

【課題を解決するための手段】上記目的を達成するため
に本発明の第１発明の画像通信装置は、画像情報を入力
する画像情報入力手段と、該画像情報入力手段により入
力した入力画像情報を符号化する符号化手段と、該符号
化手段により符号化された画像情報を通信回線を介して
通信する通信手段と、該通信手段から受信した受信画像
情報を復号化する復号化手段と、前記入力画像情報及び
受信画像情報を出力表示する出力表示手段とを有する画
像通信装置において、前記画像情報入力手段としてカメ
ラを用い、該カメラにより文書原稿を撮像入力する時そ
の文書原稿のサイズ及び方向を検出するサイズ・方向検
出手段と、該サイズ・方向検出手段により得られた前記
文書原稿のサイズ情報及び方向情報に基づき自動的に前
記文書原稿の撮像を複数回に分割して行うように前記カ
メラを順次可動させる可動手段と、前記複数回に分割し
て取り込む画像を順次記憶する記憶手段と、前記複数回
に分割して取り込まれる画像を文書原稿全体画像として
１つの文書原稿画像に合成する画像合成手段と、前記文
書原稿画像を前記通信回線を介して通信相手である受信
側画像通信装置に静止画像として符号化して送信する送
信手段と、前記文書原稿全体画像を送信すると共に前記
カメラを文書原稿全体領域が撮像領域となるように焦点
及びズーム合わせを自動的に設定する設定手段と、前記
文書原稿全体領域の画像にある特定の色または形状の画
像が現れるか否かを監視する監視手段と、該監視手段に
よりある特定の色または形状の画像が検出された時その
画像の位置情報を検出する位置情報検出手段と、該位置
情報検出手段により検出された位置情報に基づき前記出
力表示手段により出力表示された文書原稿全体画像中に
ポインティング情報としてポインティングカーソル情報
をオーバーレイ表示する第１オーバーレイ表示手段と、
前記位置情報を通信相手である受信側画像通信装置に送
信通知する送信通知手段と、該送信通知手段により送信
通知された前記受信側画像通信装置に自側の出力表示手
段により出力表示された文書原稿全体画像中にポインテ
ィング情報としてポインティングカーソル情報をオーバ
ーレイ表示する第２オーバーレイ表示手段とを具備した
ことを特徴とするものである。

【００１６】同じ目的を達成するために本発明の第２発
明の画像通信装置は、画像情報を入力する画像情報入力
手段と、前記画像情報入力手段により入力した画像情報
を符号化する符号化手段と、前記符号化された画像情報
を通信回線を介して通信する通信手段とを有する画像通
信装置であって、前記入力画像中に予め決められた特性
のポインタの有無を判定する判定手段と、該判定手段に
より判定されたポインタの前記画像情報からなる画像上
の位置情報を通信するポインタ情報通信手段と、前記ポ
インタの移動の有無を検知し、且つ前記ポインタに移動
がある場合、前記ポインタの前記画像上の位置情報を送
信する送信手段とを有することを特徴とするものであ
る。

【００１７】また、同じ目的を達成するために本発明の
第３発明の画像通信装置は、上記第２発明の画像通信装
置において、前記予め決められた特性とは、所定の色も
しくは所定の形状を示すことを特徴とする。

【００１８】また、同じ目的を達成するために本発明の
第４発明の画像通信装置は、上記第２発明の画像通信装
置において、前記画像情報入力手段は、前記画像情報を
複数領域に分割し、且つ分割領域毎に画像情報を入力
し、入力画像を合成して１フレーム画像とすることを特
徴とする。

【００１９】また、同じ目的を達成するために本発明の
第５発明の画像通信装置は、上記第４発明の画像通信装
置において、前記画像入力手段は、前記画像情報からな
る画像のサイズ及び向きを検知し、且つその検知結果に
応じて位置制御を行う駆動手段を有することを特徴とす
る。

【００２０】また、同じ目的を達成するために本発明の
第６発明の画像通信装置は、画像を複数の領域に分離し
て該領域毎に入力する第１の入力手段と、前記画像全体
を入力する第２の入力手段と、前記第２の入力手段によ
り入力された画像中に予め決められた特性のポインタの
有無を判定する判定手段と、前記入力手段により、入力
された複数領域を合成して１フレーム画像として送信す
ると共に、前記判定手段によりポインタがあると判定さ
れた場合、そのポインタの位置情報を送信する第１の送
信手段と、前記第１の送信手段による送信後、前記ポイ
ンタに移動があるか否かを検出し、且つ前記ポインタに
移動がある場合、その移動後のポインタ位置情報を送信
する第２の送信手段とを有することを特徴とする。

【００２１】また、同じ目的を達成するために本発明の
第７発明の画像通信装置は、上記第６発明の画像通信装
置において、前記第１の送信手段は、符号化部を有し、
且つ符号化画像を送信することを特徴とする。

【００２２】また、同じ目的を達成するために本発明の
第８発明の画像通信装置は、上記第６発明の画像通信装
置において、前記第１の入力手段と、前記第２の入力手
段は共通の入力手段であることを特徴とする。

【００２３】また、同じ目的を達成するために本発明の
第９発明の画像通信装置は、上記第６発明の画像通信装
置において、前記予め決められた特性とは所定色もしく
は所定の形状を示すことを特徴とする。

【００２４】また、同じ目的を達成するために本発明の
第１０発明の画像通信装置は、上記第６発明の画像通信
装置において、前記第１の送信手段は、ポインタの位置
情報を前記１フレームの画像上の位置座標に変換後送信
することを特徴とする。

【００２５】また、同じ目的を達成するために本発明の
第１１発明の画像通信装置は、上記第６発明の画像通信
装置において、前記第１の送信手段により送信される１
フレーム画像にポインタ情報を重畳した画像を表示する
表示手段を有することを特徴とする。

【００２６】また、同じ目的を達成するために本発明の
第１２発明の画像通信装置は、上記第６発明の画像通信
装置において、前記１フレームの画像は、前記第２の入
力手段により入力た画像より高解像な画像であることを
特徴とする。

【００２７】

【発明の実施の形態】以下、本発明の実施の形態を図面
に基づき説明する。

【００２８】（一実施の形態）まず、本発明の一実施の
形態を図面に基づき説明する。図１は、本発明の一実施
の形態に係る画像通信装置としてのテレビ会議装置の構
成を示すブロック図である。同図中、１は本装置の音声
入出力手段の一つであるハンドセット、２は本装置の音
声入力手段の一つであるマイク（マイクロフォン）、３
は本装置の音声出力手段の一つであるスピーカ、４は音
声インタフェース部で、後述するシステム制御部１３の
指示により、音声入出力手段としてのハンドセット１、
マイク２、スピーカ３を切り換える切換処理、ハンドセ
ット１がオンフック状態またはオフフック状態のいずれ
かにあるかを検出するオン／オフフック検出処理、音声
入出力手段としてマイク２とスピーカ３を使用した時に
エコーを消去するためのエコーキャンセル処理、ダイヤ
ルトーン、呼び出し音、ビジートーン、着信音等のトー
ンの生成処理等を行うものである。

【００２９】５は音声符号化／復号化部で、システム制
御部１３の指示により、６４ｋｂｐｓＰＣＭＡ−ｌ
ａｗ／μ−ｌａｗ、６４ｋｂｐｓ／５６ｋｂｐｓ／４８
ｋｂｐｓＳＢ−ＡＤＰＣＭ、１６ｋｂｐｓＬＤ−Ｃ
ＥＬＰ等の音声符号化、復号化アルゴリズムに従って、
送信音声信号の符号化及び受信音声信号の復号化を行う
ものである。６は本装置の画像入力手段の一つであり且
つ自画像等を入力するための人物カメラ、７は本装置の
もう一つの画像入力手段であり且つ文書原稿画像等を入
力するための書画カメラ、８は表示部で、人物カメラ６
または書画カメラ７からの入力画像、相手からの受信画
像、操作画面、共有画面等を表示するものである。９は
ビデオインタフェース部で、システム制御部１３の指示
により、画像入力手段である人物カメラ６、書画カメラ
７を切り換える切換処理、入力画像と受信画像と操作画
面と共有画面の表示切り換えを行う表示切換処理等を行
うものである。

【００３０】１０はビデオ編集＆処理部で、人物カメラ
６からの入力画像の鏡像処理、書画カメラ７からの分割
入力画像の各種合成処理、入力画像中の特定画像の検出
処理、受信画像と入力画像との合成処理、システム制御
部１３により指示される操作画面・ポインティング情報
等のグラフィック・データと画像とのオーバーレイ処理
等を行うものである。１１はビデオ符号化／復号化部
で、ＩＴＵ−Ｔ勧告Ｈ．２６１等の符号化アルゴリズム
に従って送信画像の符号化及び受信画像の復号化を行う
ものである。１２は操作部で、本装置全体の制御を行う
ための制御情報及び各種データを作成する際の入力に使
用するキーボード、ポインティングを制御するマウスや
タッチパネル、デジタイザ、トラックボール等から構成
される。１３はシステム制御部で、ＣＰＵ（中央処理装
置）、ＲＯＭ（読み出し専用メモリ）、ＲＡＭ（読み書
き可能メモリ）等を備え、各部の状態を監視し、本装置
全体の制御、状態に応じた操作／表示画面の作成及びア
プリケーションプログラムの実行等を行うものである。

【００３１】１４は多重／分離化部で、システム制御部
１３からの制御コマンドをＩＴＵ−Ｔ勧告準拠時はＢＡ
Ｓ符号に変換し、ＩＴＵ−Ｔ勧告Ｈ．２２１に従って、
上記ＢＡＳ符号と音声符号化／復号化部５からの音声信
号と、ビデオ符号化／復号化部１１からの画像信号と、
システム制御部１３からの制御信号とを送信フレーム単
位に多重化すると共に、受信フレームを上記構成要素に
分離し、それぞれを音声符号化／復号化部５と、ビデオ
符号化／復号化部１１と、システム制御部１３とにそれ
ぞれ送出するものである。１５は回線インタフェース部
で、システム制御部１３との間でコマンドの授受により
ＩＳＤＮユーザ・網インタフェース／ＰＳＴＮ各種モデ
ムインタフェース等に従って回線を制御するものであ
る。１６はＨＤ（ハードディスク）等の記憶部で、本装
置全体の各種制御情報や受信／送信音声情報・画像情報
／事前入力ドキュメント等を記憶しておくものである。
１７は本装置が実際に接続されるＩＳＤＮ／ＰＳＴＮ／
ＬＡＮ等の回線である。

【００３２】図２は、図１のテレビ会議装置における書
画カメラ７からのビデオ入力・ビデオ編集部分を示す機
能ブロック図である。同図中、１０１はカメラ可動制御
部で、書画カメラ７のパンチルト・ズーム等の動作をシ
ステム制御部１３からの指示に基づき実行制御するもの
である。１０２は書画カメラ台（原稿台）に置かれた文
書原稿のサイズ＆方向を検出する原稿サイズ＆方向検出
部、１０３は人物カメラ６と書画カメラ７との入力切り
換えを行うビデオスイッチ、１０４はＮＴＳＣデコーダ
で、人物カメラ６と書画カメラ７からのアナログＮＴＳ
Ｃ画像信号を処理可能なようにサンプリングしてデジタ
ル化するものである。１０５は画像合成処理部で、ＮＴ
ＳＣデコーダ１０４にてデジタイズされた画像信号を後
述するメモリアルアクセス制御部１０８を経由して後述
するメモリ１０７に記憶した後、分割入力画像のオーバ
ーレイ合成、後述するポインタ検出部１０９にて抽出さ
れた位置座標に対してまたは通信回線を経由して相手装
置より受信したポインタ情報に対して、表示静止画像の
解像度へと座標を変換した後、事前に登録されたグラフ
ィック・ポインティング画像をオーバーレイ表示する等
の各種の画像合成処理を行うものである。

【００３３】１０６は分割入力される分割画像より画像
領域を示す境界ガイドを検出する画像領域境界検出部、
１０７はデジタル化された画像を記憶するメモリ、１０
８はメモリ１０７への書き込み・読み出し等のアクセス
を制御するメモリアクセス制御部、１０９はポインタ検
出部で、メモリ１０７へ取り込まれる文書原稿全体画像
を、事前に登録されて検出すべき色情報または形状情報
に一致するものが現れるか否かを検索し、現れた場合
は、その位置座標を検出し、システム制御部１３に通知
するものである。１１０は表示部８に画像を表示するた
めの表示ＶＲＡＭ（ビデオラム）である。

【００３４】なお、説明を簡略化するために人物カメラ
６と書画カメラ７とを個別に設けた場合を示したが、一
つのカメラにより人物カメラモードと書画カメラモード
とに切り換えるようにしても良く、この時、ビデオスイ
ッチ１０３は入力モード切り換えスイッチとして動作す
る。また、画像合成処理部１０５、画像領域境界検出部
１０６、ポインタ検出部１０９等は高速のビデオプロセ
ッサ等により共通に処理されるようにしても良い。

【００３５】図３乃至図５は、原稿台上面の構成を示す
概略図であり、各図中、２０１は原稿台としての書画カ
メラ台、２０２は文書原稿のサイズ＆方向を検出するに
際して該文書原稿を固定するための原稿ガイド、２０３
−１，２０３−２，２０３−３，２０３−４は原稿ガイ
ド２０２を移動させるためのスライド、３０１は書画カ
メラ台２０１の中心点である。３０１−Ｐ，３０１−
Ｌ，３０１−Ａ４Ｐ，３０１−Ａ４Ｌ，３０１−Ａ３
Ｐ，３０１−Ａ３Ｌは書画カメラ台２０１に各種の文書
原稿をセットした時の各文書原稿の中心点である。

【００３６】図６乃至図１０は、実際にＡ４サイズの文
書原稿を４分割させて撮像する時の書画カメラ７の動作
・方向、分割入力画像の概念図である。

【００３７】図１１は、Ａ４サイズの文書原稿の分割入
力＆合成後のメモリ１０７への記憶文書原稿画像を示す
図であり、同図中、Ａ１は分割撮像後に合成された高解
像度のＡ４横方向文書原稿静止画像領域、Ａ２はその後
Ａ４横方向文書原稿全体撮像してメモリ１０７へ記憶す
る文書原稿全体静止画像領域、ａ１、ｂ１、ｃ１、ｄ１
はそれぞれ実際に分割入力された分割画像領域、５０１
はポインタ検出部１０９が検出すべく事前に登録された
色情報／形状情報を示す。

【００３８】図１２は、実際にＡ４サイズの文書原稿全
体画像Ａ２中に、色情報／形状情報５０１を検索して検
知された時のポインティング画像オーバーレイ表示手順
の概念図であり、同図中、Ａ３−１は自側表示画像、Ａ
３−２は通信相手側表示画像である。

【００３９】図１３乃至図１６は、図１のテレビ会議装
置の動作を示すフローチャートである。

【００４０】次に、上記各図を用いて本実施の形態に係
るテレビ会議装置の動作を説明する。

【００４１】まず、図１３のステップＳ１３０１で文書
原稿を書画カメラ台２０１にセットし、ビデオスイッチ
１０３を操作して画像入力を書画カメラモードに切り換
える。次に、ステップＳ１３０２で原稿ガイド２０２を
スライド（２０３−１，２０３−２，２０３−３，２０
３−４）に沿って移動させて文書原稿に合わせる。次
に、ステップＳ１３０３で原稿ガイド２０２の位置に基
づいて、原稿サイズ＆方向検出部１０２が文書原稿の原
稿サイズ＆方向を検出する。次に、ステップＳ１３０４
で文書原稿がＡ４横方向文書か否かを判断し、Ａ４横方
向文書でなければ後述する図１６のステップＳ１３３２
へ進み、Ａ４横方向文書であれば次のステップＳ１３０
５へ進む。このステップＳ１３０５ではカメラ可動制御
部１０１の制御により、書画カメラ７の向きを、Ａ４横
方向文書を撮像するのに適した方向に切り換える。

【００４２】次に、ステップＳ１３０６でＡ４横方向文
書原稿画像分割入力のためのカメラ焦点＆ズーム撮像領
域を設定する。そして、最初にステップＳ１３０７で、
図６（ａ）及び図７（ａ）に示すように領域ａ１、ｂ
１、ｃ１、ｄ１を順次撮影することを記憶部１６への記
憶情報に基づきシステム制御部１３が判断する。そし
て、まず、第１読み込みフレーム領域ａ１を撮像するた
め、カメラ焦点を図７（ａ）の４０１−１に合わせるべ
く書画カメラ７をパンチルトし且つ撮像全体領域が領域
ａ１に合致するようにズームを合わせる。次に、ステッ
プＳ１３０８で領域ａ１の画像をメモリ１０７に取り込
むと共に、図８（ａ）中の分割境界領域ガイド４０３−
１、４０３−５、４０３−８の画像を画像境界検出部１
０６により検出する。

【００４３】この検出した画像の位置を画像合成処理部
１０５に通知し、システム制御部１３からの文書原稿の
原稿サイズ＆方向情報及び第１フレームのメモリ書き込
みアドレス情報に基づき、画像合成処理部１０５はステ
ップＳ１３０９で各境界ガイドが固定メモリアドレスに
設定されるようにメモリ１０７上に再書き込みする。例
えば、境界ガイド４０３−１の中心をアドレス（Ｘ１
１、Ｙ１１）、境界ガイド４０３−５の中心をアドレス
（Ｘ１２、Ｙ１１）、境界ガイド４０３−８の中心をア
ドレス（Ｘ１１、Ｙ１２）となるように必要に応じて回
転処理も行った上で、メモリアクセス制御部１０８を経
由してメモリ１０７上に再書き込みを行う。

【００４４】次に、ステップＳ１３１０に進み、第２読
み込みフレームの領域ｂ１を撮像するため、カメラ焦点
を図７（ａ）の４０１−２に合わせるべく書画カメラ７
をパンチルトし且つ撮像全体領域が領域ｂ１に合致する
ようにズームを合わせる。次に、ステップＳ１３１１で
領域ｂ１の画像をメモリ１０７に取り込むと共に、図８
（ａ）中の分割境界領域ガイド４０３−２、４０３−
５、４０３−６の画像を画像境界検出部１０６により検
出する。この検出した画像の位置を画像合成処理部１０
５に通知し、システム制御部１３からの文書原稿の原稿
サイズ＆方向情報及び第２フレームのメモリ書き込みア
ドレス情報に基づき、画像合成処理部１０５はステップ
Ｓ１３１２で各境界ガイドが固定メモリアドレスに設定
されるようにメモリ１０７上に再書き込みする。例え
ば、境界ガイド４０３−２の中心をアドレス（Ｘ１３、
Ｙ１１）、境界ガイド４０３−５の中心をアドレス（Ｘ
１２、Ｙ１１）、境界ガイド４０３−６の中心をアドレ
ス（Ｘ１３、Ｙ１２）となるように必要に応じて回転処
理も行った上で、メモリアクセス制御部１０８を経由し
てメモリ１０７上に再書き込みを行う。

【００４５】更に、この時、図７（ｂ）に示すように境
界ガイド４０３−５を挟んだ矩形領域（Ｘ１２−２，Ｘ
１２−１）、（Ｘ１１−１／Ｙ１１−２，Ｙ１２−２／
Ｙ１２−１）は領域ａ１にて取り込んだ画像領域とメモ
リ１０７上にて重複して取り込まれているため、画像合
成処理部１０５にて領域ａ１をメモリ１０７に書き込む
時、上記矩形領域に関しては画像オーバーレイ処理をし
て書き込む。

【００４６】次に、図１４のステップＳ１３１３に進
み、第３読み込みフレームの領域ｃ１を撮像するため、
カメラ焦点を図７（ａ）の４０１−３に合わせるべく書
画カメラ７をパンチルトし且つ撮像全体領域が領域ｃ１
に合致するようにズームを合わせる。次に、ステップＳ
１３１４で領域ｃ１の画像をメモリ１０７に取り込むと
共に、図８（ａ）中の分割境界領域ガイド４０３−３、
４０３−６、４０３−７の画像を画像境界検出部１０６
により検出する。この検出した画像の位置を画像合成処
理部１０５に通知し、システム制御部１３からの文書原
稿の原稿サイズ＆方向情報及び第３フレームのメモリ書
き込みアドレス情報に基づき、画像合成処理部１０５は
ステップＳ１３１５で各境界ガイドが固定メモリアドレ
スに設定されるようにメモリ１０７上に再書き込みす
る。例えば、境界ガイド４０３−３の中心をアドレス
（Ｘ１３、Ｙ１３）、境界ガイド４０３−６の中心をア
ドレス（Ｘ１３、Ｙ１２）、境界ガイド４０３−７の中
心をアドレス（Ｘ１２、Ｙ１３）となるように必要に応
じて回転処理も行った上で、メモリアクセス制御部１０
８を経由してメモリ１０７上に再書き込みを行う。

【００４７】更に、この時、図７（ｂ）に示すように境
界ガイド４０３−６を挟んだ矩形領域（Ｘ１２−２／Ｘ
１２−３，Ｘ１３−２／Ｘ１３−３）、（Ｙ１２−３，
Ｙ１２−２）は領域ｂ１にて取り込んだ画像領域と、矩
形領域（Ｘ１２−３，Ｘ１２−１）、（Ｙ１２−３，Ｙ
１２−１）の部分の画像は領域ａ１にて取り込んだ画像
領域とメモリ１０７上にて重複して取り込まれているた
め、画像合成処理部１０５にて領域ｃ１をメモリ１０７
に書き込む時、上記矩形領域に関しては画像オーバーレ
イ処理をして書き込む。

【００４８】次に、ステップＳ１３１６に進み、Ａ４横
方向文書原稿読み込みの最後のフレームである第４読み
込みフレームの領域ｄ１を撮像するため、カメラ焦点を
図７（ａ）の４０１−４に合わせるべく書画カメラ７を
パンチルトし且つ撮像全体領域が領域ｄ１に合致するよ
うにズームを合わせる。次に、ステップＳ１３１７で領
域ｄ１の画像をメモリ１０７に取り込むと共に、図８
（ａ）中の分割境界領域ガイド４０３−４、４０３−
７、４０３−８の画像を画像境界検出部１０６により検
出する。この検出した画像の位置を画像合成処理部１０
５に通知し、システム制御部１３からの文書原稿の原稿
サイズ＆方向情報及び第４フレームのメモリ書き込みア
ドレス情報に基づき、画像合成処理部１０５はステップ
Ｓ１３１８で各境界ガイドが固定メモリアドレスに設定
されるようにメモリ１０７上に再書き込みする。例え
ば、境界ガイド４０３−４の中心をアドレス（Ｘ１１、
Ｙ１３）、境界ガイド４０３−７の中心をアドレス（Ｘ
１２、Ｙ１３）、境界ガイド４０３−８の中心をアドレ
ス（Ｘ１１、Ｙ１２）となるように必要に応じて回転処
理も行った上で、メモリアクセス制御部１０８を経由し
てメモリ１０７上に再書き込みを行う。

【００４９】更に、この時、図７（ｂ）に示すように境
界ガイド４０３−８を挟んだ矩形領域（Ｘ１１−４／Ｘ
１１−１，Ｘ１２−１／Ｘ１２−４）、（Ｙ１２−４，
Ｙ１２−１）は領域ａ１にて取り込んだ画像領域と、境
界ガイド４０３−７を挟んだ矩形領域（Ｘ１２−３，Ｘ
１２−４）、（Ｙ１３−４／Ｙ１３−３，Ｙ１２−３／
Ｙ１２−４）の部分の画像は領域ｃ１にて取り込んだ画
像領域と、矩形領域（Ｘ１２−２，Ｘ１２−４）、（Ｙ
１２−２，Ｙ１２−４）の部分の画像は領域ｂ１にて取
り込んだ画像領域とメモリ１０７上にて重複して取りこ
まれているため、画像合成処理部１０５にて領域ｃ１を
メモリ１０７に書き込む時、上記矩形領域に関しては画
像オーバーレイ処理をして書き込む。

【００５０】次に、ステップＳ１３１９に進み、上記４
分割して撮像され且つ画像合成処理されてメモリ１０７
上に書き込まれた図８（ａ）中の各分割画像境界ガイド
によって取り囲まれた図１１に示す矩形領域（Ｘ１１，
Ｘ１３）、（Ｙ１１，Ｙ１３）中の予め記憶部１６に登
録され且つシステム制御部１３より画像合成処理部１０
５に指示された画像領域（Ｘ１ｓ，Ｘ１ｅ）、（Ｙ１
ｓ，Ｙ１ｅ）部分が実際のＡ４横方向文書原稿全体と一
致するＡ４横方向文書原稿静止画像として表示ＶＲＡＭ
１１０への転送及び表示部８への表示を行い、ビデオ符
号化部１１への入力静止画像として取扱い、通信相手へ
送信する。

【００５１】次に、図１５のステップＳ１３２０に進
み、書画カメラ７の焦点を図５３０１−Ａ４Ｌに合わせ
るようにシステム制御部１３よりカメラ可動制御部１０
１に指示し且つＡ４横方向文書原稿全体、つまり図１０
に示す（Ｘ１ｓ→Ｘ１ｅ、Ｙ１ｓ→Ｙ１ｅ）の矩形領域
部が丁度撮像画像全体になるようにズームを設定する。
次に、ステップＳ１３２１に進み、書画カメラモードが
終了したか否かを判断し、終了すれば本処理動作を終了
し、終了しなければステップＳ１３２２に進む。このス
テップＳ１３２２では前記ステップＳ１３２０において
セットしたカメラモードにてＡ４文書原稿全体領域画像
をメモリ１０７上に取込画像領域Ａ２として書き込む。

【００５２】次に、ステップＳ１３２３に進み、取込画
像領域Ａ２中に、事前に登録された色情報／形状情報が
出現しているか否かを検索する。モノクロの文書原稿を
セットして会議を行う際は、先に色が付いたようなポイ
ンタを使用して行うと非常に効率的に検索可能である。
カラーの文書原稿の時も、同様の手段で可能であるが、
この時は、ポインタ検出部１０９にて特定の色検出だけ
でなく、特定の色の動き検出によって行う手段が有効で
ある。また、文書原稿のみがセットされた状態の静止画
像を別途Ａ２′画像として取り込んでおき、このＡ２′
画像と新たに取り込むＡ２画像とを常に比較して、特定
色の差分発生により検出する手段も有効である。また、
単に色情報だけでなく、形状も加味して検索する手段も
考えられる。

【００５３】次に、ステップＳ１３２４に進み、上記検
索により該当ポインタがあるか否かを判断し、なければ
前記ステップＳ１３２１へ戻り、あればステップＳ１３
２５に進んで、前記検知されたポインタ位置座標を検出
する。次に、ステップＳ１３２６に進み、上記検出され
た位置座標が前回検出された位置座標と同じ／誤差の範
囲で同等であるか否かを判断し、同じであれば前記ステ
ップＳ１３２１へ戻り、同じでなければステップＳ１３
２７に進む。このステップＳ１３２７では現在表示して
いる高解像度の文書原稿静止画像への位置座標に変換す
る。次に、ステップＳ１３２８で上記算出された文書原
稿静止画像上の位置座標に、事前に登録されたグラフィ
ック・ポインティング画像５０２をオーバーレイ表示す
る。次に、ステップＳ１３２９で前記ステップＳ１３２
５において検出されたポインタ位置座標を通信相手装置
にコマンドとして送信する。

【００５４】次に、ステップＳ１３３０に進み、受信側
装置は受信したポインティング位置コマンドの位置座標
を表示している高解像度文書原稿静止画像の位置座標に
変換後、グラフィック・ポインティング画像をオーバー
レイ表示する。次に、ステップＳ１３３１に進み、引き
続きＡ４文書原稿全体画像をメモリ１０７に取り込み、
該当ポインタを検索した後、前記ステップＳ１３２１へ
戻る。

【００５５】上記ステップＳ１３２４において該当ポイ
ンタがなかった時、前回の検索ではポインタが検出され
ていた時は、自装置表示側ではオーバーレイ表示を停止
し、また、相手側装置にはポインティング位置消滅を示
すコマンドを送信する。

【００５６】また、前記図１３のステップＳ１３０４に
おいて検出された文書原稿がＡ４横方向文書原稿でなか
った時は、図１６のステップＳ１３３２に進み、書画カ
メラ７の向きを検出された文書原稿の原稿サイズ＆方向
に適した方向に切り換えて、次のステップＳ１３３３で
各原稿サイズ＆方向に応じた分割撮像方式を選択して順
次分割撮像＆合成画像の作成を行う。次にステップＳ１
３３４で完成した高解像度の文書原稿画像を表示＆符号
化送信後、該当文書原稿全体が撮像領域と一致するよう
に焦点＆ズーム設定を行う。次にステップＳ１３３５で
文書原稿全体画像を取り込み、次のステップＳ１３３６
で上述した図１５のＡ４横方向文書原稿におけるポイン
タ検出方式ステップＳ１３２１〜ステップＳ１３３１の
部分のパラメータを各原稿サイズ＆方向毎のパラメータ
に置き換えて処理を繰り返した後、本処理動作を終了す
る。

【００５７】（他の実施の形態）尚、上記実施の形態で
は、画像情報を入力するためのカメラとして、現行では
廉価に取得可能なＮＴＳＣ／ＰＡＬ等の通常のテレビ画
像信号を出力する文書原稿撮像にとっては低解像度カメ
ラを用いた高解像度画像取得手段として記述したが、現
在はまだ高価ではあるが１６０万画素といった解像度を
持つデジタルカメラ等のより高解像度のカメラに適用す
ることも可能である。例えば、カメラ自体が現行の４倍
の解像度を持つカメラに適用すれば、Ａ４文書原稿読取
りの解像度がファクシミリに置き換えれば２００ｄｐｉ
相当まで可能となり、簡単な操作で且つ読取り解像度も
スキャナにより一層近づく文書原稿読取り＆リアルタイ
ム通信可能な画像通信装置を簡単に実現することも可能
である。

【００５８】

【発明の効果】請求項１の発明によれば、実際に原稿台
上に置かれた文書原稿に対して説明者はポインティング
可能であり、また、高解像度静止画像には何等影響を与
えることなく、ポインティング情報を送受信してオーバ
ーレイ表示して互いに同じ画像を見ることが可能であ
り、非常に高品質の画像通信を行うことができると共
に、操作性が向上し且つ廉価に提供することができると
いう効果を奏する。

【００５９】請求項２の発明によれば、直接画像上でポ
イント指定が可能となり、入力した画像上でマウス等に
よりポイント指定するポイント指定の操作性を向上でき
る。また、画像送信後、ポインタの情報のみをポインタ
移動がある時のみ送信する構成のため、常にポインタが
含まれる画像を送り続けるものと比較して無駄のない通
信が可能となる。

【００６０】請求項３の発明によれば、良好なポインタ
の検出が可能となる。

【００６１】請求項４の発明によれば、画像を複数領域
に分割して入力された画像を１フレームとするので、高
解像の画像とり込みが可能となる。

【００６２】請求項５の発明によれば、画像入力手段
は、入力画像のサイズ及び向きを検知して検知結果に応
じて該画像入力手段の位置制御を行うのでユーザーにと
って繁雑な操作の必要なく良好な画像入力が可能とな
る。

【００６３】請求項６の発明によれば、画像を複数の領
域に分離して入力し、該複数領域を合成して１フレーム
の画像を送信するので、高解像度の画像の通信が可能と
なる。更に、ポインタに動きがある場合に、ポインタの
位置情報を送信する構成のため通信情報量を削減でき
る。

【００６４】請求項７の発明によれば、小さい情報量の
画像送信が可能となる。

【００６５】請求項８の発明によれば、装置構成を簡単
にできる。

【００６６】請求項９の発明によれば、良好なポインタ
の検出が可能となる。

【００６７】請求項１０の発明によれば、送信画像を受
信した装置側でのポインタ処理の合成を容易にできる。

【００６８】請求項１１の発明によれば、送信側におい
て送信画像とポインタの重畳画像を確認できる。

【００６９】請求項１２の発明によれば、送信画像を高
解像の画像にでき、それほど高解像検出を必要としない
ポインタ検出については粗い画像により検出するので、
必要以上にポインタの送信を行うことを防止できる。

【図面の簡単な説明】

【図１】本発明の一実施の形態に係る画像通信装置とし
てのテレビ会議装置の構成を示すブロック図である。

【図２】図１のテレビ会議装置における画像入力及び処
理部の機能ブロック図である。

【図３】書画カメラの原稿をセットする原稿台上面の構
成を示す図である。

【図４】書画カメラの原稿をセットする原稿台上面の構
成を示す図である。

【図５】書画カメラの原稿をセットする原稿台上面の構
成を示す図である。

【図６】Ａ４文書原稿を分割撮像する時の書画カメラの
動作・方向、分割入力画像の概念図である。

【図７】Ａ４文書原稿を分割撮像する時の分割入力画像
の概念図である。

【図８】Ａ４文書原稿を分割撮像する時の分割入力画像
の概念図である。

【図９】Ａ４文書原稿を分割撮像する時の分割入力画像
の概念図である。

【図１０】Ａ４文書原稿を分割撮像する時の分割入力画
像の概念図である。

【図１１】分割取り込み画像・合成文書原稿画像・差分
／動き検出画像等のメモリ記憶構成図である。

【図１２】原稿台に置かれた文書原稿へのポインティン
グ検出の概念図である。

【図１３】図１のテレビ会議装置の動作を示すフローチ
ャートである。

【図１４】図１のテレビ会議装置の動作を示すフローチ
ャートである。

【図１５】図１のテレビ会議装置の動作を示すフローチ
ャートである。

【図１６】図１のテレビ会議装置の動作を示すフローチ
ャートである。

【符号の説明】

６人物カメラ（画像情報入力手段）７書画カメラ（画像情報入力手段）８表示部（出力表示手段）１１ビデオ符号化／復号化部（符号化手段、復号化
手段）１３システム制御部（送信手段、送信通知手段、設
定手段）１５回線インタフェース部（通信手段）１６記憶部（記憶手段）１０２原稿サイズ・方向検出部（サイズ・方向検出手
段）１０５画像合成処理部（画像合成手段、オーバーレイ
表示手段）１０９ポインタ検出部（監視手段、位置情報検出手
段）１１０表示ＶＲＡＭ（出力表示手段）

Claims

【特許請求の範囲】

【請求項１】画像情報を入力する画像情報入力手段
と、該画像情報入力手段により入力した入力画像情報を
符号化する符号化手段と、該符号化手段により符号化さ
れた画像情報を通信回線を介して通信する通信手段と、
該通信手段から受信した受信画像情報を復号化する復号
化手段と、前記入力画像情報及び受信画像情報を出力表
示する出力表示手段とを有する画像通信装置において、
前記画像情報入力手段としてカメラを用い、該カメラに
より文書原稿を撮像入力する時その文書原稿のサイズ及
び方向を検出するサイズ・方向検出手段と、該サイズ・
方向検出手段により得られた前記文書原稿のサイズ情報
及び方向情報に基づき自動的に前記文書原稿の撮像を複
数回に分割して行うように前記カメラを順次可動させる
可動手段と、前記複数回に分割して取り込む画像を順次
記憶する記憶手段と、前記複数回に分割して取り込まれ
る画像を文書原稿全体画像として１つの文書原稿画像に
合成する画像合成手段と、前記文書原稿画像を前記通信
回線を介して通信相手である受信側画像通信装置に静止
画像として符号化して送信する送信手段と、前記文書原
稿全体画像を送信すると共に前記カメラを文書原稿全体
領域が撮像領域となるように焦点及びズーム合わせを自
動的に設定する設定手段と、前記文書原稿全体領域の画
像にある特定の色または形状の画像が現れるか否かを監
視する監視手段と、該監視手段によりある特定の色また
は形状の画像が検出された時その画像の位置情報を検出
する位置情報検出手段と、該位置情報検出手段により検
出された位置情報に基づき前記出力表示手段により出力
表示された文書原稿全体画像中にポインティング情報と
してポインティングカーソル情報をオーバーレイ表示す
る第１オーバーレイ表示手段と、前記位置情報を通信相
手である受信側画像通信装置に送信通知する送信通知手
段と、該送信通知手段により送信通知された前記受信側
画像通信装置に自側の出力表示手段により出力表示され
た文書原稿全体画像中にポインティング情報としてポイ
ンティングカーソル情報をオーバーレイ表示する第２オ
ーバーレイ表示手段とを具備したことを特徴とする画像
通信装置。
【請求項２】画像情報を入力する画像情報入力手段
と、前記画像情報入力手段により入力した画像情報を符
号化する符号化手段と、前記符号化された画像情報を通
信回線を介して通信する通信手段とを有する画像通信装
置であって、前記入力画像中に予め決められた特性のポ
インタの有無を判定する判定手段と、該判定手段により
判定されたポインタの前記画像情報からなる画像上の位
置情報を通信するポインタ情報通信手段と、前記ポイン
タの移動の有無を検知し、且つ前記ポインタに移動があ
る場合、前記ポインタの前記画像上の位置情報を送信す
る送信手段とを有することを特徴とする画像通信装置。
【請求項３】前記予め決められた特性とは、所定の色
もしくは所定の形状を示すことを特徴とする請求項２記
載の画像通信装置。
【請求項４】前記画像情報入力手段は、前記画像情報
を複数領域に分割し、且つ分割領域毎に画像情報を入力
し、入力画像を合成して１フレーム画像とすることを特
徴とする請求項２記載の画像通信装置。
【請求項５】前記画像入力手段は、前記画像情報から
なる画像のサイズ及び向きを検知し、且つその検知結果
に応じて位置制御を行う駆動手段を有することを特徴と
する請求項４記載の画像通信装置。
【請求項６】画像を複数の領域に分離して該領域毎に
入力する第１の入力手段と、前記画像全体を入力する第
２の入力手段と、前記第２の入力手段により入力された
画像中に予め決められた特性のポインタの有無を判定す
る判定手段と、前記入力手段により、入力された複数領
域を合成して１フレーム画像として送信すると共に、前
記判定手段によりポインタがあると判定された場合、そ
のポインタの位置情報を送信する第１の送信手段と、前
記第１の送信手段による送信後、前記ポインタに移動が
あるか否かを検出し、且つ前記ポインタに移動がある場
合、その移動後のポインタ位置情報を送信する第２の送
信手段とを有する画像通信装置。
【請求項７】前記第１の送信手段は、符号化部を有
し、且つ符号化画像を送信することを特徴とする請求項
６記載の画像通信装置。
【請求項８】前記第１の入力手段と、前記第２の入力
手段は共通の入力手段であることを特徴とする請求項６
記載の画像通信装置。
【請求項９】前記予め決められた特性とは所定色もし
くは所定の形状を示すことを特徴とする請求項６記載の
画像通信装置。
【請求項１０】前記第１の送信手段は、ポインタの位
置情報を前記１フレームの画像上の位置座標に変換後送
信することを特徴とする請求項６記載の画像通信装置。
【請求項１１】前記第１の送信手段により送信される
１フレーム画像にポインタ情報を重畳した画像を表示す
る表示手段を有することを特徴とする請求項６記載の画
像通信装置。
【請求項１２】前記１フレームの画像は、前記第２の
入力手段により入力された画像より高解像な画像である
ことを特徴とする請求項６記載の画像通信装置。