JPH0887594A - 画像の完全且つ歪みのないコンピュータ表示の提供方法 - Google Patents

Abstract

(57)【要約】 【課題】 カメラベースの走査システムによって大きな
歪みを生じることなくボードの高解像度の電子画像を提
供する。 【解決手段】 ボード上の小さなサブ領域とされる各タ
イルに対し修正が実施されて、各タイルにわたって明る
さのばらつきを修正する。タイルの重なり合った領域が
決定され、この領域に対して修正が実施されると、単一
の中間グレイレベル画像が生成される。画像のグレイレ
ベル表示はしきい値処理されて、ボード上の画像を表示
する２値電子画像が生成される。ボード画像の一部を含
む重なり合った画像タイルを捕捉することによってボー
ド上の画像の完全且つ歪みのないコンピュータ表示を提
供することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ホワイトボード又
はブラックボード装置上にマーキングを電子形式で転記
（転写）するための装置に関する。より詳細には、本発
明は、画像をボードから捕捉し、これらの画像を電子的
に処理してボード全体の完全且つ歪みのない高解像度の
画像を生成するための技術に関する。

【０００２】

【従来の技術】協同で作業する状況において、表示され
た情報の視認と操作を同時に行なうことをたびたび要求
するユーザは少なくない。ホワイトボード及びブラック
ボード（以下「ボード」と称する）は、「壁サイズ」の
表面の手書きの文書画像と図形画像を維持するために広
く使用されている。ボード媒体は種々の対話式作業を容
易にする一定の特性を供与する。即ち、マーキングは複
数の人間によって視認されるのに十分な大きさのもので
あること、マーキングは消去及び書き直しによって編集
可能であること、表面は静止しているために、見失った
り、しわが寄ったり、破れたり、又は風で吹き飛ばされ
ることがないこと、表面は容易に消去され、完全に再利
用可能であり、（実質的には）磨滅しない。しかしなが
ら、ボードの使用に対する一つの問題点は、情報が他の
媒体に容易に転送されないことである。従って、現時点
では、ボード上の文書及び図形における対話の記録を維
持し且つその記録を用紙又は他の携帯及び記憶可能な媒
体に対し迅速、簡単、且つ自動的に転写しながら、任意
の相手との対話を保持することは不可能である。

【０００３】この作業を実行するための既存の方法は手
間がかかり、時間を浪費し、且つ不便なものである。そ
の一つは、ボード上に存在する文書及び図形の一部又は
全部を手書きにより用紙上に転記できるにすぎない。こ
れは多くの時間を要し、人間が読み書きする際の間違い
からエラーを被ることがある。あるいは、カメラでボー
ドを写真に撮ることもできる。これはカメラを手近に置
く必要があり、フィルムを現像することによる遅延を生
じ、「インスタント」カメラを用いると費用が高くなる
可能性があり、不正確な焦点及び露出によって品質の低
い表現になりやすい。カメラはさらに、通常では読み取
り難い非常に縮小されたサイズの画像を生成する。

【０００４】あるいはまた、ポスターパッド等の「壁サ
イズ」の用紙によって、書かれたものについての比較的
永久性であり且つ携帯可能な記録が可能となるが、これ
らの用紙は大型且つ取り扱い難く、画像生成中は消去す
ることができない。

【０００５】コピー−ボード装置はハードコピー用紙に
転記可能な書き込み面を提供するが、これらは現在で
は、てこ装置を有する組み込み式ボードにとって代わる
見やすい携帯用のホワイトボードとして考えられる。

【０００６】上述した解決法には、画像をボードから電
子的に使用可能な形式に転写することを補助するものは
ない。

【０００７】本発明において、カメラベースの走査シス
テムによって大きな歪みを生じることなくボードの高解
像度の電子画像が提供される。

【０００８】

【発明が解決しようとする課題】本発明の目的は、人間
であるユーザに、既存のボードの画像内容をコンピュー
タ形式（computational form）で捕捉する能力を提供す
ることであり、ボード上にマークの完全且つ歪みのない
高解像度のコンピュータ画像を提供する。いったん電子
形式になると、画像はハードコピー化され、ファクシミ
リで電送され、ファイルに記憶され、ディスプレイ装置
に転送されて、あるいはまた、さらに画像分析技術を用
いて情報の内容をフィルタ処理し且つ分析するように処
理することが可能である。

【０００９】

【課題を解決するための手段】本発明はボード上に画像
の画像内容をコンピュータ形式で捕捉するためのシステ
ムを提供する。同システムは、ボード画像が提供される
ボードと、一連の重なり合った画像タイルでボード画像
を捕捉するための少なくとも１つのカメラサブシステム
と、ボード画像を表現する完全２値画像においてタイル
を組み合わせるために画像タイルを受け取り且つ処理す
るためのプロセッサと、を有し、同プロセッサは中間画
像データと結果としての２値画像を記憶するためのメモ
リを備えている。

【００１０】本発明はさらに、それぞれがボード画像の
一部を含む重なり合った画像タイルを捕捉し、画像タイ
ルを電子的に計算されるフォーマットに変換することに
よってボード上の画像の完全且つ歪みのないコンピュー
タ表示を提供するための方法を提供する。修正は各タイ
ルに対して実施されて、各タイルにわたっての明るさの
変動（ばらつき）を修正する。重なり合った領域が決定
されて、前記重なり合った領域に対し修正が実施されて
単一の中間グレイレベル画像を生成する。画像のグレイ
レベル表示はしきい値処理されてボード上に画像を表示
する２値電子画像を生成する。あるいはまた、グレイレ
ベル画像を処理して同様にカラー画像を生成することも
できる。

【００１１】本発明の一態様は、表面上に画像の完全且
つ歪みのないコンピュータ表示を提供するための方法で
あって、各々が表面画像の一部を含む画像タイルを捕捉
することを有し、上記タイルはそれぞれ隣接したタイル
と重なり合い、上記画像タイルを電子計算用フォーマッ
トに変換することを有し、各タイルの上記重なり合った
領域を決定することを有し、上記重なり合った領域での
歪みを修正して単一のコンピュータ用画像を生成するこ
とを有する。

【００１２】本発明の別の態様は、上記一態様の画像の
完全且つ歪みのないコンピュータ表示の提供方法におい
て、上記重なり合った領域に対し修正を行なって単一の
中間画像を生成する上記ステップが、上記重なり合った
領域に入るランドマークを決定し、ランドマークの近傍
に画像パッチの局所的相関を実行して各画像タイル内に
対応するランドマーク位置を決定し、上記対応するラン
ドマーク位置をボード座標に射影し、重なり合ったタイ
ルからの対のランドマークを比較し、中間位置にある目
標座標を選択し、上記中間位置に対する各タイルの新し
い透視変換を計算する、各サブ工程を有するとともに、
上記複数のサブ工程が、ランドマーク射影における累積
エラーによって表示される重なり合ったタイル間のラン
ドマーク位置への収束がしきい値量よりも少なくなるま
で反復されることを特徴とする。

【００１３】

【発明の実施の形態】図１は本発明の特徴を示すシステ
ム５０を示している。ボード５２はユーザからのマーキ
ングを受け取る。「ボード」はホワイトボードや、ブラ
ックボード、又は、手書きの文書及び図形画像を維持す
るために使用される他の同様の壁サイズの面のいずれで
もよい。以下の説明は主として濃い色のマーキングを用
いたホワイトボードに基づくものである。また、反対の
反射率を表わすように幾つかのパラメータを変化させた
状態で、明るい色のマーキングを用いた濃い色のボード
を使用してもよいことは当業者には明白である。

【００１４】カメラサブシステム５４はボードの１つの
又は複数の画像を捕捉し、それ（ら）はネットワーク５
８を介してコンピュータ５６に供給される。コンピュー
タ５６はプロセッサと、指示及び電子的／コンピュータ
画像を記憶するためのメモリを有する。

【００１５】一般に、ビデオカメラ等の電子カメラの解
像度は、ボード上のマーキングをはっきりと識別するた
めに十分な細部描写を備えた全体のボード画像を捕捉す
るには不十分である。このため、「画像タイル（image
tile）」と呼ばれる、ボード上のより小さなサブ領域の
数個のズーム・イン画像は個別に捕捉され、さらに結合
されなければならない。

【００１６】カメラサブシステム５４は、コンピュータ
制御パン／チルト（pan/tilt）ヘッド５５に取り付けら
れ、画像捕捉コマンドが実行されると、プログラム制御
のもとで種々のサブ領域で順次方向付けされる。あるい
は、カメラサブシステム５４は、固定又は回転自在のカ
メラのアレイを有し、これらカメラはそれぞれ異なるサ
ブ領域（単数又は複数）に向けられる。説明の便宜上、
カメラサブシステム５４は単にカメラ５４と称する。

【００１７】「生」画像タイルは概して互いに重なり合
うものであり、カメラの軸視点からはずれて見るために
透視による歪みを含み、また、未制御の照明条件と反射
によって、前景（書き込みマーク）と背景（未表記のボ
ード）との間のボードにわたって不均等な明るさレベル
を含む。

【００１８】以下で説明する各図は、上記の影響を補償
するために本発明の技術を実行する一般的な方法につい
て示すものである。

【００１９】図２のフローチャートは、走査画像セクシ
ョンの集合からボードの２値表現（描写）を生成するた
めの一般的な方法を示している。ステップ１００では、
走査画像セクションは「タイル」として捕捉される。各
タイルは、図３に示されたように、カメラによって走査
された画像の一部である。ボード６０は一連のタイル６
２、６４等として捕捉される。これらタイルは隣接した
タイルとわずかに重なり合っているので、全体の画像は
「欠落した」空間をあけずに走査される。各タイルの位
置は、タイルが走査されるとパン／チルトヘッド上のカ
メラの位置と方向から識別される。タイルが「生画像」
又は「カメラ画像」タイルとして説明することもできる
のは、これらタイルをディジタル画像において解釈した
り又は正確に位置付けるようにタイルに対し何も処理が
施されていないからである。ボード６０上のマーク１５
０は２つの隣接したタイル６２と６４において捕捉され
る。

【００２０】図２に戻って説明すると、ステップ１０２
ではセンタ・サラウンド（中心囲み）処理が各カメラ画
像タイル上に実行される。センタ・サラウンド処理はタ
イル間及びタイル内における明るさのばらつきを補償す
る。センタ・サラウンド処理法は図４に関連して説明さ
れる。画像の画素ごとに、ステップ１２０では、ｐ_{i, j}
に中心をおいた、ウィンドウ内の事前指定サイズの画素
強度の局所平均を計算する。ステップ１２２では、平均
強度は各ｐ_i,j から減算される。結果として得られる画
素はステップ１２４において出力される。結果として出
力される画素は、囲み領域における画素の元の値と平均
値との、各画素ごとの差を表わす。

【００２１】再び図２に戻って、ステップ１０４では、
図５に関連して説明されるように、重なり合ったタイル
における対応「ランドマーク（landmark：境界標）」が
見い出される。「ランドマーク」は、少なくとも２つの
タイルに現れるボード上のマークとして説明され、隣接
したタイルの重なり合った位置を決定するために使用す
ることができる。図６はランドマークとして使用するこ
とのできるマークの２つの具体例を示している。ランド
マークは、開始点、終了点、及びそれらの構成における
交差点によって定義することができる。

【００２２】ランドマークは２つの段階において検出さ
れる。第１の段階は、画像内の各画素を中心とした仮想
ランドマークの「良好度（goodness）」を表示する補助
の「ランドマーク品質」画像の生成を含む。「良好な」
ランドマークはマーク１５０等の２方向における正確な
位置決定（localization）を提供する。マーク１６０等
の「第２の」ランドマークは一方向のみにおける位置決
定を提供し、矢印１６５の方向における位置決定を提供
するが、矢印１６３によって指定された他の方向におけ
る位置決定の正確性は低い。第２の段階は、ボード座標
系の２つの画像タイルの射影間のオーバーラップ領域内
で可能な限り均等に良好なランドマークを選択すること
である。

【００２３】補助のランドマーク品質画像を得るため
に、勾配演算子がまず、生画像に適用され、それによっ
て、コンピュータビジョン分野に精通した人間には周知
とされる技法を用いてその勾配のおおよその配向と大き
さが各画素ごとに記録される。

【００２４】局所的配向は４つのビンに量子化される。
そこで画像の各画素ごとに、局所ヒストグラムが形成さ
れて各画素の局所化された近傍内で配向ビンのそれぞれ
に対する累積する勾配の大きさを付与する。なお、良好
なランドマークに対して、ヒストグラムはすべての配向
ビン内の大きな累積勾配の大きさを含み、第２のランド
マークは多くとも２つのビンに大きな勾配の大きさを含
み、悪質又は実在しないランドマークはビン内に大きな
累積する勾配の大きさを含まないことになる。最後に、
各画素は以下の式による局所ランドマーク品質について
評価（採点）される。

【００２５】ランドマーク品質 ＝ Ｖ_m Ｖ_p ＋Ｖ_m ＋
Ｖ_p

【００２６】ここで、Ｖ_m は最大累積勾配の大きさを備
えたヒストグラムビン内の勾配の大きさであり、Ｖ_p は
Ｖ_m のビンから配向９０°を表わすヒストグラムビン内
の勾配の大きさである。

【００２７】ランドマーク検出の第２の段階では、ラン
ドマーク品質画像は、高品質ランドマークを表わす大よ
そ均一に分散された位置を得るという目的によって走査
される。ランドマーク品質画像は、「ランドマーク−半
径」と称される所定サイズの正方パッチに分割される。
このようなパッチのそれぞれにおいて、各画素には以下
の式による「重み付けランドマーク品質」が与えられ
る。

【００２８】重み付けランドマーク品質＝ランドマーク
品質＋２ランドマーク半径−｜dx｜−｜dy｜

【００２９】ここで、ｄ_x とｄ_y はそれぞれ、水平方向
及び垂直方向における正方パッチの中心までの画素の距
離である。各パッチにおいて、最大重み付けランドマー
ク品質を備えた画素が見いだされる。この画素に対応付
けられるランドマーク品質が所定のしきい値よりも上に
くると、この画素位置はランドマークとして受け取られ
る。

【００３０】図５は２つの重なり合ったタイルにおける
対応ランドマークを見いだすことについて説明されてお
り、これら２つのタイルはタイル１及びタイル２と称さ
れる。図５のステップ１３０では、タイル１の近似透視
変換を実行して、ほぼどのようにしてタイルがボード座
標にマップするかを決定する。これは、カメラ較正、及
びこの画像が捕捉された時のパン／チルトヘッドの位置
に基づいて推測航法（推測位置決定法：dead reckonin
g）から得られる。該変換は、同次座標における一般的
な線形変換を用いて決定することもでき、「コンピュー
タビジョンにおける幾何学的不変性（Geometric Invari
ance in Computer Vision ）」（edited by Mundy and
Zisserman, 1992 Massachusetts Institute of Technol
ogy, Appendix 23.4.5-23.4.7, pages 481-484）に記載
されている通りである。ボード座標はボードに対して事
前定義される。カメラが較正されると、各タイル位置は
ボード座標において決定される。ステップ１３２では、
タイル２について同様の変換が実行される。

【００３１】ステップ１３４において、ボード座標にお
いてタイル１とタイル２の間のオーバーラップ領域は推
測航法に基づいて見つけられる。タイル１の変換画像の
このオーバーラップ領域に入るランドマークはステップ
１３６で識別され、ステップ１３８では、タイル２の変
換画像のランドマークの概略位置が検出される。

【００３２】ステップ１４０では、ランドマークの近傍
の画像パッチについて局所的相関が実行されて、タイル
１のランドマーク位置に対応するタイル２の位置を見つ
ける。この相関はさらに、マークの位置決定に２つの信
頼レベルを組み込む有向矩形を決定する。図７はこの信
頼レベルの決定を示している。既述されたように、マー
ク１５０は「良好な」ランドマークを構成する。テンプ
レート１５６は、第１のタイルにおけるマークの画素を
包囲する画像パッチであり、これを用いてランドマーク
１５０の配向と位置を決定する。パッチ１５６が画像タ
イル内のマーク１５０と相関がある場合、パッチ１５６
は２方向において密接にマーク１５０と一致し、非常に
小さな一致領域のみを生成する。この「相関矩形」は、
タイル１におけるランドマークとタイル２におけるラン
ドマークのパッチの間の一致量を説明するものであり、
タイルのマークの位置の信頼性を決定するのに役立つ。

【００３３】あるいはまた、第２のランドマークとして
既述されたランドマーク１６０では、マーク１６０の画
素の周囲の画像パッチ、即ち、テンプレート１６６、は
マーク１６０の長さ方向の軸に沿った多数の位置で一致
することは理解できる。位置決定における信頼は、配向
の軸に沿って、且つ、配向の軸を横切って決定される。
マーク１６０の場合、テンプレート１６６はテンプレー
トの配向の軸に沿った長さ方向に比較的大きな相関矩形
を提供する。幅方向の信頼はさらに高く、これは、横軸
配向において一致するためにテンプレートには領域が少
ないからである。そこで、マーク１６０の相関が垂直方
向における不確実性によって一方向における場所の好ま
しい推測を行なう一方で、正確な位置における信頼レベ
ルはマーク１５０の相関によって提供されるレベルより
も低いとされる。

【００３４】図２に再び戻って、ステップ１０６では、
図８においてより詳細に述べられるように、全体的なラ
ンドマーク不整合（不一致）関数を最適化する透視歪み
修正の問題を解決する。このステップは、画像内のタイ
ル位置の推測航法において生じるエラーを修正する。変
換は前のステップで得られる信頼性矩形によって重み付
けされる。

【００３５】図８のステップ１７０において、ランドマ
ークはボード座標に投影される。これが実行されると最
初に、推測航法データを用いて現在の推定を行なう。後
の反復において、透視変換の現在の推定を用いて射影変
換が行なわれる。ステップ１７２では、重なり合うタイ
ルからの対のランドマークの位置が比較され、ステップ
１７４では、中間の目標位置が選択される。これらのス
テップは図９と図１０に示されている。図９において、
第１のタイル１９０はそのオーバーラップ領域で識別さ
れるランドマーク１９２を有する。第２のタイル１９４
では、対応するランドマーク１９６が検出される。図１
０に示すように、ランドマーク１９２と１９６はボード
座標へのそれらの射影においてわずかにずれている。囲
みマーク１９８はステップ１４０で決定されたように、
相関矩形である。中間位置、又は目標位置２００は、第
１の位置１９２と第２の位置１９６の信頼矩形の間の中
間に位置されるように選択される。両タイルの画像はさ
らに変換されて、ランドマーク位置をこの目標位置とさ
らに密接に相関付ける。

【００３６】いくつかの場合について、ランドマークは
誤ったもの、即ち、相関からの対応が単に不正確である
ものと判断されることもあると注意することが重要であ
る。これらの不正確なランドマークは重み付けに含むこ
とはできない。外部からのマークが計算に含まれないよ
う保証するために、すべてのランドマークは最初に正確
であると仮定される。しかしながら、いくつかのランド
マークが許容限度を越えて距離的に非常に離れている場
合、該ランドマークは放棄されて、これ以上計算には考
慮されない。

【００３７】さらに、人為マーク「ポイント」は各タイ
ルの角部に配置され、対応する大きな信頼矩形、即ち、
どの方向においても低い信頼性を有する。これらのポイ
ントを用いて、マークを保持しない、又はオーバーラッ
プ領域にランドマークのないタイルを検出することもで
きる。ポイントデータはランドマークデータによって容
易に無効にされる。ポイントはさらに、ランドマークが
不正確であると判断されると使用されることもある。

【００３８】ステップ１７６は、最小自乗目的測定を用
いて新しい透視変換を計算し、カメラ座標におけるラン
ドマークをボード座標における新しい目標位置に最適に
射影する。この変換は、前述したＭｕｎｄｙ及びＺｉｓ
ｓｅｒｍａｎにおいて述べられたように、同次座標内の
一般的線形変換を用いて決定することもできる。以下に
示す公式において、Ｘ、Ｙ、Ｚはボード座標内のランド
マークの目標座標であり、重なり合ったタイルからのラ
ンドマークを比較することによって見つけられる。ｘ、
ｙ、ｚはカメラ座標である。

【００３９】

【数１】

【００４０】ここでｔ₃₃＝１である。

【００４１】画像座標ｕとｖは以下の式によって得られ
る。 ｕ＝ｘ／ｚ及びｖ＝ｙ／ｚ

【００４２】変換パラメータの解を得るために、図１１
に示されるようなランドマーク１８０を一例として使用
する。図７に関連して述べられるように決定された信頼
矩形１８４は、幅ｗ１８１、長さｌ１８２、オリエンテ
ーション角度θ１８３によって定義される。従って、信
頼重み付けは以下の式によって導出される。

【００４３】ｃ_l ＝１／ｌ及びｃ_w ＝１／ｗ

【００４４】変換パラメータｔの値を求めるために、線
形方程式の過剰制約付きシステムが構築される。ここで
は、上記マトリックスの対の行はそれぞれｉ番目のラン
ドマークをカバーする。変換パラメータの解は特異値分
解を使用して求められる。

【００４５】

【数２】

【００４６】図８に戻って、ステップ１７８では、現在
自乗エラーと最終反復からの自乗エラーとの差として判
断される、ランドマーク射影の新しい累積エラーが予め
決定されたしきい値内に入ることが検査される。

【００４７】図２に戻って、ステップ１０８はステップ
１０６において決定された透視変換を用いてすべてのタ
イルに関して透視修正を実行する。ステップ１１０で
は、修正されたデータはグレイレベルボード表現（描
写）画像内に書き込まれる。ステップ１１２では、グレ
イレベル画像はしきい値処理され、黒白画像に対するボ
ード画像の２値表現、又はカラーシステムにおけるボー
ド画像のカラー表現を生成する。

【００４８】上述のようにシステムによって要求される
画像処理関数は比較的頻度が少ないものと想定される。
演算資源は数個のカメラを組み込んだクライアントサー
バーネットワークにおいて共用され、それぞれ既述され
た画像処理操作を実行する単一のサーバーにビデオ画像
を転送する。演算資源サーバーは、建物の中又は室内の
異なるボード又はボードの複数の部分をスキャンするよ
うに分散される数個のカメラユニットで共用されること
もある。各カメラはビデオ画像をサーバーに転送し、サ
ーバーは画像処理操作を実行する。

【図面の簡単な説明】

【図１】本発明の特徴を用いるシステムを示す図であ
る。

【図２】走査画像セクションの集合からボードの２値表
現を生成するための一般的な方法のフローチャートであ
る。

【図３】カメラによって走査されたボード上の画像タイ
ルを示す図である。

【図４】センタ・サラウンド処理を説明するフローチャ
ートである。

【図５】２つの重なり合うタイルにおいて対応するラン
ドマークの発見を説明するフローチャートである。

【図６】ランドマークとして使用することのできるマー
クの２つの例を示す図である。

【図７】信頼矩形の決定を示す図である。

【図８】大域的ランドマーク不一致関数を最適化する透
視歪み補正を解決するフローチャートである。

【図９】２つのタイルの重なり合った領域におけるラン
ドマークを示す図である。

【図１０】２つのタイル間のランドマークのオフセット
を示す図である。

【図１１】ランドマークと対応する変換パラメータを示
す図である。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 表面上に画像の完全且つ歪みのないコン
   ピュータ表示を提供するための方法であって、 各々が表面画像の一部を含む画像タイルを捕捉すること
   を有し、前記タイルはそれぞれ隣接したタイルと重なり
   合い、 前記画像タイルを電子計算用フォーマットに変換するこ
   とを有し、 各タイルの前記重なり合った領域を決定することを有
   し、 前記重なり合った領域での歪みを修正して単一のコンピ
   ュータ画像を生成することを有する、画像の完全且つ歪
   みのないコンピュータ表示の提供方法。
2. 【請求項２】 前記重なり合った領域に対し修正を行な
   って単一の中間画像を生成する前記ステップは、 前記重なり合った領域に入るランドマークを決定し、 ランドマークの近傍に画像パッチの局所的相関を実行し
   て各画像タイル内に対応するランドマーク位置を決定
   し、 前記対応するランドマーク位置をボード座標に射影し、 重なり合ったタイルからの対のランドマークを比較し、 中間位置にある目標座標を選択し、 前記中間位置に対する各タイルの新しい透視変換を計算
   する、各サブ工程を有するとともに、 前記複数のサブ工程は、ランドマーク射影における累積
   エラーによって表示される重なり合ったタイル間のラン
   ドマーク位置への収束がしきい値量よりも少なくなるま
   で反復される、請求項１記載の画像の完全且つ歪みのな
   いコンピュータ表示の提供方法。