JP2013257643A - 画像処理システム及びプログラム - Google Patents

Abstract

【課題】撮像対象が定まっていない場合でも、撮影画像にパースペクティブ歪みを適用できるようにする。
【解決手段】本発明に係る画像処理システムは、所定の画像を投影面に投影した画像を撮像した撮像画像から、前記所定の画像に対応する画像を探索する探索処理と、前記探索した画像に基づいて前記撮像画像に対するパースペクティブ歪みの補正のパラメータを算出するパラメータ算出処理と、前記算出したパラメータに基づいて、パラメータを算出した後に撮像した撮像画像及び前記撮像画像に対して補正する補正処理と、を実行する。
【選択図】図１

Description

本発明は、画像処理システム及びプログラムに関し、特に、パースペクティブ歪みを補正する技術に関する。

本発明はプロジェクタとカメラとを連動させて、プロジェクタから投影した画像に対して、手書き等のアナログ手段で付加した情報をデジタル情報として保存するようなシステムに関する発明である。製品としては、プロジェクタやカメラと連動してパーソナルコンピュータ（以下、「ＰＣ」）上で動作するソフトウェアや、カメラ・処理系を含んだプロジェクタ、プロジェクタと連動して動作するモバイル端末、もしくはプロジェクタ機能までを内部に持ったモバイル端末等への適用が見込まれる。

近年ではプロジェクタが普及し、複数人で同じ資料を閲覧し、その資料についての議論を行う機会が増えた。それと同時に議論を行う上で資料の内部に手書きで書き込んだり、付箋を貼ったりといったアナログ情報の付加を行ったうえで、該付加情報をデジタル情報としてＰＣ等に取り込みたいという欲求が増えている。これに対して、例えば、特許文献１ではホワイトボード等に書いた文字や図形を簡単に取り込むことができるプロジェクタが提案されている。

このような用途において問題となるものの一つに、パースペクティブ歪みがある。一般に投影された画像をＣＣＤカメラなどで撮像すると、ＣＣＤカメラの撮影方向と撮像面とが垂直でないためパースペクティブ歪みが発生して本来長方形に撮像されて欲しい画像が台形になってしまう（図１２参照）。そのため、歪みの補正が必要になる。

パースペクティブ歪み補正そのものは一般的な技術であり、ここで簡単に一般的な手法について説明する。補正前の台形が補正後にどのような長方形に変換されるかというような線形変換マトリクスを算出して、該マトリクスを全面に施すことによりあおりの補正を行うというのがパースペクティブ歪みの補正方法の基本方針である（図１３参照）。該マトリクスは以下の式で示すように未知数が８となり８元連立方程式を立てて解くことが必要になる。

ここで図１３のような補正前の４点(x_n, y_n)と補正後の４点(x′_n, y′_n)を指定すればx, yそれぞれにつき４つの方程式、つまり８つの方程式を作ることが可能であり、マトリクスを全て求めることが可能である。なお、添え字のn(0≦n≦4)は各点のインデックス番号を示すものとする。
４点を代入してまとめると以下の連立方程式になる。

得られた数式１のマトリクスの逆行列を求めて、補正後の画像の各画素位置x′_t, y′_tへ乗ずることで補正前の画像における位置x_t, y_tの画素値を求め、補正後の画素値とすることで歪み補正がなされる。

以上で述べたように一般的な台形歪みを行うためには補正前の４点と補正後の４点の座標を指定する必要がある。一方で、特許文献１ではパースペクティブ歪み補正についての触れられているものの具体的な手法が示されていない。

具体的なパースペクティブ歪みの手法としては、例えば、特許文献２や特許文献３では手動で指定する方法が紹介されている。手動で点を指定するのはユーザの負担になるため、自動的に検出する手法も提案されている。例えば、特許文献４では撮影対象を紙に限定し、紙の４辺をエッジ検出により求め、その交点から補正前の４点を求めている。なお、本発明では、補正後の４点の指定方法については、触れられていないが、補正後の画像が長方形であること、および、長方形のアスペクト比が一般的に定まっていることから、簡単に推定できると考えられる。

このように自動的なパースペクティブ歪み補正ができればユーザの利便性は高いと考えられるが、撮像対象が明らかでないといけないという問題点がある。たとえば、対象がホワイトボードであって、ホワイトボードをカメラで撮影する場合、ホワイトボードの縁がどのような形状、画像であるかは明らかではないので４辺を求められるとは限らない。またホワイトボードのアスペクト比は必ずしも決まっていないので、補正後の長方形のアスペクト比も自動的に与えることは難しい。

本発明は以上を鑑みてなされたものである。その目的は撮像対象が定まっていない場合でも、撮影画像にパースペクティブ歪みを適用できるようにすることである。

上記目的を達成するために本発明は、所定の画像を投影面に投影した画像を撮像した撮像画像から、前記所定の画像に対応する画像を探索する探索処理と、前記探索した画像に基づいて前記撮像画像に対するパースペクティブ歪みの補正のパラメータを算出するパラメータ算出処理と、前記算出したパラメータに基づいて、パラメータを算出した後に撮像した撮像画像及び前記撮像画像に対して補正する補正処理と、を実行することを特徴とする。

本発明によれば、撮像対象が定まっていない場合でも、撮影画像にパースペクティブ歪みを適用することが可能となる。

本発明による第一の実施例のシステム構成を示す図である。 第一の実施例におけるユーザのユースケースを示すフローチャートである。 図２のステップＳ１０４の詳細な処理の流れを示すフローチャートである。 図３のステップＳ２０２の詳細な処理の流れを示すフローチャートである。 図４のステップＳ３０４の詳細な処理の流れを示すフローチャートである。 図５のステップＳ４０１の詳細な処理の流れを示すフローチャートである。 図６のステップＳ５０２で用いる微分フィルタの例を示す図である。 図６のステップＳ５０２の処理の概念を説明するための図である。 第二の実施例のシステム構成を示す図である。 第三の実施例のシステム構成を示す図である。 第四の実施例のシステム構成を示す図である。 パースペクティブ歪みの概念を説明するための図である。 パースペクティブ歪み補正の概念を説明するための図である。

（第一の実施例）
以下本発明の好適な適用例について述べる。

（システム構成）
まず、図１を用いてシステムの構成について述べる。本システムは投影面としてのホワイトボード００１、投影手段としてのプロジェクタ００２、制御手段としてのノートＰＣ００３及び撮像手段としてのカメラ００４を含んで構成される。ノートＰＣ００３では投影したい資料を表示するソフトとは別にバックグラウンドで動作する撮像用のソフトウェアが動作しているものとする。

ユーザはノートＰＣ００３内の資料を表示ソフトを通じてプロジェクタ００２により投影する。ユーザはホワイトボードマーカーを使って、投影面たるホワイトボード００１へ手書きを行ったり付箋を貼ったりといったアナログ情報の付加が可能である。ユーザが所定のキーボード操作（例えばＦ１２キーを押した等）を行うと、ユーザが付加したアナログ情報はカメラ００４により撮像され、パースペクティブ歪み補正がノートＰＣ００３内で施され、後で閲覧しやすい形で保存される。

（ユーザのユースケース）
続いて会議においてユーザがどのように本システムを利用するかを図２を用いて説明する。まず会議が始まると、ユーザはプロジェクタから資料を出力して、メンバーらと閲覧したり議論したりする（ステップＳ１０１）。ここでプロジェクタ００２で投影した資料に対して何らかの書き込みがなされるものとする（書き込み自体はホワイトボード００１に対してなされる）。

ここで書き込んだ内容を一切保存したくない場合はそのまま会議を終わり、本システムの出番はない（ステップＳ１０２）。一方保存したい場合、ユーザがカメラを設置し、バックグランドで撮像用のソフトウェアを起動する（ステップＳ１０３）。続いてユーザが所定のキーボード操作を行った場合には、カメラ００４による撮像が行われ、撮像された画像には撮像用のソフトウェアによるパースペクティブ歪みの補正および保存が行われノートＰＣ００３のＨＤＤ内に記録される（ステップＳ１０４）。

以上に述べたようにユーザが特別な動作を行うことなく自動でパースペクティブ歪み補正が実施されるのでユーザの利便性が高い。

また、ここで重要なポイントについて触れる。本実施形態の構成によれば、ホワイトボードに何らかの記載があっても安定して自動的にパースペクティブ歪みを実行することが可能なので、本ユースケースでは会議の途中にカメラやソフトウェアのセットアップを行う例を示した。もし、ホワイトボードがクリアな状態でないと取り込みが行えないとなると、システムを利用するかもしれないからといって、常に会議の最初からシステムを起動しておく必要がある。一方で、本システムの構成ではユーザの利便性が高まるとともに、省エネルギーにもつながるといえる。

（撮影・補正・保存処理（ステップＳ１０４））
続いて図２における撮影・補正・保存処理（ステップＳ１０４）について図３を用いて説明する。ユーザのキーボード操作により撮像命令がなされると、パースペクティブ歪み補正用のマトリクスが算出されているかどうかを判定する（ステップＳ２０１）。もし補正用のマトリクスがすでに算出されているならば、該マトリクスを呼び出す（ステップＳ２０３）だけだが、もしマトリクスが算出されていない場合にはマトリクス算出ステップ（ステップＳ２０２）において補正用のマトリクスが算出される。

どちらかのフローにより得られた補正用マトリクスを用いて、補正ステップ（ステップＳ２０４）では、補正後の画像の各画素位置x′_t, y′_tへ乗ずることで補正前の画像における位置x_t, y_tの画素値を求め、補正後の画素値とすることで歪み補正がなされる。なお、画素値は各画素に対応付けて格納された情報であるため、x_t, y_tは整数値である必要があるが、求められたx_t, y_tは必ずしも整数値にならないため、周辺の画素値で補間する必要がある。補間方法としてはニアレストネイバー法やバイリニア法、バイキュービック法等が一般的である。
補正された画像はノートＰＣ００３のＨＤＤ内に保存される（ステップＳ２０５）。

（マトリクス算出処理（ステップＳ２０２））
続いて図４を用いてマトリクス算出処理（ステップＳ２０２）について説明する。マトリクス算出時にはまず、ノートＰＣ００３のＨＤＤ内に格納されている初期画像を読み出し（ステップＳ３０１）、ホワイトボード００１の投影面全面に該読み出した初期画像を投影するようにプロジェクタ００２へ命令する（ステップＳ３０２）。その後、投影された画像を撮像するようにカメラ００４に対して命令する（ステップＳ３０３）。この動作により撮像された画像には投影された初期画像が含まれ、投影された画像にはパースペクティブ歪みがかかっている。この画像を元の初期画像に変換するようなマトリクスを求めれば良いのである。そのために初期画像を撮像画像の中から探索することで（ステップＳ３０４）、各々の画像における対応する４点を検出し、従来技術で述べたように数式２に代入することで８元連立方程式を算出する。これをＧａｕｓｓ−Ｊｏｒｄａｎ法等で数値解析的に解くと変換マトリクスを求めることができる（ステップＳ３０５）。

なお、予め保存しておく初期画像について、本実施例の構成ではあまり制限がないが、初期画像と撮像画像とで対応する４つのペアを検出する必要があるため、少なくともコーナーが４点取れる画像である必要がある。さらに言えば、コーナーを多数含む方が、後述する選別ステップで精度よく選別を行えるようになるため、コーナーを多く含むようなビジーな画像であることが望ましい。また誤った対応点を検出しにくいように、非周期的な画像であることが望ましい。このような初期画像として、具体的にいうと、多くの様々な形の石が転がった画像や風になびく草原の画像等が挙げられる。そういった自然物の画像の中へ会社のロゴなどの人工的な画像を入れると、画像に非周期性が発露し後段の選別ステップがやりやすくなるので都合がよい。

（探索処理（ステップＳ３０４））
続いて図５を用いて探索処理（ステップＳ３０４）についての説明を行う。探索処理ではまず、ノートＰＣ００３のＨＤＤより読みだした初期画像に対して画像処理を行うことでコーナー検出を行う（ステップＳ４０１）。コーナーの検出方法については後述するが、ここでコーナーの位置、基準角度、基準サイズ、および周辺の特徴量を同時に算出するものとする。同様の処理を撮像した画像に対しても行いコーナーの位置、基準角度、基準サイズ、周辺の特徴量を同時に算出する（ステップＳ４０２）。その後、類似度算出処理（ステップＳ４０３）では初期画像から得られたすべてのコーナーと、撮像画像から得られたすべてのコーナーについて特徴量間のユークリッド距離を算出することで類似度を求め、予め定めた閾値よりも距離が小さい場合に、類似ペアとして保持しておく。ここで得られた類似ペアは、初期画像画像、撮像画像それぞれから対応する点が対になって保存されることが理想的であるが、実際には対応しない点のペアも多く検出される。そのためペアの選別処理（ステップＳ４０４）で対応しない点のペアを振るい落とす。

（初期画像コーナー検出処理（ステップＳ４０１））
以下、初期画像コーナー検出処理（ステップＳ４０１）について図６を用いて説明する。本ステップの動作は、概ね非特許文献１記載の方法と同じであるが、以下でその概略について述べる。

まず、入力画像に対して画像処理を施し、基準サイズの検出とコーナーの位置検出を同時を行う（ステップＳ５０１）。該ステップにおいては入力画像に対して段階的に標準偏差を変化させたガウシアンフィルタ５枚（σ₀〜σ₄）を施して、ぼかし画像を複数枚得る。各ぼかし画像において輝度的な極値を取る点で、かつこの点が連続するぼかし画像において極値である点をコーナー候補として検出するとともに、極値が得られたフィルタの標準偏差σ_nを基準サイズとして保持する。

その後コーナー選別を行って得られたコーナー候補から該位置における変動が少ないもの、変動が１方向にのみ起こっているものを振るい落とす（ステップＳ５０２）。
さらに基準角度算出処理（ステップＳ５０３）では周辺の濃度勾配が最も大きい方向を基準角度として以下のように算出する。
画像の画素値L(u, v)、勾配強度m(u, v)、勾配方向θ(u, v)とすると、それぞれは以下の様に算出できる。

その後、勾配方向θ(u, v)を１０度ずつ、３６方向に離散化したヒストグラムを用意する。該ヒストグラムには、勾配強度m(u, v)に対し、注目画素を中心とするガウシアンを掛け合わせた値を加算していく。該ヒストグラムに於いて最も大きな値を示す角度が最も変動が大きい方向、つまり基準方向となる。

特徴量算出処理（ステップＳ５０４）では入力画像においてコーナーを中心として基準方向を上、コーナー近辺の半径2σ_nとなる領域を切り出し、一辺４ブロックの計１６ブロックに分割する。ブロックごとに４５度ずつ、８方向の勾配ヒストグラムを作成することにより、４×４×８＝１２８次元の特徴量が得られる。

（コーナー選別処理（ステップＳ５０２））
該選別の方法は非特許文献２に記載されたものであるが、本発明の効果を説明するために簡単に説明する。

まず各画素に対して、例えば図７に示すような、縦方向の２次微分と横方向の２次微分、及び縦横方向の微分フィルタを画像へ適用することで、縦方向、横方向、縦横方向の変動を示すような応答を求め、ヘシアンマトリクスを作成する。

その固有値を求めると、最も変動の大きい方向とその変動成分αが求まる。同様に、該方向に直行する方向の変動成分βも求めることができる。この時画像の構造に対してαとβがどのような値になるかの関係は図８のように示せる。なお、α≧βなので斜線部は存在しない。小さい方の変動βが十分に大きい場合、注目画素の周辺は少なくとも２つの方向に対して大きく変動しているということがいえるのでは該領域は、何もない領域ではなく、単純なエッジでもない。つまり、コーナーとして検出できる。

縦横方向に変動のある領域をコーナーとして検出すると斜め方向への変動を検出することができない。一方で斜め方向の変動を検出するために様々な方向の変動を検出すると非効率的であるが、固有値を求めて小さい方の変動βを調べると、最も変動が大きい方向に直行する変動が一意に求まる。小さいほうの変動が十分に大きければコーナーと判定することで、様々な向きを向いたコーナーを効率よく検出できるため、コーナー検出のための計算コストが小さくなる。

（撮像画像コーナー検出処理（ステップＳ４０２））
撮像画像コーナー検出処理（ステップＳ４０２）では初期画像コーナー検出処理（ステップＳ４０１）とまったく同様の動作を撮像画像に対して行うことで、コーナーの位置、基準角度、基準サイズ、および周辺特徴量を算出する。

（ペアの選別処理（ステップＳ４０４））
ペアの選別処理（ステップＳ４０４）では非特許文献１に記載されているようなＨｏｕｇｈ変換ライクな処理を行って、正しく対応の取れていないペアを振るい落とす。

ここまでに述べたように、コーナーについて基準角度と基準サイズが求まっているので、撮像画像に含まれるコーナー一つから、撮像画像において初期画像がどのような姿勢にいるかを推定できる。この推定値を量子化し、多くのコーナーによって推定された姿勢が正しい姿勢であり、その他の姿勢を導き出したコーナーは正しくないコーナーとして振るい落とす。以上のように推定姿勢の多数決で正しくないコーナーを振るい落とすので、初期画像から検出されるコーナーは多い方が良いので、ビジーな画像が望ましい。
該推定された姿勢における４隅が補正マトリクス算出に必要な４点となる。

以上のように、撮像画像に含まれる初期画像と初期画像とのマッチングを取ることでパースペクティブ歪みの補正を行っているが、このマッチングをコーナーを利用して行うことで様々なメリットがある。
まず、画像全面を比べるわけではないので計算コストが小さくて済むというメリットがある。
また、各コーナーに対して基準角度を計算しているので回転が発生しても、安定して自動パースペクティブ歪み補正を行うことができる。
また、各コーナーごとに基準サイズを算出しているので撮像距離と投影面との距離が会議ごとに変化しても安定して自動パースペクティブ歪み補正を行うことができる。
また、何よりも大きいのは画像全面を比べずに局所だけを見てマッチングを取るので、投影画像における初期画像と、初期画像との見た目が一部大きく変わっていても全く問題なく自動パースペクティブ歪み補正を行うことができるというメリットがある。これにより、たとえば、会議の途中で本システムを利用したい場合に、すでにホワイトボードに何らかの記載があっても問題なく、自動パースペクティブ歪み補正を施すことができる。

（第二の実施例）
第二の実施例の動作は第一の実施例とまったく同じであるが、図９のようにシステムを構成する要素が異なる。図９に示すように、本実施例は、第一の実施例のシステムに存在していたカメラ００４がプロジェクタ１０２の構成部品として含まれる構成となる。

（第三の実施例）
第三の実施例の動作は第一の実施例とまったく同じであるが、図１０のようにシステムを構成する要素が異なる。図１０に示すように、本実施例は、第一の実施例のシステムに存在していたノートＰＣ００３とカメラ００４がスマートフォン２０３の構成要素として含まれる構成となる。一般にスマートフォンにはＣＰＵが搭載されており、第一の実施例で示したような画像処理を行うことは十分に可能である。またカメラが搭載された機種も珍しくないため、この構成で上記実施例と同等の効果を十分に得ることが可能である。

（第四の実施例）
第四の実施例の動作は第一の実施例とまったく同じであるが、図１１のようにシステムを構成する要素が異なる。図１１に示すように、本実施例は、第一の実施例のシステムに存在していノートＰＣ００３とカメラ００４とプロジェクタ００２がスマートフォン３０２の構成要素として含まれる構成となる。一般にスマートフォンにはＣＰＵが搭載されており、第一の実施例で示したような画像処理を行うことは十分に可能である。またカメラが搭載された機種も珍しくない、さらにプロジェクタ機能を搭載したスマートフォンも近年登場しており、この構成で上記実施例と同等の効果を十分に得ることが可能である。

（実施例の作用効果）
上記実施例では投影した画像と撮像した画像のマッチングをとって歪み補正を行うが、投影画像のアスペクト比がわかっているため、投影面の形状、色によらず安定したパースペクティブ歪み補正が自動で行えるため、ユーザの利便性が高い。

また、上記実施例では、初期画像と撮像した画像に含まれる初期画像に対応する画像とのマッチングをコーナーでのみ行うため、自動パースペクティブ歪みの計算量が少なくて済む。

また、上記実施例では、コーナーを多く含むようなビジーな画像を初期画像として採用することが好ましい。パースペクティブ歪み補正に最低限必要なコーナーのペアは４ペアであるが、そこに冗長性を持たせることにより、いくつかのコーナーペアが検出できない場合でも安定して自動パースペクティブ歪み補正が行える。つまり投影面に何かが書いてあったり、また何かが映り込んだりといった場合にも安定して自動パースペクティブ歪み補正が行える。

また、上記実施例では、複数の解像度でコーナー検出を行うことで、様々な撮像手段と投影面との距離で安定した自動パースペクティブ歪み補正が行える。

また、上記実施例では、コーナー検出処理により、基準角度、基準サイズがわかっているので、コーナー１点から、コーナーを検出した画像の向きが推定可能である。間違いを含む複数のコーナーから画像の向きを推定すれば、正しい向きの推定結果が多数出力され、正しくない向きの推定結果は少数しか出力されない。ここから、推定結果の多数決をとればペア検出時に間違いがあっても正しいものだけが選別され、自動でのパースペクティブ歪み補正の精度が高くなる。

ある位置においてヘシアンマトリクスの固有値をα，β（α＞β）とすると、βが小さい領域は一つの方向に濃度勾配が大きい領域であり、βが大きい領域は２つの方向に濃度勾配が大きい領域である。上記実施例によれば、様々な向きを向いたコーナーを効率よく検出できるため、コーナー検出のための計算コストが小さくなる。

００１ ホワイトボード
００２ プロジェクタ
００３ ノートＰＣ
００４ カメラ

特開２００４−２３９９６７号公報 特開２００１−０８４３６５号公報 特開２００６−１２９５１１号公報 特開２００８−０１４９７６号公報

David G. Lowe "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision, 2004 C. Harris and M. Stephens (1988). "A combined corner and edge detector"

Claims (8)

1. 所定の画像を投影面に投影した画像を撮像した撮像画像から、前記所定の画像に対応する画像を探索する探索処理と、
   前記探索した画像に基づいて前記撮像画像に対するパースペクティブ歪みの補正のパラメータを算出するパラメータ算出処理と、
   前記算出したパラメータに基づいて、パラメータを算出した後に撮像した撮像画像及び前記撮像画像に対して補正する補正処理と、
   を実行することを特徴とする画像処理システム。
2. 前記探索処理は、
   前記所定の画像と前記撮像画像のそれぞれに対してコーナーを検出するコーナー検出処理と、
   前記検出されたそれぞれのコーナーの類似度を算出する類似度算出処理と、
   前記類似度が高いコーナーのペアの中で、信頼度の高いペアを選別する選別処理と、
   を含むことを特徴とする、請求項１記載の画像処理システム。
3. 前記所定の画像は、前記コーナー検出処理でコーナーが少なくなくとも５検出される画像であることを特徴とする請求項２記載の画像処理システム。
4. 前記コーナー検出処理では、複数の解像度におけるコーナー検出を行い、基準サイズを算出することを特徴とする請求項２又は３記載の画像処理システム。
5. 前記コーナー検出処理では、コーナー近辺の画像輝度勾配に基づいてコーナーの基準方向を算出することを特徴とする請求項４記載の画像処理システム。
6. 前記コーナー検出処理は、コーナー周辺の基準方向と基準サイズに応じた局所特徴量を算出する処理を含み、
   前記類似度算出処理は、算出した前記局所特徴量の類似度に応じて類似度を算出し、
   前記選別処理は、類似度の高いペアを構成するコーナーの基準方向と基準サイズから、前記撮像画像における前記所定の画像の姿勢を推定する推定処理と、
   同じ姿勢が推定されるコーナーの数の多数決によりペアの選定をする処理と、を含む
   ことを特徴とする請求項５記載の画像処理システム。
7. 前記コーナー検出処理は、注目点の周辺の２×２ヘシアンマトリクスの固有値の小さいものが閾値よりも大きい点をコーナーとして検出することを特徴とする請求項２から６のいずれか１項記載の画像処理システム。
8. コンピュータに、
   所定の画像を投影面に投影した画像を撮像した撮像画像から、前記所定の画像に対応する画像を探索する探索処理と、
   前記探索した画像に基づいて前記撮像画像に対するパースペクティブ歪みの補正のパラメータを算出するパラメータ算出処理と、
   前記算出した前記パラメータに基づいて、パラメータを算出した後に撮像した撮像画像及び前記撮像画像に対して補正する補正処理と、
   を実行させることを特徴とする画像処理プログラム。