JP2008299510A - 撮影装置及びそのコンピュータプログラム - Google Patents

Abstract

【課題】固定小数点演算により補間演算を実行する際、処理速度を低下させない範囲で最大の補間分解能を得る。
【解決手段】書画カメラ１が、割算器の桁数Ｈとアフィン逆変換を行った際の補正画像の最大座標値（ｕｍ，ｖｍ）の桁数（Ｎｘ，Ｎｙ）の差分値Ｐを算出し、算出された差分値Ｐだけアフィン逆変換の固定小数点部の桁数をシフトする。これにより、アフィン逆変換の際の桁数が割算器の桁数を超えることがないので、補間演算が破綻することを防止できる。また補間演算が破綻することを補償するために種々の処理を行う必要がなくなるので、処理速度の低下を抑制できる。また処理速度を低下させない範囲で最大の補間分解能を得ることができるので。補間分解能が落ち、補正画像の画質が損なわれることを防止できる。
【選択図】図１

Description

本発明は、原稿台に載置された原稿を原稿台と共に撮影し、プロジェクタを用いてスクリーン上に原稿画像を投影する撮影装置及びそのコンピュータプログラムに関する。

従来より、原稿台に載置された原稿を原稿台と共に撮影し、プロジェクタを用いてスクリーン上に原稿画像を投影する撮影装置が知られている。このような撮影装置の中には、原稿が原稿台上に斜めに載置された場合、原稿を正面から見た画像（以下、補正画像と表記）になるように原稿画像に対し補正を行う機能を有するものがある（特許文献１参照）。具体的には、この撮影装置は、始めに、原稿形状が長方形であり、原稿形状の情報を取得できることを前提として、原稿画像の輪郭を抽出し、原稿画像の輪郭と予め定義された補正画像の形状の対応関係からアフィン変換用のパラメータを計算する。

次に撮影装置は、アフィン変換用のパラメータからアフィン逆変換用のパラメータを計算し、アフィン逆変換用のパラメータを用いて補正画像を構成する各画素の座標をアフィン逆変換することにより、補正画像を構成する各画素が原稿画像のどの位置に対応するのかを計算する。そして撮影装置は、補正画像の画素と原稿画像の画素の位置関係に基づいて、補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算し、補間演算された画素値を補正画像の画像データとして表示出力する。
特開２００６−１１５３３４号公報

補正画像を構成する各画素の座標値（整数値）は、原稿画像が傾いているために原稿画像を構成する各画素の間の座標値（非整数値）となる（図４（ａ），（ｂ）参照）。このため従来の撮影装置は、浮動小数点演算により補間演算を行っており、浮動小数点演算を行うための専用の装置を有さない安価なプロセッサにより補間演算を行うことは困難であった。

このような問題を解決するために固定小数点演算により補間演算を行う方法が考えられる。ところが固定小数点演算により補間演算を行う場合には、補間のための分解能に相当する分だけ桁数を下位に増やす（ビットシフトする）必要があるために、アフィン逆変換の際の桁数が割算器の桁数を超え、補間演算が破綻することがある。

また補間演算が破綻することを補償するために種々の処理を行うようにした場合には、処理速度が低下する。さらに補間演算が破綻することを回避するためにビットシフトの桁数を少なくした場合には、補間精度（補間分解能）が落ち、補正画像の画質が損なわれる。

本発明は、上記課題を解決するためになされたものであり、その目的は、固定小数点演算により補間演算を実行する際、処理速度を低下させない範囲で最大の補間分解能を得ることが可能な撮影装置及びそのコンピュータプログラムを提供することにある。

本発明の第１の態様に係る撮影装置は、原稿を撮影する撮影部と、撮影部により撮影された撮影画像から原稿に対応する原稿画像を取得し、原稿画像の形状を変換により補正して補正画像を生成し、変換の逆変換により補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する画像処理部と、画像処理部により補間演算された画素値にしたがって補正画像を出力する出力部とを備え、画像処理部は、所定桁数の割算器を備え、補間演算を実行する際、割算器の桁数と逆変換の際に必要となる桁数の差分を算出し、算出された差分に応じて補間演算の分解能を決定する。

本発明の第２の態様に係る撮影装置は、原稿を撮影する撮影部と、撮影部により撮影された撮影画像から原稿に対応する原稿画像を取得し、原稿画像の形状を変換により補正して補正画像を生成し、変換の逆変換により補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する画像処理部と、画像処理部により補間演算された画素値にしたがって補正画像を出力する出力部とを備え、画像処理部は、出力部の出力画像サイズに応じて補間演算の分解能を決定する。

本発明の第１の態様に係る撮影装置のコンピュータプログラムは、原稿を撮影する処理と、撮影された撮影画像から原稿に対応する原稿画像を取得する処理と、原稿画像の形状を変換により補正して補正画像を生成する処理と、割算器の桁数と変換の逆変換の際に必要となる桁数の差分を算出し、算出された差分に応じて補間演算の際の分解能を決定する処理と、決定した分解能で逆変換により補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する処理と、補間演算された画素値にしたがって補正画像を出力する処理とをコンピュータに実行させる。

本発明の第２の態様に係る撮影装置のコンピュータプログラムは、原稿を撮影する処理と、撮影された撮影画像から原稿に対応する原稿画像を取得する処理と、原稿画像の形状を変換により補正して補正画像を生成する処理と、出力部の出力画像サイズに応じて補間演算の際の分解能を決定する処理と、決定した分解能で前記逆変換により補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する処理と、補間演算された画素値にしたがって補正画像を出力する処理とをコンピュータに実行させる。

本発明に係る撮影装置及びそのコンピュータプログラムによれば、固定小数点演算により補間演算を実行する際、割算器の桁数と変換の逆変換の際に必要となる桁数の差分、又は出力部の出力画像サイズに応じて、補間分解能を決定するので、処理速度を低下させない範囲で最大の補間分解能を得ることができる。

以下、本発明の一実施形態となる撮影装置の構成について詳しく説明する。

〔撮影装置の構成〕
始めに、図１乃至図３を参照して、本発明の一実施形態となる撮影装置の構成について説明する。

本発明の一実施形態となる撮影装置は、図１に示すように、書画カメラ１と、ビデオ映像ケーブル２を介して書画カメラ１に電気的に接続されたプロジェクタ３とを主な構成要素として備える。書画カメラ１は、撮影対象を撮影するためのカメラシステムであり、カメラ部４，カメラ部４が取り付けられる支柱５，及び原稿６が載置される原稿台７を備える。プロジェクタ３は、カメラ部４から供給されるＲＧＢ信号を投影光に変換し、投影光をスクリーン８に照射することにより、書画カメラ１により撮影された撮影対象の画像（出力画像）をスクリーン８上に結像させる。

カメラ部４は、図２に示すように、画像データ生成部１１とデータ処理部１２を備える。画像データ生成部１１は、光学レンズ装置１３とイメージセンサ１４を備え、撮影対象の画像データを取り込む。光学レンズ装置１３は、原稿６を撮影するために光を集光するレンズ等で構成され、焦点，露出，ホワイトバランス等のカメラ設定パラメータを調整するための周辺回路を備える。イメージセンサ１４は、ＣＣＤ等により構成され、光学レンズ装置１３が光を集光することによって結像した画像をデジタル化して画像データとして取り込む。

画像データ生成部１１は、高解像度画像撮影と低解像度画像撮影が可能なように構成されている。低解像度画像撮影とは、例えば画像解像度がＸＧＡ（１０２４×７６８ドット）程度での撮影である。低解像度画像撮影によれば、解像度は低いものの、画像を３０ｆｐｓ（フレーム/秒）の速さで動画撮影と画像読み出しが可能になる。一方、高解像度画像撮影とは、撮影可能な最大の画素数、例えば４００万画素（２３０４×１７２８）のカメラである場合はその４００万画素での画像撮影である。高解像度画像撮影によれば、画像データの読み取りは遅くなるものの、低解像度画像撮影と比較して解像度の高い画像を得ることができる。

データ処理部１２は、メモリ１５，ビデオ出力装置１６，画像処理装置１７，操作部１８，プログラムコード記憶装置１９，及びＣＰＵ２０を備え、画像データ生成部１１から取得した画像データに対しプロジェクタ３に出力するための画像処理を行う。メモリ１５は、図３に示すように、センサ画像記憶領域２１ａ，２１ｂと、処理画像記憶領域２２と、表示画像記憶領域２３と、作業データ記憶領域２４と、閾値記憶領域２５とを有し、画像データ，各種フラグの値，閾値等を記憶する。

センサ画像記憶領域２１ａ，２１ｂは、イメージセンサ１４が取り込んだ画像データを撮影する毎に交互に一時記憶するための領域である。イメージセンサ１４は画像データをセンサ画像記憶領域２１ａ，２１ｂに交互に記憶し、画像処理装置１７とＣＰＵ２０は一時記憶された画像データをセンサ画像記憶領域２１ａ，２１ｂから交互に読み出す。処理画像記憶領域２２は、画像処理装置１７が処理に必要な画像データを書き込むための領域である。作業データ記憶領域２４は、座標データや各種フラグを記憶するための領域である。閾値記憶領域２５は、各種判定に用いる閾値を記憶するための領域である。

ビデオ出力装置１６は、メモリ１５の表示画像記憶領域２３に記憶された画像データに基づいてＲＧＢ信号を生成し、生成したＲＧＢ信号をプロジェクタ３に出力する。画像処理装置１７は、ＣＰＵ２０に制御されて、メモリ１５のセンサ画像記憶領域２１ａ，２１ｂに一時記憶された画像データに対し画像処理を行う。操作部１８は、図示しないが、電源スイッチ，拡大キー，縮小キー，左移動キー，右移動キー，上移動キー，下移動キー，補正有効スイッチ等を備え、ユーザの操作情報を取得する。プログラムコード記憶装置１９は、ＲＯＭ等の記憶装置により構成され、ＣＰＵ２０が実行するコンピュータプログラムを格納する。ＣＰＵ２０は、桁数Ｈの割算器を備え、プログラムコード記憶装置１９に格納されているコンピュータプログラムに従って各部を制御する。

〔補正処理〕
このような構成を有する撮影装置は、原稿台７上に原稿６が斜めに載置された場合、具体的には操作部１８の補正有効スイッチが有効に設定されている場合、以下に示す補正処理を実行することにより、出力画像が原稿６を正面から見た画像（以下、補正画像と表記）になるように原稿画像に対し画像処理を行う。以下図５に示すフローチャートを参照して、この補正処理を実行する際の撮影装置の動作について説明する。

図５に示すフローチャートは、ユーザが操作部１８を操作することにより原稿画像の撮影開始を指示したタイミングで開始となり、補正処理はステップＳ１の処理に進む。なお以下に示す各部の動作は、ＣＰＵ２０がプログラムコード記憶装置１９内に記憶されているコンピュータプログラムを読み出し、コンピュータプログラムにしたがって各部を制御することにより実現される。

ステップＳ１の処理では、ＣＰＵ２０が、ビデオ映像ケーブル２を介してカメラ部４に接続されているプロジェクタ３を検出する。これにより、ステップＳ１の処理は完了し、補正処理はステップＳ２の処理に進む。

ステップＳ２の処理では、ＣＰＵ２０が、ステップＳ１の処理により検出されたプロジェクタ３において設定されている出力画像のサイズ（例えばＶＧＡ，ＸＧＡ，ＵＸＧＡ等）を検出する。これにより、ステップＳ２の処理は完了し、補正処理はステップＳ３の処理に進む。

ステップＳ３の処理では、ＣＰＵ２０が、光学レンズ装置１３とイメージセンサ１４を制御することにより、原稿台７の上に載置されている原稿６の画像を原稿台６と共に撮影し、撮影画像のデータをセンサ画像記憶領域２１ａ又はセンサ画像記憶領域２１ｂに記憶する。なお図６に示すように、原稿台７の上に載置されている原稿６の画像を撮影することにより得られる撮影画像Ｒには、原稿６に対応する原稿画像領域Ｒ１と原稿台７表面に対応する画像領域（原稿画像領域Ｒ１以外の領域）が含まれる。これにより、ステップＳ３の処理は完了し、補正処理はステップＳ４の処理に進む。

ステップＳ４の処理では、画像処理装置１７が、センサ画像記憶領域２１ａ又はセンサ画像記憶領域２１ｂに記憶されている撮影画像のデータを処理画像記憶領域２２に読み出す。そして画像処理装置１７は、公知のエッジ検出技術を利用して、図７に示すように原稿画像領域Ｒ１の輪郭に対応するエッジ画像Ｅを抽出し、抽出されたエッジ画像Ｅのデータを作業データ記憶領域２４に記憶する。なおエッジ検出技術は本願発明の出願時点で既に公知の技術であるのでその詳細な説明は省略するが、例えばRobertsフィルタと呼ばれるエッジ検出用のフィルタを利用するとよい。これにより、ステップＳ４の処理は完了し、補正処理はステップＳ５の処理に進む。

ステップＳ５の処理では、ＣＰＵ２０が、作業データ記憶領域２４に記憶されているエッジ画像Ｅのデータとプロジェクタ３の出力画像（補正画像）の形状の対応関係を利用して、以下の数式１に示すような原稿画像（ＸＹＺ座標系，座標値（ｘ，ｙ，ｚ））を補正画像（ＵＶＷ座標系，座標値（ｕ，ｖ，１）にアフィン変換するためのアフィン変換用パラメータ（以下、アフィン係数と表記）Ａを計算し、計算されたアフィン係数Ａのデータを作業データ記憶領域２４に記憶する。なお本実施形態では、補正画像の座標値はｗ座標値により規格化されている。またアフィン係数Ａの計算方法は本願発明の出願時点で既に公知の技術であるのでその詳細な説明は省略する。これにより、ステップＳ５の処理は完了し、補正処理はステップＳ６の処理に進む。

ステップＳ６の処理では、ＣＰＵ２０が、作業データ記憶領域２４に記憶されているエッジ画像Ｅのデータを利用して原稿画像のアスペクト比（ｙ／ｘ）を算出する。そしてＣＰＵ２０は、原稿画像のアスペクト比とステップＳ２の処理により検出された出力画像のサイズを参照して原稿画像をアフィン変換することにより得られる補正画像の最大座標値（ｕｍ，ｖｍ）（図８参照）を計算する。これにより、ステップＳ６の処理は完了し、補正処理はステップＳ７の処理に進む。

ステップＳ７の処理では、ＣＰＵ２０が、作業データ記憶領域２４からアフィン係数Ａのデータを読み出し、読み出されたアフィン係数Ａを利用して以下の数式２，３に示すような補正画像を原稿画像にアフィン逆変換するためのアフィン逆変換パラメータＡ^−１を計算する。そしてＣＰＵ２０は、計算されたアフィン逆変換パラメータＡ^−１を利用して以下の数式４に示されるアフィン逆変換を行った際の最大座標値（ｕｍ，ｖｍ）の桁数（Ｎｘ，Ｎｙ）を計算する。これにより、ステップＳ７の処理は完了し、補正処理はステップＳ８の処理に進む。

ステップＳ８の処理では、ＣＰＵ２０が、ステップＳ７の処理により計算された桁数（Ｎｘ，Ｎｙ）を以下の数式５に代入することにより、アフィン逆変換を行う際の固定小数点部のシフト桁数Ｐとして、割算器の桁数ＨとステップＳ７の処理により計算された桁数（Ｎｘ，Ｎｙ）の最大値Ｍａｘ［Ｎｘ，Ｎｙ］の差分値を計算する。これにより、ステップＳ８の処理は完了し、補正処理はステップＳ９の処理に進む。

ステップＳ３０の処理では、ＣＰＵ２０が、以下の数式６に示すように、ステップＳ８の処理により計算されたシフト桁数Ｐだけアフィン逆変換の固定小数点部（数式４参照）の桁数をシフトする。このシフト桁数Ｐは、補間分解能に相当し、値が大きい程、補間処理の精度が向上し、補正画像の画質を向上させることができる。これにより、ステップＳ９の処理は完了し、補正処理はステップＳ１０の処理に進む。

ステップＳ１０の処理では、ＣＰＵ２０が、数式６を利用して補正画像を構成する各画素が原稿画像のどの位置に対応するのかを計算し、補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する。そしてＣＰＵ２０は、補間演算された補正画像の各画素の値を表示画像記憶領域２３に記憶する。これにより、ステップＳ１０の処理は完了し、補正処理はステップＳ１１の処理に進む。

ステップＳ１１の処理では、ビデオ出力装置１６が、表示画像記憶領域２３に記憶されている補正画像の画素値にしたがってＲＧＢ信号を生成し、生成されたＲＧＢ信号をプロジェクタ３に出力する。プロジェクタ３は、ＲＧＢ信号を投影光に変換し、投影光をスクリーン８に照射することにより、スクリーン８上に補正画像を結像させる。これにより、ステップＳ１１の処理は完了し、補正処理はステップＳ１２の処理に進む。

ステップＳ１２の処理では、ＣＰＵ２０が、ユーザが操作部１８を操作することにより原稿画像の撮影終了を指示したか否かを判別する。そして判別の結果、ユーザが原稿画像の撮影終了を指示した場合、ＣＰＵ２０は一連の補正処理を終了する。一方、ユーザが原稿画像の撮影終了を指示していない場合には、ＣＰＵ２０は補正処理をステップＳ３の処理に戻す。なおＣＰＵ２０は、ステップＳ３〜ステップＳ１２の処理が一定のフレームレートで繰り返し実行されるように各処理を制御する。

以上の説明から明らかなように、本発明の一実施形態となる撮影装置では、補間演算を実行する際、ＣＰＵ２０が、割算器の桁数Ｈとアフィン逆変換を行った際の補正画像の最大座標値（ｕｍ，ｖｍ）の桁数（Ｎｘ，Ｎｙ）の差分値Ｐを算出し、算出された差分値Ｐだけアフィン逆変換の固定小数点部の桁数をシフトする。すなわち、本発明の一実施形態となる撮影装置では、ＣＰＵ２０が、割算器の桁数Ｈを超えない範囲でアフィン逆変換の固定小数点部の桁数をシフトする。

このような撮影装置の構成によれば、アフィン逆変換の際の桁数が割算器の桁数を超えることがないので、補間演算が破綻することを防止できる。また補間演算が破綻することを補償するために種々の処理を行う必要がなくなるので、処理速度の低下を抑制できる。また処理速度を低下させない範囲で最大の補間分解能を得ることができるので。補間分解能が落ち、補正画像の画質が損なわれることを防止できる。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明は、原稿台に載置された原稿をカメラで撮影し、撮影された原稿画像をプロジェクタを用いてスクリーン上に投影する撮影装置に適用することができる。

本発明の一実施形態となる撮影装置の構成を示す模式図である。 図１に示す書画カメラの内部構成を示すブロック図である。 図１に示すメモリの内部構成を示すブロック図である。 補正画像をアフィン逆変換した際の補正画像の画素と原稿画像の画素の位置関係を示す模式図である。 本発明の一実施形態となる補正処理の流れを示すフローチャート図である。 書画カメラにより撮影される画像の一例を示す模式図である。 図６に示す撮影画像から抽出されるエッジ画像の一例を示す模式図である。 アフィン逆変換を説明するための原稿画像と補正画像の対応関係を示す模式図である。

符号の説明

１：書画カメラ
２：ビデオ映像ケーブル
３：プロジェクタ
４：カメラ部
５：支柱
６：原稿
７：原稿台
８：スクリーン
１１：画像データ生成部
１２：データ処理部
１３：光学レンズ装置
１４：イメージセンサ
１５：メモリ
１６：ビデオ出力装置
１７：画像処理装置
１８：操作部
１９：プログラムコード記憶装置
２０：ＣＰＵ
２１ａ，２１ｂ：センサ画像記憶領域
２２：処理画像記憶領域
２３：表示画像記憶領域
２４：作業データ記憶領域
２５：閾値記憶領域

Claims (4)

1. 原稿を撮影する撮影部と、
   前記撮影部により撮影された撮影画像から前記原稿に対応する原稿画像を取得し、当該原稿画像の形状を変換により補正して補正画像を生成し、前記変換の逆変換により補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する画像処理部と、
   前記画像処理部により補間演算された画素値にしたがって補正画像を出力する出力部とを備え、
   前記画像処理部は、所定桁数の割算器を備え、補間演算を実行する際、割算器の桁数と前記逆変換の際に必要となる桁数の差分を算出し、算出された差分に応じて補間演算の分解能を決定することを特徴とする撮影装置。
2. 原稿を撮影する撮影部と、
   前記撮影部により撮影された撮影画像から前記原稿に対応する原稿画像を取得し、当該原稿画像の形状を変換により補正して補正画像を生成し、前記変換の逆変換により補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する画像処理部と、
   前記画像処理部により補間演算された画素値にしたがって補正画像を出力する出力部とを備え、
   前記画像処理部は、前記出力部の出力画像サイズに応じて補間演算の分解能を決定することを特徴とする撮影装置。
3. 原稿を撮影する処理と、
   撮影された撮影画像から前記原稿に対応する原稿画像を取得する処理と、
   前記原稿画像の形状を変換により補正して補正画像を生成する処理と、
   割算器の桁数と前記変換の逆変換の際に必要となる桁数の差分を算出し、算出された差分に応じて補間演算の際の分解能を決定する処理と、
   決定した分解能で前記逆変換により当該補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する処理と、
   補間演算された画素値にしたがって補正画像を出力する処理と
   をコンピュータに実行させることを特徴とする撮影装置のコンピュータプログラム。
4. 原稿を撮影する処理と、
   撮影された撮影画像から前記原稿に対応する原稿画像を取得する処理と、
   前記原稿画像の形状を変換により補正して補正画像を生成する処理と、
   出力部の出力画像サイズに応じて補間演算の際の分解能を決定する処理と、
   決定した分解能で前記逆変換により当該補正画像を構成する各画素の値を原稿画像を構成する各画素の値から補間演算する処理と、
   補間演算された画素値にしたがって補正画像を出力する処理と
   をコンピュータに実行させることを特徴とする撮影装置のコンピュータプログラム。

Images