JP7793457B2 - 画像処理装置および方法、プログラム - Google Patents

Description

本発明は、画像処理装置および方法、プログラムに関する。

映像制作の現場では複数の撮像装置を用いて撮影が行われるケースがある。同じ被写体を撮影しても、使用する撮像装置やレンズの個体差や環境照明の違いなどによって、撮像装置から得られる色や輝度の特性が異なる。撮像装置から出力される撮影画像の特性を合わせるため、チャートを用いた色合わせ手法が存在する。

特許文献１には、チャートの撮影により取得したチャート撮影画像からパッチ情報を抽出する画像処理装置が開示されている。特許文献１では、チャートの４頂点と撮影画像中のチャートの４頂点の座標から変換行列が算出され、チャートの各パッチの中心座標と変換行列とから、撮影画像中の全パッチの中心座標が求められる。そして、全パッチが重ならず抽出可能となったら抽出範囲の画素値が取得される。

特開２０１５－２２６２１９号公報

しかしながら、抽出範囲とパッチとの位置ずれ、圧縮ノイズ、ランダムノイズ等に起因して、抽出範囲に画素ばらつきが発生する可能性がある。色合わせを行う際、画素ばらつきを含んだデータに基づくと色合わせの精度が低下し、チャート再選択や画像再取得等が必要となって作業性が低下するという問題があった。

本発明は、画像内のある領域を特定する際に、その領域に対応する範囲の指定の適否を容易に認識させることを目的とする。

上記目的を達成するために本発明は、複数のパッチを含むチャートを撮像した撮影画像を取得する第１の取得手段と、前記第１の取得手段により取得された撮影画像を表示部に表示させる制御手段と、ユーザ操作に基づき、前記複数のパッチに対応させるための複数の抽出範囲を指定する指定手段と、前記撮影画像における、前記指定手段により指定された各抽出範囲の画素値を取得する第２の取得手段と、前記第２の取得手段により取得された画素値から、前記各抽出範囲について所定の条件を満たすか否かを判定する判定手段と、を有し、前記制御手段は、前記判定手段による判定結果に基づく表示態様で、前記表示部に前記複数の抽出範囲を表示させることを特徴とする。

本発明によれば、特定の領域に対応する抽出範囲の指定の適否を容易に認識させることができる。

画像処理装置の主要部のブロック図である。 表示部に表示される画像イメージを示した図である。 抽出範囲の指定途中における表示部の表示例を示す図である。 抽出範囲の指定完了後における表示部の表示例を示す図である。 チャート位置情報の描画例を示す図である。 １つの矩形範囲を示す図である。 抽出範囲描画処理を示すフローチャートである。 抽出範囲描画処理を示すフローチャートである。 チャート画像の変形例を示す図である。

以下、図面を参照して本発明の実施の形態を説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る画像処理装置の主要部のブロック図である。この画像処理装置は、表示部１００と、制御部１０１と、画素値抽出部１０２と、画素値判定部１０３とを有する。画像処理装置は、いずれも不図示のＣＰＵ、ＲＯＭ、ＲＡＭ等を含む。ＲＯＭには、ＣＰＵにより実行される制御プログラムが格納されている。ＲＡＭは、ＣＰＵが制御プログラムを実行する際のワークエリアを提供する。制御部１０１、画素値抽出部１０２および画素値判定部１０３の機能は、上記ＣＰＵ、ＲＯＭ、ＲＡＭ等の協働により実現される。

図２は、表示部１００に表示される画像イメージを示した図である。表示部１００には、撮影画像１１０および複数のチャート位置情報１１３が表示されている。撮影画像１１０は、複数の測定用画像であるパッチを含むオリジナルのチャートが印刷された印刷物（不図示）を撮影することで取得された画像データである。撮影画像１１０は、第１の取得手段としての制御部１０１、画素値抽出部１０２および画素値判定部１０３によって取得される。

撮影画像１１０には、上記チャートに対応するチャート画像１１１が含まれる。チャート画像１１１には、パッチ画像１１２およびフレーム画像１１４が含まれる。フレーム画像１１４は、チャート画像１１１のうちパッチ画像１１２を除く領域の画像である。パッチ画像１１２は、チャートに含まれるパッチに対応するチャート要素である。

表示部１００は、入力された撮影画像１１０と、制御部１０１から出力されたチャート位置情報１１３とを表示する。チャート画像１１１に対して、チャート位置情報１１３が重ねて表示されている。

チャート位置情報１１３は、パッチ画像１１２ごとに画素値を抽出する際の対象となる「抽出範囲」である。抽出範囲の画素値が、画素ばらつきの有無を判定するための画像情報となる。具体的な判定方法については後述する。画素ばらつきの有無を判定することは、所定の条件を満たすか否かを判定することの一例である。

制御部１０１は、抽出数（ｈ，ｖ）や抽出サイズ（ｗ）と、抽出範囲を指定するユーザ操作と、画素値判定部１０３から出力された画素値判定情報１１５とに基づいて、チャート位置情報１１３を生成し、表示部１００へ出力する。また、制御部１０１は、表示部１００上の座標から撮影画像１１０上の座標情報１１６を生成し（後述する式４で説明する）、画素値抽出部１０２へ出力する。

まず、チャート位置情報１１３の生成方法を説明する。抽出数（ｈ，ｖ）は、チャート画像１１１内におけるパッチ画像１１２の、水平方向の数（ｈ）、垂直方向の数（ｖ）を示している。図２に示す例では、水平方向が６、垂直方向が４である。抽出サイズ（ｗ）は、チャート位置情報１１３の幅を示す数値である。なお、抽出数および抽出サイズは、ユーザが事前に入力してもよいし、予めチャートごとのパラメータとしてＲＯＭに格納されていてもよい。

図３は、抽出範囲の指定途中における表示部１００の表示例を示す図である。図３では、複数のパッチ画像１１２のうち４隅のパッチ画像１１２の中心座標が表示されている。これらの中心座標は、左上のパッチ座標１２０、右上のパッチ座標１２１、左下のパッチ座標１２２、右下のパッチ座標１２３である。

抽出範囲の初回の指定は、矩形１２４の４つの頂点を決定することでなされる。矩形１２４の４つの頂点は、左上の指定座標Ｑ１、右上の指定座標Ｑ２、左下の指定座標Ｑ３、右下の指定座標Ｑ４である。

ユーザは、マウス１１９などを用いて、これらの指定座標を指定することができる。その指定手法は限定されないが、一例としてユーザは、パッチ座標１２０、１２１、１２２、１２３のいずれかを最初に始点として指定する。この時点で、パッチ座標１２０、１２１、１２２、１２３と指定座標Ｑ１、Ｑ２、Ｑ３、Ｑ４とは必ずしも一致していない。

仮に、左上のパッチ座標１２０が始点とされた場合、ユーザは、パッチ座標１２０の対角に位置する右下のパッチ座標１２３に向かってマウスドラッグ操作をする。これにより、矩形１２４の範囲が変化する。

矩形１２４によって、抽出数（ｈ，ｖ）分のマトリクス状のチャート位置情報１１３が抽出範囲として規定される。指定途中における矩形１２４によって規定されるチャート位置情報１１３の各々の中心座標が座標１２６である。指定完了後における矩形１２４によって規定されるチャート位置情報１１３の各々の中心座標が座標１３０（図４参照）である。

座標１２６、１３０の座標値（ｘ_ｉ，ｙ_ｊ）は、図３に示す座標軸の原点を原点１２７とすると、式１により求めることができる。

上述のように、式１におけるｈは水平方向の抽出数、ｖは垂直方向の抽出数である。（ｘ_１，ｙ_１）は左上のパッチ座標１２０の座標値、（ｘ_ｈ，ｙ_ｖ）は右下の指定座標Ｑ４の座標値を示している。

なお、始点は左上のパッチ座標１２０に限るものではなく、右上のパッチ座標１２１などの他の頂点を始点としてもよい。また、必ずしも４隅のパッチ座標のいずれかを始点とすることは必須でなく、例えば、抽出数が水平４、垂直２の場合に、その抽出数に応じて始点となるパッチ座標をユーザが決定してもよい。

ユーザは、指定座標Ｑ４が右下のパッチ座標１２３に到達したら、マウス押下操作を一旦解除する。この時点で、抽出範囲の初回の指定が完了する。次に、ユーザは、２回目以降の指定により抽出範囲を修正する。例えば、ユーザは、マウス操作により、指定座標Ｑ２を右上のパッチ座標１２１へ合うように微調整し、さらに、指定座標Ｑ３を左下のパッチ座標１２２へ合うように微調整する。これにより、図４に例示するように、矩形１２４の形状や範囲が変更される。

図４は、少なくとも１回の抽出範囲の指定完了後における表示部１００の表示例を示す図である。図４に示すように、抽出範囲が理想的に指定または修正された場合は、パッチ座標１２０、１２１、１２２、１２３と指定座標Ｑ１、Ｑ２、Ｑ３、Ｑ４とが一致している。また、チャート位置情報１１３の各々の中心座標となる座標１３０は、パッチ画像１１２の中心座標と一致している。

制御部１０１は、座標１３０と抽出サイズとに基づいて、チャート位置情報１１３を生成する。座標１３０の座標値（Ｘ_ｉ，Ｙ_ｊ）は、式２、式３により求めることができる。

式２中の座標値（ｘ_１，ｙ_１）は、矩形１２４上の左上の指定座標Ｑ１の座標値であり、座標値（ｘ_ｈ，ｙ_ｖ）は矩形１２４上の右下の指定座標Ｑ４の座標値である。式２中の（Ｘ_1，Ｙ₁）は、左上の座標１３０の座標値であり、図４の例では矩形１２４上の左上の指定座標Ｑ１の座標値と同義である。式２中の（Ｘ_４，Ｙ_４）は、右下の座標１３０の座標値であり、図４の例では右下の指定座標Ｑ４の座標値と同義である。式２中の座標（Ｘ_２，Ｙ_２）は、右上の座標１３０の座標値であり、図４の例では右上の指定座標Ｑ２の座標値と同義である。式２中の座標（Ｘ_３，Ｙ_３）は、左下の座標１３０の座標値であり、図４の例では左下の指定座標Ｑ３の座標値と同義である。いずれの座標１３０の座標値も、ユーザが操作した際に取得される座標値である。

制御部１０１は、座標１３０の座標値（Ｘ_ｉ，Ｙ_ｊ）と抽出サイズとから、チャート位置情報１１３を生成することができる。例えば、抽出サイズをｗ＝１０とした場合、座標（Ｘ_ｉ－５_，Ｙ_ｊ－５）、（Ｘ_ｉ＋５_，Ｙ_ｊ＋５）を通る矩形を外郭形状とする範囲がチャート位置情報１１３となる。

制御部１０１は、画素値判定部１０３から出力される画素値判定情報１１５を基に、抽出範囲（チャート位置情報１１３）の描画方法を変更する。制御部１０１は、チャート位置情報１１３に画素ばらつきがある場合と画素ばらつきがない場合とで区別がつくように、抽出範囲の表示態様を異ならせる。

図５は、表示部１００におけるチャート位置情報１１３の描画例を示す図である。図５に示す例では、複数のチャート位置情報１１３のうち一部は、対応するパッチ画像１１２に対して位置がずれている。その結果、一部のチャート位置情報１１３において、抽出した画素値にばらつきが発生する。

例えば、チャート位置情報１１３－Ａには画素値にばらつきがあると判定され、チャート位置情報１１３－Ｂには画素値にばらつきが無いと判定されたとする。この場合、制御部１０１は、チャート位置情報１１３－Ａには、矩形内に「×」等の印（マーク）を付ける。チャート位置情報１１３－Ｂには印を付けない。これにより、画素ばらつきの有無を視覚により認識させることができる。

なお、区別の方法はこれに限るものではない。例えば、画素ばらつきが無いと判定された抽出範囲（チャート位置情報１１３）と画素ばらつきが有ると判定された抽出範囲とで、色、マークまたは枠形状の少なくとも１つを異ならせてもよい。あるいは、画素ばらつきが有ると判定された抽出範囲については矩形（枠形状）を表示しないようにしてもよい。

次に、撮影画像上の座標情報１１６（図１）の生成方法を説明する。

図６（ａ）、（ｂ）は、１つの矩形範囲１５０を示す図である。矩形範囲１５０の各々がチャート位置情報１１３の各々の描画範囲に相当する。中心座標（ＣＸ_ｉ，ＣＹ_ｊ）は、矩形範囲１５０の中心座標である。撮影画像上の座標情報１１６は、中心座標（ＣＸ_ｉ，ＣＹ_ｊ）と幅ＣＸ_ｗ、ＣＹ_ｗとで定義される。

撮影画像１１０の解像度と表示部１００の表示解像度とは必ずしも一致しない。従って、表示部１００上の座標系から撮影画像１１０上の座標系への変換が必要となる。表示部１００の水平解像度がＨ_ｉｎ、垂直解像度がＶ_ｉｎ、撮影画像１１０の水平解像度がＨ_ｏｕｔ、垂直解像度がＶ_ｏｕｔであるとする。この場合、式４により、表示部１００上の座標系から撮影画像１１０上の座標系への変換が可能となる。

画素値抽出部１０２（図１）は、入力された撮影画像１１０と、制御部１０１から入力された撮影画像上の座標情報１１６とを基に、画素値を取得（抽出）する。ここで、画素値抽出部１０２は、画素値を、撮影画像１１０に含まれるチャート画像１１１のパッチ画像１１２に対応する抽出範囲ごとに取得する。

図６（ａ）の例でいえば、画素値抽出部１０２は、抽出範囲である矩形範囲１５０の画素値をＲＧＢの色ごとに抽出し、これを全ての矩形範囲１５０について実施する。そして画素値抽出部１０２は、抽出範囲ごとに且つＲＧＢの色ごとに取得した画素値を、画素値群１１７（図１）として画素値判定部１０３へ出力する。

画素値判定部１０３は、画素値抽出部１０２から出力された画素値群１１７を基に、画素ばらつきの有無を判定し、その判定結果を画素値判定情報１１５として制御部１０１へ出力する。画素値判定情報１１５の生成方法を説明する。

抽出範囲のＲ，Ｇ，Ｂの各画素値をＲ_{（ｎ，ｍ）}、Ｇ_{（ｎ，ｍ）}、Ｂ_{（ｎ，ｍ）}とする。ここで、ｎとｍは、抽出範囲内の座標である。画素値判定部１０３は、抽出範囲の中心画素値Ｒ_ｃ、Ｇ_ｃ、Ｂ_ｃと閾値Ｔとを用いて、抽出範囲内の座標について、次の３つ条件を含む式５が成立するか否かを判定する。
閾値Ｔ＜｜Ｒ_ｃ－Ｒ_{（ｎ，ｍ）}｜
閾値Ｔ＜｜Ｇ_ｃ－Ｇ_{（ｎ，ｍ）}｜ ・・・式５
閾値Ｔ＜｜Ｂ_ｃ－Ｂ_{（ｎ，ｍ）}｜

式５における少なくとも１つの条件が満たされる場合は、画素ばらつきが有ると判定される。いずれの条件も満たされない場合は、画素ばらつきが無いと判定される。言い換えると、Ｒ，Ｇ，Ｂのいずれかについて、抽出範囲における中心の画素値と中心以外の画素値との差分が閾値Ｔを超える場合は、当該抽出範囲に画素ばらつきが有ると判定される。

画素値判定情報１１５は、座標１３０ごとの画素ばらつきの有無を示すＰ_{（ｉ，ｊ）}の情報を含む。画素値判定部１０３は、画素ばらつきが有ると判定した場合は、画素値判定情報１１５においてＰ_{（ｉ，ｊ）}＝１と設定し、画素ばらつきが無いと判定し場合は、画素値判定情報１１５においてＰ_{（ｉ，ｊ）}＝０と設定する。

なお、閾値Ｔは、閾値Ｔｒ、Ｔｇ、ＴｂのようにＲ、Ｇ、Ｂごとに設けてもよい。その場合、閾値Ｔｒ、Ｔｇ、Ｔｂによって、Ｒ、Ｇ、Ｂのそれぞれについて画素ばらつきの有無を判定し、画素値判定情報１１５におけるＰ_{（ｉ，ｊ）}を、Ｐr_{（ｉ，ｊ）}、Ｐｇ_{（ｉ，ｊ）}、Ｐｂ_{（ｉ，ｊ）}として色ごとに設けてもよい。画素値判定情報１１５がＲＧＢ別に区別されていると、どの色の画素値にばらつきがあったかがわかる。さらに、画素ばらつきがあった色によって、チャート位置情報１１３の描画態様を異ならせてもよい。例えば、ＲＢの画素値にだけばらつきがあった場合、チャート位置情報１１３をマゼンダで描画し、ＧＢの画素値にだけばらつきがあった場合、チャート位置情報１１３をシアンで描画してもよい。

あるいは、抽出範囲における画素ばらつきの有無を、抽出範囲を複数に分割した領域ごとに判定してもよい。例えば、図６（ｂ）に示すように、矩形範囲１５０を、中心座標を通る４つの象限に分割し、４つの象限１５１、１５２、１５３、１５４のそれぞれについて画素ばらつきの有無を判定してもよい。このようにすれば、どの象限に画素ばらつきが発生しているかわかる。従って、ユーザは、画素ばらつきが発生している象限とは反対方向に抽出範囲をずらしたり、もしくは抽出範囲を狭めたりするなどして画素ばらつきを抑えることが可能となる。なお、分割領域は象限に限らない。

なお、抽出範囲の画素値の平均値を求め、この平均値を判定結果に紐付けてもよい。例えば、画素値判定部１０３は、画素値抽出部１０２から入力された画素値群１１７を平均化し、画素平均値として出力する。この画素平均値は、撮像装置間の色合わせなどを行うための入力データとして利用できる。そしてこの画素平均値を、画素値判定情報１１５と紐づけて出力してもよい。これにより、撮像装置間の色合わせを行う場合、画素平均値のデータに画素ばらつきがあるか否かで、当該画素平均値を用いるか否かを判断できるからである。

次に、これまで説明した抽出範囲の指定から抽出範囲の描画までの処理を、図７を用いて説明する。

図７は、抽出範囲描画処理を示すフローチャートである。この処理は、画像処理装置におけるＲＯＭに格納されたプログラムをＣＰＵがＲＡＭに展開して実行することにより実現される。この処理は、例えば、抽出範囲描画処理の開始がユーザによって指示されると開始される。

この説明において、撮影画像１１０に含まれるチャート画像１１１内のパッチ画像１１２は、均一な画素値（Ｒ＝２５５、Ｇ＝２５５、Ｂ＝２５５）であると仮定する。また、チャート画像１１１内のパッチ画像１１２を除くフレーム画像１１４の部分も、均一な画素値（Ｒ＝１２８、Ｇ＝１２８、Ｂ＝１２８）であると仮定する。画素値判定に用いる閾値Ｔは３０であるとする。

ステップＳ１００では、制御部１０１は、ユーザ操作に応じて、表示部１００に表示された撮影画像１１０上で、抽出範囲の指定を開始する。まず、制御部１０１は、ユーザによるマウス操作で最初に指定された点を始点として特定する。例えば、ユーザがチャート画像１１１の左上のパッチ座標１２０にカーソルを置いてマウス１１９を押下すると、制御部１０１は、パッチ座標１２０を始点（第１の点）として特定する（例えば、図３の指定座標Ｑ１）。

ステップＳ１０１において、制御部１０１は、ユーザによるマウスドラッグ操作で指定された点を終点として特定する。ここでは、ユーザは、始点に対して対角に位置する右下のパッチ座標１２３に向かってマウス１１９をドラッグ操作する。マウス１１９の押下位置が刻々と変化し得る。制御部１０１は、現在のマウス１１９の押下位置を終点（第２の点）として特定する（例えば、図３の指定座標Ｑ４）。これにより、矩形１２４が仮決定される。

ステップＳ１０２において、制御部１０１は、式１～式３を用いて、矩形１２４によって規定されるチャート位置情報１１３の各々の中心座標である座標１３０（または座標１２６）の座標値（Ｘ_ｉ，Ｙ_ｊ）を算出する。なお、マウス１１９の押下が解除されるまでは終点は仮決定状態であり、制御部１０１は、マウス１１９の移動操作が継続している間も必要な座標値の算出を継続する。

このように、ステップＳ１００～Ｓ１０２では、指定手段としての制御部１０１は、ユーザ操作に基づき、表示部１００に表示された撮影画像１１０上において、複数のパッチに対応させるための複数の抽出範囲を指定する。

ステップＳ１０３において、第２の取得手段としての画素値抽出部１０２は、式４を用いて抽出範囲ごとに画素値を抽出（取得）し、これらの画素値を画素値群１１７として画素値判定部１０３へ出力する。ステップＳ１０４において、判定手段としての画素値判定部１０３は、画素値抽出部１０２から出力された画素値群１１７を用いて画素値判定を行う。すなわち画素値判定部１０３は、各抽出範囲について所定の条件を満たすか否かを判定する。

図５の例で考える。チャート画像１１１は傾いているが矩形１２４は傾いていない。マウス１１９の押下位置が右下のパッチ座標１２３付近にある場合、右上のチャート位置情報１１３－Ａの領域は、対応するパッチ画像１１２とフレーム画像１１４とを跨いでいる。この場合、式５から、抽出範囲であるチャート位置情報１１３－Ａの中心画素値Ｒ_ｃ、Ｇ_ｃ、Ｂ_ｃと閾値Ｔと差分は、｜２５５－１２８｜＝１２８となり、閾値Ｔ＝３２を超える。このような場合は、画素値判定部１０３は、画素ばらつきが有ると判定し、チャート位置情報１１３－Ａに関する画素値判定情報１１５をＰ_{（６，１）}＝１とし、制御部１０１へ出力する。

一方、チャート位置情報１１３－Ｂの領域は、対応するパッチ画像１１２内に収まっている。この場合、式５から、抽出範囲であるチャート位置情報１１３－Ｂの中心画素値Ｒ_ｃ、Ｇ_ｃ、Ｂ_ｃと閾値Ｔと差分は、｜２５５－２５５｜＝０となり、閾値Ｔ＝３２を超えない。従って、画素値判定部１０３は、画素ばらつき無いと判定し、チャート位置情報１１３－Ｂに関する画素値判定情報１１５をＰ_{（６，４）}＝０とし、制御部１０１へ出力する。

画素値判定部１０３は、その他の抽出範囲においても同様の判定を行い、画素値判定情報１１５を生成して制御部１０１へ出力する。

ステップＳ１０５において、画素値判定部１０３は、全パッチ画像の画素値判定情報１１５を制御部１０１へ出力したか否かを判別する。そして画素値判定部１０３は、全パッチ画像の画素値判定情報１１５を出力していない場合はステップＳ１０３に戻り、全パッチ画像の画素値判定情報１１５を出力した場合はステップＳ１０６へ進む。

ステップＳ１０６では、制御手段としての制御部１０１は、画素値判定部１０３から出力された画素値判定情報１１５に基づいて、つまり判定結果に基づく態様で、表示部１００に抽出範囲（チャート位置情報１１３）を表示させる。なお、既にチャート位置情報１１３が表示されている場合は、チャート位置情報１１３の表示は更新される。ここで表示されるチャート位置情報１１３は、仮決定状態（指定途中）の抽出範囲に該当する。

例えば、制御部１０１は、Ｐ_{（ｉ，ｊ）}＝１の画素値判定情報１１５と、Ｐ_{（ｉ，ｊ）}＝０の画素値判定情報１１５とを異ならせて表示部１００に出力する。上述したように、一例として、Ｐ_{（ｉ，ｊ）}＝１の画素値判定情報１１５は、矩形内に「×」等の印（マーク）を付ける情報とされ、Ｐ_{（ｉ，ｊ）}＝０の画素値判定情報１１５は、矩形内に「×」等の印（マーク）を付けない情報とされる。このほか、色を異ならせる場合、例えば、Ｐ_{（ｉ，ｊ）}＝１の画素値判定情報１１５は赤色の矩形、Ｐ_{（ｉ，ｊ）}＝０の画素値判定情報１１５は、緑色の矩形とされる。制御部１０１は、画素値判定情報１１５に基づき、複数のチャート位置情報１１３を撮影画像１１０に重ねて描画する。

ステップＳ１０７において、制御部１０１は、マウス１１９の押下が解除されたか否かを判別する。マウス１１９の押下が解除されていない場合は、終点が確定していないので、制御部１０１は、ステップＳ１０１に戻る。マウス１１９の押下が解除されている場合は、終点が確定したので、ステップＳ１０７に進む。この時点で、初回の矩形１２４が確定し、初回の抽出範囲の指定が完了する。

撮影画像１１０に含まれるチャート画像１１１が傾いていなければ、通常、１回の操作で抽出範囲の指定は完了する。しかし、図３、図５に示す例のように、チャート画像１１１が傾いたり、チャート画像１１１の外郭が呈する矩形と矩形１２４とが位置ずれしたりすることがある。

そこで、ステップＳ１０８以降で、制御部１０１は、ユーザ操作に基づき矩形１２４の頂点の微調整を行う。なお、頂点の調整によって、矩形１２４は、内角が直角でない四角形に変化する場合もあるが、便宜上、以降でも矩形という用語を用いる。ステップＳ１０７までの処理が、抽出範囲の初回の指定に該当し、ステップＳ１０８以降の処理が、２回目以降の抽出範囲の指定に該当する。

ステップＳ１０８において、制御部１０１は、ユーザによって、矩形１２４の頂点位置を変更する操作が開始されたか否かを判別する。ここで、変更対象となり得る頂点には始点、終点も含まれる。いずれかの頂点から所定範囲内の位置でマウス１１９が押下された場合に、頂点位置を変更する操作が開始されたと判別される。

制御部１０１は、頂点位置を変更する操作が開始されたと判別されない場合は図７に示す処理を終了し、頂点位置を変更する操作が開始されたと判別された場合はステップＳ１０９に進む。なお、制御部１０１は、ステップＳ１０８での判別結果を、判別開始から所定時間が経過した時点で確定してもよい。つまり、初回または２回目の抽出範囲の指定完了から所定時間が経過した場合に、図７に示す処理を終了してもよい。

ステップＳ１０９において、制御部１０１は、ユーザ操作に基づき、変更後の頂点の座標を取得する。例えば、上述したように、ユーザは、マウス操作により、指定座標Ｑ２を右上のパッチ座標１２１に合うように移動させたり、指定座標Ｑ３を左下のパッチ座標１２２に合うように移動させたりする。あるいは、ユーザは、指定座標Ｑ１または指定座標Ｑ４の位置を移動させる。移動方法としては、ユーザは、選択した頂点から目標点に向かってマウス１１９をドラッグする。

ステップＳ１１０～Ｓ１１４では、制御部１０１は、ステップＳ１０２～Ｓ１０６と同様の処理を実行する。既にチャート位置情報１１３が表示されているので、ステップＳ１１４での表示は、チャート位置情報１１３の表示の更新に該当する。

ステップＳ１１５では、制御部１０１は、変更対象となっている頂点に対するマウス１１９の押下が解除されたか否かを判別する。マウス１１９の押下が解除されていない場合は、変更後の頂点の位置が確定していないので、制御部１０１は、ステップＳ１０８に戻る。マウス１１９の押下が解除されている場合は、変更後の頂点の位置が確定したので、制御部１０１は、図７に示す処理を終了する。なお、制御部１０１は、ステップＳ１０８と同様に、ステップＳ１１５での判別結果を、判別開始から所定時間が経過した時点で確定してもよい。つまり、抽出範囲の修正指定の完了から所定時間が経過した場合に、図７に示す処理を終了してもよい。図７に示す処理が終了すると、抽出範囲が最終的に確定する。

本実施の形態によれば、ユーザ操作に基づき、表示部１００に表示された撮影画像１１０上で、複数の抽出範囲（チャート位置情報１１３）が指定され、抽出範囲の画素値から、抽出範囲における画素ばらつきの有無が判定される。そして、制御部１０１は、その判定結果に基づく態様で、表示部１００に抽出範囲を表示させる。例えば、制御部１０１は、画素ばらつきが無い抽出範囲と画素ばらつきが有る抽出範囲とで、表示態様を異ならせる。従って、抽出範囲における画素ばらつきの有無が視認可能になる。よって、ユーザに、特定の領域に対応する（パッチに対応する）抽出範囲の指定の適否を容易に認識させることができる。

すなわち、撮像装置の特性を合わせるためのチャート画素値抽出において、抽出範囲の指定操作中に抽出範囲の画素ばらつきがあるか否かを視覚的にわかるように描画することで、チャートの再選択や画像再取得等の手戻りを抑制することができる。

また、一旦、抽出範囲の画素値を取得した後、抽出範囲が変更されると、変更後の抽出範囲の画素値が取得し直され、変更後の抽出範囲における画素ばらつきの有無が判定される（Ｓ１０８～Ｓ１１２）。例えば、図４に例示するように、ズベテのチャート位置情報１１３と、対応するパッチ画像１１２との位置が合致する。これにより、抽出範囲を適切に修正することができる。

また、初回の抽出範囲の指定開始後、指定完了前に、抽出範囲の表示が開始されるので（Ｓ１０６）、抽出範囲の指定途中であっても抽出範囲の指定の適否をユーザに認識させることができる。

また、抽出範囲における画素ばらつきの有無を、Ｒ、Ｇ、Ｂの色ごと、あるいは、抽出範囲を複数に分割した複数の領域ごとに判定すれば、より詳細に、抽出範囲の指定の適否を認識させることができる。

また、抽出範囲の画素値の平均値を判定結果に紐付ければ、撮像装置間の色合わせを行う場合に画素平均値を用いるか否かの判断材料を提供することができる。

（第２の実施の形態）
第１の実施の形態では、初回の抽出範囲の指定開始後、指定完了前に、抽出範囲の表示が開始された。しかし、マウスドラッグ操作による終点の変動に伴い、逐次、抽出範囲の表示態様が変化するので、画面のちらつきを感じる場合がある。

そこで、本発明の第２の実施の形態では、制御部１０１は、終点が仮決定されるまでは、画素ばらつきが発生する可能性が高いため、画素値判定情報１１５に基づく描画は行わず、終点の仮決定後に画素値判定情報１１５に基づく描画を行う。

図８は、抽出範囲描画処理を示すフローチャートである。この処理の実行主体や開始条件等は、図７に示す抽出範囲描画処理と同様である。

ステップＳ１００～Ｓ１０５の処理は図７で説明したものと同じである。ステップＳ２００では、制御部１０１は、判定結果に基づかない態様で、表示部１００に抽出範囲（チャート位置情報１１３）を表示させる。例えば、制御部１０１は、全ての抽出範囲において画素ばらつきが無い場合と同じ態様で、抽出範囲を描画する。従って、全てのチャート位置情報１１３は同じ色や形状で表示される。これにより、視覚上のちらつきが防止される。

ステップＳ２０１では、制御部１０１は、図７のステップＳ１０７と同様の処理を実行する。マウス１１９の押下が解除されていない場合は、終点が確定していないので、制御部１０１は、ステップＳ１０１に戻る。マウス１１９の押下が解除されている場合は、終点が確定したので、ステップＳ２０２に進む。この時点で、初回の矩形１２４が確定し、初回の抽出範囲の指定が完了する。

ステップＳ２０２では、制御部１０１は、ステップＳ１０６と同様に、画素値判定部１０３から出力される画素値判定情報１１５に基づいて、つまり判定結果に基づく態様で、表示部１００に抽出範囲（チャート位置情報１１３）を表示させる。一部の図示を省略するが、ステップＳ２０３以降では、制御部１０１は、ステップＳ１０８～Ｓ１１５と同様の処理を実行する。

本実施の形態によれば、ユーザに、特定の領域に対応する抽出範囲の指定の適否を容易に認識させることができることに関し、第１の実施の形態と同様の効果を奏することができる。

また、制御部１０１は、初回の抽出範囲の指定完了前には判定結果に基づかない態様で抽出範囲を表示させ、初回の抽出範囲の指定完了後に、判定結果に基づく態様で抽出範囲を表示させる。これにより、初回の抽出範囲の指定途中における視覚的なちらつきを抑制することができる。

また、制御部１０１は、２回目以降の指定により抽出範囲が変更された場合は、２回目以降の指定開始後、指定完了前に、変更後の抽出範囲を表示させるので、抽出範囲の指定の適否を認識させることができる。

なお、上記各実施の形態において、終点の初回の仮決定によって規定される矩形１２４の形状は、内角が直角でない所定形状の四角形でもよい。

なお、上記各実施の形態において、複数の抽出範囲は、複数のパッチの配列に対応した配列を含むように指定されればよい。例えば、図９（ａ）に示すように、フレーム画像１１４が広い場合に、図９（ｂ）に示すように、抽出範囲の数をパッチの数より多くしてもよい。

すなわち、フレーム画像１１４の部分も含めて画素値を抽出してもよい。制御部１０１は、パッチ画像１１２に加えて、それらの周囲であってフレーム画像１１４の領域に、仮想パッチ画像１６０設ける。制御部１０１は、抽出数が、パッチ画像１１２に対応する水平６、垂直４ではなく、仮想パッチ画像１６０を含めて水平８、垂直６となるように抽出範囲を指定すればよい。仮想パッチ画像１６０の部分においても画素値抽出による画素ばらつきの判定を行うことで、フレームのデータを含めた画素値平均を取得可能となる。なお、チャート画像１１１の周辺部にも均一な領域が広がっていれば、同様の手法で抽出範囲を指定し、画素値抽出を可能としてもよい。

（その他の実施例）
なお、上記の実施形態では、パッチを含むチャートを用いた例について説明したが、必ずしもこの形態には限定されない。例えば特定のパターンを有する構造物など、ある所定の領域を含む特定の被写体であれば、本発明を適用することができる。

また、本実施形態では画素ばらつきを用いた。すなわち、画素ばらつきの有無を判定することで所定の条件を満たすか否かを判定した。しかし必ずしもこの方法には限定されない。例えば抽出範囲のＳ／Ｎ比を求めたり、エッジの有無を求めたりすることで抽出範囲の表示を制御してもよい。この場合もノイズ比やエッジ強度に基づく所定の条件を設定し、例えばノイズ比やエッジ強度が所定値よりも大きい場合は、画素ばらつきがあると判定された場合と同様の制御を行うようにすればよい。

本発明は、上記した実施形態の１以上の機能を実現するプログラムをネットワークや非一過性の記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。以上のプログラムおよび以上のプログラムを記憶する記憶媒体は、本発明を構成する。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

本実施形態の開示は、以下の構成（および方法、プログラム）を含む。
（構成１）
複数のパッチを含むチャートを撮像した撮影画像を取得する第１の取得手段と、
前記第１の取得手段により取得された撮影画像を表示部に表示させる制御手段と、
ユーザ操作に基づき、前記複数のパッチに対応させるための複数の抽出範囲を指定する指定手段と、
前記撮影画像における、前記指定手段により指定された各抽出範囲の画素値を取得する第２の取得手段と、
前記第２の取得手段により取得された画素値から、前記各抽出範囲について所定の条件を満たすか否かを判定する判定手段と、を有し、
前記制御手段は、前記判定手段による判定結果に基づく表示態様で、前記表示部に前記複数の抽出範囲を表示させることを特徴とする画像処理装置。
（構成２）
前記制御手段は、前記表示部に前記複数の抽出範囲を表示させる際、前記所定の条件を満たすと判定された抽出範囲と前記所定の条件を満たさないと判定された抽出範囲とで、前記表示態様を異ならせることを特徴とする構成１に記載の画像処理装置。
（構成３）
前記制御手段は、色、マークまたは枠形状の少なくとも１つを異ならせることで前記表示態様を異ならせることを特徴とする構成２に記載の画像処理装置。
（構成４）
前記判定手段は、画素ばらつきの有無を判定することで前記所定の条件を満たすかを判定することを特徴とする構成１または２に記載の画像処理装置。
（構成５）
前記判定手段は、取得された前記各抽出範囲における中心の画素値と前記中心以外の画素値との差分が閾値を超える場合は、当該抽出範囲に画素ばらつきが有ると判定し、前記差分が前記閾値を超えない場合は当該抽出範囲に画素ばらつきが無いと判定することを特徴とする構成４に記載の画像処理装置。
（構成６）
前記第２の取得手段は、前記各抽出範囲の画素値を取得した後、前記指定手段による指定により前記複数の抽出範囲が変更されると、変更後の前記各抽出範囲の画素値を取得し直すことを特徴とする構成１乃至３のいずれか１項に記載の画像処理装置。
（構成７）
前記制御手段は、初回の前記複数の抽出範囲の指定開始後、指定完了前に、前記複数の抽出範囲を表示させることを特徴とする構成１乃至３、または６のいずれか１項に記載の画像処理装置。
（構成８）
前記制御手段は、初回の前記複数の抽出範囲の指定完了前には前記判定結果に基づかない態様で前記複数の抽出範囲を表示させ、初回の前記複数の抽出範囲の指定完了後に、前記判定結果に基づく態様で前記複数の抽出範囲を表示させることを特徴とする構成１乃至３、６または７のいずれか１項に記載の画像処理装置。
（構成９）
前記指定手段による２回目以降の指定により前記複数の抽出範囲が変更された場合は、２回目以降の指定開始後、指定完了前に、変更後の前記複数の抽出範囲を表示させることを特徴とする構成８に記載の画像処理装置。
（構成１０）
前記指定手段による前記複数の抽出範囲の初回の指定は、表示された前記撮影画像上における第１の点と前記第１の点に対して対角にある第２の点とを頂点とする四角形の指定であることを特徴とする構成１乃至３のいずれか１項に記載の画像処理装置。
（構成１１）
前記指定手段による２回目以降の指定は、前記四角形の４つの頂点のうち少なくとも１つの頂点の位置を修正する指定を含むことを特徴とする構成１０に記載の画像処理装置。
（構成１２）
前記制御手段は、前記表示部において前記撮影画像に重ねて前記複数の抽出範囲を表示させることを特徴とする構成１乃至３のいずれか１項に記載の画像処理装置。
（構成１３）
前記複数の抽出範囲は、前記複数のパッチの配列に対応した配列を含むように指定されることを特徴とする構成１乃至３、または１２のいずれか１項に記載の画像処理装置。
（構成１４）
前記判定手段は、前記抽出範囲における画素ばらつきの有無を、Ｒ、Ｇ、Ｂの色ごとに判定することを特徴とする構成４または５に記載の画像処理装置。
（構成１５）
前記判定手段は、前記抽出範囲における画素ばらつきの有無を、前記抽出範囲を複数に分割した複数の領域ごとに判定することを特徴とする構成４または５に記載の画像処理装置。
（構成１６）
前記制御手段は、前記第２の取得手段により取得された複数の前記抽出範囲の画素値の平均値を求め、前記判定手段による判定結果に、前記平均値を紐付けることを特徴とする構成１乃至１５のいずれか１項に記載の画像処理装置。
（方法１）
複数のパッチを含むチャートを撮像した撮影画像を取得する第１の取得ステップと、
前記第１の取得ステップにより取得された撮影画像を表示部に表示させる制御ステップと、
ユーザ操作に基づき、前記複数のパッチに対応させるための複数の抽出範囲を指定する指定ステップと、
前記撮影画像における、前記指定ステップにより指定された各抽出範囲の画素値を取得する第２の取得ステップと、
前記第２の取得ステップにより取得された画素値から、前記各抽出範囲について所定の条件を満たすか否かを判定する判定ステップと、を有し、
前記制御ステップでは、前記判定ステップによる判定結果に基づく表示態様で、前記表示部に前記複数の抽出範囲を表示させることを特徴とする画像処理方法。
（プログラム１）
コンピュータを、構成１乃至１６のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

１００ 表示部
１０１ 制御部
１１０ 撮影画像
１０２ 画素値抽出部
１０３ 画素値判定部
１１３ チャート位置情報

Claims (18)

1. 複数のパッチを含むチャートを撮像した撮影画像を取得する第１の取得手段と、
   前記第１の取得手段により取得された撮影画像を表示部に表示させる制御手段と、
   ユーザ操作に基づき、前記複数のパッチに対応させるための複数の抽出範囲を指定する指定手段と、
   前記撮影画像における、前記指定手段により指定された各抽出範囲の画素値を取得する第２の取得手段と、
   前記第２の取得手段により取得された画素値から、前記各抽出範囲について所定の条件を満たすか否かを判定する判定手段と、を有し、
   前記制御手段は、前記判定手段による判定結果に基づく表示態様で、前記表示部に前記複数の抽出範囲を表示させることを特徴とする画像処理装置。
2. 前記制御手段は、前記表示部に前記複数の抽出範囲を表示させる際、前記所定の条件を満たすと判定された抽出範囲と前記所定の条件を満たさないと判定された抽出範囲とで、前記表示態様を異ならせることを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、色、マークまたは枠形状の少なくとも１つを異ならせることで前記表示態様を異ならせることを特徴とする請求項２に記載の画像処理装置。
4. 前記判定手段は、画素ばらつきの有無を判定することで前記所定の条件を満たすかを判定することを特徴とする請求項１または２に記載の画像処理装置。
5. 前記判定手段は、取得された前記各抽出範囲における中心の画素値と前記中心以外の画素値との差分が閾値を超える場合は、当該抽出範囲に画素ばらつきが有ると判定し、前記差分が前記閾値を超えない場合は当該抽出範囲に画素ばらつきが無いと判定することを特徴とする請求項４に記載の画像処理装置。
6. 前記第２の取得手段は、前記各抽出範囲の画素値を取得した後、前記指定手段による指定により前記複数の抽出範囲が変更されると、変更後の前記各抽出範囲の画素値を取得し直すことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、初回の前記複数の抽出範囲の指定開始後、指定完了前に、前記複数の抽出範囲を表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
8. 前記制御手段は、初回の前記複数の抽出範囲の指定完了前には前記判定結果に基づかない態様で前記複数の抽出範囲を表示させ、初回の前記複数の抽出範囲の指定完了後に、前記判定結果に基づく態様で前記複数の抽出範囲を表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
9. 前記指定手段による２回目以降の指定により前記複数の抽出範囲が変更された場合は、２回目以降の指定開始後、指定完了前に、変更後の前記複数の抽出範囲を表示させることを特徴とする請求項８に記載の画像処理装置。
10. 前記指定手段による前記複数の抽出範囲の初回の指定は、表示された前記撮影画像上における第１の点と前記第１の点に対して対角にある第２の点とを頂点とする四角形の指定であることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
11. 前記指定手段による２回目以降の指定は、前記四角形の４つの頂点のうち少なくとも１つの頂点の位置を修正する指定を含むことを特徴とする請求項１０に記載の画像処理装置。
12. 前記制御手段は、前記表示部において前記撮影画像に重ねて前記複数の抽出範囲を表示させることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
13. 前記複数の抽出範囲は、前記複数のパッチの配列に対応した配列を含むように指定されることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
14. 前記判定手段は、前記抽出範囲における画素ばらつきの有無を、Ｒ、Ｇ、Ｂの色ごとに判定することを特徴とする請求項４に記載の画像処理装置。
15. 前記判定手段は、前記抽出範囲における画素ばらつきの有無を、前記抽出範囲を複数に分割した複数の領域ごとに判定することを特徴とする請求項４に記載の画像処理装置。
16. 前記制御手段は、前記第２の取得手段により取得された複数の前記抽出範囲の画素値の平均値を求め、前記判定手段による判定結果に、前記平均値を紐付けることを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
17. 複数のパッチを含むチャートを撮像した撮影画像を取得する第１の取得ステップと、
    前記第１の取得ステップにより取得された撮影画像を表示部に表示させる制御ステップと、
    ユーザ操作に基づき、前記複数のパッチに対応させるための複数の抽出範囲を指定する指定ステップと、
    前記撮影画像における、前記指定ステップにより指定された各抽出範囲の画素値を取得する第２の取得ステップと、
    前記第２の取得ステップにより取得された画素値から、前記各抽出範囲について所定の条件を満たすか否かを判定する判定ステップと、を有し、
    前記制御ステップでは、前記判定ステップによる判定結果に基づく表示態様で、前記表示部に前記複数の抽出範囲を表示させることを特徴とする画像処理方法。
18. コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるためのプログラム。