JP2020191602A - 画像処理装置 - Google Patents

Abstract

【課題】 適切な画像合成を行う画像処理装置を得る。【解決手段】 重複領域特定部２２は、２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した特徴点に基づいて２つの画像の重複領域を特定し、２値画像生成部２３は、その２つの画像の少なくとも１つにおける重複領域に対応する２値画像を生成する。そして、結合画素位置特定部２４は、２値画像における主走査方向の各画素位置の列画像において、２値のうちの特定の値を有する画素位置を結合画素位置候補を特定し、主走査方向に沿って連続する結合画素位置候補を結合画素位置として特定し、合成処理部２５は、その２つの画像を、主走査方向の各画素位置について特定された副走査方向の結合画素位置において結合して１つの合成画像を生成する。【選択図】 図１

Description

本発明は、画像処理装置に関するものである。

ある画像処理装置は、（ａ）第１画像と第２画像との重複領域を特定し、（ｂ）重複領域において主走査方向および副走査方向に沿って格子状の線分を接合境界候補として設定し、（ｃ）各線分において第１画像と第２画像との画素値の差が所定値を超えている画素（以下、濃度ズレ画素という）の数をカウントし、（ｄ）主走査方向に沿った線分と副走査方向に沿った線分とを組み合わせて主走査方向における左端から右端まで連続するような経路を特定し、上述の濃度ズレ画素の数が最小となる経路を接合境界として特定し、（ｅ）特定した接合境界で第１画像と第２画像との合成を行う（例えば特許文献１参照）。

特開平９−２３３３０号公報

しかしながら、上述のように、主走査方向における左端から右端まで連続するような経路を接合境界とすると、その連続性に起因して、画像内のオブジェクトを通過し濃度ズレ画素が多く含まれる線分が接合境界に含まれる可能性がある。

本発明は、上記の問題に鑑みてなされたものであり、適切な画像合成を行う画像処理装置を得ることを目的とする。

本発明に係る画像処理装置は、２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した前記特徴点に基づいて前記２つの画像の重複領域を特定する重複領域特定部と、前記２つの画像の少なくとも１つにおける前記重複領域に対応する２値画像を生成する２値画像生成部と、前記２値画像における主走査方向の各画素位置の列画像において、２値のうちの特定の値を有する画素位置を結合画素位置候補を特定し、主走査方向に沿って連続する前記結合画素位置候補を結合画素位置として特定する結合画素位置特定部と、前記２つの画像を、主走査方向の各画素位置について特定された副走査方向の前記結合画素位置において結合して１つの合成画像を生成する合成処理部とを備える。

本発明によれば、適切な画像合成を行う画像処理装置が得られる。

本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。

図１は、本発明の実施の形態に係る画像処理装置を備えた画像形成装置の構成を示すブロック図である。 図２は、実施の形態１に係る画像処理装置１３の動作について説明するフローチャートである。 図３は、実施の形態１における結合画素位置の特定について説明する図である。 図４は、実施の形態２に係る画像処理装置１３の動作について説明するフローチャートである。 図５は、実施の形態２における結合画素位置の特定について説明する図である。

以下、図に基づいて本発明の実施の形態を説明する。

実施の形態１．

図１は、本発明の実施の形態に係る画像処理装置を備えた画像形成装置の構成を示すブロック図である。図１に示す画像形成装置１は、複写機である。ただし、画像形成装置１は、複合機などでもよい。この画像形成装置１は、プリント装置１１と、画像読取装置１２と、画像処理装置１３と、メモリー１４と、表示装置１５と、入力装置１６とを備える。

プリント装置１１は、出力デバイスの一例であって、画像処理装置１３による各種画像処理後の画像データに基づいて原稿画像（例えば、後述の合成画像）を電子写真プロセスでプリントする内部装置である。

また、画像読取装置１２は、原稿から原稿画像を光学的に読み取り、原稿画像の画像データを生成する内部装置である。

また、画像処理装置１３は、画像読取装置１２などで生成された画像データに対して、色調整、色変換などの画像処理を行う。さらに、画像処理装置１３は、互いに一部が重複する２つの原画像を１つの合成画像に合成する。

また、メモリー１４は、フラッシュメモリーなどの、書き換え可能な不揮発性の記憶装置であり、各種データを記憶している。表示装置１５は、例えば画像内の色を調整するための色調整画面などの、各種画面をユーザーに対して表示する。入力装置１６は、ユーザー操作を検出する。例えば、表示装置１５および入力装置１６は、画像形成装置１の操作パネルに設けられ、表示装置１５としては、液晶ディスプレイなどが使用され、入力装置１６としては、タッチパネル、ハードキーなどが使用される。

画像処理装置１３は、ＡＳＩＣ（Application Specific Integrated Circuit）やマイクロコンピューターで実現され、制御部２１、重複領域特定部２２、２値画像生成部２３、結合画素位置特定部２４、および合成処理部２５を備える。

制御部２１は、プリント装置１１、画像読取装置１２などの内部装置を制御して、２つの画像（例えば８ビットＲＧＢ画像などといったカラー多値画像またはグレイスケール画像）を原画像として取得したり、それらの合成画像をプリントしたりする。

例えば、画像読取装置１２が、１つの原稿から２回の画像読取でその２つの画像を読み取ると、制御部２１は、画像読取装置１２からその２つの画像を取得する。

重複領域特定部２２は、取得された２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した特徴点に基づいて、その２つの画像の重複領域を特定する。ここでは、重複領域特定部２２は、重複領域が写真などのグラデーションオブジェクトを含まないように、重複領域を特定する。

具体的には、重複領域特定部２２は、（ａ）取得された２つの画像における第１画像および第２画像のそれぞれにおいて、オブジェクト（文字、図形など）の複数の頂点を特徴点として検出し、（ｂ）検出した複数の頂点の配列パターンが互いに一致する共通特徴点を特定し、（ｃ）その共通特徴点（複数の頂点のいずれか１つ）から第１画像の終端ラインまでの距離とその共通特徴点から第２画像の先端ラインまでの距離との和を重複領域の幅とし、（ｄ）上述の第１画像の終端ラインからその幅の範囲、および上述の第２画像の先端ラインからその幅の範囲を、重複領域とする。

例えば、２つの画像に含まれている文字、線画などのベタ画像オブジェクトにおける屈曲点が上述の特徴点として検出されるようにしてもよいし、所定値以上の濃度差のあるエッジの屈曲点が上述の特徴点として検出されるようにしてもよい。また、例えば、その屈曲点の距離、屈曲点から延びる線状のオブジェクトまたはエッジの方向などが第１画像および第２画像の間で互いに一致する屈曲点が共通特徴点として特定される。

２値画像生成部２３は、上述の２つの画像の少なくとも１つにおける上述の重複領域に対応する２値画像を生成する。実施の形態１では、２値画像生成部２３は、この２値画像として、上述の重複領域におけるエッジの位置を示すエッジ画像を生成する。

例えば、２値画像生成部２３は、ラプラシアンフィルターなどの微分フィルターで、エッジを検出し、エッジ画素の値を１とし非エッジ画素の値を０としてエッジ画像を生成する。なお、検出されたエッジの両側の画素のうちの高濃度の画素がエッジ画素とされる。

結合画素位置特定部２４は、上述の重複領域に対応する２値画像の領域における主走査方向の各画素位置の列画像において、２値（ここでは、１と０）のうちの特定の値（ここでは、エッジなしを示す値、つまり０）を有する画素位置を結合画素位置候補を特定し、主走査方向に沿って連続する結合画素位置候補を結合画素位置として特定する。

例えば、結合画素位置特定部２４は、（ａ）副走査方向における単一の位置で、画像の先端から終端まで主走査方向に沿って連続する結合画素位置候補が検出された場合には、その一連の結合画素位置候補を結合画素位置として特定し、（ｂ）副走査方向における単一の位置で、画像の先端から終端まで主走査方向に沿って連続する結合画素位置候補が検出されない場合には、副走査方向における複数の位置で、主走査方向における画像の先端から終端までの各位置に１つの結合画素位置候補が存在するように、主走査方向に沿って連続する結合画素位置候補を複数セット検出し、それらの結合画素位置候補を結合画素位置として特定する。

合成処理部２５は、上述の２つの画像を、主走査方向の各画素位置について特定された副走査方向の結合画素位置において結合して１つの合成画像を生成する。

次に、実施の形態１に係る画像処理装置１３の動作について説明する。図２は、実施の形態１に係る画像処理装置１３の動作について説明するフローチャートである。

まず、制御部２１は、例えば画像読取装置１２を使用して、２つの画像（第１画像および第２画像）を取得する（ステップＳ１）。

次に、重複領域特定部２２は、その２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し（ステップＳ２）、検出した特徴点に基づいて、その２つの画像の重複領域を特定する（ステップＳ３）。

重複領域が特定されると、２値画像生成部２３は、その重複領域（一方の画像における重複領域）に対応する２値画像を生成する（ステップＳ４）。実施の形態１では、上述のように、エッジ画像が、この２値画像として生成される。

そして、結合画素位置特定部２４は、主走査方向における先頭から終端まで順番に注目画素位置ｉを選択し（ステップＳ５）、エッジ画像における注目画素位置の列画像において、画素値が特定の値（ここでは０）である画素（つまり、非エッジ画素）の位置を結合画素位置候補として特定する（ステップＳ６）。

主走査方向の注目画素位置についての結合画素位置候補が特定されると、結合画素位置特定部２４は、現時点の注目画素位置が主走査方向の終端位置であるか否かを判定し（ステップＳ７）、現時点の注目画素位置が終端ではなければ、ステップＳ５に戻り、次の注目画素位置（つまり、現時点の注目画素位置の、主走査方向における次の画素位置）を選択し、同様の処理（ステップＳ５，Ｓ６）を実行する。

一方、現時点の注目画素位置が終端である場合、結合画素位置特定部２４は、主走査方向における先端から終端まで特定された結合画素位置候補から、上述のようにして、結合画素位置を選択する（ステップＳ８）。

そして、合成処理部２５は、上述の第１画像および第２画像を、主走査方向の各画素位置において特定された結合画素位置において結合して、１つの合成画像を生成する（ステップＳ９）。

つまり、合成処理部２５は、第１画像の先端ラインから各結合画素位置（あるいは結合画素位置の１つ前の画素位置）までの部分を抽出し、第２画像の各結合画素位置（あるいは結合画素位置の１つ後の画素位置）から終端ラインまでの部分を抽出し、抽出した２つの部分画像を連続させることで、第１画像および第２画像を合成し、合成画像を生成する。生成された合成画像は、プリントされたり、画像ファイルとして保存されたり出力されたりする。

図３は、実施の形態１における結合画素位置の特定について説明する図である。例えば図３に示すように、直線状に連続する一連の結合画素位置が、互いに異なる副走査方向位置で、２セット検出される。文字や線画などのエッジが明確なオブジェクトを避けて、主走査方向における先端から終端までの結合画素位置が選択される。したがって、画像読取時に位置のズレが生じやすい文字や線画のエッジ部分で、２つの画像が合成されずに済む。

以上のように、上記実施の形態１によれば、重複領域特定部２２は、２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した特徴点に基づいて２つの画像の重複領域を特定し、２値画像生成部２３は、その２つの画像の少なくとも１つにおける重複領域に対応する２値画像を生成する。そして、結合画素位置特定部２４は、２値画像における主走査方向の各画素位置の列画像において、２値のうちの特定の値を有する画素位置を結合画素位置候補を特定し、主走査方向に沿って連続する結合画素位置候補を結合画素位置として特定し、合成処理部２５は、その２つの画像を、主走査方向の各画素位置について特定された副走査方向の結合画素位置において結合して１つの合成画像を生成する。

これにより、適切な画像合成が行われる。

実施の形態２．

実施の形態２では、２値画像生成部２３は、上述の２値画像として、重複領域を所定閾値（例えば５０％濃度）で２値化した２値化画像を生成する。したがって、実施の形態２では、原画像における高濃度の（つまり、前景のオブジェクトの）画素位置については、２値画像において画素値が１とされ、原画像における低濃度の（つまり、背景の）画素位置については、２値画像において画素値が０とされる。

結合画素位置特定部２４は、上述の重複領域に対応する２値画像の領域における主走査方向の各画素位置の列画像において、２値（ここでは、１と０）のうちの特定の値（ここでは、濃度なしを示す値、つまり０）を有する画素位置を結合画素位置候補を特定し、主走査方向に沿って連続する結合画素位置候補を結合画素位置として特定する。

なお、実施の形態２に係る画像処理装置のその他の構成については、実施の形態１と同様であるのでその説明を省略する。

次に、実施の形態２に係る画像処理装置１３の動作について説明する。図４は、実施の形態２に係る画像処理装置１３の動作について説明するフローチャートである。

まず、制御部２１は、例えば画像読取装置１２を使用して、２つの画像（第１画像および第２画像）を取得する（ステップＳ２１）。

次に、重複領域特定部２２は、その２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し（ステップＳ２２）、検出した特徴点に基づいて、その２つの画像の重複領域を特定する（ステップＳ２３）。

重複領域が特定されると、２値画像生成部２３は、その重複領域（一方の画像における重複領域）に対応する２値画像を生成する（ステップＳ２４）。実施の形態２では、上述のように、２値化画像が、この２値画像として生成される。

そして、結合画素位置特定部２４は、主走査方向における先頭から終端まで順番に注目画素位置ｉを選択し（ステップＳ２５）、２値化画像における注目画素位置の列画像において、画素値が特定の値（ここでは０）である画素（つまり、オブジェクトのない画素）の位置を結合画素位置候補として特定する（ステップＳ２６）。

主走査方向の注目画素位置についての結合画素位置候補が特定されると、結合画素位置特定部２４は、現時点の注目画素位置が主走査方向の終端位置であるか否かを判定し（ステップＳ２７）、現時点の注目画素位置が終端ではなければ、ステップＳ２５に戻り、次の注目画素位置（つまり、現時点の注目画素位置の、主走査方向における次の画素位置）を選択し、同様の処理（ステップＳ２５，Ｓ２６）を実行する。

一方、現時点の注目画素位置が終端である場合、結合画素位置特定部２４は、主走査方向における先端から終端まで特定された結合画素位置候補から、上述のようにして、結合画素位置を選択する（ステップＳ２８）。

そして、合成処理部２５は、実施の形態１と同様にして、上述の第１画像および第２画像を、主走査方向の各画素位置において特定された結合画素位置において結合して、１つの合成画像を生成する（ステップＳ２９）。

図５は、実施の形態２における結合画素位置の特定について説明する図である。例えば図５に示すように、直線状に連続する一連の結合画素位置が、互いに異なる副走査方向位置で、２セット検出される。文字や線画などの濃淡が明確なオブジェクトを避けて、主走査方向における先端から終端までの結合画素位置が選択される。

以上のように、上記実施の形態２によれば、実施の形態１と同様に、適切な画像合成が行われる。

なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。

例えば、上記実施の形態１において、エッジ画素から少なくとも所定画素（例えば１また２画素）離れた非エッジ画素を結合画素候補とし、エッジ画素から所定画素の範囲の非エッジ画素を結合画素候補から除外するようにしてもよい。

本発明は、例えば、スキャナー、コピー機、複合機などに適用可能である。

１２ 画像読取装置
１３ 画像処理装置
２２ 重複領域特定部
２３ ２値画像生成部
２４ 結合画素位置特定部
２５ 合成処理部

Claims (5)

1. ２つの画像のそれぞれにおけるオブジェクトの特徴点を検出し、検出した前記特徴点に基づいて前記２つの画像の重複領域を特定する重複領域特定部と、
   前記２つの画像の少なくとも１つにおける前記重複領域に対応する２値画像を生成する２値画像生成部と、
   前記２値画像における主走査方向の各画素位置の列画像において、２値のうちの特定の値を有する画素位置を結合画素位置候補を特定し、主走査方向に沿って連続する前記結合画素位置候補を結合画素位置として特定する結合画素位置特定部と、
   前記２つの画像を、主走査方向の各画素位置について特定された副走査方向の前記結合画素位置において結合して１つの合成画像を生成する合成処理部と、
   を備えることを特徴とする画像処理装置。
2. 前記２値画像生成部は、前記２値画像として、前記重複領域におけるエッジの位置を示すエッジ画像を生成することを特徴とする請求項１記載の画像処理装置。
3. 前記２値画像生成部は、前記２値画像として、前記重複領域を所定閾値で２値化した２値化画像を生成することを特徴とする請求項１記載の画像処理装置。
4. 前記重複領域特定部は、（ａ）前記２つの画像の一方および他方の画像のそれぞれにおいて、前記オブジェクトの複数の頂点を前記特徴点として検出し、（ｂ）検出した前記複数の頂点の配列パターンが互いに一致する共通特徴点を特定し、（ｃ）前記共通特徴点から前記一方の画像の終端ラインまでの距離と前記共通特徴点から前記他方の画像の先端ラインまでの距離との和を前記重複領域の幅とし、（ｄ）前記一方の画像の終端ラインから前記幅の範囲、および前記他方の画像の先端ラインから前記幅の範囲を、前記重複領域とすることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
5. １つの原稿から２回の画像読取で前記２つの画像を読み取る画像読取装置をさらに備えることを特徴とする請求項１から請求項４のうちのいずれか１項記載の画像処理装置。