JP2009010618A - 画像領域指定装置及びその制御方法、システム - Google Patents

Abstract

【課題】 画像データに対して、複雑な領域であっても精度よく指定できるようにする。
【解決手段】 画像データを印刷し、ユーザが指定したい領域をマークとして記入する。マークが記入された原稿をスキャナで読み取る。読取データからマークを抽出する。読取データと、印刷した画像データとの位置合わせを行う。位置合わせの結果に基づいて、抽出したマークを元の画像データに反映する。手書きでマークを指定することにより複雑な領域を容易に指定でき、位置合わせを行うことにより指定した領域を精度よく元画像データに反映できる。
【選択図】 図５

Description

本発明は画像データの特定の領域を指定するための画像領域指定装置およびその制御方法に関する。

近年、例えば年賀状を作成する場合に、人物画像を文字やイラストなどの複数の画像データと合成して作成する機会が増えている。例えば人物画像の人物だけを切り抜いて、合成する時にはＰＣ（ｐｅｒｓｏｎａｌ ｃｏｍｐｕｔｅｒ）上の画像編集アプリケーション等で所望の領域を指定し、指定された領域の画像と文字やイラストの画像を合成することができる。その際、指定される領域が人物などの場合、ユーザは複雑な形状の領域を指定しなければならず、ユーザにとって困難である。

例えば、ＰＣで広く利用されている入力デバイスとしてマウスがあるが、ユーザがこのデバイスでは正確な位置及び複雑な形状の指定が困難である。

この問題を解決する手法としては、特許文献１が開示されている。領域を指定したい画像が印刷された紙に対して、ユーザが直接ペンで領域を示すマークを書き込むことで領域を指定する。次に領域が記入された紙を画像読取装置で読み取る。読み取った画像には領域が指定されているので、元の画像に対して領域を反映する。

具体的には、まずオリジナルの紙原稿を読み取ってコピーする。このとき、読み取られたオリジナルの紙原稿を画像データとしてメモリに蓄積する。

そして、出力されたコピー原稿に対して、ユーザはカラーペン等を用いて手書きで直接領域を指定する。領域指定されたコピー原稿を読み取り、指定された領域を認識する。認識した領域に基づき、コピー時にメモリに蓄積した画像データに対してトリミングなどの画像編集を行い印刷する。
特登録２８５９９０３号公報

しかしながら、特許文献１の技術では次のような欠点がある。オリジナルの原稿が紙媒体であるため、指定した領域に基づいた画像は、オリジナルの紙原稿を一度読み取って紙媒体に出力した原稿を元にした画像データであるので、領域指定した画像データは元の画像データに比べて劣化が生じる場合がある。

また、人物等の複雑な領域を指定した場合や、載置されたコピー原稿が傾いていた場合には位置合わせが困難なため、領域指定した画像データを元画像に対して正確に反映することが困難である。

本発明の目的は、コピー原稿で指定した複雑な領域を正確に元画像に反映できるような画像領域指定装置及びその制御方法を提供することにある。

上記目的を達成するために本発明は以下の構成を有する。

画像データから指定された領域の一部を抽出することができる画像領域指定装置において、
領域指定の対象となる画像データを第１データに変換する第１変換手段と、前記画像データ上の領域を指定するための前記第１データに基づいた画像が記されたシートを印刷する印刷手段と、前記画像データ上の領域を指定するためのマークが記されたシートを読み取る読取手段と、前記読取手段によって読み取られたデータを第２データに変換する第２変換手段と、前記第１データと前記第２データに基づいて、前記第１データ上における前記マークの位置を検出する検出手段と、前記第２データから前記マークを抽出する抽出手段と、前記検出手段よって検出されたマークを前記画像データに重ねるように制御する制御手段とを有し、前記制御手段は、前記検出手段によって検出されたマークの位置に、前記抽出手段によって抽出されたマークを重ねるように制御する。

上記構成により本発明では以下のような効果が得られる。
（１）指定した領域に基づいた画像は、オリジナルの画像データから抽出するため、オリジナルの画像からの劣化がない。
（２）紙原稿に手書きで記入した領域を読み取り、元画像データに反映する際に、画像データ間の位置合わせを行うため、ユーザが所望した領域を高精度で反映できる。

以下、本発明の実施形態について説明する。尚、領域を指定するまでが本発明の特徴であり、実施形態の説明では領域を指定するまでの流れを記載する。

指定した領域をどのように利用するかは、本発明の適用例にて説明する。

（第１実施形態）
本発明に係る画像領域指定装置の第１実施形態として、プリンタ機能とスキャナ機能を備えた画像領域指定装置を例に挙げて以下に説明する。

＜ＭＦＰ１００の構成＞
図１は、本発明を適用可能な画像領域指定装置の一例である、マルチファンクションプリンタ（ＭＦＰ１００）の構成を示すブロック図である。

ＣＰＵ１０１は、ＭＦＰ１００全体を制御するプロセッサであり、ＲＯＭ１０２に格納されているプログラム（ファームウェア）を実行することによりＭＦＰ１００を制御する。ＲＯＭ１０２は、ＭＦＰ１００を制御するためのプログラムを保持する不揮発性メモリである。ＲＡＭ１０３は、ＣＰＵ１０１がＲＯＭ１０２に格納されているプログラムを実行する際に作業領域として使用される揮発性メモリである。ＲＡＭ１０３はまた、様々な画像データを一時的に記憶するバッファメモリとしても使用される。

プリンタ部１０４は、画像データを紙やＯＨＰシート等（以下、「印刷先媒体」と呼ぶ）に印刷するためのものである。本実施形態ではプリンタ部１０４はインクジェット方式のプリンタであり、記録ヘッドやモータ、インクカートリッジ等を備える。そして、記録ヘッドを搭載したキャリッジを印刷先媒体に対して往復走査させてインクを吐出し、その走査に従って印刷先媒体をキャリッジの走査方向に対して垂直の方向に搬送させることによって、記録を行う。

スキャナ部１０５は、紙やプラスチックシート、フィルム等オリジナル原稿を読み取って画像データを生成するためのものである。スキャナ部１０５は画像読み取りにより生成した画像データをＲＡＭ１０３に一時的にバッファリングする。スキャナ部１０５は、読み取り可能な最大のオリジナル原稿（例えばＡ４用紙）の幅全体に相当する読み取り幅を持つスキャナヘッドを備える。このスキャナヘッドには、複数のＣＣＤ（またはＣＩＳ）がその読み取り幅方向に配列されており、それらのＣＣＤを電気的に走査することで画像データを取得する。また、そのスキャナヘッドは、モータにより、ＣＣＤの配列方向に直角の方向に機械的に走査される。この電気的走査と機械的走査を組み合わせて、オリジナル原稿全体を読み取ることができる。なお、スキャナ部１０５は、オリジナル原稿を読み取って、カラー画像データを生成する。

カラー画像データとは、ＲＧＢ（赤緑青）成分からなる各色成分が、例えば８ビット（０〜２５５）で表現される画像データである。各画素を何ビットで表現するかは、ＣＣＤやＣＩＳの能力の領域で、自由に設定することができる。

画像処理部１０６は、様々な画像データに対し、変倍処理や単色変換処理等のデジタル画像処理を行う。

Ｉ／Ｆ１０７は、ＭＦＰ１００が様々な外部装置と通信を行うためのインタフェースである。外部装置には例えば、パーソナルコンピュータ（ＰＣ）や、ハードディスク、メモリカードなどの記憶媒体にデータを読み書きするためのドライブなどがある。インタフェースの種類には例えば、ＵＳＢやＩＥＥＥ１３９４などがある。

操作部１０８は、ユーザがこれを操作することによりＭＦＰ１００に様々な指示を与えるためのものである。与えることが可能な指示には、例えば、スキャナ部１０５がオリジナル原稿を読み取って生成した画像データに基づいてプリンタ部１０４に印刷動作をさせる、コピー指示がある。また、後述する画像中の領域を選択する処理を行うモードである、画像領域選択モードに入る指示がある。なお、ＭＦＰ１００に対する指示はＩ／Ｆ１０７を介してＰＣなどから与えることもできる。

表示部１０９は、様々な情報をユーザに通知するためのものであり、ＬＣＤやＬＥＤ等から構成される。ユーザに通知する情報には、例えばＭＦＰ１００の状態（印刷中かアイドル状態かなど）や、ＭＦＰ１００の設定メニューなどがある。

ＤＭＡコントローラ１１０は、ＭＦＰ１００の各構成要素間で、ＤＭＡ転送によりデータを転送するためのコントローラである。

画像記憶部１１１には、画像データが格納されている。第１実施形態ではこの画像記憶部１１１を、ＭＦＰ１００に内蔵されているハードディスクドライブとする。しかし別の実施形態において、この画像記憶部１１１はメモリーカードなどの記憶媒体であってもよい。

図２は、第１の実施形態における領域指定処理の流れを示すフローチャートである。当該処理は、画像領域選択モードで動作する。ユーザにより操作部１０８から画像領域選択モード移行の指示を受けると、画像領域選択モードへ移行する。画像領域選択モードで、ユーザから当該処理実行の指示を受けると、この処理が開始される。

＜マーク書込原稿の出力＞
まず、画像記憶部１１１に記憶されている画像データのうち、領域を指定する元画像データをＲＡＭ１０３に書き込む。

Ｓ２０１では、元画像データ全体をＭＦＰ１００で印刷用紙として選択されている用紙に収まるサイズに変倍する。第１実施形態では、元画像データ全体を用紙に収まる最大サイズに変倍する。別の実施形態において、変倍を行うかどうかをユーザが操作部１０８から選択することもできる。また、別の実施形態として、変倍を行わない場合には、ユーザが変倍率Ｒを自由に決定できる。その場合の変倍率は当然、Ｒ＜１でもＲ＞１でもＲ＝１であっても構わない。第１実施形態では、Ｒ＞１の場合のフィッティングを例とする。

図３は、第１実施形態における変倍処理の説明図である。元画像データの幅をｗ［ｐｉｘｅｌ］、画像の高さをｈ［ｐｉｘｅｌ］、印字可能領域の幅をＷｍａｘ［Ｉｎ］、印字可能領域の高さをＨｍａｘ［Ｉｎ］とし、第１実施形態ではｗ／Ｗｍａｘ＞ｈ／Ｈｍａｘの場合を例とする。元画像データ３０１を、用紙３０２に対してＮ［ｄｐｉ］で印刷する際に、印字可能領域３０３に収まる最大サイズに変倍する。変倍率Ｒは式（１）で導出し、元画像データ３０１をＲ倍で変倍した画像データを変倍画像データ３０４とする。
Ｒ＝（Ｗｍａｘ×Ｎ）／ｗ ・・・ 式（１）
Ｓ２０２では、変倍画像データ３０４を単色画像データに変換する。第１実施形態では、変換する単色の色をグレースケールとし、式（２）を用いてＲＧＢのそれぞれの画素値をＧｒａｙとすることで、グレースケールに変換する。
Ｇｒａｙ＝０．２９８９１×Ｒ＋０．５８６６１×Ｇ＋０．１１４４８×Ｂ ・・・ 式（２）
また、他の実施形態においては、マゼンタや赤、緑などに変換してもよい。以降、単色画像に変換された変倍画像データ３０４を第１単色画像データと称する。

Ｓ２０３〜Ｓ２０４では、必要に応じて第１単色画像データに対して、輝度圧縮処理を行う。これは単色の色がグレースケールだった場合に、マークの検出率を向上させるために行う。つまり、グレースケールで輝度値が最小の箇所は黒となるので、その箇所に重なったマークの検出率が低下、または検出不能となることを回避するためである。

Ｓ２０３では、輝度判定を行うために、第１単色画像データの最小輝度値ｌｍｉｎを計測する。この時ｌｍｉｎが予め設定している閾値Ｔより低い場合、即ちｌｍｉｎ＜Ｔの時（Ｓ２０３でＹｅｓ）は、輝度圧縮処理を行う。輝度圧縮処理は、第１単色画像データの輝度を高輝度方向に圧縮する処理である。

図４は、第１実施形態における輝度圧縮処理の説明図である。図４のグラフにおける横軸は輝度値を示し、縦軸は第１単色画像データ上における各輝度値をもつ画素数を示す。図４（Ａ）の場合はｌｍｉｎ≧Ｔなので、輝度値の圧縮は行わない。図４（Ｂ）の場合はｌｍｉｎ＜Ｔとなるため、輝度値の圧縮を行う。画像データにおける輝度値の上限をＬｌｉｍｉｔとし、各ピクセルにおける元の輝度値をｌ、各ピクセルにおける圧縮後の輝度値をＬ、圧縮後の最小輝度値をＬｍｉｎとした時、式（３）に基づいて輝度値の圧縮を行う。
Ｌ＝Ｌｌｉｍｉｔ−（Ｌｌｉｍｉｔ−ｌ）×（Ｌｌｉｍｉｔ−Ｌｍｉｎ）／（Ｌｌｉｍｉｔ−ｌｍｉｎ） ・・・ 式（３）
第１実施形態では、圧縮後の最小輝度Ｌｍｉｎを、図４（Ｂ）に示すように予め定めた値ｌｃｏｎｓｔとする。

輝度値に変換された第１単色画像データに対して、必要に応じて（Ｓ２０３でＹｅｓ）輝度圧縮処理を行った結果を輝度値に再変換し、第２単色画像データを生成する。輝度圧縮処理を行わなかった（Ｓ２０３でＮｏ）場合は、第１単色画像データを、そのまま第２単色画像データとする。第２単色画像データをＲＡＭ１０３に格納する。

Ｓ２０５では、第２単色画像データをプリンタ部で出力する。出力解像度はＮ［ｄｐｉ］とする。以降、プリント出力された原稿をマーク書込原稿と称する。

＜マークの記入＞
Ｓ２０６では、マーク書込原稿に対し、領域指定を行いたい領域をペンで直接マークすることで、マーク領域を設定する。第１実施形態では、マークの色は赤色とし、閉領域をマークする。しかし、ユーザが記入するマークは必ずしも閉領域となっている必要はなく、他の実施形態では、領域を指定したい領域の内部を塗り潰しても構わない。マークが閉領域か、塗り潰しているかによる差異は後述する。

図５は、マーク書込原稿へのマーク記入例を示す図である。第２単色画像データ５０１を印刷したものが、マーク書込原稿５０２である。第１実施形態では、例として図５（Ａ）に示す通り、ユーザがマーク書込原稿５０２に、原稿マーク領域５０３を赤色で記入する。原稿マーク領域５０３は、斜線で塗り潰されている領域のことであり、マークに囲まれた閉領域のことではない。原稿マーク領域５０３は、ユーザが用いるペンの太さによってその領域が変わる。

他の実施形態では図５（Ｂ）に示すように、マーク書込原稿５０２に、塗り潰しの原稿マーク領域５０４を記入してもよい。

第１実施形態では領域を指定するマークは、赤色カラーペンによるマークを例とするが、ペンの種類は問わない。また、ペンの色はマーク書込原稿に描かれている色でなく、さらに一定以上の輝度濃度を有していれば、黒も含めてどの種類の色でも構わない。

＜マークの抽出及び反映＞
Ｓ２０７〜Ｓ２１０では、マーク書込原稿５０２を読み取り、傾き補正処理やオリジナル原稿上の指定領域の抽出処理を行う。

Ｓ２０７では、原稿マーク領域５０３が記入されたマーク書込原稿５０２をスキャナ部で読み取る。読み取り解像度はＳ２０５での出力解像度と同等のＮ［ｄｐｉ］とする。

Ｓ２０８では、読み取ったオリジナル原稿に対応する画像データに対して、オートクロップ処理を行う。オートクロップ処理とは、読み取ったオリジナル原稿に対応する画像データ上から、載置された原稿の領域を抽出する処理である。オートクロップ処理によって、原稿領域を抽出する。

Ｓ２０９〜Ｓ２１０では、原稿領域に対して、傾き補正処理を行う。これらの処理によって抽出、傾き補正がなされた原稿領域のデータを、マーク原稿画像データと称する。

図６は、第１実施形態におけるオートクロップ処理と傾き補正処理の流れを示す図である。マーク書込原稿５０２を読み取った結果が読取画像データ６０１であり、原稿台に傾いて載置されたマーク書込原稿５０２に対応する領域が原稿領域６０２である。読取画像データ６０１に対してオートクロップ処理を行うことで、原稿領域６０２を検出する。検出された原稿領域６０２に外接する長方形領域６０３を認識する。次に長方形領域６０３を切り出して長方形画像データ６０４とし、ＨｂａｓｅとＷｂａｓｅから傾き角度θが式（４）より算出できる。角度θを補正した角度補正データ６０５の、網点部分を除いた領域を抽出することで、マーク原稿画像データ６０６を生成し、ＲＡＭ１０３に記憶する。オートクロップ機能、及び傾き補正機能の詳細なアルゴリズムについては、公知技術であるため、ここでは詳細な説明を省略する。
θ＝ａｔａｎ（Ｈｂａｓｅ／Ｗｂａｓｅ） ・・・ 式（４）
オートクロップ処理及び傾き補正処理を行う理由は次の通りである。マーク書込原稿を正確に原稿突き当て位置に当てて載置したにも関わらず、圧板を閉じる際の風の影響などによりマーク書込原稿が多少傾いてしまう場合がある。マーク書込原稿が傾くと、読み取った画像データは当然、マーク書込原稿が傾いた画像となる。データ間の位置合わせについては後述するが、この場合、ＲＡＭ１０３に元画像データと読み取った画像データの位置合わせの精度が低下する。その問題を回避するためにオートクロップ処理及び傾き補正処理を行う。

Ｓ２１１では、マーク原稿画像データ６０６から、原稿マーク領域５０３を抽出する。原稿マーク領域５０３の抽出は、マーク原稿画像データ６０６内において、単色の色に近似しない色成分をもつ画素を抽出することで行う。第１実施形態では、単色の色はグレースケールを例にしているので、マーク原稿画像データ６０６内において、Ｒ≒Ｇ≒Ｂではない色成分の画素が原稿マーク領域５０３である。また例えば他の実施形態において、単色の色が赤であった場合は、マーク原稿画像データ内において、Ｇ成分もしくはＢ成分の値が一定以上の画素が原稿マーク領域である。さらには例えば他の実施形態において、単色の色がマゼンタであった場合は、マーク原稿画像データ内において、一定輝度以上のＧ成分をもつ色値の画素が原稿マーク領域である。マーク原稿画像データ上における、抽出した原稿マーク領域をＲＡＭ１０３で記憶する。

Ｓ２１２では、第２単色画像データと、マーク原稿画像データ６０６との位置合わせを行う。第１実施形態では、出力解像度と読み取り解像度が共にＮ［ｄｐｉ］で等しいため、互いの画像データ間の縮尺は同等である。位置合わせには、互いの画像データ間の画像類似度を用いる。画像類似度の計測手段には、差分値の総和を用いる。この時、マーク原稿画像データ上における、原稿マーク領域は差分値計測の対象から除外する。対象から除外する理由は次の通りである。そもそも原稿マーク領域の色値は、単色元画像データ上にはない色（本実施例では赤色）である。そのため、単色元画像データとマーク原稿画像データ間における原稿マーク領域部分には差分値が発生する。従って、マークがなければ高類似度となる箇所において、原稿マーク領域の影響により類似度が低下する。それにより類似度の信頼性が低下するため、原稿マーク領域については差分値計測の対象外とする。

図７は、原稿マーク領域７０４を差分値計測の対象から除外する理由の説明図である。図７（Ａ）は、第２単色画像データ７０１とマーク原稿画像データ６０６間の類似度が、本来最大となる位置を示している。この時の、第２単色画像データ７０１内の小領域７０２と、マーク原稿画像データ６０６内の小領域７０３に注目する。図７（Ｂ）は互いの小領域のみに注目した図である。小領域７０５は、マーク書込原稿に対してマークをしなかった場合の、小領域を示す。小領域７０２と、マークが記入されなかった場合の小領域７０５の、画像間差分値の総和は、本来０に近くなる。しかし、小領域７０２と、マークが記入された場合の小領域７０３の、画像間におけるマーク領域７０４の位置では差分値が発生するため、差分値の総和が０に近くはならない。それにより本来類似度が最大となるべき位置が正しく認識できない可能性がある。従って、位置合わせの信頼性を向上させるために、マーク領域７０４の位置については差分値計測の対象外する。

また、位置合わせに際して、原稿マーク領域７０４を第２単色画像データ７０１の座標系に変換する。図８は、原稿マーク領域７０４を第２単色画像データ７０１の座標系に変換する処理の説明図である。第２単色画像データ７０１において、原点をＰＡ０（０，０）とする。マーク原稿画像データ６０６において、原点をＰＢ０（０，０）、ＰＡ０に対応する点をＰＢ１（ｘ１，ｙ１）、原稿マーク領域７０４上の任意の一点をＰＢｎ（ｘｎ，ｙｎ）とする。座標変換することにより、マーク原稿画像データ６０６における各点の座標は次のように変換される。ＰＡ０に対応する点ＰＢ１をＰ’Ｂ１（０，０）とすると、ＰＢｎはＰ’Ｂｎ（ｘｎ−ｘ１，ｙｎ−ｙ１）となる。よって、第２単色画像データ７０１上における、Ｐ’Ｂｎと同座標の点ＰＡｎ（ｘｎ−ｘ１，ｙｎ−ｙ１）は原稿マーク領域７０４に対応する領域８０１の一点であることがわかる。同様にして、第２単色画像データ７０１上で、原稿マーク領域７０４全体に対応した、単色画像上マーク領域８０１を認識できる。

第１実施形態では、原稿マーク領域７０４は、第２単色画像データ７０１上に反映させているが、他の実施形態では、変倍画像データ３０４上の座標系に変換しても構わない。なぜなら、座標変換では原稿マーク領域７０４の色情報ではなく、位置情報が求められているからである。そして、第２単色画像データ７０１と、変倍画像データ３０４の差異は色情報のみであり、位置情報は等しいからである。

第２単色画像データ７０１の座標系に変換された、単色画像上マーク領域８０１をＲＡＭ１０３に記憶する。

Ｓ２１３では、単色画像上マーク領域８０１を元画像データ３０１の座標系へ変換するために逆数倍する。単色画像上マーク領域８０１は、元画像データ３０１の座標系と比較するとＲ倍されているので、単色画像上マーク領域８０１をＲの逆数倍として１／Ｒ倍する。単色画像上マーク領域８０１を逆数倍した領域を、元画像上マーク領域としてＲＡＭ１０３で記憶する。

また、元画像上マーク領域を、線（以降、マークラインと称する。）に変換する。第１実施形態においてマークはペンで記入するため、元画像上マーク領域は幅をもつが、最終的に指定されるマークは線となるべきである。元画像上マーク領域をマークラインに変換する手法は複数ある。ここで前述した、マークが閉領域か塗り潰しかによって特徴に差異が生じる。

図９はマークライン変換手法の例を示す図である。図９（Ａ）は、第１実施形態における、元画像上マーク領域９０２を元画像データ３０１の座標系の枠９０１と併記した図である。第１実施形態では、元画像上マーク領域９０２の内側を、マークライン９０３とする。他の実施形態において、Ｓ２０６で図５（Ｂ）に示すような塗り潰しのマークを記入していた場合には、元画像上マーク領域９０４は図９（Ｂ）に示すように塗り潰されている。その場合には、内側の線が存在しないため、内側をマークラインとする本手法は使用できない。

他の実施形態では、図９（Ｃ）に示すように、元画像上マーク領域９０２の外側を、マークライン９０５としてもよい。この場合は、マークが閉領域の場合のみならず、マークが塗り潰しの時にも利用できる。

Ｓ２１４では、マークライン９０３を元画像データ３０１に反映する。

図１０はマークライン９０３を元画像データ３０１へ反映する処理の説明図である。マークライン９０３と、元画像データ３０１は、Ｓ２１２〜Ｓ２１３で同一座標系となっているため、マークライン９０３の座標を元画像データ３０１に反映する。

本発明の特徴はマークライン９０３を元画像データ３０１に反映することであり、反映された指定領域の適用例は後述する。

（第２実施形態）
元画像データ上において、ユーザが手書きで領域を指定したい領域が小さい場合には、第１実施形態では領域を指定すること自体が困難である。

図１８に示すように、元画像データ１８０１上の文字が小さく、ユーザがその文字の外周を指定したい場合、元画像データ１８０１を出力したマーク書込原稿１８０２上では、その領域を手書きで囲むこと自体が困難である。その結果がマーク１８０３のようになる可能性がある。

この問題を解決するためには、ユーザが所望する領域を拡大したマーク書込み原稿を印刷すればよい。図１９は、小さな領域を指定する例の図である。図１９に示すように、元画像データ１８０１上で文字の外周を含む特定の領域１９０１を、例えば表示部１０９に表示させた状態で、ユーザが指定する。指定された特定の領域１９０１を拡大し、マーク書込原稿１９０２に印刷する。マーク書込原稿１９０２は、マーク書込原稿１８０２と比べて、文字の外周を囲みやすいため、マーク１９０３のように指定しやすくなる。

領域指定処理は、ＲＡＭ１０３に格納されている元画像データ３０１を表示部１０９に表示した状態で、ユーザが手書きで領域を指定したい特定の領域を、ユーザが操作部１０８から指定することによって、手書きで領域を指定したい領域を拡大して印刷できる。図１１は、第２実施形態における領域指定処理の流れを示すフローチャートである。

図１２は、第２実施形態におけるプリント出力までの処理の概要図である。第２実施形態では特定領域を長方形領域１２０１とする。元画像データ３０１に対して、長方形領域１２０１をユーザが操作部１０８で指定する。Ｓ１１０２の処理は元画像データ３０１、及び長方形領域１２０１に対して行う。Ｓ１１０３〜Ｓ１１０５の処理は長方形領域１２０１に対して行う。Ｓ１１０６はＳ１１０２〜Ｓ１１０５の処理を行った長方形領域１２０１を、マーク書込原稿１２０２としてプリント出力する。

以降、第２実施形態における領域指定処理の詳細な流れについて説明する。

まず、ＲＡＭ１０３に画像データを書き込み、元画像データ３０１とする。

Ｓ１１０１では、元画像データ３０１に対して、操作部１０８でユーザが手書きで領域を指定したい特定の長方形領域１２０１を指定する。

Ｓ１１０２では、許容する最大変倍率を、元画像データ３０１全体が収まる倍率ではなく、長方形領域１２０１が用紙に収まる倍率として、変倍処理を行う。これは図１２で示す通り、長方形領域１２０１が拡大されてプリント出力され、マーク書込原稿１２０２となるからである。変倍率の制限以外は、第１実施形態のＳ２０１における変倍処理と同様である。

図１３は第２実施形態における変倍処理の説明図である。元画像データ３０１を変倍した第１変倍画像データ１３０１から、長方形領域１２０１に対応する領域である変倍長方形領域１３０２を切り出して、第２変倍画像データ１３０３とする。

Ｓ１１０３〜Ｓ１１０５では、第２変倍画像データ１３０３に対して、第１実施形態におけるＳ２０２〜Ｓ２０４と同様の処理を行い、ＲＡＭ１０３に第２単色画像データとして記憶する。

Ｓ１１０６〜Ｓ１１１２では、第１実施形態におけるＳ２０５〜Ｓ２１１と同様の処理を行う。

Ｓ１１１３では、まず、マーク原稿画像データと第２単色画像データとの位置合わせを行う。位置合わせには、第１実施形態と同様に、マーク原稿画像データと第２単色画像データ間の差分値の総和情報に基づく類似度を利用する。位置合わせに伴い、マーク原稿画像データから第２単色画像データへの座標変換を行い、続いて第２単色画像データから第１変倍画像データ１３０１への座標変換を行う。

図１４は、第２実施形態における座標変換の説明図である。図１４では既に、マーク原稿画像データ１４０２と第２単色画像データ１４０１間での類似度に基づく位置合わせが完了しているものとする。

第１変倍画像データ１３０１における原点をＰＡ０（０，０）、変倍長方形領域１３０２の基準点（領域内の左上の点）をＰＡ１（ｘ１，ｙ１）とする。第２単色画像データ１４０１における原点をＰＢ０（０，０）とする。マーク原稿画像データ１４０２における原点をＰＣ０（０，０）、ＰＢ０に対応する点をＰＣ１（ｘ２，ｙ２）、原稿マーク領域１４０３のある一点をＰＣｎ（ｘｎ，ｙｎ）とする。

第１座標変換を行うことにより、マーク原稿画像データ１４０２における各点の座標は次のように変換される。ＰＢ０とＰＣ１は対応する点であるため、ＰＣ１はＰ’Ｃ１（０，０）となり、ＰＣｎはＰ’Ｃｎ（ｘｎｘ２，ｙｎｙ２）となる。それに伴い、ＰＢｎ（ｘｎｘ２，ｙｎｙ２）となる。同様にして原稿マーク領域１４０３全体を、第２単色画像データ１４０１上にマーク領域１４０４として反映できる。

続いて、第２座標変換を行うことにより、第２単色画像データ１４０１における各点の座標は次のように変換される。ＰＡ１とＰＢ０は対応する点であるため、ＰＢ０はＰ’Ｂ０（ｘ１，ｙ１）となり、ＰＢｎはＰ’Ｂｎ（ｘ１＋ｘｎｘ２，ｙ１＋ｙｎｙ２）となる。それに伴い、ＰＡｎ（ｘ１＋ｘｎｘ２，ｙ１＋ｙｎｙ２）となる。同様にしてマーク領域１４０４全体を、第１変倍画像データ１３０１上にマーク領域１４０５として反映できる。

次のＳ１１１４〜Ｓ１１１５は、第１実施形態におけるＳ２１３〜Ｓ２１４と同様の処理を行う。

以上説明してきた第１、及び第２実施形態によれば、ユーザが直接マークを記入したマーク書込原稿をスキャンし、検出したマークの位置合わせを行い、元画像データに反映することにより、複雑な領域の指定を高精度で行うことができる。また、元画像データの一部分を拡大してプリント出力することにより、微細な領域の指定も容易に行うことができる。

本発明によって、画像データにおける人物などの複雑な形状の領域を指定することができる。

本発明の適用例としては、例えば図１５のように年賀状に人物の写真を合成する際に有効となる。元画像データ１５０１を基にマーク記入原稿１５０２を印刷し、マーク１５０３を記入する。マーク１５０３で指定された領域を元画像データ１５０１から切り抜いて、合成したい画像データ１５０４と合成し、プリント出力することにより、合成原稿１５０５を作成できる。

また、他の例としては例えば図１６のようにＰＣ上の画像編集アプリケーションにおいて、人物画像などの編集を行う際に有効となる。ユーザがマーク１６０３を記入するために、元画像データ１６０１を基にマーク記入原稿１６０２を印刷する。ユーザによってマーク１６０３で指定された領域を、ＰＣ上の画像アプリケーション上の元画像データ１６０１に対して、選択領域１６０４として反映する。

また、第２実施形態の特に有効な適用例としては、例えば風景画像の微細な一部の領域を切り抜き、その部分に人物画像をはめ込み合成するような場合である。図１７は、元画像データ１７０１の一部分を切り抜き、人物画像データ１７０５をはめ込み合成する例の図である。元画像データ１７０１における特定領域１７０２を指定する。マーク記入原稿１７０３にマーク１７０４を記入し領域を指定する。ユーザが人物画像データ１７０５を任意のサイズに縮小し、その縮小された人物画像データ１７０６を生成する。元画像データ１７０１上におけるマーク１７０４で指定された領域に対して、縮小された人物画像データ１７０６をはめ込み合成を行うことで、合成画像データ１７０７を作成できる。

なお、本実施形態ではＭＦＰに記憶している画像データを基に説明したが、ＰＣに記憶されている画像データが基になっていても構わない。その場合は、指定した領域の反映は、ＰＣ上の画像データに対して行う。

また、本実施形態では、位置合わせの手法に画像類似度の判定を用いているが、他の実施形態では、図示しない位置合わせ用の印を付加して、マーク書込原稿として出力し、その印に基づいて位置合わせを行ってもよい。具体的には、マーク書込原稿上における位置合わせ用の印を印刷した場所は既知であるので、読み取ったマーク原稿画像データから位置合わせ用の印を認識することで、位置合わせを行う。

もちろん、画像類似度の判定とともに位置あわせ用のマーク検出の両方を、位置合わせの判定に用いてもよい。

また、本実施形態では、元画像データに対して単色変換を行い出力しているが、マークを検出できるのであれば、単色変換は行わずにカラー画像データのまま出力しても構わない。

また、本実施形態では、画像類似度検索手法に差分値の総和を用いているが、例えば微分値に基づくエッジ強度などを用いても構わない。

また、本実施形態では元画像データに対し、変倍処理、単色変換処理、輝度圧縮処理の順で、処理を行っているが、本発明の趣旨及び領域から逸脱しなければ、それらの順序は本実施形態に限定されるものではない。

その他、座標変換の方法、輝度圧縮処理の方法、原稿内画像領域の抽出方法、特定領域の形状、特定領域を指定するタイミング、マーク領域からマークラインへの変換手法、ハードウェアの構成などについても、本実施形態に限定されるものではない。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体に格納することによっても実現が可能である。その記憶媒体をシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータが記憶媒体に格納されたプログラムコードを実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行うことで、前述した実施形態の機能が実現される場合も含まれる。

本発明の実施形態における画像領域指定装置の構成を示すブロック図 本発明の第１実施形態における領域指定処理を示すフローチャート 本発明の実施形態における変倍処理を示す図 本発明の実施形態における輝度圧縮処理を示す図 本発明の実施形態における原稿マーク領域の例を示す図 本発明の実施形態におけるオートクロップ処理と傾き補正処理を示す図 本発明の実施形態における原稿マーク領域を差分値計測対象外とする説明図 本発明の第１実施形態における原稿マーク領域を第２単色画像データの座標系に変換する説明図 本発明の実施形態におけるマークライン変換手法の例を示す図 本発明の実施形態におけるマークラインを元画像データへ反映する説明図 本発明の第２実施形態における領域指定処理を示すフローチャート 本発明の第２実施形態におけるプリント出力までの処理の概要図 本発明の第２実施形態における変倍処理の説明図 本発明の第２実施形態における座標変換の説明図 本発明の合成印刷への適用例を示す図 本発明のアプリケーションへの適用例を示す図 本発明の第２実施形態を用いたはめ込み合成の例を示す図 本発明の第１実施形態における小さな領域を指定する例の図 本発明の第２実施形態における小さな領域を指定する例の図

Claims (18)

1. 画像データから指定された領域の一部を抽出することができる画像領域指定装置において、
   領域指定の対象となる画像データを第１データに変換する第１変換手段と、
   前記画像データ上の領域を指定するための前記第１データに基づいた画像が記されたシートを印刷する印刷手段と、
   前記画像データ上の領域を指定するためのマークが記されたシートを読み取る読取手段と、
   前記読取手段によって読み取られたデータを第２データに変換する第２変換手段と、
   前記第１データと前記第２データに基づいて、前記第１データ上における前記マークの位置を検出する検出手段と、
   前記第２データから前記マークを抽出する抽出手段と、
   前記検出手段よって検出されたマークを前記画像データに重ねるように制御する制御手段とを有し、
   前記制御手段は、前記検出手段によって検出されたマークの位置に、前記抽出手段によって抽出されたマークを重ねるように制御することを特徴とする画像領域指定装置。
2. 前記第１データに対する前記第２データの傾きを補正する補正手段とを有し、
   前記検出手段は、前記補正手段によって傾きが補正された第２データに基づいて、前記マークの位置を検出することを特徴とする請求項１の画像領域指定装置。
3. 前記抽出手段は、色データに基づいて、前記マークを抽出することを特徴とする請求項１の画像領域指定装置。
4. 前記検出手段は、前記第１データと前記第２データの類似度に基づいて、前記マークの位置を検出することを特徴とする請求項１の画像領域指定装置。
5. 前記検出手段は、前記第１データと前記マークの領域を除いた前記第２データの類似度に基づいて、前記マークの位置を検出することを特徴とする請求項４の画像領域指定装置。
6. 前記第１変換手段は、前記画像データ上の特定の領域のみを拡大した第１データに変換することを特徴とする請求項１の画像領域指定装置。
7. 画像データから指定された領域の一部を抽出することができる画像領域指定装置の制御方法において、
   領域指定の対象となる画像データを第１データに変換する第１変換工程と、
   前記画像データ上の領域を指定するための前記第１データに基づいた画像が記されたシートを印刷する印刷工程と、
   前記画像データ上の領域を指定するためのマークが記されたシートを読み取る読取工程と、
   前記読取工程によって読み取られたデータを第２データに変換する第２変換工程と、
   前記第１データと前記第２データに基づいて、前記第１データ上における前記マークの位置を検出する検出工程と、
   前記第２データから前記マークを抽出する抽出工程と、
   前記検出工程よって検出されたマークを前記画像データに重ねるように制御する制御工程を有し、
   前記制御工程で、前記検出工程によって検出されたマークの位置に、前記抽出工程によって抽出されたマークを重ねるように制御することを特徴とする画像領域指定装置の制御方法。
8. 前記第１データに対する前記第２データの傾きを補正する補正工程を有し、
   前記検出工程において、前記補正工程で傾きが補正された第２データに基づいて、前記マークの位置を検出することを特徴とする請求項７の画像領域指定装置の制御方法。
9. 前記抽出工程は、色データに基づいて、前記マークを抽出することを特徴とする請求項７の画像領域指定装置の制御方法。
10. 前記検出工程は、前記第１データと前記第２データの類似度に基づいて、前記マークの位置を検出することを特徴とする請求項７の画像領域指定装置の制御方法。
11. 前記検出工程は、前記第１データと前記マークの領域を除いた前記第２データの類似度に基づいて、前記マークの位置を検出することを特徴とする請求項１０の画像領域指定装置の制御方法。
12. 前記第１変換工程は、前記画像データ上の特定の領域のみを拡大した第１データに変換することを特徴とする請求項７の画像領域指定装置の制御方法。
13. 画像データから指定された領域の一部を抽出することができる画像処理システムにおいて、
    領域指定の対象となる画像データを第１データに変換する第１変換手段と、
    前記画像データ上の領域を指定するための前記第１データに基づいた画像が記されたシートを印刷する印刷手段と、
    前記画像データ上の領域を指定するためのマークが記されたシートを読み取る読取手段と、
    前記読取手段によって読み取られたデータを第２データに変換する第２変換手段と、
    前記第１データと前記第２データに基づいて、前記第１データ上における前記マークの位置を検出する検出手段と、
    前記第２データから前記マークを抽出する抽出手段と、
    前記検出手段よって検出されたマークを前記画像データに重ねるように制御する制御手段とを有し、
    前記制御手段は、前記検出手段によって検出されたマークの位置に、前記抽出手段によって抽出されたマークを重ねるように制御することを特徴とする画像領域指定システム。
14. 前記第１データに対する前記第２データの傾きを補正する補正手段とを有し、
    前記検出手段は、前記補正手段によって傾きが補正された第２データに基づいて、前記マークの位置を検出することを特徴とする請求項１３の画像領域指定システム。
15. 前記抽出手段は、色データに基づいて、前記マークを抽出することを特徴とする請求項１３の画像領域指定システム。
16. 前記検出手段は、前記第１データと前記第２データの類似度に基づいて、前記マークの位置を検出することを特徴とする請求項１３の画像領域指定システム。
17. 前記検出手段は、前記第１データと前記マークの領域を除いた前記第２データの類似度に基づいて、前記マークの位置を検出することを特徴とする請求項１６の画像領域指定システム。
18. 前記第１変換手段は、前記画像データ上の特定の領域のみを拡大した第１データに変換することを特徴とする請求項１３の画像領域指定システム。

Images