JPH118768A5 - - Google Patents

Description

【０００９】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
複数の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力する入力手段と、
該入力された画像データに基づいて画素の特徴量を抽出する特徴量抽出手段と、
該抽出された特徴量を所定の重み付けを用いて再評価する特徴量再評価手段と、
該再評価された特徴量に基づいて画像処理の内容を決定する処理内容決定手段と、
該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施する処理手段と
を備えたことを要旨としている。

上記の発明では、入力手段が、実写画像を構成する画素の画像データを該実写画像全体から均等に入力し、特徴量抽出手段が、該入力された画像データに基づいて、画像処理強度等の画像処理の内容を判定するにあたって必要な各画素の特徴量を抽出する。そして、特徴量再評価手段は、この特徴量抽出手段で抽出した特徴量を所定の重み付けを用いて再評価し、このような再評価によって得られた特徴量に基づいて、上記処理内容決定手段が画像処理の強度等の画像処理の内容を決定し、上記処理手段が、該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施する。

すなわち、抽出段階では実写画像全体にわたって均等に行ない、抽出後に所定の重み付けを行なうので、結果として得られる特徴量は画像全体にわたって均等に得られたものとは異なるものとなる。

なお、画素の特徴量の抽出は、実写画像を構成する全画素について抽出するものであってもよいし、また、全画素ではなくても均等に抽出すればよい。後者の一例として、上記入力手段を、上記実写画像を構成する全画素に対して所定の基準で均等に間引きして選択した画素の画像データを入力する手段とし、上記特徴量抽出手段は、上記間引きして入力された画像データに基づいて上記特徴量の抽出を行なう手段とする構成を考えることができる。

上記の構成においては、全画素に対して所定の基準で均等に間引きすることにより、処理される画素数が減り、この減った画素に対して上記特徴量を抽出する。

このように、特徴量再評価手段は、抽出された特徴量を所定の重み付けを用いて再評価するが、抽出される特徴量が画素単位であるのに対応して画素単位の重み付けを行なっても良いし、適当なひとまとまりごとに重み付けを行なっても良い。後者の一例として、上記画像処理の対象となる画像を所定の基準で分割する複数の領域毎に、画像における該領域の位置に応じて設定された重み付けを予め記憶する重み付け記憶手段を備えると共に、上記入力手段を、上記複数の領域の各々から上記画像データの入力を行なう手段とし、上記特徴量抽出手段を、該複数の領域の各々から入力された上記画像データに基づいて、上記特徴量の抽出を領域毎に行なう手段とし、上記特徴量再評価手段を、該抽出された特徴量の再評価を、上記領域毎に記憶された重み付けを用いて行なう手段とする構成を考えることができる。

上記の発明では、画像を所定の基準で分割した領域単位の重み付けを前提としており、特徴量抽出手段はこのような領域単位で特徴量の抽出を行なうし、特徴量再評価手段は同領域毎に記憶されている重み付けを用いて各領域ごとの特徴量を再評価する。

その一例として、上記重み付け記憶手段を、画像に対する各画素の位置に応じて設定された重み付けを、上記複数の領域毎に予め記憶する手段としてもよい。具体的には、画像に対する各画素の位置によって定まる対応関係で上記重み付けを変化させる構成を考えることができる。

上記の構成においては、例えば画像の中央部分の重み付けを重くするとともに、周囲の重み付けを軽くするように決めておいた場合、特徴量再評価手段は、画像に対する各画素の位置を判断し、この位置によって変化する重み付けを利用して再評価する。

また、重み付け手法の他の一例として、画像の変化度合いを求めるとともに、画像の変化度合いが大きい部分で上記重み付けを重くする手法がある。具体的には、上記入力された画像データに基づいて上記実写画像における画像の変化度合いの大きな領域を特定する領域特定手段と、該領域特定手段により特定された領域に、該領域以外の他の領域よりも重い重み付けを付与する重み付け付与手段とを備えると共に、上記特徴量再評価手段を、少なくとも上記重み付け付与手段により付与された重み付けを用いて上記特徴量の再評価を行なう手段とする構成を考えることができる。この場合において、上記入力された画像データに基づいて、上記実写画像を構成する画素のうち、隣接画素との画像データの変化度合いが所定値以上である画素の数を求める画素数演算手段を備え、該画素数演算手段により求められた画素数を考慮して、上記領域特定手段が、上記実写画像における画像の変化度合いの大きな領域を特定することとしてもよい。

上記の構成においては、特徴量再評価手段が再評価を行う前に画像の変化度合いが求められる。画像の変化度合いは画像のシャープさともいえ、ピントがあっている画像ほど輪郭部分がはっきりしているので変化度合いは大きい。逆にピントが合っていないと画像の輪郭部分では徐々に画像が変化することになり、変化度合いは小さくなる。写真などであればピントが合っている部分が本来的な被写体であってピントがあっていない部分は背景などと同等と考えられる。このため、画像の変化度合いが大きな所は本来的な被写体と考えられ、特徴量再評価手段は、このような画像の変化度合いの大きい部分で重み付けを重くして評価することにより、多くの特徴量を抽出したのと同等の結果を得る。

また、さらなる他の一例として、実写画像における各画素のうち、所定の色の範囲に入る画素数を求める演算手段と、上記実写画像において、上記演算手段により求められた画素数が多い領域を特定する特定手段と、該特定手段により特定された領域に、該領域以外の他の領域よりも重い重み付けを付与する付与手段とを備え、特徴量再評価手段が、少なくとも上記付与手段によって付与された重み付けを用いて上記特徴量の再評価を行なうこととしてもよい。具体的には、各画素の色度を求めるとともに、同色度が特徴量を抽出しようとするターゲットの色度の範囲に入る画素数を求め、この画素数が多い部分で上記重み付けを重くする構成を考えることができる。

画像処理では特定の色によって物体を特定できることがある。例えば、人物であれば肌色の部分を探すことによってターゲットと判断して差し支えない。なお、通常の色画像データには明るさの要素も含まれているので肌色を特定することが難しい場合もある。これに対し、上記の構成では、各画素の色度（色の刺激値の絶対的な割合を表しており、明るさには左右されないもの）が求められる。従って、肌色の取りうる色度の範囲に入っていれば人物像の画素と判断できる。むろん、肌色以外にも、木々の緑色の取りうる範囲であるとか青空の青色が取りうる範囲といったものでも同様のことが言える。

このような背景のもとで、特徴量再評価手段は、各画素について求めた色度が所定の色の範囲に入る場合に画素数をカウントし、この画素数が多い領域はターゲットであると判断して重み付けを重くし、ターゲットから多くの特徴量を抽出したのと同様の結果を得る。

以上のような重み付けの手法は必ずしも択一的なものではないが、重複適用する場合の好適な一例として、複数の要素に関して、それぞれの重み付け係数を設定する手段と、上記複数の要素についてのそれぞれの重み付け係数を、重要度に応じた重み付けで加算して最終的な重み付け係数を決定する手段とを備えるものとし、この最終的な重み付け係数を用いて、特徴量再評価手段が特徴量の再評価を行なうこととしてもよい。具体的には、複数の要素に基づいて個別に仮の重み付け係数を求めるとともに、さらに、これらを重要度に応じた重み付けで加算して最終的な重み付け係数として適用する構成を考えることができる。

上記の構成においては、複数の要素に基づいて個別に仮の重み付け係数が求められる。そして、さらに、これらを重要度に応じた重み付けで加算し、最終的な重み付け係数として抽出した特徴量を再評価する。従って、一つの重み付け手法によって評価された段階では大きな重み付けを与えられたとしても、その重み付け手法の重要度が低ければ結果としては大きな重み付けは与えられないということもある。また、重み付け手法毎に大きな差のあるものに対して全般的に平均以上に重み付けを評価されたものが最終的な重み付けも多いといったようなことが起こる。

上記のような、抽出段階では実写画像全体にわたって均等に行ない、抽出後に所定の重み付けを行なう手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、複数の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力し、
該入力された画像データに基づいて画素の特徴量を抽出し、
該抽出された特徴量を所定の重み付けを用いて再評価し、
該再評価された特徴量に基づいて画像処理の内容を決定し、
該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施すること
を要旨としている。

その一例として、本発明の記録媒体は、複数の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータにより読み取り可能に記録した記録媒体であって、
上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力する機能と、
該入力された画像データに基づいて画素の特徴量を抽出する機能と、
該抽出された特徴量を所定の重み付けを用いて再評価する機能と、
該再評価された特徴量に基づいて画像処理の内容を決定する機能と、
該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施する機能と
をコンピュータにより実現するプログラムを記録したこと
を要旨としている。

以上説明したように、本発明の画像処理装置は、画素の特徴量の抽出を実写画像全体にわたって均等に行ない、抽出後に所定の重み付けを行なうので、演算処理量を多くせず、かつ、単に均等に抽出してしまった場合のような的外れな評価を行うことが無くなり、自動的に最適な評価で画像処理を行なうことが可能となる。

また、実写画像を構成する画素を間引きして画像データを入力する構成とすれば、画像処理の際の処理量を減らすことができる。

領域毎に重み付けを変化させる構成とすれば、画像処理の際の演算が比較的容易となる。

さらに、重み付けを画素の位置によって決める構成を採れば、画像処理の際の演算が比較的容易となる。

また、上記実写画像における画像の変化度合いの大きな領域に、該領域以外の他の領域よりも重い重み付けを付与し、この重み付けを用いて特徴量を再評価すれば、個々の画像によって異なるターゲットを正確に判別して特徴量を得ることができる。例えば、再評価において用いられる重み付けを画像のシャープさによって変える構成としてもよい。

さらに、所定の色の範囲に入る画素数が多い部分について、重み付けを重くして再評価する構成とすれば、色によって特定の対象を選別できるので、個々の画像によって異なるターゲットを正確に判別して特徴量を得ることができる。

さらに、特徴量の再評価の際に、複数の要素についてのそれぞれの重み付け係数を、重要度に応じた重み付けで加算することによって決定された最終的な重み付け係数を用いる構成とすれば、複数の重み付け手法を適宜組み合わせてより好適な特徴量の評価を行うことができる。

さらに、本発明の画像処理方法によれば、画像処理の際の演算量が少なく、かつ、最適な評価で画像処理を行うことが可能な画像処理方法を提供でき、本発明の記録媒体によれば、同様の効果を得られる画像処理制御プログラムを記録した媒体を提供できる。

図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写画像データを画像処理装置２０へ出力し、同画像処理装置２０は所定の処理を経て画像処理の強調程度を決定してから画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置３０は画像処理された画像をドットマトリクス状の画素で出力する。ここにおいて、画像処理装置２０が出力する画像データは、実写画像全体から均等に入力された画像データに基づいて画素の特徴量を抽出した後、この特徴量を所定の重み付けで評価（以下、再評価という）し、再評価された特徴量に応じて決定された強調程度で画像処理されたものである。従って、画像処理装置２０は、上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力する入力手段と、該入力された画像データに基づいて画素の特徴量を抽出する特徴量抽出手段と、抽出された特徴量を所定の重み付けで再評価する特徴量再評価手段と、再評価された特徴量に基づいて強調程度等の画像処理の内容を決定する処理内容決定手段と、該決定された内容での画像処理を画像データ全体に対して実施する処理手段とを備えている。

例えば、図１７にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１８にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。

むろん、これらのステップＳ１３０〜ステップＳ１６０を実行するハードウェア構成とソフトウェアとによって処理内容決定手段ないし処理手段を構成することになる。なお、本実施形態においては、画像処理としてコントラストの拡大処理や明度の修正処理を実行しているが、他の画像強調処理などにおいても全く同様に適用可能であることはいうまでもない。

Claims (6)

1. 複数の画素からなる実写画像に対して所定の画像処理を行なう画像処理装置であって、
   上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力する入力手段と、
   該入力された画像データに基づいて画素の特徴量を抽出する特徴量抽出手段と、
   該抽出された特徴量を所定の重み付けを用いて再評価する特徴量再評価手段と、
   該再評価された特徴量に基づいて画像処理の内容を決定する処理内容決定手段と、
   該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施する処理手段と
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   上記入力手段は、上記実写画像を構成する全画素に対して所定の基準で均等に間引きして選択した画素の画像データを入力する手段であり、
   上記特徴量抽出手段は、上記間引きして入力された画像データに基づいて上記特徴量の抽出を行なう手段である
   画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   上記画像処理の対象となる画像を所定の基準で分割する複数の領域毎に、画像における該領域の位置に応じて設定された重み付けを予め記憶する重み付け記憶手段を備え、
   上記入力手段は、上記複数の領域の各々から上記画像データの入力を行なう手段であり、
   上記特徴量抽出手段は、該複数の領域の各々から入力された上記画像データに基づいて、上記特徴量の抽出を領域毎に行なう手段であり、
   上記特徴量再評価手段は、該抽出された特徴量の再評価を、上記領域毎に記憶された重み付けを用いて行なう手段である
   画像処理装置。
4. 上記重み付け記憶手段は、画像に対する各画素の位置に応じて設定された重み付けを、上記複数の領域毎に予め記憶する手段である請求項３に記載の画像処理装置。
5. 複数の画素からなる実写画像に対して所定の画像処理を行なう方法であって、
   上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力し、
   該入力された画像データに基づいて画素の特徴量を抽出し、
   該抽出された特徴量を所定の重み付けを用いて再評価し、
   該再評価された特徴量に基づいて画像処理の内容を決定し、
   該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施する
   画像処理方法。
6. 複数の画素からなる実写画像に対して行なわれる所定の画像処理に対応したプログラムをコンピュータにより読み取り可能に記録した記録媒体であって、
   上記実写画像を構成する画素の画像データを該実写画像全体から均等に入力する機能と、
   該入力された画像データに基づいて画素の特徴量を抽出する機能と、
   該抽出された特徴量を所定の重み付けを用いて再評価する機能と、
   該再評価された特徴量に基づいて画像処理の内容を決定する機能と、
   該決定された内容での画像処理を、上記実写画像の画像データ全体に対して実施する機能と
   をコンピュータにより実現するプログラムを記録した記録媒体。