JPH05153473A - 画像の処理方法 - Google Patents

Abstract

(57)【要約】 【目的】有効なダイナミックレンジの拡大を行なえ、し
かも画質の低下も避けることのできるような画像の処理
方法の提供。 【構成】露光条件の異なる複数の画像を合成するように
しており、この合成について、各露光条件の画像ごとに
設定した条件で各画像における各画素の輝度値を加工し
て一次加工輝度信号を得る一次加工、同一の受光セルに
対応する各画像の画素同士の一次加工輝度信号を合成し
て合成輝度信号を得る二次加工、及び最大光量値に対応
する輝度値が再生装置の飽和輝度値以内になるように設
定された条件で合成輝度信号を加工して出力輝度信号を
得る三次加工を施すようにし、さらに三次加工のために
予め設定されている加工条件を、個々の画素ごとに、当
該画素の近傍の画素についての合成輝度値との関係に基
づいて変換して適用するようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、画像の処理方法に関
する。

【０００２】

【従来の技術】ＣＣＤ素子に代表されるような固体撮像
素子を用いて撮像し、これを再生装置で再生するという
画像処理においては、通常の写真システムに較べダイナ
ミックレンジが狭いという問題がある。すなわち、例え
ばＣＣＤ素子を例に採ると、ＣＣＤ素子は多数の受光セ
ルからなり、各受光セルが一つの画素を提供するように
なっているが、各受光セルは一定の受光容量を持ってお
り、これを超えた光量が入った場合には画素を提供でき
ず、その部分がハレーションとなってしまう。一方、再
生装置にも再生可能な輝度値についての制限、つまり飽
和輝度値があり、たとえ撮像素子では処理できる範囲で
あっても、再生装置における飽和輝度値を越えた輝度値
の画素は再生時に同じくハレーションとなってしまう。

【０００３】このようなダイナミックレンジの狭さを改
善するについては、種々の技術が既に提案されている。
その一つに、同一被写体から得られた異なる露光量の複
数の画像を合成するという技術がある（例えば特開昭６
３−３０６７７９号）。しかし、従来の画像合成技術は
ダイナミックレンジの拡大は図れるものの、画質の低下
を避けられなかった。

【０００４】ところで、例えば特願平２−２２４３３３
号には、光源が内蔵された撮像具を備えており、この内
蔵光源で照明しつつ観察対象の画像を得るようにしたビ
デオシステム方式の拡大観察装置が示されている。この
拡大観察装置のように近距離から一方向的な光源で観察
対象つまり撮像対象を照明する場合には特にハレーショ
ンの問題が大きい。

【０００５】しかるに、このようなビデオシステム方式
の拡大観察装置の場合には、高画質性についての要求が
高いため、ダイナミックレンジの拡大によるハレーショ
ン防止を行なうにしても、それは画質の低下を極力避け
ることのできるものでなければならない。

【０００６】

【発明が解決しようとする課題】したがって、この発明
は、有効なダイナミックレンジの拡大を行なえ、しかも
画質の低下も避けることのできるような画像の処理方法
の提供を目的とする。

【０００７】

【課題を解決するための手段】この発明による画像の処
理方法は、受光する光量に応じた輝度信号を含む画素信
号を出力する受光セルが多数配列されてなる固体撮像素
子を用いて異なる露光条件で複数の画像を取り、この複
数の画像を合成することにより出力画像を形成するよう
にしているもので、この露光量の異なる画像の合成によ
り実質的なダイナミックレンジの拡大を図っている。

【０００８】そして、画質低下の防止については、合成
される各画像間の格差を小さくするような処理を施すよ
うにしている。具体的には、各露光条件の画像ごとに設
定した所定の条件で各画像における各画素の輝度値を加
工して一次加工輝度信号を得る一次加工、それに、同一
の受光セルに対応する各画像の画素同士の一次加工輝度
信号を合成して合成輝度信号を得る二次加工、さらに、
最大光量値に対応する輝度値が再生装置の飽和輝度値以
内になるように設定された条件で合成輝度信号を加工し
て出力輝度信号を得る三次加工を施し、これにより得ら
れた出力輝度信号を用いて出力画像を形成するようにし
ている。

【０００９】そしてさらに、ダイナミックレンジの拡大
のために全体としては圧縮されたなかにあってコントラ
ストのディテールを保存させるために、三次加工のため
に予め設定されている加工条件を、個々の画素ごとに、
当該画素の近傍の画素についての合成輝度値との関係、
例えばいくつかの近傍の画素の合成輝度値の平均値乃至
加重平均値との関係のような関係に基づいて変換して適
用するようにしている。この結果、コントラストディテ
ールの再現性が良くなって画質の低下をより有効に防止
できることになる。

【００１１】このような方法については、一次加工の条
件を、各露光条件の画像ごとに設定すると共に、受光す
る光量値の範囲を適宜に分割して得られる光量値範囲ご
とにも設定するようにすれば、合成される各画像間の格
差がより小さくなりより高画質化を図れる。

【００１２】

【実施例】以下、この発明の実施例をそれに用い撮像装
置と関連させて説明する。撮像装置は、図１に示すよう
に、ＣＣＤ素子のような固体撮像素子及び固体撮像素子
から出力する信号を画像信号にして出力する処理部等
（図示せず）を内蔵したカメラを備え、またこのカメラ
からの画像信号を処理し、あるいはカメラに対し撮像の
際の露光条件、具体的にはシャッタスピードの設定や切
り換えを指示する等の処理を行なう処理装置を備えてな
るもので、その処理装置は、輝度信号処理部、色信号処
理部、及びシャッタスピード制御部を主な要素としてな
っている。

【００１３】輝度信号処理部は、カメラから出力される
輝度信号を各画像（異なるシャッタスピードで取った複
数の画像）の各画素について加工処理するためのもの
で、例えばｎ秒とｎ／４秒のような２種のシャッタスピ
ードによる画像を用いることを前提としたこの例では、
フレーム対応のメモリとして通常シャッタ用メモリと高
速シャッタ用メモリの２種のメモリを備えており、この
各メモリにそれぞれのシャッタスピードによる画像の各
画素についての輝度信号が格納されるようになってい
る。

【００１４】各メモリに格納された各画素についての輝
度信号は輝度信号合成回路において合成を受ける。具体
的には、輝度信号合成回路は、図２に示すように、各画
像ごとに設定されたルックアップテーブルを有してお
り、このルックアップテーブルを用いて各画像ごとの各
画素についてその輝度値を個々に加工する一次加工処理
を先ず行なう。

【００１５】図３及び図４に示すのは、受光する光量
値、この光量値に対応して得られる輝度値、及び露光条
件の３要件に関して与えられる光量−輝度特性の一例
で、固体撮像素子に固有の固有光量−輝度特性をそれぞ
れ示しており、図３がｎ秒シャッタの場合の固有光量−
輝度特性を示し、図４がｎ／４秒シャッタの場合の固有
光量−輝度特性を示す。尚、特性図中の縦軸及び横軸に
示される％値は、ｎ秒シャッタにおける飽和値を１００
％として相対関係を示すもので、特定の意味を持つもの
ではない。

【００１６】ｎ秒シャッタメモリから出力される輝度信
号は図３の固有光量−輝度特性に対応する輝度値をもっ
ており、これが対応するルックアップテーブルによる処
理により図５に一例を示すような一次加工光量−輝度特
性に対応する輝度値に加工され、またｎ／４秒シャッタ
メモリから出力される輝度信号は図４の固有光量−輝度
特性に対応する輝度値をもっており、これが対応するル
ックアップテーブルによる処理により図６に一例を示す
ような一次加工光量−輝度特性に対応する輝度値に加工
される。つまり、この一次加工は、受光する光量値の範
囲を適宜に、この例では０〜８０％、８０〜１００％、
及び１００〜４００％という３つの範囲に分割し、この
分割された光量値範囲ごとに、しかも各シャッタスピー
ドの画像ごとに設定した条件によりそれぞれのルックア
ップテーブルを作成し、この両ルックアップテーブルを
用いて行なわれるものである。

【００１７】それから、このような加工により得られた
一次加工輝度信号を加算回路において加算して合成輝度
信号を得る二次加工を行なう。具体的には、同一の受光
セルに対応する各画像の画素同士について一次加工輝度
信号を加算することにより新たな合成輝度信号を得るも
のである。これにより得られる合成輝度信号は図７に示
すような合成光量−輝度特性に対応する輝度値を持つこ
とになる。

【００１８】図７の合成光量−輝度特性は１００％のと
ころに一つの屈曲点を有するだけで滑らかに連続してい
るが、これは前述のような分割された光量値範囲ごとに
異なる条件を与えるという処理がもたらすもので、画質
の維持に大きく寄与する。

【００１９】輝度信号合成回路から出力される合成輝度
信号はさらに三次加工を受ける。この三次加工は、最大
光量値（この例では４００％）に対応する輝度値（１７
５％）を再生装置の飽和輝度値（図９中の縦軸における
１００％がこれに対応する）以内にするための加工で、
後述のような条件による圧縮加工としてなされる。三次
加工のための輝度信号振幅圧縮回路は、図８に示すよう
に、近傍平均演算回路とルックアップテーブルアレイ回
路を備えている。

【００２０】近傍平均演算回路は、三次加工の加工対象
である画素の近傍の画素に関する合成輝度値の平均値を
演算するためのもので、これにより得られる平均値に基
づきルックアップテーブル選択信号がルックアップテー
ブルアレイ回路に出力される。また、ルックアップテー
ブルアレイ回路は、それぞれ異なる複数のルックアップ
テーブルを持っており、これから前記のルックアップテ
ーブル選択信号により選択されたルックアップテーブル
を用いて合成輝度信号を出力輝度信号に加工する。

【００２１】ルックアップテーブルアレイ回路の各ルッ
クアップテーブルは、図９に示すような複数の特性曲線
の各々について作成されるものである。図９に示す複数
の特性曲線（この例では実際には４５°傾きの直線とさ
れている）は、一つの特性曲線、例えば原点を通る特性
曲線を基にして一定の条件で変換、この例では平行移動
させて得られるもので、原点に近い特性曲線によるほど
光量に対応する輝度値が小さくなり、原点から遠ざかる
ほど光量に対応する輝度値が大きくなるようになってお
り、どの特性曲線を用いるかにより光量−輝度特性を選
択できるような特性が与えられている。例えば、Ａとい
う光量の画素について、原点を通る特性曲線を用いれば
ａ₁ という輝度値が与えられ、これより右側の或る特性
曲線を用いればａ₁ より小さいａ₂ という輝度値が与え
られる。したがって、これらの特性曲線について作成さ
れたルックアップテーブルを選択的に使用することによ
り、圧縮条件を選択できることになる。

【００２２】その選択は、前述のように近傍平均演算回
路からのルックアップテーブル選択信号によりなされる
もので、近傍の画素の合成輝度値の平均値が高い場合、
つまり周囲が明るい場合には圧縮を大きくし、近傍の画
素の合成輝度値の平均値が低い場合、つまり周囲が暗い
場合には圧縮を小さくする方向で選択されるようになっ
ている。すなわち、当該画素の周囲が明るい場合には当
該画素を輝度値の大きな圧縮で暗くし、当該画素の周囲
が暗い場合には当該画素を輝度値の小さな圧縮で明るい
ままに維持させることができる。したがって、広い光量
範囲を飽和以下の輝度値範囲内に収めてダイナミックレ
ンジを広くしながら、しかもコントラストのディテール
の保存がなされることになり、画質を維持しつつダイナ
ミックレンジの拡大を図れることになる。

【００２３】このようにして得られた出力輝度信号が従
来と同様の処理経路で図示せぬ再生装置に出力される。

【００２４】色信号処理部は、輝度信号処理部と同様に
異なるシャッタスピードの各画像の画素を別々に保持す
る通常シャッタ用メモリ及び高速シャッタ用メモリを備
えており、この各メモリにそれぞれのシャッタスピード
による画像の各画素についての色信号が格納されるよう
になっている。

【００２５】このように色信号についても各画像ごとに
メモリを設けたのは、各画像から彩度の大きい画素を選
択的に使用することにより高画質化を図るためである。
すなわち、各画像の個々の画素について彩度演算器によ
り彩度を求め、これを彩度比較器で比較して彩度の大き
い画素を色信号選択器により選択して使用するようにし
ている。選択された画素の色信号はさらに色信号補正器
により、画像信号基準に適合すように輝度信号との関係
で低輝度側と高輝度側について補正された後、出力され
る。

【００２６】シャッタスピード制御部は、カメラのシャ
ッタスピードの設定及びその切り換えを制御すると共
に、この制御に対応して各画像についての輝度信号及び
色信号の対応メモリへの格納の制御も行なうもので、カ
メラからの同期信号を利用してシャッタ切換え制御を行
い、またメモリ切り換え器を介してメモリへの格納制御
を行なっている。

【００２７】

【発明の効果】この発明による画像の処理方法は、以上
説明したように、異なる露光条件で取った複数の画像を
合成して出力画像を得ることにより実質的なダイナミッ
クレンジの拡大を図るについて、合成される各画像間の
格差を小さくするような処理を施すようにしているの
で、画質の低下を招くことなく有効なダイナミックレン
ジの拡大を行なえる。したがって、例えばビデオシステ
ム方式の拡大観察装置における画像の高品質化に大きく
寄与できる。

【図面の簡単な説明】

【図１】この発明の方法に用いる撮像装置の構成図。

【図２】図１における輝度信号合成回路の回路図。

【図３】ｎ秒シャッタにおける固有光量−輝度特性を示
す特性図。

【図４】ｎ／４秒シャッタにおける固有光量−輝度特性
を示す特性図。

【図５】ｎ秒シャッタの画像についての一次加工光量−
輝度特性を示す特性図。

【図６】ｎ／４秒シャッタの画像についての一次加工光
量−輝度特性を示す特性図。

【図７】合成光量−輝度特性を示す特性図。

【図８】輝度信号振幅圧縮回路の構成を示す回路図。

【図９】合成輝度信号を出力輝度信号に加工するための
条件を与える特性曲線図。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 受光する光量に応じた輝度信号を含む画
   素信号を出力する受光セルが多数配列されてなる固体撮
   像素子を用いて異なる露光条件で複数の画像を取り、こ
   の複数の画像を合成することにより出力画像を形成する
   について、 各露光条件の画像ごとに設定した所定の条件で各画像に
   おける各画素の輝度値を加工して一次加工輝度信号を得
   る一次加工、 同一の受光セルに対応する各画像の画素同士の一次加工
   輝度信号を合成して合成輝度信号を得る二次加工、及び
   最大光量値に対応する輝度値が再生装置の飽和輝度値以
   内になるように設定された条件で合成輝度信号を加工し
   て出力輝度信号を得る三次加工を施し、これにより得ら
   れた出力輝度信号を用いて出力画像を形成するようにし
   た画像処理方法であって、 三次加工のために予め設定されている加工条件を、個々
   の画素ごとに、当該画素の近傍の画素についての合成輝
   度値との関係に基づいて変換して適用するようにしたこ
   とを特徴とする画像処理方法。
2. 【請求項２】 一次加工の条件は、各露光条件の画像ご
   とに設定されると共に、受光する光量値の範囲を適宜に
   分割して得られる光量値範囲ごとにも設定される請求項
   １に記載の画像処理方法。