JPH04274573A - カラー・ビデオ像データを自動修正するシステムで用いる方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、像捕捉および表示装置
に関し、特にデジタル化したビデオ像の画質を向上させ
るためのコンピュータ制御されたシステムに関する。

【０００２】

【従来の技術および発明が解決しようとする課題】デジ
タルビデオ技術の分野においては、写真技術において経
験されるものと類似の問題が、捕捉された像に関して発
生することがよくある。即ち、像のコントラスト欠陥が
あり、修正を必要とすることである。

【０００３】そのような欠陥を修正するために過去数種
類の方法が採用されてきた。例えば、人工衛星像処理技
術においては、好ましい像に帰因するアーティファクト
（ａｒｔｉｆａｃｔ）を、好ましくない異常（ａｎｏｍ
ａｌｙ）である像捕捉プロセスのアーティファクトから
仕別けし、差別して処理することなく像のグレイスケー
ルのヒストグラムを効果的に平坦化することが知られて
いる。

【０００４】そのような技術は、高いエントロピイの像
を提供し、宇宙採査で経験する像に関して極めて有用で
ある。しかしながら、マルチメディアの仕事において一
層典型的に経験する自然の像に適用されるとき、その結
果は、例えば屋外の像において空が粒子があらく現われ
るように捕捉プロセスに係わる極めて不快で不自然にみ
える人工物を含むことがよくある。

【０００５】例えば写真像を生成するために写真フィル
ムの処理において採用される設備におけるように、コン
トラストレベルを手作業で調整しうる技術がさらに開発
されてきた。前記設備で採用された修正曲線は、例えば
、飽和のように写真の望ましくない特性を高めたり、あ
るいは低減させるために操作者が最も明るい部分を上げ
たり、影を落したり、中間のグレイを上げたり、中間グ
レイを下げたり等しうる商業的なスライドサービス施設
において手作業で調整しうる。

【０００６】関連領域において、操作者が捕捉したビデ
オ信号のコントラスト即ちガンマを手作業で調整しうる
ようにする種々形態のビデオ信号処理設備を提供するこ
とが知られている。そのような手作業による技術は、大
きな融通性と芸術的な入力の機会を提供するが、これら
の同じ特性はまた数々の問題を発生させる。それらの中
の最も顕著なものは、熟練操作者と彼らの主観的な判断
の必要性と、なされつつある芸術的判断の繰り返し性お
よび一貫性とである。

【０００７】従って、例えば商業的なアルチメディアシ
ステムのようなある種の用途においては、ビデオ像のあ
る種の形式の自動ガンマ即ちコントラスト調整に対する
設備を設けることにより、前記のような芸術的機能をユ
ーザの介入なくして発見的に実行しうるようにすること
が極めて望ましかった。確かに、例えば白黒レベルの自
動範囲設定あるいはある形式のビデオ設備における自動
明るさ制御のように、人間による変動を除去しようとし
て像処理および写真技術において各種の自動コントラス
ト方法が案出されてきた。ある場合、例えば商業写真の
分野においては、像におけるグレイスケールの平均が時
折採集され、明るさレベルがこの平均の関数として設定
される。さらに高性能の設備においては、自動処理回路
が最も明るいレベルと最も暗いレベルについて像を検査
し、これらのレベルの関数としてコントラストを設定し
うる。

【０００８】しかしながら、これらの自動化による方法
に係わる深刻な問題は、像のアーティファクトと望まし
くない捕捉アーティファクトとの間の区別をすることを
採求することに何ら留意されていないことである。この
ように、ユーザが介入することなく、捕捉された像に基
本的なコントラスト修正を自動的に行い、一方同時に該
捕捉プロセスによって導入されたアーティファクトのみ
を像から除去する技術が非常に望まれていた。

【０００９】

【課題を解決するための手段】アナログビデオデータ入
力は、ビデオ捕捉システムによって受け取られ、デジタ
ル化される。捕捉された像の画素（ｐｅｌ）からグレイ
スケールレベルヒストグラムがシステムプロセッサによ
り構成され、通常像捕捉特に利用可能のコントラスト制
御機能と類似の、設定された白黒基準に正規化される。 像のアーティファクトに起因しがちであるピークは限定
される。次いで像プロセッサは、ヒストグラムの二次の
最良適合回帰を実行し、該ヒストグラムから像がその後
修正される。このように像コントラストの自動修正が行
われ、捕捉アーティファクトは、像のアーティファクト
を残しながら低減する。代替実施例においては、ピーク
を限定する代りに、反復最良適合が実行され、ピークは
、実行する最良適合パスからの湾曲適合からの距離の関
数として後続の最良適合パスにおいて重み付けされる。

【００１０】本発明の特徴をなすと考えられる新規な特
徴が特許請求の範囲に記載されている。しかしながら、
本発明自体並びにその他の特徴や利点は、添付図面と関
連して読めば好適実施例についての以下の説明を参照す
ることにより最良に理解される。

【００１１】

【実施例】最初に、自動ガンマ修正を行うシステムの全
体的な説明と共に本発明が指向する問題の説明を行う。 これに続いて、本発明を実行するために使用される、ビ
デオ捕捉および処理システムの説明が図１および図２を
参照して続く。次に、本発明による捕捉された像のデジ
タル処理についての高いレベルの説明を図３と図４とを
参照して行う。これには図５から図１０までを参照した
デジタル信号処理の特定実施例についての詳細説明が続
く。

【００１２】本発明によるシステムは、捕捉された像に
対して基本的なコントラスト修正を自動的に行うことに
より、ユーザの介入することなく芸術的な機能を発見的
に提供する。追って詳細に説明される実施されるべき機
能の広い全体像としては、上記のようにするために、本
システムは像を分析し、捕捉プロセスにおける限度を決
め、捕捉システムの限度によって生ずる異常を像の望ま
しい特徴から分離し、次いで捕捉プロセスによって導入
されたアーティファクトのみを除去する必要がある。本
明細書に開示の特定の実施例はグレイスケールの形状の
みに作用することによってコントラストのみ修正するの
で、色あるいは鮮鋭さは修正しようせず、色や鮮鋭さは
コントラストを向上させることによって専ら向上する。

【００１３】本発明が指向する問題をより明確に理解す
るために、もし全てのレベルのグレイを均等に分布させ
て包含するテスト像が捕捉異常を有するシステムによっ
て捕捉されたとすれば、このテスト像の捕捉から構築さ
れたヒストグラムを、これらの捕捉異常を除去するため
に後続のより有用な像に対する修正ルーチンで直接使用
しうる。

【００１４】しかしながら、現実の世界における問題の
一つは、テスト像が簡単に入手しえないことが多いこと
である。単に一例として、デジタル化したいと思う本の
中の像が、追加された像を規定する情報であってかつ保
存したいと思う該情報と共に、捕捉異常を含むカメラに
よって捕捉されずみである場合である。最も単純な場合
、本明細書に記載されているシステムは、像の特徴を介
して捕捉プロセスの根底にある欠陥を追求する。次いで
、このシステムは、プレーン（ｐｌａｉｎ）グレイスケ
ールテスト像が最初に較正するために捕捉されていたと
すれば、取得したであろうテストヒストグラムを基本的
に再生させようとする。

【００１５】本明細書で実行されている技術を広く詳細
に説明する前に、捕捉プロセス自体についてある想定を
行う必要がある。まず、像のグレイスケールヒストグラ
ムのピークは、像のアーティファクトを指示するのであ
って捕捉アーティファクトを指示しない比較的一様の色
の領域を意味するものと想定する。従って、これらのピ
ークは好適実施例の制限ステップにおいて記載のように
無視される。

【００１６】第２の想定は、好適実施例においては二次
の適合により実行されるヒストグラムに適合した曲線に
おける望ましい滑らかさの程度に関する。より高次にな
れば、即ち曲線適合において採用されているＸｎ　のｎ
がより大きくなればなるほど、実際のヒストグラム曲線
のより詳細な変化が曲線の適合化において説明される。 （例えばＸ３　およびＸ４　を採用した）より高次曲線
適合化が明確な物理的捕捉欠陥にマップ（ｍａｐ）しな
いものと経験的に判明する。これは、従来のマルチメデ
ィアワークに関して通常経験されるタイプの像において
ガンマおよび飽和に極めて近接して経験的にマップされ
ることが判明しているＸ項およびＸ２　項と対照的であ
る。より高次の曲線適合化によりヒストグラム曲線にお
けるより早い変化を説明することにより、像のアーティ
ファクトがピックアップされる危険性が増大する。その
結果、これらの人工物を無視するために二次元の適合化
が採用されているのが本発明の特徴である。換言すれば
、二次の最良適合を実施することにより、前述のテスト
グレイスケールが利用できたとすれば他の方法で行った
であろう一群の像異常を見つける方法として効果的に作
用する。

【００１７】このように、本発明の一特徴として、捕捉
プロセスは、Ａ＋Ｂｘ＋Ｃｘ２　の形式の二次式でグレ
イスケール曲線をワープ（ｗａｒｐ）する。いずれかの
より高次の項、即ちいずれかのより急激な変化Ｐ１　、
保存したいと思う像特徴あるいは前述した飽和した白と
黒のような修正不可能の捕捉欠陥から発生する。「Ａ」
の項は、単に像の画素の数に関連し、アルゴリズム的に
は興味ない。しかしながら、残りの項は、コントラスト
と飽和である、像捕捉において悪化しうる２つの主要な
要素を示す。

【００１８】「Ｂ」の項は経験的にガンマ、即ち真正の
コントラストを測定即ちマップする。もしこの「Ｂ」の
係数が負であるとすれば、暗い画素が多すぎ、明るい画
素が十分でないので、像が暗く、「コントラストがある
」ことを意味する。負のＢは、例えば写真メディアと電
子メディアの双方のガンマが相互に追加されているプリ
ントあるいはスライドからビデオグラフイック的に捕捉
する場合極めて一般的な問題を定量化する。正のＢは真
正コントラストの少なすぎる像を定量化する。像は、依
然完全に黒と白でありうるがその間で像は明るすぎ、最
も明るい部分の細部が弱いとか、像に生気がないという
ようなことがある。別の云い方をすれば、負のＢの像は
、典型的には当該技術分野において「低いキー」と称さ
れる暗い値を多く含む高ガンマに対応し、一方正のＢの
像は低ガンマであって、「高いキー」と称される白い値
を多く含んでいる。

【００１９】「Ｃ」の項は、黒に向かうグレイスケール
曲線における軸線の交差点に向かう「趾部」として、か
つ最右端における曲線の「肩」として判るように飽和を
定量化する。正の「Ｃ」は、典型的には最も明るい部分
あるいは暗部のいずれか、あるいは双方が、グレイスケ
ールグラフの端の立上りで示すように飽和していること
を示す。「Ｂ」の項は「Ｃ」の項と協働して、暗部、最
も明るい部分あるいはその双方が飽和により圧縮されて
いるか否か特定する。この理由から、Ｂの項は、本発明
によりＣの項の値に照して解釈する必要はない。時には
像は負のＣを発生する。見るべき残りの像に対するグレ
イスケールの余地を残すためにクリップすべきでなく、
むしろ圧縮する必要のある光輝く最も明るい部分がある
とすれば負のＣの発生があることが注目される。

【００２０】広義には、本発明のプロセスは、３つのス
テップからなる。まず、像は、例えば以下全体的に説明
するような適切なデジタルビデオ捕捉システムにより像
がデジタル化される、即ち捕捉される。このように捕捉
された画素を記憶してグレイスケールヒストグラムが作
られる。この第１のステップにおけるヒストグラムの形
成は、基本的には、グレイスケールにおける各レベルに
対する発生頻度を示すグラフを構築する。そのような代
表的なヒストグラムの概略図が図６に示されている。こ
のグラフは、修正された像を発生させるために利用する
像処理ステップにおいて採用されている像についての全
ての情報を含んでいる。一例として、もし元の像が含む
暗い暗部が多すぎるとすれば、参照番号８４の近傍にお
いて、グラフの底部にこぶが現われ、一方元の像が露出
不足であるとすれば、グラフの頂部は図６において参照
番号８５で示すように０に近づく。

【００２１】像処理における次のステップとして、次い
で像は、再分布したグレイレベルにより修正されるので
、グレイスケールグラフはより均一となる。例えば、も
し元の像の暗い暗部が多すぎたとすれば、元の像の暗部
における各々のグレイスケールのステップは、修正され
た像の暗部における２つのグレイスケールステップに変
換されることによって広範囲にわたってステップを広げ
、グラフの底部におけるこぶを低減させる。同様に、も
し元の像が露出不足であったとすればグレイスケールの
頂部は、修正の間に圧縮され、希薄にされたグレイスケ
ールステップを前のステップに圧縮し、各ステップにお
ける画素数を標準まで上げる。グレイスケールにおける
各状態を像にわたる確率について概ね等しくすることに
より、像の「情報量」は、当該技術分野で周知の情報理
論からの公式に従って上昇する。人間の目が、明瞭に提
供された「情報」を確認したいと思うので、像の美観は
そのため通常は向上する。

【００２２】このように、プロセスの第２のステップに
おいては別の云い方をすれば、プロセスは、グレイスケ
ールヒストグラムを合成しようとし、例えば、カメラの
前方に配置したテストグレイスケールからのヒストグラ
ムとして取得されるものを回収しようとする。そのよう
な合成されたグレイスケールのヒストグラムへの回帰に
おいて、捕捉のヒストグラムからのこの回帰は、理想的
なテストグレイスケールのヒストグラム、即ちどのよう
なアーティファクトが像に属するか、どのアーティファ
クトが捕捉プロセスにおける欠陥に属するかについての
先験的な知識に基づきグレイスケールヒストグラムがど
のような様相を呈するか予測しようとすることが明らか
である。このように、プロセスは、この回帰を実行する
上でこれらの異なる像と捕捉アーティファクトとを区別
しようとする。

【００２３】極端な修正では、修正された像における各
グレイステップが同数の関連の像の画素を有するように
グレイスケールを再配列する。そのような極端な修正は
、数学の観点からは、各状態が今や等しい確率を有して
いるので、殆んどの「情報」を提供する。しかしながら
、グレイスケール曲線は、ばらばらにされ、小さい面積
のアーティファクトを発生する。さらに、例えば宇宙探
査像処理と関連した従来技術における前述の空のような
同じグレイレベルの像の大きい領域に多すぎるコントラ
ストが割り当てられるので、粒状に見える。従って、本
発明の処理の異なる局面は、修正すべきで捕捉アーティ
ファクトからグレイスケールグラフの特性が実際何であ
るか、修正することのできない捕捉アーティファクトか
らの部分はどれであるか、さらに修正すべきでない像特
性からの部分はどれであるか決めることである。修正す
ることのできない部分の一例として、最も明るい部分は
、基本的に消えるように露出過度としかつ飽和しておく
ことができる。

【００２４】本発明による像処理の第３のステップとし
て、プロセスが合成しようとするグレイスケールヒスト
グラムへの前述の回帰から、かつ捕捉された像から、像
は最良の適合に従って修正される。この最良の適合を実
行することに関して、本発明が指向する最も困難な問題
の１つは、保存したい像によって発生した曲線のアーテ
ィファクトに対して捕捉プロセス自体における欠陥によ
って発生したアーティファクトを決めることである。後
者のアーティファクトの例は、露出不足のフィルムと、
過度のガンマと、飽和された像のある部分とのいずれか
を含む。像のある特性は、いずれの種類のアーティファ
クトが存在しているかを指示することが判明しており、
最良の適合においてアーティファクトを分離しようとす
る像処理において採用されている。

【００２５】本発明による像処理について全体的に検討
してきたので、本発明に適合する代表的なデジタルビデ
オ捕捉および処理システムを図１および図２に関して説
明し、その後処理についての特定の好適実施例の詳細説
明を続ける。図１と図２とに示す要領で採用しうるその
ような一システムは、アナログビデオデータの前述の捕
捉、処理および表示に必要なハードウェアとソフトウェ
アの双方を含むオーディオビジュアル接続装置即ちＡＶ
Ｃシステムである。このシステムは、ニューヨーク州ア
ーモンクのＩＢＭ社により製作されている。そのような
システムのための支援文書が、参考のため本明細書に組
入れられ、双方共ＩＢＭ社から入手しうるＩＢＭ　　Ａ
ｕｄｉｏ　　Ｖｉｓｕａｌ　　Ｃｏｎｎｅｃｔｉｏｎ　
　Ｕｓｅｒ′ｓＧｕｉｄｅおよびＶｉｄｅｏ　　Ｃａｐ
ｔｕｒｅ　　Ａｄａｐｔｅｒ　　Ｉｎｓｔａｌｌａｔｉ
ｏｎ　　ａｎｄ　　Ｔｅｃｈｎｉｃａｌ　　Ｒｅｆｅｒ
ｅｎｃｅ　　Ｍａｎｕａｌにおいて見い出しうる。

【００２６】図面、特に図１を参照すれば、本発明によ
るシステムと方法とに従って採用しうるテジタルコンピ
ュータシステム１０がブロック図の形式で示されている
。システム１０は、デジタルパーソナルコンピュータの
形態であることが好ましく、当該技術分野で周知の要領
で中央処理装置即ちホストＰＣ　　４に結合されるユー
ザ入力手段を提供するキーボード６を含む、ホスト４に
はメモリデバイスが含まれており、該メモリ装置は、非
持久性および持久性メモリ記憶デバイスからなり、かつ
例えば磁気ディスクあるいはテープ記憶装置のような補
助メモリデバイスを含みうる。

【００２７】ホスト４はまた、当該技術分野で周知の要
領で利用されホスト４からの適切な制御およびデータ信
号を表示装置５および１つ以上のモニタ７に結合するこ
とによりビデオ像の可視表示を提供する１つ以上の表示
ドライバ（図示せず）に結合されている。当該技術分野
の専門家は、表示装置５とモニタ７とは、例えばＲＧＢ
、Ｙ／Ｃ、ＮＴＳＣ等のようなフォーマットを変えてア
ナログビデオを受け取るようにされたもののような種々
のデバイスによって提供しうることが認められる。

【００２８】図１に示すシステム１０においては、ホス
ト４へのアナログビデオリンク３２を有するビデオカメ
ラ３が含まれている。カメラ３は、本システム１０によ
ってデジタル化すべき可視像を有する対象物２に向けら
れた状態で示されている。後述の要領で、カメラ３は、
対象物２の可視像をホスト４へのリンク３２において搬
送されるアナログ電子信号に変形する。ホスト４におい
て、該信号は、続いてデジタル化され、処理され、アナ
ログ出力リンク３４へ出力するアナログ形式に再変換さ
れ、その後１つ以上のモニタ７に表示される。勿論シス
テム１０は、他の要素を含んでよく、全体的なデジタル
コンピュータとディスプレイ部分に関しては、本システ
ムは、ニューヨーク州、アーモンクのＩＢＭ社によって
製造されているＩＢＭモデルＮｏ．８０　　ＰＳ／２の
コンピュータによって実行することが好ましい。

【００２９】パーソナルコンピュータにおいて一般的な
ホスト４は、当該技術分野において周知の要領でシステ
ムの種々要素へのデータ、制御およびアドレスＩ／Ｏを
促進するバスシステムを含む。特に前述のモデル８０ホ
スト４に関しては、システムの好適実施例において望ま
しい独占的なＭｉｃｒｏ　　ＣｈａｎｎｅｌＴＭバスシ
ステムが採用されている。Ｍｉｃｒｏ　　Ｃｈａｎｎｅ
ｌはＩＢＭ社の商標である。しかしながら、本発明は特
定のバス構造に限定する意図はなく、他のバス構造の使
用も考えられる。このマイクロチャンネルバスの構造お
よび動作とに関するさらに詳しい情報は、本明細書に参
考のために含めているモデル８０マシンに付属の技術マ
ニュアルを参照することにより取得しうる。

【００３０】また図１に示すシステム１０に関して、リ
ンク３２上のアナログビデオ入力信号をカメラ３から発
生したものとして示しているが、そのようなアナログビ
デオソース材料は、例えば馴みのあるＶＣＲ、ＶＴＲ（
ビデオテープレコーダ）等のような多数のその他のソー
スからも発生することが可能で、そのため本発明はその
ようなアナログ信号を発生させるためにいずれかの特定
のソースとの使用に限定する積りはない。当該技術分野
において周知のように、アナログビデオ信号のこれらの
ソースは、例えば前述のＲＧＢ、Ｙ／Ｃ、合成ビデオあ
るいはその他のフォーマットのような多数のフォーマッ
トでよい。そのようなフォーマット化したビデオ情報の
１つのソースのみを図１に示しているが、それぞれのビ
デオ像あるいはデータをホスト４において続いてデジタ
ル化し、それらを処理し、１つ以上の表示デバイスにお
いて同時に表示するため続いてアナログビデオ信号に再
変換するために複数のマルチフォーマット・ソースを収
容しておくことが本発明では周知である。従来からホス
ト４を含む汎用パーソナルコンピュータシステムの一部
をなし、ホスト４とのＩ／Ｏのための従来の目的に用い
られるコンピュータモニタ５が図１に示されている。 しかしながら、前述のように、モニタ７がこれらの再変
換されたアナログビデオ信号を表示するためにさらに含
まれている。

【００３１】パーソナルコンピュータシステム１０と関
連しているバス構造を再度簡単に参照すれば、種々の市
販のホスト４において複数のアダプタカードあるいは拡
張スロットが従来から設けられている。これらのスロッ
トの目的は、ユーザが好適実施例において所望の機能を
実施するようシステムを特性構成できるようにすること
である。スロットの１つにおけるアダプタカードは、コ
ンピュータの制御の下で前述のバスとインタフェースす
ることによりデジタル化のためにこれら信号の１つを選
択するカード上で、多重フォーマットおよび多重化／制
御ハードウェア等の生のアナログビデオソースデータを
受け取るコネクタを有している。このアダプタカードは
さらに、この予め選択された信号をデジタル化するに必
要なアナログ−デジタル回路を含む。バスとのアダプタ
カードの相互接続により、本発明の特徴は、バスを介し
てのホスト４コンピュータの制御の下でこのようにデジ
タル化された像を処理しかつ編集して、後述の要領で運
動アーティファクトを排除することであることが直ちに
認められる。アダプタカードの別の機能は、処理され／
編集されかつデジタル化されたビデオ情報をアナログ形
式に再変換することであり、そのような機能は、適当な
デジタル−アナログ変換回路を設けることによりカード
上の基板でも実行される。

【００３２】最後に、追って詳細に説明する好適実施例
については、符号器回路が基板に（即ちアダプタカード
に）設けられることによって、デジタル化したビデオ信
号がアナログ形式に再変換されると、それらは多重フォ
ーマットに変換される。多重コネクタがカードに設けら
れ、各カードは従来のアナログビデオフォーマットの異
なる１つで再変換されたデジタル化信号の異なる１つを
搬送する。このように、コネクタの特定信号フォーマッ
トを受け取るようにされた各コネクタにモニタを接続す
ることにより、多重フォーマットでビデオ像を同時に表
示することになる。この再変換も、アダプタカードと、
関連の符号器回路とがコンピュータ４のインタフェース
バスに差し込まれているのでコンピュータ４の制御の下
でなされることが注目される。

【００３３】さて図２を参照すれば、図１に示すシステ
ム１０のより詳細な機能ブロック図が示されており、こ
れを以下説明する。

【００３４】ライン３２で示すように、種々フォーマッ
トでのアナログビデオ入力信号が本発明のビデオアダプ
タによって受け取られる。ビデオアダプタ１６は、ビデ
オデバイスドライバ１８によってホストシステム１２に
接続され、該ドライバ１８は、ライン３６でアダプタか
らの状態を受け取り、指令とデータとをライン３８でア
ダプタのレジスタへ送る。システム１０のバスは、アダ
プタ１６からホストプロセッサ１２内のビデオバッファ
２８へ進むライン２６の出力によって部分的に図式的表
示されている。このバスの別の機能が、ライン３０によ
って示され、このビデオバッファ２８に記憶されている
情報が例えばＰＣハードディスク２２のようなホスト記
憶装置にロードされうることを示している。バスを介し
て記憶装置２２からライン２４によって、データはディ
スクから受け取られ、ホスト１２のバッファ２８へ戻す
ことができる。データは、またこれらのバッファ２８か
ら読み取られ、ライン３２上でアダプタ１６へのホスト
バス接続を介して送り戻され、ビデオデータをアダプタ
１６のビデオメモリにロードしうる。

【００３５】ビデオデバイスドライバ１８は、図示のよ
うにライン１５によってホストシステム１０のビデオ捕
捉および編集能力即ち機能部１４と直接インタフェース
するビデオアプリケーションプログラミング・インタフ
ェース２０を有している。アプリケーションプログラミ
ング・インタフェース２０は、ビデオ捕捉および編集過
程に対してマイクロ指令を提供し、該マイクロ指令は、
最終的にデバイスドライバボックス１８を介してビデオ
アダプタ１６へ送られる。ビデオ捕捉および編集プログ
ラム１４の実行の結果、指令がライン４０を介してホス
ト１２へ送られ、状態情報がライン４２を介してホスト
１２のシステムプロセッサから受け取られる。このため
、像が図１に示す１つ以上のモニタ７のスクリーンに表
示される。ホスト１２のスクリーン１７は、一般的に非
ソース材料即ち、パーソナルコンピュータシステムと関
連した従来のＩ／Ｏデータの表示のためにとっておく。 そのようなデータは、キーボード６からの操作者の入力
、および本発明の捕捉および表示特性を実行するホスト
１２からのユーザインタフェース情報を含む。表示され
た像は、生か、あるいはビデオ捕捉および編集モジュー
ルによって選定された機能によって制御される像を含む
複合像である。ビデオ捕捉および編集機能部１４とアプ
リケーションプログラミング・インタフェース２０との
間の通路１５は、マイクロ指令を通し、該マイクロ指令
の方はライン３６，３８にわたって個々の指令と状態リ
クエストとに変換される。前述したように、ライン３２
，３０，２４および２６によって示される機能は、全シ
ステム１０のバス自体を介して実際に扱われ、一般的に
ディスク２２　　Ｉ／Ｏとアダプタカード１６Ｉ／Ｏと
を表わす。

【００３６】図１および図２に示すようにシステムによ
って一旦像がビデオデータの各種フレームの画素のデジ
タル表示の形式で捕捉されると、いずれかの望ましい要
領でそのようなデータを扱うためのソフトウェアがホス
トプロセッサに対して提供されることが認められる。勿
論本発明の特徴は、所望の像修正を行うために本発明に
従って、本明細書に示す要領でこのデジタル化したデー
タを演算するコンピュータ化したプロセスを提供するこ
とである。このように、本発明の像処理アプリケーショ
ンプログラム２１を、ビデオアプリケーションプログラ
ミング・インタフェース２０によてインタフェースに提
供され、画素のこれらデジタル表示の所望の操作と変換
を行うことができる。画素は、ＰＣディスク２２に再記
憶されるか、あるいは画質が向上した像の表示のために
アナログ３４としてビデオアダプタ１６を介して出力さ
れる前にＰＣデバイス２２およびバッファ２８に記憶さ
れる。このように、本発明によるシステム１０は、画質
が向上した像を発生させ、システム１０と協働する処理
ソフトウェアにより望ましくない捕捉アーティファクト
を排除する。

【００３７】像捕捉能力を有し、ソフトウェア制御およ
び表示の下で本発明によって処理される捕捉システムを
説明したので、本発明による処理アプリケーションによ
る捕捉画素のデジタル表示処理の詳細説明を以下提供す
る。

【００３８】図３において、本発明による捕捉および処
理の前述の全体的な説明を概略図示していることが判る
。例えば、カメラ５０のような適当なソースによって捕
捉された像は、ブロック５２で示すようにデジタル化さ
れ、そこでビデオシステムは以下特に詳しく説明するヒ
ストグラムをブロック５４において構築する。次いで、
このように作られたヒストグラムは、ブロック５６で示
す最良の適合曲線を発生させモデル化する。ブロック５
２においてデジタル化された元の像は、次いで矢印５８
とブロック６０とで概略図示するように、ブロック５６
で発生した最良適合曲線に従って機能的に変更され、そ
の結果コントラストについて自動的に修正したデジタル
像を発生させる。

【００３９】図３の最良適合ブロック５６を図４で更に
拡大している。まず、グレイスケール範囲がブロック６
２において適切な範囲に限定されている。この範囲内で
、極めて高い、あるいは低いヒストグラム計数がブロッ
ク６６において限定され、限定されたグレイスケール範
囲内のヒストグラムの二次最良適合がブロック６８にお
いて計算される。範囲と最良適合データとが、ブロック
７０において積分され、全体的な最良適合を提供し、該
最良適合からグレイスケール修正機能がブロック７２に
おいて見い出され、これが元の像の修正に適用される。

【００４０】捕捉された像の処理についての詳細図示に
おいて、デジタル化した像は図５において像８０として
概略図示されている。本発明による像修正を実行するた
めの処理を図２のアプリケーションプログラム２１にお
いて実行しうる。このプログラムは、添付の説明と図面
とを参照すればプログラミング技術分野の専門家は容易
に実行しうる。

【００４１】例示として４８０×６４０の像システムで
よい処理の最初の詳細ステップにおいて、図５の像の中
央部分はまず例えばＸ＝４０から５９９までおよびＹ＝
４０から４３９まで走査される。このようにすることに
より当該技術分野で周知の像の縁部に関連の潜在的な問
題を排除する。一例として、国際規格によれば、従来の
３５ミリメートルのネガフィルム領域は２４×３６ミリ
メートルで規定されている。この領域の外側部分は、典
型的にはフレームによってカバーされ、このように本明
細書で説明のように処理され、これらの縁部が像から削
除される。このステップで回避される縁部問題の別な端
的な例として、捕捉された像は、例えば空や、極端な影
のような余りにも望ましくない像特性を含むことが多い
。

【００４２】この詳細例において、像５の赤、緑、およ
び青の記録が６ビットまでデジタル化され、２６　＝６
４の値をとりうる。これらの離散的な値は、図６から図
９までにおいて水平方向軸線に沿った断続点として表わ
される。

【００４３】本発明による像処理の第２の詳細ステップ
は、図５の捕捉され「クロップされた」像から図６に示
すグレイスケールレベルのヒストグラムの前述の構築を
行うことである。図５のクロップされた像における各画
素に対して、赤、緑、および青レベルが決められる。 赤、緑および青レベルによって指示されたグレイスケー
ルのグラフ要素は、それぞれ、４，４および１だけ増分
される。そのようなヒストグラムの構築の背後にある数
多くの理論的根拠を論じる前に、その結果のヒストグラ
ムにより表わされた像の例の数個の特性については図６
を参照すれば判る。これらは、参照番号８２における「
弱い」黒の存在を有し、そこではコントラストが低いた
め暗部が全て概ね同じに見える。そのような像は、例え
ば８４におけるブロックされた暗部や、８６における暗
すぎかつ「コントラストがきつすぎる」像の部分や、例
えば参照番号８８で示すような修正不可能の飽和を示す
像の要素のような修正を必要とする別の特性を示す。 図６のヒストグラムには、保存することが望ましく一方
同時に欠陥のある捕捉プロセスに関連するものを排除し
た代表的な像アーティファクト９０が示されていること
も注目される。

【００４４】そのようなヒストグラムの構築に対する理
論的根拠については、まず、全ての色が一緒に扱われて
いるグレイスケールレベルを実行することにおいて、明
るい色の情景は一方の色では低いキーであり、かつ別の
色では高いキーであることが経験的に観察される。各色
の像を個別に修正すれば多くのアプリケーションにおい
て色々の情景の色を消してしまうことがある。さらに、
赤、緑および青レベルに対する非類似の値でグレイスケ
ールを増分したことが注目される。さらに、あるカラー
アップの像においては、青の記録はより高いノイズを有
し、従って青は飽和状態の不安定な指標であり、従って
、赤と緑とに関し増分値が低いのはそのためであること
が経験的に観察された。さらに、赤、緑および青は、輝
度を計数するよりもむしろ個別にそれぞれ計数される。 このように、明るい色は、輝度がヒストグラムの中間で
は不正確に計数しているもののヒストグラムの両端では
正確に計数される。カラープリントのモノクロームの像
が元々白黒で撮影した像よりも灰色が非常に多いことが
注目される。

【００４５】最後に、緑は、典型的により大きい可視「
重み付け」を有し、かつ最小のノイズを含むものの、赤
の像は、多くの情景においてより重要であることが多く
、より高いコントラストの記録を有する傾向があり、問
題に対するより良好な指標であるため、正味緑と赤とは
同等に計数される。他方、青は、最大のノイズと最小の
可視重みを有することが多く、像はより不揃いであって
、従って重みは小さい。

【００４６】さて図７を参照すれば、この図は像処理に
おける次のステップ即ち白黒基準の決定を概略図示する
ものである。まず、全体が６４グレイレベルの総和を表
わし、即ち（画素の合計）×（４＋４＋１）に等しい、
全ての計数された色の合計を表わす全体が導出される。 次に、番号「黒２００」が最大グレイスケール値番号と
して決められ、全てのより低いレベルの数は合計／２０
０より少ないかあるいは等しい。このようにするために
、プロセスは、黒零から計数することが望ましく、全て
のＲ、Ｇ、Ｂの和は合計／２００より大きいとき、この
レベルは図７において参照番号９２で示す黒２００の値
として割り当てられる。

【００４７】同様に、黒３２の値は、参照番号９４とし
て図７において概略的に示す、合計／３２を表わす値と
決められる。同様に、白３２と白２００とに対するヒス
トグラム頂部の値は、図示のように参照番号９６として
決められる。前述の黒と白の基準に対する設定に対して
数個の基本的理由がある。基本的には、このステップは
、像捕捉時間におけるコントラストの制御によって得ら
れる同じ正規化を達成する。通常、もし像が正しく捕捉
されるとすれば、「２００」の点は０と６３の極端値に
あり、「３２」の点はこれらの極端な点に極めて近接し
ている。「２００」のカットオフ点は新しい白黒レベル
にあるが、統計はより狭い範囲から引き出されるので、
飽和効果は端部でより明確に集中する。「３２」と「２
００」の点の間の差は、生の像における鏡面反射に対す
る滑らかなロールオフを許容する。生の像においては、
これらの鏡面アーティファクトに対する修正は捕捉時間
においては可能でない。鏡面反射の例としてはクロムと
太陽光の鏡面反射を含む。そのような最も明るい部分が
捕捉されるとすれば、例えば白い壁が好ましくないほど
暗く見えるように黒から白までの全範囲を網羅するよう
に像を暗くする必要のあることがよくある。鏡面反射を
完全に無視することができないので、本発明の方法のこ
のステップによれば、鏡面反射は純粋に白の値を設定す
るために用いられず、このように、通常の白レベルを越
えた小さい範囲で表わされることが望ましい。同様に、
現実の世界の像においては、黒のカットオフ点は、通常
急激でなく、かなり暗い値が黒ヘ飽和する傾向があり、
カメラおよび他の捕捉異常によって起因する若干の口径
食を表わす。即ち、ヒストグラムは飽和点まで上昇し、
直ちに零まで低下するとは考えられず、図７に示すよう
にロールオフする。しかしながら、本発明による曲線適
合化においては、曲線適合化のプロセスがこのロールオ
フを経験するのでなく、適合する一層均一な曲線を経験
することが望ましい。さもなければ、不適当な最良適合
が起因する。このため、白と黒の基準を設定するこのス
テップによればロールオフが排除される。

【００４８】像処理についてのこの詳細実施例における
次のステップは、全てのグレイスケールレベルにおける
計数が平均１となるようにヒストグラムを正規化するこ
とである。このことは、（白３２マイナス黒３２プラス
１）／（全体計数時間６３／６４）を全てのグレイスケ
ール計数に乗算することにより達成しうる。この６３／
６４の項は、いずれかの特定の像に対しては実際には６
２／６４と１との間である。白３２和黒３２のグレイス
ケール点の使用により図７の範囲９８内に来る値を正規
化する。

【００４９】次に、曲線を制限することにより、多分例
えば図７に示す参照番号９０と図８における参照番号１
００とによって示すもののような像アーティファクトで
あるヒストグラムの極端な点を制限する。参照番号９０
および１００のこれら像アーティファクトと図７および
図８の８８および１０２における修正不可能の飽和要素
との座標の比較が、それぞれこの制限機能をグラフ表示
する。極端に高い点の前述の制限即ち引き下げに加えて
、同様にヒストグラムの低い点は、図７と図８との比較
から判るように引き上げられる。前述の制限過程に対し
ては数種の基本理由がある。まず、高い点の端における
制限は、コントラストを高すぎる程度まで高めることに
よって単に像においてノイズをもたらすのみなので必要
であることが判明している。また、この飽和が修正不可
能であるので、極めて高い単一の点を無視することが望
ましい。また、最良の適合曲線が正のまま確実に残るよ
うに低い点の端で制限がなされる。典型的な制限機能は
、以下のようにグレイスケールの各レベルにおける計数
を割り当てし直す。もし計数が０．５以下であるとすれ
ば、該計数は０．２５＋計数／２が割り当てられる。 しかしながら、もし計数が２より大であるとすれば、計
数＝１＋計数／２であり、もし計数が依然として３より
大であるとすれば、計数は３である。

【００５０】像処理における次のステップは、Ａ＋Ｂｘ
＋Ｃｘ２　の形式における前述の最良適合を実行するこ
とである。この二次最良適合は、図９の参照番号９４と
９６とにおいて示す星３２レベルと白３２レベルとの間
で実行され、その結果の最良の適合曲線は曲線１０４と
して示すものである。この曲線適合化は、図１と図２と
に示すシステムによって提供されるコンピュータ処理の
支援を得て数学の分野で周知の多数の要領により達成し
うる。

【００５１】次に本発明によれば、滑らかなグレイスケ
ールグラフが創生され、即ち図９に示す二次最良適合曲
線１０４と９５における黒２００から９７における白２
００までの全体範囲が提供され、最良適合曲線は、例え
ば図９の１０６で示すように縁部をテーパ状に減らすこ
とにより全体範囲にわたって全体の最良適合を提供する
ことにより「滑らか」にされる。

【００５２】図９に示す曲線をルックアップテーブルに
変換してその曲線の修正を都合よく像５の各画素に適用
するために、最初の「デルタ」アレイが０．５，１．５
，２．５，・・・，６１．５および６２．５での要素を
用いてつくられる。黒３２プラス０．５と白３．２マイ
ナス０．５との間にはＡ、Ｂ、Ｃを先のステップで決め
た関数ｆ（ｘ）＝Ａ＋Ｂｘ＋Ｃｘ２　の値が評価され、
その結果がこのデルタアレイ１０８に配置される。次に
、このｆ（ｘ）が黒３２で評価され、Ｙの値が割り当て
られる。もし黒３２が黒２００と等しくないとすれば、
次にプロセスは、黒２００プラス０．５と黒３．２マイ
ナス０．５との間１だけステップし、次いでデルタアレ
イがＹ×（Ｎ−黒２００）／（黒３２−黒２００）に等
しく設定される。

【００５３】デルタアレイをつくるこのステップに引続
き、もし黒２００が０と等しくないとすれば、該デルタ
アレイは０．５と黒２００−０．５との間で零とされる
。次に、関数ｆ（ｘ）が白３２で評価され、Ｙの値が割
り当てられる。もし白３２が白２００と等しくないとす
れば、白３２＋０．５と白２００−０．５との間でデル
タアレイはＹの値×（白２００−Ｎ）／（白２００−白
３２）に等しく設定される。もし白２００が６３でない
とすれば、デルタアレイは白２００プラス０．５と、６
２．５との間で零とされる。

【００５４】前記の２つのパラグラフについてはアルゴ
リズム的に記述した。その作用は、デルタアレイに、テ
ーパのついた端部１０６と１０７、並びに０セグメント
１０５とによって完全な、図９の曲線１０４に対応する
１０５の数を入れることである。

【００５５】本プロセスのこのステップに対しては数々
の根本理由がある。セグメント１０４，１０６，１０７
および１０５からなる図９の曲線は、修正を必要とする
グレイスケールのグラフである。本ステップは、保存し
たいと思う像アーティファクト並びに修正不可能の捕捉
異常の双方を除去している。高密度の画素を備えたグレ
イスケールのセクションは、その密度に比例して拡大す
る必要がある。デルタあるいは差分アレイは、２つの状
態の変換されたグレイスケールとの間で得られる差と、
最終的な変換像曲線を平坦にする最終変換アレイとを保
持する。さらに、３２と、最終の２００の点との間の端
部においては滑らかな降下が示され、２００の点を越え
るとグレイスケールは何ら配分されていない。

【００５６】処理方法における最終のステップとして、
全体的な最良適合に基づいて修正ルックアップテーブル
が作成され、像を修正するために用いられる。まず、０
から６３までの要素により図１０に示す変換アレイ１０
９が発生する。変換アレイの最初の要素は０にセットさ
れる。次いで、１から６３までのＮに対して、本方法は
変換アレイ（Ｎ）＝変換アレイ（Ｎ−１）＋デルタアレ
イ（Ｎ−０．５）と設定する。次いで、プロセスは、再
びＮ＝０から６３を走査し、変換アレイ（Ｎ）＝変換ア
レイ（Ｎ）／変換アレイ（６３）と設定する。このため
、正規化されたルックアップ変換アレイを発生させる。 基本的には、そのためデルタアレイを積分して、最高画
素密度を有していたグレイのレベルにおけるグレイスケ
ールの最大のジャンプを提供する。

【００５７】この点まで、変換アレイは、０．０から１
．０の間で正規化されずみである。次に、本発明の像処
理によれば、変換アレイはインタガイズ（ｉｎｔｅｒｇ
ｉｚｅ）される。もしカラー値が、それぞれ６ビットで
ある必要がある場合は、変換アレイの各要素は切形の関
数（変換アレイ（Ｎ）×６３．９９）を用いて変換され
る。最後に、元の像から、本発明の産物である修正され
た像への実際の変換は、この変換アレイを用いて実行さ
れる。元の像の各画素の各々の色に対して、色の６ビッ
トの値が、変換アレイのポインタとして使用され、新し
い６ビットの値が、受け取られ、古い値と置換する。 このように、修正された像に対する画素が創成され、そ
の後例えば、図１のモニタ５または７上での修正像の表
示のようにいずれかの望ましい要領で利用しうる。

【００５８】本発明による前述の像処理は、例えば伝達
関数１１０を図１１に示すように、写真技術におけるネ
ガに係わる伝達関数理論に対する従来のアプローチに関
して理解しうる。この関数は、露出不足領域をもたらす
領域１１２、低コントラストのトー１１４、高コントラ
ストの中間１１６、低コントラストの肩１１８および飽
和レベル１２０を含む数々の領域が典型的に関連してい
る。

【００５９】この伝達関数は、前述のヒストグラムの積
分として見られうることが認められる。即ち、ｆ（ｘ）
の積分によりＺ＋Ａｘ＋Ｂｘ２　＋Ｃｘ３　の形式の関
数を発生させる。これらの係数Ｚ、Ａ、ＢおよびＣは、
それぞれ黒レベル、白レベル、ガンマおよび飽和にアッ
プする。換言すれば、Ｃｘ２　の積分＝Ｃｘ３　／３で
あるので、積分の係数Ｃはヒストグラムの関数のＣにマ
ップする。このように、前述の説明は、従来技術におけ
るガンマ修正のためのｘ３　の項の使用に関する混乱を
除去すべきである。

【００６０】前述の説明において、図６に示すヒストグ
ラムの極端な点９０は、制限されているが、本発明はそ
の範囲においてこれらの点の処理に限定される意図のな
いことが認められる。例えば、これらの点は、限定され
るよりもむしろ、均等ではあるが僅かに異なる結果を発
生させる最良適合が実行されるにつれて単に重みが低減
する。換言すれば、ある用途においては反復最良適合も
望ましい。従って、最初のパスの最良適合が実行される
。次いでこれらの極端な点が最初のパス曲線の適合から
どの程度離れているかによって、第２のパスの適合が実
行され、そこでは第１のパス分の曲線適合からの距離の
関数として単純により少く重み付けされる。前述の説明
から、単に極端な点を限定することにより、これらの点
を重み付けすることによりさらに正確にしうるこれらの
極端な点を配慮するだけでよいことが判る。

【００６１】本発明を特定実施例を参照して図示し、か
つ説明してきたが、当該技術分野の専門家には本発明の
精神と範囲とから逸脱することなく形態や細部において
前述並びにその他の変更が可能なことが認められる。

【図面の簡単な説明】

【図１】コンピュータ化したビデオ像捕捉および処理シ
ステムを示す機能ブロック線図。

【図２】図１に示すシステムのさらに詳しいブロック線
図。

【図３】本発明により修正されたデジタル像を発生させ
るために像を捕捉し、自動ガンマ修正を実行するプロセ
スの概略図。

【図４】図３に示す二次最良適合を決定するステップの
さらに詳しいフロー図。

【図５】縁部データをクロップ（ｃｒｏｐ）したことを
示す捕捉された像の概略図。

【図６】図５に示す捕捉された像から導出されたグレイ
スケールレベルのヒストグラムを簡略化して示す図。

【図７】本発明により統計を集めるために採用したヒス
トグラム上の白−黒基準の設定と、計算された白−黒範
囲を示す、図６のグレイスケールレベルのヒストグラム
を示す別の図。

【図８】正規化並びにサンプル限定を行うことによって
、高い端部ではノイズを発生させる過度のコントラスト
と、修正不可能の飽和を発生させる単一の高い点とが排
除され、さらに低い端が制限されて正の最良適合曲線を
保証する、図７に示すものから得たグレイスケールレベ
ルの別のヒストグラムの図。

【図９】図８に示すデータの二次最良適合曲線を示す図
。

【図１０】図５に示す像を修正するために用いられる、
図９に示すデータから導出された一対のデルタアレイを
示す図。

【図１１】フィルムベースの像に対して一般的である伝
達曲線と共通の積分伝達曲線における図６のヒストグラ
ムを示す図。

【符号の説明】

２　　対象物 ３　　ビデオカメラ ４　　ホストＰＣ ５　　表示装置 ６　　キーボード ７　　モニタ １０　　デジタルコンピュータシステム１２　　ホスト
システム １７　　スクリーン ５０　　カメラ

Claims (15)

【特許請求の範囲】
1. 【請求項１】　　ビデオ像データを自動修正するシステ
   ムで用いる方法において、前記像データのヒストグラム
   を発生し、前記ヒストグラムの最良適合回帰機能を発生
   し、前記回帰機能の関数として前記像データを修正する
   ステップを備える、ビデオ像データを自動修正するシス
   テムで用いる方法。
2. 【請求項２】　　前記最良適合が多項式によるものであ
   る請求項１に記載の方法。
3. 【請求項３】　　前記多項式が二次である請求項２に記
   載の方法。
4. 【請求項４】　　前記最良適合が全グレイスケール範囲
   よりは少ない範囲にわたって完成する請求項３に記載の
   方法。
5. 【請求項５】　　前記範囲が、前記ヒストグラムの選定
   された割合を含むよう選定された限度の間にある請求項
   ４に記載の方法。
6. 【請求項６】　　前記の反復最良適合は、前記ヒストグ
   ラムの複数の二次最良適合関数を発生するステップを含
   み、前記の各関数に対して、ピークが前記最良適合関数
   の先行のものにおける対応する点からの距離の関数とし
   て重み付けされる請求項１に記載の方法。
7. 【請求項７】　　前記の回帰機能の発生の前に、前記ヒ
   ストグラムのピークが標準からの偏差の関数として重み
   付けされる請求項１に記載の方法。
8. 【請求項８】　　前記の正規化は、白黒の基準レベルを
   設定するため前記像データのコントラストを調整するも
   のである請求項７に記載の方法。
9. 【請求項９】　　前記最良適合が反復性である請求項１
   に記載の方法。
10. 【請求項１０】　　前記の反復最良適合は、前記ヒスト
    グラムの複数の二次最良適合関数を発生するステップを
    含み、前記の各関数に対して、ヒストグラム値が、前記
    最良適合関数の先行のものにおける対応する点からの距
    離の関数として重み付けされる請求項９に記載の方法。
11. 【請求項１１】　　前記ヒストグラムが、各々のカラー
    記録のヒストグラムの重み付けされた平均であるように
    カラー像に対して演算することをさらに含む請求項１に
    記載の方法。
12. 【請求項１２】　　重みを割り当てられた青が、重みを
    割り当てられた赤あるいは緑より少ない請求項１１に記
    載の方法。
13. 【請求項１３】　　前記ヒストグラムの選定可能な割合
    を有する前記領域が、前記像における黒から白までの範
    囲を包含する請求項４に記載の方法。
14. 【請求項１４】　　前記の多項式適合の前記領域の外側
    の前記最良適合曲線が、前記領域の縁における多項式の
    値から前記ヒストグラムの端における零まで減少する請
    求項１３に記載の方法。
15. 【請求項１５】　　ビデオ像データを自動修正するシス
    テムにおいて使用するプログラムコード手段を有する製
    造装置において、前記像データのヒストグラムを発生す
    るプログラムコード手段と、前記ヒストグラムの最良適
    合回帰機能を発生するプログラムコード手段と、前記像
    データを前記回帰機能の関数として修正することを備え
    る、プログラムコード手段を有する製造装置。