JPH09500472A - 画像情報を強調するための、ピクセルのデジタル式精密強度処理法 - Google Patents

画像情報を強調するための、ピクセルのデジタル式精密強度処理法

Info

Publication number
JPH09500472A
JPH09500472A JP7523652A JP52365295A JPH09500472A JP H09500472 A JPH09500472 A JP H09500472A JP 7523652 A JP7523652 A JP 7523652A JP 52365295 A JP52365295 A JP 52365295A JP H09500472 A JPH09500472 A JP H09500472A
Authority
JP
Japan
Prior art keywords
hysteresis
image
image data
range
intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP7523652A
Other languages
English (en)
Other versions
JP3663465B2 (ja
Inventor
クラウス−ルーディガー ピーターズ
Original Assignee
ザ ユニバーシティ オブ コネティカット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US08/207,488 external-priority patent/US5563962A/en
Priority claimed from US08/207,489 external-priority patent/US5592571A/en
Application filed by ザ ユニバーシティ オブ コネティカット filed Critical ザ ユニバーシティ オブ コネティカット
Publication of JPH09500472A publication Critical patent/JPH09500472A/ja
Application granted granted Critical
Publication of JP3663465B2 publication Critical patent/JP3663465B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 円滑化された2画像であり、各々は異なる円滑化ファクターによって処理されており、最低度円滑化データセットと最高度円滑化データセットとの間で情報差異を提供するようにサブトラクト処理が可能である。本発明の円滑化技術は、「2元自動調整変動マスク」を利用する2元デジタルヒステレシスフィルターを含んでいる。その結果、このフィルターは画像サイズと内容に影響を受けず、密度特性のサイズを実質的に変更することができない。本発明の2元ヒステレシス円滑化技術は、1画像の各ピクセルを通過して送査する種々な角度の1元ヒステレシスラインのセットを使用することで、円滑化ピクセルの密度値を計算する。これらの1元ヒステレシス値は合計され、ヒステレシスラインの数で割られ、ピクセルの出力値を得る。この密度処理技術は、画像情報を基礎情報群内に分離する基礎を提供する。

Description

【発明の詳細な説明】 画像情報を強調するための、ピクセルのデジタル式精密強度処理法 本特許公報において開示したものの一部は、著作権の保護を受けるべき内容を 含んでいる。著作権の所有者は、特許・商標庁における特許ファイルや記録にあ るような、本特許公報または本特許の開示内容の何人による複写にも異議を唱え ることができないが、それ以外については、あらゆる著作権を保持する。 発明の背景: 本発明は一般に、デジタル方式の画像データ処理に関するものである。より特 定すれば、本発明は、画像を強調し拡大するためのデジタル技術を使用する、画 像データ処理に関するものである。 画像の受信や画像の転送における技術的な進歩の結果、デジタル方式の画像処 理はますます重要性を帯びてきており、従来のアナログ方式の画像情報処理に対 して、例えば、「生のデータセット」のノイズフリーアクセスや客観的な画像評 価、画像情報の定量的な分析、低減されたコストや画像データ処理における柔軟 性の著しい向上、といった数々の利点を提供することのできるものである。複雑 な基本構造ネットワークが、地方や国内、あるいは国家間とのアクセスによる高 速画像の転送に代わってきているものの、デジタル画像処理の一般的な使用は、 画像情報を識別するための普遍的な基準の欠如により、妨げられている。残念な がら、視覚による画像の知覚は個人によって異なり、画像を知覚しパターンを認 識する能力に大きく依存している。このため、同じ画像が複数の人間によって全 く異なるように知覚されるのである。もちろん、画像情報の分析や表示における 画一性の欠如は、非常に大きな問題であり画像の評価に深刻な懸念をもたらす。 画像に含まれる情報の種類にはいろいろあるが、画像転送において重要なのは ごく僅かの類のものである。すなわち、詳細志向(科学、技術、医学に関する画 像)、組成志向(芸術、物質科学)、情報志向(バイナリおよびCAD、コンピュ ータを利用した図面)などである。最も重要なのは、特別な特徴を扱う2次元ま たは3次元のデータセットを記述するような、ディテールを含む画像である。受 信や転送によって創り出される不完全な画像部分(ノイズ)ばかりでなく画像の ディテールを客観的に記述するための適切なピクセル用精密機器が欠如している ため、この時点で、画像の転送は、情報志向の内容のみに限られてしまう。 画像(例えば、SEMやTEMによって導かれる微視的な画像;マモグラフィーやX 線のような医学に関係する画像)を分析する際、画像の分析者は、画像の知覚と パターン認識に関して、大抵の場合、自身の視覚システム(例えば、人間の目) によって制限を受ける。なぜなら、最も近代的な画像化機器(例えば、顕微鏡、 X線装置、マモグラフィー装置)は、人間の目の処理能力を超えるデータを提供 するからである。一般に、このようなデータは、ある種のコントラストの技巧に よって再現され、画像に転化された特殊な情報である。使用される画像化技術の 種類によらず、画像化情報は、画像化機器の空間的な解像力と同時にコントラス ト的な解像力のレベルにおける情報内容を評価するため、視覚システムに転送さ れなければならない。視覚による知覚は、強度の点では、100-200の強度レベル (ビデオモニターの自動照明画像における7-8ビット)に制限され、解像力の点 では、画面幅(PW)あたり500-1000ピクセルに制限されているため、画像化機器の 完全フレーム式の画像情報はしばしば、上記値の範囲内に収まるようにすべく、 圧縮されねばならない。画像の評価は、まず第1には、目が知覚することができ るよりもずっと低い情報密度で行われる、パターン認識のプロセスである。コン トラスト大かつ高鮮度で2,3の強度レベル(4ビット)を有する大きな画像成分の パターンのみが認識される。他の全ての詳細な情報は部分的にしか認識すること ができず、したがって、画像の背景または下地として共通に一般化される。しか しながら、顕微鏡使用や放射線医学、X線やその他の画像化を必要とする科学分 野では、この ような背景は、受信されたデジタル方式の画像データについて豊富な情報を含ん でおり、このような情報は、視覚によるアナログ方式の評価においては例外なく 失われてしまう。受信中に画像の倍率を単に増すだけでは、視覚的な制限、ある いは、機器における制限(コントラスト小、標本や機器の不安定さなど)のため 、これらのディテールに完全にアクセスすることにはならない。デジタル方式の 画像処理の能力は、既に受信された画像において、これらのディテールを視覚的 にアクセス可能にする(ディテールの強調)とともに、それらを評価、定量化、 転送するための簡単な道具を提供することであり、それによって、このような処 理が、画像評価のための重要かつ不可欠な道具となるのである。残念ながら、以 下に説明するように、現在利用できる公知のデジタル方式の処理技術は、要求さ れるディテールの強調を提供するには遙か及ばず、深刻なノイズや欠落を伴う。 単一のデジタル画像では、ランダムノイズによって引き起こされる強度の変化 や、僅か2,3のピクセルから成る、(空間的に)小さな構造の画像ディテールは 、識別することができない。なぜなら、単一のデータセットにおいては、ピクセ ルの強度以外の情報を全く利用することができないからである。しかしながら、 デジタル方式の画像処理法は、なんらかの強度の基準に基づいて画像内容を分離 するのに、適用することができる。ノイズと詳細構造の分離は、強度変化の閾値 によって郭定することができる。この閾値以下では、空間的な変化は、ノイズを 示すものと考えられており、削除される(あるいはスムージングされる)が、こ の閾値以上では、強度変化は有意なものとされ、そのまま維持される。従来の画 像処理法は、(空間領域またはフーリエ領域のいずれかにおける)局所的な強度 の変化を決定するため、空間的に拡張された処理マスクまたはフーリエフィルタ ーを適用し、強度の閾値を決定するため、いろいろな方法を用いる。利用される ピクセル領域(マスク)および、マスク内における局所的な強度の分配に用いら れる重み付け係数は、(スムージングされる)背景と(維持される)ディテール との間の空間的な境界を移動させ、ディテールにおける空間的な寸法を変える。 こ の技術を用いると、構造的な特徴が寸法において類似しており、有効な空間的フ ィルター領域よりも小さい場合、深刻な空間的人為要素が生成される。この問題 は、空間的な核やフーリエフィルター、統計学的なアプローチを用いる従来の処 理方法の全てにおいて発生するものである。更に、いくつかの有意な空間的な強 度の分配(有意な構造パターン)は、構造を削除または追加することによって、 深刻に変更されてしまい、このことは、処理結果への情報内容への強い依存性を 示している。元の画像(生のデータセット)の空間的内容をこのように変更すれ ば、画像データの構造的な完全性が重要な場合、すなわち、構造の特徴化と定量 化において、従来の全てのノイズフィルターを深刻に制限してしまうことになる 。従来のG7処理法における空間的な人為要素の範囲は、情報の内容に依存する。 したがって、処理における人為要素を低減するためには、各画像について最適な 処理パラメータを、複雑な方法で時間をかけて決定することが必要となる。また 、従来の画像処理速度は非常に遅いため、強度の閾値調整の視覚的な制御と処理 における人為要素の認識とが、著しく妨げられてしまう。したがって、従来のノ イズスムージング技術は厳格に、完全フレーム式画像に適用され、それによって 、生成された人為要素の視覚化と認識が低減される。 発明の要約: これまで議論してきた問題やその他の問題、ならびに従来技術の欠陥は、本発 明による、デジタル方式の画像処理方法およびシステムによって解消され、克服 される。本発明によれば、デジタル画像を処理するための、新たな「スムージン グ」技術および「ディテールを強調する」技術によって、新しいタイプの画像の 知覚(客観的な画像情報における強調に関するセンタリング)が生まれ、これは 、画像の強調の分野で一般に広く適用されており、特に、顕微鏡の分野や放射線 医学、遠隔センシング技術、宇宙工学、ロボット工学、機械映像、および一般的 な画像転送において広く適用されている。本発明による新しい画像処理技術は、 画 像情報を分離し、「大きな画像の特徴」と小さな「空間的ディテール」と「強度 のディテール」という客観的で明確でランダムでない、3つの強度のグループと 、「画像のノイズ」に関するランダムな強度の情報から成る1つのグループとに 振り分けることのできるものである。「スムージング」によって、強度の決まっ た画像成分の削除が可能になり、それに付随した画像のコントラストの低減は、 スムージングされた画像のコントラストを直線的に引き延ばすことによって、維 持することができる。「ディテールの画質低減」により、スムージングのプロセ スにより削除された、強度が決められた画像成分の復元が、元の画像からスムー ジングされた画像を差し引くことにより、可能になる。復元された情報の全体的 なコントラストの範囲は、適用されたスムージング係数と等しく、直線的なコン トラストの引き延ばしにより、完全な視覚的強度範囲に持っていくことができる 。このことは、生のデータの特性を密に反映する、微細なコンラスト比を維持で きるという利点を有している。ハイピクセル精密処理が提供されれば、「ディテ ールのスライス」が可能になる。スムージングされた2つの画像は、各々が異な るスムージング係数で処理されるのだが、減算することができ、最もスムージン グされていないデータセットと、最もスムージングされたデータセットとの情報 の差を呈する。再び、精密で直線的なコントラストの引き延ばしにより、完全な 視覚的強度範囲において、引き出された情報を呈示することが可能になる。 本発明によるスムージングの技術は、可変で自動調整式の「2次元マスク」を 利用する、2次元のデジタル式ヒステリシスフィルターから成る。その結果、フ ィルターは画像の寸法や内容と独立しており、たとえ構造上の(有意な強度)特 徴部分が1つのピクセルの寸法にすぎないとしても、その寸法を変更することは できない。本技術の1つの実施例では、本発明の2次元のヒステリシススムージン グ技術は、ある画像における各ピクセルを通って走る、いろいろな角度における 一連の1次元のヒステリシス線を用いることにより、スムージングされたピクセ ルを演算する。1次元のヒステリシス線の各々は、ある画像における各ピクセル に対して新 しい値を演算する。これらの1次元のヒステリシス値は全て加算され、ピクセル 用の出力値を得るべく、ヒステリシス線の数により乗算される。この作業には複 雑な処理か要求され、好ましくは、記録あたり数十億の指示を必要とするような 1Kx1Kの画像におけるリアルタイムに近い、全開処理速度を可能にするような、 大容量平行処理用配置プロセッサによって実現される。本発明の技術は好ましく は、リング状に接続された多数の16ビット処理要素(PE's)を有する、デスクトッ プの大容量平行プロセッサ上で実施される。各PEは、小型かつ高速のオンチップ データメモリおよび大型のオンチップデータメモリを有している。PEは全て、共 有されたスケーラーデータメモリと、共有されたプログラムメモリと、を有して いる。1つのプログラムが、全てのPEによって、ロックステップで実行される(S IMD処理)。 ここで用いられているように、「スムージング」はかくして、縦横に配置され たピクセルの行列を成すデジタル化された画像データ配置における選択された強 度を低減またはスムージングするための方法を構成し、それは以下の段階を含ん でいる;すなわち、 (a)近接するピクセルの強度の値に対する、選択されたピクセルの強度の値が 、予め選択された有意の強度範囲内に、あるいは1つのピクセルの寸法の2次元マ スクに等しいカーソル幅内に収まるか否かを決定する段階と; (b)カーソル幅を超えている場合に、選択されたピクセルの相対的な強度の値 を維持する段階と; (c)カーソル幅内に収まる場合に、選択されたピクセルの相対的な強度の値を 中間値に変更する段階と; (d)スムージングされデジタル化された画像データ配置を郭定すべく、行列の 少なくとも一部における他のピクセルの少なくとも一部に対して、段階(a)から( c)までを繰り返す段階と; を含んでいる。 本発明の幾分異なったスムージングの技術は、縦横に配置されたピクセルの行 列を成すデジタル化された画像データ配置における選択された強度を低減又はス ムージングするための方法を構成し、それは以下の段階を含んでいる;即ち、 (a)近接するピクセルの強度の値に対する、選択されたピクセルの強度の値が 、予め選択された有意の強度範囲またはカーソル幅内に収まるか否かを決定する 段階と; (b)カーソル幅を超えている場合に、選択されたピクセルの相対的な強度の値 を維持する段階と; (c)カーソル幅内に収まる場合に、近接するピクセルの強度の値に対する、選 択されたピクセルの強度の値を、近接するピクセルの強度の値に対する、選択さ れたピクセルの平均であるところの中間値に変更し、一連の1次元のヒステリシ ス線を用いて前記平均値を決定する段階と; (d)ピクセルの最終的な中間値に寄与するピクセル行列の領域を決定する段階 と; を含んでおり、ここで、この領域は各ピクセル毎に変わり、画像の強度特性のみ によって郭定される。この領域は、1次元のマスクによって自動的に生成される が、ピクセル行列の最終的にスムージングされた領域とは必ずしも一致しない、 2次元の可変マスクを示している。また、前記方法は、 (e)スムージングされデジタル化された画像データ配置を郭定すべく、行列の 少なくとも一部における他のピクセルの少なくとも一部に対して、段階(a)から( c)までを繰り返す段階をも含んでいる。 好ましくは、ヒステリシス線は空間的に近接するピクセルから成っている。よ り好ましくは、ヒステリシス線は、予め選択された角度で前記選択されたピクセ ルを通って放射状に延びる直線である。 「2次元ヒステリシスフィルター」を利用する、本発明によるスムージング技 術は、従来のデジタル式画像化技術に対して、多くの特徴と利点を提供する。例 えば、固定された小型処理マスク(空間領域における核またはフーリエフィルタ ー) を用いる従来の画像の強調では、(本発明による技術程)ピクセルが正確でない であろう。空間的な人為要素は、マスクの寸法と同じくらい大きくなる可能性が あり、画像の内容に大きく依存する。そのような人為要素を低減するため、処理 パラメータが各画像に対して最適化されねばならない。しかしながら、画像自体 が(本発明におけるように)局所的な処理マスクを郭定するのに使用される場合 、そのような空間的な人為要素は削除することができ、処理結果は画像の内容と 独立したものとなる。従来のマスク処理のように、処理されたピクセルは、スム ージング係数により強度差を空間的な意義を評価することによって、その「マス ク」内の他の全てのピクセルと関連付けられねばならない。「可変で自動調整式 の局所的マスク」を使用することによって、ポイント処理と同じ処理特性が生ま れる。なぜなら、処理された各ポイントは、特別に調整された空間的なマスクを 有しているからである。超精密処理により、強調された画面において見ることの できないようなレベルにまで、処理における人為要素が低減される。 一般に、「ディテールの強調」は、画像のディテールのコントラストの強調に 関係し、画像の性質(画像の精度)を維持すべく、強度のディテールと共に空間 的なディテールをも有していなければならない。「空間的なディテール」は、短 距離(2,3ピクセル長)に亘る強度の変化を構成し、「強度のディテール」は、 その空間的な範囲とは無関係に、2,3の強度段階から成る強度の変化を構成する 。更に、望ましい強調のプロセスは、空間的な内容についてばかりでなく強度の 内容についても画像を際限なく定量化する可能性を維持していなければならない 。すなわち、画像処理技術は、個々のピクセルの強度のレベルにおける画像の精 度を保たねばならないのである。画像を強調するべくピクセルの強度を精密に処 理すること(PAIP)は、従来のいかなる技術を以てしても不可能であるが、本発 明による、ディテールの強調処理技術を利用することにより、達成できるもので ある。本発明は、先の要求を満たすことのできるものであり、代々に亘って、科 学や医学へ適用するのに、適切なものであり(信頼性に富むもの)である。その 空間的 な精度の基礎となるのは、好ましくは先に述べた「スムージング」技術を利用す るような、ピクセルの正確な強度処理を利用することである。その処理精度は、 「強調パラメータ」(有意な強度範囲)の、空間的なディテールと強度のディテ ールとの2つのレベルにおいて、全画像から「強度についての情報」を選択する 、という能力に基づくものである。その適用能力は、人間の視覚的知覚の全強度 範囲への直線的なコントラストの引き延ばしによる、選択された情報の空間的変 化および強度変化とを可能な限り視覚的に知覚し易くしたことと、画像の評価と 転送に対する視覚的能力をフルに利用した、人間の視覚認識の処理速度に近いか もしくはこの処理速度に等しい時間間隔で、選択された情報を提供するような、 「リアルタイムに近い」強調を遂行する能力とに、基づくものである。 本発明による、新たなPAIP式ディテール強調フィルターは、以下のように作用 する。まず、画像の詳細内容が、「カーソル幅」より成る単一の処理パラメータ により郭定される強度の変化に基づいて、先に述べた2次元のヒステリシススム ージング技術(あるいは他のななんらかの「ピクセルの正確な」スムージング技 術)を用いることによって、低減される。本実施例では、従来のノイズ管理に比 べて著しく大きいカーソル幅が用いられる。なぜなら、画像内容は維持してはな らず、低減されねばならないからである。次に、ディテールの画像は、元の画像 から(あるいは別のスムージングされた画像から)スムージングされた画像を差 し引くことによって、生成される。各ポイント間におけるディテールの画像の最 大強度差は、適用されたカーソル幅(あるいは、大きい方のカーソル幅から小さ い方のカーソル幅を減算した結果としての差)に等しい。更に、ディテールの画 像のコントラストの範囲は、視覚的な知覚に利用できる強度範囲(典型的なのは 8ビット)を有する全幅を利用することによって得られる最大の強調度で以て、 直線的にコントラストの引き延ばしにより、その強調が行われる。処理が「リア ルタイムに近い状態で」(1秒以内)行われれば、処理結果の評価は著しく高め られ、その結果、処理パラメータの相互変更が可能になる。このことにより、画 像のディ テールの知覚と、この部分の元の画像との相関性が強調される。 ここで用いられているように、「ディテールの強調」はかくして、縦横に配置 されたピクセルの行列を成すデジタル化された画像データ配置においてディテー ルを強調する方法を構成し、それは以下の段階を含んでいる;すなわち、 (a)画像データ配置のうち少なくも1つがスムージングされているような、ピク セルの正確な2つの画像データ配置を生成する段階と; (b)選択された強度範囲を有する差分画像を郭定すべく、ピクセルの正確な配 置の一方を、もう一方のピクセルの正確な配置から差し引く段階と; (c)コントラストの引き延ばしにより、差分画像のコントラストを強調する段 階と;を含んでいる。 特定の画像ディテールを認識することは、画像を評価し転送するための、視覚 による新たな仕事であるが、これは従来は、長期に亘る視覚的経験を積む必要が あった。「リアルタイムに近い」処理は、完全な画像データセットと共に作業を するための、視覚システム(例えば、人間の目)の迅速かつ現実的なトレーニン グを促進する。人為要素のない処理は、従来の画像処理技術では達成することの できない、視覚的知覚のそのような拡張にとって、不可欠である。 本発明によるデジタル方式の強調技術は、従来のデジタル方式の画像化技術に 対して、多くの特徴および利点を提供する。例えば、ディテールの強調フィルタ ーは原則的に、従来用いられてきた他のディテールフィルター、例えば、Oho E ,SEM画像オンラインデジタル画像処理および走査におけるディテール認識のた めの自動コントラスト調整14;335-334(1992)に記載されているようなOhoフィル ターとは作用が異なる。Ohoフィルターは空間的な画像ディテールのみを強調す るためのハイライトフィルターである。(それは特に、強度的なディテールの強 調を抑制するものである)。それは、微小領域の強度の変化(ハイライト)を、 固定された大きなマスク寸法の中間フィルター(1Kx1Kの画像に対して19x19) を用いることによって、元の画像から引き出す。中間フィルターの使用には多く の制限 を伴う。最も重要なのは、以下の3つの局面である。まず、フィルターは局所的 な強度の変化を維持し、中間部分が元の画像から減算されると、強度のディテー ルは完全に選択されたディテールのデータから除去される。第2に、フィルター は特定の強度範囲を選択することができない。このことは、ディテールの画像が 完全に画像の内容に依存する、とういう深刻な意味を持っている。したがって、 ヒストグラムの均一化のみが、空間的なコントラストの人為要素を引き起こす可 能性のある、フィルタリングされたディテールのコントラストを強調させるのに 、使用することができる。第3に、Ohoフィルターは、端部と複数の小さな強度変 化におけるマスク寸法のレベルにおける微細な構造を浸食する。結果として、強 調されたディテールの画像は、浸食された微細構造を(一部分)復元するため、 中間フィルタリングされた画像に添加されねばならない。しかしながら、ディテ ールの画像のコントラストの強調は、不均一なヒストグラムの均一化によって行 われるので、全ての空間的なディテールの画質が、元の画像の強度に比例して強 調されるわけではない。反対に、本発明による新しいPAIP式ディテール強調フィ ルターは、Ohoフィルターによって得られるのとは全く異なる情報を生成し、直 線的なコントラスト強調により、徹底的に、全ての画像情報を提供するものであ る。 この新しいディテールフィルターは、ある画像内における強度の分配を特徴付 ける、ディテールの画像を生成する。それは、どの画像も、全データ行列内のあ るピクセル配置間における強度の変化たる、画像コントラストのみを通じて、情 報を伝達するものである、というコンセプトに基づいて、画像情報の分析と分類 を行うための新しい方法のための道具である。あるコントラストの領域は、その 平均強度と周辺の強度との差によって、全体的な強度変化(背景)とは無関係に 、郭定される。本発明による新たなディテールフィルターは、そのような局所的 な強度変化を、全データ行列内におけるその他の強度変化とは独立に、(カーソ ル幅もしくは有意な強度範囲に等しい)強度範囲たる、唯一のパラメータによっ て、選択するのに利用できる唯一の道具を提供するのである。強度範囲の増加し つつ あるフィルターの適用は、特定の視覚情報内容の画像コントラスト成分から、視 覚のパターン認識のメカニズムに適合する郭定された原理的な方法で、選択を行 う。一般に、デジタル方式の画像は、全てのコントラスト情報の空間的な、x/y( /z)位置を特徴付ける、2次元(または3次元の)強度マップを示すものである。 強度の増加しつつある強度マップの連続的なスムージングと、スムージングされ たマップ間の強度変化の引き抜きとコントラストの強調は、特定の異なる特徴的 な情報クラスを定義すべく、決定的に異なる視覚的インパクトを有するコントラ ストパターンを生成する。3つの異なるランダムでない強度変化のみがどの画像 でも明瞭であり、これは、(1)ハイコントラストの大きな空間的画像成分(特徴 )と、(2)空間的(空間的ディテールの)あるいは(3)強度特性(強度のディテー ル)の微小変化を特徴付けるものである。更に、より小さくランダムな強度変化 が知覚される(ノイズ)。視覚的に知覚不可能なのは、定常的な背景の強度レベ ル(背景)であり、これは、コントラストが欠如しているため、空間的な情報を 全く有していない。これらの不連続な画像強度成分の新たな定義は重要である。 なぜなら、それらは、空間的に特定の画像内容に限定されず、最高の空間的精度 で以て(1ピクセル幅の特徴を含む)、あらゆる画像の全ての空間的な情報を特 徴付けるのに用いることができるからである。このようにして定義された強度ク ラスは、視覚的な情報認識の原理に適合し、したがって、科学的な、あるいは顕 微鏡分野、医学および産業分野の技術により生成される画像の情報を分析するの に適している。これらの技術は特定の情報を、いろいろなコントラストの機構を 通じて、伝達するのだが、その元はしばしば非視覚的なものであり、純粋に科学 的な性質のもの(局面の推移、回析および吸着、電子のスピン変化、ならびに空 間的に関連した特徴を互いに区別するためのなんらかの別の方法)である。しか しながら、情報内容が視覚的な画像として表示されると、それらは、視覚システ ムによって認識可能な強度マップに移し替えられねばならない。前述の本発明に よるディテールフィルターは、あらゆる基本的な視覚的情報クラスを生成するた め、これは、 そのような技術的な画像の情報を分析し、定量化し、伝達するのに適する。 画像情報を範疇化し定量化する能力は、画質を客観的な計測するための道具を 提供するものである。この目的のため、各画像強度クラスの強度範囲(有意な強 度範囲)は、生データの全強度範囲内において、ディテールフィルターによって 生成され表示される順番で、つまり、まずはノイズ、次に空間的なディテール、 次に強度のディテール、そして画像の特徴/背景という順番で、均一に分配され る。画像情報成分のグラフィック表示と、その強度範囲内における比率は、「情 報キューブ」における図示的な強度マップとして、視覚的な画質の評価を容易に するものである(図16を参照のこと)。ノイズ成分の、任意幅の近接する強度情 報に対する比率、もしくは、任意成分の、他の任意の強度範囲あるいは全強度範 囲に対する関係は、画像および画質を範疇化するための客観的な道具を提供する 。画像情報内容のこのようなグラフィック表示は、画像の分析と伝達を容易にす る。 前記した事項に基づき、本発明のスムージング技術の重要な特徴が以下を含ん でいるのが好ましいであろう。すなわち: (1)最小のディテールを有する(ピクセルで計測された)元の寸法を、個々の ピクセルの精度(正確なピクセル)で保存し; (2)画像の内容と画像の寸法から独立しており; (3)フィルター用に強度閾値を記述するための、単純な数値パラメータを1つだ け用い; (4)処理の人為要素を最小化し; (5)従来の画像評価の制限を克服すべく、「リアルタイムに近い状態で」実行 できること、を含んでいるのが好ましいであろう。 同様に、本発明による、デジタル方式の強度の強調技術は、以下、すなわち、 (1)画像精度(空間的なディテールと強度的なディテールを記憶) (2)ピクセル精度(単一のピクセルレベルにおいて空間的な寸法を変更せず、 定量化とパターン認識に要求される、画像強度の直線的な関係を維持する);ピ ク セルの正確な強度の処理を可能にする(PAIP)。 (3)画像内容からの独立性(全ての画像に当て嵌まる); (4)「リアルタイムに近い」処理を通じた、視覚的制御による簡易調整を伴う 、単一の「処理パラメータ」(有意な強度範囲) (5)a)画像の特徴、b)空間的なディテール、c)強度のディテール、及び画像ノ イズのランダムなクラスを含む、画像情報クラスの強度変化の特徴からの客観的 な定義 (6)全画像強度範囲に対する、各情報クラスの比率を利用することによる、画 像情報および画質の客観的な定量化 (7)画像中に現れる情報クラスの画像強度範囲内における、範囲と比率を図式 的に示す「情報キューブ」による、画像特性のグラフィック表示 を含んでいる 。 別の実施例によれば、画像のディテールのコントラストの強調は、差分ヒステ リシスパターンをデジタル画像に添加することによって達成される。前に説明し た、差分ヒステリシスによる画像処理は、強度変化(すなわち、ヒステリシス) の安定性を、データを低減し画像ディテールのコントラストを恒常させるための 手段として、利用するものである。画像ヒステリシスは、上記実施例に関連して 説明したような、相互作用的に選択されたヒステリシス範囲のヒステリシスカー ソルによって決定される。 本発明の、上で議論した利点やその他の利点は、以下の詳細な説明および図面 から、当該技術における当業者により重宝され理解されるであろう。 図面の簡単な説明: さてここで、図面を参照することにするが、幾つかの図面において、同じ要素 は同じ番号を付されていることを断っておく。 図1Aは、本発明の工程を説明するブロック図であり; 図1Bは、本発明によるシステムのブロツク図であり; 図1Cは、ノイズ低減用の2次元ヒステリシスフィルターを利用する、本発明に よるスムージング技術を示すフローチャートであり; 図2は、画像をカバーする45°のヒステリシス線の一例を図示したものであり ; 図3は、本発明によるスムージング技術において用いられる「グループ」処理 工程のフローチャートであり; 図4は、本発明のスムージング技術にて用いられるデータ構造を図示すもの; 図5は、デジタル画像情報と視覚的なパターン認識パラメータとの関係を示す グラフであり; 図6は、"A"部分において、強度情報を引き出すための原理的なアプローチを示 し、"B"部分において、デジタル情報に含まれる「ノイズ」、「空間的なディテ ール」、「強度のディテール」、および「特徴/背景」を含む、強度を定義され た異なるタイプの情報を示す一連のグラフを示し、"C"部分において、いろいろ な情報グループの強度範囲を示したものであり; 図7A-Fは、事前に画像をランダム化したり、あるいはしなかったりした場合の 、本発明による、ノイズスムージング技術を利用することによって処理された、 ガウスノイズのテストパターンを示すものであり; 図7G-Hは、ガウスノイズのテストパターンと従来のノイズ低減技術を示すもの であり; 図8A-Hは、本発明によるディテール強調技術を用いた、ディテールの 強調の情報クラスおよびピクセル精度とを示す、低倍率SEMデータの画像であり ; 図9A-Bは、本発明によるディテール強調技術を用いて処理された、高倍率SEM データの画像であり; 図10A-Bは、本発明によるディテール強調技術を用いて処理された、高倍率領 域出力SEMデータの画像であり; 図11A-Bは、本発明によるディテール強調技術を用いて処理された、低電圧領 域出力SEMデータであり; 図12A-Bは、本発明によるディテール強調技術を用いて処理された、周辺のSEM データであり; 図13A-Bは、本発明によるディテール強調技術を用いて処理された、高解像度 領域出力SEMデータであり; 図14A-Dは、本発明によるディテール強調技術を用いて処理された、冷間TEMエ ネルギーフィルタリングされた、局面コントラストであり; 図15A-Bは、本発明によるディテール強調技術を用いて処理された、高電圧暗 領域TEMデータであり; 図16A-Bは、本発明によるディテール強調技術を用いて処理された、高解像度T EMデータであり; 図17A-Bは、本発明によるディテール強調技術を用いて処理された、高倍率の 走査転送用電子顕微鏡のデータであり; 図18A-Bは、本発明によるスムージング技術とディテール強調技術を用いて処 理された、原子力顕微鏡のデータあるいはAFMデータであり; 図19A-Bは、本発明によるディテール強調技術を用いて処理された、光学顕微 鏡のデータの画像であり; 図20A-Dは、本発明によるノイズスムージング技術とディテール強調技術を用 いて処理された、共焦のレーザーの光学顕微鏡データの画像であり; 図21A-Dは、本発明によるノイズスムージング技術とディテール強調技術を用 いて処理された、マモグラフィーのデータの画像であり; 図22A-Dは、本発明によるノイズスムージング技術とディテール強調技術を用 いて処理された、胸部X-線データの画像であり; 図23は、本発明によるスムージング技術とディテール強調技術を用いることに よる、画像データ「情報キューブ」の定量化を示す、一連のグラフであり; 図24は、ヒステリシス線の処理を図式的に説明する、一連のプロットであり; 図25は、各ピクセル放射方向におけるヒステリシス画像処理を図式的に説明す る、プロットであり; 図26は、本発明の差分ヒステリシス画像処理を説明する、ブロック図であり; 図27Aは、人間の顔の元の画像であり; 図27Bは、図27Aの元の画像から得られる抜粋されたヒステリシスノイズパター ンであり; 図27Cは、図27Aの元の画像から得られる、抜粋された空間的なヒステリシスの ディテールの画像であり; 図27Dは、図27Aの元の画像から得られる、抜粋された強度的なヒステリシスの ディテールの画像であり; 図27Eは、図27Aの元の画像から得られる、抜粋されたヒステリシスの画像の特 徴であり; 図27Fは、図27B-Eの画像から得られる複合的なヒステリシスパターンの画像; 図28Aは、人間の顔の元の画像であり; 図28Bは、図28Aの画像のヒステリシスディテールを強調した画像であり; 図28Cは、図28Aの画像の強度ヒステリシスディテールを強調した画像であり; 図28Dは、図28Aの画像の、空間的ヒステリシスディテールを強調した画像; 図29Aは、プラスチックを埋め込んだ網膜組織であり; 図29Bは、図29Aの画像の、DHR 1-65のコントラスト範囲の差分ヒステリシスパ ターン画像であり; 図29Cは、図29Aの画像の、DHR 1-64のコントラスト範囲が20%で、DHR 1-9603 のコントラスト範囲が80%の、差分ヒステリシスパターン画像であり; 図29Dは、図29Aの画像の、DHR 1-3のコントラスト範囲の、差分ヒステリシス パターン画像であり; 図29Eは、図29Aの画像の、DHR 1-3のコントラスト範囲が15%で、DHR 1-9603 のコントラスト範囲が85%の、差分ヒステリシスパターン画像であり; 図29Fは、図29Aの画像の、DHR 1-3のコントラスト範囲が40%で、DHR 1-64の コントラスト範囲が60%の、差分ヒステリシスパターン画像であり; 図30Aは、コンピュータ処理された、X線断層撮影の断面画像であり; 図30Bは、図30Aの画像の、DHR 1-256のコントラスト範囲の、差分ヒステリシ スパターンの画像であり; 図30Cは、図30Aの画像の、DHR27-35のコントラスト範囲の、差分ヒステリシス パターンの画像であり; 図30Dは、図30Aの画像の、DHR27-35のコントラスト範囲が40%で、DHR1-256の コントラスト範囲が60%の、差分ヒステリシスパターン画像であり; 図30Eは、図30Aの画像の、DHR21-23のコントラスト範囲の、差分ヒステリシス パターン画像であり; 図30Fは、図30Aの画像の、DHR21-23のコントラスト範囲が40%で、DHR1-256の コントラスト範囲が60%の、差分ヒステリシスパターン画像であり; 図31Aは、デジタル式の、Fugiプレートの画像であり; 図31Bは、図31Aの画像の、DHR 1-256のコントラスト範囲の、差分ヒステリシ スパターン画像であり; 図31Cは、図31Aの画像の、DHR 9-15のコントラスト範囲の、差分ヒステリシス パターン画像であり; 図31Dは、図31Aの画像の、DHR 9-15のコントラスト範囲が25%で、DHR1-256の コントラスト範囲が75%の、差分ヒステリシスパターン画像である。 好ましい実施例の説明 本発明は、ノイズ低減用の2次元ヒステリシスフィルターを利用する、新たな 「スムージング」または「データ低減」技術と、選択された空間的なディテール と強度レベルに対して「スムージング」あるいは「低減」されたデータの質を強 調する、新たな「強度強調」技術と、を含む、複数の関連したデジタル方式の画 像処理技術より成るものである。新たな「スムージング」技術(「ディテール強 調」技術においても使用できる)をまず最初に説明する。 1.二次元ヒステリシススムージング A.従来技術 − 一次元ヒステリシス エーリッヒ、RW(1978)の「主要なフィーチャーを維持する対称ヒステ リシススムージングアルゴリズム、コンピュータグラフィックスと画像処理、8 :2−126」の「リニアヒステリシススムージング手順」の技術の中で、「最 小一次元マスク」の使用が提案されている。これらの技術はリニア(一次元)ス ペクトルデータ、すなわちI/x(I=x方向の点xにおける強度)のために開 発された。この従来技術のリニア技術は一定の強度高さ(カーソル幅)を持ちデ ータセットに沿って移動するカーソルを使用する。カーソル上の基準点(通常は 中心点)を使用して強度、すなわちx方向のある点の新たな強度値、を決定する 。元データの強度をカーソルの最大値および最小値と比較し、カーソル幅より外 側か、または内側か等しいかを求める。外側の場合はカーソル位置が移動し、強 度がカーソル幅の内側になるまで、その最終点を伴ってデータに追従する。内側 か等しい場合は、数値がカーソル値の外側になるまでカーソル強度位置は変わら ず、スムージング効果に貢献する。 この一次元手順は、全体強度が最大カーソル幅の1/2まで(スムージングし た部分と残りデータの間)低下した減少コントラストを持つリニア新データセッ トを生成する。しかしデータ値がカーソル幅を超えていた部分の元のデータセッ トのシーケンスのすべてが含まれている。これらの範囲の間では、強度のふらつ きがカーソル幅を超えない範囲では新たな一定値に置き換えられる。これらのス ムージングされた範囲には変化しない一定強度の値が存在し、それはその前後の スムージングされた範囲の値とは関係なく、生データセットから得られた直前の 強度にだけ左右される。このことによって、手順が多種の強度値のリニア「スト リーク」を生成する。高強度(カーソル上部)の他に、低強度変動(カーソル底 部)のレベルで、ボトムストリークとともにトップストリークも生成される。こ れらストリークの長さはデータセットのリニア特性に左右される。ストリーク初 期(トップ、ボトムストリークの両方)の不明瞭な生データをリカバーするため 、従来技術のリニアスムージング(例えば一次元)技術では両振り方式であり、 双方の新データセットはそれらの相互登録状態を維持しつつ算術平均される。 従来技術の2方向処理には大きな利点と欠点がある。ストラクチャの最大強度 (トップとボトム)は両方向に読み取る時に維持されるため、ストラクチャの高 さと位置は平均処理データで維持される(カーソル基準点の値だけ生強度から増 加または減少する)。ストラクチャの両肩では、ストリークの範囲内で、生デー タセットのスロープがストリークに沿って修正され、スムージングしたデータセ ットを継続するための生データが再び読み取られるまで継続される。ある範囲で はストリーク強度は両方向にて異なり、平均処理したバックグラウンド強度が生 成される。リニアデータセットの始めと終わりの境界の生成物を最小限にするた め、読み取り開始時にカーソル基準点を元のデータ値に設定する。この手順がも しカーソル基準点を全強度範囲の外側に設定すれば、カーソルは生データの最高 または最低強度値に位置する。この手順の欠点は、バックグラウンドストリーク が共通の基準を持たないことと、強度値とは関係なくストリークのリニア性によ って決定されることである。一次元データではこのことは問題ではない。なぜな ら視覚器官は、全体の長周期的動向を評価して、フラット範囲をすべて共通可変 バックグラウンドに入れ込むことが簡単にできるからである。 この一次元スムージング技術を画像処理に応用し、画像データセットの各1本 ずつを読み取り処理し、生データを平均処理した強度値に置き換えるという試み がなされている。この手順では欠点や問題点が明らかになっており、たとえ二次 元データセットを一次元データセットの連続としてジグザグ形式で読み取っても 低減させることのできない、ひどい再生画像を発生させる(Duda & Hart,1973 )。その結果画像には幅広いストリークが多く発生し、二次元データを視覚的に 認識できない。 B.本発明 − 二次元ヒステリシス 本発明では最新のデジタル処理技術を用いて、画像データの一次元処理により 生じる「ストリーク画像」を最小限にする。これは一次元ヒステリシス手法の利 点をすべて維持し、それを二次元データ、すなわちI/x,y(I=強度(また はその他)値,x,y値=x−y平面での座標値)の処理に拡張した、自動「二 次元処理」ルーチンを開発することで可能になった。 トップおよびボトムストリークの強度値は生データの最終低強度点によって決 まるため、またこの値はノイズによる変動が大きいため、多くの異なる生データ 終点を生成し平均処理する必要がある。これは一方向シーケンス以外のデータの 相関を持たない一次元データセットでは不可能である。しかし二次元データでは 二方向で定義される画像エリア内に多くの空間的相関性を発生することができる 。その相関のひとつを画像データ読み取り方向、すなわちデータの軸と読み取り 方向の間の角度とすることができる。またスパイラル読み取りフレーム、前後方 向反復読み取り、その他二次元画像内のあらゆる方向を設定して、すべての画像 点を定義しそれらの空間的相関関係を保つことができる。シーケンシャルな空間 的相関関係が少ないかまたは欠けていると、手順のスムージング効果が低下する 。ランダム化後の可変バックグラウンドレベルの画像および処理製晶の非ランダ ム化の処理ではスムージング効果はないが、データの空間的連続性および画像内 容の高感度に対する要求条件を提示する有効カーソル幅に等しい値で、コントラ ストの低下が起こる。 C.二次元ヒステリシススムージング技術の実行 好ましい実施例では、この発明の二次元ヒステリシススムージング技術は、画 像内の各ピクセルを様々な角度で通過する一次元ヒステリシス線のセットを用い て、スムージングしたピクセルを計算する。これには入力画像と、(1)ピクセ ル当たりのヒステリシス線の本数と、(2)ヒステリシスアルゴリズムのための カーソル幅の2個のパラメータを必要とする。プログラムは入力画像と同サイズ の出力画像を計算する。この発明を実際に使用するにあたって、APx用のアセ ンブリ言語でプログラムを作成した。APxはコネチカット州ニューヘブンにあ るVisionary Systems Inc.が製造したデスクトップ型パラレルプロセッサで、そ の詳細は、IEEEコンピュータ協会発行の1988年10月10日〜12日、バージニア州フ ェアファクスで開催された"2nd Symposium on the frontiers of Massively Par allel Computation "(第2回大量パラレル処理前線会議)の議事録の中の、E.Ab reuらによる「APxアクセレレータ」に説明されている。その由来はPC−AT 互換機で走るC言語サブルーチンにある。PC−ATとAPxのソースコードを 表1に示す。APxパラレルプロセッサは最大256個の16ビット処理要素( PE's)を持ち、それらはメッシュ状に接続されている。各PEは高速256 ワードのオンチップデータメモリと65536ワードのオフチップデータメモリ を備える。各PEは共用スケーラデータメモリと共用プログラムメモリにアクセ スする。1つのプログラムがすべてのPEでSIMD処理によって実行される。 APxはPC−AT互換機をホストとし、APxのオフチップPEメモリはホスト のアドレススペースにメモリーマップされる。 この発明の二次元ヒステリシススムージングプログラムの全体のフローを図1 に示す。入力画像上を8回通過し、各通過はそれそれ特定の角度範囲内のヒステ リシス線の数に対応する。表2は各角度範囲の特徴を示す。実際のヒステリシス 線は360°の円の周りに等間隔に配置した角度になっている。たとえばヒステ リシス線が16本であれば、0°、22.5°、45°、67.5°、90°、 112.5°、,,,,270°、292.5°の位置にあり、各2本ずつ一組 で8つの角度グループに分割される。図2は45°ヒステリシス線が画像をカバ ーしている例である。各ヒステリシス線は画像内の各ピクセルの出力値を計算す る。ピクセルの最後の出力値がそのピクセルのすべての出力値の平均値である。 プログラムは8個の角度グループのそれそれについて入力画像を1回通過し、 そのグループ内のすべてのヒステリシス線について計算を行う。グループ処理の フローを図3に示す。プログラムは表2の立ち上がりから始まる画像行を順番に 処理する。立ち上がりが右または左の時、入力画像と出力画像は通過の前後で置 き換えられ、プログラムはそのメモリアドレスを加減させて各画像行を処理する 。各行を順番に読み取り、そのグループ内の各ヒステリシス線をそれに当てはめ る。ヒステリシス中心点は条件に従って右または左隣のPEにシフトされ、ヒス テリシス線の角度を正確に保ち、次の線に処理が繰り返される。この条件付きシ フトはスケーラーメモリに記録した線パターンに従って行われる。 ヒステリシス計算は次のように行われる。入力ピクセル値が現在のカーソル中 心点からカーソル幅の半分を引いた値より小さい時は、中心点は入力ピクセル値 にカーソル幅の半分を加えた値に変更され、入力ピクセル値が現在のカーソル中 心点にカーソル幅の半分を加えた値より大きい時は、中心点は入力ピクセル値か らカーソル幅の半分を引いた値に変更される。ピクセルの出力値はカーソル中心 点の値になる。これが同じピクセルに関する他のヒステリシス線の中心点に加算 される。立ち上がりにおいてカーソル中心点は入力ピクセル値に初期化される。 カーソル中心点が画像のエッジ部を超えて移動した場合、それらはエッジ部の入 力ピクセル値で再び初期化される。初期化されたカーソル中心点は最小可能ピク セル値にカーソル幅の半分を加えた値から最大可能ピクセル値からカーソル幅の 半分を減じた値までの有効範囲に固定される。 入力画像および出力画像は大容量オフチップPEメモリに保存される。各PE は図4のように画像の1列を保存する。PEの個数は処理する画像の列数と等し く、各PEには各行の1列が保存される。列数よりPEが多い場合は、余ったP Eは使用されず、計算にも機能しない。PEよりも列数が多い場合は、すべての PEが処理を行い、複数の列を保存する。処理中は各出力ピクセルには園ピクセ ルを通過するヒステリシス線によって計算された数値の合計が保存される。最終 出力画像はピクセル合計値をヒステリシス線数で割って求められる。 各オンチップPEデータメモリには現時点の角度グループ内のピクセルを通過 するすべてのヒステリシス線のカーソル中心点が保存される。また一時的に処理 中の各入力行を保存し、その行内のピクセルの出力値を保存する。 スケーラーメモリにはヒステリシス線8本のセットの線パターンが保存される 。一つの線パターンは8本のヒステリシス線を表し、そのそれらの角度は45° の増分でオフセットされる。このパターンは各グリッドの垂直/水平/対角ステ ップについてのヒステリシス線角度を表す。これがヒステリシス処理においてカ ーソル中心点の条件付きプロセッサ間シフトの制御に使用される。 最適反復回数(生成物の抑制に要する)は生データセットおよび/またはカー ソル幅に左右される。平均処理が不十分であると読み取り方向に沿ってコントラ ストが飛んでしまい視覚的に見にくい。これは直線(ラジアル)読み取り方向や 、非直線構成の特性を持つ画像によく見られる。8から32の異なる直線読み取 り方向であれば、生成直線バックグラウンド強度ふらつきを減少するのに十分で あり、コントラストの強い小さい物体を表示しても平均画像のコントラスト分析 によっても認識不可能である。さらに、まれにストリークが強く残存する場合で は、64から256(あるいはそれ以上)回反復が行われる。必要反復回数は選 んだカーソル幅より効果の半実験的評価に従って自動的に設定されるか、または 選んだカーソル幅と画像のコントラスト特性を使用した計算によって設定される 。しかしバックグラウンド強度ふらつきが視覚的に認識されないように分布させ るために、その他の非直線読み取り方向を設定することもある。そのような非直 線手法は、直線手法の結果が満足でない場合に、バックグラウンド強度ふらつき を視覚的に認識されないような、またはばらつかないパターンになるように、再 分布させるために使用される。 II. 画像情報強調技術 A.デジタルフルフレーム画像の情報内容 図5について、デジタルフルフレーム画像の情報内容はフィーチャーおよび ディテールの非ランダム(構造)クラスに分類され、ノイズのランダムクラスに 分類される。フィーチャーは視覚パターン認識に使用できる画像成分で、そのサ イズはピクチャー幅の−10%より大きく、視覚強調範囲の−5%を超えるコン トラスト範囲を持ち、パターンとして認識されるため15から20の強調レベル 内におさまる必要がある。他の画像成分はすべてディテールとされる。他の視覚 パターン分類を使用すると、小さな高コントラスト成分(<10%PW,>5% BW)は、空間ディテールとして、また各サイズの低コントラスト成分(<5% BW)は強度ディテールとして特性付けられる。さらに、デジタル画像には多様 な発生源のノイズが含まれる。数ピクセルのレベルの高周波ノイズ成分のみがラ ンダム強度ふらつきとして視覚的に認識可能である。その他の低周波ノイズ成分 は強度ディテールの特性を持ち、高周波ノイズ成分を取り除いた後(平均処理、 スムージング)に認識可能となる。数種の特性によってノイズの取扱いおよび減 少が困難になる。各ピクセルレベルの単一データセットでは、明確なパターンを 欠いている小さな空間ディテールと区別するのは不可能である。ノイズは大きな 成分の完成度をその強度に比例して破壊する。そのため、視覚的に破壊的なノイ ズ成分をスムージングで減少させれば、ディテールがいくらか消失する。さらに 、ノイズがガウス特性を持つ場合には、極度の強度のノイズピクセルは、低周波 ノイズ成分とともに残留する。 顕微鏡検査,放射線、その他の類似のデータの画像評価では、全体画像の中で ディテールとの空間的な関係を保ちながら、視覚パターン認識により認識できる ようにすべての画像ディテールを処理することが必要である。これは低強度ディ テールではコントラストを10〜100の係数で強調し、最小空間ディテールは 10〜20の係数で拡大する必要があることを意味する。しかし、相関的画像成 分評価では、次の3つの画像処理作業のみが必要となる。 1.フルフレーム画像でのディテールコントラスト強調 2.デジタル拡大 3.ノイズ管理 一般的に、画像情報内容の評価は画像処理ステップシーケンスを要する。まず 、 コントラスト強調後のフルフレーム画像では、ディテールが認識され画像フィー チャーとの相関が図られる。次に、強調したディテールを拡大、分析する。最後 に、ノイズを減少させる。画像が高いノイズレベルを持つ場合は、まずノイズを ディテール情報が認識できるレベルまで減少させる。しかしこうした画像処理を 効果的で現実的に行うためには、きびしい条件を満足しなければならない。空間 およびほとんどの強調特性ディテールを歪ませる一般的な画像強調手順に関係す る生成物の処理は避けなければならない。ピクセルに正確な強調技術だけが、デ ジタル拡大によるより細かい視覚的検査を促進する。さらに、処理速度はリアル タイムに近く、視覚パターン認識を妨げない十分な速さであり、画像のサイズ、 深さ、内容に関わらずすべての画像を取り込み、ディテールを紛失しないよう徹 底的で客観的であり、単純で単一の要因、すなわち「視認性強調係数」以外の入 力なしで処理できなければならない。 ピクセル精度に基づき、本発明に従ったデジタル画像処理によって、強調定義 された画像情報クラスを抽出および画像化することによって、計器的画像分解の レベルで、取得したデジタル画像データに対して視覚的アクセスを与える。この データ低減により視覚パターン認識が促進される。しかし、デジタル画像処理に よる情報の表示は、以前は常に見られたり利用されたりした情報ではないので、 人間の視覚の一部でなくまた特定の用途におけるパターン経験にも当てはまらな いため、そのようなデータの視覚的見やすさとコミュニケーションのための新し い手段を導入する必要がある。画像ディテール情報は一般的な視覚的レパートリ ーに類似する視覚的パターンを供給するもので、それが既知の計器コントラスト メカニズムの各ピクセルとの相関において、強度成分を伴って関係付けられるの で、このパターンの解釈は驚くほど簡単である。このため新しい視覚画像評価手 段では、データを以前に収集したその他の情報のすべて(サンプル特性、顕微鏡 または計器の性能、コントラストメカニズム)と直接関係付け、最小の情報ディ テールさえも活用する。 デジタル画像データセットは二次元ピクセル配列の各ピクセルにおける強度を 示す強度マップである。図6により、強度輪郭値を用いてピクセル線に沿って強 度をグラフ化し(図6の右上)、一連の強度値で3次元グラフをx−y方向のデ ータの3次元「強度輪郭値」で作成する。強度表面の高さと空間規模は、画像成 分の空間および強度特性に従って変化する。4つの異なる画像成分は視覚的パタ ーンに合っているため識別が可能である。最小距離(単一ピクセル)のランダム 強度ふらつきは、ノイズの特性を示す。(図6の左下)。3次元強度輪郭面では ノイズピクセルは細いスパイクのように表示されるかまたはより大きい強度成分 をカバーする穴として表示される。ノイズの平均強度変化(ガウス形ノイズ+/ −2標準偏差(SD)アナログノイズの帯域表示と同様)は、均等厚の外部層と して、強度輪郭面の中に広がる重要な強度帯域(IRs)を占める。高品質デー タでは、ノイズの全強度帯域に占める割合は数パーセント(<10%)であり、 視認不可能である。しかしノイズ成分とコントラストを抽出し(図6の左下、上 部強度輪郭値)それを全視覚帯域に拡大すると、ノイズピクセルが可視化され空 間ランダム分布によって識別可能になる(図6左下、下部強度輪郭とマップ)。 顕微鏡データセットでは、たとえば少量の画像処理や高拡大率画像処理などでは 、ノイズは常に強い。コントラストが不足すると高品質データの取得ができなく なり、データ品質は低下する(ノイズIRs>20%)。 多数のピクセルのエリアでの均質な強度変化は非ランダムであり、データの空 間情報を示す。サイズと強度特性によって、3つの主な視覚パターンタイプが識 別できる。小さく低いコントラスト成分は空間ディテールとしてまとめられる( 図6、下中)。成分が均一であれば、バックグラウンド強度を超える同等の重要 強度範囲(IRs)を占める。3次元強度輪郭値では、空間ディテールは正確に 定義された小さな「でこぼこ」や「重なり」として表される。抽出およびコント ラスト伸長はこれらのディテールと分布パターンの認識を容易にする。画像デ ータセットではほとんど、空間ディテールは全強度範囲のわずかな割合(IRs =2−20%)を占めるだけである。低倍率データでは、空間ディテールがコン トラスト成分の最大のものであろう。 一般に、小さい強度変化は(重要強度範囲の5%未満)は縒り大きな範囲に拡 張できる(図6、右下)。これらの成分は強度ディテールを表し、それはあるデ ータでは強度範囲のわずかの部分しか占めない。3次元強度輪郭値では強度ディ テールは大きな画像成分(フィーチャー)の輪郭に沿った平らな立面として認識 できる。多くの弱いコントラストメカニズムでは強度ディテールを生成し、その 認識は顕微鏡その他の画像サービスの重要な部分である。強度ディテールはアナ ログ画像処理ではアクセスが最もできないもので、これは視覚器官が大きな低コ ントラスト成分を、形状のエッジ部を表示しないため認識しにくいからである。 しかし、生データから抽出しコントラストを強調すれば、エッジ部のコントラス トがはっきりするため画像評価に利用できる。直線コントラスト伸長は強度ディ テール間の比率を維持するので、理解が容易になる。 最後に、画像データはフルフレーム画像を占める大きフィーチャーを持つもの が多い(図6、右上)。これはデータ強度範囲をほとんど占めていることによる 。ほぼ常時、他のディテールとノイズはフィーチャーの強調によって小さくされ 、強度ステップが不足するため視覚不能になる。これらの圧縮ディテールを抽出 しても強度レベルを回復することはほとんどできず、直線コントラスト伸長によ って全視覚範囲に均一にレベル化し、視覚、パターン認識、データ識別を促進す る。その他の画像は、データの強度範囲の大部分を占める強度情報なしに、大き な強度バックグラウンドを持つ。バックグラウンドレベルは画像情報コントラス トを減少させる。 B.画像情報強調技術の実行 本発明の情報抽出プログラムは2つのスムージングした入力画像(または元デ ータセットと1つのスムージングした画像)から1つの出力画像を生成する。ス ムージングした画像は上記の二次元ヒスチリシススムージングプログラムにより 、2つの異なるカーソル幅を用いて(または異なるピクセル精度の高いスムージ ンク技術により)生成される。2つの入力画像の行数と列数は等しくなければな らない。ディテール抽出では最もスムーズな画像を最もスムーズでない画像から 減算し、その結果で直線コントラスト伸長を行う。好ましい使用例では、本発明 を実行するコンピュータプログラムを前述のAPx用アセンブリ言語で作成した 。APxはVisionary Systems Inc.が製造したデスクトツプ型パラレルプロセッ サである。その由来はPC−AT互換機で走るC言語サブルーチンにある。PC −ATとAPxのソースコードを表3に示す(スムージング処理のソースコード は表1に示す)。APxパラレルプロセッサは最大256個の16ビット処理要 素(PE's)を持ち、それらはメッシュ状に接続されている。各PEは高速2 56ワードのオンチップデータメモリと65536ワードのオフチップデータメ モリを備える。各PEは共用スケーラデータメモリと共用プログラムメモリにア クセスする。1つのプログラムがすべてのPEでSIMD処理によって実行され る。APxはPC−AT互換機をホストとし、APxのオフチップPEメモリはホ ストのアドレススペースにメモリーマップされる。 画像サブルーチンは2つのスムージングした画像を1回通過する間に実行され る。直線コントラスト伸長は画像減算出力を2回通過する間に実行される。最初 の通過で画像中の最大および最小ピクセル値を検出し、2回目の通過で出力ピク セル値を、次の式で再演算する。 q(x,y)=(p(x,y)=minpix)*maxval/(maxpix-minpix) ここでp(x,y)は初期ピクセル値、q(x,y)は最終出力ピクセル値、minpixは画像の 最小ピクセル値、maxpixは画像の最大ピクセル値、maxvalは最大ピクセル値であ る。maxpixとminpixが等しい時は、q(x,y)はゼロになる。 本発明のディテール強調技術の重要な特徴は、通常よく起こる処理生成物を避 ける二次元ヒステリシススムージングのために前述の処理を使用することである 。スムージングはノイズ低減に使用され、そのピクセル精度の高い設計によって 、スムージングした画像の空間情報を維持する。スムージングした画像から取り 除いた画像ディテールは、ディテールのピクセル精度を失うことなく元画像から 回復される。抽出ディテールのコントラスト範囲はスムージングに使用するカー ソル幅に当てはまるので、ディテール情報のコントラスト強調は予測できる。こ れは画像ディテールの範囲の抽出と強調が可能なので、重要な利点である。 ディテールの抽出と強調技術の第二の重要かつ新規の特徴は、それがディテー ルを選択的に抽出するだけでなく、より大きな画像フィーチャーのコントラスト をそのカーソル幅まで抽出することにある。これは本発明の定義がフルフレーム 画像でのディテール強調にあることを説明する。なぜならスムージングによって 除去される画像情報にはディテールとフィーチャーの両情報が含まれるからであ る。フィーチャー情報の部分はカーソル幅に比例する。この点で、スムージング 後に回復される画像情報は(元画像からスムージングした画像を減算する)、直 線コントラスト伸長1ステップ分だけコントラスト強調され、原則としてすべて の画像情報を維持する。そこで、ディテールコントラストは最初に選択的に低減 されるフィーチャーコントラストよりさらに強調される。本発明のもうひとつの 新規の特徴は、全抽出情報のコントラスト範囲(強調以前の)が正確に知られて いる(画像の強度範囲からカーソル幅を減算したもの)ので、コントラスト強調 係数を予測することができ設定が簡単であることである。 抽出情報のコントラスト範囲の定義は、本発明の第三の特徴であるディテール 強調技術「強度スライシング」を生み出す。2つの異なるカーソルサイズで元デ ータをスムージングすると、2つのスムージングした画像情報の間の相違が抽出 される。この強度スライスは抽出ディテールに等しい特性を持ち、その重要強度 範囲は既知で、適用したカーソルサイズに従うフィーチャー情報部分を含む。こ のため強度スライスに含まれる情報は直線コントラスト伸長処理後に表示するこ とができる。図6に関して、この新しい処理の開発はデジタル画像の情報内容に 固有の定義(4種類の強度定義内容、すなわちノイズ、空間ディテール、強度デ ィテール、画像フィーチャー、バックグラウンド)を与え、これは画像コミユニ ケーション、画像分析、パターン認識、画像定量化に大きな衝撃を与える。個々 の強度情報クラスまでデータ縮小を行うことは、画像情報、画像情報内容の定量 化、画質の分析に新しいユニークなツールをもたらす。このツールをデジタル画 像処理に使用することは画像化装置の既知のすべてのコントラストメカニズム( 顕微鏡、望遠鏡、写真機、ビデオカメラ、医療用画像処理技術など)は、デジタ ル画像の構成クラスとして知られる3つの基本的強度のうち1つを確定すること がわかる。原則としては、画像情報はすべて(構造成分)画像成分とその周囲と の固有強度差を生成するコントラストメカニズムによって取得および記録される 必要がある。コントラストは完全構造成分、一部の成分(相コントラスト、回折 コントラスト)あるいは無成分を直接画像化し、完全な空間再構築(ホログラム の干渉コントラスト)を必要とする。これらの個々の画像コントラスト形式は3 種類の非ランダム情報クラスのひとつとして、データセットに確立することがで きる。このためここで説明するディテール強調技術によって、画像データに異な るコントラスト形式で分離し抽出することができ、固有のコントラスト情報を生 成することができる。これは容易に視認でき、その重要強度範囲に従って客観的 に定量化できる。コントラスト形式は視覚と認識パラメータにマッチするので、 抽出コントラスト情報は容易に可視化できる。接続的視覚定量化は限定的、主観 的方法でのみ可能である。しかし、画像コントラスト定量化は各コントラスト形 式の重要強度範囲を測定することで現在は可能である。定量化は各コントラスト 形式の強度割合を、ノイズと強度バックグラウンドを含む他の画像強度成分とと もに確立することができる。この手順では画像強度成分の割合と程度を明確にす る画質評価の初めての客観的方法が与えられる。「情報キューブ」内の各画像成 分の強度範囲のグラフィック表示は(図23)により、画質を容易に視認するこ とができる。一般に、各ディテール情報コントラストは全強度範囲の数パーセン トにすぎない強度範囲を持ち、そのディテールは10〜16ビット精度の高精度 生データから抽出でき、生データの妥協なしに8ビットレベルで視覚表示できる 。本発明の新情報強調技術はこのようにして画像情報の定量化を可能にし、画質 評価の客観的基準を与える。正確なデータ縮小によって歪みや生成物なく画像情 報をクリアに表示できるため、電子ネットワークを通した「高速ハイウェイ」上 の客観的画像コミュニケーションが可能になる。高精度の生データから、10〜 16ビットのデータで強調情報(コントラスト形式)を可視化できる。 本発明のディテール強調技術は、画像ディテールの正確な強調に必要とされ、 また技術のノイズ管理用途または通常使用される処理技術によって必要とされる ものではない、数種類の固有な強調目的のために、二次元ヒステリシス処理を利 用し、定義および限定された強度範囲の空間ディテールの高ピクセル精度の抽出 、ディテール強調の高画像精度スケーリング、相互作用で定義される単一の強調 用出力パラメータの決定を行う。この高画像精度の強調パラメータは画像内容と は関係なく、希望のディテール強調程度にのみ関連して選択される。ディテール 強調フィルタは、異なる高ピクセル精度の強調処理原理を使用して選択、抽出、 強調を、画像内容とは関係なく行うので、従来の空間処理原理(Oho,Sobel,ま たは準同形フィルタ)にくらべて有利である。 III. 実施例 以下の例は本発明の二次元ヒステリシススムージングとディテール強調デジタ ル画像処理技術をさらに説明するものである。 A.システムハードウェア 画像処理に使用したハードウェアは486/66 MHz PC-ATホストCPUで、高度PCベ ースのAPx並列処理技術を用いた高速処理を行った。アレイプロセッサ(AP )技術は単一命令/複数データ(SIMD)構成に基づき、ピーク命令レート80 0 ‐3200 MIPsの16ビットプロセッサを64〜256個使用する拡張システム形 式である。各プロセッサは16ビットRISCプロセッサで、ソフトウェアで3 2ビットモードに構成することができる。IEEEフォーマットの単精度浮動小数点 演算は32ビットモードでピーク命令レート40‐160 MFLOPsでサポートされる。 VLSI技術で32ビット数の高速1サイクル交信が可能である。APxプロセッサ ボードはPCバススロットに装着し、スーパーコンピュータ並の性能を発揮する 。この形式のワークステーションはコネチカット州ニューヘブンにあるVisionar y Systems Inc.が製造している。標準画像フォーマットは正方形で、画像は簡単 なメニューとともに解像度1280x1024ピクセル、リフレッシユレート120 Hzの2 0インチモニタに表示される(日立製CH2085MU SuperScan20モニタでStereograp hics CrystalEyes System によるステレオ表示可能)。モニタには耐磁性Nu金 属シールドを取り付けた。 高品質画像(1Kx1K,8‐16ビット)の画像強調は3000 mipsの速度を必要とす る。これはスーパーコンピュータの処理速度である。コスト効率、使いやすさ、 持ち運びを考え、前述のAPxシステムのようなPCベースの並列処理システムが 本発明の重要な要素を形成する。前述のAPxシステムの処理速度は1600 mipsで あり、1画像当たりの処理速度は2秒である。アレイを大型にすればさらに高速 にできる。通常の画像(512ピクセル、8ビット)では1秒以下で処理できる。 このようなリアルタイムに近い処理速度は並列処理でのみ可能である。 B.ノイズテストパターン例 本発明のデジタル画像処理によるノイズスムージング能力は、次のガウス形式 のノイズのテストパターンを使用して実行できる。+/-4標準偏差(SD)幅(1024x10 24x8ビット、平均ピクセル値127、最小、最大ピクセル値43および211、標準偏差 21、クリッピング精度0.0001%)(図7A)。重ね合わせた空間テストパターン は1ピクセル幅、つまり強度0と255の二重垂直線2本、および強度+/-2SD (上半分)または+/-3SD(下半分)の小十字形2セット(図7B、直近のズーム x16倍に拡大)で構成した。完全テストパターンをノイズに重ね(図7C)、 本発明のスムージング技術(図7D−F)を用いた処理は、重要な空間フィーチ ャーをすべて保持し、バックグラウンドを要求処理レベルに応じて設定される増 加重要度係数(カーソル幅)でスムージングした。強度レベル+/-1SDの処理では 、すべてのフィーチャー(十字形、二重線)および高/低値の強度値のノイズピ クセルは、空間完成度に歪みを生じることなく維持された(図7D)。低周波ノ イズ成分は維持され、点状のパターンで認識された。+/-2SDのスムージングでは +/-2SDの十字形だけが除去され、その重要強度範囲のピクセルは(図7E)すべ てそのS/N比が10倍向上した。最後に、+/-3SDレベルの(図7F)ディテー ル強調処理では、すべてのノイズと十字形が除去され、二重線フィーチャーだけ が残った。後者の2つの処理例では(画像がメジアン強度バックグラウンドを持 つので)処理前にノイズ画像をランダム化し、後で非ランダム化した。本発明に よる強度PAIP処理だけが重要画像内容を維持でき、従来技術による空間処理 ではランダム化データを破壊し、空間フィーチャーを維持できない(図7A−H )。従来の平均処理(図7G 3x3 マスク、中心重み1)や従来のメジアンフィ ルタ処理(図7H 3x3 マスク)では、テストフィーチャーの空間完成度を維持 できない。一般に、ノイズ低減アルゴリズムは空間マスクを利用し(空間ドメイ ンやフーリエフィルタにて)、マスクまたはフィルタサイズで設定される最高レ ベルで画像ディテールの空間歪みを生成する。本発明のPAIP技術では、生デ ータの精度と同じレベル(ピクセルレベル)で画像ディテールの空間完成度を維 持できるので、顕微鏡、放射線、天文、その他ディテールの獲得と評価を主目的 とする技術分野での画像処理に適している。 C.顕微鏡検査 顕微鏡データ評価は試料の物性を推論するためのコントラストメカニズムの認 識に関係する。生データは空間強度変化などのコントラストを、特徴的重要強度 範囲と空間分布で表示する。場合によって、コントラストを直接視覚的に解釈す ることが可能であり、また、空間物性を再構築することが必要な場合もある。本 発明の新しい強度処理技術による顕微鏡分析データでは、関係コントラスト情報 は全データ強度範囲のうちわずか1〜10%の狭い重要強度範囲にだけ発生する 。生データの大部分は高精度コントラストに等しいかそれ以上の高ノイズ成分を 含んだので、関係空間データからノイズを分離するために強度スライシングが必 要であった。関係するデータが強度輪郭値の奥に隠れてしまうこともあった。他 の画像処理技術ではこの情報を自動で除去できず、空間あるいは比例強度歪みを 発生させずに完全な画像を生成することはできない。 1.走査電子顕微鏡検査 顕微鏡データセットでは大きな画像フィーチャーを含み、それが画像強度範囲 の大半を占めて、計器精度レベル(単ピクセル)の画像ディテールのコントラス トをおさめる場所がないことが多い。これは低倍率の走査電子顕微鏡検査(SE M)の場合特にあてはまる。SEMの特徴は大きな試料を深い視野深度で低倍率 で画像化することである。しかし低倍率(x1000 末満)では大きな物体で信号回 収効率コントラストが強く発生し、これが局部的に電子線と試料の相互作用に関 係する場合がある。これらの検出器によるコントラストメカニズムの存在はよく 知られており、これを画像作成に利用することはマルチ検出器システムで完成さ れている。しかしその程度は定量的に評価されていない。さらに一般にディテー ルコントラストを欠いている低倍率画像は、大きな画像フィーチャーのコミュニ ケーションにのみ使用されていた。電子線と試料の相互作用によって発生する局 部的な小さなコントラストは、回収効率コントラストが、画質(S/N比)を低 下させる空間情報のない信号バックグラウンドを発生する高倍率でのみ利用され た。PAIP画像強調では局部的コントラストはすべて低倍率、高倍率の両方で 発生、回収されるが、ディテールコントラストはフィーチャーコントラストまた はバックグラウンドレベルの程度に反比例して圧縮されることがわかった。さら に、局部的な強度の小変化を視認することは、広帯域の強度変化に極めて近似し て減少した。本発明のPAIP画像強調では、ディテール、フィーチャー、バッ クグラウンドの強度範囲割合を、相互作用的に後者を減少して視覚的に効果を評 価することで、容易に速く調節できる。 (a)従来の走査電子顕微鏡検査(SEM) 蟻の頭部の従来のSEM画像(図8A)では強度範囲をすべて占め(IR=O.2 55)局部的な電子線と試料の相互作用によって発生するディテールコントラスト には余地がほとんどない。この高精度電子線情報は全データ強度範囲のうちわず か14%の重要強度範囲(IR=1〜35)に空間ディテール情報として(図8 B)含まれていた。コントラストは2つの発生源を持つ信号回収効率コントラス トによって構成され、歪みを受け、減少されていた。まず、局部的な試料により 発生するチャージ現象が、チャージングコントラストとしてまとめられる(図8 C)試料表面での強度変化をもたらす信号生成を変化させ、強度ディテールスラ イス(IR=35〜71)に画像化された。次に、局部的な検出器により発生す る検出器コントラスト(図8D)が大きなフィーチャー(IR=71〜256) の全体の形状的アスペクトを発生した。後者の信号成分は顕微鏡の電極で後方散 乱した電子により生成され、従来のSEMにおける低倍率画像アスペクトを発生 するという特徴を持っている。しかし回収効率コントラストはディテールコント ラストを減少させ、中間グレイレベルのバックグラウンドでのみ認識可能で、フ ィーチャー(蟻の頭部)の飽和高低強度範囲ではまったく見られなかった。 重要強度範囲を段階的に減少させる画像強調ではフィーチャーコントラストが 減少し、ディテールコントラストが反比例して増加した。50%以上の減少(図 8E)では主要なフィーチャーコントラストは維持されたが、画像全体の中では はるかに小さいディテールコントラストが、画像フィーチャーの全体的特徴を維 持しつつ増加さし、また画像ディテール(IR=1〜100)のほとんどを強調 した。特に、信号回収効率コントラストは減少し、電子プローブ誘導コントラス トはいくぶん強調された。重要強度範囲を全画像強度範囲(IR=1〜15)の 6%まで減少すると、局部的電子線散乱コントラストが強調された(図8F)。 電子線誘導コントラストメカニズムを可視化すると、画質が大きく変化した。特 に試料サポートの強度ディテール(微小粗さ)コントラストと、空間ディテール (試料の体、細かな毛、ひげを覆っているキチン質板のエッジ部)が強調された 。強調画像は、他のメカニズムによって生成された強いコントラスト範囲があっ ても、電子プローブによるディテール画像化は可能であることを証明した。全強 度または強度スライスの中の重要強度範囲ですばやい調整が、電子プローブが発 生する信号を見るために不可欠であり、それがコントラスト解釈を促進した。 画像の強度範囲を支配的なコントラストサイズに適正に合わせることによって 、デジタル拡大によるディテール評価を促進することができた。生データはほぼ ノイズフリー(1%末満のIR)で、比較的広い強度範囲に空間ディテールを含 んでいたため、ディテール評価はIR=1〜15の強度スライスで実施された( 図8F)。図8G−Hに生データのディテール(目のすぐ下)のデジタル拡大画 像(各ピクセル可視化のための最近のズームx16)と選択した強度範囲(IR =0〜15)を示す。強調によって、走査電子顕微鏡画像から走査した電子プロ ーブ顕微鏡画像に拡張された試料面上の電子プローブによって生成された正しい (ピクセルに正確な)構成とくわしいコントラストが明らかになった。空間情報 は除いて、小さな形状的コントラスト(レリーフコントラスト)が識別可能にな った。構造的ディテールの解釈について生データと強度データを比較することは 、キーボードのキー1つを操作するだけでできる。これによると10倍〜20倍 の拡大率でも、空間的あるいは強度的生成物は確認できなかった。強調画像に見 られるディテールは元のデータセットにも存在したがそのコントラストはもっと 低 かった。 (b)中間倍率電界放出SEM(FSEM) 中間倍率におけるSEMでは、可能な低倍率フィーチャーコントラストは、大 きなフィーチャーのそれに類似する逆特性を持つ空バックグラウンド信号に変換 される。すなわち、試料に固有の顕微鏡コントラストをそのサイズに反比例して 圧縮する。高精度の空間情報がないと、重要な分野でSEMの最適化が制限され 、産業R&Dや半導体での故障などにその例が見られる。 ポリプロピレンフィルターの有孔率の評価には、薄い金属膜(3nm,Pt) 、高加速電圧(30keV)、倍率20000倍が必要である。S/N比および 画像コントラストは弱い(図9A)。わずか2%幅の(IR=21〜27)強度 ディテール内の強度スライスでノイズ成分を効果的に減少させ、物質コントラス トを強調し(図9B)たので、孔の体積は容易に定量化できた。このコントラス トを選択的に抽出することで、ノイズとチャージングコントラストを低減し、こ の難しいサンプル上で電子の問題によって発生した空間高精度情報をすべて回復 できた。 半導体業界での故障分析における中間倍率画像化でも、同様の制限がある。こ の用途では、デバイスの断面を研磨し、わずかにエッチング処理し、3nmのC rでコーティングする。高性能状態(30kV,電界放出電子源)での画像化で は、デバイスの構造を認識できないような弱いディテールコントラスト(図10 A,2xバイキュービックズーム)しか発生できなかった。わずか4強度ステッ プ(IR=7〜11)のノイズ成分の下の強度スライスが、生データのすべての 空間ディテールを含み、電子ビームの精度レベル(各ピクセル)における小範囲 コントラストの断面の形状的特徴を明らかにした(図10B)。このような強調 は日常のFSEM運用には大変貴重である。 (c)低電圧電界放出SEM(LVFSEM) 半導体の製造のオンライン生産管理では断面線幅測定が低電圧電界放出走査電 子顕微鏡検査(LVFSEM)でルーチンで行われる。これは不導体の画像処理 を全コントラストを増大させて行うことができるからである。しかし、その結果 の高倍率画像は、飛躍的に増大した広範囲信号(図11A,2xバイキュービッ クズーム)によって減少した、低い高解像度(小範囲)のコントラスドが生成さ れただけである。ポリシリコン断面に対して、抵抗線の上部と基部の関係ディテ ールは明確でない。高ノイズレベルにも関わらず、詳しい構造ディテールがソイ ズ成分を除いた全強度範囲(IR=13〜25)の5%から回復された(図11 B)。ディテール強調はピクセルに忠実であるため、さらに画像処理を行わなく ても線幅の直接手動または自動測定が可能になった。 (d)環境SEM(SEM) 新規の低真空SEM技法では、共に、しばしば低質量密度および低信号イール ドを有するサンプルから成る、不導体および湿潤表面が撮影される。したがって 、高倍率画像は、共通の大きな信号バックグラウンド成分だけでなく非常に大き な雑音成分によっても制限される。中間倍率(20000倍および20kV)で は、完全に水和されたプラスチック・フィルタ上のラテックス球が、弱いコント ラスト(第12A図、2倍ズーム)のみと共に撮影され、球とフィルタの孔との 相互作用はあいまいであった。狭い強度スライス(IRs=13ないし23)お よび追加のディジタル・ズーム(画像右下隅)を使用して、フィルタ特性を評価 することができた(第12B図:4倍ズーム)。フィルタの孔の超微細構造詳細 を維持するには(ダブル・ゾーン)、ある種の高強度雑音成分を、抽出されるコ ントラスト情報に含める必要があった。 (e)高解像度電界放出SEM(HRFSEM) 新規の超高解像度FSEM計器は、0.5nmプローブ直径を備え、高理論解 像度を使用するために倍率100000倍ないし1000000倍で動作するこ とができる。実際には、コントラスト品質によって高倍率での制限が課される。 高倍率では、このようなインレンズ顕微鏡でも、大きな信号バックグラウンドが 生成され、高密度ショートレンジ・コントラスト(空間詳細情報)を圧縮する。 1nmの連続Crフィルムで陰影付けされた薄いCフィルム(厚さ2nm)上の 分子試料の高倍率凍結撮影(100000倍、30kV、サンプル温度−120 ℃)では、残念なことに低コントラストしか得られず、分子の詳細は目に見えな かった(第13A図)。雑音成分の下方でのディジタル・ズームおよび強度スラ イシングの後、予期されるすべての高精度コントラスドが得られ(IRs=5な いし15)、すなわち、目標とするSE−I信号成分の高解像度コントラストの ために生成される明確な陰影によってすべての小さな構造(2nmないし5nm の寸法)が撮影された。SE−Iコントラストの小さな寸法は、予期されないも のであったが、最適撮影条件(非常に薄い試料、低Z金属コーティング、汚染低 減のための凍結撮影)の下でもバックグラウンドが発生したことを示唆している 。 2.透過電子顕微鏡検査画像 TEMコントラストは、様々なコントラスト機構の重ね合わせと、空間領域( 画像)での視覚コントラスト情報の解釈の困難さの好例である。最小構造詳細レ ベルでのTEMでは、位相コントラストと散乱コントラストが共に発生し、重ね 合わせられる。位相コントラストは、光学系の伝達関数と顕微鏡撮影パラメータ を使用して、容易に分析しフーリエ領域で再構築することができる。ビームの影 響を受けやすい材料では低線量撮影が必須条件であるが、雑音が増大し、かつコ ントラストがないので、獲得した生データをただちに評価することは困難になる 。ビームの損傷、線量が不十分であること、およびその他の要因(汚染、不安定 さなど)によっても画質は不明瞭なものになる。 (a)クリオ透過電子顕微鏡検査(クリオTEM) クリオTEMは、生医学電子顕微鏡検査で最も重要なものである。クリオTE Mは、細胞および組織の超微細構造を撮影するために選択すべき高解像度顕微鏡 である。さらに、当該のコントラストを不明瞭にし圧縮する信号バックグラウン ドを低減させるためにエネルギー・フィルタリングが適用される。ガラス化され 切片化された材料上のクリオTEMでは、染色が施されず、高解像度情報を得る ために利用できるのは弱い位相コントラストだけである。しかし、このコントラ ストは、コヒーレント空間情報を提供せず、特定の撮影条件(レンズ収差、照明 、およびディフォーカシング)の伝達関数に従って正のコントラストで空間周波 数の画像部分を提示し負のコントラストでその他の部分を提示する。位相コント ラスト伝達関数は、特定の強度特性を各空間周波数に関係付ける。TEMコント ラストのこの固有の強度特性は、本出願に記載され、生データの既存の特定の各 空間周波数の分離および撮影に使用される処理技法によって求めることができる 。位相コントラストが高められたデータ・セットを生成するためにエネルギー・ フィルタリングを適用する場合でも、同じエネルキー範囲を有する他の信号成分 が含められ、大きなバックグラウンド信号(本明細書で分かるように総信号の最 大80%)を生成する。強度スライシングを介して強度バックグラウンドを低減 することによって、データの空間特性が維持され、ある種の空間周波数が増大さ れた位相コントラストが高められた画像が生成される。この撮影技法は、高解像 度クリオTEMでは、冷凍水和された生体材料上の位相コントラストで特に重要 である。リンゴの葉の冷凍水和済み非染色凍結切片の最初の低線量エネルギー・ フィルタリング済みTEM生データセット(25000倍計器倍率)により、大 きなバックグラウンド信号によって示される不均一なコントラスト分布が得られ た(第14A図)。強度範囲(IR=0ないし232)の大部分は、大きな画像 微細形状の散乱コントラストで占有された。小さな構造詳細は、低位相コントラ ストを有し、ほとんど目に見えず、雑音中に埋め込まれた。コントラストがない ので、画質評価は困難であった。ヒストグラム等化による従来型のコントラスト 拡張では、コントラスト画質は向上しなかった。なぜなら、それによって、他の すべての強度変動も非空間的に拡張され、詳細成分が分解し、あるいは強度詳細 が失われ、すなわち、特に不適切な強度レベルのビンに合計して入れたある種の 強 度値が失われるからである。 いくつかの異なる連続強度スライス中で異なる空間位相コントラスト成分を増 大させ、強度プロファイルのコヒーレンスを証明し、新規の画像情報処理技法を 検証した。対話型視覚制御によって、雑音の低減および微細構造詳細の維持が最 適化される有意強度レベルを求めるのが容易になった。雑音成分のすぐ下の強度 スライシング(IRs=25ないし35)によって、最小空間位相コントラスト 成分が得られ(第14B図)、連続スライシング(IRs=35ないし45)に よって、より大きな空間位相コントラスト成分が抽出された(第14C図)。最 後に、このデータセットの最大空間周波数が、強度プロファイルのかなり深い部 分(IRs=55ないし75)に埋め込まれることが判明した。この成分には、 氷の結晶の汚染と共に(凍結切片化によって発生する)ナイフ・マークが含まれ ていた。位相コントラストまたはその様々な成分を分離すると、試料の超微細構 造を再構築するのが容易になるであろう。 (b)高電圧TEM(HVTEM) 高電圧顕微鏡検査は、高解像度を与えるが、画像コントラストが低減されるた めに制限される。したがって、暗視野顕微鏡検査を使用してある種の低コントラ スト成分を回復することが多い。そのような高精度データ中の収集される微細構 造情報の範囲は不明であったが、強度スライシングを介して推定することができ る。表面活性剤を塗布された無機血小板の300kV TEM画像(暗視野照明 で60000倍)では、薄層間のいくつかのより暗い領域(薄層間に形成された 厚さ5nmないし10nmの表面活性剤二重層の穴)で見られる小数の微細構造 詳細(第15A図、2倍ズーム)が得られる。狭い強度スライス(IRs=3な いし15)では、薄層間と薄層の頂部(表面活性剤単層)で表面活性剤二重層に よって生成されるすべてのコントラストが雑音成分の下方に得られた。大部分の 強度データは、無機薄層および信号バックグラウンドからの散乱コントラストで 占有された。肉眼では見えなかったが、高電圧TEMによって得られる非常に高 い 精度が、生データ中に存在していた。この結果によって、このような高価な研究 ツールの応用が大幅に向上するであろう。 (c)高解像度TEM(HRTEM) 最高の原子解像度は、非常に薄い試料に対する非常に高い加速電圧での高電圧 TEMで達成することができる。しかし、位相コントラストと散乱コントラスト が常に重なり合い、所望の高解像度情報を不明瞭にする。5000000倍の倍 率での蒸着金アイランド試料では、支持体と共に金の原子が撮影されたが、サン プルの質量非均一性のために不明瞭であった(第16A図)。位相コントラスト の強度スライシング(IRs=3ないし35)では、サンプルの原子超微細構造 のコヒーレント画像が得られた(第16B図)。ディジタル・ズーム(インサー ト:4倍)によって、画質の最初の評価が容易になった。最高の精度の空間デー タ出力を得るには、このデータを再構成する必要がある。 3.走査透過電子顕微鏡検査画像 走査透過電子顕微鏡は、超高分解能機能を有し、フィールド深度が高く、試料 の要件が限られているため、研究開発において重要な計器である。しかし、この 計器の撮影機能は、高精度ショート・レンジ・コントラストとその強度バックグ ラウンドの比率のために他の顕微鏡検査と同様に限られている。 (a)走査透過電子顕微鏡検査(STEM) 低Z−マトリックスの高Z金属の小さな(数nm)粒子のSTEMデータ(倍 率2300000倍)(第17A図:2倍ズーム)の分析は、サンプルの厚さが 不均一であるために制限された(バックグラウンド信号が生成された)。高精度 コントラスト情報は、狭い強度スライス(IRs=5ないし35)に見られた。 拡張データでは、すべての粒子が存在し、粒子の数量化が容易であった。強度バ ックグランドは、サンプルのより厚い部分での広範囲な電子散乱によって生成さ れた。しかし、従来型のバックグラウンド強度補償は、粒子の差分コントラスト を維持するうえで有効ではなかった。粒子の差分コントラストを画像全体にわた っ て(ひずみなしで)均一に高く表すことができるのは、本出願に記載された強度 スライシングだけである。 4.走査プローブ顕微鏡検査画像 新規の走査プローブ顕微鏡では、すべての試料から高精度データが得られるこ とが約束されたが、実際の応用例では、予期される精度レベルでのコントラスト がなくなるため、走査プローブ顕微鏡の使用法は限られている。実際には、この 顕微鏡の精度は、表面顕微鏡として利用できるものとしては最高であり、1オン グストロームの数分の1の単位での測定が可能であるが、そのようなショートレ ンジ・コントラスト情報は、通常の応用例に存在する粗表面の画像では肉眼で見 えない。 (a)アトミック・フォース顕微鏡(AFM) 典型的なデータセットは、テフロン表面上の20nmの小さく平坦な粒子で形 成されたポリマー・コーティング・フィルムによって提供される(800000 倍)(第18A図:2倍ズーム)。生データでは膜表面の高さ数オングストロー ムの超微細構造はほとんど認識できなかった。AFMコントラストは、画像成分 の高さに比例するので、フィルム表面全体を覆う粒子下部構造コントラストは、 数強度レベルに圧縮された。雑音の下方の強度スライシング(IRs=7ないし 13)によって、小さな高精度コントラスドがわずか17強度レベル以内で得ら れ、予期されるAFM画質を適切に表す詳細な画像が生成された。 5.光顕微鏡画像 光顕微鏡コントラストには常に、非均一サンプル中で散乱する光から導かれる 大きなバックグラウンド成分が含まれた。共焦LMを介してバックグラウンドを 制限するこのコントラストの低減方法を導入した。しかし、CFLMデータでも 、雑音が全体的に制限され、ショート・レンジ・コントラストの強度範囲が小さ い。 (a)光顕微鏡(LM) 水中にぶら下げられた紙繊維の中間倍率(400倍)での明視野画像は、吸着 コントラストによって支配され、光学特性の結果として得られるショート・レン ジ・コントラストは、ほとんど見えなかった(第19A図)。この高精度情報の コントラスト拡張は、完全な強度範囲(IRs=7ないし23)の10%での雑 音成分の下方の簡単な強度スライスによって容易に達成された。この処理を介し て、すべての予期される屈折コントラスト、回折コントラスト、および偏光コン トラストが見えるようになった(第19B図)。ただし、この精度情報はある種 の環境でしか得られないと思われる。 (6)共焦レーザ光顕微鏡検査(CFLM) 共焦レーザ光撮影技法は、サンプルによる光散乱から生成される信号バックグ ラウンドを低減することを目的とするものである。しかし、CFLMデータでは 低信号イールドおよび高雑音レベルが特徴的である。他の顕微鏡検査データの場 合と同様に、雑音管理は、重要であり、強度スライシングを介して容易にするこ とができる。というのは、無作為情報および作為(構造)情報を容易に視覚的に 認識し評価することができるからである。生きている光摂受体細胞に蛍光脂質色 素を注入した画像では詳細はほとんど得られなかった(第20A図)。画像雑音 成分の範囲、すなわち、第20B図の上部雑音成分(IRs=1ないし17)お よび第20C図の中間雑音成分(IRs=17ないし37)は、いくつかの強度 スライスによって迅速に求められた。すべての構造データ(第20D図)は、わ ずか15強度レベル以内で(IRs=57ないし72)大きな雑音成分(IRs= 1ないし57:22%IR)の下方に存在した。データ・スライスは、強度プロ ファイルをスライシングして無作為情報と作為情報の比率を各スライスで評価す ることによって容易に求められた。雑音成分を「見つけて」その雑音成分の微細 構造データへの浸透度を評価する能力は顕微鏡検査では最も重要である。なぜな ら、それによって、詳細情報の喪失を最小限に抑えて雑音と構造情報を分離する 実際的な強度しきい値を視覚的に推定できるからである。 D.医療撮影 医療画像データの評価に関するディジタル画像拡張には特別な関心が抱かれて いる。X線技師は、写真フィルム上に写し出された像の視覚的評価に関して十分 に訓練されているが、詳細およびパターンの認識および評価は、個々の視覚能力 と、視覚限界を超える過度のデータのために制限される。新規のディジタル医療 画像センサは、12ビットまたは16ビット・レベルおよびフィルムよりも高い 解像度で画像を得る。新規のディジタル・マンモグラムは、10Kx12Kx1 2ビット−データを提供する(PrimeX、カリフォルニア州Carisba d)。獲得時の精度レベルでのそのような大きなデータの視覚的評価は不可能で あり、それにはディジタル画像処理技法が必要である。前述の強度スライシング 技法では、精度を損なわずにデータ情報を評価する方法しか与えられない。下記 の2つの例はフィルムからディジタル化されたものである。 1.マンモグラフイ マンモグラム評価では、乳腺の組織構造が評価される。腫瘍成長パターンの2 つの段階を区別することができる。1.初期徴候は、腺管の広がりと、小さく高 いコントラスト堆積物群から成る微石灰化に見られる。2.後期の徴候は、高い コントラストの丸い領域中の組織塊の成長(密度の高い細胞蓄積による水分含有 量の増加)に見られる。構造診断基準は、画像詳細の2つの基本画像情報クラス 、すなわち空間詳細(繊維および微石灰化に見られる最小のコントラスト変動) および強度詳細(組織成分および変質部に見られる広範囲のコントラスト)に分 類される。マンモグラフ評価の問題は、過度の組織密度とそれに付随するコント ラストの重なり合いから発生する。ディジタルPAIP画像情報拡張によって密 度の高いマンモグラム(第21A図)を評価した。最初の生データ画像では詳細 はほとんど見えなかった。前のデータセットの場合と同様に、わずか12%の小 さな有意強度範囲以内ですべての詳細情報が撮影された。ライト・テーブルでの X線フィルムの通常のスクリーニングでは、アナログ画像評価を1.5分よりも 短い時間内に完了しなければならない。複合詳細画像(第21B図:IRs=1 ない し21)によって、空間詳細(第21C図:1ないし11)と強度詳細(第21 D図:IRs=11ないし21)の2つの詳細情報を共に補正することができた 。空間詳細画像では、組織繊維と個別微石灰化群を容易に認識することができた (第21C図:円)。他の高強度詳細は、容易に識別できる繊維成分を重ね合わ せることによって得られる。強度詳細画像では、脂肪の堆積を示すコントラスト の低い腺管および丸い領域(水分の含有量が少ない)が得られた。ほぼすべての 腺管は、その出発点(乳頭)までたどることができる。いくつかの管は、幅が大 幅に増加していることが判明した(第21D図:円)。 しかし、従来型のマンモグラフでは、構造的重なり合いのために詳細情報にア クセスすることはできない。この減少は、立体三次元(3−D)撮影を介して軽 減することができる。新規の高感度ディジタル・マンモグラム・センサでは、過 度のX線被爆の可能性をそれほど増大させずに、修正された画角(立体角度4° ないし6°)で2回の組織照射を行うことができる。本発明のPAIPフィルタ は、拡張され拡大された画像詳細の立体撮影を行うことができるように完全に装 備されている。本発明のPAIPフィルタは、組織詳細の画像を高コントラスト および高エッジ鮮鋭度で生成するので、立体画像に理想的なほど適している。 PAIPによる空間詳細および強度詳細の評価は、自動グリッド探索モードで 倍率4倍で1分未満しかかからない。この評価は、画像情報が最適な形で視覚的 に提供されるので、(ルーペの助けを得る)アナログ画像評価よりもずっと目が 疲れない。すべての詳細情報を容易に認識することができるので、データの解釈 はもはや、データに視覚的にアクセスできないことによる制限は受けず、データ 品質または調査者の診断経験の制限しか受けない。この診断経験の制限は現在、 電子ネットワークを介する画像通信によって補足することができる。 2.胸部X線 多数の医療データセットには、画像強度帯域幅の大部分を占有し、画像詳細の コントラストの余地をほとんど残さない大きな主画像微細形状が含まれる。これ は、骨と組織を共に撮影する胸部およびその他のX線で特にそうである。局部コ ントラストは、画像強度範囲の数パーセント以内に制限される。本発明によるP AIP画像拡張では、予期されるすべての局部コントラスドが生成され収集され たが、詳細情報コントラストはバックグラウンド・コントラストの範囲に反比例 して圧縮された。また、局部の小さな強度変動の視覚認識は、大きな強度変動の 近くでは困難であった。 PAIP画像拡張により、微細形状強度範囲を対話的に低減させ、同時に処理 効果を視覚的に評価することによって、詳細強度情報と微細形状強度範囲の比率 を調整する容易で迅速な手順が与えられた。胸部X線画像(第22A図)は、完 全な強度範囲を占有し、有意強度範囲がわずか5%の詳細コントラストの余地を ほとんど残さなかった。詳細コントラストは、柔らかい組織バックグラウンド内 では部分的にしか認識できず、X線の高強度領域および低強度領域にはまったく 存在しなかった。有意強度範囲を段階的に減少させることによる詳細拡張によっ て、微細形状強度範囲が減少し、これに反比例して詳細コントラストが増加した 。90%を超える低減(第22B図:IRs=1ないし10)では、依然として 主要微細形状コントラストが維持されたが、画像全体内のずっと小さな詳細コン トラストが肉眼で分かる程度に増加した。有意強度範囲をさらに画像強度範囲全 体の5%に減少させることによって最終的に、局部コントラストが支配的になっ た(第22C図:IRs=1ないし5)。影響を受けやすい小さなX線吸着コン トラストを視覚化した後、画質が大幅に変化した。1%有意強度レベルの高強度 領域では、主として雑音が撮影された(第22D図:IRs=1ないし3)が、 最も微細な空間詳細は黒い領域に維持された。そのような典型的な非線形雑音成 分は、非線形拡張を使用する処理を介して容易に減少させることができる。 E.ディジタル画像情報の数量化 定義済みコントラスト・クラスのPAIPを介して任意の実物および内容のデ ィジタル画像を定義することと、このようなクラスを数量化することによって、 画質数量化のユニークで新規のツールが提供される。4つの強度情報クラスは、 画像上(x座標およびy座標)の相対有意強度(x座標)を示す情報キューブ( 第23図)で体系的に表すことができる。各情報クラスは、簡単な三次元強度プ ロファイルによって提示され、PAIP処理によるアクセス順に相互に積み重ね られる。すなわち、1番上が画像の雑音であり、その後に空間詳細、強度詳細が 続き、1番下は画像微細形状バックグラウンドである。画像微細形状バックグラ ウンドは、その空間情報が限られ(明るいグレー)、あるいは存在しない(バッ クグラウンド:暗いグレー)場合は陰影付けされる。第23図に、第8ないし2 0図に示したいくつかの顕微鏡検査データセットの情報キューブが提示されてい る。追加情報として、情報クラスが左垂直軸に沿った記号でラベル付けされ、デ ータセットの総強度範囲(IR)が左下隅に示され、各情報クラスのファイル名 および比率範囲が、その情報クラスがデータ中で現れる箇所に順次与えられてい る。各画像がその情報成分の個々の比率を示すが、微細形状成分の比率が最大相 対有意範囲の50%よりも多いときには視覚的に知覚できる「画質」の低減がす べての画像に共通することは明白である。第23図で、データは画質の低減に応 じて並べられている。画質推定の他の応用例は、獲得時の画像評価に見られる。 これは、絶えず変動するコントラスト条件と顕微鏡検査時の試料の劣化によって 視覚的データ評価が抑制される顕微鏡検査では重要である。第23図の1番下に 、低画質データの獲得と、それに続く顕微鏡パラメータの調整を介する画質の向 上に関する2つの画像データ特性が示されている。雑音成分の寸法はほぼ変化し なかったが、空間詳細と強度詳細の比率は係数4ないし10と大幅に変化し、両 方の画像情報成分に異なる影響を与えた。この例は、強度処理特性、精度、客観 性、およびオートメーション機能のためにすべての可能なディジタル・イメージ 応用例に適用できる本発明の新規のディジタル画像処理技法の能力を示すもので ある。 他の実施例によれば、画像詳細コントラストの拡張は、差分ヒステリシス・パ ターンをディジタル画像に追加することによって行われる。前述の差分ヒステリ シス画像処理は、データの減少および画像詳細コントラスト拡張の手段として強 度変動の持続(すなわち、ヒステリシス)を使用する。画像ヒステリシスは、対 話的に選択されたヒステリシス範囲のヒステリシス・カーソルによって求められ る。カーソルは、画像を1画素ずつ進み、隣接する画素間の強度変動を評価する 。カーソルの強度位置は、差分強度値が範囲内に収まったときは維持されるが、 値が範囲外であるときはデータに従う。処理は、様々な角度の連続線上で二方向 に進み、各画素中のカーソル位置の平均値によってヒステリシス画像が生成され る。ヒステリシス画像は、維持される入力データのヒステリシスなし領域と、修 正済み入力データの連続的に合体されたヒステリシス領域とを含み、そのため、 入力強度変動が局部ヒステリシス値で置換され、あるいは、入力強度変動の強度 範囲が、局部ヒステリシス特性に比例して、最大でヒステリシス範囲の2分の1 だけ減少する。画像は、すべての残りのコントラスト成分の空間位置と共に完全 な一体性を維持する。このような特性のために、入力画像からヒステリシス画像 を減じ、あるいは、それぞれ異なるヒステリシス範囲で処理された2つのヒステ リシス画像どうしを減算することによるヒステリシス処理によって加えられた強 度変動をアーティファクトなしで回復することができる。 重要なこととして、結果的に得られる差分画像を完全な表示強度範囲にスケー リングすることにより、固有の特性を有する差分ヒステリシス画像が生成され、 すなわち、そのような範囲は、追加特性の視覚的に離散的な差分強度パターンを 表す。実物にはかかわらず、データ、たとえば、CCD(充電結合装置)ビデオ ・ポートレート画像、たとえば14ビット範囲でデータを提供するアトミック・ フォース顕微鏡検査画像、たとえば11ビット範囲でデータを提供するCT画像 (コンピユータ化断層撮影法)、たとえば12ビット範囲でデータを提供するラ ジオグラムなどに存在するすべてのコントラスト情報を表す、限られた数の基本 視覚パターンのみを大部分の画像から抽出することができる。 最大コントラスト解像度の大部分の計器密度情報は、データの強度範囲の一部 にしか存在せず、少なすぎて視覚的に認識できないことが多い。この関連情報は 、異なる拡張画像として目に見えるようにすることも、あるいは、抽出された差 分ヒステリシス・パターン成分を最初の画像に追加することによって最初の画像 内でコントラスト拡張することもできる。この拡張では、撮影計器の画像解像度 を大幅に向上し、画像評価時の最大効果が保証された。本発明は、初めて、かつ ディジタル画像処理またはコンピュータ動作の特殊知識を必要とせずに、1つの パラメータ(すなわち、差分ヒステリシス範囲)しか使用せずに最大センサ解像 度を含め画像分解能のレベルにリアルタイムで客観的・網羅的かつ視覚的にアク セスするための対話型方法を提供する。重要なこととして、このプロセスでは、 目でなく画像センサの解像度レベルで画像を視覚化し、「視覚認識レベル」を撮 影装置獲得レベルに拡張することができる。 現行の撮影センサは、10ビットないし16ビット範囲(すなわち、1024 レベルないし65536レベル)でデータを提供するが、視覚システム(すなわ ち、人間の目)はそのデータの一部しか「見る」ことができない。というのは、 視覚システムは、「知覚」がほぼ8ビット範囲(すなわち、256強度レベル) に限られ、パターン「認識」が4ビットないし5ビット範囲(すなわち、16強 度レベルないし32強度レベル)に限られるからである。このように視覚画像の 情報内容が限られているので、センサ情報の知覚不能または認識不能な部分を認 識可能な画像として変換する一般的な機構を見つけるディジタル画像処理が必要 である。すなわち、完全な視覚知覚範囲にわたって広がる限られた数の強度刻み を画像データ詳細パターンに提供すべきである。 たとえば、高精度顕微鏡は、 アトミック・フォース顕微鏡(AFM)で分かるように、人間の目が受け入れら れるよりもずっと多くの画像データ(たとえば、12ビットないし16ビット範 囲)をディジタル的に得て、データ提示は、空間解像度でもコントラスト解像度 でもなく限定要因となる。同様な問題は、センサによって得られる他の画像、た とえば、医療撮影、衛星データ、非破壊試験でも経験される。したがって、次元 が多Kバイトで深さが16ビットである大きなデータセットは、非常に短い時間 でかつ過酷な精度で視覚的に分析する必要がある。 センサと視覚解像度の間のギャップが周知であり、当技術分野で、データの低 減が画像の空間情報のレベルで広く追求されていることが理解されよう。しかし 、画像が複雑で多様であるために、従来型の画像処理では、複雑な適応近隣処理 を空間領域での一定サイズのマスクまたはフーリエ領域でのフィルタと共に使用 して、処理パラメータまたはフィルタを空間画像内容に一致させなければならな い。この種の画像拡張では、処理点から、マスクが広くなるにつれてデータ内へ 入り込む重大なアーティファクトが作成される。そのようなアーティファクトを 低減するために、処理パラメータはコントラストおよび空間情報の二重性を維持 しなければならない。なぜなら、いずれも他方なしでは視覚化できないからであ る。 空間情報は、局部バックグラウンドに対する強度変動として提示され、そのよ うな画像成分を介する線走査で見ることができる。目には、制約なしに視覚化で きる高コントラストの大きな画像微細形状だけでなく、小さな低いコントラスト 成分を認識する感度もない。画像詳細成分には、低コントラストの小さな構造成 分、すなわち空間詳細と、高コントラストの大きな成分、すなわち強度詳細を含 めることができる。2つの詳細成分は共に、画像拡張によって維持することが好 ましい。このような制限を克服する1つの手法は、局部空間成分ではなく局部強 度成分を処理することである。強度変動は、強度処理によってアクセスすること ができ、従来型の空間画像処理の代替策を提供するヒステリシス特性によって特 徴付けることができる。ヒステリシス処理は、線形スペクトル・データに使用さ れており、その場合、近隣画素間の強度変動が、可動「一次元」カーソルを使用 して画素強度値を順次読み取る簡単な2進ヒステリシス評価によって比較され、 すなわち、連続読取り間の強度差が所与のヒステリシス範囲に収まるかどうかが 判定された。Ledley RS, Rotolo LS,Golab TJ,Jacobson JD,Ginsberg MD, Wilson JB著“FIDAC:Film input to digital automatic computer and associ ated syntax-directed pattern-recognition programming systems,Optical and Electro-Optical Information Processing ”(1965年、Tippett JT編、MIT Press、マサチューセッツ州、5 91ページないし613ページ)を参照されたい。信号画素用の二次元近隣推定 は、前述のように周囲の各画素ヒステリシス応答の放射処理判定によって実行す ることができる。ヒステリシス領域は、事前に選択されたヒステリシス範囲(す なわちカーソル範囲)内に収まり、除去されない強度変動によって画定され、所 与の範囲の外部にある他の強度変動領域は、局部ヒステリシス応答に比例して維 持される。したがって、特定のデータのヒステリシス特性によって、両方の領域 が連続ヒステリシス画像として合体される。ヒステリシス画像は、容易に認識で きる大きな強度変動しか維持しないので視覚的にはそれほど有効ではない。しか し、ヒステリシス画像の固有の特性を使用して、最初の画像データ(単体ヒステ リシスのヒステリシス画像を表すとみなすことができる)を含み、単一の処理パ ラメータ、すなわち差分ヒステリシス範囲によってのみ特徴付けられるヒステリ シス画像間の差を視覚化することができる。差分ヒステリシス画像は、完全な視 覚的知覚範囲にスケーリングされるが、空間詳細と強度詳細を共に含み、したが って、画像詳細拡張用の効率的なツールを提供する。 第24図を参照すると分かるように、ヒステリシス・ライン処理によって、事 前に選択された範囲(すなわち、ヒステリシス・カーソル範囲)を有するヒステ リシス・カーソルを使用してライン中の画像データが読み取られる。カーソルは 、ラインに沿って1画素ずつ移動され、その間に、カーソルの中点が出力データ として読み取られる。カーソルは、次の画素値が現カーソル値の外側にある場合 はカーソルの一端によって入力データに従い、次の画素値がカーソル値の内側に ある場合はそのまま変化しない。カーソルは、その中点を入力データ点に位置決 めすることによってラインの読取りを開始する。ヒステリシスの方向ラグは、入 力ラインに2度目の逆方向の処理を施し、次いで、両方のカーソル出力値を処理 し 最終ヒステリシス・ラインを生成することによって補償される。このヒステリシ ス・ラインは、ヒステリシス画像処理に必須のいくつかの重要な特性を有する。 すなわち、(1)ヒステリシス範囲よりも小さな強度変動が削除され、最後に読 み取られたヒステリシスのないデータ点を表すヒステリシス値で置換され、その 結果、ヒステリシス値は、従来型の平均フィルタ値または中央フィルタ値とは異 なる特性を有する。というのは、これによって、出力データ値が、置換されたデ ータ部分ではなく、維持されたデータ部分に関係付けられるからである。(2) カーソル範囲よりも大きな入力データ最大値および最小値の強度は、その特定の 強度値あるいは高さまたは深さとは独立に一様にカーソル範囲の2分の1だけ減 少され、カーソル範囲よりも小さな強度変動は、局部ヒステリシス特性に比例し て低減される。(3)ヒステリシス・ラインの各部は、維持される入力データで あり、そのため、これらのデータ点は、ヒステリシス処理によって修正されたデ ータ領域どうしを結合する。(4)方向ヒステリシス処理は、カーソル移動の順 方向で、カーソル範囲よりも大きな強度プロファイルの1番上と1番下にストリ ークを生成する。このストリークは、減少された強度最大値および最小値と入力 データ点の間に線形平均遷移をもたらすので重要である。 連続的に読み取られる各ラインは、読取り方向に沿った一次元近隣のみを反映 するライン自体の特定のヒステリシス特性を有する。1組のヒステリシス・ライ ンから成る画像では、ヒステリシス特性のために読取り方向に縞条パターンが生 成される。各画素の二次元近隣を確認するには、放射処理が好ましい。 この2ステップ処理は、画像境界以外の空間制限なしですべての方向で、近隣 画素のラインに沿って進み、各画素ごとに、その局部環境のヒステリシス特性を 平均する。選択された強度範囲のヒステリシス・カーソル(すなわち、ヒステリ シス・カーソル範囲)は、次の画素の強度値が現カーソルのエンドポイント値の 外側にある場合はカーソルの一端によって入力データに従う。カーソルの中点は 、出力データを与える(すなわち、第24図中の実線の出力データ)。次の画素 の 強度がカーソルの実際の端点値の内側にある場合(第24図の陰影線の出力)、 カーソル出力値はそのまま変化しない。各ラインは、両方向で読み取られ、数学 的平均によって最終ヒステリシス・ラインが与えられる。このヒステリシス・ラ インは、入力値の未変更の強度変更(たとえば、両方向で読み取られたとき)、 低減された強度変動(たとえば、1方向でのみ読み取られたとき)、または削除 された変動(たとえば、どちらの方向でも読み取られなかったとき)を表すセグ メントを含む。維持される入力強度の空間位置と、低減された強度のピークおよ び谷の空問位置は変更されず、そのため、ヒステリシス処理の高精度または「画 素精度」がもたらされる。 第25図を参照すると、前述のような放射ヒステリシス・ラインが、多数の方 向に形成され、各画素で数学的に平均されている。この処理では、最終ヒステリ シス画像を生成するのに2分の1サイクル当たり100ないし200個以上の異 なる角度が必要である。データセット内では、ヒステリシス・ラインは、多数の 方向に生成され、次いで各画素で平均される。このために、入力ラインの読取り 方向は、2分の1サイクル内で対称的に変更され、新しい各方向ごとに、完全な 新規のデータセットが形成され、前のヒステリシス処理済みデータと共に平均さ れる。この結果得られる平均データは、ヒステリシス画像を表す。ヒステリシス 画像でフレームを完全に表示する場合、4つないし8つの読取り方向(すなわち 、各読取り方向間に45°ないし22.5°のオフセット角度)だけで、認識で きる場合は局部ヒステリシス補正がなされていないことを示す大きなヒステリシ ス・ストリーキングを抑制することができる。読取り方向の数が少ないとき、ス トリークが観測されるのは、大きなヒステリシス・カーソル範囲(たとえば、> データの強度範囲の−5%)を使用し、あるいは、高コントラスト画像成分を処 理し、あるいは、ヒステリシスが、平均に含めた面積よりもずっと広い面積にわ たって持続すると仮定して画像境界を検討したときである。ある画素の近隣がそ の画素の位置から離れれば離れるほど、多くのヒステリシス・ライン角度がヒス テ リシス平均に必要となる。100ないし200以上の方向の大規模な処理を施す と、ストリーキングを非妨害レベルまで低減することができる。そのような大規 模な処理を施されたヒステリシス画像は、画像の内容、カーソル範囲、および画 像の境界、寸法、または深さに対する依存をもはや示さないような精度を有する 。この精度レベルは、本発明のサブコントラクトヒステリシス撮影にとって重要 である。 第26図を参照すると、高精度ヒステリシス画像は、空間位置および強度特性 を維持するが、個別の最大強度範囲をカーソル範囲の2分の1だけ減少させるこ とによって、ヒステリシス・ラインのすべての特性、すなわち、ヒステリシス範 囲よりも大きな維持された強度成分の「画素精度」を維持している。また、ヒス テリシス範囲よりも小さな削除される強度成分は、境界維持データによって決定 されるベース強度レベルで置換される(第26図の“a”を参照されたい)。差 分ヒステリシス処理は、ヒステリシス画像を入力画像から減じることによって、 ヒステリシス画像処理の後になくなった強度成分を回復する。最初の画像(すな わち、生データ)は、1に等しいヒステリシス・カーソル範囲(すなわち、1番 上の値および1番下の値と読取り点が、すべて1である)のヒステリシス画像と して解釈されるので、差分画像は、両方のヒステリシス範囲の1番下の値に等し い差分ヒステリシス範囲で処理されたものと記述することができる。その場合、 差分画像は、差分ヒステリシス範囲に等しい最大強度範囲を有し、ヒステリシス 画像処理によって最初の画像から削除されたすべての強度成分を含む。これには 、差分ヒステリシス範囲の1番上の値よりも大きな最初の画像のすべての小強度 成分と、差分ヒステリシス範囲の1番下の値よりも小さなすべての最初の大強度 成分の表現が含まれる。さらに重要なこととして、差分画像には、差分ヒステリ シス範囲に含める限り強度詳細だけでなく空間詳細を含めることができる(第2 6図の“a”を参照されたい)。差分画像の限られた強度範囲のために、8ビッ ト範囲へのスケーリングを行い、最終ヒステリシス画像を生成することができる 。 一般に、この画像は、平衡コントラスト範囲を有するので、さらに画像処理を施 す必要はない。 ヒステリシス処理では、差分ヒステリシス範囲値が減少されるので、差分画像 の強度範囲が縮小され、スケーリング済みヒステリシス画像中の情報内容のコン トラスト拡張がより強力になる(第26図の“b”を参照されたい)。より小さ な差分ヒステリシス範囲では、より大きな強度範囲の画像成分が削除される。両 方の詳細成分が存在する(すなわち、強度詳細と、強度詳細よりも小さな強度範 囲の空間詳細)画像中のある最小差分ヒステリシス範囲では、強度詳細は、ヒス テリシス画像に維持されるので差分ヒステリシス画像から削除される。このパタ ーン抽出は、定義された最小強度変動および最大強度変動の差分ヒステリシス・ パターンを最初の画像から分離できるので、強力な新規のデータ低減方法を提供 する。差分ヒステリシス範囲の1番上の値に空間詳細がなく、1番下の値が強度 詳細を含む場合、強度詳細を抽出して画像を離散差分ヒステリシス画像として8 ビット範囲にスケーリングすることができる(第26図の“c”を参照されたい )。したがって、差分ヒステリシス撮影では、所与の最大・最小範囲のコントラ スト・レベルを差分ヒステリシス・パターンとして抽出し表示することができる ことが理解されよう。 ヒステリシス画像(第26図)の特定の「画素精度」のために、ヒステリシス 処理によって画像(最初の画像またはヒステリシス画像)から削除された強度変 動を回復することができる。ヒステリシス画像を最初の画像から減じると、ヒス テリシス画像を生成するために使用されたヒステリシス・カーソル範囲に等しい 強度範囲の差分画像が生成される。差分画像の強度範囲は縮小されているので、 差分画像を完全な強度範囲に線形的にスケーリングし、詳細、すなわち、適用す るヒステリシス範囲に応じて空間詳細および強度詳細のすべてのコントラストを それに比例して高めることができる。ヒステリシス範囲よりも大きなコントラス トの画像微細形状は、最大カーソル範囲に等しいコントラストでのみ維持され、 したがって、差分画像では、減少されたコントラスト寄与率で撮影される。ヒス テリシス・カーソル範囲を縮小すると、カーソル範囲よりも小さな強度変動のコ ントラスト拡張が強化される。このように、最小空間ヒステリシス詳細を最初の 画像から抽出することができる。それそれ、異なるヒステリシス範囲で処理され た、2つのヒステリシス画像間で差分ヒステリシス画像を形成することもできる 。より小さなヒステリシス範囲よりも大きく、より大きなヒステリシス範囲より も小さなコントラストの最初の画像成分は、抽出され、差分ヒステリシス範囲に 比例してコントラスト拡張される。このように、ヒステリシス・パターンを最初 の画像から抽出し、離散画像、すなわち、強度ヒステリシス詳細成分として表示 することができる。重要なこととして、ヒステリシス・パターンは、離散・アデ ィティブ特性のものなのでデータ分析用の強力なツールである。 第27AないしF図を参照すると分かるように、画像拡張の客観的視覚評価は 、知覚および認識の主観性と、画像内容に対する慣れのために制限される。差分 ヒステリシス撮影プロセスについて説明するために、共通の視覚パターン、たと えば、人間の顔を使用することによって、このような制限を考慮に入れる。CC Dカメラで1024x1024x8ビット解像度でポートレート画像を得た。2 56強度刻み範囲全体にわたって入力強度および出力強度はほぼ線形であった。 一般的な画像パターンは見慣れたものであり、画像詳細はやや見慣れないもので あるが、画像詳細を客観的かつ定量的にアクセスし提示することができた。 生画像(raw image)(第27A図)は、8ビット強度範囲のビデオ・ポートレ ート(1024画素x1024画素)を表すものであり、これには、ある種の飽 和ハイ・ライトが含まれていた(すなわち、白い領域)。第27B図は、1強度 刻み(すなわち、生データ画像)ないし9強度刻み(DHR1ないし9で示され る)の差分ヒステリシス範囲内の最小強度変動が、ヒステリシス雑音パターンを 表すものであったことを示す。大部分の画像は、ある種の作為成分(たとえば、 非線形雑音の場合)を含むことができる構造的に無作為のパターンとしてヒステ リシ ス雑音成分を示す。第27C図は、ヒステリシス値を増加させることによる連続 差分ヒステリシス分析によって、空間ヒステリシス詳細パターンが得られること を示す。この成分は、視覚的に有用なコヒーレント画像を生成する最小作為コン トラストを表すものであった。一般に、すべての画像データで、この成分には、 コントラスト解像度のレベルでの撮影システムの高精度コントラストが含まれて いた。このパターンは、最小空間画像成分を表す短い距離にわたってのみ延びる ことが多かった。この特定の画像では、顔および衣服上の光の吸収および反射の 小さな変動において見られた。第27D図は、ヒステリシス詳細パターンの下方 に、より大きなコントラストのパターン、すなわち、強度ヒステリシス詳細パタ ーンが存在したことを示す。このパターンは、空間詳細よりも大きな面積にわた って延びるコントラストを表すことが多かった。このデータセットでは、この成 分は、方向照明と顔の特徴からの陰影を表すものであった。第27E図は、最大 コントラストがしばしば、画像の主要な構造微細形状を表すものであったことを 示す。このヒステリシス画像微細形状パターンは、ヒステリシス詳細データには 存在しなかった。このパターンにはこの場合、主要な構成ポートレート成分が含 まれていた。第27F図は、ヒステリシス・パターン自体が生データ中で見つけ られたとき、およびその結果得られた複合ヒステリシス・パターンが、最初の画 像(第27A図)と区別できる画像を生成したときの比率で合計されたすべての ヒステリシス・パターンを示す。離散差分ヒステリシス・パターンのアディティ ブ特性によって、すべての利用可能なデータ情報を拡張画像として客観的に視覚 表示するための基礎が与えられた。 第28AないしD図を参照すると分かるように、高精度詳細情報の8ビット・ ビデオ画像でのサブヒステリシス拡張表示は、前に抽出された差分ヒステリシス ・パターンを画像に追加することによって生成される。第28A図は、第27A 図と同じものであり、最初の画像には、CCDカメラがその高感度および高解像 度のために捕捉したが、最終画像ではコントラスト範囲のために視覚認識限界以 下である多数の画像詳細が写らないことを示す。第28B図は、画像データに存 在するすべての差分システム詳細(DHR9ないし65、9強度刻みないし65 強度刻みの差分ヒステリシス範囲)が、ヒステリシス詳細パターンの一部を最初 の画像(第28A図)に追加することによって視覚的に拡張されたことを示す。 しかし、この場合も、最小高精度コントラストは容易には見えなかった。選択さ れたコントラスト拡張詳細パターンを最初の画像に追加してさらに増幅を施す必 要があった。第28C図は、明確に認識できるような比率(すなわち、40%) で、選択された強度ヒステリシス詳細(縮小されたDHR35ないし37によっ てコントラスト拡張したもの、すなわち、35強度刻みないし37強度刻みの差 分ヒステリシス範囲)を最初の画像(第28A図)に対話的に追加したことを示 す。最初の画像に高コントラスト詳細を加えることによって、低コントラスト詳 細からの干渉なしで高コントラスト詳細の画像全体との関係が明確に示された。 第28D図は、選択された空間ヒステリシス詳細(15ないし17の狭いDHR によってコントラスト拡張されたもの、すなわち、15強度刻みないし17強度 刻みの差分ヒステリシス範囲)を最初の画像(第28A図)に加えたことを示す 。8ビット画像データをこのように表すことによって、高精度コントラストが視 覚化され、同時に、より大きなコントラスト範囲の他のすべてのコントラスト成 分を含めることによって画像全体の一体性が維持される。最も重要なこととして 、本発明では、ディジタル・カメラのコントラスト解像度レベルで画像データを 「見る」ことができる。 アトミック・フォース顕微鏡は、人間の目の250倍高いコントラスト解像度 (すなわち、16ビット対8ビット)を有する高精度顕微鏡である。第29Aな いしF図を参照すると分かるように、差分ヒステリシス撮影では、スケーリング 済み生データ画像に精密コントラスト・パターンを加えることによって計器精度 撮影機能に視覚的にアクセスすることができる。第29A図は、対向縁部の高さ の差が100nmになるように傾斜されたプラスチックを埋め込れた網膜組織の 超薄切片の画像のスケーリング済み生データ(強度範囲(IR)1ないし960 3)を示す(1nm=10Å=96強度刻み)。微小表面コントラストを、この 低解像度コントラスト・バックグラウンド(DHR64ないし9603)によっ て比率38:1で圧縮し、したがって、減少させ、あるいは画像から削除した。 第29E図は、このデータセットの主要な形状詳細が、−5Å(DHR=1ない し65)コントラスト範囲の差分ヒステリシス・パターンとして撮影され、すべ ての微細形状が得られたことを示す。この精密情報は、スケーリング済み8ビッ ト画像中で2強度刻みに圧縮され、したがって、主要形状情報(すなわち、傾斜 表面)を含んでいなかった。第29C図は、各成分の8ビットスケーリング済み 画像を混合することによって(80%DHR1ないし9603+20%DHR1 ないし65)マイクロ形状とマクロ形状を共に表示したことを示す。第29D図 は、最高コントラスト解像度が、0.3Åの高さ情報を表す差分ヒステリシス・ パターン(DHR1ないし3)に存在したことを示す。減少された空間解像度の ために制限されたが、顕微鏡データには、低倍率で、予期された多数の形状詳細 が十分な完全なコントラスト解像度で驚くほど低レベルの雑音で写し出された。 第29E図は、大きな傾斜のコントラストと微小な表面粗さのコントラストを共 に与えるヒステリシス詳細パターン追加(15%DHR1ないし3+85%DH R1ないし9603)によって最大精度撮影機能を14ビット・レベルで検証す ることができることを示す。第29F図は、抽出されたヒステリシス詳細画像を 6ビット・レベルでより近くで目視検査しても、視覚が限られているために精密 情報を拡張する必要があった(40%DHR1ないし3+60%DHR1ないし 65)ことを示す。したがって、高精度顕微鏡写真中のすべての画像情報を視覚 的に知覚し認識するには、コントラスト・パターンの拡張を刻みごとに増大させ る必要があった。 第30AないしF図を参照すると、従来型のコンピユータ化断層撮影(CT) ディスプレイが、微細構造情報を区別するように示されており、組織固有のセン サ・データを抽出するために窓(すなわち、撮影された画素の選択された強度範 囲)が使用されている。この減少データは、バルク材料に関する吸収係数に基づ くものであったが、同じ材料の厚さコントラストが存在する可能性があるが、窓 によって削除されることを無視したものである。非窓生データでの差分ヒステリ シス撮影を介してすべての利用可能なセンサ・コントラストを見えるようにする ことができ、精密差分ヒステリシス・パターンをデータに加えることによって視 覚パターン認識を高めることができる。第30A図は、8ビット画像にスケーリ ングされたCT断面(IR1ないし2048)ではデータがほとんど得られなか ったことを示す。第30B図は、8ビットの大きな差分ヒステリシス範囲の差分 ヒステリシス画像によって全体的な構造コントラスドが向上したことを示す。第 30C図は、拡張ヒステリシス強度詳細ですべての組織の詳細が得られ、すなわ ち、肝臓領域で微細構造が大幅に増加したこと示す。第30D図は、選択された 強度詳細を増大させる(40%DHR27ないし35+60%DHR1ないし2 56)ことによって画像が向上したことを示す。第30E図は、最高コントラス ト解像度ヒステリシス詳細パターン(DHR21ないし23)が比較的小さな雑 音成分(1%IR)の下方で見つかったことを示す。雑音は存在したが、肝臓微 細構造は、単一細管および小胞のレベルでゾーニング構造および超微小構造を示 した。第30F図は、空間ヒステリシス詳細を増大させることによって改良され た画像が得られたことを示す。差分ヒステリシス拡張によって、CTデータ獲得 システムの驚くほど高い空間解像度を使用するのに空間詳細の信号雑音比が不十 分であることが判明した。差分ヒステリシス撮影によって画像解像度を高めると 、撮影装置を最適化する強力なツールが提供される。 第31AないしD図を参照すると分かるように、画像データセットの重要なコ ントラストは、「リアルタイム・ウィンドウ」で差分ヒステリシス・フィルタお よびパターン拡張を適用することによって、コンピュータ・マウスの制御下で対 話的に容易に見つけることができる。第31A図は、詳細がそれほど写し出され ていない、極端なディジタル・フジ・プレート画像(すなわち、生データ884 x947x10ビット:IR−1ないし1024)を示す。第1のステップで、 データを、受け入れられる画像として見るために、全体的な詳細コントラストに 関する調整を実行した。リアルタイム・ウィンドウを、鮮明に写りにくいと思わ れる領域の上方に置き、差分ヒステリシス範囲を、その最大値(DHR1ないし 1024)から、画像コントラストがわずかに、馴染みのあるレベル(DHR1 ないし256)に増加される範囲に減少させた。次いで、調整された画像を生成 する求められた差分ヒステリシス範囲で画像全体を処理した。第31B図は、第 2のステップで、調整された画像内で当該の領域を画定し、診断上重要なコント ラストを判定し拡張したことを示す。この場合、ヒステリシス雑音成分を削除さ れているが、空間精密情報を含む狭い差分ヒステリシス範囲を使用して軟質組織 と硬質組織を分析した(DHR9ないし15)。第31C図は、リアルタイム・ ウィンドウを使用して、調整されたデータに、診断上重要なコントラストを適当 な比率(25%DHR9ないし15および75%DHR1ないし64)で加えた ことを示す。第31D図は、センサ・データを拡張画像として視覚化し組み合わ せて、コントラスト解像度を目の解像度からセンサの解像度に高めることができ たことを示す。高コントラスト解像度がIRのわずか0.5%以内で得られ、デ ィジタル化フィルム・ラジオグラムのコントラスト解像度と比べてこの撮影プレ ートのコントラスト解像度が非常に低いことが分かった。空間差分ヒステリシス ・パターンの差分ヒステリシス範囲は、獲得パラメータを最適化する数量化ツー ルとして使用することができる。 好ましい実施例を図示し説明したが、本発明には、その趣旨および範囲から逸 脱せずに様々な修正および代替を施すことができる。したがって、本発明が、例 示のために説明したものであり、制限のために説明したものではないことを理解 されたい。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FR,GB,GR,IE,IT,LU,M C,NL,PT,SE),AU,CA,JP,KR

Claims (1)

  1. 【特許請求の範囲】 1.ピクセルマトリックスを含むデジタル画像データアレイのデジタル情報の 増強方法であって、以下のステップを含んでいることを特徴とする方法: (a)少なくとも2の画像データアレイを発生させるステップ; (b)それらの空間相関関係を維持しつつ、少なくとも1の前記画像データ アレイの各ピクセルをヒステレシス処理するステップ; (c)選択密度範囲を有するディファレンシャル画像を定義するため、前記 アレイ中の1アレイを他アレイから差し引くステップ。 2.前記選択密度範囲は、空間的詳細、密度的詳細及び空間ノイズで成る画像 群から選択される少なくとも1のディファレンシャル画像を定義することを特徴 とする請求項1記載の方法。 3.前記ヒステレシス処理ステップは以下のステップを含んでいることを特徴 とする請求項1記載の方法: (a)隣接密度との関係において、選択ピクセルの密度値が所定カーサル(c urser)幅内に属するか否かを判定するステップ; (b)もし前記カーソル(cursor)幅外であれば、前記選択ピクセル相対密度 値を維持するステップ; (c)もし前記カーソル幅内であれば、一元的ヒステレシスラインを使用し て決定される、隣接密度値に関した選択ピクセル密度値の平均値である中間値に 前記選択ピクセル密度値を変更するステップ; (d)処理済みデジタル画像データアレイを定義するため、前記マトリック スの少なくとも1部の少なくともいくつかの他のピクセルに対して前記(a)か ら(c)のステップを反復するステップ。 4.前記ヒステレシス処理ステップは以下のステップを含んでいることを特徴 とする請求項1記載の方法: (a)隣接密度との関係において、選択ピクセルの密度値が所定カーサル幅 内に属するか否かを判定するステップ; (b)もし前記カーソル幅外であれば、前記選択ピクセル相対密度値を維持 するステップ; (c)もし前記カーソル幅内であれば、ある中間値に前記選択ピクセル密度 値を変更するステップ; (d)処理済みデジタル画像データアレイを定義するため、前記マトリック スの少なくとも1部の少なくともいくつかの他のピクセルに対して前記(a)か ら(c)のステップを反復するステップ。 5.ピクセルマトリックスを含むデジタル画像データアレイの詳細の増強装置 であって、以下の手段を含んでいることを特徴とする装置: (a)少なくとも2の画像データアレイを発生させる手段; (b)それらの空間相関関係を維持しつつ、少なくとも1の前記画像データ アレイの各ピクセルをヒステレシス処理する手段; (c)選択密度範囲を有するディファレンシャル画像を定義するため、前記 アレイ中の1アレイを他アレイから差し引く手段。 6.前記選択密度範囲は、空間的詳細、密度的詳細及び空間ノイズで成る画像 群から選択される少なくとも1のディファレンシャル画像を定義することを特徴 とする請求項5記載の装置。 7.デジタル画像を増強する方法であって、以下のステップを含んでいること を特徴とする方法: 入力画像データを提供するステップ; ディファレンシャルヒステレシス画像データを創出するため、前記入力画像 データをディファレンシャルヒステレシス処理するステップ; 増強画像データを創出するため、前記入力画像データに前記ディファレンシ ャルヒステレシス画像データを追加するステップ。 8.前記ディファレンシャルヒステレシス処理ステップは以下のステップを含 んでいることを特徴とする請求項7記載の方法: ヒステレシス画像データを創出するため、それらの空間相関関係を維持しつ つ、前記入力画像データの各ピクセルをヒステレシス処理するステップ; 前記ディファレンシャルヒステレシス画像データを定義するため、前記ヒス テレシス画像データを前記入力画像データから差し引くステップ。 9.前記ヒステレシス処理ステップは以下のステップを含んでいることを特徴 とする請求項8記載の方法: (a)隣接密度との関係において、選択ピクセルの密度値がヒステレシスカ ーソル範囲内に属するか否かを判定するステップ; (b)もし前記ヒステレシスカーソル範囲外であれば、前記選択ピクセル相 対密度値を維持するステップ; (c)もし前記ヒステレシスカーソル範囲内であれば、一元的ヒステレシス ラインを使用して決定される、隣接密度値に関した選択ピクセル密度値の平均値 である中間値に前記選択ピクセル密度値を変更するステップ; (d)前記ヒステレシス画像データを創出するため、少なくともいくつかの 他のピクセルに対して前記(a)から(c)のステップを反復するステップ。 10.前記ヒステレシス処理ステップは以下のステップを含んでいることを特徴 とする請求項8記載の方法: (a)隣接密度との関係において、選択ピクセルの密度値がヒステレシスカ ーソル範囲内に属するか否かを判定するステップ; (b)もし前記ヒステレシスカーソル範囲外であれば、前記選択ピクセル相 対密度値を維持するステップ; (c)もし前記ヒステレシスカーソル範囲内であれば、ある中間値に前記選 択ピクセル密度値を変更するステップ; (d)前記ヒステレシス画像データを創出するため、少なくともいくつかの 他のピクセルに対して前記(a)から(c)のステップを反復するステップ。 11.変更空間ヒステレシスデータを取得するように、前記ヒステレシスカーソ ル範囲を密度変化のコントラスト増強度を変えるために変更するステップをさら に含んでいることを特徴とする請求項9記載の方法。 12.前記ディファレンシャルヒステレシス処理ステップは以下のステップを含 んでいることを特徴とする請求項7記載の方法: 第1ヒステレシス画像を創出するため、第1ヒステレシスカーソル範囲でそ れらの空間相関関係を維持しつつ、前記入力画像データの各ピクセルをヒステレ シス処理するステップ; 第2ヒステレシス画像を創出するため、第2ヒステレシスカーソル範囲でそ れらの空間相関関係を維持しつつ、前記入力画像データの各ピクセルをヒステレ シス処理するステップ; 前記ディファレンシャルヒステレシス画像を定義するため、前記第2ヒステ レシス画像データを前記第1ヒステレシス画像データから差し引くステップ。 13.前記入力画像データは未処理画像データを含んでいることを特徴とする請 求項7記載の方法。 14.前記入力画像データはヒステレシスパターンを含んでいることを特徴とす る請求項7記載の方法。 15.デジタル画像を増強する装置であって、以下の手段を含んでいることを特 徴とする装置: 入力画像データを提供する手段; ディファレンシャルヒステレシス画像データを創出するため、前記入力画像 データをディファレンシャルヒステレシス処理する手段; 増強画像データを創出するため、前記入力画像データに前記ディファレンシ ャルヒステレシス画像データを追加する手段。 16.前記ディファレンシャルヒステレシス処理手段は以下の手段を含んでいる ことを特徴とする請求項15記載の装置: ヒステレシス画像データを創出するため、それらの空間相関関係を維持しつ つ、前記入力画像データの各ピクセルをヒステレシス処理する手段; 前記ディファレンシャルヒステレシス画像データを定義するため、前記入力 画像データから前記ヒステレシス画像データを差し引く手段。 17.前記ヒステレシス処理手段は以下の手段を含んでいることを特徴とする請 求項16記載の装置: (a)隣接密度との関係において、選択ピクセルの密度値が、一元的ヒステ レシスラインを使用して決定される、隣接密度値に関した選択ピクセル密度値の 平均値であるヒステレシスカーソル範囲内に属するか否かを判定する手段; (b)もし前記ヒステレシスカーソル範囲外であれば、前記選択ピクセル相 対密度値を維持する手段; (c)もし前記ヒステレシスカーソル範囲内であれば、ある中間値に前記選 択ピクセル密度値を変更する手段。 18.前記ヒステレシス処理手段は以下の手段を含んでいることを特徴とする請 求項16記載の装置: (a)隣接密度との関係において、選択ピクセルの密度値がヒステレシスカ ーソル範囲内に属するか否かを判定する手段; (b)もし前記ヒステレシスカーソル範囲外であれば、前記選択ピクセル相 対密度値を維持する手段; (c)もし前記ヒステレシスカーソル範囲内であれば、ある中間値に前記選 択ピクセル密度値を変更する手段。 19.変更空間ヒステレシスデータを取得するように、前記ヒステレシスカーソ ル範囲を密度変化のコントラスト増強度を変えるために変更する手段をさらに含 んでいることを特徴とする請求項16記載の装置。 20.前記ディファレンシャルヒステレシス処理手段は以下の手段を含んでいる ことを特徴とする請求項15記載の装置: 第1ヒステレシス画像を創出するため、第1ヒステレシスカーソル範囲でそ れらの空間相関関係を維持しつつ、前記入力画像データの各ピクセルをヒステレ シス処理する手段; 第2ヒステレシス画像を創出するため、第2ヒステレシスカーソル範囲でそ れらの空間相関関係を維持しつつ、前記入力画像データの各ピクセルをヒステレ シス処理する手段; 前記ディファレンシャルヒステレシス画像を定義するため、前記第2ヒステ レシス画像データを前記第1ヒステレシス画像データから差し引く手段。 21.前記入力画像データは未処理データを含んでいることを特徴とする請求項 15記載の装置。 22.前記入力画像データはヒステレシスパターンを含んでいることを特徴とす る請求項15記載の装置。 23.ピクセルマトリックスを含むデジタル画像データアレイをヒステレシス処 理する方法であって、以下のステップを含んでいることを特徴とする方法: (a)隣接密度との関係において、選択ピクセルの密度値が所定カーサル幅 内に属するか否かを判定するステップ; (b)もし前記カーソル幅外であれば、前記選択ピクセル相対密度値を維持 するステップ; (c)もし前記カーソル幅内であれば、一元的ヒステレシスラインを使用し て決定される、隣接密度値に関した選択ピクセル密度値の平均値である中間値に 前記選択ピクセル密度値を変更するステップ; (d)処理済みデジタル画像データアレイを定義するため、前記マトリック スの少なくとも1部の少なくともいくつかの他のピクセルに対して前記(a)か ら(c)のステップを反復するステップ。 24.前記ステップ(c)の前記ヒステレシスラインは空間的隣接ピクセルを含 んでいることを特徴とする請求項23記載の方法。 25.前記ヒステレシスラインは直線状であり、前記選択ピクセルを介して所定 の角度で放射状に延びていることを特徴とする請求項24記載の方法。 26.ピクセルマトリックスを含むデジタル画像データアレイをヒステレシス処 理する方法であって、以下のステップを含んでいることを特徴とする方法: (a)隣接密度との関係において、選択ピクセルの密度値が所定カーサル幅 内に属するか否かを判定するステップ; (b)もし前記カーソル幅外であれば、前記選択ピクセル相対密度値を維持 するステップ; (c)もし前記カーソル幅内であれば、ある中間値に前記選択ピクセル密度 値を変更するステップ; (d)処理済みデジタル画像データアレイを定義するため、前記マトリック スの少なくとも1部の少なくともいくつかの他のピクセルに対して前記(a)か ら(c)のステップを反復するステップ。 27.ピクセルマトリックスを含むデジタル画像データアレイをヒステレシス処 理する装置であって、以下の手段を含んでいることを特徴とする装置: (a)隣接密度との関係において、選択ピクセルの密度値が所定カーサル幅 内に属するか否かを判定する手段; (b)もし前記カーソル幅外であれば、前記選択ピクセル相対密度値を維持 する手段; (c)もし前記カーソル幅内であれば、一元的ヒステレシスラインを使用し て決定される、隣接密度値に関した選択ピクセル密度値の平均値である中間値に 前記選択ピクセル密度値を変更する手段; (d)処理済みデジタル画像データアレイを定義するため、前記マトリック スの少なくとも1部の少なくともいくつかの他のピクセルに対して前記(a)か ら(c)のステップを反復する手段。 28.前記手段(c)の前記ヒステレシスラインは空間的隣接ピクセルを含んで いることを特徴とする請求項27記載の装置。 29.前記ヒステレシスラインは直線状であり、前記選択ピクセルを介して所定 の角度で放射状に延びていることを特徴とする請求項28記載の装置。
JP52365295A 1994-03-08 1995-03-08 画像情報を強調するための、ピクセルのデジタル式精密強度処理法 Expired - Fee Related JP3663465B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US08/207,488 US5563962A (en) 1994-03-08 1994-03-08 Two dimensional digital hysteresis filter for smoothing digital images
US08/207,489 US5592571A (en) 1994-03-08 1994-03-08 Digital pixel-accurate intensity processing method for image information enhancement
US08/207,488 1994-03-08
US08/207,489 1994-03-08
PCT/US1995/002962 WO1995024694A1 (en) 1994-03-08 1995-03-08 Digital pixel-accurate intensity processing method for image information enhancement

Publications (2)

Publication Number Publication Date
JPH09500472A true JPH09500472A (ja) 1997-01-14
JP3663465B2 JP3663465B2 (ja) 2005-06-22

Family

ID=26902283

Family Applications (1)

Application Number Title Priority Date Filing Date
JP52365295A Expired - Fee Related JP3663465B2 (ja) 1994-03-08 1995-03-08 画像情報を強調するための、ピクセルのデジタル式精密強度処理法

Country Status (4)

Country Link
EP (1) EP0702819A4 (ja)
JP (1) JP3663465B2 (ja)
AU (1) AU2543095A (ja)
WO (1) WO1995024694A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061824A (ja) * 1999-07-19 2001-03-13 Ge Medical Syst Sa 放射線撮影画像の飽和管理方法およびそのシステム
JP2004081394A (ja) * 2002-08-26 2004-03-18 Ge Medical Systems Global Technology Co Llc 組織内脂肪評価方法、画像処理装置およびx線ctシステム
KR20160107267A (ko) * 2014-01-09 2016-09-13 지고 코포레이션 비구면 표면과 그 외의 비-평탄 표면의 토포그래피의 측정

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750673A (zh) * 2011-11-30 2012-10-24 新奥特(北京)视频技术有限公司 一种提高图像对比度的方法
US10147171B2 (en) * 2016-09-21 2018-12-04 General Electric Company Systems and methods for generating subtracted images
CN115035256B (zh) * 2022-05-06 2023-01-06 中国安全生产科学研究院 一种尾矿库事故隐患及风险演化方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907156A (en) * 1987-06-30 1990-03-06 University Of Chicago Method and system for enhancement and detection of abnormal anatomic regions in a digital image
US5151794A (en) * 1989-01-30 1992-09-29 Ezel Inc. Image processing method
US5063448A (en) * 1989-07-31 1991-11-05 Imageware Research And Development Inc. Apparatus and method for transforming a digitized signal of an image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001061824A (ja) * 1999-07-19 2001-03-13 Ge Medical Syst Sa 放射線撮影画像の飽和管理方法およびそのシステム
JP2004081394A (ja) * 2002-08-26 2004-03-18 Ge Medical Systems Global Technology Co Llc 組織内脂肪評価方法、画像処理装置およびx線ctシステム
KR20160107267A (ko) * 2014-01-09 2016-09-13 지고 코포레이션 비구면 표면과 그 외의 비-평탄 표면의 토포그래피의 측정

Also Published As

Publication number Publication date
WO1995024694A1 (en) 1995-09-14
EP0702819A1 (en) 1996-03-27
EP0702819A4 (en) 1996-08-14
JP3663465B2 (ja) 2005-06-22
AU2543095A (en) 1995-09-25

Similar Documents

Publication Publication Date Title
US5715334A (en) Digital pixel-accurate intensity processing method for image information enhancement
US5563962A (en) Two dimensional digital hysteresis filter for smoothing digital images
US5592571A (en) Digital pixel-accurate intensity processing method for image information enhancement
Jebadass et al. Low contrast enhancement technique for color images using interval-valued intuitionistic fuzzy sets with contrast limited adaptive histogram equalization
JP5753791B2 (ja) ノイズ除去された所定の解像度の医療画像を提供する方法、所定の解像度のノイズ除去された所定の解像度の医療画像を提供するシステム
Schilham et al. A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database
JP5113841B2 (ja) 内視鏡からの映像を用いるコンピュータ支援解析
Heine et al. On the statistical nature of mammograms
Yeganeh et al. Objective quality assessment of interpolated natural images
Wheeler et al. Micro-calcification detection in digital tomosynthesis mammography
Al-Ameen Contrast enhancement of medical images using statistical methods with image processing concepts
Akl et al. A survey of exemplar-based texture synthesis methods
CN113837974A (zh) 一种基于改进beeps滤波算法的nsst域电力设备红外图像增强方法
Sun et al. Ipsilateral-mammogram computer-aided detection of breast cancer
Qian et al. Computer-aided mass detection based on ipsilateral multiview mammograms
Clarke et al. Tree-structured non-linear filter and wavelet transform for microcalcification segmentation in digital mammography
Tripathy et al. A comparative analysis on filtering techniques used in preprocessing of mammogram image
JP3663465B2 (ja) 画像情報を強調するための、ピクセルのデジタル式精密強度処理法
Schön et al. Explicit temporal embedding in deep generative latent models for longitudinal medical image synthesis
US20050213841A1 (en) Image processing
Guis et al. Adaptive neighborhood contrast enhancement in mammographic phantom images
Liu et al. A Novel Method to Compensate Variety of Illumination in Face Detection.
CA2162276C (en) Digital pixel-accurate intensity processing method for image information enhancement
Li et al. No-reference Sharpness Index for Scanning Electron Microscopy Images Based on Dark Channel Prior.
Liu et al. Statistical invariance for texture synthesis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050311

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090408

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100408

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110408

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120408

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130408

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140408

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees