JP4732660B2 - ビジュアルアテンションシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は静止画像もしくはビデオシーケンス内部に含まれている目立ったオブジェクトの位置決めをするためのシステムに係り、限定するわけではないが、とくに画像圧縮システムにより使用されるシステムに関する。
【０００２】
【従来の技術】
人間の視覚に係る眼と脳との知覚系（human visual eye-brain perceptual system）は提示されたシーン（情景）の一番重要な特徴を識別、同定するのに非常に優れていて、大部分の自動化システムにとって必要とされているような予備的な学習訓練なしでも、背景とか周囲の分布（ポピュレーション）からある種の違いがあるオブジェクトを識別するのに非常によくできている。しかし、オートメーションが望まれる若干の応用が存在し、例えば作業が非常に頻繁に反復されるとか、データ量が莫大な場合である。特定の例は医学的な顕微鏡の検鏡板に塗った少量の（smear）サンプルを癌細胞識別のために検査することである。このような情況下では、大きな数のサンプルが検査されなければならず、しかも異常はまれであり、人間である観察者の注意が緩んでしまって、探しているその特徴を見過してしまうことがある。
【０００３】
区別することができる画像内のオブジェクトを自動的に識別するシステムは、また視覚上の情景（ビジュアルシーン、以下、visualを目視上とか目視可能なと訳出する）内の重要な主体（principal subject）の位置の識別同定、情報サイン（標識）の設計と位置決め、また目視可能な表示装置の長ったらしくしかも高価な人間的因子の試行に代るものといった例のように数多くの他の目的にとっても望ましいこととされている。
【０００４】
【発明が解決しようとする課題】
目視上注目されるところを測定するための既存のシステムは、画像から前もって特定した特徴（フィーチャ、例えば色、強度、配向）を抽出し、つぎに分類器（例えばニューラル網）を学習訓練させて、大きく注目を集めるところ（ハイアテンション）の領域を識別、同定する。これらの学習訓練ができるモデルは、その画像内で探し求められている特徴の選択に大きく依存していて、システムの設計と試験とのために使用されたものと殆んど類似性のないような新しい目視可能な素材を処理することができない。逆説的な（パラドキシカルな）言い方をすると、ある特徴は、学習訓練をしたシステムによってそうと同定されることになるには奇形変形の仕方が過度であると単純にされるものである。このようなシステムはまた予め選定した特徴を処理するためにかなりの計算処理資源を必要としており、さらに加えて、このような負荷は処理の範囲が拡大されて、もっと特徴が加えられるのに伴って無制限に増加するものである。
【０００５】
既知の画像圧縮システムの大部分は画像を一定の圧縮レートでしたがって一定の圧縮品質でだけ圧縮できるという不都合を備えている。既知の可変レート圧縮システムは画像内の関心のある領域に従り圧縮レートを自動的に変えることができない。大部分の場合には、関心のある領域だけを高品質で圧縮しながら、画像のその余の部分（背景のようなところ）を低品質でのみ圧縮することで十分であろう。圧縮品質と画像ファイルサイズとは互に他に依存しているので、これは圧縮された画像ファイルにとって必要とされるスペース（空間）の全体量を減らすことになる。職業的な（プロフェッショナルの）Ｗｅｂ設計者により使用されている一つの技術は、ＪＰＥＧでの圧縮前に画像の背景を単純にぼんやりさせる（blur）ことである。これは背景が連続しているトーンで作られるように強制し、それによって画像内の空間周波数量を低減する。このように前処理された画像はその記憶要件を最大３０％まで減らされていて、この量はぼんやりさせていない画像に対して比較したぼんやりしている量に依存している。手によって画像をぼんやりさせることは大層労働力を意識させるものであり、画像によっては価値あるほどに十分なスペースを節減できないことになりかねない。
【０００６】
ジョイント・ピクチャ・専門家集団（ＪＰＥＧ）は新しい画像圧縮規格、ＪＰＥＧ２０００について作業を進めており、これはまた画像内で関心のある特定領域を画像のその余の部分よりも高品質で圧縮できるようにしている。しかしながら、関心のある領域の自動識別、同定は依然として問題となっている。
【０００７】
【課題を解決するための手段】
この発明によると、目視上注目される領域を識別するために、目視可能な画像を処理する方法が提供されていて、この方法は、各ピクセルが値を有しているピクセルのアレイとして画像を記憶する段階と、該アレイから試験ピクセルを選択する段階と、各試験ピクセルについて、該試験ピクセルの近隣にあるいくつかの近隣シーケンスのピクセルを選択する段階と、該アレイから比較ピクセルを選択する段階と、選ばれた近隣シーケンスのピクセルが該試験ピクセルに対してもっているのと同じそれぞれの位置関係を、該比較ピクセルに対して、もっているとして選ばれた比較ピクセルの近隣にあるピクセルのシーケンスを識別する段階と、該選ばれた近隣シーケンスの値を、該識別されたシーケンスの値と、所定の整合規準に従り比較する段階と、各試験ピクセルについての目視上注目される測度を、比較結果が不整合となった相手である試験ピクセルについて行なわれた比較の回数に依存して生成する段階とを備えた方法である。
【０００８】
この方法はまた画像のシーケンスにも適用できる。
【０００９】
好ましい構成では、各比較ピクセルについて、試験ピクセルに隣接している選ばれたピクセルのいくつかが、比較ピクセルに隣接している対応するピクセルと実質的には類似していない強度値を有しているとすると、異常値（anomaly value）がインクレメントされ、別の比較ピクセルを用いて同じ試験ピクセルとの比較が繰返されて、比較ピクセルが選ばれるまで続き、選ばれた比較ピクセルについては、すべての選ばれたピクセルが試験ピクセルの近隣にある対応するピクセルと実質的に類似している強度値をもつものとなり、この場合、別の近隣のシーケンスが選ばれて処理が繰返される。
【００１０】
前に大きな異常値を発生したことがある近隣ピクセルシーケンスが後の試験ピクセルの解析用に選ばれるとするとこの処理は最も効率的に動作することが見付かっている。そこで好ましいのは、処理が大きな異常値が生成された対象となっている近隣シーケンスパターンを記憶する段階と、後の試験ピクセルについて、後の試験ピクセルとのそれぞれの位置関係として該記憶された近隣シーケンスと同じ位置関係をもつ近隣シーケンスを選ぶ段階とを含むことである。
【００１１】
この発明の別な特徴によると、目視可能な画像もしくはこの種の画像のシーケンスを目視上注目される領域を位置決めするために処理する装置が提供されていて、この装置は、各ピクセルが値を有しているピクセルのアレイとして画像を記憶する手段と、該アレイから試験ピクセルを選択する手段と、該試験ピクセルの近隣にあるピクセルについての近隣シーケンスを選択する手段と、該アレイから比較ピクセルを選択する手段と、選ばれたピクセルについての近隣シーケンスが該試験ピクセルに対してもっているのと同じそれぞれの位置関係を、該比較ピクセルに対してもっているとして選ばれた比較ピクセルの近隣にあるピクセルのシーケンスを識別する手段と、該選ばれた近隣シーケンスの値を、該識別されたシーケンスの値と、所定の整合規準に従り比較する手段と、各試験ピクセルについての目視上注目される測定を、不整合シーケンスと識別する比較数に依存して、生成する手段とを備えた装置である。
【００１２】
この装置は、適切にプログラムされた、汎用計算機として実施されているのがよい。
【００１３】
この発明はまたこの発明の方法を実行するためにプログラムされた計算機と、ディジタル計算機の内部メモリ内に直接ロードできる計算機プログラム製品にまで展開され、そこにはソフトウェアコード部分があって、上記で特定した段階を実行するのにあてられる。
【００１４】
また別な特徴によると、この発明は次のものを用意している。すなわち、計算機で使用可能な媒体上に記憶された計算機プログラム製品であって、計算機をして各ピクセルが値を有しているピクセルのアレイとして画像を記憶するようにさせる計算機が読取り可能なプログラム手段と、該計算機をして該アレイから試験ピクセルを選ぶようにさせる計算機が読取り可能なプログラム手段と、該計算機をして、各試験ピクセルについて、該試験ピクセルの近隣にあるピクセルについての近隣シーケンスを選ぶようにさせる計算機が読取り可能なプログラム手段と、計算機をして該アレイから比較ピクセルを選ぶようにさせる計算機が読取り可能なプログラム手段と、計算機をして、該試験ピクセルに対してピクセルについての選ばれた近隣シーケンスと同じそれぞれの位置関係を比較ピクセルに対してもっている、選ばれた比較ピクセルの近隣にある該ピクセルについてのシーケンスを識別させる計算機が読取り可能なプログラム手段と、計算機をして、該選ばれた近隣シーケンスの値を該識別されたシーケンスと所定の整合規準に従り比較させる計算機が読取り可能なプログラム手段と、計算機をして各試験ピクセルについての目視上注意される測度を、該比較で不整合となった比較の数に依存して、生成させる計算機が読取り可能なプログラム手段とを備えた計算機プログラム製品である。
【００１５】
この発明は目視可能なシーン内部の重要な主体を識別、同定（アイデンティファイ）するために使用できるものであり、一番大きな異常値を有するピクセルを含んでいる領域を識別することによっている。目視可能なシーンの中の所与のオブジェクトに与えられているビジュアル・アテンション（目視上注目されるところ）についての測度（あるいは尺度、メジャー）を判断するために使用されてもよく、ここではそのシーンの他の部分について生成された異常値をそのオブジェクトを表わしているピクセルについて生成された異常値と比較することにより測度が決められる。
【００１６】
この処理（プロセス）が繰返されるという性質をもっていることが並列処理に手助けをしていて、いくつかの試験ピクセルが互に並列に処理されること、また各試験ピクセルについて、近隣ピクセルのいくつかのシーケンスが並列に処理されてもよいことに注目されたい。
【００１７】
シーンについての他の類似の要素間での強度についての小さな変動を許すようにするために、値の比較は値についての小さな差異は二つのピクセルが整合と考えられるようにできることが好ましく、また“実質的に類似している（同じもの）（substantially similar）”と上述したのはこの意味であると理解されるべきことである。このしきい値差についての値は異なるサイクルで変えることができ、これらの値は記憶されて処理の後のサイクルで再使用される要素間で適切な差別（違い）を作っている。
【００１８】
カラー画像については、強度値は三要素（赤，緑，青；ＲＧＢ）ベクトルであってよい。代って他の色空間である色相（hue）、飽和（saturation）、ルミナンス（luminance）などが使用されてもよい。
【００１９】
この発明はシーン内の近隣間での類似度（similarity）を見付ける際の困難さを測定することによって目視可能なシーン内での顕著性（saliency；突出度）を識別、同定する。ある領域のピクセルは、その領域がシーンの他のかなりの部分と類似していれば目視上注目されることでは低い測度の得点とすることになる。これに対して、画像の他の部分とは数多くの非類似をもつ領域は、得点される異常値が大きくなるので、目視上注目されることでは高い測定を誘引することになる。
【００２０】
この発明は試行錯誤処理を使用して画像の部分間での非類似を見出すようにし、かつ顕著性を判断するために異常の性質についての前もっての知識を必要としていない。この方法はピクセル間での処理の依存性を使用することを避けていて、各ピクセルについて直截的な並列実施を可能にしている。
【００２１】
【発明の実施の形態】
添付の図面を参照して、例をあげて、好ましい実施例を記述して行く。
【００２２】
図４に示した部品は、スキャナ（走査器）のような入力手段４１と、中央処理装置（ＣＰＵ）４２と、ビデオディスプレイユニット（ＶＤＵ）とかプリンタのような出力ユニット４３と、メモリ４４と、計算処理装置（計算プロセッサ）４５とを備えている。メモリ（記憶装置）にはメモリ（ストア）４４０，４４４〜４４６と、レジスタ４４１，４４７〜４４９と、カウンタ４４２，４４３とが含まれている。データとプログラムで計算機を制御するためのものがメモリ４４内に記憶される。ＣＰＵ４２はこの情報を用いて計算機の機能を制御する。
【００２３】
ここで図１と４とを考察すると、解析対象の画像４０は入力手段によってアクセスされて、画像メモリ４４０内にディジタル形式で記憶され、記憶はピクセルｘのアレイＡとして行なわれ、ここで各ピクセルは色（カラー）強度（ｒ_ｘ，ｇ_ｘ，ｂ_ｘ）としてピクセルの属性となっているものを有していて、グレイレベル画像の場合には単一のグレイスケール強度値ｔ_ｘを有することになる。
【００２４】
ピクセルｘはそこでアレイＡから選ばれて（段階１）、その強度値（ｒ_ｘ，ｇ_ｘ，ｂ_ｘ）もしくはｔ_ｘが試験ピクセルレジスタ４４１内に記憶される。いくつかの試験ピクセルが並列に処理されてよいが、例示の目的では一つだけがここでは考察されることになる。
【００２５】
異常カウントｃ_ｘは異常カウンタ４４２に記憶されていて、ピクセル比較Ｉ_ｘの数のカウント（計数値）は比較カウンタ４４３内に記憶されていて、その両方がゼロに設定される（段階２）。
【００２６】
サーチ戦略（ストラテジィ）が次にＣＰＵ４２により選ばれて（段階３，４，５）、近隣グループ定義メモリ４４４に送られる。各サーチ戦略は一組の色差しきい値（Δｒ_ｘ，Δｇ_{ｘ ,}Δｂ_ｘ）（あるいはグレイレベルの場合には単一のしきい値Δｔ_ｘ）（段階３）と近隣グループ定義（段階４，５）とを備えている。
【００２７】
色相、飽和、値（ＨＳＶ）空間内でカラー画像に作用するこの発明の別な実施例では、Δｈ_ｘ，Δｓ_ｘ，Δｖ_ｘ色差しきい値が使用されており、これについてはもう少し詳しく後で述べる。カラー画像についてこの発明の実施例で使用されるしきい値は、ピクセル間の比較が実行されるカラー空間に依存することになる。
【００２８】
この発明の別の実施例では色差しきい値は前もって決められていて、新しい近隣グループ定義戦略の選定毎に変わることはない。
【００２９】
最初にサーチ戦略がＣＰＵ４２によってランダムに生成されることになり、もしその戦略が差を識別するのに不適当であるとすると、そのサイクルは排斥され（段階９以降）、新しい戦略が選ばれる。成功する戦略はサーチ戦略メモリ４４５内に後続の再使用のために記憶されるようにできる（段階１１）。
【００３０】
段階３で選んだ色差しきい値は二つのピクセルが類似していると考えられるべきかどうかを決める。この差しきい値はある最小値を越えていなければならず、そうでないと類似が何も見付からないことになるのであるが、そうかといって大きすぎると、多すぎるくらいの類似が見付かることになる。
【００３１】
近隣グループを定義するために、半径ｕ_ｘがある境界内でランダムに選ばれる（段階４）。この値はｘの近隣の拡がり（範囲）を決めており、この中ではピクセル類似比較が計算プロセッサ４５により行なわれる。ｕ_ｘ上の境界は目視上の注目を設定する特徴（フィーチャ）のスケール（寸法）によって決められ、このスケールは画像が解析される目的に依存することになる。差しきい値のように、選定はこういった限界の内部ではランダムであり、区別を与えることに失敗する選定は排斥される（段階９）。
【００３２】
試験ピクセルｘの近隣の中の中でｎ個のピクセルｘ_ｊのシーケンスが画像メモリ４４０から選ばれる（段階５）。ここでもまた、選定はランダムであり、選定は次による。
【００３３】
dist（ｘ_ｊ，ｘ_{( ｊ−１}）＜ｕ_ｘ
ここでｊ＝１，…，ｎであり、またｘ₀＝ｘである。
【００３４】
選定がランダムであるから、このようなピクセルのシーケンスは必ずしも互に近隣にある必要はないし、いかなる意味でも連続しているということにならない。
【００３５】
このようなシーケンスの例が図２に示されていて、ここでは試験ピクセル（箱で示す）はそれと関係しているシーケンス（陰影はつけていない）を有している。一般にｎ＝３で、ｕ_ｘ＝１である。ある場合には、ｕ_ｘはｊとともに変る。これはピクセルが広い領域から選ばれるようにしながら、選ばれたピクセルのいくつかが試験ピクセルｘ_ｊに近くにあることを確かにしている。dist（ｘ_ｊ，ｘ_{( ｊ−１ )}）の値は何でもよい適当な単位で定義でき、例えばピクセルの寸法でよい。近隣シーケンスの定義は近隣グループ定義メモリ４４４内に記憶される。
【００３６】
この発明の他の実施例では、ｎ個のピクセルｘ_ｊのシーケンスで試験ピクセルｘの近隣にあるものが画像メモリ４４０から選ばれ（段階５）、選定は次による。
【００３７】
dist（ｘ_０，ｘ_ｊ）＜ｕ_ｘ
ここでｊ＝１，…，ｎであり、またｘ_０＝ｘである。
【００３８】
前に生成されたサーチ戦略は、ＣＰＵ４２によって先取り選択されてよい。これらのサーチ戦略は、（１）近隣ピクセルシーケンス定義ｘ_ｊと、（２）関係する色差しきい値（Δｒ_ｘ，Δｇ_ｘ，Δｂ_ｘ）であって、サーチ戦略メモリ４４５内に記憶されている。この記憶は、後に論じられる段階１１での、先行する試験ピクセルについての大きな異常に関する得点を得るという結果として行われる。この戦略はランダムに生成された候補をプロセッサ４２が現在の近隣グルーム定義メモリに向けて、条件が満足されるときに供給される。この条件は、このような記憶された規準（すなわち、戦略）が使い尽くされることとなっている。
【００３９】
同じように、たくさんの類似の画像を処理するときには、（例えば動いている画像の中とか、医学的な微量の試料を塗った顕微鏡用検顕板（smear）の試験のような類似画像の大量組の処理では）、先行する試験について大きな異常得点を得ている試験シーケンスがサーチ戦略メモリ４４５から検索読出し（レトリーブ）されてよい。
【００４０】
ピクセルｙはランダムに選ばれて（段階６）、現在の比較ピクセルとなるようにされ（これは図２の箱で示されている）このアイデンテティ（識別子ＩＤ）が比較ピクセルレジスタ４４７内に記憶される。
【００４１】
比較カウンタ４４３に記憶されているＩ_ｘの値はインクレメントされる（段階７）。近隣グループ定義レジスタ４４４のコンテンツ（内容）はそこで計算プロセッサ４５により使用されて、試験グループｘ_ｊを形成する一組のピクセル（レジスタ４４８）と、比較グループｙ_ｊを形成する一組のピクセル（レジスタ４４９）とを定義し、比較グループの各ピクセルｙ_ｊは、試験ピクセルｘに対して試験グループ内の対応するピクセルｘ_ｊがもっているのと同じ位置関係を比較ピクセルｙに対して持つことになる（段階９）。計算プロセッサ４５はそこで各ピクセルｘ_ｊ（図２で陰影のあるもの）を対応するピクセルｙ_ｊ（これも陰影がある）と比較し、この比較には近隣グループ定義メモリ４４４から検索読取られたしきい値が用いられる。
ピクセルｙは試験ピクセルｘと類似しているとして識別されるが、その条件は、｜ｒ_ｙ−ｒ_ｘ｜＜Δｒ_ｘ，｜ｇ_ｙ−ｇ_ｘ｜＜Δｇ_ｘ，及び｜ｂ_ｙ−ｂ_ｘ｜＜Δｂ_ｘである。
すべてのグレイレベル画像については｜ｔ_ｙ−ｔ_ｘ｜＜Δｔ_ｘである。
別の実施例では、計算がＨＳＶ色空間（カラースペース）で実行され、ピクセルｙは試験ピクセルｘと類似しているとして識別され、その条件は、
｜ｖ_ｙ−ｖ_ｘ｜＜Δｖ_ｘ，｜ｓ_ｙ−ｓ_ｘ｜＜Δｓ_ｘ，及び｜ｈ_ｙ−ｈ_ｘ｜＜Δｈ_ｘであり、ここでΔｈ_ｘ＝Ｚ^＊（２−ｖ_ｘ）^＊（２−ｓ_ｘ）である。Ｚはｈ_ｘに依存しているしきい値の経験的テーブル内に記憶されている。これがｖ_ｘとｓ_ｘとの小さい値に対してΔｈ_ｘが大きくなるという結果をもたらしている。二値画像についてこの発明の方法の動作を加速するために、比較ピクセルｙは試験ピクセルｘと整合するように選ばれてよい（すなわち、“白”とか“黒”とかである背景ピクセルを無視することである）。
【００４２】
カラーもしくはグレイレベル画像については、動作速度は比較ピクセルメモリ４４６内に記憶されるようにしてよい比較グループから比較ピクセルｙを選ぶことによって増大されるようにできる。比較グループは図１２に示したように選ぶことができる。目視上注目されるところの測度が比較グループ内のピクセルの全てについて生成されると、新しい比較グループが、ピクセルは一番大きな目視上注目されるところの測度を生成しているピクセルの近くにある、ピクセル（複数）から選ばれてよい。
【００４３】
試験グループ内のピクセルのすべてが比較グループ内の対応するピクセルｙ_ｊと類似であるとすると、処理は新しい比較規準を選び（段階４，５）、また新しい比較ピクセルｙを選ぶ（段階６）によって繰返される。もし（図２に示したように）試験グループ内でいくつかのピクセルｘ_ｊが上述の類似性定義に従り、比較グループ内でのカウントｃ_ｘで異常カウントレジスタ４４２に記憶されているものがインクレメントされる（段階１０）。別の比較ピクセルｙがランダムに選ばれて、比較ピクセルレジスタ４４７内に記憶され（段階６に戻る）、近隣グループ定義メモリ４４４から検索された近隣グループ定義が使用され、新しい比較近隣グループを比較グループレジスタ４４９に向けて供給して、試験グループレジスタ４４８内に記憶された試験グループとの比較にあてられる。一組のピクセルｘ_ｊが試験グループレジスタ４４８内に保存されていて、その期間は画像の他の部分との整合に失敗するまで続く。このような組はｘの在る場所（locality）についての区別できる顕著な特徴を表わしていて、整合の失敗が起れば起るほど顕著性があることになる。もっと多くの比較ピクセルｙが試験ピクセルｘとの整合に失敗するとなると、異常カウンタ４４２内に記憶されている異常値ｃ_ｘがもっと大きくなる。逆に、試験ピクセルｘがより多くの整合を生じさせると、しきい値Ｌが比較カウンタ４４３によって到達されるときには異常値についての値がより低いものとなる。エル（ｌ）回の比較がされる度毎に、この処理によりもたらされる結果の異常値ｃ_ｘは、試験ピクセルｘについて整合がとれなかったランダムに選ばれたピクセルの割合の測度であると考えられてよい。
【００４４】
処理が継続するにつれて、成功するサーチ規準が次第に明らかになる。このサーチ規準は言い換えるとΔｒ_ｘ，Δｇ_ｘ，Δｂ_ｘとｕ_ｘの値と、近隣シーケンスの組合せであって、大きなｃ_ｘの値を生成するものである。もし、ｎ個のピクセルｘ_ｊのシーケンスと、対応する色差しきい値（Δｒ_ｘ，Δｇ_ｘ，Δｂ_ｘ）が異常カウンタ４４２内に記憶されたｃ_ｘの異常値をして、整合が見付かる前に、しきい値Ｍと到達するようにさせるものであるとすると、近隣グループ定義メモリ４４４内に記憶されたサーチ戦略はサーチ戦略メモリ４４５にコピィされて（段階１１）将来の使用にあてられるが、これはすでに記憶されていないことを条件とする。大きな異常値を生成した規準はこうしてサーチ戦略メモリ４４５で利用可能であり、別なサイクルでの適当な値を選択するために使用される（段落４，５）。一旦、整合が見付かると、処理が再開され、新しいサーチ戦略（色差しきい値及び近隣の組）で近隣グループ定義メモリ４４４に記憶されているものが使用される（段階９）。ここではサーチ戦略メモリ４４５からの検索か、ランダム生成されたものかのいずかが使用される。
【００４５】
反復値Ｉ_ｘで比較カウンタ４４３内に記憶されているものがしきい値Ｌに到達するときには、反復処理は停止し（段階８）、現在の異常値ｃ_ｘであって異常カウンタ４４２内に記憶されているものが出力ユニット４３でピクセルｘについての異常値として出力される。最終の異常値ｃ_ｘは試験ピクセルｘについての目視上注目される測度であり、これは全体でＬ回の試行となるうちの試行の数であって、この数はランダムに選ばれたピクセルｙについての対応している近隣との整合に失敗したピクセルｘのランダムに選ばれた近隣の本来の特性（すなわちカラー）についての試行数である。ｃ_ｘについての大きな値はピクセルｘがその画像のその余の部分と不整合の程度が大きいことを示しており、その結果、ピクセルｘが目視上注目に値するオブジェクトの一部であることを示している。
【００４６】
出力ユニット４３は一般に記憶媒体であり、この媒体はプリンタとか、目視可能な表示ユニットなどによる表示用にあるいは後続の処理のために各ピクセルの異常値を記憶するのであって、例えば、後の処理は画像圧縮であって、これは後で図５〜１１を参照して記述することにする。
【００４７】
この発明は三つの値（Ｒ，Ｇ，Ｂ／Ｈ，Ｓ，Ｖ）あるいは単一の値（グレイレベル）をもつポイント（点）の二次元画像を参照して記述されてきたのであるが、この方法はｐの値をもつポイントを有するｎ次元画像にも拡張できることは理解できよう。
【００４８】
ｐの値があるポイントを使用する場合には二つのピクセルが類似しているかどうかを、上述の段階９でグレイレベル、ＲＧＢ及びＨＳＶ画像についてした評価のための機能はｐの値についての比較に拡張されることになる。
【００４９】
ｎ次元画像の場合には近隣ピクセルの選択はｎ次元距離測度を用いて行なわれ、段階５で近隣グループを選ぶようにする。このようにして、この発明の方法をビデオシーケンス内の継続するフレームのシーケンスに対して応用することができ、この例では使用される次元の一つが時間となっている。
【００５０】
この発明の二つの単純化した例で使用されているものについて記述することにする。図２ａはモノクローム画像であり、いくつかの垂直方向特徴と一個の対角特徴を有しているものを示す。図２ａから見とれることは、垂直方向特徴の一つからのあるピクセルについての近隣の組を形成しているピクセルのグループが他の垂直方向の特徴からの近隣のピクセルのグループと整合することになるということである。しかしながら、対角特徴のピクセル形成部分は他の特徴からのピクセルと整合がとれそうもない。対角特徴内での別のピクセルについても、試験ピクセルか比較ピクセルのいずれかの近隣ピクセルがこの特徴の端を越えて延びているとすると整合をとるのに失敗することになる。そこで、いずれかの近隣組について整合を得る確率は、垂直特徴の一つについての形成部分と比較すると、対角特徴のピクセル形成部分については極めて僅かなものになる。
【００５１】
例示の実施形態では、ピクセルは規則的な直線で囲まれた図形による埋めつくし（regular rectilinear tessellation）を形成しているが、この処理はピクセルの他の構成についても適切とされる。もしアレイが不規則であると各ピクセルｙ_ｊの比較ピクセルｙに対する位置関係は、各ピクセルｘ_ｊの試験ピクセルｘに対する位置関係と正確に同じでなくてよいが、それぞれはできる限り正確に対応している位置に密接するようにする。
【００５２】
この処理には他のプロセスよりも好都合ないくつかの点がある。第一に、この処理は画像のコンテンツについて何の仮定も置いておらず、測定処理の一部としてコンテンツに関係する有用な特徴を抽出できて、これによりどんな画像中の素材（マテリアル）にも適応することができる。第二に、このプロセスはどんなピクセルの構成にも等しく応用されることであり、ピクセルが矩形のアレイに並べられていても、ら線状のアレイでも、あるいは不規則パターンであってもよい。第三に、この処理は各ピクセルｘ_iに応用できることであり、この際には他のピクセルと関係している計算に何ら依存しないので、それにより数多くのピクセルに同時に並列に適用してよい。これが意味するところは、並列実施では、結果がビデオ素材から実時間すなわちずっと高速で得られることである。第四に、このアルゴリズムは進化したプロセスに基づいているので、このプロセスでは試行が規則上厳格な励行を求められる（rigor）正規に許されているソフトウェアプロセスで用意されなければならないということがないという好都合さがある。若干のサイクルは有用な結果を作り出さないことがあり、例えば結果に明らかな冗長さが含まれていることが理由となっている（例をあげると、同じピクセルを一度ならず含んでいる近隣ピクセルｘ_ｊのシーケンスがある）。このようなサイクルは顕著な特徴を識別とそこなった他のサイクルと同じように排斥され、その際にはこのようなシーケンスを識別することが必要とされている特種排斥プロセスを用いなくてよい。これが試行について顕著な候補を正確に構築するために求められる計算処理上の負荷を取除いている。
【００５３】
以下の簡単化した例では、この処理が黒白画像に応用され、しかもこの画像が完全に１と０との画像である。この場合にはΔｔ_i ＝１／２，ｎ＝３，Ｌ＝１００，またｕ_ｊ＝１である。第一の例（図２ａ，２ｂ）は“ポップアウト（popout）”（注：見たときに、とくに目立つ形のこと）についての古典的な問題をあげていて、この問題では形状についてのある種の形式が異なる形状で囲まれているときに登場する。
【００５４】
図２ａの各ピクセルに属している目視上注目される測度は図２ｂのチャートに示されている。たて軸は異常値（試行数Ｌの百分率としてある）を各ピクセルについて示している。異常値ｃ_i は垂直方向バーについてよりも対角バーについて非常に高いものとなっている。
【００５５】
図３ａは目視上注目されるところでのクラスタ化の効果を示すもので、ここでは垂直方向線のグループ形成がもっと広幅に分離されている他部の中に置かれている。この発明の処理を用いる結果が図３ｂに示されている。ここでもまたクラスタ化したラインがより大きな異常得点を得ている。
【００５６】
この処理は予備的な前もっての知識をサーチされる異常についての性質について求めていない。異常は方向であってよいし（図２のような場合）、間隔であってよいし（図３ａのような場合）、形状、長さ、色、もしくは他の特性であってよい。
【００５７】
この発明は多数の分野で広範囲の応用をもつものである。第一に、目視可能なシーンの中での重要な主体の識別は、フィルタをかけていない目視可能なコンテンツの分類における第一の本質的な段階である。このことはまた最もむづかしいものでもある。一度この段階が達成されると、手操作によるタグ付けが続き、あるいはいろいろな範囲のテンプレートマッチングとか他の自動化技術であって、このように識別された特徴の認識にあてられるものとかが続く。
【００５８】
この発明の方法を用いる画像圧縮の方法を図５ないし１１を参照して記述して行くことにするが、最初はこの発明による画像データの圧縮方法の概観を図５ａ，５ｂを参照して用意することとする。
【００５９】
離散的余弦変換（Discrete Cosine Transform）を用いる画像の圧縮は既知である。数多くの画像圧縮アルゴリズムは、ＪＰＥＧがその例であるが、このような圧縮を使用し、またよく動作することが証明済みである。ＤＣＴを用いる原理は、画像内のピクセルが二次元信号として取扱えるということであり、これがＤＣＴによって周波数ドメインに変換される。色と輝度に変化がほとんどない画像内の領域は、低い空間周波数をもつ領域であり、これに対して、色と輝度とに大きな変化をもつ領域は高い空間周波数をもつ領域である。研究により示されたところは、人間の眼は高い空間周波数に対しては非常に敏感であるというのではないことと、この事実が圧縮に使えるということであった。さらにもっと重要なことは低い空間周波数についての情報をもつことであり、それによって高い空間周波数はもとの画像を合理的な妥当な品質で回復するために伝送されたり記憶されたりする必要がないということである。高圧縮率（レート）については空間周波数に対する人間の感度のモデルが使用され、これがある周波数についてのフィルタとして取扱うことができる。
【００６０】
標準的な圧縮アルゴリズムは関心のある領域が画像内で自動的に特定できて、それにより、その領域が背景よりも高品質で圧縮できるということを許さないので圧縮は最適とはならない。もしある画像がｎバイトの寸法をもつことを求められるとすると、全体の画像が求められたファイル寸法に適するように同じ品質で圧縮されなければならないが、これがときによっては品質が非常に貧弱で不満足なものであることを意味しかねない。画像の中にはいつもある部分があって、そこが他よりもっと関心のあるところとなっていて、またそうではなく僅かな関心しかない部分もある。通常は人物に関心があり、背景には関心がない。したがって、背景を非常に高い圧縮率で（低品質で）、また画像のその余の部分を非常に低い圧縮率（高品質）で圧縮するのが好都合ということになる。もし平均の圧縮率が一定の圧縮率で圧縮された画像についてと同じであるとすると、結果としてのファイルサイズは同じことになる。しかし、可変圧縮率で圧縮した画像は、看者に対して、この画像の方が全体の画像について一定の圧縮率で圧縮したものよりも、よい印象を与えることになる。
【００６１】
この発明の方法は、ユーザがある画像を圧縮するのに、その画像の異なる部分について異なる品質レベルを用いてすることができるようにしている。品質のレベルはビジュアル・アテンション・マップ（ＶＡ−マップ）３０を用いて画像内のある領域について判断される。このマップは簡単に作れる。圧縮後にはＶＡ−マップ３０は圧縮された画像データの一部を形成することになる。
【００６２】
入力画像はＲＧＢ画像であり、言い換えると、そのピクセルは三原色Ｒ，Ｇ，Ｂ（赤緑青）の和として表わされる。この三原色の各々が０〜２５５の間の整数とにより表わされる。もともモノクローム画像も等しく使用されてよい。
【００６３】
入力画像はＹＣｂＣｒカラー空間に変換され、同時に成分であるルミナンス（Ｙ）とクロミナンス（ＣｂとＣｒ）とに分解される。人間の眼はカラー（色）の変化よりも輝度（ブライトネス）の変化により敏感であるから、二色成分Ｃｂ，Ｃｒが４：１：１ダウンサンプリング機構を用いてダウンサンプルされる。
【００６４】
次にこれらの成分が８×８ピクセルブロック３２に区分され、各ブロックは圧縮アルゴリズムにより個別に取扱いがされる。すべての成分（Ｙ，Ｃｂ，Ｃｒ）について各方向のサンプルの数が８の倍数でなければならず、それで後の処理のための完全なピクセルブロックが用意される。入力画像がこの要件に適っていないとすると、追加のサンプルが人為的に作り出されてブロック内の空になっているピクセル空間内に充填される。ダウンサンプリングが理由となって、ｘ方向とｙ方向とのブロックの数はＹ成分について２の倍数でなければならず、このことは後に説明する。
【００６５】
あるブロックが周波数ドメインにＦＤＣＴ（フォワードＤＣＴ）１４により変換される。結果の係数はそこで量子化器１６によって量子化される。量子化はデータの低減に通じ、画像圧縮に対する鍵（キー）となっている。量子化後となると、画像は誤差（エラー）なしには再構築することができない。しかし量子化テーブル１８を用いることによって、このテーブルが人間の空間周波数に対する感度を実現するものとなっていて、エラーは認知することができない程小さいものとすることができる。量子化のレベルは量子化係数２０により影響を受けていて、この係数２０が使用された、その画像についてのＶＡマップ３０により可変品質レベルを作るようにしている。
【００６６】
量子化の後に、各ブロックはジグザグスキャナ２２により６４次元ベクトルに変換される。これが低い空間周波数についての係数をベクトルの始め（低インデックス）に置き、また高い空間周波数についての係数を終り（高インデックス）に置く。高周波数についての係数は量子化の結果としてゼロとなるから、ゼロの長いシーケンスがジグザグスキャニングプロセスによって作られる。ジグザグベクトルはそこでランレングスエンコーダ２４でエンコードされて、その結果が二つのアレイ、すなわちランレングスアレイ２６とレベルアレイ２８の中に記憶される。最後に、すべてのブロックが処理されてしまうと、こういった二つのアレイがエントロピィコーダ５０によってエントロピーコーデングされ、結果のバイトアレイ５２が出力ファイルにＶＡ−マップ３０と画像についての一般情報と一緒に出力ファイルに書込まれる。ファイルフォーマットについては後述する。
【００６７】
画像のデコード（解圧縮）をここで図６ａ，６ｂを参照して記述することとし、それからコーダとエンコーダとの個々の部分の機能について図７ない１１を参照して記述する。
【００６８】
画像データのデコードと画像の再構成とは上述のコーデング処理の逆となっている。バイトアレイ５２内の画像データはまずエントロピィデコードがエントロピーデコーダ６０によつて行なわれ、結果が単一の８×８ブロックについてのアレイに区分される。単一のブロック２６，２８についてのアレイは次にランレングスデコーダ６２によりランレングスデコードされ逆ジグザグスキャナ６４を用いて８×８サンプルマトリックスとして記録されて、解量子化器（デクオンタイザ）６６により量子化が解かれ、その際には適切な量子化テーブル１８がＶＡ−マップ３０から得られた情報と一緒に用いられている。次にデータが周波数ドメインから成分サンプル値に戻る変換にかけられ、ここでは逆ＤＣＴ６７が使用され、結果が各成分について異なるアレイ内に記憶される。最期に、三つの成分アレイが使用されて最終画像が編成される。ＣｂとＣｒとの成分は線形補間フィルタ６８，６９を用いてアップサンプルされる。結果として得られた画像はもとの画像よりも大きくなりそうであり、その理由としてブロックパッデング（block padding）があげられ、また画像はもとのサイズにクロップ（crop，トリミング）されなければならない。
【００６９】
もとのＲＧＢ画像から８×８ピクセルブロック３２（図５，６）を形成することについて、図７と８を参照してより詳細に記述して行く。
【００７０】
ＲＧＢ値からＹ，Ｃｂ，Ｃｒ値への変換は次の式で与えられる。
【００７１】
Ｙ＝rnd（0.299・Ｒ＋0.587・Ｇ＋0.114・Ｂ）
Ｃｂ＝「−0.1687・Ｒ−0.3313・Ｇ＋0.5・Ｂ＋128」
Ｃｒ＝「0.5・Ｒ−0.4187・Ｇ−0.0813・Ｂ＋128」
ここでＲ，Ｇ，Ｂは［０，２５５］の範囲内にあり、Ｙ，Ｃｂ，Ｃｒもまた［０，２５５］の範囲内にある。Ｒ，Ｇ，ＢとＹ，Ｃｂ，Ｃｒとは整数である。
【００７２】
ＣｂとＣｒ成分は４：１：１ダウンサンプラ機構を用いてダウンサンプルされる。ｘとｙとの方向で毎第二のピクセルについて、三成分のすべてが記憶される。他のピクセルについてはＹ成分だけが記憶される。これが意味するのは毎四つのＹサンプルについて一つのＣｂサンプルと一つのＣｒサンプルとがあることである。このダウンサンプリングが模式的に図７に示されている。こうしてＣｂとＣｒとのアレイがＹアレイの大きさのちょうど１／４となる。これができるのは人間の眼がカラー（Ｃｂ，Ｃｒ）よりも輝度（Ｙ）での変化にずっと敏感であることによる。
【００７３】
前述しているようにダウンサンプリングはデータ量をファクタ２だけ減らす。ダウンサンプリングとすべての成分が８×８ピクセルブロックに分けられるという事実とが理由となって、後の処理にとって必要とされるサンプルの数はすべての成分についてｘとｙとの方向で８の倍数となる必要がある。
【００７４】
図７に示されるように、８×８サンプルのブロックを形成するためには、８×８入力サンプル（ＲＧＢサンプル）のアレイはＹ成分について必要とされ、また、１６×１６入力サンプル（ＲＧＢサンプル）のアレイがＣｂとＣｒとの成分について必要とされる。１６×１６入力サンプルアレイはマクロブロックと呼ばれる。空へ成分についての関心のレベルは、マクロブロックを形成している四つのサンプルブロックのＶＡ−マップ内で定義される関心についての最大レベルとして定義される。
【００７５】
ｘとｙとの方向の８×８ピクセルブロックの数は［数１］で与えられる。
【００７６】
【数１】

【００７７】
これらの式でwidth（幅）は入力画像のｘ方向における入力サンプル（ピクセル）の数であり、またheight（高さ）はｙ方向における入力サンプル（ピクセル）の数である。サンプルが境界で加えられた後に画像内で必要とされるサンプルの全数は［数２］によって計算される。
【００７８】
【数２】

【００７９】
境界で加えられることになるサンプルの数は［数３］によって計算される。
【数３】

【００８０】
ここでwidthは幅をheightは高さをそれぞれ表わす。
【００８１】
追加のサンプルは高い空間周波数が何も生成されないように加えられなければならない。これが行なわれるのは、境界サンプルで拡張することによる。このことは簡単に実施され、また水平または垂直の周波数のいずれかがない形で自動的に作り出せる。しかしながら、その境界における画像のコンテンツに依存して、一方向における高い周波数は依然として作られてよい。まず、すべての行が境界における最新のサンプルでパッド（詰めること）され、次に列が後でパッドされる。画像からの８×８ピクセルブロックの編成（フォーメーション）が模式的に図８に示されている。
【００８２】
画像の圧縮を解くために、上述のカラー変換の逆が［数４］で定義される。
【００８３】
【数４】

【００８４】
逆カラー変換については、Ｒ，Ｇ，Ｂについての結果値は、丸めが理由となって［０，２５５］の有効範囲を越えてもよい。したがって、超過した値はそれぞれ最小値及び最大値まで切り詰められる（クランプされる）。
【００８５】
離散的余弦変換（ＤＣＴ）がサンプルを周波数ドメインに変換するために使用される。フォワード離散的余弦変換（ＦＤＣＴ）で変換器１４により使用されるものが［数５］によって定義される。
【００８６】
【数５】

【００８７】
ここで成分サンプルｓ_{ｘ , ｙ}はＦＤＣＴの計算に先立ってＤＣレベルシフトされていて、各サンプルから１２８を原産することによってゼロの周りにそれらの中心が来るようにしている。
【００８８】
この画像の圧縮を解くために逆離散的余弦変換（ＩＤＣＴ）が逆離散的余弦変換器６７によって使用され、この変換が［数６］で定義される。
【００８９】
【数６】

【００９０】
ＤＣレベルシフトを戻すために、１２８が各サンプルｓ_{ｘ , ｙ}にＩＤＣＴの計算の後で加えられる。
【００９１】
量子化器１６は次のように動作する。変換器１６からの６４のＤＣＴ係数の各々は量子化器１６によって、量子化テーブル１８内に記憶されている値を用いて量子化される。各係数についての量子化器ステップサイズＳ_ｕ，ｖが量子化テーブルからの対応する要素Ｑ_ｕ，ｖに量子化係数を乗算した値から計算される。ここで乗数である係数はＶＡ−マップ３０によって定義された品質のレベルを表わしている。量子化テーブルは人間の眼の空間周波数感度を反映していて、経験的に求められる。二つの異なる量子化テーブルは一つがルミナンス成分（Ｙ）についてであり、また一つがクロミナンス成分（ＣｂとＣｒ）についてのものである。一般に、クロミナンス係数の量子化のためのステップサイズはルミナンス係数のためのものよりも大きく、その理由は、人間の眼がルミナンスの誤差に対して、クロミナンスの誤差に対するよりも、敏感であることによる。
【００９２】
量子化は［数７］により定義される。
【００９３】
【数７】

【００９４】
ここで因子ｑ_ｌはＶＡ−マップ１０によって定義される品質レベル因子である。この発明の実施例ではＶＡ−マップは品質についての四つのレベルをサポートしていて、これが２ビットを用いて記憶されていて、これらのレベルが品質レベル因子を定義する適切な数に写像される。品質についての個々のレベルについての品質レベル因子は圧縮された画像ファイル内に記憶される。
【００９５】
画像の解圧縮については、逆量子化関数が［数８］により与えられる。
【００９６】
【数８】

【００９７】
この発明の実施例では、ルミナンス係数についての量子化テーブルは表１で定義される。
【００９８】
【表１】

【００９９】
また、クロミナンス係数についての量子化テーブルは表２で定義される。
【０１００】
【表２】

【０１０１】
量子化の後には、６４の係数は数多くのゼロを含むことになり、とくに高い周波数係数についてはそれが言える。ゼロの長いシーケンスを作るためには、この６４の係数は８×８マトリックスから６４次元ベクトルｚに変換されて、図９に模式的に示すように、ジグザグスキャナ２２によってジグザグシーケンスに再順序付けされる。
【０１０２】
ジグザク走査（スキャニング）から生じたベクトルがゼロの長いシーケンスを含んでいることから、ランレングスコーデングがデータ量を減らすために使用される。
【０１０３】
このベクトル内の各値は二つの出力値であって、ランレベルコンビネーション（組合せ）と呼ばれているものにより表わされ、一つは先行するゼロの数を定義し、一つはゼロのシーケンスの後に続くゼロでない値のレベル（数値）を定義する。最後にランレングスエンコードした値に続くすべての値がそのベクトル内でゼロであれば、（０，０）である特別のランレングス組合せが使用される。この特殊組合せはブロックの終り（ＥＯＢ，エンドオブブロック）組合せと呼ばれる。
【０１０４】
ＤＣＴの性質が原因となって、ベクトルの第一の要素は変換された画像データのＤＣ係数となっている。このＤＣ係数はＡＣ係数とは違った取扱いを受ける。エンコードされることになる値は、前のＤＣ項からの現在のＤＣ項の差である。これがエンコードすべき数をより小さいものとして、これが後続のエントロピーコーデングにおけるデータ量を減らすのに役立つことになる。ランとレベルとについての二つの値は二つのアレイとしてランレングスエンコーダ２４により出力される。二つのアレイはランレングスアレイ２６とレベルアレイ２８であって、これらは８×８ピクセルブロックのすべてが一旦処理されると、エントロピーエンコーダ５０によって使用されて、データ量をさらに減らすようにする。
【０１０５】
レベルは［数９］によって計算される。
【０１０６】
【数９】

【０１０７】
また解圧縮のために、逆レベルエンコーデングが［数１０］により計算される。
【０１０８】
【数１０】

【０１０９】
ランレングスエンコーデングの例は次による。この例ではランレベル組合せは（ｒ，ｌ）と書かれ、ここでｒはゼロのランレングスであり、またｌはこのゼロに続くレベルである。
ランレングスエンデングについての入力レベルが、
{-126,26,43,2,2,1,1,0,0,0,1,0,0,-1,-1,0,0,0,0,0,…,0}（全部で６４の値）であり、また先のＤＣ項−１１９である。ランレングスエンコードしたデータはそこで次になる。
(0,-7),(0,26),(0,13),(0,2),(0,2),(0,1),(0,1),(3,1),(2,-1),(0,-1),(0,0)
二つの出力ベクトルは次のように見えることになる（グレイ値は前のブロックからの値である）
{…2,4,0,23,0,0,0,0,0,0,0,0,3,2,0,0，}（ランベクトル）
また、
{…-1,1,2,-1,0,-7,26,43,2,2,1,1,1,-1,-1,0}（レベルベクトル）。
【０１１０】
ランレングスエンコーデングの後で、ランベクトルとレベルベクトルとは組合されてエントロピーエンコーダによってエントロピイエンコードされることは図５ｂで前に示した通りである。これはピクセル当りのビット数を減らす。エントロピイエンコーデングは一番頻繁に発生するランレベル組合せについての修正されたHuffman（ハフマン）テーブルによって行なわれる。頻繁に発生する組合せを表わすのに使用されるコードについてのビット数が小さくなると、ラン・レベル組合せが発生する頻度は高くなる。画像ファイルサイズを最少に保つために、固定のテーブルが使用される。このテーブルは試験画像の大きな組から経験的に得られたものである。ある画像については、ダイナミック（動的）ハフマンコードテーブルがより小さなファイルサイズに導くことができるが、しかし大部分の場合にはこの発明のこの実施例で使用されるハフマンコートテーブルは一番小さなファイルサイズに導くものとなっている。
【０１１１】
ランレベル組合せは次のやり方を用いてエンコードされる：
エンコードのためにラン・レベル組合せについてハフマンコードテーブル内にエントリィがあるとすると、そのときはこのテーブルからのコードが使用される。正と負とのレベルをエンコードするために、符号ビットがテーブルから採用されたコードの先頭に置かれる；
・ある種のラン・レベル組合せについてハフマンテーブル内にエントリィがなければそのときは次の標準コーデングのやり方が使用されなければならない。
【０１１２】
標準コーデングは符号ビットを“１”に設定し、続いて二つの可能なエスケープ（ＥＳＣ１，ＥＳＣ２マーカ）の一つを設定することによって達成される。次の６ビットは符号なし二値コードとしてランレングスを表わし、また最後にレベルが続く。このレベルは符号付き二値コードとしてエンコードされることになる。もし、レベルが［−１２７，１２７］の中にあれば、ＥＳＣ１マーカが使用されて、８ビットを用いてレベルがエンコードされる。もし、レベルが［−２５５，２５５］の中にあれば、ＥＳＣ２マーカが使用されて、９ビットを用いてレベルがエンコードされる。この段階では、レベルは［−２５５，２５５］をはみ出すことができず、これが最大９ビットだけでレベルをエンコードするのに十分であるという理由となっている。事実上、係数の最大絶対値は２００よりも小さいものとなることになる。
【０１１３】
最も普通のラン・レベル組合せについては、次の表３〜７で定義されるようなハフマンコードが使用される。このテーブルはランとレベルとで種分けされていて、エンコード用に使用できる。エンコーダはラン・レベル組合せを用いて対応するハフマンコードを一覧参照（ルックアップ）する。
【０１１４】
【表３】

【０１１５】
【表４】

【０１１６】
【表５】

【０１１７】
【表６】

【０１１８】
同じ情報が画像データをデコードするために使用されるる表３〜６はコードレングスによって種分けされている。この表はエントロピーデコーダ６０（図６ｂ）により使用され、このデコーダ６０は受取ったコードとそのコードレングス（コード長）とを用いてラン・レベル組合せをルックアップする。
【０１１９】
【表７】

【０１２０】
【表８】

【０１２１】
【表９】

【０１２２】
【表１０】

【０１２３】
ハフマンコードの若干のサンプルを表１１に示す。
【０１２４】
【表１１】

【０１２５】
この発明のこの実施例で使用される方法により圧縮された画像の全成分は下から上へまた左から右へ（ボトム・アップ・レフト・トウ・ライト）のやり方で処理される。これが意味することは、ある成分の第一のブロックが入力画像の下左隅にあり、次のブロックがその右にあるというふうにそのブロックラインの端まで進ということであり、次のブロックラインは前のブロックラインの上にあり、すべてのブロックラインは左で始まるということである。このプロセスは図１０に示されている。
【０１２６】
各ブロックはエントロピーエンコーデングまでは個別に取扱われるのでブロックデータ流（ストリーム）を作ることの異なるやり方がたくさん存在する。すべての画像データを実際に受取る前に画像はデコードされる必要がないのでインターリーブがされていない構造が選ばれており、その理由はアルゴリズムを単純にすることと、処理時間を短縮することがあげられる。これが意味するところは、Ｙ成分の全ブロックが先ず処理されて記憶され、それに続いてＣｂ成分についての全ブロックが、そして最後にＣｒ成分についての全ブロックが処理されて記憶されることである。進行形のデコード／エンコードがまた可能であり、後に記述される。結果のデータ流を図１１に示す。
【０１２７】
この発明の方法に用いて圧縮された画像はこの実施例では次のようなファイルフォーマット（ここではVACIMGファイルと呼ぶ）で記憶される。
【０１２８】
この発明のこの実施例はビジュアルアテンションマップ（ＶＡ−マップ）を用いて画像を圧縮し、このマップが関心のある異なるレベルで圧縮すべき画像内の異なる領域を定義する。四つのレベルがこの実施例で使用されているが、もっとレベルあっても少いレベルでも望むところにより使用可能である。関心のある各レベルに対応する領域は各々がそれ自体の圧縮レートで圧縮され、これによって背景は画像の他の部分よりも高い圧縮率で（かつ低品質で）圧縮できるようになる。圧縮された画像はそこでファイル内に記憶され、このファイルも、ＶＡ−マップを含んでいる。高い圧縮率というのがこの発明のこの実施例の目標の一つであるから、画像についての情報は必要最小限がファイルに記憶される。画像についての一般的な情報のすべてが先ずファイルに来て、次にＶＡ−マップが続き、それから圧縮された画像データがファイルに来る。画像についての一般的な情報はｘ及びｙ方向におけるサンプル数と、四つの可能なレベルのすべてについての品質のレベルとで構成されている。あるファイルがVACIMGファイルであるかどうかを応用が検出できるようにするために、ファイルシグネチャが一般的な画像情報の前部に挿入される。
【０１２９】
表１２はVACIMG画像により使用されるファイルフォーマットの概要を与えている。
【０１３０】
【表１２】

【０１３１】
すべてのバイトはバイト内の標準のウインドウズビットアラインメントを用いてファイルに書込まれる。このファイルは文字“Ｖ”，“Ａ”，“Ｃ”，“Ｉ”，“Ｍ”及び“Ｇ”を表わしている６バイトで始まる。次にサンプル数、幅と高さとが続く。両方とも符号なしの１６ビット整数として記憶される。最高位（最重要度）バイトが最初に来る。これに四つの品質レベルが続き、これらが符号なしの８ビット整数として記憶される。次にＶＡ−マップが来て、このマップは関心のあるレベル（と、したがって、圧縮のレベル）を記憶する。ＶＡ−マップは８×８ピクセルブロックについて２ビットで表わされている。ｘ及びｙ方向のブロック数は前記の式で与えられ、この式が使用されて、ＶＡ−マップにより使用されるバイト数が次のように計算される。すなわち、
ｋ＝ｂｘ_Ｙｂｙ_Ｙ／４
最後にすべての圧縮された画像データが続く。圧縮された画像データについて使用されたバイトの数はデコーダにとっては不知である。デコーダに与えられたすべてのバイトを使用して画像を再構築しなければならず、ファイルの終りに到達したときには自動的にデコードを終結させなければならない。
【０１３２】
ＶＡ−マップを用いることは、画像について進行形の（プログレッシブ）デコーデングを可能とし、この場合には画像の一番関心のある部分が先ずデコードされる。画像成分のＤＣＴ係数を記憶するために非インターリーブ構造を用いるのに代って、インターリーブした構造を用いることができ、それによってあるブロックを再構成するためのすべての情報がデータ流の中で一緒に接近するようにする。これが受信側にとって受取った画像を完全なファイルを受取る前に、解圧縮を開始して、組み上げることができるようにする。これはワールドワイドウエブ（ＷＷＷ）、無線応用プロトコル（ＷＡＰ）電話、あるいはビデオフォンにとってもいえることであるが、こういった技術にとって極めて有用となる。ＪＰＥＧはすでに進行形のエンコーデングを提供しているが、ビジュアルアテンション（目視上注目）に基づいた画像圧縮を用いることから得ることができる利点が存在する。最も重要とされているブロック（レベル３のブロック）が最初におくられるようにでき、それにレベル２のブロック、レベル１のブロックが続き、最後に背景ブロック（レベル０のブロック）が続く。これが意味することは、受信側が画像の“メッセージ”をかなり早くに得て、受信者が十分な情報を受取ってしまうと、データ流を切断することを決意することもできるということである。大部分の応用では、画像はピクセルの固定シーケンスとして送られていて、例えば左下隅で始まってライン毎に上方へ画像が走査される。したがって、画像の“メッセージ”を得るためには、全体の画像が送られて再構成されるまで待たなければならないことになる。ＶＡ−マップを用いることは、重要なピクセルを先ず送り、それに続いて次に重要なピクセルをという順序で続くことができ、それによってメッセージを得るのに十分な情報があるところでデータ流を切断することができる。この技術はビデオ流の送りを、狭い帯域幅の網上で、妥当な品質で可能としている。とくに、ビデオフォンにとっては、この技術は多少の背景情報の損失を伴うものの低い帯域幅で画像を提供することになる。
【０１３３】
もし帯域幅が全体の画像を送るのに狭すぎるときにはデコーダとエンコーダとがいつでもブロックの送りを停止でき、このときは一番重要なブロックの送信だけが行なわれる。受信側で改良された画像を得るためには。全体の画像は背景もまた更新するために毎度しばしば送られねばならない。しかしながら、ほとんどのときには一番重要なブロックだけを置換すれば十分であり、新しいブロックで置換えできないときには前の画像の背景ブロックを用いることで足りる。
【０１３４】
また自動的にブロックをぼんやりさせることも可能であり、対象となるブロックはＶＡ−マップ内での低いＶＡレベルが原因となって量子化が低いレベルでデコードされたものである。これはメモリや帯域幅のオーバーヘッド（計算機負荷）を伴わずにデコードされた画像の知覚上の品質を改善する。
【０１３５】
この発明の別な応用には設計と警告標識（例えば道路標識）の位置についての人間工学的な考慮を含んでいて、その目的とするところは標識を目立つように描くことであり、このことは試行錯誤のプロセスとしばしばなっているところであり、これが公衆にとって危険をその間に与えることがある。目視上の注目についての客観的な測度（言い換えれば、提案された環境の中にある、意図された観衆の視ている標識の中で標識とかあるいはその他の何かが主要な主体となっているかどうかを識別する測度）が設計プロセスを改良して、不十分な目立ち方の試験標識によって生ずる事故の危険を減らすことになる。他の識別たとえば広告のようなものと、インターネット“ウエブサイト”のような表示スクリーンの配置といったものの目視上のインパクトもまたこのプロセスを用いて最適化されて、特定の場所での注目度を最大のものとする。
【０１３６】
この発明はまた背景もしくは周辺の密度分布（ポピュレーション）からある点で異なっているオブジェクトを識別することもできる。例えば、癌にかかった細胞は周辺の健康な細胞内には存在しない特徴を有していることにより識別できる。眼によるこのような以上の識別は非常に労力を要するプロセスであり、その理由には多数のサンプルが調べられることと、癌細胞の比較的希有なこと（rarity）とが挙げられる。人間の観察者は眼にかかるひずみ（ストレイン，いわゆるストレス）と疲労との結果として注意が変えることが知られている。
【０１３７】
別な例として素粒子物理学者により使用される泡箱写真では、新しいしかも異常な粒子軌跡のパターンがこのプロセスによって識別できる。関心のある大部分の軌跡はこれまでに未発見の粒子で未知の性質をもつものによって生成されたものであるから、このようなサーチのためのテンプレートを工夫することは不可能である。
【０１３８】
他の例には、繊維製品等のテクスチャの目視的な提示における欠陥の客観的な検出であり、これが織物やマイクロチップ配置の製造プロセスについて、あるいは他のプロセスで表面欠陥が避けられないものの品質力保証を改善する。
【０１３９】
その他の応用では周囲と正号していないオブジェクトの存在の認識がセキュリティサーベイランス（安全調査）の分野で数多くの応用を有している。このような対象（オブジェクト）は保安要員が早くに注目しないとすると、重大な危害をもたらすことになる。同じように、衛星画像内に存在する異常なオブジェクトは生態系（エコロジー）の局所的変化とか有用な知的情報を顕在化できる。
【０１４０】
この発明はまた人間の視覚のモデルとして役立つものであり、いろいろな課題への応用をもち、この課題の中では人間の挙動性質を長くしかも経費を要する人間因子についての試行に代るものとしてエミュレートするのが必要とされている。
【０１４１】
この発明が応用を見出すことができる他の分野にはビデオ素材についての改善された描画が含まれ、ここでは知覚上重要な領域がより詳細に描画され、学生生徒の注目を集めるために教材を強調したり、高い注目をもつオブジェクトについての外形線をつけるように画像編集をしたりして、それにより切断されて例えば複合用に使用されるようにしたり、また鉄道、道路上の安全信号を、目視上注目されるレベルについての自動監視を介して、自動チェックすることが含まれている。
【図面の簡単な説明】
【図１】 プロセスを模式的に示す図。
【図２】 この発明による方法で処理されることになる画像を表わし、ピクセルｘ_ｊ，ｙ_ｊの二つの組についての比較プロセスを示す図（図２ａ）と、これらの画像について生成された異常値の写像を示す図（図２ｂ）。
【図３】 この発明による方法で処理されることになる第二の画像を表わす図（図３ａ）、およびこれらの画像について生成された異常値の写像を示す図（図３ｂ）。
【図４】 この発明を実行できる汎用計算機の基本的な部品を模式的に示す図。
【図５】 ともにこの発明による画像コーダを示す図（図５ａ、ｂ）。
【図６】 ともにこの発明による画像デコーダを示す図（図６ａ、ｂ、ｃ）。
【図７】 ４：１：１ダウンサンプリング技術を示す図。
【図８】 ある画像をブロックとブロックパッデングに分けることを示す図。
【図９】 ジグザグ走査を示す図。
【図１０】 画像ボトムアップ及び左から右への処理を示す図。
【図１１】 インターリーブされていないデータ流の例を示す図。
【図１２】 処理速度を高めるために比較ピクセル群を選択する例を示す図。

Claims (8)

1. ビジュアル画像を処理して、ビジュアル・アテンションの領域を識別する方法であって、
   各ピクセルがピクセル値を有しているピクセルのアレイとして画像を記憶するステップと、
   該アレイから試験ピクセルを選択するステップと、
   各試験ピクセルについて、該試験ピクセルの近隣にあるピクセルの１つ以上の近隣グループを選択するステップと、
   該アレイから比較ピクセルを選択するステップと、
   選ばれた近隣グループのピクセルが該試験ピクセルに対してもっているのと同じそれぞれの位置関係を、該比較ピクセルに対してもっているとして、選ばれた比較ピクセルの近隣にあるピクセルのグループを識別するステップと、
   該選ばれた近隣グループのピクセル値を、該識別されたグループのピクセル値と、所定の整合規準に従って比較するステップと、
   各試験ピクセルについてのビジュアル・アテンションのメジャーを、比較結果が不整合となった試験ピクセルについて行なわれた比較の回数に依存して生成するステップとを備えた方法。
2. 前記比較するステップは、更に、
   各試験ピクセルについて、該試験ピクセルの近隣の該選ばれたピクセルの１つ以上が該比較ピクセルの近隣の対応するピクセルのピクセル値と実質的には同じでないピクセル値をもっているときには、異常値をインクレメントするステップを含み、
   ビジュアル・アテンションのメジャーは、前記異常値に基づいて生成され、
   前記方法は、更に、
   比較ピクセルが選ばれるまで、同じ試験ピクセルを有する別の比較ピクセルを用いて繰り返して、これによってすべての選ばれたピクセルが試験ピクセルの近隣の該対応するピクセルと実質的に同じとなるピクセル値をもつことになり、この場合に別の近隣グループが選ばれて、処理が繰返されるステップを含む、請求項１記載の方法。
3. 前記ピクセル値がカラー画像を表わしている三要素ベクトルである、請求項１または２記載の方
   法。
4. 高い異常値が生成されたサーチ規準についてのピクセル値を記憶し、かつ後続の試験ピクセルについて同じサーチ規準を選ぶステップを含んでいる、請求項１ないし３のいずれか１項に記載の方法。
5. ビジュアルシーン内の重要な対象が一番大きな異常値をもつピクセルを含んでいる領域の識別によって識別される、請求項１ないし４のいずれか１項に記載の方法。
6. ビジュアルシーン内の所与のオブジェクトに対して与えられるビジュアル・アテンションのメジャーが、そのオブジェクトを表わしているピクセルについて生成された異常値と、該シーンの他の部分について生成された異常値との比較によって判断される、請求項１ないし４のいずれか１項に記載の方法。
7. 請求項１ないし６のいずれか１項により、画像を処理して、ビジュアル・アテンションの領域を位置決めするステップと、
   ビジュアル・アテンションの位置決めされた領域に従り該画像を、ビジュアル・アテンションの高い領域をビジュアル・アテンションの低い領域を備えた該画像の領域よりもより高精度でコード化するようにコード化するステップとを備えた画像圧縮方法。
8. ビジュアル画像もしくはこの種の画像のグループを処理して、ビジュアル・アテンションの領域を位置決めする装置であって、
   各ピクセルがピクセル値を有しているピクセルのアレイとして画像を記憶する手段と、
   該アレイから試験ピクセルを選択する手段と、
   該試験ピクセルの近隣にあるピクセルについての近隣グループを選択する手段と、
   該アレイから比較ピクセルを選択する手段と、
   選ばれた近隣グループのピクセルが該試験ピクセルに対してもっているのと同じそれぞれの位置関係を、該比較ピクセルに対してもっているとして、選ばれた比較ピクセルの近隣にあるピクセルのグループを識別する手段と、
   該選ばれた近隣グループのピクセル値を、該識別されたグループのピクセル値と、所定の整合規準に従って比較する手段と、
   各試験ピクセルについてのビジュアル・アテンションのメジャーを、不整合グループを識別する比較の回数に依存して生成する手段とを備えた装置。

Images