JPH10271499A - 画像領域を用いる画像処理方法、その方法を用いた画像処理装置および画像処理システム - Google Patents

Abstract

(57)【要約】 【課題】 画像の符号量を、既存のハードウェアに手を
加えることなく、かつコンスタントに高い効率で低減す
ることが難しかった。 【解決手段】 フレーム画像を入力するフレーム入力部
４、フレーム画像から注目領域を検出する注目領域設定
部６、注目領域とそれ以外の領域を分割する領域分割部
８、注目領域１６を符号化する第一符号化器４０、注目
領域１６をはずして空いた部分の画像を単純化する単純
化処理部２６、一部が単純化された修正フレーム画像２
８を符号化する第二符号化器４２を含む。第一符号化器
４０及び第二符号化器４２では、符号化精度の異なる符
号化を行う。注目領域の位置は位置情報２０として出力
される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像を領域に分
けて行われる画像の処理方法、その方法を用いた画像処
理装置および画像処理システムに関する。この発明は特
に、画像の符号化、復号化に関連する画像処理方法、装
置、システムに関する。

【０００２】

【従来の技術】例えばテレビ電話における画像の伝送を
考えたとき、ある程度の画質を維持しながらどこまで伝
送データ量を抑制できるかが重要な設計ポイントにな
る。特開平８−３３６１３３号公報では、平常時には特
定領域のみを伝送し、フレーム画像全体に大きな変化が
現れたときに限ってフレーム画像全体を伝送する装置が
開示されている。テレビ電話の場合、特定領域は通常話
者の顔に当たる領域であり、フレーム画像全体を一回送
っておけば、以降、符号化装置は特定領域だけを伝送す
ればよい。復号化装置はフレーム画像全体を一回復号化
して表示しておき、特定領域が送られてくれば、その画
像を復号化して表示中のフレーム画像に合成する。この
ために、符号化装置は特定領域の位置情報も伝送する。
一方、例えば話者が手を挙げた場合、特定領域のみ伝送
では自然な画像が得られない。符号化装置ではそうした
大きな変化を検出し、その場合に限り、フレーム画像全
体を符号化して伝送する。

【０００３】

【発明が解決しようとする課題】この技術によれば伝送
データ量を減らすことができる。しかし、一連の処理機
能を実現するために専用のハードウエアを設計する必要
がある。また、フレーム全体を送る場面ではデータの圧
縮効果が望めない。

【０００４】本発明はこうした点に鑑みてなされたもの
であり、その目的は、相当コンスタントに相当高いデー
タ圧縮率を実現する画像処理方法、装置、システムを提
供することにある。本発明の別の目的は、すでに市販等
されている種々の符号化、復号化装置のハードウエアを
変更なしに用いることの可能な画像処理方法、装置、シ
ステムを提供することにある。

【０００５】

【課題を解決するための手段】本発明に係るひとつの画
像処理方法は、画像符号化の前処理方法と把握できる。
この方法は、少なくともひとつの画像領域について符号
化の処理内容を記述して第一の情報を生成し、少なくと
もひとつの画像領域についてその画像内位置を記述して
第二の情報を生成し、少なくともひとつの画像領域につ
いて第一および第二の情報を関連づけて符号化処理に向
けて出力する。

【０００６】「符号化の処理内容」は、符号化手法自体
が複数存在するときはそのうち実際に利用する符号化手
法の表示であってもよい。同一の符号化手法の中でも、
パラメータが異なる場合にはそのパラメータの表示であ
ってもよい。本発明によれば、第一の情報により、画像
領域ごとに符号化の処理内容を変えることができる。ま
た、第二の情報により、フレーム画像のうちいずれの部
分にどのような符号化処理を施すべきかが判明する。こ
のため、後段の符号化処理の場面で、高い画質が得られ
る符号化処理（一般にはデータ圧縮効果の低い符号化）
を例えばテレビ電話における話者の顔などの注目領域ま
たは重要領域に施し、それ以外の領域にデータ圧縮効果
の高い別の符号化処理を施すことなどが可能になる。こ
の発明によれば、符号化処理の前に第一および第二の情
報が生成されるため、符号化処理を実行するハードウエ
ア、つまり符号化器自体を変更する必要がない。

【０００７】本発明の別の画像処理方法は、やはり画像
符号化の前処理と把握できる。この方法はフレーム画像
内に注目領域を定め、フレーム画像のうち注目領域に相
当する画像部分に単純化処理を施して修正フレーム画像
を生成し、注目領域の画像と修正フレーム画像を同一の
符号化処理またはそれぞれ処理内容の異なる符号化処理
に向けて出力する。

【０００８】ここで「単純化処理」は、例えば前記画像
部分を単一色で埋めたり、その画像領域の周辺色で埋め
るなど、後にその画像領域に対して符号化処理を施した
ときにその符号量が減るような画像変換処理であっても
よい。この発明によれば、例えば注目領域として話者の
顔をとり、その注目領域については高い画質が得られる
符号化処理を行う。一方、注目領域が取り除かれた後の
部分を例えば単一色で埋めれば、修正フレーム画像に対
して、仮に注目領域と同一の符号化処理を施したとして
も、単一色の領域の符号量が減る。しかも本発明の場
合、単純化処理で得られる修正フレーム画像に対しては
注目領域とは異なる符号化処理、例えばデータ圧縮率の
高い符号化処理を採用できるため、さらにデータ低減効
果が大きくなる。この発明も、符号化処理の前に修正フ
レーム画像が生成されるため、符号化処理を実行するハ
ードウエア、つまり符号化器自体を変更する必要がな
い。

【０００９】本発明のさらに別の画像処理方法は、画像
復号化とその後処理と把握でき、注目領域の画像とフレ
ーム画像全体を別々に復号化し、注目領域がもとのフレ
ーム画像において占めていた位置（以下「占有位置」と
いう）に基づいて、復号化した注目領域を復号化したフ
レーム画像内に合成する。ここでいう「フレーム画像全
体」は、もとのままのフレーム画像でもよいし、上述の
修正フレーム画像のような一定の加工後のフレーム画像
でもよい。

【００１０】ここで「占有位置に基づいて」は、例えば
「外部から与えられた占有位置に関する情報を利用し
て」、「固定的に決めておいた位置を占有位置とみなし
て」などと考えてもよい。この発明では、復号化するフ
レーム画像が前述の修正フレーム画像であってもよく、
その場合「占有位置に基づいて」の解釈例として「復号
化の結果、単純化処理が施された画像部分が判明すれ
ば、その位置を占有位置とみなして」も可能である。こ
の発明では、注目領域の画像の復号化とフレーム画像全
体の復号化を別々に行うため、それぞれ既存の復号化器
を変更なしに用いることができる。

【００１１】一方、本発明に係るひとつの画像処理装置
は、画像符号化の前処理装置と把握でき、フレーム画像
を入力する手段と、入力されたフレーム画像において注
目領域の位置を設定する手段と、位置が設定された注目
領域をフレーム画像から分割する手段とを含み、フレー
ム画像全体と分割された注目領域の画像をそれぞれ異な
る処理内容で符号化する符号化装置に向けて出力する。
このため後段の符号化処理の場面で、高い画質が得られ
る符号化処理を注目領域に施し、それ以外の領域にデー
タ圧縮効果の高い別の符号化処理を施すなどが可能にな
る。この発明でも、符号化器自体を変更する必要はな
い。

【００１２】本発明の別の画像処理装置は、画像符号化
の前処理装置および画像符号化器の組合せと把握でき、
フレーム画像を入力する手段と、入力されたフレーム画
像において注目領域の位置を設定する手段と、位置が設
定された注目領域をフレーム画像から分割する手段と、
分割された注目領域の画像を符号化する手段と、フレー
ム画像全体を分割された注目領域の画像とは異なる処理
内容で符号化する手段とを含む。この発明では、符号化
する手段に既存の符号化器をそのまま利用でき、装置設
計が容易になる。

【００１３】本発明のさらに別の画像処理装置は、画像
復号化器およびその後処理装置の組合せと把握でき、フ
レーム画像から分割された状態で符号化された注目領域
の画像を復号化する手段と、フレーム画像全体を復号化
する手段と、注目領域がもとのフレーム画像において占
めていた位置、すなわち占有位置に基づき、復号化され
た注目領域の画像を復号化されたフレーム画像内に合成
する手段とを含む。この発明では、注目領域用とフレー
ム画像全体用に例えば別々の既存の復号化器を採用する
ことができる。そのため、既存のハードウエアがそのま
ま利用できる。

【００１４】他方、本発明の画像処理システムは、符号
化側と復号化側からなる。符号化側では、フレーム画像
内の注目領域とフレーム画像全体を別々の処理内容で符
号化する。復号化側では、符号化された注目領域と符号
化されたフレーム画像全体を別々に復号化し、復号化後
のフレーム画像内に復号化後の注目領域を合成する。

【００１５】

【発明の実施の形態】本発明の好適な実施の形態につい
て適宜図面を参照しながら説明する。

【００１６】実施の形態１ 図１は、本発明に係る画像処理方法を用いた画像処理装
置１００の構成図である。画像処理装置１００は、フレ
ーム画像を符号化器へ渡す前処理を行う。この装置は、
フレーム画像に含まれる画像領域について符号化の処理
内容を記述することによって第一の情報である処理内容
情報を生成し、その画像領域についてそのフレーム画像
内における位置を記述して第二の情報である位置情報を
生成する。しかる後、これら２つの情報を関連づけて出
力する。

【００１７】画像処理装置１００は、まずフレーム画像
２を入力するフレーム入力部４をもつ。フレーム入力部
４は、フレーム画像２を格納するフレームメモリ（図示
せず）を内蔵している。フレーム入力部４から適当なタ
イミングで出力されたフレーム画像１２は、注目領域設
定部６へ入力される。注目領域設定部６はフレーム画像
内に注目領域を定める。例えばテレビ電話への応用を考
えた場合、注目領域として話者の顔の領域や顔を含む矩
形等任意形状の領域が考えられる。注目領域設定部６は
例えば以下の方法で注目領域を設定する。

【００１８】１．ユーザー入力 ユーザーが注目領域として設定したい画像領域をマウス
などによって入力する。注目領域設定部６はユーザーに
よって入力された領域を注目領域とする。 ２．自動検出 既知の画像処理技術、例えばオプティカルフロー、色に
よるオブジェクトの認識などの方法により注目領域を自
動検出する。

【００１９】注目領域設定部６は、注目領域を設定した
後、その領域のフレーム画像内位置を位置情報２０とし
て装置外部へ出力する。位置情報２０は注目領域設定部
６から出力されたフレーム画像１４とともに領域分割部
８へも入力される。注目領域設定部６から出力されたフ
レーム画像１４は、この段階ではまだ最初に入力された
フレーム画像２と同一である。

【００２０】領域分割部８は位置情報２０を参照し、フ
レーム画像１４から注目領域を分割する。領域分割部８
は、分割した注目領域１６と、分割に影響されないもと
のフレーム画像１８を別経路で処理情報付与部１０に与
える。領域分割部８から出力されたフレーム画像１８
は、この段階でも最初に入力されたフレーム画像２と同
一である。

【００２１】処理情報付与部１０は、入力された画像デ
ータに対し、その画像データを符号化する際の処理内容
を付加して出力する。すなわち、注目領域１６について
はその領域を符号化するための処理内容を付与して符号
化指示付注目領域２２を出力する。フレーム画像１８に
ついても同様に、その画像を符号化する際の処理内容を
付加して符号化指示付フレーム画像２４を出力する。符
号化の処理内容として、複数の符号化手法のうちのひと
つを指定してもよいし、符号化手法自体は変えずにその
符号化パラメータを指示してもよい。フレーム画像１８
全体の中で注目領域１６の画質を維持したければ、注目
領域１６については画質が高くなるような符号化手法、
例えば符号化精度が高まるようなパラメータの指定、ま
たはデータ圧縮率がある程度低くなるようなパラメータ
の指定を行うことにより、符号化指示付注目領域２２を
生成する。フレーム画像１８については逆に、注目領域
１６に比べてある程度データ圧縮率が高まるような符号
化手法を選択する。

【００２２】処理情報付与部１０によって符号化器での
符号化精度を変える場合、例えばＭＰＥＧならＤＣＴ係
数の量子化パラメータや、画像の空間解像度を変えるこ
とにより、最終的な符号量を変えればよい。ＤＣＴ係数
とは、画像の符号化を空間周波数成分に注目して行う際
に一般に実施される直交変換の一種である離散コサイン
変換の係数をいう。一方、空間解像度とは、縦横方向の
画素数によって決まる解像度をいう。したがって注目領
域１６については、相対的にＤＣＴ係数の量子化ステッ
プを細かく（量子化パラメータを小さく）設定するか、
空間解像度を高めに設定すればよい。

【００２３】符号化指示付注目領域２２、符号化指示付
フレーム画像２４、位置情報２０はともに図示しない符
号化器へ与えられる。位置情報２０は符号化器で符号化
ビットストリームの中に組み込まれる。ただし、位置情
報２０は符号化処理自体には必要ではないため、これを
図示しない復号化器に送ってもよい。

【００２４】以上の構成による画像処理装置１００の動
作を説明する。まず、フレーム画像２は画像処理装置１
００のフレーム入力部４へ入力される。ここがバッファ
としてタイミングの調整を図り、フレーム入力部４から
出力されたフレーム画像１２が注目領域設定部６へ与え
られる。注目領域設定部６では、例えばユーザーの指示
に従い、注目領域を例えば矩形でフレーム画像内に設定
する。それ以外の方法として、注目領域設定部６は人物
の顔など重要な領域を自ら検出し、これを注目領域とし
て設定してもよい。その場合でも、人物の顔を囲む矩形
の領域を設定すれば、一般に後の処理の負担は軽くな
る。注目領域が設定されれば位置情報２０が出力され
る。位置情報２０は例えば注目領域の矩形の右上及び左
下の画像内座標でもよい。位置情報２０及び注目領域設
定部６から出力されたフレーム画像１４は領域分割部８
へ入力される。

【００２５】領域分割部８は、注目領域設定部６から出
力されたフレーム画像１４を入力し、これをフレーム画
像１８として出力するとともに、位置情報２０を用いて
注目領域の切り出しを行う。切り出された注目領域１６
はフレーム画像１８とともに処理情報付与部１０へ出力
される。

【００２６】処理情報付与部１０は、注目領域１６に対
して相対的に多くの符号量が割かれるように符号化指示
付注目領域２２及び符号化指示付フレーム画像２４を出
力する。図示しない符号化器は、符号化指示付注目領域
２２及び符号化指示付フレーム画像２４をそれぞれの符
号化の処理内容にしたがって符号化することができる。

【００２７】以上が符号化までの流れである。こうして
符号化器で符号化された画像データが復号化器へ投入さ
れるとき、復号化器は位置情報２０を参照するため、注
目領域及びフレーム画像全体を別々に符号化し、しかる
後、復号化されたフレーム画像に復号化された注目領域
を合成することができる。これで一連の符号化及び復号
化処理が完結する。

【００２８】以上、本実施形態によれば、実際の符号化
処理の前段で処理が行われるため、符号化器自体のハー
ドウェアを変更する必要がない。通常符号化器は、符号
化精度を制御する符号化制御部を備えるため、符号化の
処理内容についてはその符号化制御部へ渡すことができ
る。本実施形態によれば、注目領域以外の領域のデータ
圧縮率を高く維持することができるため、比較的コンス
タントに、比較的高いデータ圧縮効果を得ることができ
る。なお、本実施形態については以下のような変形技術
も考えられる。

【００２９】（１）本実施形態では、処理情報付与部１
０においてフレーム画像１８全体についても符号化処理
の内容を付加して出力した。しかしながら、フレーム画
像１８についてはデフォルトで符号化処理の内容を定め
ておくことにより、フレーム画像１８が処理情報付与部
１０を素通りするか、またはそこを介さないような構成
を採用してもよい。

【００３０】（２）同様に、注目領域１６の符号化処理
の内容を定めておけば、（１）とは逆に注目領域１６が
処理情報付与部１０を素通りするか、またはそこを介さ
ないような構成を採用することができる。

【００３１】（３）本実施形態では注目領域を設定する
こととした。しかし逆に非注目領域を設定することによ
り、以降の処理を反転することもできる。

【００３２】実施形態２ 実施形態１では、注目領域１６を分割した後、もとのフ
レーム画像１８をそのまま符号化器へ渡す構成とした。
実施形態２では、フレーム画像１８のうち注目領域１６
に相当する部分に単純化処理を施し、後段の符号化器に
おいて更に高いデータ圧縮率が達成できるための画像処
理装置を説明する。したがってこの画像処理装置も、符
号化のための前処理装置と把握することができる。

【００３３】図２は本実施形態に係る画像処理装置１０
２の構成図である。同図における新たな構成は、フレー
ム画像１８に対して単純化処理を施す単純化処理部２６
である。単純化処理部２６は、フレーム画像１８のう
ち、すでに切り出された注目領域１６に相当する部分に
対し、画像の単純化処理を施す。単純化を経たフレーム
画像は修正フレーム画像２８として処理情報付与部１０
に出力される。

【００３４】図３は、本実施形態に係る領域分割部８及
び単純化処理部２６の動作を説明する図である。同図の
ごとく、注目領域設定部６から出力されたフレーム画像
１４から、領域分割部８において注目領域１６が切り出
される。続いて単純化処理部２６により、領域分割部８
から出力されたフレーム画像１８に単純化処理が施され
る。図３の場合、注目領域１６に相当する領域３０が単
一色で塗られ（すなわち、領域３０に含まれる画素の画
素値が所定の固定データに一括して置き換えられ）、修
正フレーム画像２８が生成されている。この状態で、注
目領域１６及び修正フレーム画像２８が処理情報付与部
１０に与えられる。処理情報付与部１０は、これらふた
つの画像に対して異なる符号化の処理内容を付加し、符
号化指示付注目領域２２及び符号化指示付フレーム画像
２４を出力する。

【００３５】本実施形態によれば、実施形態１に比べ、
更に高いデータ圧縮率を実現することができる。単純化
処理によって単一色に置き換えられた領域３０がより少
ない符号量で符号化できるためである。こうした単純化
処理を行っても、復号化器はこれらふたつの画像を復号
化した後、位置情報２０を用いて画像の合成ができるた
め、単純化処理が施された領域を最終的に覆い隠すこと
ができる。

【００３６】本実施形態では、単純化処理として単一色
による置き換えを行ったが、最終的に符号量が減るよう
な画像変換処理であれば、いかなる処理も採用可能であ
る。例えば、切り出された注目領域１６と境界線上で同
じ色になるような画像を領域３０にはめ込んでもよい。
その場合、境界線前後で画素値の変化が少ないため、一
般に符号量が減る。これ以外に、切り取られた領域３０
の上下及び左右方向で色が滑らかに変化するようにグラ
デーション処理を行ってもよい。

【００３７】実施形態３ 実施形態１、２では画像符号化の前処理装置を説明し
た。本実施形態では、符号化器も含む画像処理装置を説
明する。

【００３８】図４は、本実施形態に係る画像処理装置１
０４の構成図である。本実施形態における新たな構成
は、注目領域１６を符号化する第一符号化器４０と、修
正フレーム画像２８を符号化する第二符号化器４２と、
これらふたつの符号化器の符号化精度を制御する符号化
制御部４４である。これらの構成を新設したことに伴
い、処理情報付与部１０は削除されている。その他の構
成については、図２同等であり、同一の符号を与えて説
明を省略する。

【００３９】符号化制御部４４は、第一符号化器４０に
おける符号化精度を相対的に高く、一方、第二符号化器
４２による符号化精度を相対的に低く設定する。第一符
号化器４０及び第二符号化器４２は、例えば既存の符号
化器をそのまま採用することができる。その場合、それ
ら符号化器には必要なフレームメモリ等が予め内蔵され
ており、必要なタイミング制御等が可能になる。

【００４０】第一符号化器４０の出力４６は図示しない
復号化器へ与えられる。同様に、第二符号化器４２の出
力４８も復号化器へ与えられる。画像処理装置１０４に
よれば、実施形態２の画像処理装置１０２及び符号化器
の組み合わせによる効果を得ることができる。

【００４１】なお、本実施形態については単純化処理部
２６は必須ではなく、これを外した場合、領域分割部８
から出力されたフレーム画像１８をそのまま第二符号化
器４２へ投入すればよい。

【００４２】実施形態４ 実施形態１〜３では、主に１枚のフレーム画像を符号化
するための構成を説明した。本実施形態では、連続的に
投入されるフレーム画像、すなわち動画像を符号化し、
またはその前処理を行うための装置を説明する。

【００４３】図５は、本実施形態に係る注目領域設定部
５４及びその周辺の構成を示す図である。同図の構成
は、図１、図２、図４のいずれの画像処理装置にも組み
込むことができ、その際、新たに設けられる構成は注目
領域保持部５０である。

【００４４】注目領域保持部５０には、領域分割部８で
分割された注目領域１６が入力されている。注目領域保
持部５０は、入力された注目領域１６の画像５２を注目
領域設定部５４へ適切なタイミングで出力する。注目領
域設定部５４は、注目領域保持部５０から与えられた画
像５２をモデルとして、フレーム入力部４から出力され
たフレーム画像１２に対し、画像マッチング処理を行
う。画像マッチングには既知のエリアマッチング、ブロ
ックマッチング等の手法が用いられる。その結果、良好
なマッチングを示した箇所が新たな注目領域として検出
され、注目領域設定部５４で自動設定される。以下同様
に、ひとつ前のフレーム画像に関する注目領域を用いて
次のフレーム画像における注目領域の位置を検出するこ
とで、動画像に対して連続的に対応することができる。

【００４５】本実施形態のように動画像を扱う場合、符
号化精度を変える新たな方法として、フレーム間隔（フ
レームスキップ数）を変える方法がある。つまり、フレ
ーム画像１８についてはある程度フレームを間引いて符
号化することにより、全体の符号量を低減することがで
きる。なお、本実施形態についても実施形態１〜３で述
べた各種変形技術が可能である。

【００４６】実施形態５ 実施形態１〜４では符号化及びその前処理装置を中心に
述べた。本実施形態では復号化及びその後処理装置につ
いて説明する。

【００４７】図６は本実施形態に係る画像処理装置１０
６の構成図である。この画像処理装置１０６は、例えば
実施形態３の画像処理装置１０４によって符号化された
画像データを復号化するものであり、図４と同一の信号
には同一の符号を与えている。この画像処理装置１０６
は、符号化された注目領域４６を入力し、これを復号化
する第一復号化器５６と、符号化されたフレーム画像４
８を入力し、これを復号化する第二復号化器５８と、第
一復号化器５６で復号化された注目領域６０及び第二復
号化器５８で復号化されたフレーム画像６２を合成する
画像合成部６４を含む。画像合成部６４は、注目領域の
位置を示す位置情報２０を参照する。

【００４８】以上の構成による復号化の動作を説明す
る。第一復号化器５６は、符号化された注目領域４６を
入力する。復号化された注目領域６０は画像合成部６４
へ与えられる。同様に、第二復号化器５８で復号化され
たフレーム画像６２も画像合成部６４へ与えられる。こ
のとき注意すべきは、これらふたつの復号化器が、符号
化精度という概念を持たないことである。すなわち符号
化精度は符号化の際に問題となるだけであり、復号化は
一定の規則で単純に行われる。したがって、図４におけ
る符号化制御部４４のような構成は本実施形態では不要
である。一方、画像合成部６４は、復号化されたフレー
ム画像６２の適切な位置に復号化された注目領域６０を
はめ込むことにより、もとの画像を再生する。このと
き、はめ込みの位置として位置情報２０を用いる。はめ
込みは、実際には画像の上書きであり、処理の付加は軽
い。こうして合成された画像は最終画像６６として出力
される。以降、この最終画像６６は、例えば表示装置に
表示される。

【００４９】以上、本実施形態によれば既存の復号化器
をふたつ用いて第一復号化器５６及び第二復号化器５８
とすることができる。復号化の後処理に相当する画像合
成部６４は、例えばソフトウェアを中心に構成すること
ができる。したがって本実施形態によれば、例えば実施
形態３の画像処理装置１０４とあわせて使うことによ
り、比較的にコンスタントに、比較的高いデータ圧縮率
を実現することができる。

【００５０】なお本実施形態では、位置情報２０を用い
て画像を合成することとした。しかしながら、画像合成
部６４は他の方法を用いて画像を合成することも可能で
ある。例えば、符号化に実施形態３の画像処理装置１０
４を用いたとき、復号化されたフレーム画像６２は図３
に示す修正フレーム画像２８に対応して単一色の領域３
０を持つ。そのため、画像合成部６４はそのような単一
色の領域３０を探索することにより、この領域に復号化
された注目領域６０の画像をはめ込むことができる。そ
れ以外の方法として、画像合成部６４は、復号化された
注目領域６０をフレーム画像内の固定位置に合成しても
よい。例えばテレビ電話で人物を写すような場合、その
人物の顔の位置が大きく変わることはあまりない。そう
した経験則に基づき、復号化されたフレーム画像６２の
中央付近に復号化された注目領域６０を合成してもよ
い。この方法の場合、画像合成部６４は位置情報２０を
参照する必要がなく、この信号を削除することもでき
る。なお、固定位置への合成によってずれが生じた場
合、図３の単一色の領域３０が画面に見える場合が考え
られる。そうした事態に配慮し、単一色の領域３０が現
れた場合にはその周辺の画素によってその領域を埋める
などの処理を施すこともできる。

【００５１】更に本実施形態によれば、符号化側と復号
化側からなる画像処理システムを実現することができ
る。例えば、図４に示す画像処理装置１０４を符号化
側、図６に示す画像処理装置１０６を復号化側に配置す
ればシステムができる。それ以外に符号化側は、まず図
１の画像処理装置１００または図２の画像処理装置１０
２を前処理装置として配置し、その後段に符号化器をお
くことで実現する。その場合も復号化側は例えば図６の
画像処理装置１０６で構成することができる。図６の画
像処理装置１０６は、必ずしもふたつの復号化器を持つ
必要はなく、単一の復号化器で処理することもできる。
その場合、復号化器の出力部にフレームメモリなどのバ
ッファをおき、復号化された注目領域６０及び復号化さ
れたフレーム画像６２をいったん格納する構成とする。
画像合成部６４はそのバッファからふたつの画像を取り
出し、画像を合成する。

【００５２】以上、種々の実施形態を説明した。これら
の実施形態では、フレーム画像全体と注目領域の画像が
いつも一対で送受信される点に特徴がある。

【００５３】実験の結果 本発明の有用性をテストするために、図４の画像処理装
置１０４及び図６の画像処理装置１０６を組み合わせた
画像処理システムについてテストを行った。図４の画像
処理装置１０４において、第一符号化器４０及び第二符
号化器４２として、Ｈ．２６３エンコーダを用いた。ま
たフレーム画像として、ＭＰＥＧ４テスト画像「ｆｏｒ
ｅｍａｎ」（ＣＩＦ ３５２×２８８、１００フレーム
分）を利用した。注目領域として、顔の部分をＱＣＩＦ
サイズ（１７６×１４４）の矩形で切り出した。注目領
域については、ＤＣＴ係数の量子化パラメータＱＰ＝２
で符号化した。フレーム画像から注目領域を取り除いた
部分は灰色の単一色で埋め、修正フレーム画像を作成し
た。修正フレーム画像はＱＰ＝１０で符号化した。な
お、ＱＰは小さな値ほど符号化精度が高い。

【００５４】実験の結果、フレーム画像全体を均一にＱ
Ｐ＝２で符号化した場合に比べ、注目領域の画質を落と
すことなく、平均で３０パーセントの符号量を削減する
ことができた。

【図面の簡単な説明】

【図１】 実施形態１に係る画像処理装置の構成図であ
る。

【図２】 実施形態２に係る画像処理装置の構成図であ
る。

【図３】 実施形態２において、修正フレーム画像を生
成する様子を示す図である。

【図４】 実施形態３に係る画像処理装置の構成図であ
る。

【図５】 実施形態４における注目領域設定部及びその
周辺の構成図である。

【図６】 実施形態５に係る画像処理装置の構成図であ
る。

【符号の説明】

２ フレーム画像、４ フレーム入力部、６，５４ 注
目領域設定部、８ 領域分割部、１０ 処理情報付与
部、１２ フレーム入力部から出力されたフレーム画
像、１４ 注目領域設定部から出力されたフレーム画
像、１６ 領域分割部から出力された注目領域、１８
領域分割部から出力されたフレーム画像、２０位置情
報、２２ 符号化指示付注目領域、２４ 符号化指示付
フレーム画像、２６ 単純化処理部、２８ 修正フレー
ム画像、３０ 領域、４０ 第一符号化器、４２ 第二
符号化器、４４ 符号化制御部、４６ 符号化された注
目領域、４８ 符号化されたフレーム画像、５０ 注目
領域保持部、５２ 注目領域１６の画像、５６ 第一復
号化器、５８ 第二復号化器、６０ 復号化された注目
領域、６２ 復号化されたフレーム画像、６４ 画像合
成部、６６ 最終画像、１００，１０２，１０４，１０
６ 画像処理装置。

Claims (10)

【特許請求の範囲】
1. 【請求項１】 少なくともひとつの画像領域について符
   号化の処理内容を記述して第一の情報を生成し、少なく
   ともひとつの画像領域についてその画像内位置を記述し
   て第二の情報を生成し、少なくともひとつの画像領域に
   ついて第一および第二の情報を関連づけて符号化処理に
   向けて出力することを特徴とする画像処理方法。
2. 【請求項２】 フレーム画像内に注目領域を定め、フレ
   ーム画像のうち注目領域に相当する画像部分に単純化処
   理を施して修正フレーム画像を生成し、しかる後に注目
   領域の画像と修正フレーム画像を同一の符号化処理また
   はそれぞれ処理内容の異なる符号化処理に向けて出力す
   ることを特徴とする画像処理方法。
3. 【請求項３】 前記単純化処理は、その処理が施された
   前記画像部分に符号化処理を行ったときその符号量が減
   るような画像変換処理である請求項２に記載の画像処理
   方法。
4. 【請求項４】 フレーム画像のうち注目領域の画像とフ
   レーム画像全体を別々に復号化し、注目領域がもとのフ
   レーム画像において占めていた位置に基づき、復号化し
   た注目領域を復号化したフレーム画像内に合成すること
   を特徴とする画像処理方法。
5. 【請求項５】 フレーム画像を入力する手段と、 入力されたフレーム画像において注目領域の位置を設定
   する手段と、 位置の設定された注目領域をフレーム画像から分割する
   手段と、 を含み、フレーム画像全体と分割された注目領域の画像
   をそれぞれ異なる処理内容で符号化する符号化装置に向
   けて出力することを特徴とする画像処理装置。
6. 【請求項６】 フレーム画像を入力する手段と、 入力されたフレーム画像において注目領域の位置を設定
   する手段と、 位置の設定された注目領域をフレーム画像から分割する
   手段と、 分割された注目領域の画像を符号化する手段と、 フレーム画像全体を、分割された注目領域の画像とは異
   なる処理内容で符号化する手段と、 を含むことを特徴とする画像処理装置。
7. 【請求項７】 フレーム画像のうち注目領域に相当する
   画像部分に単純化処理を施して修正フレーム画像を生成
   する手段をさらに含み、分割された注目領域の画像とは
   異なる処理内容で修正フレーム画像が符号化される請求
   項５、６のいずれかに記載の画像処理装置。
8. 【請求項８】 前記注目領域の位置を設定する手段は、
   過去に設定された注目領域に関する情報を利用すること
   により、連続的に入力されるフレーム画像について順次
   注目領域を検出して設定していく請求項５〜７のいずれ
   かに記載の画像処理装置。
9. 【請求項９】 フレーム画像から分割された状態で符号
   化された注目領域の画像を復号化する手段と、 フレーム画像全体を復号化する手段と、 注目領域がもとのフレーム画像において占めていた位置
   に基づき、復号化された注目領域の画像を復号化された
   フレーム画像内に合成する手段と、 を含むことを特徴とする画像処理装置。
10. 【請求項１０】 符号化側では、フレーム画像内の注目
    領域とフレーム画像全体を別々の処理内容で符号化し、
    復号化側では、符号化された注目領域と符号化されたフ
    レーム画像全体を別々に復号化し、復号化後のフレーム
    画像内に復号化後の注目領域を合成することを特徴とす
    る画像処理システム。