JPH07123409A - 動画像分析合成装置 - Google Patents

Abstract

(57)【要約】 【目的】 動画像データを視覚的に遜色のない画質で効
率よく符号化する動画像分析合成装置を提供する。 【構成】 時間的に変化する動画像データをｘ−ｙ二次
元平面と時間軸方向の３次元空間画像データとして扱
う。情報変化分析部１２は元の動画像データについて３
次元的な変化を分析する。特徴点検出部１３は分析結果
の極大値、極小値を算出して特徴点を抽出する。特徴点
をつなぐと曲面になる。特徴点符号化部１４は特徴点を
符号化する。情報符号化部１５は特徴点の構成する曲面
の上での情報を分析して圧縮する。総合符号化部１６は
特徴点符号化部１４と情報符号化部１５のデータを符号
化する。合成部２０は上記処理と逆の処理を行って、元
の動画像を復元する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、たとえば、画像記録、
通信などの分野で利用される画像処理および符号化処理
を行う装置とその方法に関するものであり、特に、効率
のよい動画像データを符号化可能な動画像分析合成装置
に関する。

【０００２】

【従来の技術】効率のよい画像圧縮の方法は数多く考え
られているが、依然として、画質、圧縮率をさらに高め
なければならないという要請がある。２次元静止画像に
関しては、人間の視覚特性が輝度の急変するエッジに対
して敏感であることを考慮して、そのエッジ部分を忠実
に再現する試みがされている。しかしながら、動画像に
関しては、まだそのような試みを行ったことは知られて
いない。したがって、動画像に対しても効率の画像圧縮
技術を開発することが望まれている。

【０００３】動画像においては、空間２次元信号を時間
方向に並べることにより３次元時空間画像として見なす
ことができる。人間の視覚特性はこの時空間画像に対し
て通常の空間方向のエッジ検出と並行して時間方向へ動
き検出も行なっている。特に動くエッジに対しては敏感
な反応が視覚情報処理を司る神経細胞で観測されてい
る。したがって、空間エッジ検出が視覚にとって重要で
あったのと同様に動くエッジも重要であることが示唆さ
れる。従来の動き検出を用いた画像圧縮は、動き検出を
何らかの方法で行なって、それを用いて時間方向に予測
を行ない、その誤差の符号化を行っている。

【０００４】

【発明が解決しようとする課題】しかしながら、この方
法では先に述べた動くエッジに注目してそこの情報を忠
実に送るという技術ではないから、動画像に対して充分
高い効率の符号化が達成されていない。

【０００５】したがって、本発明は、動画像に対して高
画質で高い圧縮率を達成することが可能な画像圧縮技術
とそれを用いた装置を提供することを目的とする。つま
り、本発明は、視覚的に遜色のない空間方向、時間方向
への画像の拡大あるいは補間および視覚的に遜色のない
画質で高い圧縮率を達成できる動画像分析合成装置を提
供することを目的とする。

【０００６】

【課題を解決するための手段】本発明は、上述した課題
を解決し、上記目的を達成するため、本発明の動画像分
析合成装置は、動画像を分析した圧縮符号化する動画像
分析装置と、符号化された信号を復号する動画像合成装
置とから構成される。動画像分析装置は、時間的に変化
する元の動画像データを二次元平面および時間軸方向の
３次元空間に分布する３次元空間画像データとして分析
して、特徴点を抽出する手段と、該抽出された特徴点を
３次元に広がる曲面として表す手段と、曲面の切断曲線
から曲率の極値を算出する手段と、該曲率の極値を時間
軸方向に連結した曲線と基準となる画像データの切断曲
線とで曲面を表す手段と、該曲面のデータを圧縮する手
段とを具備する。動画像合成装置は、上記動画像分析装
置から符号化された信号を受入れ、動画像分析装置にお
ける処理と実施的に逆の処理を行い、前記圧縮されたデ
ータを相似補間して元の動画像データを復元する。

【０００７】特定的には、動画像分析装置における前記
特徴点を抽出する手段は、元の画像データにスムーシン
グ関数を畳み込んでＤＣ成分を抽出し、ＤＣ成分を除い
た画像データについて多重解像度分析を行って特徴点を
抽出する。また特定的には、動画像分析装置における前
記極値を算出する手段は、前記ＤＣ成分を除いた画像デ
ータにスムーシング関数を畳み込んで、その値が０にな
る部分を極値に決定する。さらに特定的には、動画像分
析装置における前記曲面を表す手段は、曲率の極値の距
離が最小になる極値点同士を連結して曲面を表す。

【０００８】

【作用】動画像分析装置において、連続する動画像デー
タを、ｘ−ｙ平面に加えて時間軸ｔ方向の３次元空間画
像データとして分析し、特徴点を抽出する。また動画像
分析装置において、これら抽出された特徴点を３次元空
間に広がる曲面として表し、曲面の切断曲線から曲率の
極値、つまり、極大値と極小値を求める。さらに動画像
分析装置において、曲率の極値を時間軸方向に連結した
曲線として表し、この曲線と、基準となる、たとえば、
第１フレーム目の切断曲線とで曲面を表現し、それを圧
縮し符号化する。動画像合成装置は、上述した符号化信
号を受入れ、上述した符号化した処理を逆に行い、元の
動画像データを復元する。

【０００９】

【実施例】本発明は動画像を画像平面と時間軸が構成す
る３次元空間に画像情報（輝度信号、色差信号など）が
分布しているものと見なし、その変化を分析して、変化
の特徴点における情報を用いて元の動画像を近似する。
この実施例では、その近似は、３次元空間におけるエッ
ジ曲面の検出とその点における分析結果を用いて、エッ
ジ曲面以外の点の画像情報を補間する。エッジ点の場所
も情報であるのでこれも符号化しなければならないが、
ここでは、曲面という幾何学的な構造をパラメトリック
な関数表現で表し、その関数を分析して画像データの圧
縮を行う。

【００１０】以下、図面を参照し、本発明の実施例の動
画像分析合成装置について詳述する。説明を容易にする
ため、白黒の動画像がＦフレームだけフレームメモリへ
送られ、このＦフレーム分の動画像をまとめて符号化す
ることを考える。図１は本実施例の動画像分析合成装置
１のブロック図である。この動画像分析合成装置（シス
テム）１は分析部（動画像分析装置）１０と合成部（動
画像合成装置）２０とを有する。分析部１０と合成部２
０との間には信号伝送系、たとえば、磁気テープまたは
磁気ディスクなどの磁気記録媒体、あるいは、通信シス
テムにおける信号伝送系などが存在するが、図面におい
ては省略している。分析部１０は、画像メモリ１１、情
報変化分析部１２、特徴点検出部１３、特徴点符号化部
１４、情報符号化部１５および総合符号化部１６を有す
る。合成部２０は、総合再生部２１、情報再生部２２お
よび元画像再生部２３を有する。

【００１１】まず、上述した構成部分の処理内容の概要
を述べる。画像メモリ１１は入力された白黒動画像をＦ
フレーム分を記録し、情報変化分析部１２はその動画像
の輝度変化の３次元分析を行う。特徴点検出部１３は、
情報変化分析部１２における分析結果から特徴点の存在
する場所を３次元空間上に点として表現する。特徴点符
号化部１４は、特徴点検出部１３の解析結果である特徴
点の存在する場所を曲面として表現する。情報符号化部
１５は、元の動画像再生のための分析を、上述の特徴点
の場所において実行し、その分析結果を総合符号化部１
６に送出する。総合符号化部１６は、特徴点符号化部１
４と情報符号化部１５から送られてくる情報を総合して
適切に符号化する。

【００１２】総合再生部２１は、総合符号化部１６にお
いて符号化された情報を、信号伝送系（図示せず）を介
して受信して、その情報から特徴点符号化部１４と情報
符号化部１５の出力情報を再生する。情報再生部２２
は、特徴点の位置に関する再生結果を基に特徴点を３次
元空間内に選び、情報符号化部１５の分析結果に関する
再生結果をその位置に配置する。情報再生部２２は、特
徴点外の場所における画像成分も補間することにより、
元の動画像の視覚的に重要である３次元空間で輝度変化
の激しい部分は忠実に、その他の部分はなだらかに近似
する。

【００１３】さらに上述した各部の処理内容の詳細につ
いて述べる。画像メモリ１１ 画像メモリ１１は、カメラやビデオなどの画像信号出力
装置（図示せず）からＦフレーム分の動画像を順次連続
して入力して記憶する。この入力画像データを元の画像
データ（または、原画像データ、あるいは、初期画像デ
ータ）Ｉ₀(x,y,t)として表す。パラメータｘは（ｘ−
ｙ）二次元平面における横（ｘ軸）方向の位置、パラメ
ータｙは縦（ｙ軸）方向の位置、パラメータｔは時間経
過を示す。記号Ｉは白黒画像の輝度（強度）を示す。記
号Ｉ_o は初期状態における（または元の画像の）輝度を
示す。この画像メモリ１１に記憶された元の画像データ
Ｉ₀ (x,y,t) は、ｘ−ｙ平面として規定される画像平面
（イメージ平面）と、時系列的な変化を時間（ｔ）軸に
置き換えた３次元空間上に分布する情報として扱うこと
ができる。この画像メモリ１１に記憶された３次元的な
元の画像データＩ₀ (x,y,t) は、情報変化分析部１２に
おいて分析を行うために、画像メモリ１１から読み出さ
れて情報変化分析部１２に出力される。

【００１４】情報変化分析部１２ 情報変化分析部１２においては、画像メモリ１１から読
み出した元の画像データＩ₀ (x,y,t) についての３次元
的な変化を分析する。具体的には、この３次元的な変化
の分析として、情報変化分析部１２は、異なる分析スケ
ールを適用する多重解像度での各方向へ方向性のあるフ
ィルタリング処理を行なう。多重解像度とは、周波数空
間において帯域特性の異なる複数のフィルタを用いて信
号を帯域ごとに分割することを意味し、情報変化分析部
１２において、複数のスケールσ_j について、サフック
ス（インデックス）ｊ＝ｊ１，ｊ２，・・・，ｊＪまで
行なう。情報変化分析部１２はまず、ＤＣ成分を独立に
分析する。窓関数あるいはスムージング関数をガウス関
数として表されるＧ(x,y,t: σ_j ) とおくと、ＤＣ成分
は、最も粗い解像度ｊ＝ｊＪに相当するスムージング関
数Ｇ(x,y,t: σ_i ) のフィルタ出力に相当する。このこ
とは、下記式１で表されるように、元の画像データＩ₀
(x,y,t) にスムージング関数Ｇ(x,y,t: σ_i ) を畳み込
むことによって、ＤＣ成分が抽出されること意味してい
る。

【００１５】

【数１】

【００１６】１つの記号＊は１回の畳み込み演算を表
す。式１には３個の＊が存在するから、パラメータｘ，
ｙ，ｔについて３回、つまり、３次元の畳み込み演算が
行われることを示している。元の画像データＩ₀ (x,y,
t) から式１で表れるＤＣ成分を減じたＤＣ成分を含ま
ない画像データＩ(x,y,t) は下記式で表れる。

【００１７】

【数２】

【００１８】以下、式２で表したＤＣ成分を含まない画
像データＩ(x,y,t) を単に、画像データと呼ぶ。情報変
化分析部１２は、式２で示される画像データＩ(x,y,t)
の変化を分析する。以下、情報変化分析部１２の分析処
理を述べる。まず、情報変化分析部１２はスムージング
関数Ｇ(x,y,t: σ_i ) を偏微分した下記式３〜５で表さ
れる分析フィルタ関数を画像データＩ(x,y,t) に対して
畳み込む。

【００１９】

【数３】

【００２０】

【数４】

【００２１】

【数５】

【００２２】その演算式を式６〜８に示す。

【００２３】

【数６】

【００２４】

【数７】

【００２５】

【数８】

【００２６】以上の演算を行うことにより、情報変化分
析部１２において多重解像度分析が行われたことにな
る。

【００２７】特徴点検出部１３ 特徴点検出部１３では、情報変化分析部１２の分析結果
の極値、つまり、極大値、極小値の場所（位置または
点）を求める。その具体的な処理について述べると、特
徴点検出部１３は、式６〜式８の結果をもう一度同じ方
向に微分して、ゼロクロス点を求める。ゼロクロス点が
極値を示し、特徴点検出部１３はその極値が発生した位
置を記憶する。この特徴点検出部１３における演算は、
情報変化分析部１２における演算とほぼ同じであり、ス
ムージング関数Ｇ(x,y,t: σ_i ) について、ｘ，ｙ，ｔ
のそれぞれの方向への２階微分（偏微分）したフィルタ
出力のゼロクロス点を求めることになる。スムージング
関数Ｇ(x,y,t: σ_i ) についての２階偏微分を下記式９
〜１１に示す。

【００２８】

【数９】

【００２９】

【数１０】

【００３０】

【数１１】

【００３１】特徴点検出部１３は、上記２階偏微分とし
て定義された分析フィルタ関数に画像データＩ(x,y,t)
を畳み込む。その演算式を下記１２〜１４に示す。

【００３２】

【数１２】

【００３３】

【数１３】

【００３４】

【数１４】

【００３５】特徴点検出部１３は、式１２〜１４の演算
を行って、それぞれのゼロクロス点を求める。ここで、
式１２において、畳み込み演算結果Ｗ_xxＩ(x,y,t:
σ_j ) が０となる点（位置）を、Px_i (x_xi,y_xi,t_xi: σ
_j ) と表す。但し、インデックスｉ＝１，２，・・，Ｎ
_x ^j について、Ｎ_x ^j 個ののゼロクロス点があるものと
する。同様に、式１３において、畳み込み演算結果Ｗ_yy
Ｉ( x,y,t:σ_j ) が０となる点（位置）を、Py_h (x_yh,y
_yh,t_yh: σ_j ) と表す。但し、インデックスｈ＝１，
２，・・，Ｎ_y ^j について、Ｎ_y ^j 個ののゼロクロス点
があるものとする。また同様に、式１４において、畳み
込み演算結果Ｗ_ttＩ( x,y,t:σ_j ) が０となる点（位
置）を、Pt_k (x_tk,y_tk,t_tk: σ_j ) と表す。但し、イン
デックスｋ＝１，２，・・，Ｎ_t ^j について、Ｎ_t ^j 個
ののゼロクロス点があるものとする。簡単な表現にする
ため、点（位置）Px_i (x_xi ,y _xi,t_xi: σ_j ) を点Px_i
(j)、点Py_h (x_yh,y_yh,t_yh: σ_j ) を点Py_h (j) 、点Pt
_k (x_tk,y_tk,t_tk: σ_j ) を点Pt_k (j) と表す。

【００３６】以上のように、特徴点検出部１３におい
て、式１２〜１４の演算を行って、ゼロクロス点、つま
り、極大値または極小値、および、その位置を求める。

【００３７】特徴点符号化部１４ 特徴点符号化部１４は、特徴点検出部１３で算出した点
Px_i (j) 、点Py_h (j)、点Pt_k (j) を曲面上の点として
とらえ、その曲面のパラメータにより、点Px_i(j) 、点P
y_h (j) 、点Pt_k (j) を表すことにより、符号化する。
図６は特徴点符号化部１４の処理を示すフローチャート
である。この詳細については後述する。特徴点符号化部
１４はまず、点Px_i (j) 、点Py_h (j) 、点Pt_k (j) を重
複している点がある場合は、１つにするようにして特徴
点の集合P(j)を作る。つまり、特徴点の集合P(j)は、畳
み込み演算結果Ｗ_xxＩ(x,y,t: σ_j ) が０か、Ｗ_yyＩ
(x,y,t:σ_j ) が０か、Ｗ_ttＩ( x,y,t:σ_j ) が０かの
いずれかの点である。その要素をPp(j) と表す。ただ
し、p=1,2,・・・,Np で全部でNp個の特徴点からなると
する。ここで、３次元上に分布する特徴点を２次元上に
分布する特徴点としてとらえるために、特徴点符号化部
１４は、ｘ−ｙ−ｔで構成される３次元空間をｘ−ｙ平
面と平行にスライスして２次元平面におとす（射影す
る）。そして、特徴点符号化部１４は、２次元平面上の
特徴点を連結して曲線を抽出する。ここで、連結とはあ
る特徴点Pp(j) に注目し、その画素を中心として（３×
３）画素から構成される正方形画像について処理を行な
い、その中に同じく特徴点集合のP(j)の要素である特徴
点が含まれていればその点を同一曲線に含むことを言
う。さらに、以上の処理から得られた各２次元平面上の
曲線を時間軸方向（ｔ方向）に連結して曲面として表現
する。まずある曲線に注目し、この曲線と次のフレーム
の曲線の各要素点（特徴点）の９個の画素（３×３）の
近傍にある点の数を計算する。そして一番一致した曲線
同士を連結して曲面を構成する。

【００３８】次に、特徴点符号化部１４は、グルーピン
グされた曲面を切断曲線と曲率の極値（極大値、極小
値）を連結した曲線で表現する。図２に曲面の例を示
す。まず、特徴点符号化部１４は曲面をｘ−ｙ平面と平
行にスライスする。これにより、曲面は各平面上の切断
曲線になる。そして、特徴点符号化部１４は、基準とな
る第１フレーム目の曲線の位置の情報を保持する。次
に、特徴点符号化部１４はこの各切断曲線に対し曲率κ
(s) を求め、さらに曲率の極大値、極小値（極値）の位
置を求める。ただし、変数ｓは始点からの位置を表すパ
ラメータである。曲線から曲率κ(s) を求める手法につ
いては後述する。そして、特徴点符号化部１４は求めら
れた曲率の極値の位置をｔ( 時間軸) 方向に連結する。
ここで、特徴点符号化部１４は、ｔ方向への連結では、
あるフレーム上の曲線Ｌ_i に含まれる曲率の極値点P _ni
と次のフレーム上の曲線Ｌ_i+1 に含まれる曲率の極値点
P _i+1mに対して下記式で定義される距離Ｄを計算する。

【００３９】

【数１５】

【００４０】そして、特徴点符号化部１４は、距離Ｄが
最小になった極値点同士を連結する。以上により、特徴
点符号化部１４は、曲線を、基準となる第１フレーム目
の位置の情報、各フレーム上での極値の位置をｔ方向に
連結した情報により曲面を表現する。特徴点符号化部１
４は、このとき新たに出現した曲線についてはこれをメ
モリ（図示せず）に保持する。図３に、基準となる第１
フレームとｔ方向の連結線によって表現された曲面の様
子を示す。

【００４１】情報符号化部１５ 情報符号化部１５は、前述の特徴点の構成する曲面の上
で情報を分析し、分析結果の圧縮処理を行なう。これら
の上での圧縮を行なう理由を述べる。つまり、これらの
特徴点では、情報変化分析部１２で分析した情報の極値
を与える点であり、その極値は、つながっている特徴点
の上は、なだらかにしか変化しないからである。より具
体的に述べると、前述した点P _gj(j) を、曲面で表現
し、特徴点符号化部１４ではその位置(x,y,t) を符号化
したが、情報符号化部１５は、分析結果（畳み込み演算
結果）Ｗ_x Ｉ(x,y,t: σ_i ) 、Ｗ_y Ｉ(x,y,t: σ_i ) 、
Ｗ_t Ｉ(x,y,t: σ_i ) を同様の手法で符号化する。情報
符号化部１５における曲面の分析結果の符号化では、特
徴点符号化部１４において表現された特徴点の位置にお
ける分析結果を曲面の情報として持つことにより圧縮を
行なう。つまり、曲面上に乗っている情報符号化部１５
における分析結果を、特徴点符号化部１４で表された第
１フレームの切断曲線と曲率とを時間方向につないだ連
結線の位置の分析結果だけで表す。以上のように、情報
符号化部１５は特徴点の上での分析結果の圧縮処理を行
なう。

【００４２】総合符号化部１６ 総合符号化部１６は、特徴点符号化部１４と情報符号化
部１５からのデータを符号化する。この符号化を簡単に
述べると、総合符号化部１６は両者の冗長度をさらに圧
縮したり、あるいは量子化のためのビット割当などを行
なう。また、必要であれば、総合符号化部１６は、誤り
訂正のための符号化処理を行なう。さらに、総合符号化
部１６はその結果を記録し、合成部２０に送信する。

【００４３】以下、合成部２０の処理について述べる。総合再生部２１ 総合再生部２１は、総合符号化部１６の符号化データを
入力し総合符号化部１６の逆の操作を行なう。つまり、
総合再生部２１は、特徴点符号化部１４と情報符号化部
１５の情報、すなわち、特徴点の場所に関するデータと
その上の情報を再構成するのに必要なデータを復号す
る。

【００４４】情報再生部２２ 情報再生部２２は、総合再生部２１から得られた特徴点
符号化部１４の出力と等価なデータから特徴点の位置、
および、情報符号化部１５の情報符号化の出力と等価な
情報から、（x −y −t ）で規定される３次元空間にお
ける全ての特徴点の位置とその位置における情報を復元
する。つまり、情報再生部２２は、特徴点符号化部１４
と情報符号化部１５で行なった圧縮の逆処理を行なう。
換言すれば、情報再生部２２は、曲面としてグループ化
された特徴点とその上の情報変化分析部１２の結果を復
元する。

【００４５】図４は情報再生部２２において復元された
曲面を示す図である。情報再生部２２はまず、基準とな
る第１フレーム目の情報を読み込む。次に、情報再生部
２２は各フレームの曲率の極値をｔ方向に連結した情報
を読み込む。さらに情報再生部２２は、第１フレームの
ｉ番目の極値の位置P₁(s_i ) と、第１フレームの(i+1)
番目の極値の位置P₁(s_i+1 ）と、それぞれに対応した次
のフレームのｊ番目の極値の位置P₂(s_j ) と、(j+1) 番
目の極値の位置P2(s_j+1)を選び出す。情報再生部２２
は、この４点に対し、第１フレーム上のｉ番目と(i+1)
番目の極値に囲まれた曲線の位置情報を使って、次のフ
レーム上のｉ’番目と（i+1)’番目の極値に囲まれた曲
線の位置を補間する。情報再生部２２は、以上の操作を
全てのフレームに対して行ない位置情報を全て復元す
る。補間の方法については後述する。同様に、情報再生
部２２は、第１フレーム目の位置情報の上にある分析結
果をｔ方向に順次補間することにより、情報変化分析部
１２の結果を復元する。

【００４６】元画像再生部２３ 元画像再生部２３は、上記の操作で得られた情報変化分
析部１２の分析結果の極値である情報に基づいてそれを
補間近似し、（x −y −t ）の３次元空間全体での情報
変化分析部１２の結果を復元し、それに式６〜８の逆変
換を行ない、x-y-t の３次元における元の画像データＩ
₀ (x,y,t) を復元する。この例では、元画像再生部２３
は、Convex Projection 法（凸面突起）法を用いて補間
と逆変換を何回か繰り返して収束させる。元画像再生部
２３はまず、特徴点からの補間は簡単のために（x,y,t
）の方向に対して独立に行なう。すなわち、元画像再
生部２３は、ｘ方向にすべてのｙとすべての時間t に対
して全部でＹＴ本の１次元データと見なし、極値におけ
る分析結果Ｗx Ｉ(x,y,t: σ_i ) を用いて、Convex Pro
jection 法により、その点を極値とするような射影を取
る。元画像再生部２３はｙ方向と、ｔ方向に対しても、
ｘ方向と同様に処理を行なう。元画像再生部２３は、得
られた近似データを式２２で定義された方法で逆変換を
行ない、再び式６〜８で定義された方法で元の分析空間
に射影する。元画像再生部２３は、この操作を数回繰り
返して、極値における分析結果ＷxＩ(x,y,t: σ_i ) 、
Ｗy Ｉ(x,y,t: σ_i ) 、Ｗt Ｉ(x,y,t: σ_i ) へ収束さ
せる。元画像再生部２３は、最後に逆変換を行ないＤＣ
成分を含まない画像データＩ(x,y,t) を復元する。逆変
換は下記式で表されるフィルタ関数を分析結果に畳み込
めばよい。

【００４７】

【数１６】

【００４８】

【数１７】

【００４９】

【数１８】

【００５０】上記式における記号C(u,v,w)は下記式で定
義される。

【００５１】

【数１９】

【００５２】式１６〜１８の左辺はそれぞれ、スムージ
ング関数（ガウス関数）Ｇx (u,v,w: σ_i ) 、Ｇy (u,
v,w: σ_i ) 、Ｇt (u,v,w: σ_i ) のフーリエ変換を表
し、つまり、頭部の山形ハットはフーリエ変換を表し、
右肩の＊は複素関数を表し、右辺の頭部の−は複素共役
を表す。ＤＣ成分を含まない画像データＩ(x,y,t) は上
式で定義される逆変換のフィルタを用いて下記式で求め
られる。

【００５３】

【数２０】

【００５４】

【数２１】

【００５５】

【数２２】

【００５６】最後に、元画像再生部２３は、下記式に示
すように、ＤＣ成分を含まない画像データＩ(x,y,t) に
ＤＣ成分S _iJ(x,y,t) を加えて元の動画像データＩ
₀ (x,y,t) を復元する。

【００５７】

【数２３】

【００５８】このようにして、合成部２０は元の画像デ
ータＩ₀ (x,y,t) を再現できた。以下、特徴点符号化部
１４で用いた曲線からの曲率の計算アルゴリズム（方
法）、および、情報再生部２２で用いた曲面の補間アル
ゴリズム（方法）について詳述する。

【００５９】曲率計算方法 まず、特徴点符号化部１４における曲率の計算方法につ
いて述べる。特徴点符号化部１４は、入力された曲線か
ら曲率を計算し、曲率で曲線を表現する。いま曲線のデ
ータ列P(s)を、パラメータs として２次元上の位置を下
記式で表す。

【００６０】

【数２４】

【００６１】パラメータｌ( エル) の関数(x(l),y(l))
の微分が存在しているとすると、曲率κ(l) は次のよう
に計算できる。

【００６２】

【数２５】

【００６３】として

【００６４】

【数２６】

【００６５】とする。式２６は次式より導出される。

【００６６】

【数２７】

【００６７】式２７を、パラメータｘについて１階微
分、さらに２階微分すると下記式が得られる。

【００６８】

【数２８】

【００６９】式２８を式２７に代入すると下記式が得ら
れる。

【００７０】

【数２９】

【００７１】式２９および式２７から下記式が得られ
る。

【００７２】

【数３０】

【００７３】ここで、x(s),y(s) に対するパラメータs
による１階微分および２階微分は、下記式で表される。

【００７４】

【数３１】

【００７５】したがって、下記式が得られる。

【００７６】

【数３２】

【００７７】式３０および式３２から曲率κ(l) は下記
式で表される。

【００７８】

【数３３】

【００７９】以上より、特徴点符号化部１４は、式３３
を用いて曲線のデータ列P(s)の曲率κ(s) を求めること
ができる。曲率κ(s) が求められれば曲面が判る。しか
しながら、データ列P(s)は、量子化された位置のデータ
であるため、得られる曲率は振動的になる。これを改善
するために、特徴点符号化部１４は、データ列 P(s)
に、スムーシング関数を畳み込む。スムーシング関数と
しては、１次元のガウス関数g(s,σ）を用いる。ここ
で、パラメータσは各解像度に対するスケールを表す。
１次元のガウス関数は下記式で表される。

【００８０】

【数３４】

【００８１】ここで、上記ガウス関数を用いてスムーシ
ングされたデータ列 P(s, σ) を下記式で表す。

【００８２】

【数３５】

【００８３】１つの畳み込みを１つの記号＊で表すと下
記式が得られる。

【００８４】

【数３６】

【００８５】曲率κ(s) を求めるためには、式３６にお
けるX(s,σ) およびY(s,σ) のそれぞれの１次微分およ
び２次微分が必要である。１次元ガウス関数g(s,σ) の
１次微分を下記式３７に示したg1(s, σ) 、２次微分を
式３８に示したg1(s, σ) とすれば、式３６におけるX
(s,σ) およびY(s,σ) それぞれの１次微分および２次
微分は、式３９〜４２で定義される。

【００８６】

【数３７】

【００８７】

【数３８】

【００８８】

【数３９】

【００８９】

【数４０】

【００９０】

【数４１】

【００９１】

【数４２】

【００９２】式３９〜４２に式３３を代入すると、各解
像度における曲率κ(l) が求められる。この曲率κ(l)
から曲面が求められる。つまり、特徴点符号化部１４は
上述した演算を行って、曲率κ(l) を求める。

【００９３】曲面補間方法 以下、図５、図７を参照しながら、情報再生部２２で行
う曲面補間処理について説明する。今、図５の様に原点
から曲線L _i 上 の特徴点P _in,P_in+1、および、曲線Li
_{i+ 1} 上の特徴点P _i+1n,P_i;1n+1までのベクトルを、
Ｐ_in、Ｐ_in+1、Ｐ_i+1n+1、Ｐ_{i+ 1n+1j} とする。ここで、
特徴点ＰinとＰin+1間のデータより、特徴点Ｐi+1nとＰ
i+1n+1との間のデータを補間することを考える。特徴点
ＰinとＰin+1との間の距離をL1、ＰinとＰin+1との間の
距離をL2とすると、下記式が得られる。

【００９４】

【数４３】

【００９５】

【数４４】

【００９６】ここで、曲線L1における単位ベクトルをｅ
１、ｅ２とすると、下記式が得られる。

【００９７】

【数４５】

【００９８】

【数４６】

【００９９】従って、曲線Li上の特徴点Ｐa における高
さh1、長さl1はそれぞれ下記式で表される。

【０１００】

【数４７】

【０１０１】

【数４８】

【０１０２】同様に、曲線Li+1上の単位ベクトルをｅ
１’、ｅ２’とすると、下記式で表される。

【０１０３】

【数４９】

【０１０４】

【数５０】

【０１０５】従って、曲線Li+1上の特徴点Ｐa'における
高さh2、長さl2はそれぞれ、下記式で表される。

【０１０６】

【数５１】

【０１０７】

【数５２】

【０１０８】ここで、曲線Li+1上の点Ｐa'の高さh2、長
さl2を次のように決めると、下記式で表される。

【０１０９】

【数５３】

【０１１０】

【数５４】

【０１１１】式５１〜５４から曲線Li+1上の特徴点Ｐa'
=(Ｐax',Ｐay')は下記式に基づいて計算できる。

【０１１２】

【数５５】

【０１１３】

【数５６】

【０１１４】以上のように、本発明の実施例において
は、元の画像データＩ₀ (x,y,t) として白黒の画像を例
示したが、本発明の実施に際しては、白黒の動画像に限
らず、カラーの動画像データについても、画質および圧
縮率を高めて符号化できる。カラー画像データとして
は、たとえば、Ｒ，Ｇ，Ｂの画像データの場合、Ｒ，
Ｇ，Ｂのそれぞれについて上述した分析処理を行えばよ
い。

【０１１５】

【発明の効果】本発明によれば、動画像データを視覚的
に遜色のない画質で高い圧縮率を達成できる。つまり、
本発明によれば、視覚的に遜色のない空間方向、時間方
向への画像の拡大あるいは補関および視覚的に遜色のな
い画質で高い圧縮率を達成できる。

【図面の簡単な説明】

【図１】図１は本発明の実施例の動画像分析合成装置の
ブロック図である。

【図２】図２は本発明の動画像分析合成装置における処
理を示すグラフである。

【図３】図３は本発明の動画像分析合成装置における処
理を示すグラフであって、第１フレームと時間軸（ｔ）
方向連結線によって表現された曲面の様子を示すグラフ
である。

【図４】図４は本発明の動画像分析合成装置における処
理を示すグラフであって、図１に示した情報再生部２２
において復元された曲面を示す図である。

【図５】図５は本発明の動画像分析合成装置における処
理を示すグラフであって、曲面補間を示す図である。

【図６】図６は図１に示した特徴点符号化部１４の符号
化処理フローチャートである。

【図７】図７は図５に示した曲面補間の処理を示す情報
再生部２２の処理フローチャートである。

【符号の説明】

１・・動画像分析合成装置 １０・・分析部 １１・・画像メモリ １２・・情報変化分析部 １３・・特徴点検出部 １４・・特徴点符号化部 １５・・情報符号化部 １６・・総合符号化部 ２０・・合成部 ２１・・総合再生部 ２２・・情報再生部 ２３・・元画像再生部

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 9061−5Ｌ Ｇ０６Ｆ 15/70 ３６５

Claims (7)

【特許請求の範囲】
1. 【請求項１】時間的に変化する元の動画像データを二次
   元平面および時間軸方向の３次元空間に分布する３次元
   空間画像データとして分析して、特徴点を抽出する手段
   と、 該抽出された特徴点を３次元に広がる曲面として表す手
   段と、 曲面の切断曲線から曲率の極値を算出する手段と、 該曲率の極値を時間軸方向に連結した曲線と基準となる
   画像データの切断曲線とで曲面を表す手段と、 該曲面のデータを圧縮する手段とを具備する動画像分析
   合成装置。
2. 【請求項２】前記圧縮されたデータを受入れ、前記動画
   像分析装置における処理と実質的に逆の処理を行い、相
   似補間して前記元の動画像データを復元する合成手段を
   さらに有する請求項１記載の動画像分析合成装置。
3. 【請求項３】前記特徴点を抽出する手段は、 元の画像データにスムーシング関数を畳み込んでＤＣ成
   分を抽出し、 ＤＣ成分を除いた画像データについて多重解像度分析を
   行って特徴点を抽出する請求項１記載の動画像分析合成
   装置。
4. 【請求項４】前記極値を算出する手段は、前記ＤＣ成分
   を除いた画像データにスムーシング関数を畳み込んで、
   その値が０になる部分を極値に決定する、請求項３記載
   の動画像分析合成装置。
5. 【請求項５】前記曲面を表す手段は、曲率の極値の距離
   が最小になる極値点同士を連結して曲面を表す、請求項
   ４記載の動画像分析合成装置。
6. 【請求項６】前記合成する手段は、 前記圧縮されたデータを受入れ、該圧縮データを伸長す
   る手段と、 伸長されたデータから曲率の極値に復元する手段と、 該復元されたデータから曲率の極値を算出する手段と、 該極値から３次元に広がる曲面として復元する手段と、 該復元した曲面から特徴点を復元する手段と、 願復元された特徴点から元の動画像データを復元する手
   段とをさらに具備する請求項２記載の動画像分析合成装
   置。
7. 【請求項７】前記特徴点を抽出する手段は、画像メモリ
   および情報変化分析部を有し、 前記３次元に広がる曲面として表す手段は、特徴点符号
   化部を有し、 前記曲率の極値を算出する手段は、情報符号化部を有
   し、 前記連結した曲線と基準となる画像データの切断曲線と
   で曲面を表す手段は情報符号化部を有し、 前記曲面のデータを圧縮する手段は、総合符号化部を有
   する請求項５記載の動画像分析合成装置。