JP2531976B2 - 映像信号処理装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、映像信号に、テクスチュア・ハイライトを
付加する映像信号処理装置に関する。

［従来の技術］ ルミナンス・フィールド（輝度領域）を表すサンプル
値の配列に適用出来る映像効果の内、どこか異なるルミ
ナンス・フィールドを表すための強調された配列を発生
する効果は、「エムボシング（embossing:浮き上がった
効果）」として知られている。縁情報を画像から抽出
し、この縁情報を用いて、一方の極性の縁に沿ってルミ
ナンスを加算すると共に、他方の極性の縁に沿ってルミ
ナンスを減算する。なお、縁に適用した用語「極性」と
は、縁が特定の方向に横切るとき、その縁と交差するル
ミナンスの変化の符号のことである。ルミナンスが増加
すると、縁は正の極性になり、また、ルミナンスが減少
すると、縁は負の極性になる。一方の方向に横切ったと
きに正極性の緑は、明らかに、他方の方向に横切ったと
き負極性である。元のルミナンス・フィールドの縁に沿
ってルミナンスを加算及び減算するとき、増加及び減少
したルミナンスの領域は、ハイライト（目立たせる）及
び影の中心となる。これが、中心に対する３次元の目印
（キュー）となり、浮き上がったテクスチュアを出現さ
せる。

現在、ルミナンス・フィールド配列を３×３高帯域通
過フィルタ・カーネル（核）に供給して、エムボシング
の映像効果を実現している。カーネルの総ての係数は、
カーネル要素の周りに対称に配置された２つ以外は、０
である。これら２つの係数は、逆極性で等しい大きさで
ある。カーネルは、２つの非ゼロ係数間の線を横切って
伸びる縁を強調する。例えば、正の係数がカーネルの左
上角であり、負の係数が右下角であるならば、ルミナン
ス・フィールドの左下角から右上角に対角的に伸びる縁
を、カーネルが強調する。その結果の縁情報配列を元の
ルミナンス・フィールド配列と組み合わせると、画像配
列が左上角から右下角に横切るときに正極性の縁がハイ
ライトされ、負極性の縁が影となる。よって、強調され
たルミナンス・フィールドが表すシーン（光景）は、３
次元であり、観察者の左上の光源から照明されたものと
なる。このカーネルの他のものは、他の位置における光
源をシミュレーションできる。

［発明が解決しようとする課題］ しかし、上述の３×３カーネルは、水平又は垂直軸、
又は、これら水平及び垂直軸に対して45度の軸に沿った
以外の照明をシミュレーションするのに用いる事が出来
ない。この方法では、任意の角度で照明の効果をシミュ
レーションすることが出来ない。

したがって、本発明の目的は、任意の角度での照明の
効果をシミュレーション出来る映像信号処理装置の提供
にある。

［課題を解決するための手段及び作用］ 上述のカーネル及び別のカーネルは、位置（u,v）に
おけるピクセルを横切るルミナンスの中央差、即ち、位
置（u,v）のピクセルの近傍で、位置（u,v）に対して対
称に配置された２つのピクセル間のルミナンスの差を計
算する。この中央差は、方向の関数であり、中央差を計
算する際の方向は、シーンのシミュレーションする照明
の方向を決める。

本発明においては、点（u,v）を通過する選択した軸
に沿い、座標軸の一方に対して任意の角度αの中央差
を、補間により計算する。選択した軸のあるオクタント
（点（u,v）を中心に45度毎に、円を８分割した８分円
の各領域）を識別し、識別したオクタントを制限するラ
インが通過する第１及び第２ピクセルを識別する。第１
ピクセル（第１隣接点）の各座標値は、点（u,v）の対
応する座標値と夫々異なり、第２ピクセル（第２隣接
点）は、点（u,v）に対して第１ピクセルと対称にす
る。第１及び第２ピクセルのルミナンス値間の差を計算
する。第３及び第４ピクセルも同様であるが、第３ピク
セル（第３隣接点）の一方の座標値を点（u,v）の対応
座標の値と同じとし、他方の座標値を点（u,v）の対応
座標の値と異なるようにする。第４ピクセル（第４隣接
点）は、点（u,v）に対して第３ピクセルと対称とす
る。これら第１及び第３ピクセルは、ルミナンス領域で
互いに隣接しており、第２及び第４ピクセルも同様であ
る。また、第３及び第４ルミナンス値の差を計算する。
これら２つの差の値と、αに関連した角度のタンジェン
トである混合比係数とにMIX（混合）演算子を適用する
と共に、その結果を、その角度のコサインに比例する係
数と乗算して、選択された軸に沿う中央差を計算する。
すなわち、本発明は、矩形にサンプルしたルミナンス・
フィールド（fu,v）を表す映像信号を処理する映像信号
処理装置であって、サンプル値抽出手段（14、24）が、
映像信号を受け、ルミナンス・フィールドの各サンプル
点（u,v）に対して、各々の座標値がサンプル点の対応
座標の値と夫々異なる第１隣接点用のサンプル値（P
1）、サンプル点に対して第１隣接点と対称に配置され
た第２隣接点用のサンプル値（P2）、一方の座標値がサ
ンプル点の対応座標の値と異なり他方の座標値がサンプ
ル点の対応座標の値と等しい第３隣接点用のサンプル値
（P3）、及びサンプル点に対して第３隣接点と対称に配
置された第４隣接点用のサンプル値（P4）を、サンプル
点に対する第１角度（α）に応じて抽出する。差手段
（32）は、第１隣接点用のサンプル値及び第２隣接点用
のサンプル値の差に等しい第１値（P1−P2）を求めると
共に、第３隣接点用のサンプル値及び第４隣接点用のサ
ンプル値の差に等しい第２値（P3−P4）を求める。混合
手段（34）は、第１角度（α）に関連した第２角度
（β）の第１三角関数（tan）で決まる第１重み値（tan
β）で第１値を重み付けすると共に、１及び第２重み
値の差である第２重み値（１−tan β）で第２値を重み
付けし、これら重み付けした第１及び第２値の和を求め
る。乗算手段（38）は、重み付けした第１及び第２値の
和を第２角度の第２三角関数（cos）に応じて決まる第
３重み値（1/2cos β）と乗算して、矩形縁配列の値（S
u,v）の発生する。そして、組み合わせ手段（12）は、
矩形縁配列の値を、矩形にサンプルした所望領域（gu,
v）と組み合わせて出力配列（qu,v）を発生させる。

［実施例］ 第１図は、連続したルミナンス・フィールド内の点に
対して、中央差をどのように計算するかを示している。
点（0,0）を中心にした円の直径の２つの対向点（R,
α）、（−R,α）におけるルミナンスの値を用いて、連
続的な、即ち、非サンプル・ルミナンス・フィールドｆ
（r,θ）の点（0,0）の周囲の中央差を計算する。この
中央差は、次のようになる。

［ｆ（R,α）−ｆ（−R,α）］/2R Ｒは、求める差が横切る距離の寸法である。

点（0,0）が格子点（ピクセル）の１つに一致する際
に、Ｘ軸（θ＝０）及びＹ軸（θ＝90度）に沿って、サ
ンプル間隔Ｒで均一に、連続したルミナンス・フィール
ドｆ（r,θ）をサンプルすることにより発生した個々の
画像格子（ピクセル）のルミナンス値Pu,vにおいて、α
＝０及びα＝π/2を除いて、点（R,α）及び（−R,α）
は、存在しない。しかし、隣接した点の補間により、α
の他の値に対するｆ（r,θ）の値を合成出来る。Ｒは１
ユニットに等しく設定し、０＜＝α＜＝π/4とすれば、
θ＝０軸に対して角度αの軸が、ｕ＝１の格子線と交差
する点Ａ（第３図）におけるｆ（r,θ）の値は、次のよ
うになる。

ｆ（Ａ）＝MIX（P1,1, P1,0, k1） …［１］ なお、MIXは、線形補間演算子であり、 MIX（A,B,K）＝KA＋（１−Ｋ）B, ０＜＝Ｋ＜＝１ である。そして、 k1＝tan α、０＜＝α＜＝π/4 と表せる。よって、点Ａの補間したルミナンス値ｆ
（Ａ）は、 ｆ（Ａ）＝MIX（P1,1, P1,0, tan α） となる。

ｆ（R,α）の値は、P0,0及びＰA間を補間することに
より得る。

ｆ（R,α）＝MIX（P0,0, f（Ａ）, k2） ここで、点（０、０）、（１、０）及びＡを３点とす
る三角形は直角三角形なので、点（Ｒ、α）をＹ軸に平
行にｘ軸上に投影した点をｑとすると、点（０、０）及
び点Ａ間の距離と点（０、０）及び点（Ｒ、α）間の距
離との比は、点（０、０）及び点（１、１）間の距離
（１）と点（０、０）及び点ｑ間の距離の比に等しくな
る。よって、点ｑ及び点（１、０）間の距離k2を用いれ
ば、ｆ（Ｒ、α）が求まる。なお、k2は、 k2＝１−cos α と表せる。

よって、 ｆ（R,α） ＝MIX（P0,0, f（Ａ）, 1−cos α） ＝（１−cos α）P0,0＋cos αｆ（Ａ） …［２］ 中央差関数CDF（0, 0;α）を計算するために、ｆ（−
R,α）も計算する必要がある。対称により、 ｆ（−Ａ）＝MIX（Ｐ−1,1, P−1,0, tan α） ｆ（−R,α）＝MIX（Ｐ−0,0, f（−Ａ）, 1−cos α） …［３］ そして、中央差関数（CDF）は、 CDF（0, 0;α） ＝（ｆ（R, α）−ｆ（−R, α））/2R ＝（ｆ（R, α）−ｆ（−R, α））/2 …［４］ なお、Ｒ＝１である。

ｆ（R,α）及びｆ（−R,α）に式［２］及び［３］を
代入して、また、MIX関数を拡張して、P0,0を含む項が
減算を行い、 CDF（0, 0;α） ＝（ｆ（Ａ）−ｆ（−Ａ））cos α/2 とする。

ｆ（Ａ）及びｆ（−Ａ）に代入すると、次のようにな
る。

CDF（0, 0;α） ＝cos α（P1,1 tan α＋（１−tan α）P1,0 −Ｐ−1,−1 tan α −Ｐ−1,0（１−tan α））/2 ＝cos α（（P1,1−Ｐ−1,−１）tan α ＋（P1,0−Ｐ−1,0）（１−tan α））/2 ＝cos αMIX（（P1,1−Ｐ−1,−１）， （P1,0−Ｐ−1,0）, tan α）/2 一般に、 CDF（0, 0;β） ＝cos βMIX（（P1−P2），（P3−P4）,tan β）/2 であり、点（u,v）に対する隣接点であるピクセルP1,P
2,P3,P4及び角度βは、対称及び置換特性から得られ、
次の表のようになる。なお、各ピクセルの相対的な位置
関係は、図２に示すようになる。

第４図の回路は、エムボシングした映像信号を発生す
るのに、上述の数字的解析をどのように適用するかを示
す。サンプルした映像信号のルミナンス成分を入力端子
８に供給する。この入力端子８は、遅延回路11及びスイ
ッチ10を介して加算回路（組み合わせ手段）12の一方の
入力端子に接続されると共に、隣接点選択器14にも接続
される。遅延回路11は、１ラインの遅延プラス１サンプ
ル期間を補間する。説明を簡略化するため、映像信号の
空間サンプル周波数は、水平及び垂直方向で同じであ
り、映像信号は、インタレースでないと仮定する。さら
に、ラスタは、左から右に、また、上から下に走査する
と仮定する。第４図の一部の詳細図である第５図に示す
ように、隣接点選択器14は、２個の遅延回路16及び18を
具えている。これら遅延回路は、遅延時間が１ライン分
であり、直列に接続されており、３点（第１遅延回路16
の前、２個の遅延回路の間、及び第２遅延回路18の後）
でタップされている。各タップは、２個のレジスタ20及
び22に接続されている。これらレジスタは、直列接続で
あり、夫々は、１サンプル期間の遅延回路として作用す
る。すなわち、レジスタ20Aは、ルミナンス成分を蓄積
し、１サンプル期間後に、蓄積したルミナンス成分をレ
ジスタ22Aに転送すると共に、新たなルミナンス成分を
蓄積する。レジスタ20B及び22B並びに20C及び22Cの関係
もレジスタ20A及び22Aと同様である。なお、レジスタ22
Bはレジスタ20Bよりも右（後段に）配置されているが、
レジスタ22Bの記憶内容はレジスタ20Bの記憶内容よりも
時間的に１サンプル前（即ち、Ｘ軸上でマイナス方向）
のルミナンス成分であり、レジスタ20Aの記憶内容はレ
ジスタ20Bの記憶内容よりも時間的に１ライン前（即
ち、Ｙ軸上でプラス方向）であることを留意されたい。
これら６個のレジスタの横方向及び縦方向の関係も同様
である。よって、レジスタ20Bの出力をP0,0とすると、
レジスタ22Bの出力がＰ−1,0となり、レジスタ20Bの入
力がP1,0となる。以下同様に、レジスタ20Aの入力及び
出力並びにレジスタ22Aの出力が、P1,1、P0,1及びＰ−
1,1となり、レジスタ20Cの入力及び出力並びにレジスタ
22Cの出力がP1,−１、P0,−１及びＰ−1,−１となる。
これら３個のタップ、レジスタ20A、20B、20C、22A、22
B及び22Cの出力端子をマルチプレクサ（MUX）24に接続
する。なお、これら隣接点選択器14及びMUX24が、サン
プル値抽出手段を構成する。このマルチプレクサは、P
1,P2,P3及びP4で夫々示す端子を有する４個のスイッチ
から構成される。よって、スイッチ241は、P1としてP1,
1及びＰ−1,1の一方を選択でき、スイッチ242は、P2と
してＰ−1,−１及びP1,−１の一方を選択でき、スイッ
チ243は、P3としてP1,0、P0,1及びＰ−1,0の１つを選択
でき、スイッチ244は、P4としてＰ−1,0、P0,−１及びP
1,0の１つを選択できる。

制御器26は、中央差関数を計算するための角度αを表
す信号を受ける。制御器26は、上記の表に応じて、中央
差関数を発生するのに用いるβの値及び隣接点を決め
る。例えば、αが90度から135度の範囲内のとき、制御
器26はマルチプレクサ24を制御して、スイッチ241、24
2、243及び244が夫々レジスタ22Aの出力端子、遅延回路
18の出力端子、レジスタ20Aの出力端子及びレジスタ20C
の出力端子を接続するようにする。選択した信号を中央
差関数発生器30に供給する。この中央差関数（CDF）発
生器30は、アドレス制御器26からのβの値を表す信号も
受ける。CDF発生器30は、１対の加算回路32を具えてお
り、これら加算回路は、２つの差信号P1−P2及びP3−P4
を形成する差手段である。これら差信号を混合器34に供
給する。この混合器は、ルックアップ・テーブル36から
tan βの値を受ける。混合器34は、MIX（（P1−P2），
（P3−P4）,tan β）を発生する。混合器34の出力信号
を乗算器38に供給する。制御器26からの信号βをルック
アップ・テーブル40に供給して、出力信号（1/2）cos
βを発生する。この信号（1/2）cos βを乗算器42で係
数Ｋと乗算して、その出力信号を第２入力として乗算器
38に供給する。よって、乗算器38の出力信号は、 K cos β MIX（（P1−P2），（P3−P4）,tan β）/2 となる。すなわち、この例の場合は、次のようになる。

K cos（α−π/2）MIX（（Ｐ−1,1−P1,−１）， （P0,1−P0,−１）,tan（α−π/2））/2 なお、Ｋは、「強さ」要因としての関数であり、ハイ
ライト挿入の輝度を制御する。また、乗算器38の出力信
号は、各点（u,v）に対して上述の動作を繰り返すこと
により求めた値Su,vの矩形縁配列となる。

この出力信号は、θ＝０の軸に対して角度αにおける
遅延回路11の出力信号が表すピクセル（遅延回路11の遅
延回路が上述の如く１ラインの遅延プラス１サンプル期
間の遅延を行うので、レジスタ20Bの出力のP0,0に対応
する）を横切る中央差関数に比例するので、正極性の縁
に対しては正であり、負極性の縁に対しては、負であ
る。乗算器38の出力信号を加算回路12の第２入力端に供
給し、この加算回路12の出力信号であるその結果は、エ
ムボシングされた効果をシミュレーションする。すなわ
ち、加算回路12は、乗算器38からの矩形縁配列Su,vの矩
形に、これに対応するスイッチ10からのサンプル領域g
u,vを組み合わせて、強調映像である出力配列qu,vを発
生させる。

エムボシング回路が発生したハイライト及び影を、ハ
イライト及び影を発生するのに用いたのと同じ映像信号
に付加する必要はない。端子43に供給された信号を選択
するようにスイッチ10を設定することにより、ハイライ
ト及び影を異なるシーンに供給できる。

第４及び第５図に示した回路の欠点は、縁信号及びル
ミナンス信号を単に加算することにより、出力信号が有
効信号範囲の外になるかもしれないことである。これ
は、加算回路12が発生する出力信号をクリッピングし
て、その範囲を制限することにより補償出来るが、クリ
ッピング動作によりエリアシングが生じるかもしれな
い。第６図の他の実施例の回路では、縁信号を用いて、
ハイライト及び影の画像信号への混合を制御しているの
で、出力信号が有効映像信号範囲の外になる可能性を避
けることが出来る。第６図に示すごとく、入力映像信号
のルミナンス及びクロミナンス（クロマ）成分を混合器
44及び46の夫々の映像入力端に供給する。マット発生器
50及び52は、一様な色を表すマット信号を発生する。ハ
イライト／影形式のエムボシング効果を得る為に、マッ
ト発生器50は、白又は白に近い色を表す信号を発生し、
マット発生器52は、黒又は黒に近い色を表す信号を発生
する。しかし、代わりに異なる色を発生しても良い。マ
ット信号のルミナンス及びクロミナンス成分を選択スイ
ッチ54及び56に供給する。これらスイッチの一方は、ル
ミナンス混合器44の第２映像入力端に接続され、他方
は、クロミナンス混合器46の第２映像入力端に接続され
る。乗算器38（第４図）が発生する緑信号には、スイッ
チ54及び56の制御に用いる符号ビットがある。この符号
ビットが正符号ならば、スイッチ54及び56はハイライト
・マット発生器50を選択し、負符号ならば、影マット発
生器52を選択する。縁信号を絶対値回路68に供給する。
この絶対値回路は、正の混合値比信号を混合器44及び46
に供給する。混合器44は、選択したマット発生器が発生
したルミナンス成分と、入力ルミナンス成分とを、混合
比に応じて組み合わせて、強調したルミナンス成分を発
生し、混合器46も同様に動作して、強調したクロミナン
ス成分を発生する。次に、強調したルミナンス成分とク
ロミナンス成分とを組み合わせる。混合比がゼロから増
加すると、マット発生器50又は52が選択されたかに応じ
て、ハイライト又は影を入力映像に混合する。

水平方向の空間サンプル周波数が垂直方向の空間サン
プル周波数と同じでなければルミナンスを計算するため
の点の軌跡は、円でない。その結果、縁を強調した量
は、中央差関数を計算するための方向に応じる。テレビ
ジョン信号のデジタル処理に通常用いる水平空間サンプ
ル周波数は、垂直空間サンプル周波数の約２倍である。
よって、本発明のテレビジョンの適用において、ライン
ｎにおけるｍピクセル用の中央差関数を計算するのに用
いたサンプル値を、ライン（ｎ−１）及び（ｎ＋１）の
各々における（ｍ−２）番目、ｍ番目及び（ｍ＋２）番
目と、ラインｎにおける（ｍ−２）番目及び（ｍ＋２）
番目とから選択するのが好ましい。

上述は、本発明の好適な実施例について説明したが、
本発明の要旨を逸脱する事なく種々の変形が可能であ
る。例えば、第６図に示した組合わせ回路の利用は、第
４及び第５図に示した縁信号発生器に限定されず、本願
明細書の従来技術の欄で説明した縁信号発生器と一緒に
用いても良い。同様に、第４及び第５図に示す縁信号発
生器が発生した縁信号は、第６図に示した組合わせ回路
での利用ではなく、画像信号を組み合わせても良い。

［発明の効果］ 本発明によれば、水平及び垂直軸、並びにこれら水平
及び垂直軸に対して45度の軸に沿った以外の任意の角度
での照明の効果もシミュレーション出来る。

【図面の簡単な説明】

第１図は、本発明を説明するために、連続したルミナン
ス・フィールドにおける点に対して中央差をどのように
計算するかを示す図である。 第２図は、本発明を説明するために、サンプルしたルミ
ナンス・フィールドを示す図である。 第３図は、本発明を説明するために、サンプルしたルミ
ナンス・フィールドにおける格子点に対して、中央差関
数を計算する際に用いる幾何学的構成図である。 第４図は、本発明を用いた装置のブロック図である。 第５図は、第４図の一部を詳細に示すブロック図であ
る。 第６図は、第４図の一部の他の実施例のブロック図であ
る。 12:組み合わせ手段 14、24:サンプル値抽出手段 32:差手段 34:混合手段 38:乗算手段

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】矩形にサンプルしたルミナンス・フィール
   ドを表す映像信号を処理する装置において、 上記映像信号を受け、ルミナンス・フィールドの各サン
   プル点に対して、各々の座標値が上記サンプル点の対応
   座標の値と夫々異なる第１隣接点用のサンプル値、上記
   サンプル点に対して上記第１隣接点と対称に配置された
   第２隣接点用のサンプル値、一方の座標値が上記サンプ
   ル点の対応座標の値と異なり他方の座標値が上記サンプ
   ル点の対応座標の値と等しい第３隣接点用のサンプル
   値、及び上記サンプル点に対して上記第３隣接点と対称
   に配置された第４隣接点用のサンプル値を、上記サンプ
   ル点に対する第１角度に応じて抽出するサンプル値抽出
   手段と、 上記第１隣接点用のサンプル値及び上記第２隣接点用の
   サンプル値の差に等しい第１値を求めると共に、上記第
   ３隣接点用のサンプル値及び上記第４隣接点用のサンプ
   ル値の差に等しい第２値を求める差手段と、 上記第１角度に関連した第２角度の第１三角関数で決ま
   る第１重み値で上記第１値を重み付けすると共に、１及
   び上記第２重み値の差である第２重み値で上記第２値を
   重み付けし、これら重み付けした上記第１及び第２値の
   和を求める混合手段と、 上記重み付けした第１及び第２値の和を、上記第２角度
   の第２三角関数に応じて決まる第３重み値と乗算して、
   矩形縁配列の値を発生する乗算手段と、 上記矩形縁配列の値を、矩形にサンプルした所望領域と
   組み合わせて出力配列を発生させる組み合わせ手段と を具えた映像信号処理装置。