JPH07250343A - 映像特殊効果装置およびその内挿処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 内挿処理に用いるサンプル点の数を適応的に
切り替え、内挿処理時に読み出すサンプル点の情報を有
効に使用する映像特殊効果装置を提供する。 【構成】 入力映像信号に対して映像の形状の変換に伴
う内挿処理を施すための内挿処理回路６、映像の形状変
換に対応するアドレスを発生させるアドレス発生回路５
と、アドレスを内挿点数算出回路１０に提供する手段
と、アドレスの値によって内挿処理に用いる内挿点数を
算出する内挿点数算出回路１１と、内挿点数算出回路１
０が算出する内挿点数を内挿係数算出回路１１に提供す
る手段とを設け、内挿係数算出回路１１において、内挿
処理に用いる内挿係数をアドレスの小数部及び内挿点数
により算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理技術を利用し
て、原映像をもとに拡大、縮小、回転あるいは３次元写
像等の加工を施した映像を作成するときに用いる映像特
殊効果装置およびその内挿処理方法に関し、特に、鮮明
な映像が得られるように構成したものである。

【０００２】

【従来の技術】映像特殊効果装置は、ディジタル画像処
理技術を用いて、サンプリングされディジタル化された
入力映像信号の各サンプル点のデータに対して、拡大、
縮小、回転あるいは３次元写像等の形状変換を行う処理
に応じた演算を施すことにより、特殊効果映像を作成し
ている。また、かかる技術の文献（飯田、岡田、西村
他：実時間三次元特殊効果装置、ＴＶ技報、ＩＰＡ８７
−３）も刊行されている。

【０００３】このような従来の特殊効果装置では、図３
に示すように、ディジタル化された映像信号が入力され
る入力端１と、各サンプル点毎の映像信号にフィルタ処
理を施すフィルタ処理回路２と、各サンプル点毎の入力
映像信号に対する出力映像信号の縮小率を発生して、フ
ィルタ処理回路２に提供する縮小率発生回路３と、フィ
ルタ処理回路２の出力の映像信号をラスタスキャン順に
格納するフレームメモリ４と、フレームメモリ４に格納
された映像信号に対して、縮小、回転、拡大等の変換に
応じた読み出すべき映像信号のメモリ上のアドレスを発
生するアドレス発生回路５と、アドレス発生回路５が提
供するアドレスの整数部に応じてランダムにフレームメ
モリ４から映像信号を読み出し内挿処理を行う内挿処理
回路６と、内挿処理された映像信号を出力する出力端９
とを備えている。

【０００４】ここで、内挿処理回路６は、アドレス発生
回路５が発生するアドレスの小数部に応じて内挿係数を
算出する内挿係数算出回路７と、内挿係数算出回路７が
提供する内挿係数と、フレームメモリ４から読み出され
る映像信号との内積を行う内積回路８を備えている。

【０００５】入力端１から入力した各サンプル点毎の映
像信号は、フィルタ処理回路２に入力される。映像を縮
小する場合には、映像の縮小によって発生する折り返し
歪み（ａｌｉａｓｉｎｇ）を防ぐために、縮小率発生回
路３で提供する、入力映像信号に対する出力映像信号の
各サンプル点毎の縮小率に応じて、フィルタ処理回路２
で周波数帯域を制限する。フィルタ処理された映像信号
は、一旦フレームメモリ４に格納された後、内挿処理回
路６において、アドレス発生回路５の提供する縮小、回
転、拡大あるいは３次元写像等の形状変換処理に対応す
るアドレスに該当する映像信号が読み出されて、出力端
９から出力される。

【０００６】ここで、アドレス発生回路５の提供するア
ドレスは通常小数部を持つため、出力サンプル点に対応
する入力サンプル点は一対一に対応しない。このため内
挿処理回路６では、アドレスの小数部に応じて、内挿係
数算出回路７で内挿係数を算出し、内挿係数算出回路７
が提供する内挿係数とフレームメモリ４から読み出され
た映像信号を内積回路８で内積することで、出力サンプ
ル点を生成する。

【０００７】一般に、内挿処理時の画質を向上させるた
めには、内挿処理に用いるサンプル点数を上げれば良
い。例えば４点のサンプル点を用いた線形（４点）内挿
処理より９点内挿処理の方が画質が向上することが、文
献（榎並、八巻、八木、村上：画像信号の幾何学的変換
のための補間フィルタと画質に関する一考察、電子通信
学会論文誌、’８６／１１Ｖｏｌ．Ｊ６９−Ｄ Ｎｏ．
１１）に報告されている。

【０００８】また、入出力の映像信号も１０ビット処理
することで、高画質化がなされていることが、文献（清
水、江森、深沢、吉田、下：ＤＶＥ ＳＹＳＴＥＭ１６
ディジタル特殊効果装置、放送技術、１２、ｐｐ．７９
−８３（Ｄｅｃ．１９９１））に報告されている。

【０００９】これより、１０ビットの入力映像信号に対
して、９点内挿処理を行う場合は、８ビットの入力映像
信号に対して、線形内挿処理をする場合より画質の向上
が望まれる。

【００１０】ここで１０ビットの入力映像信号に対し
て、フレームメモリに用いるデバイスは、１アドレスあ
たりのビット長が８ビットの場合が多い。よって例え
ば、アドレス発生回路５の提供するアドレスに対して、
入力映像信号の隣会う水平方向２サンプル点、垂直方向
２サンプル点の計４サンプル点を同時にアクセスするよ
うにし、フレームメモリを有効活用する。

【００１１】

【発明が解決しようとする課題】しかしながら、上記従
来の１０ビットの入力映像信号に対して９点内挿処理を
行う特殊効果装置では、水平方向２サンプル点、垂直方
向２サンプル点の計４サンプル点を同時にアクセスする
ため、１６点のサンプル点を読み出し、そのうち有効な
９点のサンプル点を用いて９点内挿処理を行っている。
このため残りの７点のサンプル点の情報が無駄になって
しまうという問題点があった。

【００１２】また１６点全てのサンプル点の情報を用い
て１６点内挿処理をしようとしても、内挿で算出しよう
とする内挿点のまわりに、内挿処理に用いる１６点のサ
ンプル点が、常に対称的に存在するとは限らない。この
ため１６点内挿処理を行うと、内挿点の位置により出力
映像にぼけている部分が現れたり、逆に高域が強調され
ている部分が現れたりするため、画質が劣化するという
問題点があった。

【００１３】これらの問題点について、４サンプル点同
時にアクセスし、１６点のサンプル点の内有効な９点の
サンプル点を用いて内挿する９点内挿処理について図
４、図５、表１を用いて説明する。

【００１４】

【表１】

【００１５】図４は、フレームメモリ４を示しており、
例えばハイビジョンの場合の１フレーム分のフレームメ
モリのサイズは、水平方向１９２０画素、垂直方向１０
３５ラインである。図５は、図４の一部であり、図５の
パターン１〜４のそれぞれの点は、入力映像のサンプル
点を２次元的に表現したものの一部を表している。ここ
でアドレス発生回路５が提供するアドレスは、フレーム
メモリ４のサンプル点の読み出すべき位置を示してお
り、アドレスには水平方向の詠み出す位置を示す水平方
向のアドレスと、垂直方向の読み出す位置を示す垂直方
向のアドレスが存在する。

【００１６】なお、フレームメモリ４のアドレスは一般
に０および自然数であるから、水平方向のアドレスは左
端のアドレスを０、右側に行くに従ってアドレスが１つ
ずつ増えていくものとする。また垂直方向のアドレスは
上端のアドレスを０、下側に行くに従ってアドレスが１
つずつ増えていくものとする。

【００１７】このときアドレス発生回路５の提供するア
ドレスの整数部が偶数か奇数かによって、読み出される
１６点のサンプル点の位置と内挿点との関係は、表１お
よび図５に示すようにパターン１〜４の４種類存在す
る。

【００１８】表１に示すように、読み出されるサンプル
点と内挿点の関係は、水平方向のアドレスの整数部が偶
数、かつ垂直方向のアドレスの整数部が偶数の時は、パ
ターン１、水平方向のアドレスの整数部が奇数、かつ垂
直方向のアドレスの整数部が偶数の時は、パターン２、
水平方向のアドレスの整数部が奇数、かつ垂直方向のア
ドレスの整数部が奇数の時は、パターン３、水平方向の
アドレスの整数部が偶数、かつ垂直方向のアドレスの整
数部が奇数の時は、パターン４で表される。

【００１９】図５において、９点内挿処理に用いられる
９点のサンプル点は黒い点、また内挿点の存在する範囲
は、斜線部分で示される。図５から、パターン３の場合
は内挿点のまわりに対照的に読み出される１６点のサン
プル点が存在するが、その他のパターンの場合は、内挿
点のまわりに読み出される１６点のサンプル点が対称的
に存在しない。

【００２０】この様に内挿点のまわりに対称的に読み出
される１６点のサンプル点が存在する場合と、内挿点の
まわりに読み出される１６点のサンプル点が対称的に存
在しない場合とでは、全てのサンプル点を用いた１６点
内挿処理を行う場合に、それぞれのフィルタ特性が異な
り問題になることを以下に示す。ここでは簡単化のた
め、１次元での４点内挿処理のフィルタ特性を考える。
内挿処理において、２次元での１６点内挿処理のフィル
タ特性は、１次元での４点内挿処理を垂直方向と水平方
向の行った場合のフィルタ特性と等しい。

【００２１】パターン３のように内挿点のまわりに対称
的に読み出される１６点のサンプル点が存在する場合、
水平方向の１次元での内挿処理は、図６のように、４点
内挿処理となる。図６は、図５のパターン３の入力映像
のサンプル点の水平方向の１ラインを示している。この
とき４点内挿処理に用いられるサンプル点は図６の黒い
点、内挿点の存在する範囲は、図６の点線部分で表され
る。このときの一例として、内挿点の小数部が０．２５
の場合、３次ラグランジェ補間の係数から算出したフィ
ルタ特性を図７に示す。図７では、ナイキスト周波数を
ｆｎで示している。図７から、ナイキスト周波数ｆｎに
近い高域ほど、減衰しており画像がぼけることが分か
る。

【００２２】パターン１のように内挿点のまわりに対称
的に読み出される１６点のサンプル点が存在しない場
合、水平方向の１次元での内挿処理は、図８のように、
４点内挿処理となる。図８は、図５のパターン１の入力
映像のサンプル点の水平方向の１ラインを示している。
このとき４点内挿処理に用いられるサンプル点は図８の
黒い点、内挿点の存在する範囲は、図８の点線部分で表
される。このときの一例として、内挿点の小数部が０．
２５の場合、３次ラグランジェ補間の係数から算出した
フィルタ特性を図９に示す。図９では、ナイキスト周波
数をｆｎで示している。図９から、中域からナイキスト
周波数ｆｎに近い高域が持ち上がっており、画像の高域
が強調されていることがわかる。

【００２３】このような画像の高域の強調は、パターン
４の水平方向、およびパターン１の垂直方向、パターン
２の垂直方向でも生じる。

【００２４】これにより読み出される１６点全ての情報
を用いた１６点内挿処理の場合、内挿点の存在する範囲
がパターン３の場合は、画像がぼけるが、パターン１、
２、４の場合は、画像の高域が強調される部分が生じ、
それぞれのパターンでの画質の差が目立ち、画質が劣化
してしまう。

【００２５】また９点のみを用いた９点内挿処理は、４
点内挿処理に比べて出力映像の内挿点の位置による画像
のぼけ具合は少なくなり、画質は向上してはいるが、依
然出力映像のぼけは残っており、画質劣化が生じてい
る。

【００２６】この様に、１６点のサンプル点のうち９点
のサンプル点を用いた９点内挿処理は可能であるが、１
６点のサンプル点全てを使った１６点内挿は、パターン
１、２、４の場合の様に内挿点の周りに読み出される１
６点が対称的に存在しない場合は不可能である。このた
め読み出される全てのサンプル点の情報が有効に用いら
れないため、内挿処理時に画質の向上に限度があるとい
う問題があった。

【００２７】本発明は、このような従来の問題を解決す
るものであり、内挿処理に用いるサンプル点の数を適応
的に切り替え、内挿処理時に読み出すサンプル点の情報
を有効に使用するとともに、内挿点の位置により内挿処
理後の画質差が目立たないように内挿点の周りの対称的
な位置にあるサンプル点を内挿処理に用いる事で、内挿
処理時の画質を向上させる優れた特殊効果装置を提供す
る事を、目的とするものである。

【００２８】

【課題を解決するための手段】本発明は上記目的を達成
するために、入力映像信号に対して映像の形状の変換に
伴う内挿処理を施すための内挿処理回路、映像の形状変
換に対応するアドレスを発生させるアドレス発生回路と
を備えた映像特殊効果装置において、アドレスを内挿点
数算出回路に提供する手段と、アドレスの値によって内
挿処理に用いる内挿点数を算出する内挿点数算出回路
と、内挿点数算出回路が算出する内挿点数を内挿係数算
出回路に提供する手段とを設け、内挿係数算出回路にお
いて、内挿処理に用いる内挿係数をアドレスの小数部
と、内挿点数により算出している。

【００２９】

【作用】従って本発明によれば、アドレスの値によって
内挿処理に用いるサンプル点の数を適応的に切り替える
ため、内挿処理時に読み出すサンプル点の情報を有効に
使用するとともに、内挿点の位置により内挿処理後の画
質差が目立たないように内挿点の周りの対称的な位置に
あるサンプル点を内挿処理に用いる事で、内挿処理時の
画質を向上させることができる。

【００３０】

【実施例】本発明の実施例における映像特殊効果装置の
構成を図１に示す。図１において図３の従来例の構成と
同じものは同一の符号で表しその説明は省略する。図１
に示すように、従来例と異なる特徴的な構成として、内
挿処理回路６Ａがある。すなわち、アドレスの値によっ
て内挿点数を算出する内挿点数算出回路１０と、内挿点
数算出回路１０が算出する内挿点数を内挿係数算出回路
１１に提供する手段を備えている。内挿係数算出回路１
１は、内挿係数算出回路１０が提供する内挿点数と、ア
ドレス発生回路５が発生するアドレスの小数部とに応じ
て、内挿係数を発生させる。

【００３１】実施例の特殊効果装置では、入力端１から
入力した各サンプル点毎の映像信号は、フィルタ処理回
路２に入力される。映像を縮小する場合には、映像の縮
小によって発生する折り返し歪み（ａｌｉａｓｉｎｇ）
を防ぐために、縮小率発生回路３で提供する、入力映像
信号に対する出力映像信号の各サンプル点毎の縮小率に
応じて、フィルタ処理回路２で周波数帯域を制限する。
フィルタ処理された映像信号は、一旦フレームメモリ４
に格納された後、内挿処理回路６において、アドレス発
生回路５の提供する縮小、回転、拡大あるいは３次元写
像等の形状変換処理に対応するアドレスの整数部によ
り、アドレスの示す内挿点の近傍１６点の映像信号が読
み出される。

【００３２】ここで、フレームメモリ４のアドレスは一
般に自然数であるが、水平方向のアドレスは、左端のア
ドレスを０、右側に行くに従ってアドレスが１つずつ増
えていくものとする。また垂直方向のアドレスは上端の
アドレスを０、下側に行くに従ってアドレスが１つずつ
増えていくものとする。

【００３３】このとき、内挿点数算出回路１０では、ア
ドレス発生回路５が提供するアドレスの整数部が奇数
か、偶数かによって内挿点数を算出し、内挿係数算出回
路１１では、内挿点数算出回路１０が提供する内挿点数
と、アドレス発生回路５が提供するアドレスの小数部に
応じて内挿係数を算出する。アドレス発生回路５が提供
するアドレスの整数部によりフレームメモリ４から読み
出された１６点の映像信号は、内挿係数算出回路１１が
提供する内挿係数と、内積回路８で内積されて、出力端
９から出力される。

【００３４】実施例の映像特殊効果装置により、内挿点
数算出回路１０が算出する内挿点数と、内挿係数算出回
路１１が算出する、内挿係数について従来の特殊効果装
置の図５のパターン１〜４に対応して、図２のパターン
１’〜４’を用いて説明する。

【００３５】従来例のパターン１に対して、実施例では
パターン１’の様に、内挿点数は、９点となり、内挿点
の存在範囲は斜線部で示される。内挿処理に用いられる
サンプル点は、黒い点で示され、内挿係数は黒い点に対
して有効であり、白い点に対しては０となる。

【００３６】従来例のパターン２に対して、実施例では
パターン２’の様に、内挿点数は、１２点となり、内挿
点数の存在範囲は斜線部で示される。内挿処理に用いら
れるサンプル点は、黒い点で示され、内挿係数は黒い点
に対して有効であり、白い点に対しては０となる。

【００３７】従来例のパターン３に対して、実施例で
は、パターン３’の様に、内挿点数は、１６点となり、
内挿点の存在範囲は斜線部で示される。内挿処理に用い
られるサンプル点は、黒い点で示され、内挿係数は黒い
点に対して有効である。

【００３８】従来例のパターン４に対して、実施例では
パターン４’の様に、内挿点数は、１２点となり、内挿
点の存在範囲は斜線部で示される。内挿処理に用いられ
るサンプル点は、黒い点で示され、内挿係数は黒い点に
対して有効であり、白い点に対しては０となる。

【００３９】このように、内挿処理で算出する空間的な
サンプル点とサンプル点の間の位置によって、内挿処理
に用いるサンプル点の数を水平方向４点、垂直方向４点
の計１６点にする場合と、水平方向３点、垂直方向３点
の計９点にする場合と、水平方向４点、垂直方向３点の
計１２点にする場合と、水平方向３点、垂直方向４点の
計１２点にする場合との４通りを、適応的に切り替え
る。

【００４０】これより、実施例の映像特殊効果装置で
は、アドレスの値によって内挿処理に用いるサンプル点
の数を適応的に切り替え、内挿処理時に読み出すサンプ
ル点の情報を有効に使用するため、内挿処理時の画質を
向上させることができる。

【００４１】なお、ここでは、内装点数は９点、１２
点、１６点の場合を示したが、パターン２’、パターン
４’の場合の内挿点数は従来通り９点というように、内
挿点数を９点と１６点で適応的に切り替えて、内挿処理
を行っても良い。

【００４２】また、実施例では、１６点を同時に読み出
したが、更に多くの点を同時に読み出し、適応的に内挿
処理に用いる点を切り替えても良い。

【００４３】また、実施例では、フレームメモリ４の左
上の点の座標を、水平方向、垂直方向の原点０とした
が、他の点が原点の場合、実施例の様に左上の点の座標
を原点と定義し直すことで、実施例に示した適応的な内
挿処理が行える。

【００４４】

【発明の効果】本発明は、上記実施例より明らかなよう
に、内挿処理に用いるサンプル点の数を適応的に切り替
え、内挿処理時に読み出すサンプル点の情報をを有効に
使用するとともに、内挿点の位置により内挿処理後の画
質差が目立たないように内挿点の周りの対称的な位置に
あるサンプル点を内挿処理に用いる事で、内挿処理時に
鮮明な映像を出力し、画質を向上させることができると
いう効果を有する。

【図面の簡単な説明】

【図１】本発明の実施例における映像特殊効果装置の構
成を示す概略ブロック図

【図２】本発明の実施例における内挿点数と内挿係数の
特性を示す図

【図３】従来の映像特殊効果装置の構成を示す概略ブロ
ック図

【図４】従来のフレームメモリの特性を示す特性図

【図５】従来の内挿点数と内挿係数の特性を示す特性図

【図６】従来の１次元での内挿点の特性を示す特性図

【図７】従来の１次元での内挿処理時のフィルタ特性を
示す特性図

【図８】従来の１次元での内挿点の特性を示す特性図

【図９】従来の１次元での内挿処理時のフィルタ特性を
示す特性図

【符号の説明】

１ 入力端 ２ フィルタ処理回路 ３ 縮小率発生回路 ４ フレームメモリ ５ アドレス発生回路 ６ 内挿処理回路 ７ 内挿係数算出回路 ８ 内積回路 ９ 出力端 １０ 内挿点数算出回路

Claims (6)

【特許請求の範囲】
1. 【請求項１】 空間的にサンプリングされた入力映像信
   号から、空間的なサンプル点とサンプル点の間の信号を
   算出する映像特殊効果装置の内挿処理方法であって、 内挿処理に用いる入力映像信号のサンプル点の数を適応
   的に切り替える内挿処理方法。
2. 【請求項２】 空間的にサンプリングされた入力映像信
   号から、空間的なサンプル点とサンプル点の間の信号を
   算出する映像特殊効果装置の内挿処理方法であって、 内挿処理で算出する信号の空間的なサンプル点とサンプ
   ル点の間の位置によって、内挿処理に用いる入力映像信
   号のサンプル点の数を適応的に切り替える内挿処理方
   法。
3. 【請求項３】 空間的にサンプリングされた入力映像信
   号から、空間的なサンプル点とサンプル点の間の信号を
   算出する場合に、水平方向４点、垂直方向４点の計１６
   点の入力映像信号を用いて内挿処理を行う映像特殊効果
   装置の内挿処理方法であって、 内挿処理で算出する信号の空間的なサンプル点とサンプ
   ル点の間の位置によって、内挿処理に用いる入力映像信
   号のサンプル点の数を適応的に切り替える内挿処理方
   法。
4. 【請求項４】 空間的にサンプリングされた入力映像信
   号から、空間的なサンプル点とサンプル点の間の信号を
   算出する場合に、水平方向４点、垂直方向４点の計１６
   点の入力映像信号を用いて内挿処理を行う映像特殊効果
   装置の内挿処理方法であって、 内挿処理で算出する空間的なサンプル点とサンプル点の
   間の位置によって、内挿処理に用いるサンプル点の数を
   水平方向４点、垂直方向４点の計１６点にする場合と、
   水平方向３点、垂直方向３点の計９点にする場合の２通
   りを、適応的に切り替える内挿処理方法。
5. 【請求項５】 空間的にサンプリングされた入力映像信
   号から、空間的なサンプル点とサンプル点の間の信号を
   算出する場合に、水平方向４点、垂直方向４点の計１６
   点の入力映像信号を用いて内挿処理を行う映像特殊効果
   装置の内装処理方法であって、 内挿処理で算出する空間的なサンプル点とサンプル点の
   間の位置によって、内挿処理に用いるサンプル点の数を
   水平方向４点、垂直方向４点の計１６点にする場合と、
   水平方向３点、垂直方向３点の計９点にする場合と、水
   平方向４点、垂直方向３点の計１２点にする場合と、水
   平方向３点、垂直方向４点の計１２点にする場合との４
   通りを、適応的に切り替える内挿処理方法。
6. 【請求項６】 入力映像信号に対し、縮小、回転、拡大
   等の映像の形状変換に応じた読み出すべき映像信号のメ
   モリ上のアドレスを発生させるアドレス発生回路と、前
   記アドレス発生回路が発生するアドレスに応じて、前記
   請求項１ないし５のいずれかの内挿処理を行う内挿処理
   回路を有する事を特徴とする、映像特殊効果装置。