JP2000350205A - 画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 回路規模を大型化することなく高精細な補間
画像を得る。 【解決手段】 画像処理装置は、互いにインタレースし
た複数のフィールドで１フレームが構成される画像信号
を、それぞれ複数の画素からなる複数のブロックに分割
し、各ブロックに近接する画素の画像信号を各ブロック
に対して付加して供給する供給手段と、前記供給手段よ
り供給された画像信号中第１のフィールドの画像信号を
用いて第２のフィールドの画像信号を補間し、前記ブロ
ック単位で出力する補間手段とを備え、前記補間手段は
前記各ブロックに付加されて供給された画像信号を用い
て前記補間処理を行うように構成されている。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置及びそ
の方法に関し、特には、画像信号の補間に関するもので
ある。

【０００２】

【従来の技術】従来より、静止画像を得る技術として以
下に説明するような様々な方法が提案されている。

【０００３】まず、１フレーム分の画像信号をメモリに
書き込み、この１フレームの画像信号をそのまま読み出
して静止画像を得る方法が考えられる。しかし、この方
法では１フレーム分のメモリが必要となり、また、１フ
レームを構成する２つのフィールド間に動きがあった場
合に画像がぶれてしまう。

【０００４】これに対し、１フィールド分の画像信号を
メモリに書き込み、一方のフィールドについてはメモリ
に記憶された画像信号をそのまま用い、他方のフィール
ドについては上のラインもしくは下のラインの画像信号
をそのまま用いて補間することで１フレームの静止画像
を得る方法が知られている。

【０００５】この方法によれば、メモリの容量が１フィ
ールド分で済み、また、フィールド間の動きによる画像
のぶれは発生しない。しかし、見かけ上は１フレームの
画像となるが、実際には連続する２ラインが同じ画像信
号となるため、フレームメモリを使った前述の方法に比
べ、垂直方向の解像度が低くなってしまう。

【０００６】このようなことから、１フレーム分の画像
信号をメモリに書き込み、例えば、第１フィールドにつ
いては画像信号をそのまま出力し、第２フィールドにつ
いては当該画素と上下ラインの間の動きを検出してこの
動きに応じて第２フィールドの画像信号そのものかある
いは合成画像信号を切り換えて出力する方法が考えられ
ている。

【０００７】即ち、動きがない場合には第２フィールド
の画像信号をそのままメモリから読み出して出力し、動
きがある場合には上下に近接する画素の第１フィールド
の画像信号により第２フィールドの画像信号を補間して
出力するというものである。

【０００８】この方法によれば、垂直解像度の低下とフ
ィールド間の動きによる画像のぶれを防止することがで
きる。

【０００９】

【発明が解決しようとする課題】しかし、前述のように
動きに応じて第２フィールドの画像と補間画像を切り換
えて出力する場合、動き検出のために上下に連続する３
画素の画像信号が必要となる。

【００１０】そのためには通常の３倍の速度でアクセス
可能なメモリが必要になるが、高速なメモリは高価であ
る。

【００１１】また、このような高速なメモリを使わずに
動きを検出することも可能であるが、そのためには少な
くとも２ライン分のメモリが必要となり、回路規模が大
きくなってしまう。

【００１２】本発明は前述の如き問題を解決することを
目的とする。

【００１３】本発明の更に他の目的は、回路規模を大型
化することなく高精細な補間画像を得る処にある。

【００１４】

【課題を解決するための手段】このような目的下におい
て、本発明においては、互いにインタレースした複数の
フィールドで１フレームが構成される画像信号を、それ
ぞれ複数の画素からなる複数のブロックに分割し、各ブ
ロックに近接する画素の画像信号を各ブロックに対して
付加して供給する供給手段と、前記供給手段より供給さ
れた画像信号中第１のフィールドの画像信号を用いて第
２のフィールドの画像信号を補間し、前記ブロック単位
で出力する補間手段とを備え、前記補間手段は前記各ブ
ロックに付加されて供給された画像信号を用いて前記補
間処理を行う構成とした。

【００１５】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態について詳細に説明する。

【００１６】図１は本発明が適用されるＶＴＲの記録系
の構成を示すブロック図である。

【００１７】図において、撮像回路１０１は被写体像を
撮像し、画像信号に変換してメモリ１０３に書き込む。
静止画像処理回路１０５は制御回路１１９からの制御信
号に従い、メモリ１０３に書き込まれた画像信号を図３
に示した順に８画素×８画素のブロック単位で読み出
し、ＤＣＴ回路１０７に出力する。

【００１８】ＤＣＴ回路１０７はブロック単位で読み出
された画像信号に対してＤＣＴ処理を施し、ＤＣＴ係数
に変換して量子化回路１０９に出力する。ＤＣＴ回路１
０７より出力された画像信号は、量子化回路１０９にお
いて、所定数のブロック毎に一定の符号量になるように
決定された量子化係数で量子化され、更に可変長符号化
回路１１１において符号化され、記録回路１１５に出力
される。記録回路１１５は可変長符号化回路１１１によ
り符号化された画像信号に対して同期信号の不可、誤り
訂正符号化、デジタル変調等の処理を施し、テープ１１
７に記録する。

【００１９】さて、このような図１の構成において、操
作部１２１により静止画記録の指示があった場合、制御
回路１１９はメモリ１０３に対して画像信号の書き込み
を禁止するよう制御信号を出力すると共に、静止画像処
理回路１０５に対してその旨を示す制御信号を出力す
る。

【００２０】静止画像処理回路１０５はメモリ１０３か
らブロック単位で出力される画像信号の動きを検出し、
この動きに基づいて補間画像信号を生成する。

【００２１】静止画像生成回路１０５により生成された
静止画像信号は、通常の記録時と同様にブロック単位に
ＤＣＴ回路１０７に出力され、圧縮符号化された後、記
録される。

【００２２】図２は静止画像処理回路１１１の構成を示
す図である。

【００２３】メモリ１０３に記憶された画像信号は図３
に示したような順序でブロック単位に出力され、８画素
メモリ２０１、動き量検出回路２０７及び補間信号生成
回路２０５に出力される。８画素メモリ２０１は入力さ
れた画像信号を８画素に対応する期間遅延して補間信号
生成回路２０５、動き量検出回路２０７及び８画素メモ
リ２０３に出力する。８画素メモリ２０３は８画素メモ
リ２０１からの画像信号を更に８画素に対応する期間遅
延して補間信号生成回路２０５及び動き量検出回路２０
７に出力する。

【００２４】このように、１ブロック内で垂直方向に連
続する３画素の画像信号が補間信号生成回路２０５及び
動き量メモリ２０９に出力される。動き量検出回路２０
７は、図４に示したように、連続する３画素の画像信号
のうち、中央の画素Ｃの画像信号の値と、その上下の画
素Ａ，Ｂの画像信号の値の平均値ＡＶＥとの差βを求
め、このβを動き量として補間信号生成回路２０５及び
動き量メモリ２０９に出力する。また、動き量検出回路
２０７はそのときの画素ＡとＢとの差ＴＨも補間信号生
成回路２０５に出力する。

【００２５】ここで、各ブロックの画像信号は図３に示
したように１ｏ，２ｏ，３ｏ，４ｏで示した奇数ライン
の画像信号と１ｅ，２ｅ，３ｅ，４ｅで示した偶数ライ
ンの画像信号とから構成されている。本形態において
は、奇数フィールドの画像信号についてはそのままＤＣ
Ｔ回路１０７に出力し、偶数フィールドの画像信号につ
いては動き量検出回路２０７の出力に基づいて補間信号
生成回路２０５により補間信号を生成してＤＣＴ回路１
０７に出力する。

【００２６】補間信号生成回路２０５は、動き量検出回
路２０７より出力された動き量βと、画素ＡとＢの画像
信号の値の差ＴＨとに基づき、以下の式に従って画素Ｃ
の画像信号と画素ＡとＢの平均値ＡＶＥとを合成し、補
間信号を生成する。

【００２７】 補間信号ｃ＝（１−α）Ｃ＋αＡＶＥ ここで、αは画素ＣとＡＶＥとの合成の割合を決定する
ための係数である。具体的には、補間画像生成回路２０
５は図５に示したようにβの値が０〜ＴＨと変化する間
でαの値を１．０〜０．０の間で変化させる。

【００２８】このときの画素ＣとＡＶＥとの合成の様子
を図６に示す。

【００２９】図６に示したように、動き量βが０のとき
には、補間画像信号として画素Ｃの画像信号をそのまま
出力し、動き量βが大きくなる程ＡＶＥの割合を増や
し、βがＴＨ以上となった場合にはＡＶＥをそのまま出
力する。

【００３０】なお、補間画素がブロックの上下端部、例
えば図３におけるライン４ｅであり、上下に連続する３
画素が全て得られない場合には、本形態では、同一フィ
ールドの前ライン、即ちライン３ｅの画像信号動き量を
動き量メモリ２０９より読み出し、補間信号生成回路２
０５はこの１フレーム前の動き量βを使って補間画像信
号を生成する。

【００３１】同様に、ブロック端部であるために補間画
像信号の生成に用いる同一ブロック内の３画素の画像信
号を得ることができない場合、即ち、図３においてライ
ン４ｅの画素については、８画素メモリ２０１あるいは
２０３に記憶されている、例えば補間する画素の１ライ
ン上、即ちライン４ｏの画素を用いて補間画像を生成す
る。

【００３２】つまり、ライン４ｅの画像信号を補間する
ときには、動きに応じてライン４ｅの画素とライン４ｏ
の画素との合成比率を変化させて補間画像信号を得る。

【００３３】このように、本形態においては、動きに応
じて画像信号を補間することにより静止画像を得る場合
に、逆ＤＣＴ回路からブロック単位で出力された状態で
補間処理を施しているので、動き検出のために２つの８
画素分のメモリを設けるだけでよく、ラインメモリが不
要となる。

【００３４】従って、回路規模を大型化することなく、
高精細な静止画像（補間画像）を得ることができる。

【００３５】なお、本形態では図５に示したようにαの
値を連続的に変化させて補間画像を生成したが、回路の
簡略化のためにαを階段状に変化させ、図７に示す様に
補間画像信号を生成するようにしてもよい。

【００３６】また、本形態では、ブロックの大きさを８
画素×８画素としたが、これ以外のサイズでも構わな
い。例えば、ブロックの大きさを垂直ｍ画素×水平ｎ画
素とすると、図３の如く各ブロックの画像信号を出力す
る場合にはｎ画素分のメモリを２つ用意することで、同
様に補間画像を生成することが可能となる。

【００３７】また、前述の形態では、画素Ｃと画素Ａと
Ｂとの平均値ＡＶＥとに基づいて動きを検出したが、こ
れに限らず、例えば画素Ｃと画素Ａとの差分に基づいて
動きを検出してもよく、また、画素Ｃと画素Ｂとの差分
に基づいて動きを検出してもよい。この場合には８画素
ラインメモリは１つだけ設ければよく、図２のものに比
べて一層回路規模を縮小することができる。

【００３８】特に、撮像素子として、インタレース読み
出し式のＣＣＤを使った場合に、従来の方式に比べて顕
著な効果を得ることができる。

【００３９】次に、本願の他の実施形態について説明す
る。

【００４０】前述の実施形態では、各ブロックの上端
部、あるいは下端部の画像信号については、補間に必要
な垂直方向に連続する３画素の画像信号を得ることがで
きず、ブロック端部においては、動きに応じた正確な補
間を行うことができない。

【００４１】そこで、本形態では、ブロックの端部にお
いても動きに応じた良好な補間処理を行うようにするも
のである。

【００４２】図８は本形態における補間処理の様子を説
明するための図である。

【００４３】図中、４０１は１つのＤＣＴブロックを示
している。図８（ａ）、（ｂ）は第２フィールドの画像
信号によって第１フィールドの画像信号を補間する様子
を示し、図８（ｃ）、（ｄ）は第１フィールドの画像信
号によって第２フィールドの画像信号を補間する様子を
示している。

【００４４】本形態においては、静止画記録の際、メモ
リ１０３より１つのＤＣＴブロックに加えて、その前ラ
イン、あるいは後ラインの画像信号を静止画像処理回路
１０５に出力し、各ＤＣＴブロックの端部については、
この前ラインあるいは後ラインの画像信号を使って補間
を行う。

【００４５】例えば、図８（ａ）、（ｂ）に示した場合
では、メモリ１０３からはＤＣＴブロック４０１の出力
に先立ち、その前ラインである４０３の８画素の画像信
号を出力する。静止画像処理回路１０５はＤＣＴブロッ
ク４０１とともに出力される画像信号４０３を使ってＤ
ＣＴブロック４０１の上端ラインの補間信号を生成す
る。

【００４６】また、図８（ｃ）、（ｄ）に示した場合で
は、メモリ１０３からはＤＣＴブロック４０１の出力
後、その後ラインである４０５の８画素の画像信号を出
力する。静止画像処理回路１０５はＤＣＴブロック４０
１とともに出力される画像信号４０５を使ってＤＣＴブ
ロック４０１の下端ラインの補間信号を生成する。

【００４７】補間信号生成回路２０５は、各ＤＣＴブロ
ックに対して補間画像信号を生成した後、補間処理のた
めにメモリ１０３よりＤＣＴブロックに付加されて出力
された前ラインあるいは後ラインの画像信号を除去し、
ＤＣＴブロック単位でこの補間画像信号をＤＣＴ回路１
０７に出力する。

【００４８】その後の処理は前述の実施形態と同様であ
る。

【００４９】このように、本形態では、ＤＣＴブロック
単位で補間画像信号を生成する際、ＤＣＴブロックの上
下端に隣接するラインの画像信号をＤＣＴブロックの画
像信号とともに出力し、補間回路にてこの隣接するライ
ンの画像信号を使ってブロック端部の補間画像信号を生
成するため、画像信号の動きに応じた良好な補間画像信
号を得ることができる。

【００５０】なお、前述の実施形態では、本発明をＶＴ
Ｒに対して適用した場合について説明したが、これに限
らず、ブロック単位で処理された画像信号を補間する場
合に本発明を適用可能であり、同様の効果を有する。

【００５１】また、ＤＣＴブロック及びマクロブロック
という構成に限らず、互いに処理の単位ブロック数が異
なる複数の処理を行う際の画像データの補間を行う場合
にも適用可能である。

【００５２】また、図２に示した動き量検出回路２０７
による動き検出処理、及び、補間信号生成回路２０５に
よる補間信号の生成処理はマイクロコンピュータを用い
たソフトウェア処理により実行可能であり、この場合に
も前述の実施形態と同様の効果を有する。

【００５３】また、このときプログラムの各ステップを
記憶したコンピュータ読み取り可能な記憶媒体も当然本
発明の構成となる。

【００５４】

【発明の効果】以上説明したように、本発明によれば、
一方のフィールドの画像信号を用いて他方のフィールド
画像信号を補間する際、回路規模を大型化することなく
高精細な補間画像を得ることが可能となる。また、ブロ
ック端部の画像信号についても動きに応じた良好な補間
処理を行うことができる。

【図面の簡単な説明】

【図１】本発明が適用されるＶＴＲの構成を示す図であ
る。

【図２】図１の静止画像処理回路の構成を示す図であ
る。

【図３】図２の回路にて扱う画像信号の様子を示す図で
ある。

【図４】図２の回路の動き検出動作を説明するための図
である。

【図５】図２の回路の動作を説明するための図である。

【図６】図２の回路の動作を説明するための図である。

【図７】図２の回路の動作を説明するための図である。

【図８】図２の回路の他の動作を説明するための図であ
る。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C024 AA01 BA01 CA11 DA04 FA01 GA11 HA08 HA13 HA14 HA22 JA01 5C059 KK08 LA05 MA23 MB04 MC11 ME01 NN24 NN28 NN41 PP01 RF20 SS14 TA12 TA32 TA45 TA50 TA66 TB04 TB08 TC13 TD05 UA02 UA36 5C076 AA01 AA19 AA21 AA36 BA04 BA06 BB04 CA08

Claims (14)

【特許請求の範囲】
1. 【請求項１】 互いにインタレースした複数のフィール
   ドで１フレームが構成される画像信号を、それぞれ複数
   の画素からなる複数のブロックに分割し、各ブロックに
   近接する画素の画像信号を各ブロックに対して付加して
   供給する供給手段と、 前記供給手段より供給された画像信号中第１のフィール
   ドの画像信号を用いて第２のフィールドの画像信号を補
   間し、前記ブロック単位で出力する補間手段とを備え、 前記補間手段は前記各ブロックに付加されて供給された
   画像信号を用いて前記補間処理を行うことを特徴とする
   画像処理装置。
2. 【請求項２】 前記第１フィールドの画像と第２フィー
   ルドの画像の間の動きを検出する動き検出手段を備え、
   前記補間手段は前記動き検出手段の検出結果に従って前
   記補間処理を行うことを特徴とする請求項１記載の画像
   処理装置。
3. 【請求項３】 前記補間手段は前記第１フィールドの画
   像信号と第２フィールドの画像信号とを合成することに
   より補間画像信号を生成し、前記動き検出結果に従って
   前記合成の割合を決定することを特徴とする請求項２記
   載の画像処理装置。
4. 【請求項４】 前記各ブロックは垂直方向ｍ画素×水平
   方向ｎ画素（ｍ、ｎはそれぞれ２以上の整数）から構成
   されていることを特徴とする請求項２記載の画像処理装
   置。
5. 【請求項５】 前記動き検出手段は前記入力手段より出
   力されたｎ画素分の画像信号を保持可能な保持手段を有
   し、前記動き検出手段は前記保持手段に供給されるべき
   画像信号と前記保持手段から出力された画像信号とを用
   いて動きを検出することを特徴とする請求項４記載の画
   像処理装置。
6. 【請求項６】 前記動き検出手段は入力手段より出力さ
   れたｎ画素分の画像信号を保持する第１の保持手段と、
   前記第１の保持手段より出力されるｎ画素分の画像信号
   を保持する第２の保持手段とを有し、前記動き検出手段
   は前記第１の保持手段に供給されるべき画像信号と前記
   第１の保持手段から出力された画像信号及び前記第２の
   保持手段から出力された画像信号を用いて動きを検出す
   ることを特徴とする請求項４記載の画像処理装置。
7. 【請求項７】 前記動き検出手段は更に、前記記憶手段
   に記憶された画像信号と前記第１の保持手段から出力さ
   れた画像信号及び前記第２の保持手段から出力された画
   像信号を用いて動きを検出することを特徴とする請求項
   ４記載の画像処理装置。
8. 【請求項８】 前記画像信号を前記ブロック単位で直交
   変換する変換手段を備えることを特徴とする請求項１記
   載の画像処理装置。
9. 【請求項９】 前記補間手段は前記各ブロックに画像信
   号に対して補間処理を施した後、前記各ブロックに付加
   されて供給された画像信号を除去して出力することを特
   徴とする請求項１記載の画像処理装置。
10. 【請求項１０】 前記補間手段より出力された画像信号
    を記録媒体に記録する記録手段を備えることを特徴とす
    る請求項９記載の画像処理装置。
11. 【請求項１１】 前記供給手段は撮像手段と、前記撮像
    手段により得られた画像信号を記憶するメモリとを有
    し、前記メモリより前記画像信号を読み出す際に前記複
    数のブロックに分割することを特徴とする請求項１記載
    の画像処理装置。
12. 【請求項１２】 静止画像出力を指示する指示手段を備
    え、前記補間手段は前記指示手段の指示に応じて前記補
    間処理を行うことを特徴とする請求項１記載の画像処理
    装置。
13. 【請求項１３】 前記供給手段は前記各ブロックの上端
    または下端に近接する画像信号を付加して供給すること
    を特徴とする請求項１記載の画像処理装置。
14. 【請求項１４】 互いにインタレースした複数のフィー
    ルドで１フレームが構成される画像信号を、それぞれ複
    数の画素からなる複数のブロックに分割するとともに各
    ブロックに近接する画素の画像信号を前記各ブロックに
    付加して供給し、 前記供給された画像信号中第１のフィールドの画像信号
    を用いて第２のフィールドの画像信号を補間し、前記ブ
    ロック単位で出力するとともに、前記各ブロックに付加
    されて供給された画像信号を用いて前記補間処理を行う
    ことを特徴とする画像処理方法。