JPH10233997A - 映像信号再生装置および映像信号再生方法 - Google Patents
映像信号再生装置および映像信号再生方法Info
- Publication number
- JPH10233997A JPH10233997A JP9036763A JP3676397A JPH10233997A JP H10233997 A JPH10233997 A JP H10233997A JP 9036763 A JP9036763 A JP 9036763A JP 3676397 A JP3676397 A JP 3676397A JP H10233997 A JPH10233997 A JP H10233997A
- Authority
- JP
- Japan
- Prior art keywords
- video signal
- motion vector
- search area
- image
- intermittent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【課題】 間欠的に記録され又は伝送された映像信号を
再生する際に、その映像の内容に応じた補間処理を行い
違和感の少ない画像を再生する映像信号再生装置および
映像信号再生方法を提供する。 【解決手段】 入力信号処理部2には、監視ビデオ、テ
レビジョン電話等からの間欠画像の映像信号が入力され
る。動きベクトル検出部5は、動きベクトルの検出をす
る際に、付加情報の間欠間隔等の情報に基づきサーチエ
リアを拡大したり、又は変更したりする。また、動きベ
クトル検出部5は、先に求めた動きベクトルに基づきサ
ーチエリアを移動して動きベクトルを検出する。システ
ムコントロール部8は、動きベクトルを供給されると内
挿処理部6の制御を行う。内挿処理部6は、間欠画像か
ら補間フレームを生成し、この補間フレームをこの間欠
画像に合成する。
再生する際に、その映像の内容に応じた補間処理を行い
違和感の少ない画像を再生する映像信号再生装置および
映像信号再生方法を提供する。 【解決手段】 入力信号処理部2には、監視ビデオ、テ
レビジョン電話等からの間欠画像の映像信号が入力され
る。動きベクトル検出部5は、動きベクトルの検出をす
る際に、付加情報の間欠間隔等の情報に基づきサーチエ
リアを拡大したり、又は変更したりする。また、動きベ
クトル検出部5は、先に求めた動きベクトルに基づきサ
ーチエリアを移動して動きベクトルを検出する。システ
ムコントロール部8は、動きベクトルを供給されると内
挿処理部6の制御を行う。内挿処理部6は、間欠画像か
ら補間フレームを生成し、この補間フレームをこの間欠
画像に合成する。
Description
【0001】
【発明の属する技術分野】本発明は、映像信号の各フレ
ーム間に補間フレームを内挿する映像信号再生装置およ
び映像信号再生方法に関し、特に間欠画像からなる映像
信号から補間画像を生成してこの補間画像を元の間欠画
像に合成する映像信号再生装置および映像信号再生方法
に関する。
ーム間に補間フレームを内挿する映像信号再生装置およ
び映像信号再生方法に関し、特に間欠画像からなる映像
信号から補間画像を生成してこの補間画像を元の間欠画
像に合成する映像信号再生装置および映像信号再生方法
に関する。
【0002】
【従来の技術】例えば、監視ビデオやAV(オーディオ
ビジュアル)サーバ等で用いられる長時間記録を目的と
した映像信号の記録装置では、記録媒体の容量の制限か
らフレームのコマ落としを行いいわゆる間欠的な映像信
号の記録がされている。
ビジュアル)サーバ等で用いられる長時間記録を目的と
した映像信号の記録装置では、記録媒体の容量の制限か
らフレームのコマ落としを行いいわゆる間欠的な映像信
号の記録がされている。
【0003】また、テレビジョン電話等のように映像信
号を伝送する場合も、その伝送系の伝送容量の制限によ
りフレームのコマ落としを行い間欠的な映像信号の伝送
がされている。
号を伝送する場合も、その伝送系の伝送容量の制限によ
りフレームのコマ落としを行い間欠的な映像信号の伝送
がされている。
【0004】
【発明が解決しようとする課題】ところが、そのコマ落
としを行い記録された映像や伝送された映像、すなわち
間欠画像を再生する際、画像の内容に応じた表示処理が
行われていない。そのため、その映像の視聴者は映像に
違和感が生じ、また、再生する画像の内容によっては若
干のレートダウンであっても非常に大きな違和感を間欠
画像により受けることとなる。
としを行い記録された映像や伝送された映像、すなわち
間欠画像を再生する際、画像の内容に応じた表示処理が
行われていない。そのため、その映像の視聴者は映像に
違和感が生じ、また、再生する画像の内容によっては若
干のレートダウンであっても非常に大きな違和感を間欠
画像により受けることとなる。
【0005】本発明は、このような実情を鑑みてなされ
たものであり、間欠的に記録され、又は、伝送された映
像信号を再生する際に、その映像の内容に応じた補間処
理を行い違和感の少ない画像を再生する映像信号再生装
置および映像信号再生方法を提供することを目的とす
る。
たものであり、間欠的に記録され、又は、伝送された映
像信号を再生する際に、その映像の内容に応じた補間処
理を行い違和感の少ない画像を再生する映像信号再生装
置および映像信号再生方法を提供することを目的とす
る。
【0006】
【課題を解決するための手段】上述の課題を解決するた
めに、本発明に係る映像信号再生装置は、間欠的な映像
信号を再生する再生手段と、上記間欠的な映像信号から
時間的に連続した2つのフレーム間の動きベクトルを検
出する動きベクトル検出手段と、上記動きベクトルを検
出する為のサーチエリアを制御するサーチエリア制御手
段と、上記動きベクトルと上記時間的に連続した2つの
フレームとに基づき、この時間的に連続した2つのフレ
ームを補間する内挿フレームを生成する内挿フレーム生
成手段と、上記内挿フレームを上記間欠的な映像信号に
合成して出力する出力手段とを備えることを特徴とす
る。
めに、本発明に係る映像信号再生装置は、間欠的な映像
信号を再生する再生手段と、上記間欠的な映像信号から
時間的に連続した2つのフレーム間の動きベクトルを検
出する動きベクトル検出手段と、上記動きベクトルを検
出する為のサーチエリアを制御するサーチエリア制御手
段と、上記動きベクトルと上記時間的に連続した2つの
フレームとに基づき、この時間的に連続した2つのフレ
ームを補間する内挿フレームを生成する内挿フレーム生
成手段と、上記内挿フレームを上記間欠的な映像信号に
合成して出力する出力手段とを備えることを特徴とす
る。
【0007】この映像信号再生装置では、サーチエリア
制御手段が、動きベクトルを検出する為のサーチエリア
を制御して、内挿フレームを生成する。
制御手段が、動きベクトルを検出する為のサーチエリア
を制御して、内挿フレームを生成する。
【0008】本発明に係る映像信号再生方法では、間欠
的な映像信号を再生し、動きベクトルを検出する際のサ
ーチエリアを確定し、この確定したサーチエリア内で再
生した上記映像信号から時間的に連続した2つのフレー
ム間の動きベクトルを検出し、上記動きベクトルと上記
時間的に連続した2つのフレームとに基づき、この時間
的に連続した2つのフレームを補間する内挿フレームを
生成し、上記内挿フレームを上記映像信号に合成して出
力することを特徴とする。
的な映像信号を再生し、動きベクトルを検出する際のサ
ーチエリアを確定し、この確定したサーチエリア内で再
生した上記映像信号から時間的に連続した2つのフレー
ム間の動きベクトルを検出し、上記動きベクトルと上記
時間的に連続した2つのフレームとに基づき、この時間
的に連続した2つのフレームを補間する内挿フレームを
生成し、上記内挿フレームを上記映像信号に合成して出
力することを特徴とする。
【0009】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。
て、図面を参照しながら説明する。
【0010】図1は、本発明を適用した映像信号再生装
置1のブロック構成図である。
置1のブロック構成図である。
【0011】映像信号再生装置1は、記録媒体10に記
録された信号を再生する信号再生部2と、信号再生部2
により再生した信号から映像信号を再生する映像信号処
理部3と、信号再生部2により再生した信号から付加情
報を検出する付加情報処理部4と、映像信号処理部3に
より再生した映像信号から動きベクトルを検出する動き
ベクトル検出部5と、映像信号処理部3により再生した
映像信号に内挿処理をする内挿処理部6と、内挿処理部
6により内挿処理をした映像信号を出力する出力信号処
理部7と、付加情報と動きベクトルに基づき内挿処理部
6を制御するシステムコントロール部8と、外部操作入
力がされる操作入力部9とを備える。
録された信号を再生する信号再生部2と、信号再生部2
により再生した信号から映像信号を再生する映像信号処
理部3と、信号再生部2により再生した信号から付加情
報を検出する付加情報処理部4と、映像信号処理部3に
より再生した映像信号から動きベクトルを検出する動き
ベクトル検出部5と、映像信号処理部3により再生した
映像信号に内挿処理をする内挿処理部6と、内挿処理部
6により内挿処理をした映像信号を出力する出力信号処
理部7と、付加情報と動きベクトルに基づき内挿処理部
6を制御するシステムコントロール部8と、外部操作入
力がされる操作入力部9とを備える。
【0012】信号再生部2は、記録媒体10に記録され
た信号を再生する処理を行う。この記録媒体10は、例
えば、光ディスク、磁気ディスク、磁気テープ等であ
る。この記録媒体10には、映像信号が記録されてい
る。ここで、この記録媒体10に記録されている映像信
号は、動画像から一定の映像信号が間引かれたコマ落ち
画像、すなわち、間欠画像である。この間欠画像は、所
定の間欠間隔のフレームにより構成されている。
た信号を再生する処理を行う。この記録媒体10は、例
えば、光ディスク、磁気ディスク、磁気テープ等であ
る。この記録媒体10には、映像信号が記録されてい
る。ここで、この記録媒体10に記録されている映像信
号は、動画像から一定の映像信号が間引かれたコマ落ち
画像、すなわち、間欠画像である。この間欠画像は、所
定の間欠間隔のフレームにより構成されている。
【0013】映像信号処理部3は、上記信号再生部2に
より再生された信号からデジタルの映像信号を再生す
る。映像信号処理部3は、例えば、記録媒体10にアナ
ログデータとして記録されている場合はアナログ/デジ
タル変換をし、また、エラー訂正処理や画像圧縮処理を
されている場合は対応したデコード処理を行う。映像信
号処理部3は、間欠画像を動きベクトル検出部5及び内
挿処理部6に供給する。付加情報処理部4は、上記信号
再生部2により再生された信号から付加情報を再生す
る。この付加情報は、映像信号や音声信号の他に付加的
に記録媒体10に記録されている情報や伝送されてくる
情報であり、いわゆるサブコード、垂直帰線期間又はパ
イロット信号などに含まれている情報である。この付加
情報には、映像のジャンル情報(ニュース、スポーツ
等)、カメラワーク情報(パンニング、ズームアップ
等)、映像信号の信号形式、間欠画像情報(間欠間
隔)、動きベクトルのベクトル情報、画像が圧縮の情報
などが含まれている。付加情報処理部4は、再生した付
加情報をシステムコントロール部8に供給する。
より再生された信号からデジタルの映像信号を再生す
る。映像信号処理部3は、例えば、記録媒体10にアナ
ログデータとして記録されている場合はアナログ/デジ
タル変換をし、また、エラー訂正処理や画像圧縮処理を
されている場合は対応したデコード処理を行う。映像信
号処理部3は、間欠画像を動きベクトル検出部5及び内
挿処理部6に供給する。付加情報処理部4は、上記信号
再生部2により再生された信号から付加情報を再生す
る。この付加情報は、映像信号や音声信号の他に付加的
に記録媒体10に記録されている情報や伝送されてくる
情報であり、いわゆるサブコード、垂直帰線期間又はパ
イロット信号などに含まれている情報である。この付加
情報には、映像のジャンル情報(ニュース、スポーツ
等)、カメラワーク情報(パンニング、ズームアップ
等)、映像信号の信号形式、間欠画像情報(間欠間
隔)、動きベクトルのベクトル情報、画像が圧縮の情報
などが含まれている。付加情報処理部4は、再生した付
加情報をシステムコントロール部8に供給する。
【0014】動きベクトル検出部5は、映像信号処理部
3により再生された映像信号から、間欠画像の各フレー
ム間の動きベクトルを検出する。この動きベクトルの検
出処理についての詳細は後述する。動きベクトル検出部
5は、検出した動きベクトルをシステムコントロール部
8に供給する。
3により再生された映像信号から、間欠画像の各フレー
ム間の動きベクトルを検出する。この動きベクトルの検
出処理についての詳細は後述する。動きベクトル検出部
5は、検出した動きベクトルをシステムコントロール部
8に供給する。
【0015】内挿処理部6は、映像信号処理部3により
再生された映像信号の各フレームから補間フレームを生
成して、この各フレーム間に補間フレームを挿入する内
挿処理を行う。この内挿処理についは詳しくは後述す
る。内挿処理部6は、補間フレームを内挿した映像信号
を出力信号処理部7に供給する。
再生された映像信号の各フレームから補間フレームを生
成して、この各フレーム間に補間フレームを挿入する内
挿処理を行う。この内挿処理についは詳しくは後述す
る。内挿処理部6は、補間フレームを内挿した映像信号
を出力信号処理部7に供給する。
【0016】システムコントロール部8は、供給された
付加情報や動きベクトルに応じて間欠画像の内挿処理を
行うかどうかを決定し、信号再生部2、内挿処理部6を
制御する。この制御内容についての詳細は後述する。
付加情報や動きベクトルに応じて間欠画像の内挿処理を
行うかどうかを決定し、信号再生部2、内挿処理部6を
制御する。この制御内容についての詳細は後述する。
【0017】出力信号処理部7は、デジタルの映像信号
をモニタにより再生することができるようにデジタル/
アナログ変換処理や、増幅処理等を行う。この出力信号
処理部7からの出力をモニタ等に接続することにより、
内挿処理をされた映像をみることができる。
をモニタにより再生することができるようにデジタル/
アナログ変換処理や、増幅処理等を行う。この出力信号
処理部7からの出力をモニタ等に接続することにより、
内挿処理をされた映像をみることができる。
【0018】操作入力部9は、この映像信号再生装置1
の対して外部からの入力操作がされるもので、例えば、
外部からの入力により付加情報を供給したり、内挿処理
の許可等を外部で操作するものである。
の対して外部からの入力操作がされるもので、例えば、
外部からの入力により付加情報を供給したり、内挿処理
の許可等を外部で操作するものである。
【0019】次に、上述した動きベクトル検出部5が行
う動きベクトルの検出処理とこの動きベクトル検出部5
の構成について説明する。この動きベクトル検出部5で
は、再生する間欠画像の連続したフレーム間の動きベク
トルを求める。この動きベクトルの検出処理として、こ
こでは、代表点マッチング法を例に挙げて説明する。こ
の動きベクトル検出処理では、画面上に、いくつかの検
出領域を設定する。各検出領域をさらに分割してサーチ
エリアを設定し、そのサーチエリアに代表する点(代表
点)を設ける。例えば、図2(a)に示すように、画面
上に4個の検出領域を設定し、この検出領域の中に12
個のサーチエリアを設定する。
う動きベクトルの検出処理とこの動きベクトル検出部5
の構成について説明する。この動きベクトル検出部5で
は、再生する間欠画像の連続したフレーム間の動きベク
トルを求める。この動きベクトルの検出処理として、こ
こでは、代表点マッチング法を例に挙げて説明する。こ
の動きベクトル検出処理では、画面上に、いくつかの検
出領域を設定する。各検出領域をさらに分割してサーチ
エリアを設定し、そのサーチエリアに代表する点(代表
点)を設ける。例えば、図2(a)に示すように、画面
上に4個の検出領域を設定し、この検出領域の中に12
個のサーチエリアを設定する。
【0020】そして、このサーチエリアの代表点を、図
2(b)に示すように、現フレームの1のフィールド
(ここでは、n+1フィールド)を前フレームの1のフ
ィールド(ここでは、nフィールド)と比較し、フィー
ルド(n)の代表点のフィールド(n+1)においての
位置を求め、この代表点の移動した距離と方向、すなわ
ち、動きベクトルを検出する。
2(b)に示すように、現フレームの1のフィールド
(ここでは、n+1フィールド)を前フレームの1のフ
ィールド(ここでは、nフィールド)と比較し、フィー
ルド(n)の代表点のフィールド(n+1)においての
位置を求め、この代表点の移動した距離と方向、すなわ
ち、動きベクトルを検出する。
【0021】具体的に、前フィールド(n)のサーチエ
リアAとこのサーチエリアAに対応する現フィールド
(n+1)のサーチエリアA′を用いて説明する。
リアAとこのサーチエリアAに対応する現フィールド
(n+1)のサーチエリアA′を用いて説明する。
【0022】サーチエリアA及びA′は、図3に示すよ
うに、それぞれ7Lineと7pixelの画素を有し
ている。サーチエリアAとサーチエリアA′の各画素の
輝度の値は、図3に示すとおりである。また、サーチエ
リアAの中点のアドレス(4,4)に代表点を設けてい
る。
うに、それぞれ7Lineと7pixelの画素を有し
ている。サーチエリアAとサーチエリアA′の各画素の
輝度の値は、図3に示すとおりである。また、サーチエ
リアAの中点のアドレス(4,4)に代表点を設けてい
る。
【0023】このサーチエリアAの代表点がサーチエリ
アA′においてどこに移動したかを求めるため、サーチ
エリアAとサーチエリアA′の各画素の輝度の値を減算
する。この減算した値が、図4(a)に示す値である。
ここで減算した値の最小値は、アドレス(6,2)の0
である。つまり、図4(b)に示すように、代表点のア
ドレスの移動量は、(6,2)−(4,4)=(2,−
2)となり、これが動きベクトルとなる。
アA′においてどこに移動したかを求めるため、サーチ
エリアAとサーチエリアA′の各画素の輝度の値を減算
する。この減算した値が、図4(a)に示す値である。
ここで減算した値の最小値は、アドレス(6,2)の0
である。つまり、図4(b)に示すように、代表点のア
ドレスの移動量は、(6,2)−(4,4)=(2,−
2)となり、これが動きベクトルとなる。
【0024】このように、各サーチエリア毎に動きベク
トルが検出できる。図2(a)に示した場合には、12
×4個の動きベクトルが検出できることとなる。また、
各動きベクトルの信頼性の向上のため、各検出領域内で
各サーチエリアの差分データの同じアドレス同士での積
和をとり、各検出領域毎にベクトルを求める。この場合
は、最終的に4個のベクトルを得ることとなる。
トルが検出できる。図2(a)に示した場合には、12
×4個の動きベクトルが検出できることとなる。また、
各動きベクトルの信頼性の向上のため、各検出領域内で
各サーチエリアの差分データの同じアドレス同士での積
和をとり、各検出領域毎にベクトルを求める。この場合
は、最終的に4個のベクトルを得ることとなる。
【0025】このような動きベクトルの検出範囲となる
サーチエリアは、再生される映像信号の間欠間隔に応じ
てその範囲が拡大され、また、縮小される。例えば、図
5に示すように、間欠間隔が大きいときは、サーチエリ
アを拡大し、間欠間隔が小さいときはサーチエリアを縮
小する。すなわち、映像信号の間欠間隔が大きいとき、
つまり、コマ落ちが多いときは、画像間の時間経過が大
きくなるため、被写体の動きも大きくなるからであり、
その反対に、映像信号の間欠間隔が小さいときは被写体
の動きが小さくなるからである。
サーチエリアは、再生される映像信号の間欠間隔に応じ
てその範囲が拡大され、また、縮小される。例えば、図
5に示すように、間欠間隔が大きいときは、サーチエリ
アを拡大し、間欠間隔が小さいときはサーチエリアを縮
小する。すなわち、映像信号の間欠間隔が大きいとき、
つまり、コマ落ちが多いときは、画像間の時間経過が大
きくなるため、被写体の動きも大きくなるからであり、
その反対に、映像信号の間欠間隔が小さいときは被写体
の動きが小さくなるからである。
【0026】また、このサーチエリアは、図6に示すよ
うに、検出範囲を直前に求めた動きベクトルの方向に移
動させて検出範囲を拡大することもできる。すなわち、
画像の動きベクトルは連続性があるため、サーチエリア
を動きベクトルの方向に移動することによって、画像の
内容に応じた検出ができる。
うに、検出範囲を直前に求めた動きベクトルの方向に移
動させて検出範囲を拡大することもできる。すなわち、
画像の動きベクトルは連続性があるため、サーチエリア
を動きベクトルの方向に移動することによって、画像の
内容に応じた検出ができる。
【0027】このような動きベクトルの検出を行う動き
ベクトル検出部5は、図7に示すように、代表点を記憶
するメモリ11と、代表点の画素とサーチエリアの各画
素との差分をとる加算器12と、メモリ14を用いて各
検出領域の演算処理を行う演算処理回路13と、最終的
な動きベクトルの決定を行うベクトル判定回路15と、
これらを制御するコントローラ16とを有する。
ベクトル検出部5は、図7に示すように、代表点を記憶
するメモリ11と、代表点の画素とサーチエリアの各画
素との差分をとる加算器12と、メモリ14を用いて各
検出領域の演算処理を行う演算処理回路13と、最終的
な動きベクトルの決定を行うベクトル判定回路15と、
これらを制御するコントローラ16とを有する。
【0028】この動きベクトル検出部5には、映像信号
処理部3からのデジタル輝度信号と、その同期信号が入
力される。また、映像信号処理部3からアナログの映像
信号が供給される場合は、例えば、図8に示すような、
映像信号から同期信号を分離する同期分離回路21と、
映像信号から色信号と輝度信号に分離するクロマデコー
ダ22と、輝度信号及び色信号をデジタル信号に変換す
るアナログ/デジタルコンバータ23,24とを上述の
図7に示した回路の前段に設ければよい。なお、ベクト
ル検出は、輝度信号のみにより演算が行われる。
処理部3からのデジタル輝度信号と、その同期信号が入
力される。また、映像信号処理部3からアナログの映像
信号が供給される場合は、例えば、図8に示すような、
映像信号から同期信号を分離する同期分離回路21と、
映像信号から色信号と輝度信号に分離するクロマデコー
ダ22と、輝度信号及び色信号をデジタル信号に変換す
るアナログ/デジタルコンバータ23,24とを上述の
図7に示した回路の前段に設ければよい。なお、ベクト
ル検出は、輝度信号のみにより演算が行われる。
【0029】図7に示すメモリ11及び加算器12に
は、デジタル輝度信号が供給される。また、コントロー
ラ16には、同期信号が供給される。
は、デジタル輝度信号が供給される。また、コントロー
ラ16には、同期信号が供給される。
【0030】コントローラ16は、メモリ11に供給さ
れたデジタル輝度信号から代表点を検出し、加算器12
に供給する。加算器12では、代表点とサーチエリアの
各画素との差分をとる。このとき、代表点は、前フレー
ムのフィールドのものである。すなわち、コントローラ
16によりタイミングを制御され、メモリ11において
1フィールド分遅れた代表点が加算器12に供給され
る。
れたデジタル輝度信号から代表点を検出し、加算器12
に供給する。加算器12では、代表点とサーチエリアの
各画素との差分をとる。このとき、代表点は、前フレー
ムのフィールドのものである。すなわち、コントローラ
16によりタイミングを制御され、メモリ11において
1フィールド分遅れた代表点が加算器12に供給され
る。
【0031】各サーチエリアの画素の差分のデータは、
演算処理回路13に供給される。演算処理回路13は、
サーチエリア毎の動きベクトルを求め、メモリ14上で
検出領域毎に積和演算をして各検出領域毎の動きベクト
ルを求める。
演算処理回路13に供給される。演算処理回路13は、
サーチエリア毎の動きベクトルを求め、メモリ14上で
検出領域毎に積和演算をして各検出領域毎の動きベクト
ルを求める。
【0032】そして、ベクトル判定回路15で各検出領
域の動きベクトルに基づき、時間的に連続したフレーム
間の最終的な動きベクトルを求めて出力する。
域の動きベクトルに基づき、時間的に連続したフレーム
間の最終的な動きベクトルを求めて出力する。
【0033】なお、上述したようなサーチエリアの変更
は、コントローラ16がシステムコントロール部8から
の制御入力に基づきサーチエリアの拡大縮小をし、ま
た、演算処理を行った動きベクトルを演算処理回路13
からコントローラ16にフィードバックさせることによ
り実現できる。
は、コントローラ16がシステムコントロール部8から
の制御入力に基づきサーチエリアの拡大縮小をし、ま
た、演算処理を行った動きベクトルを演算処理回路13
からコントローラ16にフィードバックさせることによ
り実現できる。
【0034】また、ここでは、動きベクトル検出手法と
して、代表点マッチング方法について説明したが、この
他にブロックマッチング法等でも実現ができる。
して、代表点マッチング方法について説明したが、この
他にブロックマッチング法等でも実現ができる。
【0035】次に上述した内挿処理部6が行う各フレー
ム間に補間フレームを内挿する処理と、この内挿処理部
6の構成について説明する。
ム間に補間フレームを内挿する処理と、この内挿処理部
6の構成について説明する。
【0036】例えば、図9(a)に示す撮影風景がパン
ニングにより撮影された場合について説明する。間欠的
な映像信号には、図9(b)に示すフレーム画像Aと図
9(c)に示すフレーム画像Bの連続した2フレームの
画像が含まれている。このフレーム画像Aとフレーム画
像Bとの間に補間フレーム画像Cを生成するには、ま
ず、フレーム画像Aとフレーム画像Bの共通部分を切り
出す。そして、この切り出した共通部分の両側に、図9
(d)に示すように、フレーム画像Aとフレーム画像B
とから切り出した映像を張り付ける。
ニングにより撮影された場合について説明する。間欠的
な映像信号には、図9(b)に示すフレーム画像Aと図
9(c)に示すフレーム画像Bの連続した2フレームの
画像が含まれている。このフレーム画像Aとフレーム画
像Bとの間に補間フレーム画像Cを生成するには、ま
ず、フレーム画像Aとフレーム画像Bの共通部分を切り
出す。そして、この切り出した共通部分の両側に、図9
(d)に示すように、フレーム画像Aとフレーム画像B
とから切り出した映像を張り付ける。
【0037】ここで、動きベクトルをV、フレーム画像
Aとフレーム画像Bの間に内挿する補間フレームの内挿
枚数をM−1とするとそれぞれフレーム画像Aとフレー
ム画像Bから切り出す映像は、 フレーム画像Aからの切り出し画像 = a*1/M*V ・・・(式1) フレーム画像Bからの切り出し画像 = b*1/M*V ・・・(式2) 但し a=1,2,・・・,M−1、b=M−aとな
る。
Aとフレーム画像Bの間に内挿する補間フレームの内挿
枚数をM−1とするとそれぞれフレーム画像Aとフレー
ム画像Bから切り出す映像は、 フレーム画像Aからの切り出し画像 = a*1/M*V ・・・(式1) フレーム画像Bからの切り出し画像 = b*1/M*V ・・・(式2) 但し a=1,2,・・・,M−1、b=M−aとな
る。
【0038】なお、上述した図9(a)に示すような画
面に完全に平行なパンニングやチルティングの場合は前
後のフレーム画像から補間フレーム画像をすべて作り出
せるが、このようなパンニング等でない場合は補間でき
ない部分がでてくる。この場合には、フレーム画像の他
の部分を利用してその部分を作りだす。
面に完全に平行なパンニングやチルティングの場合は前
後のフレーム画像から補間フレーム画像をすべて作り出
せるが、このようなパンニング等でない場合は補間でき
ない部分がでてくる。この場合には、フレーム画像の他
の部分を利用してその部分を作りだす。
【0039】このような補間フレーム画像を生成してこ
の補間フレーム画像を間欠的な映像信号に挿入する内挿
処理部6は、図10に示すように、映像信号をフレーム
毎に記憶する第1と第2のメモリ31,32と、これら
のメモリ31,32の書き込み及び読出しを制御するメ
モリライトコントローラ33とメモリリードコントロー
ラ34と、メモリ31,32から読み出す信号を切り換
える切換スイッチ35と、同期信号及び動きベクトルに
基づきこれらの回路を制御するコントローラ36とを有
する。
の補間フレーム画像を間欠的な映像信号に挿入する内挿
処理部6は、図10に示すように、映像信号をフレーム
毎に記憶する第1と第2のメモリ31,32と、これら
のメモリ31,32の書き込み及び読出しを制御するメ
モリライトコントローラ33とメモリリードコントロー
ラ34と、メモリ31,32から読み出す信号を切り換
える切換スイッチ35と、同期信号及び動きベクトルに
基づきこれらの回路を制御するコントローラ36とを有
する。
【0040】コントローラ36には、同期信号と動きベ
クトル信号が入力される。コントローラ36は、この同
期信号により各メモリ31,32への映像信号の書き込
み、及び、読出しのタイミングを生成しメモリライトコ
ントローラ33とメモリリードコントローラ34に供給
する。
クトル信号が入力される。コントローラ36は、この同
期信号により各メモリ31,32への映像信号の書き込
み、及び、読出しのタイミングを生成しメモリライトコ
ントローラ33とメモリリードコントローラ34に供給
する。
【0041】メモリ31とメモリ32とには、間欠的な
映像信号がフレーム単位で記憶される。このとき、メモ
リ31とメモリ32とには、時間的に連続した間欠画像
の映像が記憶される。なお、メモリ31に必ず時間的に
先行したフレーム画像が記憶されるものとしてもよい
し、また、容量等の節約のため、時間的に先行するフレ
ーム画像を記憶するメモリを、1フレーム毎にメモリ3
1とメモリ32とで切り換えるものとしてもよい。
映像信号がフレーム単位で記憶される。このとき、メモ
リ31とメモリ32とには、時間的に連続した間欠画像
の映像が記憶される。なお、メモリ31に必ず時間的に
先行したフレーム画像が記憶されるものとしてもよい
し、また、容量等の節約のため、時間的に先行するフレ
ーム画像を記憶するメモリを、1フレーム毎にメモリ3
1とメモリ32とで切り換えるものとしてもよい。
【0042】メモリライトコントローラ33は、コント
ローラ36のタイミング制御に基づき、メモリ31,3
2に記憶させるフレーム画像を制御する。すなわち、入
力される映像信号をフレーム単位でメモリ31とメモリ
32とに振り分けて記憶させている。
ローラ36のタイミング制御に基づき、メモリ31,3
2に記憶させるフレーム画像を制御する。すなわち、入
力される映像信号をフレーム単位でメモリ31とメモリ
32とに振り分けて記憶させている。
【0043】メモリリードコントローラ34は、間欠画
像に内挿する補間フレームを生成するため、メモリ31
とメモリ32とに記憶されているフレーム画像を読み出
す。このとき、メモリリードコントローラ34は、コン
トローラ36からの動きベクトルと同期信号とに基づき
各メモリ31,32から画像を読み出す。また、例えば
フレーム画像Aとフレーム画像Bとの間にM−1個の補
間フレーム画像を内挿する場合には、上述した(式1)
及び(式2)に基づき各メモリ31,32から画像の位
置をずらして読み出す。
像に内挿する補間フレームを生成するため、メモリ31
とメモリ32とに記憶されているフレーム画像を読み出
す。このとき、メモリリードコントローラ34は、コン
トローラ36からの動きベクトルと同期信号とに基づき
各メモリ31,32から画像を読み出す。また、例えば
フレーム画像Aとフレーム画像Bとの間にM−1個の補
間フレーム画像を内挿する場合には、上述した(式1)
及び(式2)に基づき各メモリ31,32から画像の位
置をずらして読み出す。
【0044】切換スイッチ35は、メモリリードコント
ローラ34で画像の位置をずらして読みだしたメモリ3
1又はメモリ32の画像を切り換えて補間フレームを生
成して、図11に示すような間欠画像に補間フレーム内
挿した映像信号を出力する。
ローラ34で画像の位置をずらして読みだしたメモリ3
1又はメモリ32の画像を切り換えて補間フレームを生
成して、図11に示すような間欠画像に補間フレーム内
挿した映像信号を出力する。
【0045】つぎに、この映像信号再生装置1の処理内
容について、図12に示すフローチャートを用いて説明
する。
容について、図12に示すフローチャートを用いて説明
する。
【0046】この映像信号再生装置1は、操作入力部9
により電源投入の操作がされることによりステップS1
からの制御が開始される。
により電源投入の操作がされることによりステップS1
からの制御が開始される。
【0047】ステップS1において、各ブロックの初期
化が行われる。次に、ステップS2において、システム
コントロール部8が付加情報を読み込む。上述したよう
にこの付加情報には、映像のジャンル情報(ニュース、
スポーツ等)、カメラワーク情報(パンニング、ズーム
アップ等)、間欠画像情報(間欠間隔)、動きベクトル
のベクトル情報等が含まれている。
化が行われる。次に、ステップS2において、システム
コントロール部8が付加情報を読み込む。上述したよう
にこの付加情報には、映像のジャンル情報(ニュース、
スポーツ等)、カメラワーク情報(パンニング、ズーム
アップ等)、間欠画像情報(間欠間隔)、動きベクトル
のベクトル情報等が含まれている。
【0048】ステップS3において、操作入力部9から
の操作入力が有るかないかを判断し、操作入力が有るま
で、このステップS3で待機する。
の操作入力が有るかないかを判断し、操作入力が有るま
で、このステップS3で待機する。
【0049】操作入力があった場合は、ステップS4に
進み、ここで再生処理を開始する。そして、ステップS
5において、付加情報に基づき再生する映像信号に補間
フレームを内挿するか否かを判断する。このステップS
5における判断は、付加情報に基づき行われる。
進み、ここで再生処理を開始する。そして、ステップS
5において、付加情報に基づき再生する映像信号に補間
フレームを内挿するか否かを判断する。このステップS
5における判断は、付加情報に基づき行われる。
【0050】例えば、ニュース映像を再生する場合は、
間欠画像であっても試聴した際に違和感を生じることは
少ないので補間を行わず、スポーツ映像で有れば補間を
行う。また、間欠間隔が小さければ補間の必要がなく、
さらに、予め付加情報にある動きベクトルが小さいもの
で有れば補間の必要がない。また、パンニングやチルテ
ィング等のカメラワーク情報に基づき補間をするか否か
を判断することもできる。
間欠画像であっても試聴した際に違和感を生じることは
少ないので補間を行わず、スポーツ映像で有れば補間を
行う。また、間欠間隔が小さければ補間の必要がなく、
さらに、予め付加情報にある動きベクトルが小さいもの
で有れば補間の必要がない。また、パンニングやチルテ
ィング等のカメラワーク情報に基づき補間をするか否か
を判断することもできる。
【0051】ステップS5で内挿をしないと判断した場
合は、ステップS6において、補間をせず又は他の補間
処理をしてステップS3に戻る。また、ステップS5で
内挿をすると判断した場合はステップS7に進む。
合は、ステップS6において、補間をせず又は他の補間
処理をしてステップS3に戻る。また、ステップS5で
内挿をすると判断した場合はステップS7に進む。
【0052】ステップSS7において、動きベクトルを
検出する際のサーチエリアを決定する。ここでは、付加
情報に含まれる間欠間隔の情報に基づき、サーチエリア
を決定する。上述の図5において説明したように、間欠
間隔が大きい場合は動きベクトルが大きくなるのでサー
チエリアを大きくし、また、間欠間隔が小さい場合は動
きベクトルが小さくなるのでサーチエリアを小さくす
る。なお、このステップS7でのサーチエリアの決定
は、この間欠間隔に応じてサーチエリアを拡大縮小する
代わりに又はこれとともに、図6において説明したよう
な、先に求めた動きベクトルに応じてサーチエリアの位
置を変更するものであってもよい。つまり、間欠画像の
各フレーム画像の動きベクトルを求めるに当たり、前フ
レーム画像の動きベクトルをこのステップS7で取得
し、この値を反映させてサーチエリアを決定するように
してもよい。
検出する際のサーチエリアを決定する。ここでは、付加
情報に含まれる間欠間隔の情報に基づき、サーチエリア
を決定する。上述の図5において説明したように、間欠
間隔が大きい場合は動きベクトルが大きくなるのでサー
チエリアを大きくし、また、間欠間隔が小さい場合は動
きベクトルが小さくなるのでサーチエリアを小さくす
る。なお、このステップS7でのサーチエリアの決定
は、この間欠間隔に応じてサーチエリアを拡大縮小する
代わりに又はこれとともに、図6において説明したよう
な、先に求めた動きベクトルに応じてサーチエリアの位
置を変更するものであってもよい。つまり、間欠画像の
各フレーム画像の動きベクトルを求めるに当たり、前フ
レーム画像の動きベクトルをこのステップS7で取得
し、この値を反映させてサーチエリアを決定するように
してもよい。
【0053】ステップS7でサーチエリアを決定した後
ステップS8において、動きベクトルの検出をおこな
う。そして、ステップS9において、ステップS8で求
めた動きベクトルに基づき、再生する間欠画像に補間画
像を内挿するか否かを判断する。内挿しないと判断する
場合は、ステップS10において、内挿をせず又は他の
補間処理をしてステップS3に戻る。内挿をすると判断
した場合は、ステップS11に進み、上述した内挿処理
を行う。
ステップS8において、動きベクトルの検出をおこな
う。そして、ステップS9において、ステップS8で求
めた動きベクトルに基づき、再生する間欠画像に補間画
像を内挿するか否かを判断する。内挿しないと判断する
場合は、ステップS10において、内挿をせず又は他の
補間処理をしてステップS3に戻る。内挿をすると判断
した場合は、ステップS11に進み、上述した内挿処理
を行う。
【0054】以上のように、本発明を適用した実施の形
態である映像信号再生装置1では、間欠的に記録された
映像信号を再生する際に、その映像の内容に応じた補間
処理を行い違和感の少ない画像を再生することができ
る。
態である映像信号再生装置1では、間欠的に記録された
映像信号を再生する際に、その映像の内容に応じた補間
処理を行い違和感の少ない画像を再生することができ
る。
【0055】また、本発明を適用した他の実施の形態と
して、図13に示す映像信号変換装置50がある。この
映像信号変換装置50は、信号受信部52と、映像信号
処理部3と、付加情報処理部4と、動きベクトル検出部
5と、内挿処理部6と、出力信号処理部7と、システム
コントロール部8と、操作入力部9とを備える。この映
像信号変換装置50は、上述した映像信号再生装置1と
記録媒体10から再生した信号の処理を行うか、伝送さ
れた信号の処理を行うかという点で機能の相違がある。
従って、この映像信号変換装置50は、信号受信部52
以外の各構成要素の機能は映像信号再生装置1と同一で
ある。
して、図13に示す映像信号変換装置50がある。この
映像信号変換装置50は、信号受信部52と、映像信号
処理部3と、付加情報処理部4と、動きベクトル検出部
5と、内挿処理部6と、出力信号処理部7と、システム
コントロール部8と、操作入力部9とを備える。この映
像信号変換装置50は、上述した映像信号再生装置1と
記録媒体10から再生した信号の処理を行うか、伝送さ
れた信号の処理を行うかという点で機能の相違がある。
従って、この映像信号変換装置50は、信号受信部52
以外の各構成要素の機能は映像信号再生装置1と同一で
ある。
【0056】信号受信部52には、伝送された映像信号
が入力され、この映像信号の再生処理をする。この伝送
される入力信号は、例えば、通信又は放送により伝送さ
れた映像信号から一定の映像信号を間引いたコマ落ち画
像、すなわち、間欠画像である。
が入力され、この映像信号の再生処理をする。この伝送
される入力信号は、例えば、通信又は放送により伝送さ
れた映像信号から一定の映像信号を間引いたコマ落ち画
像、すなわち、間欠画像である。
【0057】以上のように、本発明を適用した実施の形
態である映像信号変換装置50では、間欠的に伝送され
た映像信号を再生する際に、その映像の内容に応じた補
間処理を行い違和感の少ない画像を再生することができ
る。
態である映像信号変換装置50では、間欠的に伝送され
た映像信号を再生する際に、その映像の内容に応じた補
間処理を行い違和感の少ない画像を再生することができ
る。
【0058】なお、上述した実施の形態の映像信号再生
装置1及び映像信号変換装置50では、映像信号をアッ
プコンバートするものであっても適用ができる。
装置1及び映像信号変換装置50では、映像信号をアッ
プコンバートするものであっても適用ができる。
【0059】
【発明の効果】本発明に係る映像信号再生装置では、サ
ーチエリア制御手段が、動きベクトルを検出する為のサ
ーチエリアを制御して内挿フレームを生成することによ
り、間欠的に記録された映像信号を再生する際に、その
映像の内容に応じた補間処理を行い違和感の少ない画像
を再生することができる。
ーチエリア制御手段が、動きベクトルを検出する為のサ
ーチエリアを制御して内挿フレームを生成することによ
り、間欠的に記録された映像信号を再生する際に、その
映像の内容に応じた補間処理を行い違和感の少ない画像
を再生することができる。
【0060】また、本発明に係る映像信号再生装置で
は、動きベクトルを検出する為のサーチエリアを制御し
て内挿フレームを生成することにより、間欠的に記録さ
れた映像信号を再生する際に、その映像の内容に応じた
補間処理を行い違和感の少ない画像を再生することがで
きる。
は、動きベクトルを検出する為のサーチエリアを制御し
て内挿フレームを生成することにより、間欠的に記録さ
れた映像信号を再生する際に、その映像の内容に応じた
補間処理を行い違和感の少ない画像を再生することがで
きる。
【図1】本発明を適用した映像信号再生装置のブロック
構成図である。
構成図である。
【図2】動きベクトル検出処理についての説明図であ
る。
る。
【図3】動きベクトル検出処理についての説明図であ
る。
る。
【図4】動きベクトル検出処理についての説明図であ
る。
る。
【図5】動きベクトル検出処理で用いるサーチエリアに
ついての説明図である。
ついての説明図である。
【図6】動きベクトル検出処理で用いるサーチエリアに
ついての説明図である。
ついての説明図である。
【図7】本発明を適用した映像信号再生装置の動きベク
トル検出部のブロック構成図である。
トル検出部のブロック構成図である。
【図8】映像信号からデジタル輝度信号と同期信号を分
離する回路のブロック構成図である。
離する回路のブロック構成図である。
【図9】内挿処理についての説明図である。
【図10】本発明を適用した映像信号再生装置の内挿処
理部のブロック構成図である。
理部のブロック構成図である。
【図11】本発明の内挿処理部により出力される映像信
号についての説明図である。
号についての説明図である。
【図12】本発明を適用した映像信号再生装置のシステ
ムコントロール部の処理内容を示すフローチャートであ
る。
ムコントロール部の処理内容を示すフローチャートであ
る。
【図13】本発明を適用した映像信号変換装置のブロッ
ク構成図である。
ク構成図である。
1 映像信号再生装置、2 信号生成部、3 映像信号
処理部、4 付加情報処理部、5 動きベクトル検出
部、6 内挿処理部、7 出力信号処理部、8システム
コントロール部、31 第1のメモリ、32 第2のメ
モリ、33 メモリライトコントローラ、34 メモリ
リードコントローラ、35 合成回路、36 コントロ
ーラ50、50 映像信号変換装置、52 信号受信部
処理部、4 付加情報処理部、5 動きベクトル検出
部、6 内挿処理部、7 出力信号処理部、8システム
コントロール部、31 第1のメモリ、32 第2のメ
モリ、33 メモリライトコントローラ、34 メモリ
リードコントローラ、35 合成回路、36 コントロ
ーラ50、50 映像信号変換装置、52 信号受信部
Claims (6)
- 【請求項1】 間欠的な映像信号を再生する再生手段
と、 上記間欠的な映像信号から時間的に連続した2つのフレ
ーム間の動きベクトルを検出する動きベクトル検出手段
と、 上記動きベクトルを検出する為のサーチエリアを制御す
るサーチエリア制御手段と、 上記動きベクトルと上記時間的に連続した2つのフレー
ムとに基づき、この時間的に連続した2つのフレームを
補間する内挿フレームを生成する内挿フレーム生成手段
と、 上記内挿フレームを上記間欠的な映像信号に合成して出
力する出力手段とを備える映像信号再生装置。 - 【請求項2】 上記サーチエリア制御手段は、上記映像
信号に付加されている付加信号に基づき動きベクトルの
サーチエリアを制御することを特徴とする請求項1に記
載の映像信号再生装置。 - 【請求項3】 上記サーチエリア制御手段は、上記動き
ベクトル検出手段により直前に検出した動きベクトルに
基づき、動きベクトルのサーチエリアを制御することを
特徴とする請求項1に記載の映像信号再生装置。 - 【請求項4】 間欠的な映像信号を再生し、 動きベクトルを検出する際のサーチエリアを確定し、 この確定したサーチエリア内で再生した上記映像信号か
ら時間的に連続した2つのフレーム間の動きベクトルを
検出し、 上記動きベクトルと上記時間的に連続した2つのフレー
ムとに基づき、この時間的に連続した2つのフレームを
補間する内挿フレームを生成し、 上記内挿フレームを上記映像信号に合成して出力するこ
とを特徴とする映像信号再生方法。 - 【請求項5】 上記映像信号に付加されている付加信号
に基づき動きベクトルのサーチエリアを確定することを
特徴とする請求項4に記載の映像信号再生方法。 - 【請求項6】 直前に検出した動きベクトルに基づき動
きベクトルのサーチエリアを確定することを特徴とする
請求項4に記載の映像信号再生方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9036763A JPH10233997A (ja) | 1997-02-20 | 1997-02-20 | 映像信号再生装置および映像信号再生方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9036763A JPH10233997A (ja) | 1997-02-20 | 1997-02-20 | 映像信号再生装置および映像信号再生方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH10233997A true JPH10233997A (ja) | 1998-09-02 |
Family
ID=12478802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9036763A Withdrawn JPH10233997A (ja) | 1997-02-20 | 1997-02-20 | 映像信号再生装置および映像信号再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH10233997A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8432973B2 (en) | 2007-12-26 | 2013-04-30 | Kabushiki Kaisha Toshiba | Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus |
-
1997
- 1997-02-20 JP JP9036763A patent/JPH10233997A/ja not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8432973B2 (en) | 2007-12-26 | 2013-04-30 | Kabushiki Kaisha Toshiba | Interpolation frame generation apparatus, interpolation frame generation method, and broadcast receiving apparatus |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0809399B1 (en) | Apparatus for reproducing downwards compatible video signals with increased vertical resolution | |
| JP3103894B2 (ja) | ビデオデータの手振れ補正装置およびその方法 | |
| JPH07327164A (ja) | フレーム周波数変換装置 | |
| JP3495485B2 (ja) | 画像変換装置 | |
| US7269342B1 (en) | Video signal reproducing device | |
| JPH10257435A (ja) | 映像信号再生装置及び映像信号再生方法 | |
| CN101516014A (zh) | 图像处理装置和图像处理方法 | |
| JPH10233996A (ja) | 映像信号再生装置および映像信号再生方法 | |
| KR20010092316A (ko) | 영상 기록 재생 장치 및 방법 | |
| JP2007104623A (ja) | 映像信号伝送システム、撮像装置、信号処理装置および映像信号伝送方法 | |
| US6374039B1 (en) | Image pickup apparatus | |
| JP3637823B2 (ja) | 映像信号切替え装置及びその映像信号切替え方法 | |
| JPH10233997A (ja) | 映像信号再生装置および映像信号再生方法 | |
| JP3158735B2 (ja) | 画像信号記録装置 | |
| JPH08317295A (ja) | デジタル画像記録装置およびデジタル画像再生装置 | |
| JP2002077780A (ja) | 映像信号記録再生制御装置 | |
| JP3312456B2 (ja) | 映像信号処理装置 | |
| JP3237527B2 (ja) | 高速度カメラシステム | |
| JP2002185980A (ja) | マルチフォーマット記録再生装置 | |
| US20010043207A1 (en) | Image display device | |
| JP3336085B2 (ja) | 撮像記録再生装置 | |
| JP3319188B2 (ja) | 映像信号処理装置及びそれを備えた映像信号記録再生装置 | |
| JP2002094949A (ja) | 映像情報再生装置及び再生方法 | |
| JP3204708B2 (ja) | 映像記録再生装置 | |
| JPH08195936A (ja) | スロー画像再生装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040511 |