JPH0715654A - 静止画像合成方法 - Google Patents

Abstract

(57)【要約】 【目的】 １画面に収まらない静止画像を１枚に合成し
て出力して見ることができる静止画像合成方法を提供す
ることを目的とする。 【構成】 １画面内に収まらない静止画像を上下または
左右にノンインターレースまたはインタ−レ−スのビデ
オカメラで走査し、得られるデジタル動画像をフレーム
間動き補償予測を用いて符号化した後、復号時に符号化
された動画像データおよび付随して記録されている局所
的な動きベクトルから推定される画面全体の動きベクト
ルに基づいて取り込んだ画像を走査方向につないで静止
画像を合成することを特徴とする静止画像合成方法。【

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、１画面に収まり切らな
い文書、地図、風景などの高解像度を要する静止画像情
報をビデオカメラを用いてデジタル動画像として取り込
み、それを合成して高解像度のプリンタなどで出力する
静止画像合成方法に関する。

【０００２】

【従来の技術】従来の静止画像取り込み方法においては
解像度の制約のため、例えば、通常用途で使われる電子
式スチルカメラでは、１画面の解像度はせいぜい７２０
×４８０ｐｅｌ程度なので、Ａ４の大きさ１枚のすべて
を１画面に収めることができず、何回かに分けて部分的
に撮像している。また他の方法としては、ビデオカメラ
を用いて１画面を取り込むことができるが、この方法で
も記録したい静止画像をゆっくりパンしながら取り込
み、静止画像を画面スクロールした状態で見ることがで
きるだけである。

【０００３】

【発明が解決しようとする課題】しかしながら、上記の
方法ではいずれの場合も、１画面に収まらない静止画像
を１枚に合成して出力して見ることができない。本願発
明は１画面に収まらない静止画像を１枚に合成して出力
して見ることができる静止画像合成方法を提供すること
を目的とするものである。

【０００４】

【課題を解決するための手段】請求項１の発明では、１
画面内に収まらない静止画像を上下または左右にノンイ
ンターレースビデオカメラで走査して得られるデジタル
動画像またはインターレースビデオカメラで走査してし
て得られるデジタル動画像をースに変換した画像情報を
フレーム間動き補償予測を用いて符号化した後、復号時
に符号化された動画像データおよび付随して記録されて
いる局所的な動きベクトルから推定される画面全体の動
きベクトルに基づいて取り込んだ画像を走査方向につな
いで静止画像を合成することにした。

【０００５】請求項２の発明では、１画面内に収まらな
い静止画像を左右にインターレースビデオカメラで走査
して該インターレースビデオカメラから取り込んだデジ
タル動画像をインタレースのまま偶奇フィールドを単純
にマージしたフレームにてフレーム間動き補償予測を用
いて符号化した後、復号時に符号化された動画像データ
および付随して記録されている局所的な動きベクトルか
ら推定される画面全体のフレーム間動きベクトルおよび
これを半分にしたフィールド間動きベクトルに基づいて
偶数フィールドをずらして奇数フィールドと合わせたフ
レームを合成し、これらのフレームについて請求項１と
同様の処理により取り込んだ画像を走査方向につないで
高解像度の静止画像を合成することにした。

【０００６】

【作用】請求項１の発明においては、１画面内に収まら
ない静止画像を上下または左右にノンインターレースビ
デオカメラで走査して得られるデジタル動画像またはイ
ンターレースビデオカメラで走査してして得られるデジ
タル動画像をノンインタレースに変換した画像情報をフ
レーム間動き補償予測を用いて符号化した後、復号時に
符号化された動画像データおよび付随して記録されてい
る局所的な動きベクトルから推定される画面全体の動き
ベクトルに基づいて取り込んだ画像を走査方向につない
で１画面に合成した静止画像を生成することが可能とな
る。

【０００７】請求項２の発明においては、１画面内に収
まらない静止画像を左右にインターレースビデオカメラ
で走査して該インターレースビデオカメラから取り込ん
だデジタル動画像をインタレースのまま偶奇フィールド
を単純にマージしたフレームにてフレーム間動き補償予
測を用いて符号化した後、復号時に符号化された動画像
データおよび付随して記録されている局所的な動きベク
トルから推定される画面全体のフレーム間動きベクトル
およびこれを半分にしたフィールド間動きベクトルに基
づいて偶数フィールドをずらして奇数フィールドと合わ
せたフレームを合成し、画像を走査方向につないで１画
面に合成した高解像度の静止画像を生成することが可能
となる。

【０００８】以下、本発明の実施例を説明する。本発明
は、１画面内に収まらない静止画像をビデオカメラで走
査して動画像として取り込み、符号化した後、復号時に
符号化された動画像データおよび動画像データに付随し
て記録されている局所的な動きベクトルから推定される
画面全体の動きベクトルに基づいて、取り込んだ画像を
走査方向につないで合成して１枚の静止画像を生成する
ことができるようにしたものである。

【０００９】本発明が適用される復号化部及び静止画像
生成部の概要構成を図１に、符号化部を図２に示す。図
１において、記録された動画像は逆ＶＣＬ器２、逆量子
化器３、逆ＤＣＴ器４、加算器５、フレ−ムメモリ６、
動き補償予測器７、サイド情報復号回路８により復号さ
れ、更に、静止画展開用フレ−ムメモリ９、画像全体動
きベクトル推定器１０、継ぎ足し部分判定器１１により
一枚の静止画像が合成される。図２は符号化部を示し、
静止画像をビデオカメラで撮像して動画像として取り込
み、その動画像をＤＣＴ器１４、量子化器１５、符号化
制御部１６などで符号化する様子を示している。このフ
レ−ムメモリは動き補償予測に使用する参照画像（符号
化器でロ−カルに復号される直前のフレ−ム画像）を蓄
えるのに使用される。動き補償予測では符号化するフレ
−ム画像とこのフレ−ムメモリの参照画像の動き補償し
た差分がとられる。尚、フレ−ム内符号化（フレ−ム間
予測をしないで独立に符号化する）、フレ−ム間符号化
（動き補償フレ−ム間予測により符号化する）は、通常
８×８、１６×１６などのブロック単位に切り替えられ
る。シ−ンチェンジや新たに画面に入ってきた部分など
では前のフレ−ムからの動き補償予測が効率の悪い場合
はフレ−ム内符号化が選ばれる。量子化特性は発生符号
量を制御するパラメ−タである。

【００１０】請求項１の発明について、動画像の取り込
みから静止画像の合成まで順次説明を行なう。１画面に
収まらない静止画像を、ビデオカメラを左右また上下に
パンしながら撮像しデジタル動画像として取り込み、フ
レーム間動き補償予測による符号化記録を行なう。ここ
では図３に示すように、第１フレームを独立に符号化
し、第２フレーム以降については、順次直前のフレーム
から動き補償予測して符号化するようにする。

【００１１】本発明においては、通常の復号器に加え、
フレーム間動き補償予測に使われた画面内の局所的な動
きベクトル群から画面全体の動きベクトル（ここでは一
様な平行移動のみ）を推定する手段、この推定された画
面全体の動きベクトルに基づいて、新しく復号されたフ
レーム画像のうち直前のフレーム画像に重複していない
部分を判定する手段、復号したフレーム画像に次々重複
していないと判定された部分を継ぎ足し合成した静止画
像を展開する手段、および展開用のフレームメモリを設
ける。

【００１２】復号の仕方について述べると、まず１枚目
の独立フレームを復号し前記静止画像展開用のフレーム
メモリ９に展開する。次に、次フレームの符号化画像デ
ータとともに記録されているフレーム間動き補償予測に
使われた画面内の局所的な動きベクトル群をもとに、画
面全体の動きベクトルを推定する。この際、一部の正し
く求まっていない局所的な動きベクトルを除いて、画面
全体の動きベクトルを推定するようにする。

【００１３】この推定された画面全体の動きベクトルに
基づいて、新しく復号されたフレーム画像のうち直前の
フレーム画像に重複していない部分を判定する。そのよ
うに判定された画素を静止画像展開用フレームメモリ９
に追加書き込みし、２枚のフレームを合成する。上記手
順を次々と復号されるフレーム画像に行なっていくこと
により、所望の１枚の静止画像を合成する。

【００１４】デジタル動画像取り込み記録する装置にお
いては、データ量圧縮のため通常フレーム間動き補償予
測による符号化が行なわれることが多い。この際フレー
ム間の局所的な動きベクトル検出が行なわれる。動き補
償予測のモードで符号化された部分については、画像そ
のものに関するデータとともに、この動きベクトルも復
号に必要なデータとして記録される。なおここでも図３
に示すように、第１フレームを独立に符号化し、その後
のフレームを次々と直前のフレームから動き補償予測し
て符号化する方法を使用する。

【００１５】これらのフレーム間の局所的な動きベクト
ル検出、および記録のための手段は、フレーム間動き補
償予測を用いた動画像を符号化記録する装置においては
すでに存在している。インターレースのビデオカメラか
ら取り込んだデジタル動画像をノンインタレースに変換
したものを、フレーム間動き補償予測を用いた動画像符
号化にて符号化記録する装置については、たとえば「Ｄ
ｒａｆｔ ｒｅｖｉｓｉｏｎ ｏｆ ｒｅｃｏｍｍｅｎ
ｄａｔｉｏｎ Ｈ．２６１ ＣＣＩＴＴ ＳＧＸＶ（Ｎ
ｏｖ．１９８９）」に記されるような構成を用いること
ができる。

【００１６】フレーム間動き補償予測で求める動きベク
トルは、通常１６×１６画素程度のブロック単位に局所
的に求められる。通常符号化画像（例えば図３のフレ−
ム１）と参照画像（図３のフレ−ム０）の間でこのブロ
ック単位のマッチングをとり、画素単位の絶対値誤差の
和などの評価値に基づいて、もっとも良くマッチングす
る位置を見つけ、それを動きベクトルとする方法（ブロ
ックマッチング法）がとられる。本発明においては、単
純な水平方向のパンニングで検出される動きベクトル群
は理想的には図４のようになる。図４は画面全体が各ブ
ロックに分割された状態を示し、それぞれのブロックが
動きベクトル検出の単位ブロックになっている。また、
矢印は各ブロックに対して検出された動きベクトルを表
している。

【００１７】静止画像撮像時には、対象静止画像を上下
または左右にゆっくりとビデオカメラをスキャンさせな
がら撮像し、上記動き補償予測により符号化し記録す
る。この際必ずしも正確に水平または垂直方向にビデオ
カメラを動かす必要はなく、正確に等速度で動かす必要
もない。図６はビデオカメラをずらしながら撮像された
各フレ−ム画像を示す。撮像されノン・インタレースに
変換された画像は、図６のごとく連続したフレーム間で
部分的に重複した画像となる。

【００１８】ここで図１を用いて、静止文書画像合成の
手順を説明する。図１に記録した動画像から１枚の静止
画像を合成する本発明の復号化部、静止文書画像合成部
の構成を示す。復号化部においては、バッファ１乃至動
き補償予測器７の通常のフレーム間動き補償予測を用い
た符号化動画像復号器の構成に加えて、本発明において
は、静止画像合成手段として、静止画展開用フレ−ムメ
モリ９、画面全体動きベクトル推定器１０、継ぎ足し部
分判定器１１を有している。復号時まず最初の復号され
たフレーム（フレーム０）を合成された静止画像展開用
フレームメモリ９に展開する。

【００１９】次に、次の動き補償予測フレーム間差分符
号化されたフレーム（フレ−ム１）について、図３のよ
うなフレーム間動き補償予測用に求められ符号化されて
いる動きベクトル群から、画面全体の動きベクトル（上
記例では、ほぼ垂直方向の画面内で一定の動きベクト
ル）を画面全体動きベクトルを推定手段１０によって求
める。図４のようにすべてのブロックで完全に正しく動
きベクトルが求まっていれば、これらの動きベクトルの
平均値で画面全体の動きベクトルを推定してもよい。前
記図４の例では、フレ−ム１で検出される動きベクトル
は正しくは上向き矢印のように求まる。

【００２０】ただし、図６のフレ−ム１のＣの部分は、
フレ−ム０にはなくて、新たに現れてきた部分なので、
この部分を含むブロックについては、通常参照画像のフ
レ−ム０中に対応する部分がないので動きベクトルは正
しく求まらないのが普通である。また動きベクトルを求
めているブロックにほとんど輝度変化がなかったり、あ
っても輝度変化の勾配がある一定の方向に偏っていたり
すると、動きベクトルは必ずしも正しく求まっていない
ことがある。

【００２１】このような必ずしも正しく求まっていない
動きベクトルの影響を除いて画面全体の動きベクトルを
求めるには、本発明のように画面全体はほぼ一定の垂直
または水平の平行移動のみしかしないなら、すべての動
きベクトルのヒストグラムをとり、頻度の低いものは除
外して、残りで平均をとればよい。

【００２２】尚、ここで用いる画面全体の動きベクトル
は、整数画素精度にまるめるものとする。求まった画面
全体の動きベクトルからフレ−ム１でフレ−ム０での画
面の外から新たに現れた領域（図４のＣ領域）を判定す
る。この判定は図１の継ぎ足し部分判定器１１によって
行なわれる。これはフレ−ム１の各画素の座標（フレ−
ムの左上を（０、０）、右、下方向を正にとる）に求ま
った動きベクトルを１８０°反転したものを加えて、図
７の展開用フレームメモリにおけるフレ−ム０の範囲内
からはずれる画素からなる。これを図７のＣの領域とし
て示す。

【００２３】この部分を図６のフレームメモリのフレ−
ム０の後ろに追加する。（図６フレ−ム１ Ｃの部分）
追加される画素の図６のフレームメモリでの座標は、さ
きにフレ−ム１の各画素の座標に求まった動きベクトル
を１８０°反転したものを加えた座標である。以上の手
順をフレ−ム２以降についても繰り返す。

【００２４】次に、請求項２の静止画像合成方法につい
て説明する。請求項２では、入力画像がインタレース構
造をもつので、各フレーム復号後、フィールド間の動き
によるずれを補償した後、請求項１と同様の処理でフレ
ームを合成していき所望の１枚の静止画像を合成する。

【００２５】フィールド間の動きは、請求項１で求めた
フレーム間画面全体の動きベクトルを半分にしたものを
用いる。奇数フィールド画像はこのフィールド間の動き
ベクトルを逆方向にした分ずらして偶数フィールドと合
わせて１フレームに合成する。

【００２６】請求項２に記載された発明について、主
に、請求項１に記載された発明との相違点を中心に説明
する。請求項２に記載された発明の実施例を図８に示
す。この発明の復号部は、バッファ１から動き補償予測
器７のフレーム間動き補償予測を用いた符号化動画像復
号器の構成に加えて、静止画像合成用の静止画展開用フ
レ−ムメモリ９から継ぎ足し部分判定器１１と、更に、
画面全体フィ−ルド間動きベクトル推定器１２、フィ−
ルド間動き補償フィ−ルドマ−ジン回路・フレ−ムメモ
リ（フィ−ルドマ−ジド・フレ−ムメモリ）１３の回路
を持つ。

【００２７】請求項２に記載された発明においては、ビ
デオカメラを右方向にパンしながら撮像するとすると、
撮像される画像は図９のようになる。画面上で検出され
る動きベクトルは左方向になる。偶奇フィールド間の動
きベクトルは、フレーム間の動きベクトルの半分とみな
せる。このフィールド間の動きベクトルを反転した分だ
け（右方向→）偶フィールド画像データをずらして奇フ
ィールドとマージしてフレームを合成する。これをフィ
−ルドマ−ジド・フレ−ムメモリ１３に記録する。この
合成された各フレームに対して、請求項１に記載された
発明と同様に、画面全体のフレーム間動きベクトルによ
り、フレームごとに新たに現れた部分を継ぎ足しなが
ら、静止画展開用フレームメモリ９に各フレーム画像が
合成された１枚の静止画像を生成する。本願発明の静止
画像生成方法は上記の例に限らず、１枚に収まらない静
止画像に対し広く適用することができる。

【００２８】

【発明の効果】請求項１記載の発明は、高解像度の画像
入力のできないビデオカメラ入力の動画像取り込み符号
化記録装置を用いて、高解像度を要する文書画像などを
パンしながら取り込み動画像として記録した後、再生時
に１枚の静止画像に合成できる。

【００２９】請求項２記載の発明は、インターレースビ
デオカメラで撮像したデジタル動画像をノンインタレー
スに変換せずせに１枚の静止画像を合成でき、また高解
像度な画像を生成することができる。

【００３０】

【図面の簡単な説明】

【図１】 本発明の復号化部及び静止画像合成部の概要
構成を示す図。

【図２】 本発明の符号化部の概要構成を示す図。

【図３】 フレーム間動き補償予測符号化（前方予測）
のフレーム間予測の依存関係を示す図。

【図４】 フレーム間動き補償予測で検出される局所的
な動きベクトル群のパンニングのシーンにおける例を示
す図。

【図５】 図３の静止画像撮像方法にて撮像される各フ
レームの画像内容の重複する関係を示す図。

【図６】 合成された静止画像のフレームメモリへ展開
される様子を示す図。

【図７】 新たに復号されるフレーム画像のうちそのフ
レームにて新たに現れた領域の判定方法を示す図。

【図８】 請求項２の静止画像合成機能を有するフレー
ム間動き補償予測を用いた符号化動画像復号器のブロッ
ク図を示す図。

【図９】 請求項２のビデオカメラをずらしながらイン
タレースで撮像されたフレーム画像と推定されるフレー
ム間画面全体の動きベクトルおよびフィールド間画面全
体の動きベクトルの例を示す図。

【００３１】

【符号の説明】

１ バッファ ２ 逆ＶＬＣ器 ３ 逆量子化器 ４ 逆ＤＣＴ器 ５ 加算器 ６ フレームメモリ ７ 動き補償予測器 ８ サイド情報復号回路 ９ 静止画展開用フレ−ムメモリ １０ 画面全体動きベクトル推定器 １１ 継ぎ足し部分判定器 １２ 画面全体フィ−ルド間動きベクトル推定器 １３ フィ−ルドマ−ジド・フレ−ムメモリ １４ ＤＣＴ器 １５ 量子化器 １６ 符号化制御部

Claims (2)

【特許請求の範囲】
1. 【請求項１】 １画面内に収まらない静止画像を上下ま
   たは左右にノンインターレースビデオカメラで走査して
   得られるデジタル動画像またはインターレースビデオカ
   メラで走査してして得られるデジタル動画像をノンイン
   タレースに変換した画像情報をフレーム間動き補償予測
   を用いて符号化した後、復号時に符号化された動画像デ
   ータおよび付随して記録されている局所的な動きベクト
   ルから推定される画面全体の動きベクトルに基づいて取
   り込んだ画像を走査方向につないで静止画像を合成する
   ことを特徴とする静止画像合成方法。
2. 【請求項２】 １画面内に収まらない静止画像を左右に
   インターレースビデオカメラで走査して該インターレー
   スビデオカメラから取り込んだデジタル動画像をインタ
   レースのまま偶奇フィールドを単純にマージしたフレー
   ムにてフレーム間動き補償予測を用いて符号化した後、
   復号時に符号化された動画像データおよび付随して記録
   されている局所的な動きベクトルから推定される画面全
   体のフレーム間動きベクトルおよびこれを半分にしたフ
   ィールド間動きベクトルに基づいて偶数フィールドをず
   らして奇数フィールドと合わせたフレームを合成し、画
   像を走査方向につないで静止画像を合成することを特徴
   とする静止画像合成方法。