JPH1083033A

JPH1083033A - 動画像のプリント方法

Info

Publication number: JPH1083033A
Application number: JP8238174A
Authority: JP
Inventors: Naoto Kaneshiro; 金城　　直人
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1996-09-09
Filing date: 1996-09-09
Publication date: 1998-03-31
Anticipated expiration: 2016-09-09
Also published as: JP3738087B2

Abstract

(57)【要約】【課題】動画像データから画像品質のよいプリントを
作成する。【解決手段】動画像中のプリント対象画像とこのプリ
ント対象画像に対し１秒前及び１秒後の参照画像との各
データをフレームメモリ２８にコマ単位で取り込む。プ
リント対象画像データと参照画像データとに対して、マ
ッチング処理部３０で局所的マッチング処理を行い、プ
リント対象画像を静止領域と動領域とに分ける。静止領
域加重平均部３１により、静止領域に対してプリント対
象画像と参照画像との同じ位置にある画素データを加重
平均する。動領域平滑化処理部３２により、動領域に対
してプリント対象画像の画像データを用いて平滑化処理
を行う。これらの処理を行った静止領域及び動領域の画
像データを画像合成部３３で合成する。これにより、静
止領域のランダムノイズが軽減する。動領域におけるぶ
れが目立たなくなる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像からプリン
ト対象画像を特定してこれのデータに基づきプリントす
る動画像のプリント方法に関するものである。

【０００２】

【従来の技術】８ミリビデオカメラやビデオレコーダー
等で記録された動画像を、ビデオプリンタ等を用いてプ
リントすることが行われている。この場合には、モニタ
ーに動画像を再生してこれを確認しながら、プリント対
象のシーンに対してフリーズキーを操作することで、フ
レームメモリに動画像の１フレーム分の画像データを取
り込み、この画像データに基づきプリントしている。

【０００３】

【発明が解決しようとする課題】しかしながら、動画像
データから１フレーム分の画像データを取り出して、こ
の画像データに基づき単にプリントする場合には、画像
データが他のスチールカメラ等で得られた画像データに
比べて解像度が低いことや、ノイズ等の影響により、画
質が不十分となり、満足のいくプリントを作成すること
ができないという問題がある。また、８ミリビデオカメ
ラ等で撮影された動画像データから１フレーム分の画像
データを取り出す場合には、通常シャッタ速度が電子ス
チールカメラ等よりも低く設定されているので、動画像
がぶれた状態になっており、このままプリントすると、
動画像のぶれが目立ってしまい、画像品質が低下すると
いう問題がある。

【０００４】本発明は上記課題を解決するためのもので
あり、動画像データからプリントを作成する際に、全体
の画像品質が低下することがないようにした動画像のプ
リント方法を提供することを目的とする。

【０００５】

【課題を解決するための手段】上記目的を達成するため
に、請求項１の動画像のプリント方法は、動画像中のプ
リント対象画像とこのプリント対象画像のｎ（ｎは自然
数）コマ前又はｎコマ後の参照画像の各データをメモリ
にコマ単位で取り込み、プリント対象画像データと参照
画像データとに対して局所的マッチング処理を行って、
プリント対象画像を静止領域と動領域とに分け、静止領
域と動領域とに対して異なる画質改善処理を行うように
したものである。また、静止領域と動領域とに分ける他
に、プリント対象画像データから顔候補領域を抽出し、
動領域と顔候補領域とが重なりあっている領域を顔領域
と判定し、顔領域と、顔領域を除いた動領域と、静止領
域とに対して、異なる画質改善処理を行うようにしても
よい。また、動領域におけるプリント対象画像データに
基づき顔候補領域の抽出処理を行ってもよく、この場合
には顔候補領域の抽出処理の演算負荷が小さくなる。な
お、前記静止領域に対する画質改善処理は、プリント対
象画像と参照画像との同じ位置にある画素データを加重
平均し、この加重平均値を画像データとすることが好ま
しい。また、前記動領域に対する画質改善処理は、プリ
ント対象画像の画像データを用いて平滑化処理、又は強
調化処理することが好ましい。また、顔領域に対する画
質改善処理は、プリント対象画像の顔領域内の画像デー
タに基づき顔領域の濃度及び色を適正に仕上げるように
画像全体のプリント濃度及び色を調節したり、プリント
対象画像の顔領域内の画像データに基づき顔領域のみを
部分的に、その濃度及び色が適正に仕上げるように調節
したりすることが好ましい。

【０００６】請求項９記載の動画像のプリント方法は、
動画像中のプリント対象画像とこのプリント対象画像の
ｎコマ前又はｎコマ後の参照画像の各データをメモリに
コマ単位で取り込み、プリント対象画像データに対して
参照画像データの位置を２次元的にずらしながら、各画
像を多数個に分割した分割エリアに対して局所的マッチ
ング処理を行って、その相違度が最も小さくなるずらし
位置の参照画像の分割エリアをプリント対象画像の分割
エリアに関連付けし、この関連付けにより画面全体にわ
たりプリント対象画像の分割エリアに対する参照画像の
分割エリアの動きベクトルを求め、この動きベクトルに
基づき移動撮影かズーミング撮影かを判定し、この判定
結果に基づき参照画像の画面全体の動きをキャンセルし
た補正動きベクトルを求め、この補正動きベクトルの大
きさが所定値内であればこの参照画像の分割エリアに対
応するプリント対象画像の分割エリアを静止領域と判定
し、その他の領域を動領域と判定して、プリント対象画
像における各分割エリアを静止領域と動領域とに分け、
静止領域と動領域とに対して異なる画質改善処理を行う
ようにしたものである。

【０００７】

【作用】動画像中のプリント対象画像とこのプリント対
象画像のｎコマ前又はｎコマ後の参照画像の各データが
フレームメモリにコマ単位で取り込まれる。これらプリ
ント対象画像データと参照画像データとに対して局所的
マッチング処理が行われる。この局所的マッチング処理
によりプリント対象画像データと参照画像データとが一
致する場合には静止領域と判定される。また、不一致の
場合には動領域と判定される。これら静止領域と動領域
とに対しては異なる画質改善処理が行われる。

【０００８】静止領域と動領域とに分けた後に、顔候補
領域が抽出される。顔候補領域は、例えばプリント対象
画像データから人物の肌色を特定する色及び濃度を持つ
画素を抽出し、これら抽出した画素が一定領域内に集合
しているときに、顔候補領域とされる。また、顔の輪
郭、頭部、人物胴体、目や口、眉等の顔内部構造の形状
を検出することで、顔候補領域を特定してもよい。そし
て、動領域と顔候補領域とが重なりあっている領域が顔
領域と判定される。静止領域と動領域との判別処理と、
顔候補領域抽出処理とは、並行処理してもよく、あるい
は順次処理してもよい。順次に処理する場合には、動領
域のプリント対象画像データに基づき顔候補領域を抽出
することで、抽出処理対象領域が動領域に限定されるた
め、顔領域の抽出が効率良く行える。

【０００９】これら顔領域と、顔領域を除いた動領域
と、静止領域とに対して、異なる画質改善処理が行われ
る。画質改善処理として、静止領域には、プリント対象
画像と参照画像との同じ位置にある画素データを加重平
均することが行われ、これによりランダムノイズが除去
される。また、前記動領域に対しては、プリント対象画
像の画像データを用いて平滑化処理が行われ、動領域内
の画像をぼかすことで、人物等のぶれが目立たなくされ
る。顔領域に対しては例えば強調処理が行われる。ま
た、プリント対象画像の顔領域内の画像データに基づき
顔領域の濃度及び色を適正に仕上げるように、画像全体
又は顔領域のみのプリント濃度及び色が調節される。

【００１０】また、プリント対象画像データと参照画像
データとに対して位置を２次元的にずらしながら局所的
マッチング処理が行われる。そして、その相違度が最も
小さくなるずらし位置のブロックを関連付けし、この関
連付けにより画面全体にわたり動きベクトルが求められ
る。この動きベクトルに基づきカメラが移動中か、ズー
ミング中かが判定される。そしてこの判定結果により、
カメラの挙動に基づき画面全体の動きをキャンセルする
補正動きベクトルが求められる。そして、この補正動き
ベクトルの大きさが所定値内であれば静止領域と判定さ
れ、残りの領域が動領域とされる。これら静止領域と動
領域とに対して異なる画質改善処理が行われる。

【００１１】

【発明の実施の形態】図１は、本発明を実施したビデオ
プリンタの機能ブロック図である。このビデオプリンタ
１０は、画像入力部１１と、画像処理部１２と、プリン
ト部１３とから構成されている。

【００１２】画像入力部１１には、例えば８mmビデオカ
メラ１４の映像出力が入力される。画像入力部１１はＹ
／Ｃ分離回路１６及びデコーダ１７を備えている。Ｙ／
Ｃ分離回路１６は、ビデオカメラ１４からのＮＴＳＣ信
号を輝度信号（Ｙ）と色信号（Ｃ）とに分離する。デコ
ーダ１７は、輝度信号（Ｙ）と色信号（Ｃ）とを赤
（Ｒ），緑（Ｇ），青（Ｂ）の３原色信号に変換し、Ａ
／Ｄ変換器１８とセレクタ１９とに送る。なお、映像出
力は８mmビデオカメラ１４のものに限定されることな
く、ビデオテープレコーダ，テレビ，パソコン等からの
ものであってもよい。また、映像出力はＮＴＳＣ信号に
限定されることはなく、Ｒ，Ｇ，Ｂのデジタル信号等で
あってもよい。

【００１３】セレクタ１９は、通常再生モードでは端子
（ａ）側にセットされており、フリーズモードでは端子
（ｂ）側にセットされている。セレクタ１９が端子
（ａ）側にセットされると、画像データはエンコーダ２
０を介してカラーモニタ２２に送られ、このカラーモニ
タ２２に再生中の画像が表示される。このカラーモニタ
２２の画像を観察して、プリント対象画像を特定する。
この特定はキーボード２５のフリーズボタンを押すこと
により行われる。キーボード２５はシステムコントロー
ラ２６に接続されており、このキーボード２５から各種
指令の入力が行われる。システムコントローラ２６は周
知のマイクロコンピュータから構成されており、各部を
シーケンス制御する。このシステムコントローラ２６に
は液晶ディスプレィ２７が接続されており、各種モード
の表示や指令が表示されるようになっている。なお、液
晶ディスプレィ２７を用いる代わりにカラーモニタ２２
に各種モードや指令等を表示してもよい。

【００１４】デコーダ１７からの三色画像データはＡ／
Ｄ変換器１８でデジタル化され、システムコントローラ
２６によって、画像の再生中にリアルタイムで表示画像
がフレームメモリ２８に送られる。フレームメモリ２８
は、プリント対象用フレームメモリと、２個の参照用フ
レームメモリとから構成されており、各フレームメモリ
にはＲ，Ｇ，Ｂの各色ごとに画像データが記憶される。
参照用フレームメモリには、プリント対象画像の１秒前
と１秒後の画像が記憶されるが、この参照対象画像は１
秒前又は１秒後に限定されるものではなく、キーボード
２５から参照画像の採取間隔を適宜設定することができ
る。この採取間隔は、時間により特定する他に、フレー
ム数によって特定してもよい。

【００１５】フリーズボタンにより特定されたプリント
対象画像と参照画像の画像データは、フレームメモリ２
８に書き込まれる。キーボード２５の操作によりフリー
ズ画像の表示が選択されると、セレクタ１９が端子
（ｂ）側にセットされ、Ｄ／Ａ変換器２９，エンコーダ
２０を介して、書き込まれたプリント対象画像のデータ
はカラーモニタ２２に送られる。これにより、カラーモ
ニタ２２にプリント対象画像が表示される。このプリン
ト対象画像をカラーモニタ２２で確認した後、キーボー
ド２５からプリントスタート信号が入力されると、シス
テムコントローラ２６は、このフレームメモリ２８から
プリント対象画像と参照画像との画像データを画像処理
部１２に送る。

【００１６】画像処理部１２では、まずマッチング処理
部３０により、プリント対象画像と参照画像との局所的
マッチング処理が行われる。この局所的マッチング処理
は、プリント対象画像と参照画像とをｍ×ｍの分割エリ
アに分割して、これら各分割エリア毎に各画素に対して
プリント対象画像と参照画像との画素間差分の絶対値和
を求め、この値が所定の閾値内にある場合に、このブロ
ックを静止領域と判定し、また、所定の閾値から外れる
場合に、このブロックを動領域と判定する。なお、絶対
値和の他に、画素間差分の二乗和を用いてもよい。静止
領域の画像データは、静止領域加重平均部３１に送られ
る。また、静止領域を除いた動領域の画像データは、動
領域平滑化処理部３２に送られる。なお、画像処理部１
２では、この他にガンマ補正、マトクリス補正、文字イ
ラスト合成、拡大／縮小、トリミング等の周知の処理が
行われる。

【００１７】静止領域加重平均部３１では、プリント対
象画像と参照画像とにおける同位置の画素データから加
重平均値を求め、これを画像合成部３３に送る。加重平
均値はプリント対象画像側の画像データに重みをおいて
求められ、この重み付け係数は、採取する参照画像の間
隔や、入力する画像種別によって、システムコントロー
ラ２６から変更される。なお、加重平均値を求める際に
は、プリント対象画像の画素値から所定値離れた値を持
つ画素を除外しており、異なる被写体の一部が紛れ込む
ことを防止している。また、プリント対象画像の画素値
の代わりに、求めた加重平均値を基準にしてこの値から
所定値離れた値を持つ画素を除外するようにしてもよ
い。

【００１８】動領域平滑化処理部３２では、プリント対
象画像の画像データを用いて、これの動領域をｋ×ｋの
ブロックに分けて、各ブロックの平滑化処理を行う。こ
の平滑化処理された画像データは、画像合成部３３に送
られる。この平滑化処理によって動領域内の画像をぼか
す処理が行える。したがって、動領域内で被写体が動い
て画像が流れている場合にこれがぼかされることで、画
像の流れを目立たなくすることができ、プリントの全体
的な品質を上げることができる。

【００１９】画像合成部３３では、静止領域加重平均部
３１からの静止領域の画像データと、動領域平滑化処理
部３２からの動領域の画像データとを画像合成する。こ
の画像合成により得られた１フレーム分の画像データ
は、プリント用フレームメモリ３５に書き込まれる。

【００２０】プリント部１３はプリント用フレームメモ
リ３５とプリンタ３６とから構成されている。プリンタ
３６は、プリント用フレームメモリ３５から、画像デー
タを読みだして、これに基づき光ビームを変調し、銀塩
写真カラー感光材料（カラーペーパー）のイエロー、マ
ゼンタ、シアンの各感光層を走査露光する。なお、光ビ
ームを変調する代わりに、サイズが極めて小さいミラー
（マイクロミラー）をライン又はマトリクスに配列し、
各マイクロミラーの傾斜角を制御して入射光を偏向する
マイクロミラー装置を用いて、走査露光してもよい。更
には、液晶パネルやＣＲＴを用いてもよい。周知のよう
に、カラーペーパーとして、ネガ・ポジタイプのものを
用いる場合には画像データはポジ・ネガ変換される。こ
のポジ・ネガ変換は、プリント部１３で行う他に、画像
処理部１２で行ってもよい。なお、プリント用フレーム
メモリ３５から画像データを読み出して、これをカラー
モニタ２２にシミュレート表示してもよい。

【００２１】次に、図２を参照して、上記実施形態の作
用を説明する。まず、フリーズボタンの操作により、プ
リント対象画像とこれの１秒前及び１秒後の画像である
参照画像がフレームメモリ２８に記憶される。

【００２２】次に、画像処理部１２のマッチング処理部
３０でフレームメモリ２８のプリント対象画像データと
参照画像データとに基づき、動領域と静止領域とが判定
される。そして、この判定結果に基づき、プリント対象
画像の静止領域における画像データと、参照画像の静止
領域における画像データとは、静止領域加重平均部３１
に送られ、ここで加重平均される。また、マッチング処
理部３０における判定結果に基づき、プリント対象画像
の動領域における画像データは動領域平滑化処理部３２
に送られ、ここで平滑化処理される。

【００２３】次に、画像合成部３３で、静止領域加重平
均部３１からの静止領域画像データと、動領域平滑化処
理部３２からの動領域画像データとが画像合成され、こ
の画像合成データがプリント部１３のプリント用フレー
ムメモリ３５に書き込まれる。そして、プリンタ３６に
より、画像合成されたデータに基づきプリントが行われ
る。したがって、本実施形態では、静止領域に対しては
フレーム間で加重平均値を求めるので、ランダムノイズ
を軽減することができる。また、動領域に対しては平滑
化処理してぼかす補正を行うので、被写体がぶれている
場合にこれを目立たなくすることができる。なお、動領
域に対しては平滑化処理してぼかす代わりに、ＵＳＭ
（アンシャープマスク補正）を行って画像を鮮鋭化して
もよい。

【００２４】なお、上記実施形態では、撮影中のビデオ
カメラの移動やズーミング撮影が無いことを前提にした
処理であるが、この他にビデオカメラを移動しての撮影
（カメラ移動撮影）やズーミング撮影が行われた場合に
は、次のような動き補償処理を行ってプリント処理を行
う。この動き補償処理は、上記実施形態における静止領
域の全画面に対する割合が小さい場合、例えば１０％以
下の場合に行われる。

【００２５】この動き補償処理では、図３に示すよう
に、プリント対象画像と参照画像とをｍ×ｍの分割エリ
アに分けて、参照画像の各分割エリアの位置を２次元的
にずらしながら、プリント対象画像の各分割エリアとの
局所的マッチング処理を行う。そして、その相違度が最
も小さくなるずらし位置の参照画像の分割エリアをプリ
ント対象画像の分割エリアに関連付けし、この関連付け
により画面全体にわたりプリント対象画像の分割エリア
に対する参照画像の分割エリアの動きベクトルを求め
る。この動きベクトルに基づき移動撮影かズーミング撮
影かを判定する。

【００２６】前記動きベクトルの方向が全体的に揃って
いる場合には、プリント対象画像をカメラ移動撮影シー
ンと判定する。なお、動きのある被写体は、上記動きベ
クトルとは異なる動きベクトルを示すことが多いが、こ
の被写体の動きは画面全体での比率からすると小さいた
め、これを無視することができる。このカメラ移動撮影
シーンの場合には、動きベクトル分だけ参照画像をずら
し、このずらした位置の参照画像とプリント対象画像と
に基づき上記実施形態と同じようにして、静止領域と動
領域とを判定し、これら静止領域と動領域に対し異なる
処理を行う。

【００２７】また、動きベクトルの方向が全体的に揃っ
ていない場合には、ズーミング撮影シーンか否かを判定
する。まず、全画面の動きベクトルについて平均ベクト
ルを求める。そして、この平均ベクトル分だけ各分割エ
リアの動きベクトルから差し引いて、補正動きベクトル
を算出する。この補正動きベクトルの方向が、全体的に
中心部から放射状に並んでいる場合に、カメラをズーム
ミングしながら撮影した画像であると判定する。また、
この場合に、全画面的には、補正動きベクトルを平均し
た平均ベクトルの大きさは「０」に近い値になるので、
これも参照することで、ズーミング撮影か否かの判定精
度を上げることができる。

【００２８】この判定結果に基づき参照画像の画面全体
の動きをキャンセルした補正動きベクトルを求める。こ
の補正動きベクトルの大きさが所定値内であれば、この
参照画像の分割エリアに対応するプリント対象画像の分
割エリアの集合を静止領域と判定する。この静止領域に
対しては、上記実施形態と同じように、フレーム間で加
重平均値を算出する。このフレーム間における加重平均
値の算出は、前後のコマにおける動き補償結果に基づき
関連付けされた分割エリア同志で行う。また、静止領域
を除いた他の分割エリアの集合を動領域と判定する。こ
の動領域に対して上記実施形態と同じように平滑化処理
を行う。

【００２９】なお、シーンの動きを判定する場合に、全
画面を多数個の分割エリアに分割してこれら分割エリア
の動きベクトルを求める他に、画面周辺部に限定してこ
の画面周辺部を多数個の分割エリアに分割し、この画面
周辺部に対して、シーンの動き判定を行ってもよい。こ
の場合には、演算対象領域が全画面の場合に比べて狭く
なるため、演算処理を効率良く行うことができる。そし
て、この画面周辺部による動き判定結果に基づき、周辺
部と同じ大きさで分割した中央部の各分割エリアについ
て動きベクトルを推定し、これに基づき上記実施形態と
同じようにして各種処理を行う。また、カメラ移動撮影
とズーミング撮影とを判定した後に、カメラ移動撮影で
はフレーム間平滑化処理を行い、ズーミング撮影ではフ
レーム内平滑化処理を行うようにして、判定結果に応じ
て異なる処理に分岐させてもよく、この場合には、シー
ンの動きにあった画像処理が行えるようになる。

【００３０】次に、図４及び図５に示すように、静止領
域と動領域との判定結果と、静止画用人物の顔領域抽出
アルゴリズムとを組み合わせて人物の顔領域の抽出を行
い、この顔領域の画像データに重きをおいてプリントを
行う実施形態について説明する。動画像において、人物
の静止状態が所定時間以上続くのは確率的に低い。した
がって、人物が動領域に含まれる可能性が高い。また、
静止画用人物の顔画像アルゴリズムにおいては、人物の
肌色を特定する色及び濃度を有する領域を顔画像と判定
するので、壁、地面等の人物以外の被写体であっても肌
色と同じ色及び濃度の場合には人物の顔画像と誤判定す
るおそれがある。そこで、人物の顔領域抽出アルゴリズ
ムにおいて、人物の顔候補領域であり且つ動領域である
条件を加えることで、人物の顔領域である可能性はさら
に高くなり、顔領域の抽出性能を上げることができる。
また、顔候補領域に代えて、顔の輪郭、頭部、人物胴
体、目や口、眉等の顔内部構造の形状を検出すること
で、顔候補領域を特定してもよい。更には、人物の肌色
を特定する色及び濃度に基づく顔領域抽出アルゴリズム
と、顔の輪郭などの形状検出に基づく顔領域抽出アルゴ
リズムを併用してもよい。

【００３１】図４はこの処理手順を示すフローチャート
であり、まず動画像データからプリント対象画像と参照
画像との画像データを取り込む。この取り込んだ画像デ
ータに基づき図２と同じようにして動領域と静止領域と
が判定される。この静止領域に対しては、図２の静止領
域加重平均部３１と同じようにして加重平均値が算出さ
れる。

【００３２】また、この動領域と静止領域との判定と並
行して、プリント対象コマの画像データに基づき顔候補
領域抽出処理が行われ、顔候補領域が抽出される。そし
て、この顔候補領域と動領域とのアンドをとることで、
顔領域を判別し、それ以外の領域を非顔領域と判別す
る。非顔領域に対しては、図１に示す動領域平滑化処理
部３２と同じようにプリント対象画像の画像データに基
づき平滑化処理が行われる。また、顔領域に対しては、
強調処理が行われる。なお、この強調処理に代えて、顔
領域の濃度及び色が予め特定された濃度及び肌色になる
ようにデータ変換してもよい。次に、静止領域、非顔領
域、顔領域の各画像データが合成された後に、プリント
処理される。

【００３３】図５は図４における画像データの一例を示
すものであり、（Ｂ）はプリント対象画像を、（Ａ）は
プリント対象画像の１秒前の参照画像を、（Ｃ）はプリ
ント対象画像の１秒後の参照画像を示すものである。フ
リーズボタンを押して画像データの取り込みを行うと、
プリント対象画像（Ｂ）とこれの１秒前の参照画像
（Ａ）と１秒後の参照画像（Ｃ）とがフレームメモリ２
８に取り込まれる。

【００３４】（Ｄ）は静止領域ＳＡの抽出結果を、
（Ｅ）は動領域ＭＡの抽出結果を示すもので、プリント
対象画像（Ｂ）と参照画像（Ａ），（Ｃ）とに対し、マ
ッチング処理部３０による局所的マッチング処理で抽出
されたものである。

【００３５】（Ｆ）はプリント対象画像に基づき顔候補
領域ＦＣＡの抽出処理結果を示すもので、この例では人
物画像の他に背景部にも肌色を有する２つの被写体が存
在していることが判る。この顔候補領域ＦＣＡの抽出結
果（Ｆ）と動領域ＭＡの抽出結果（Ｅ）とのアンドをと
ることで、顔領域ＦＡの抽出結果（Ｇ）とその他の非顔
動領域ＭＮＦＡの抽出結果（Ｈ）とを得ることができ
る。したがって、プリント対象コマを、静止領域ＳＡ
と、非顔動領域ＭＮＦＡと、顔領域ＦＡとの３つの領域
に分けることができる。このようにして求めた静止領域
ＳＡ、非顔動領域ＭＮＦＡ、顔領域ＦＡに対して、各領
域に最適な画像処理を施すことで、全体的に仕上りのよ
いプリントが得られるようになる。

【００３６】例えば、顔領域ＦＡの画像データに対し
て、強調処理を加えることで、より一層くっきりした画
像に仕上げることができる。また、その他の動領域ＭＮ
ＦＡ及び静止領域ＳＡについては、上記実施形態と同じ
ように処理を行うことで、全体のプリント品質を上げる
ことができる。さらに、人物の顔領域の濃度及び色が適
正になるようにプリントを行うことで、主要被写体を適
正に仕上げることができ、高品質のプリントを作成する
ことができる。

【００３７】なお、上記実施形態では、静止領域ＳＡと
動領域ＭＡの判別と、顔領域ＦＡと非顔領域ＮＦＡとの
判別とを並列で実行し、顔抽出処理で得られた顔候補領
域ＦＣＡと動領域ＭＡとのアンドをとることで、顔エリ
アＦＡと非顔エリアＭＮＦＡとを判別するようにした
が、この他に、図６に示すように、先ず静止領域ＳＡと
動領域ＭＡとを判別し、次に動領域ＭＡに対して顔領域
抽出処理を行って、顔領域ＦＡと非顔動領域ＭＮＦＡと
に判別するようにしてもよい。

【００３８】また、画像データに対して、周知の画素補
完処理を行い、疑似的に解像度を上げるようにしてもよ
い。補完される画素値の決定方法としては、元画像デー
タとの空間的距離に応じた加重平均を取る方法がある。
この場合には、近い画素ほどその重み付け係数を大きく
する。この画素補完処理は、静止／動領域判定処理の前
段又は後段で行ってもよい。

【００３９】プリント対象画像の前後コマとしては、連
続したコマである必要はなく、一定間隔で取り込んだコ
マであってもよい。あるいは、コマ間動き検出により、
シーンに動きのあった場合に取り込んだコマであっても
よい。また、上記実施形態では、プリント対象画像に対
して例えば１秒前及び１秒後の画像を参照画像として用
いたが、この参照画像は、プリント対象画像に対して前
または後の１つの画像としてもよい。

【００４０】上記実施形態では、静止領域に対して画素
データの加重平均値を求めて、この値を静止領域の画像
データとし、動領域に対して平滑化処理を行ってぼかす
ようにし動領域の人物等のぶれが目立たないようにした
が、この他に、各領域に合わせて画像処理の内容及びそ
の制御パラメータを設定してもよい。

【００４１】上記実施形態では、走査露光によりカラー
ペーパーにプリントする銀塩式プリンタに実施したが、
この他に、カラーサーマルプリンタ、インクジェットプ
リンタ等の各種のカラープリンタを用いるようにしても
よい。

【００４２】上記実施形態では、各フレーム間の画像デ
ータから動きベクトルを求めて、この動きベクトルから
カメラの移動中の撮影と、ズーミング撮影とを検出する
ようにしたが、この他に、カメラ側でのズーミングスイ
ッチの作動状態を検出しておき、これを撮影情報として
画像データとともに記憶するようにしてもよい。同様に
して、カメラの動きを検出するセンサを設け、撮影中に
カメラの動きを検出して、これを画像データとともに記
憶するようにしてもよい。

【００４３】

【発明の効果】本発明によれば、動画像中のプリント対
象画像とこのプリント対象画像に対しｎ（ｎは自然数）
コマ前又はｎコマ後の参照画像の各データをメモリにコ
マ単位で取り込み、プリント対象画像データと参照画像
データとに対して局所的マッチング処理を行って、プリ
ント対象画像を静止領域と動領域とに分けたから、静止
領域と動領域とに対してそれぞれの領域に合った異なる
画質改善処理を行うことができるようになり、人間の視
覚に受け入れやすく処理されることで、プリント全体の
画像品質を上げることができる。

【００４４】また、プリント対象画像を静止領域と動領
域とに分け、プリント対象画像データから顔候補領域を
抽出し、動領域と顔候補領域とが重なりあっている領域
を顔領域と判定したから、プリント対象画像を、顔領域
と、顔領域を除いた動領域と、静止領域とに分けること
ができるので、これら各領域に合った異なる画質改善処
理を行うことができるようになり、プリントの全体の画
像品質をより一層上げることができる。また、動領域に
対してプリント対象画像データから顔候補領域を抽出
し、プリント対象画像を、顔領域と、非顔動領域と、静
止領域に分けることで、ある程度絞られた動領域に対し
て顔候補抽出を行うので、顔候補抽出処理を簡単に行う
ことができる。

【００４５】また、静止領域に対しては、プリント対象
画像と参照画像との同じ位置にある画素データを加重平
均し、この加重平均値を画像データとしたから、ランダ
ムノイズを軽減することができる。また、動領域に対し
ては、プリント対象画像の画像データを用いて平滑化処
理を行うことにより、この動領域をぼかすことができ、
動領域におけるぶれを目立たなくすることができる。ま
た、動領域に対しては、プリント対象画像データを用い
て強調処理を行うことにより、画像を鮮鋭化することが
できる。特に、動きが少ない画像の場合には、上記平滑
化処理によりぼかすよりも画像品質をあげることができ
る。

【００４６】また、プリント対象画像の顔領域内の画像
データに基づき顔領域の濃度及び色を適正に仕上げるよ
うに画像全体のプリント濃度及び色を調節することで、
顔領域に重みをおいた仕上りとなり、プリント品質を上
げることができる。また、プリント対象画像の顔領域内
の画像データに基づき顔領域のみを部分的に、その濃度
及び色が適正に仕上げるようにしてもよく、この場合に
も顔領域が適正に仕上がるためプリント品質を上げるこ
とができる。

【００４７】プリント対象画像データと参照画像データ
とに対して位置を２次元的にずらしながら局所的マッチ
ング処理を行って、その相違度が最も小さくなるずらし
位置のブロックを関連付けし、この関連付けにより画面
全体にわたり動きベクトルを求め、この動きベクトルに
基づきカメラが移動中か、ズーミング中かを判定するよ
うにしたから、この判定結果に基づきこれらの動きをキ
ャンセルすることができる。したがって、カメラを移動
して撮影したり、ズーミング撮影したりした場合でも、
参照画像の画像データを用いることができる。しかも、
参照画像の画像データは動きベクトルに基づきこれらの
動きをキャンセルした値を用いるから、撮影中にカメラ
の挙動変化があった場合でも、プリント対象画像の動エ
リアと静止エリアとを判定することができる。したがっ
て、この判定結果に基づき各領域毎に異なる画質改善処
理を行うことにより、カメラ移動中の撮影や、ズーミン
グ撮影におけるプリント対象画像の画像品質を上げるこ
とができる。

【図面の簡単な説明】

【図１】本発明を実施したビデオプリンタを示す機能ブ
ロック図である。

【図２】同ビデオプリンタにおける処理手順を示すフロ
ーチャートである。

【図３】カメラ移動撮影シーンとズーミング撮影シーン
とを自動判定して各シーンに合わせて静止領域と動領域
とを判別する他の実施形態の処理手順を示すフローチャ
ートである。

【図４】静止領域・動領域の判別処理と、顔領域の判別
処理とを並行して処理する他の実施形態の処理手順を示
すフローチャートである。

【図５】動画像データの一例と、この画像データから抽
出した静止領域、非顔動領域、顔領域の一例とを示すも
ので、（Ａ），（Ｃ）は参照画像、（Ｂ）はプリント対
象画像、（Ｄ）は静止領域の抽出結果、（Ｅ）は動領域
の抽出結果、（Ｆ）は顔候補領域の抽出結果、（Ｇ）は
顔領域の抽出結果、（Ｈ）は非顔動領域の抽出結果であ
る。

【図６】静止領域・動領域を判別した後に顔領域の判別
を行う他の実施形態の処理手順を示すフローチャートで
ある。

【符号の説明】

１０ビデオプリンタ１１画像入力部１２画像処理部１３プリント部１４ビデオカメラ２８，３５フレームメモリ３０マッチング処理部３１静止領域加重平均部３２動領域平滑化処理部３３画像合成部ＳＡ静止領域ＭＡ動領域ＦＣＡ顔候補領域ＭＮＦＡ非顔動領域ＦＡ顔領域

Claims

【特許請求の範囲】

【請求項１】動画像中のプリント対象画像とこのプリ
ント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の
参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局
所的マッチング処理を行って、プリント対象画像を静止
領域と動領域とに分け、静止領域と動領域とに対して異なる画質改善処理を行う
ことを特徴とする動画像のプリント方法。
【請求項２】動画像中のプリント対象画像とこのプリ
ント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の
参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局
所的マッチング処理を行って、プリント対象画像におけ
る各部を静止領域と動領域とに分け、前記プリント対象画像データから顔候補領域を抽出し、前記動領域と前記顔候補領域とが重なりあっている領域
を顔領域と判定し、顔領域と、顔領域を除いた動領域と、静止領域とに対し
て、異なる画質改善処理を行うことを特徴とする動画像
のプリント方法。
【請求項３】動画像中のプリント対象画像とこのプリ
ント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の
参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データと参照画像データとに対して局
所的マッチング処理を行って、プリント対象画像を静止
領域と動領域とに分け、前記動領域に対して前記プリント対象画像データから顔
候補領域を抽出し、顔領域と、顔領域を除いた動領域と、静止領域とに対し
て、異なる画質改善処理を行うことを特徴とする動画像
のプリント方法。
【請求項４】請求項１ないし３いずれか１つ記載の動
画像のプリント方法において、前記静止領域に対する画
質改善処理は、プリント対象画像と参照画像との同じ位
置にある画素データを加重平均し、この加重平均値を画
像データとすることを特徴とする動画像のプリント方
法。
【請求項５】請求項１ないし４いずれか１つ記載の動
画像のプリント方法において、前記動領域に対する画質
改善処理は、プリント対象画像の画像データを用いて平
滑化処理することを特徴とする動画像のプリント方法。
【請求項６】請求項２ないし４いずれか１つ記載の動
画像のプリント方法において、前記顔領域に対する画質
改善処理は、プリント対象画像の画像データを用いて強
調処理することを特徴とする動画像のプリント方法。
【請求項７】請求項２ないし６いずれか１つ記載の動
画像のプリント方法において、前記顔領域に対する画質
改善処理は、プリント対象画像の顔領域内の画像データ
に基づき顔領域の濃度及び色を適正に仕上げるように画
像全体のプリント濃度及び色を調節することを特徴とす
る動画像のプリント方法。
【請求項８】請求項２ないし６いずれか１つ記載の動
画像のプリント方法において、前記顔領域に対する画質
改善処理は、プリント対象画像の顔領域内の画像データ
に基づき顔領域のみを部分的に、その濃度及び色が適正
に仕上げるように調節することを特徴とする動画像のプ
リント方法。
【請求項９】動画像中のプリント対象画像とこのプリ
ント対象画像のｎ（ｎは自然数）コマ前又はｎコマ後の
参照画像の各データをメモリにコマ単位で取り込み、プリント対象画像データに対して参照画像データの位置
を２次元的にずらしながら、各画像を多数個に分割した
分割エリアに対して局所的マッチング処理を行って、そ
の相違度が最も小さくなるずらし位置の参照画像の分割
エリアをプリント対象画像の分割エリアに関連付けし、
この関連付けにより画面全体にわたりプリント対象画像
の分割エリアに対する参照画像の分割エリアの動きベク
トルを求め、この動きベクトルに基づき移動撮影かズー
ミング撮影かを判定し、この判定結果に基づき参照画像
の画面全体の動きをキャンセルした補正動きベクトルを
求め、この補正動きベクトルの大きさが所定値内であれ
ばこの参照画像の分割エリアに対応するプリント対象画
像の分割エリアを静止領域と判定し、その他の領域を動
領域と判定して、プリント対象画像における各分割エリ
アを静止領域と動領域とに分け、静止領域と動領域とに対して異なる画質改善処理を行う
ことを特徴とする動画像のプリント方法。