JP5378135B2 - 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置 - Google Patents

Description

本発明は、合成画像と静止画を利用したフォトブックのレイアウトの作成に関する。

特許文献１の発明は、３次元ジャイロ、ズーム可動器操作情報、３次元加速度測定部等の各種センサによって測定したデジタルカメラによる撮影時の移動情報を各フレームに対応して画像データに付与してメモリカード又は内蔵メモリに記録する。そして、記録された移動情報が付与された画像データから移動情報をスプリット手段によって抽出して、該抽出移動情報に基づいて演算手段によってデジタルカメラの撮影時の移動方向や移動距離を演算し、画像加工手段によって隣接する被写体フレームを抽出して、合成画像を作成する。

特許文献２の発明の画像レイアウト装置には、他の画像Ｂの背後に重ね合わせる画像Ａの注目領域を算出する注目領域算出手段と、画像Ａの注目領域が画像Ｂと重なることを避けてレイアウトを行うレイアウト手段とを設ける。

特許文献３および４は、それぞれ静止画および動画から合成画像を作成する従来技術の一例である。

特許文献５は画像データに基づくカメラの移動速度と方向（動きベクトル）を検出する例を示す。

特許文献６は雲台によるカメラのパン（水平）／チルト（垂直）方向の移動速度を検出する機構の例を示す。

特許文献７はズーム速度可変のカメラの一例を示す。

特許文献８は撮像被写体が人物か風景かを検出する方法の一例を示す。

特開２００４−１２８６８３号公報 特開２００４−１９９２４８号公報 特開２００５−２５２７３９号公報 特開２００７−２６７００８号公報 特開２００８−２８９０９５号公報 特開２０００−０３９６４１号公報 特開２００９−２０４８８８号公報 特開２００８−２４４９９７号公報

一般に合成画像を生成する方法としては、少なくとも一部が互いに重複する被写体を有する複数の素材画像（静止画または動画コマ）を、被写体の重複部分が互いに重なるように各画像を接合ないし重畳して作成する方法が知られている。

通常、このような合成画像生成に適しているのは一定方向にカメラを移動させて被写体が連続するように撮影した動画である。カメラを動かさずに特定の場所をズーム撮影した動画から合成画像を作成すると、当該ズーム撮影した被写体部分だけが他の被写体部分と連続せず、合成画像の被写体の連続性が破綻してしまう（図１７参照）。

本発明は、各素材画像の撮影時点に関連するカメラのズーム倍率などの撮影条件を用いて適正な合成画像を作成することを目的とする。また本発明は、見栄えのよい合成画像と静止画像の組のレイアウトを決定することを目的とする。

本発明は、情報処理装置が、撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、前記合成画像素材に基づいて合成画像を作成するステップと、前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、を実行する画像レイアウト決定方法を提供する。

情報処理装置が、時間的に隣接する解析時点の素材画像候補間で検出された撮影装置の撮影条件の差が所定の閾値を超える場合、前記差が所定の閾値を超える撮影条件の解析時点に対応する素材画像候補を静止画素材に決定するステップ、を実行する。

情報処理装置が、前記解析時点における前記撮影装置の動きを検出するステップと、前記撮影装置の動きが所定の閾値を下回る解析時点に対応する素材画像候補を静止画素材に決定するステップと、を実行する。

情報処理装置が、前記撮影装置による各素材画像候補の撮影時のズーム倍率を検出するステップと、前記ズーム倍率が所定の閾値を超える時点の素材画像候補を静止画素材に決定するステップと、を実行する。

情報処理装置が、前記静止画素材の被写体の種類と前記合成画像の被写体の種類とが同一であるか否かを判断するステップと、前記静止画素材と前記合成画像の被写体が同一であると判断したことに応じ、前記合成画像の外部の領域を前記静止画素材の配置位置に決定するステップと、を実行する。

情報処理装置が、前記静止画素材の撮影時におけるカメラの位置と合致するカメラの位置で撮影された合成画像素材であるポイント素材を特定するステップと、前記合成画像における前記ポイント素材の存在位置の近傍領域を前記静止画素材の配置位置に決定するステップと、を実行する。

情報処理装置が、複数の静止画素材の各々の撮影時のズーム倍率を検出するステップと、前記合成画像における前記ポイント素材の代表位置および複数の静止画素材の各々の代表位置とが、複数の静止画素材の各々の撮影時のズーム倍率に応じた所定の位置を複数の静止画素材の配置位置に決定するステップと、を実行する。

情報処理装置が、前記解析時点における前記撮影装置のズーム速度を検出するステップと、前記解析時点の各々で検出されたズーム速度に基づいて、前記素材画像候補の中からズーム速度が所定の閾値を超える時点で撮影された素材画像を静止画素材から除外するステップと、を実行する。

情報処理装置が、各合成画像のズーム倍率に基づいて各合成画像のサイズを決定するステップ、を実行する。

本発明は、この方法を情報処理装置が実行するためのプログラム、この方法を実行する情報処理装置を提供する。

本発明は、各素材画像の撮影時点に関連するカメラのズーム倍率などの撮影条件を用いて適正な合成画像の素材を決定することができる。また、本発明は、見栄えのよい合成画像と静止画像の組のレイアウトを決定できる。

パノラマ画像作成装置の概略構成を示すブロック図 静止画素材の一例を示す図 パノラマ画像の一例を示す図 ポイント画像の代表位置の一例を示す図 静止画素材の配置位置の一例を示す図 風景被写体を含むパノラマ画像の一例を示す図 風景被写体を含むパノラマ画像に対する風景被写体を含む静止画素材の配置例を示す図 パノラマ画像の存在領域の外部領域において、ポイント画像の代表位置の近傍に配置された静止画素材を例示した図 カメラの動き方向およびズーム倍率を例示した図 パノラマ画像とズーム倍率の異なる複数の静止画素材の空間的関係を例示した図 各素材画像候補の撮影時のカメラの動きおよび変倍操作の有無とそれに対応する処理の一例を示す図 パノラマ画像の一例を示す図 パノラマ画像の一例を示す図 異なる複数のパノラマ画像のサイズの一例を示す図 異なる複数のパノラマ画像から生成されたパノラマ画像の一例を示す図 フォトブック作成処理のフローチャート 破綻したパノラマ画像の一例を示す図

図１は、本発明を適用したパノラマ画像作成装置１００の概略構成を示すブロック図である。パノラマ画像作成装置１００は、例えば、ＣＤやＤＶＤなどの各種の記録メディアやメモリカードなどの記憶媒体から、あるいはカメラと接続されたＵＳＢなどの周辺機器接続用汎用インターフェースから、あるいはインターネットやＬＡＮなどのネットワークから、パノラマ画像の素材となる画像（複数の静止画像データまたは動画をキャプチャした静止画である動画コマのいずれか、あるいは両者の混合も可）を画像入力部１を介して読み込み、これを素材としてパノラマ画像（少なくとも一部が互いに重複する被写体を有する複数の画像を、被写体の重複部分が互いに重なるように各画像を接合ないし重畳して作成される画像）を作成する。一例として動画データは、モーションＪＰＥＧ、ＭＰＥＧ４などの圧縮記録規格に対応している。一例として静止画像データは、ＪＰＥＧやＴＩＦＦ、及びデジタルスチルカメラ用に規格化されたＥＸＩＦなどの画像ファイルの形式に対応している。

ここでいうカメラとは、フォーカスレンズ、ズームレンズ、絞りなどを有する光学ユニット、光学ユニットを介して結像した被写体像を画像信号に光電変換するＣＣＤやＣＭＯＳなどの撮像素子、撮像素子からの画像信号をデジタル画像データに変換するＡＤ変換器、ＡＤ変換器からの画像データにガンマ補正、シャープネス補正、コントラスト補正、色補正等の画質補正処理を施す画像処理回路、画像処理回路の処理した画像データを所定の保存形式（ＭＰＥＧなど）に変換してメモリカードなどの記録媒体に記録する画像記録回路などを備えている。カメラは、静止画および／または動画撮影可能な公知のデジタルスチルカメラやデジタルビデオカメラで構成される。またカメラは、撮影時における素材の撮影条件（動画コマないし静止画の圧縮率、ズーム倍率、ズーム速度、絞り、焦点距離、ＧＰＳ位置情報、動画のフレームレート、撮影時刻など）を動画の付帯情報として記録する。

素材画像候補は、連写画像などパノラマ生成できるような重複部分を持つ一連の静止画像または動画コマである。以下、説明の簡略のため素材画像候補は動画コマとするが、静止画でもよい。あるいは、動画コマと静止画の混合を素材画像候補としてもよい。

なお、図１のシステム構成は一例であって、これと同等の構成を有する情報処理装置（例えばパソコン、店頭プリント端末、ＰＤＡ、携帯電話機）であれば、本発明の実施は可能である。また、図示の個々のブロックが必ずしも１つの電子機器に一体的に構成されている必要はなく、各ブロックがそれぞれ別の電子機器の構成の一部であり、なおかつネットワーク等の何らかの通信手段でそれらの電子機器相互の情報送受信が確保されていれば、本発明の実施は可能であり、特定の機器構成に依存して実施されるものではない。

このパノラマ画像作成装置１００は、マウス、タッチパッド、トラックボールなどのポインタ（カーソル）の移動を指示可能なポインティングデバイスやタッチパネルなどの各種操作デバイスを含む操作部１１によって操作される。タッチパネルは液晶ディスプレイなどで構成された表示部１２に積層されており、表示部１２のボタン表示部分を押下することで、その部分に対応する文字を入力できたり、各種機能を起動させることができる。

また、パノラマ画像作成装置１００には、指示された静止画像を普通紙や印画紙などの紙媒体で構成される台紙に、パノラマ画像合成部８の作成したパノラマ画像でプリントする画像出力部１３が接続されている。あるいは所定の配置で配列された静止画像は、アドビシステムズ社の「ＰＤＦ」のような電子的媒体として表示部１２や記録メディアやインターネット経由で接続されたパソコンなどに出力することもできる。

ＨＤＤ１８には、画像プリントの主な素材となる１または複数の静止画像データや動画コマやパノラマ画像の他に、画像プリントの生成の際にこれらの主な素材と合成される装飾画像データ（グラフィック）などが記憶されている。グラフィックは、静止画像、画像に挿入する文字（漢字、カタカナ、ひらがな、アルファベット、記号、絵文字その他の意味のある可読的な符号ないしその組合せ。以下同様）を構成するキャラクタデータおよび当該文字を包含するテキストボックス、吹き出し、立て札、掲示板その他文字を配置するのに適したオブジェクトのグラフィックデータや、対象となる画像の不要な部分を覆うマスク画像や、イラストやクリップアートなどを含む。こうした装飾画像は、フォトブック（ページごとのレイアウトとデザインで表示装置あるいは印刷装置にパノラマ画像および静止画素材を出力させるためのデータまたはページごとのレイアウトとデザインで画像が印刷された紙などの印刷媒体）の主要な素材となる合成画像や静止画像を飾ったり、ワンポイントの装飾を加えるなど、フォトブックに彩を与える。

パノラマ画像合成部８は、画像入力部１から入力された素材画像候補のうち、パノラマ画像合成範囲決定部６により決定された素材画像からパノラマ画像を生成する。パノラマ画像生成の具体的手法は従来技術と同様に行うことができる。すなわち、パノラマ画像合成部８は、重複領域同士を重ねあわせるように複数の素材画像をつなぎ合わせることで、パノラマ画像を生成する。パノラマ画像の素材になる複数の動画コマまたは静止画像は、連写画像などパノラマ生成できるような被写体の重複部分を持つ一連の画像であり、その撮影方法は任意である。

ＣＰＵ１０は、ＨＤＤ１８やＲＯＭ１５に記憶されたプログラムを実行することで、パノラマ画像作成装置１００全体を制御する。

カメラ移動速度解析部２、カメラ操作解析部３、被写体解析部４、静止画像抽出部５、パノラマ画像合成範囲決定部６、パノラマ画像合成部８、レイアウト決定部９は、コプロセッサであって、それぞれ専門の処理を受け持ってＣＰＵ１０の処理動作を補助する。またＲＡＭ１４は、ＣＰＵ１０やコプロセッサの処理に必要なデータを記憶する。

カメラ移動速度解析部２は、画像入力部１から入力された一連の素材画像から、当該素材画像を撮影した時点のカメラの動き速度とその動き方向を解析する。

速度および方向の解析の仕方としては、素材画像候補に対する画像解析によるものとカメラ本体のセンサから得られたカメラの動き情報（動きベクトル）に基づくものの２種類が考えられる。

画像解析により速度を算出する場合、カメラ移動速度解析部２は、各素材画像候補の代表位置（例えばある被写体の特徴点や中心点）の軌跡をＸＹ座標平面にプロットし、各素材画像候補の代表位置間のズレすなわち距離と各素材画像候補の撮影間隔とから各素材画像候補の撮影時のカメラの移動速度と向きを算出する。カメラの動き方向は時系列に沿って軌跡のプロットされる方向である。なお撮影間隔は、素材画像候補が動画に由来する場合はフレームレートであり、素材画像候補が静止画に由来する場合は２つの異なる素材画像候補の撮影日時情報の差である。

カメラのセンサから得られたカメラの動き情報とは、カメラに備えられた振れ検出センサ（角速度センサや加速度センサ等）によって、各素材画像候補の撮影時におけるカメラのパン／チルト動作の角速度や加速度とその方向を検出した情報である。この情報は各素材画像候補の付帯情報（ヘッダ情報、タグ情報、メタ情報）として各素材画像候補に付随して画像入力部１から取得されることができる。この特定方向への角速度や加速度はカメラマンの意図的な動作で生み出される。

カメラ移動速度解析部２は、カメラの動き情報に従って、カメラの移動速度を算出する。なお、カメラそのものでなくカメラの付属物（雲台やＧＰＳ受信機など）に設けられたセンサでカメラの移動速度や移動方向を検出することもでき、カメラ移動速度解析部２は、その情報をそのままカメラの動き情報として認識してもよい。

カメラ操作解析部３は、各素材画像候補の撮影時点におけるカメラの移動方向を検出する。速度の解析と同様、この移動方向は、画像解析によるものとカメラ本体のセンサから得られたカメラの動き情報に基づくものの２種類が考えられる。よって、カメラ移動速度解析部２とカメラ操作解析部３は共通化されてもよい。またカメラ操作解析部３は、各素材画像候補の撮影時点におけるズーム倍率を検出する。ズーム倍率は、ズームボタンなどのズーム指示操作手段から指示入力されたズーム倍率を各素材画像候補の付帯情報として画像ファイルに書き込んでおき、その付帯情報を読み出すことで検出できる。

被写体解析部４は、素材画像候補に対する画像解析により、素材画像候補の被写体の種類を識別する。例えば、被写体解析部４は、素材画像候補に含まれる被写体が人物か動物か風景かを識別する。被写体識別の具体的方法は任意であり、公知技術（例えば特許文献８）によることができる。また、被写体解析部４は、タグなどの付帯情報からカメラの焦点距離情報を取得可能な場合、その焦点距離情報に基づいてカメラから被写体までの距離を算出する。特許文献８と同様、被写体解析部４は、この被写体距離と閾値との比較により被写体が風景であることを検出してもよい。

カメラ移動速度解析部２は、角速度センサに由来する角速度と被写体解析部４の算出した被写体までの距離に基づき、被写体から見たカメラの速度を算出することができる。

あるいは、カメラ移動速度解析部２は、特許文献５や６に開示された技術を用いてカメラの移動速度を算出してもよい。要するにカメラ移動速度解析部２に採用されるカメラの速度の具体的な算出手法は任意である。

ズーム速度検出部１６は、各素材画像候補の撮影時点での変倍操作に応じたズーム速度（カメラに入力された変倍操作に応じた光軸方向に沿った変倍レンズの移動スピード）の付帯情報に基づいて、各素材画像候補の撮影時点でのズーム速度を検出する。

パノラマ画像合成範囲決定部６は、各素材画像候補の撮影時点におけるカメラのズーム倍率を付帯情報から検出し、撮影時点の隣接する各素材画像候補間のズーム倍率の差を算出する。そして、隣接する素材画像候補とのズーム倍率の差が所定の閾値を上回る時点で撮影された素材画像候補を素材画像から除外し、除外された以外の素材画像候補を素材画像に決定する。あるいは、パノラマ画像合成範囲決定部６は、各撮影時点でのズーム倍率の絶対値を所定の閾値と比較し、所定の閾値を上回るズーム倍率の指示された撮影時点で撮影された素材画像候補を素材画像から除外してもよい。

パノラマ画像合成範囲決定部６は、ズーム倍率の他、各素材画像候補の撮影時点におけるカメラの焦点距離や露出値やホワイトバランスなどの撮影条件を付帯情報から検出し、撮影時点の隣接する各素材画像候補間の撮影条件の差を算出する。そして、その差が所定の閾値を上回る時点で撮影された素材画像候補を素材画像から除外し、除外された以外の素材画像候補を素材画像に決定することができる。これはすなわち、ズーム倍率や露出や被写体距離などが他の素材画像候補と著しく異なる素材画像候補を他の素材画像候補とともに素材画像にしてパノラマ画像を合成すると、パノラマ画像の被写体の連続性が破綻するので、これを避けるためである。

パノラマ画像合成範囲決定部６は、素材画像から除外された素材画像候補を、当該素材画像候補の撮影時点でのズーム倍率および当該素材画像候補の被写体種類と対応づけた上、これらを静止画素材情報としてＨＤＤ１８に記憶する。以下、静止画素材情報に含まれる画像を静止画素材と呼ぶ。図２は静止画素材の一例を示す。

パノラマ画像合成範囲決定部６は、単にズーム倍率の変更があった時点で撮影された素材画像候補を静止画素材にしてもよい。ただし、カメラを動かしながらズーム倍率の変更があった時点で撮影されたコマは静止画として利用する適格性に欠ける。よって、パノラマ画像合成範囲決定部６は、カメラの静止状態でズーム倍率が変更された素材画像候補を静止画素材にすることが望ましい。

なお、パノラマ画像合成範囲決定部６は、ある所定の個数の素材画像候補が素材画像から除外された場合、例えば全ての素材画像候補が素材画像から除外された場合、「この動画はパノラマ画像合成に適していませんが、処理を進めてよろしいですか？」といった警告メッセージを表示部１２の文字表示やスピーカからの音声により再生する。そして、操作部１１から、処理を進める旨の指示が入力された場合に限り、パノラマ画像合成部８は素材画像からパノラマ画像を合成してもよい。

パノラマ画像合成範囲決定部６が参照する様々な閾値は、ＲＯＭ１５などの不揮発性記憶媒体に書き換え不可能に記憶されていてもよいし、操作部１１から任意に設定された値でもよい。

典型的には、所定の閾値は０である。この場合、パノラマ画像合成範囲決定部６は、素材画像候補のうち、ズーム倍率が変動した時点で撮影されたものを素材画像から除外し、それ以外の素材画像候補を素材画像に決定する。

パノラマ画像合成部８は、パノラマ画像合成範囲決定部６の決定した素材画像に基づいてパノラマ画像を合成する。図３はパノラマ画像合成部８の合成したパノラマ画像の一例を示す。

レイアウト決定部９は、静止画素材に含まれる被写体の種類と素材画像に含まれる被写体の種類とに応じて、静止画素材とパノラマ画像のフォトブック上のレイアウトを決定する。

例えば、レイアウト決定部９は、パノラマ画像のフォトブック上のレイアウトを所定の規則に従って決定した上（例えば、各ページに１つずつパノラマ画像を配置するレイアウトを決定）、静止画素材の被写体と同一の空間的位置にあるパノラマ画像中の被写体を特定し、当該特定された被写体の近傍を、静止画素材の配置位置に決定する。

レイアウト決定部９は、静止画素材およびパノラマ画像中の双方の被写体の位置の同一性を、例えば次のようにして特定する。レイアウト決定部９は、各素材画像の付帯情報に基づき、撮影移動速度と撮影移動速度方向（例えば左から右へのパン）からなる移動ベクトルを検出する。次に、レイアウト決定部９は、移動ベクトルの始点で撮影された素材画像である始点画像の撮影時点から、それ以外の各素材画像である移動中画像の撮影時点までのカメラの移動量（角度など）を算出する。これは始点画像の撮影時点におけるカメラの傾き情報と移動中画像の撮影時点の傾き情報とを比較することで算出されることができる。

またレイアウト決定部９は、起点画像の撮影時点から静止画素材の撮影時点までのカメラの移動量（角度など）を算出する。これは始点画像の撮影時点におけるカメラの傾き情報と静止画素材の撮影時点の傾き情報とを比較することで算出されることができる。そしてレイアウト決定部９は、始点画像から静止画素材までのカメラの移動量と一致する移動量の算出された移動中画像を特定する。そして、レイアウト決定部９は、特定された移動中画像であるポイント画像の代表位置（画像の中心座標や画像の四隅の一点など）を、静止画素材の配置位置に決定する。

図４はポイント画像の代表位置Ｐの一例であり、図５はポイント画像の代表位置Ｐ近傍の静止画素材の配置位置の一例である。

レイアウト決定部９は、撮影時の移動速度が所定の値、典型的には０の時点で撮影された素材画像をポイント画像に特定してもよい。あるいはレイアウト決定部９は、撮影時の移動速度が所定の値、典型的には０の時点で撮影され、かつ撮影時のズーム倍率と、隣接する素材画像のズーム倍率との間の差が所定の閾値を超えるような移動中画像をポイント画像に特定してもよい。あるいはレイアウト決定部９は、撮影時の移動速度が所定の値、典型的には０の時点で撮影され、かつ撮影時のズーム倍率が所定のズーム倍率絶対値を超えるような移動中画像をポイント画像に特定してもよい。

ただし、レイアウト決定部９は、ポイント画像の被写体種類が風景であり、かつ静止画素材の被写体種類が風景である場合、当該ポイント画像の代表位置を、当該静止画素材の配置位置に決定しない。

これは次のような理由による。図２のような動物の被写体を有する静止画素材と図３のような風景被写体のパノラマ画像の組の場合、撮影者は動物の被写体に注目して撮影を行っており、動物の被写体の周囲の風景に注目して撮影を行っていないと考えられる。よって、図５のように周囲の風景を被写体とするパノラマ画像上に動物の被写体を含む静止画素材を配置しても観る者に違和感が与えられない。しかし、風景被写体を含む静止画素材と図６のような風景被写体を含むパノラマ画像の組の場合、撮影者は風景の被写体に注目して撮影を行っており、風景被写体を含むパノラマ画像上に風景被写体を含む静止画素材を配置すると、図７のように撮影者が注目している風景被写体とそうでない風景被写体とが混合し観る者に違和感を与える。

そこで、レイアウト決定部９は、ポイント画像の被写体種類が風景であり、かつ静止画素材の被写体種類が風景である場合、パノラマ画像の存在領域の外部領域のうち、当該ポイント画像の代表位置の近傍の位置を、当該静止画素材の配置位置に決定する。図８はその一例を示す。同様にレイアウト決定部９は、ポイント画像の被写体種類と静止画素材の被写体種類が一致する場合、例えば被写体種類が人物同士で一致したり、動物同士で一致するなどの場合、パノラマ画像の存在領域の外部領域のうち、当該ポイント画像の代表位置の近傍の位置を、当該静止画素材の配置位置に決定する。これによりフォトブック上での注目被写体同士の位置的な重複と競合を避けることができる。

レイアウト決定部９は、同一のポイント画像に対応する異なるズーム倍率で撮影された静止画素材が複数存在する場合、各静止画素材に対応するズーム倍率に応じて各静止画素材のレイアウトを決定する。

例えば、図９のように、各素材画像候補ごとのカメラの動き方向、ズーム倍率の拡大操作が付帯情報などから検出されたとする。Ｎｏ１の素材画像候補はパン方向の動きがありズーム変更操作がないため、素材画像に決定されたものとする。また、Ｎｏ２の素材画像候補とＮｏ４の素材画像候補は、その撮影時にズーム倍率の拡大操作があり、静止画素材に決定されたものとする。また、Ｎｏ２の静止画素材に対応するズーム倍率は、Ｎｏ４の静止画素材に対応するズーム倍率よりも小さいものとする。レイアウト決定部９は、静止画素材Ｎｏ２およびＮｏ４に対応するズーム倍率に応じ、パノラマ画像のポイント画像の代表座標の近傍にＮｏ２の静止画素材とＮｏ４の静止画素材を配置するレイアウトを決定する。

レイアウト決定部９は、ポイント画像の代表座標、Ｎｏ２の静止画素材の代表座標、およびＮｏ４の静止画素材の代表座標が、各静止画素材のズーム倍率に応じて所定の空間的位置関係を有するようレイアウトを決定する。

例えば、図１０に示すように、ポイント画像の代表座標、Ｎｏ２の静止画素材Ｐ２の代表座標、およびＮｏ４の静止画素材Ｐ４の各代表座標が同一の直線Ｌ上に等間隔で存在し、かつズーム倍率の低い方の静止画素材Ｐ２をズーム倍率の高い静止画素材Ｐ４よりもパノラマ画像Ｉに近い位置に配置する。図示は省略するが、各静止画素材のズーム倍率に応じた各静止画素材の所定の空間的位置関係は任意であり、所定の曲線に各代表座標が等間隔で存在してもよい。またズーム倍率の高い静止画素材Ｐ４を静止画素材Ｐ２よりもパノラマ画像Ｉに近い位置に配置してもよい。要するに、レイアウト決定部９は、各静止画素材のズーム倍率に応じてフォトブック上の空間的配列順序を決定する。

なお、レイアウト決定部９は、ポイント画像の被写体種類と静止画素材の被写体種類が一致しない場合であっても、必ずしも両者が重なるようなレイアウトを決定する必要はない。両者が重なるようなレイアウトとするかしないかは操作部１１から選択できてもよい。

サイズ決定部１７は、各パノラマ画像の撮影時のズーム倍率に従って各パノラマ画像のサイズを決定する。サイズ決定部１７は、パノラマ画像のズーム倍率が大きいものほど大きなサイズを割り当ててもよいし、その逆でもよい。

パノラマ画像合成部８は、被写体が連続するように素材画像を合成するが、撮影時の移動速度が所定の値か、ズーム倍率が変更された時点の静止画が素材画像候補から除外され、その除外された素材画像候補が静止画素材にも決定されなかった結果、被写体の連続性が分断し、当該除外された素材画像候補以外の素材画像で合成されたパノラマ画像が複数となる場合がある。例えば図１１のように、Ｎｏ２の素材画像候補は、その撮影時点の速度が０であり、かつズーム倍率が他と異なる。この場合パノラマ画像合成部８は、Ｎｏ２より以前に撮影された素材画像から図１２のようなパノラマ画像Ｉ１、Ｎｏ２より以後に撮影された素材画像から図１３のようなパノラマ画像Ｉ２を合成したとする。

サイズ決定部１７は、パノラマ画像の素材画像のズーム倍率に比例したサイズをパノラマ画像のサイズに決定する。例えば、図１２のパノラマ画像Ｉ１の素材画像のズーム倍率と図１３のパノラマ画像Ｉ２の素材画像のズーム倍率の比が１：２であれば、パノラマ画像Ｉ１のサイズとパノラマ画像Ｉ２のサイズの比を１：２とする。レイアウト決定部９は、サイズ決定部１７の決定したサイズに従って各パノラマ画像を拡大または縮小し、フォトブックに配置する。図１４はその一例である。なお、図１４のように各パノラマ画像は個別のページに配置されてもよいし、図１５のように１つのパノラマ画像として同一のページに配置されてもよい。これらのパノラマ画像に対しては、上述のように静止画素材を配置することができる。

フォトブック作成部１９は、レイアウト決定部９の決定したパノラマ画像および静止画素材のレイアウトとサイズ決定部１７の決定したパノラマ画像のサイズに従ってフォトブックを作成する。

図１６はパノラマ画像作成装置１００の実行するフォトブック作成処理のフローチャートを示す。この処理はＣＰＵ１０によって制御される。この処理をＣＰＵ１０に実行させるためのプログラムはＨＤＤ１８その他のコンピュータ読み取り可能な記憶媒体に記憶されている。なお、この処理は操作部１１からパノラマ画像を作成する指示が入力されたときに開始される。

Ｓ０では、ＣＰＵ１０は画像入力部１から動画像を入力する。

Ｓ１では、ＣＰＵ１０は画像入力部１から入力された動画像からコマ画像を抽出するよう静止画像抽出部５を制御する。この制御に応じて静止画像抽出部５が抽出したコマ画像は素材画像候補としてＨＤＤ１８に保存される。ＣＰＵ１０はＨＤＤ１８に保存された素材画像候補の全部または一部の撮影時点ないしそれらの近傍における時点（撮影時間を区分する所定の時点のうち撮影時点に最も近接するもの。例えば、撮影開始時点から撮影終了時点までを所定の間隔で区切ることで得られた各時点のうち、撮影時点に最も近接するもの）である解析時点でのカメラ速度、カメラ移動方向、ズーム倍率、ズーム速度、被写体種類、被写体距離を解析するよう、カメラ移動速度解析部２、カメラ操作解析部３、被写体解析部４、ズーム速度検出部１６を制御する。カメラ移動速度解析部２、カメラ操作解析部３、被写体解析部４によるカメラの動きの解析時点は、素材画像候補の撮影時点と共通してもよいが、全ての素材画像候補の撮影時点と完全に一致している必要はない。例えば、これらの各ブロックは、予めＲＯＭ１５に記憶された画像のフレームレートとは無関係な所定の複数の解析時点（典型的には撮影開始から終了までの所定の時間間隔ごと）でのカメラの移動速度、移動方向、ズーム倍率、被写体距離を解析してもよい。要するに撮影時点はその近傍の解析時点で代替されうる。

ＣＰＵ１０は、パノラマ画像合成範囲決定部６に対し、上記解析の結果に基づいた素材画像の決定を指示する。この指示に応じてパノラマ画像合成範囲決定部６は、上記解析の結果、一定方向へのカメラ移動中に撮影された素材画像候補についてはこれらを素材画像に決定する。また、パノラマ画像合成範囲決定部６は、静止時に撮影された素材画像候補または変倍操作時に撮影された素材画像候補を素材画像から除外する。なお、上述したように、素材画像候補間のホワイトバランスの差や焦点距離の差によって素材画像を決定することができる。

Ｓ２では、ＣＰＵ１０は、Ｓ１で決定された素材画像から被写体が連続するパノラマ画像を合成するようパノラマ画像合成部８を制御する。素材画像の含む被写体の連続性が、撮影途中のズーム倍率の変更で分断されている場合は、複数のパノラマ画像が合成されることもある。

Ｓ３では、ＣＰＵ１０は、Ｓ１の解析の結果、カメラの動きが静止している解析時点で撮影された素材画像候補のズーム速度を検出するようズーム速度検出部１６を制御する。

Ｓ４では、ＣＰＵ１０は、パノラマ画像合成範囲決定部６に対し、上記ズーム速度の検出結果に基づいた素材画像の決定を指示する。この指示に応じてパノラマ画像合成範囲決定部６は、カメラ移動が移動している時点または所定の閾値を超えるズーム速度で撮影された時点の素材画像候補を素材画像から除外する。これは、素材画像候補の連続的な撮影をしながら著しく高いズーム速度で変倍操作が行われると、その時に撮影された画像は静止画としても破綻しているからである。そして、パノラマ画像合成範囲決定部６は、カメラが静止している時点でありかつカメラのズーム速度が所定の閾値以下の時点で撮影された素材画像候補を静止画素材に決定する。パノラマ画像合成範囲決定部６は、カメラが静止している時点でありかつ被写体距離が所定の閾値以下（すなわち、被写体がある程度近い）の時点で撮影された素材画像候補を静止画素材に決定することもできる。

Ｓ４では、パノラマ画像合成範囲決定部６は、Ｓ３で静止画素材に決定された素材画像候補を静止画素材としてＨＤＤ１８に保存する。

Ｓ５では、ＣＰＵ１０は、カメラの動きがなくズームも行っていない時点で撮影された素材画像候補については、素材画像としない。

Ｓ６では、ＣＰＵ１０は、Ｓ２で合成されたパノラマ画像とＳ３で保存された静止画素材とを対応づけ、ＨＤＤ１８に保存する。

Ｓ７では、ＣＰＵ１０は、Ｓ６で保存された静止画素材の被写体種類とパノラマ画像の被写体種類を解析するよう被写体解析部４に指示する。被写体解析部４は、この指示に応じて静止画素材の被写体種類とパノラマ画像の被写体種類を解析する。ＣＰＵ１０は、この解析の結果、静止画素材の被写体種類かつパノラマ画像の被写体種類がともに同じもの（例えば風景）であるか否かを判断する。静止画素材の被写体種類かつパノラマ画像の被写体種類がともに同じものである場合はＳ９に進み、そうでない場合はＳ８に進む。ＣＰＵ１０は、上記静止画素材およびパノラマ画像の被写体種類の解析結果に応じて静止画素材およびパノラマ画像のフォトブック上のレイアウトを決定するようレイアウト決定部９に指示する。

Ｓ８では、静止画素材の被写体種類かつパノラマ画像の被写体種類がともに同じものでない場合、例えば、静止画素材の被写体種類は動物、パノラマ画像の被写体種類が風景の場合、レイアウト決定部９は、ポイント画像の代表位置を、当該静止画素材の配置位置に決定する。

Ｓ９では、レイアウト決定部９は、ポイント画像の被写体種類が同じものである場合、パノラマ画像の存在領域の外部領域のうち、当該ポイント画像の代表位置の近傍の位置（ポイント画像の代表位置までの距離が所定の閾値の範囲内にあるような位置）を、当該静止画素材の配置位置に決定する。レイアウト決定部９は、同一のポイント画像に対応する異なるズーム倍率で撮影された静止画素材が複数存在する場合、各静止画素材に対応するズーム倍率に応じて各静止画素材のレイアウトを決定することができる。

Ｓ１０では、ＣＰＵ１０は、レイアウト決定部９の決定したレイアウトとサイズ決定部１７の決定したサイズに従ったフォトブックを作成するようフォトブック作成部１９に指示する。フォトブック作成部１９により作成されたフォトブックは、プリントされたり、ＣＤＲやＤＶＤなどの各種記録媒体へ出力されたり、ネットワークで接続された機器への送信されたりすることができる。

このように、本処理では、動画の撮影中にズーム倍率の拡大など撮影条件の変動があった箇所はパノラマ画像の素材から外すことで、撮影条件が整合しない部分がパノラマ画像中に発生することを防げる。また、撮影条件の変動（特にズーム倍率の拡大ないしはカメラ静止状態でのズーム倍率の拡大）のあった部分を静止画素材として生かし、その際、パノラマ画像と静止画素材の両者が違和感なく見てとれるようなレイアウトを決めることができる。

２：カメラ移動速度解析部、３：カメラ操作解析部、４：被写体解析部、５：静止画像抽出部、６：パノラマ画像合成範囲決定部、９：レイアウト決定部、１６：ズーム速度検出部、１７：サイズ決定部、１９：フォトブック作成部

Claims (10)

1. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   時間的に隣接する解析時点の素材画像候補間で検出された撮影装置の撮影条件の差が所定の閾値を超える場合、前記差が所定の閾値を超える撮影条件の解析時点に対応する素材画像候補を静止画素材に決定するステップ、
   を実行する画像レイアウト決定方法。
2. 情報処理装置が、
   前記解析時点における前記撮影装置の動きを検出するステップと、
   前記撮影装置の動きが所定の閾値を下回る解析時点に対応する素材画像候補を静止画素材に決定するステップと、
   を実行する請求項１に記載の画像レイアウト決定方法。
3. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   前記撮影装置による各素材画像候補の撮影時のズーム倍率を検出するステップと、
   前記ズーム倍率が所定の閾値を超える時点の素材画像候補を静止画素材に決定するステップと、
   を実行する画像レイアウト決定方法。
4. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   前記静止画素材の被写体の種類と前記合成画像の被写体の種類とが同一であるか否かを判断するステップと、
   前記静止画素材と前記合成画像の被写体が同一であると判断したことに応じ、前記合成画像の外部の領域を前記静止画素材の配置位置に決定するステップと、
   を実行する画像レイアウト決定方法。
5. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   前記静止画素材の撮影時におけるカメラの位置と合致するカメラの位置で撮影された合成画像素材であるポイント素材を特定するステップと、
   前記合成画像における前記ポイント素材の存在位置の近傍領域を前記静止画素材の配置位置に決定するステップと、
   を実行する画像レイアウト決定方法。
6. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   前記静止画素材の撮影時におけるカメラの位置と合致するカメラの位置で撮影された合成画像素材であるポイント素材を特定するステップと、
   複数の静止画素材の各々の撮影時のズーム倍率を検出するステップと、
   前記合成画像における前記ポイント素材の代表位置および複数の静止画素材の各々の代表位置とが、複数の静止画素材の各々の撮影時のズーム倍率に応じた所定の位置を複数の静止画素材の配置位置に決定するステップと、
   を実行する画像レイアウト決定方法。
7. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   前記解析時点における前記撮影装置のズーム速度を検出するステップと、
   前記解析時点の各々で検出されたズーム速度に基づいて、前記素材画像候補の中からズーム速度が所定の閾値を超える時点で撮影された素材画像を静止画素材から除外するステップと、
   を実行する画像レイアウト決定方法。
8. 情報処理装置が、
   撮影装置により撮影された動画のコマおよび／または複数の静止画で構成される画像である素材画像候補を入力するステップと、
   前記素材画像候補の全部または一部の撮影の時点もしくは前記撮影の時点の近傍の時点である解析時点における前記撮影装置の撮影条件を検出するステップと、
   前記解析時点の各々で検出された撮影装置の撮影条件に基づいて、前記素材画像候補の中から合成画像を生成する素材となる合成画像素材と前記合成画像に関連する静止画の素材となる静止画素材を決定するステップと、
   前記合成画像素材に基づいて合成画像を作成するステップと、
   前記静止画素材に対応する解析時点での撮像条件に基づいて、前記静止画素材と前記合成画像との配置位置を決定するステップと、
   各合成画像のズーム倍率に基づいて各合成画像のサイズを決定するステップ、
   を実行する画像レイアウト決定方法。
9. 請求項１〜８のいずれかに記載の画像レイアウト決定方法を情報処理装置が実行するためのプログラム。
10. 請求項１〜８いずれかに記載の画像レイアウト決定方法を実行する情報処理装置。

Images