JP7444162B2 - 画像処理装置、画像処理方法、プログラム - Google Patents

Description

本技術は画像処理装置、画像処理方法、プログラムに関し、特に画像の揺れについての画像処理に関する。

撮像装置で撮像した動画について各種の補正などの画像処理を行う技術が知られている。
下記特許文献１では撮影画像に係る画像データに対して防振処理を実行するとともに、防振処理後の画像データを対象として防振処理の影響を除去することが開示されている。

特開２０１５－２１６５１０号公報

ところで昨今、ユーザはスマートフォンやタブレットなどの携帯端末、或いはカメラ自体やパーソナルコンピュータなどを用いて画像撮像や画像調整等を手軽に行うことができ、また動画投稿なども盛んである。
このような環境下では、ユーザが撮像した画像をそのまま出力するのではなく、より品質の高い画像や多様な画像を制作することが望まれている。
また放送事業者などにおいても画像の多様な演出が可能とされることが望まれている。
そこで本開示では、動画における揺れに関する調整などを容易に行うことができるようにする技術を提案する。

本技術に係る画像処理装置は、動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整部と、前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報と、を関連付ける関連付け部と、を備える。
揺れ変更処理は、動画に生じている揺れを低減したり揺れを付加したりするなどして揺れの状態を変化させることである。揺れ変更部は、揺れ情報調整部による調整後揺れ情報を用いて揺れ変更処理を行う。この場合に、画像データと、撮像時の揺れ情報と、調整後揺れ情報が関連付けられるようにする。
なお撮像時の揺れ情報とは、撮像時の撮像装置の動きを表す情報であり、例えば撮像装置の加速度センサ、角速度センサなどのセンサの検出値や、それらから求められる撮像装置の姿勢情報、回転量、移動量などである。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記揺れ変更処理として、前記調整後揺れ情報に基づいて前記入力画像データに揺れ演出を付加することが考えられる。
揺れ演出は画像の演出として揺れの状態を付加したり画像の揺れ具合を調整したりすることなどが該当する。この場合、調整後揺れ情報は揺れ演出のために調整された揺れ情報となる。

上記した本技術に係る画像処理装置においては、前記関連付け部は、前記入力画像データに、前記撮像時揺れ情報及び前記揺れ変更情報を関連付けることが考えられる。
例えば揺れ変更が施されていない状態の画像が、関連付けられて他の装置に提供できるようにする。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記揺れ変更処理として、前記撮像時揺れ情報に基づいて前記入力画像データの揺れを除去することが考えられる。
揺れ除去は撮像時の撮像装置の動き（手ぶれ等）により画像に生じている揺れを除去（揺れの低減を含む）することである。撮像時揺れ情報を用いることで画像の手ぶれ等を除去する。

上記した本技術に係る画像処理装置においては、前記関連付け部は、前記揺れ変更済み画像データに、前記撮像時揺れ情報及び前記揺れ変更情報を関連付けることが考えられる。
例えば揺れ除去としての揺れ変更処理が行われた画像、つまり撮像時の撮像装置の動きによる揺れが除去された画像が、関連付けられて他の装置に提供できるようにする。
また例えば揺れ演出としての揺れ変更処理が行われた画像が関連付けられて他の装置に提供できるようにしてもよい。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記入力画像データに対して、該入力画像データに対応付けられたメタデータを用いて撮像時に行われた揺れ除去処理をキャンセルする処理を行った後に、前記揺れ変更処理を行うことが考えられる。
撮像装置において手ぶれ除去などの揺れ除去処理が行われていた場合に、その手ぶれ除去がされていない状態に戻してから揺れ変更処理を行う。

上記した本技術に係る画像処理装置においては、前記関連付け部が撮像時揺れ情報及び揺れ変更情報と関連付ける画像データは、撮像時の揺れ除去処理が施されていない状態の画像データとすることが考えられる。
この場合、前記画像データは、撮像時に揺れ除去処理が行われていない前記入力画像データであることが考えられる。
また前記画像データは、前記入力画像データに対して、撮像時に行われた揺れ除去処理をキャンセルする処理を行った画像データであることが考えられる。
例えば撮像時の揺れ除去がキャンセルされた画像や、撮像時に揺れ除去が行われなかった画像が、関連付けられて他の装置に提供できるようにする。

上記した本技術に係る画像処理装置においては、前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報であることが考えられる。
撮像装置の姿勢情報は、例えば角速度センサや加速度センサの情報から求めることができる。

上記した本技術に係る画像処理装置においては、前記姿勢情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の動きを示すシフト情報又は回転情報であることが考えられる。
例えば撮像装置の姿勢情報をシフト情報、回転情報に変換して記憶する。

上記した本技術に係る画像処理装置においては、前記揺れ情報調整部は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成することが考えられる。
例えば姿勢情報を揺れ変更パラメータで調整した調整後姿勢情報を生成し、揺れ変更処理に供する。

上記した本技術に係る画像処理装置においては、前記揺れ変更情報は、前記揺れ変更パラメータであることが考えられる。
揺れ変更パラメータとは、例えば揺れ演出のために入力される揺れ変更処理のパラメータである。

上記した本技術に係る画像処理装置においては、前記揺れ変更パラメータは、ユーザ操作により指定されたパラメータであることが考えられる。
即ち揺れ変更パラメータは、ユーザが任意に入力できるものとする。

上記した本技術に係る画像処理装置においては、前記揺れ変更情報は、前記調整後揺れ情報とすることが考えられる。
例えば姿勢情報を揺れ変更パラメータで調整した調整後姿勢情報を、揺れ変更情報として記憶するようにする。

上記した本技術に係る画像処理装置においては、前記揺れ情報調整部は、前記撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの周波数帯域別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成することが考えられる。
例えば姿勢情報を揺れの周波数帯域毎に、揺れ変更パラメータで指定されるゲインを与えて調整後姿勢情報を生成し、揺れ変更処理に供する。

上記した本技術に係る画像処理装置においては、前記揺れ情報調整部は、撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成することが考えられる。
例えば姿勢情報を揺れの方向（ヨー、ピッチ、ロール）毎に、揺れ変更パラメータで指定されるゲインを与えて調整後姿勢情報を生成し、揺れ変更処理に供する。

上記した本技術に係る画像処理装置においては、前記撮像時揺れ情報は、前記入力画像データの撮像の際に生成されたメタデータに基づいて得られる前記入力画像データの各フレームに対応する姿勢情報であることが考えられる。
例えば角速度センサや加速度センサの情報から求める撮像装置の姿勢情報（例えばクオータニオン：Quaternion）を調整し、調整後の姿勢情報が揺れ変更処理に用いられるようにする。

上記した本技術に係る画像処理装置においては、前記揺れ変更部は、前記入力画像データの前記各フレームを天球モデルへ貼付し、前記各フレームに対応する前記調整後揺れ情報である調整後の前記姿勢情報を用いて前記各フレームを回転させることで前記揺れ変更処理を行うことが考えられる。
例えば角速度センサや加速度センサの情報から求める撮像装置の姿勢情報（例えばクオータニオン）を調整した、調整後の姿勢情報により天球モデル上で回転処理を行う。

本技術に係る他の画像処理装置は、それぞれ動画を構成する画像データに関連付けられた撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報とを用いて、調整後揺れ情報を生成する揺れ情報調整部と、調整後揺れ情報を用いて画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部とを備える。
即ち動画を構成する画像データと、撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とが互いに関連付けられている情報が提供された場合に、二次的な揺れ変更処理を行う画像処理装置を構成する。
この場合、前記画像データは、撮像時に揺れ除去処理が行われていない画像データ、又は、撮像時に行われた揺れ除去処理をキャンセルする処理が行われた画像データであることが考えられる。
つまり撮像装置での揺れ除去処理が施されていない状態の画像データである。
また前記画像データは、前記撮像時揺れ情報に基づいた前記揺れ変更情報により、揺れが除去された画像データであることが考えられる。
つまり撮像装置での揺れの影響が除去（低減を含む）された状態の画像データである。

本技術に係る画像処理方法は、動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理とを行う。
これにより画像に対する揺れ演出や揺れ除去が行われた情報が保存されるようにする。
本技術に係るプログラムは、このような画像処理方法に相当する処理を情報処理装置に実行させるプログラムである。
これにより本開示の画像処理を各種の情報処理装置で実行可能とする。

本技術の実施の形態で用いられる機器の説明図である。 実施の形態の機器間で伝送される情報の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の撮像装置における画像の揺れ除去処理の説明図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の画像処理装置としての機能構成の説明図である。 実施の形態の画像処理装置としての機能構成の他の例の説明図である。 実施の形態の画像ファイル及びメタデータの内容の説明図である。 レンズ歪み補正に関するメタデータの説明図である。 第１の実施の形態の画像処理の説明図である。 実施の形態の天球モデルへの貼付の説明図である。 実施の形態のＩＭＵデータのサンプルタイミングの説明図である。 実施の形態の周波数帯域別の揺れ情報調整の説明図である。 実施の形態の方向別の揺れ情報調整の説明図である。 実施の形態の周波数帯域別及び方向別の揺れ情報調整の説明図である。 実施の形態の出力画像と天球モデルの対応付けの説明図である。 実施の形態の出力座標平面の回転と透視射影の説明図である。 実施の形態の切り出し領域の説明図である。 第１の実施の形態の伝送されるメタデータの説明図である。 第１の実施の形態の二次的な画像処理の説明図である。 第１の実施の形態の二次的な画像処理での記録の説明図である。 第２の実施の形態の伝送されるメタデータの説明図である。 第２の実施の形態の画像処理の説明図である。 第３の実施の形態の画像処理の説明図である。 第３の実施の形態の二次的な画像処理の説明図である。 第４の実施の形態の画像処理の説明図である。 第４の実施の形態の伝送されるメタデータの説明図である。 第５の実施の形態の画像処理の説明図である。 第５の実施の形態の伝送されるメタデータの説明図である。 第３の実施の形態の二次的な画像処理の説明図である。

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置として適用できる機器の構成＞
＜２．装置構成及び処理機能＞
＜３．画像ファイル及びメタデータ＞
＜４．第１の実施の形態＞
＜５．第２の実施の形態＞
＜６．第３の実施の形態＞
＜７．第４の実施の形態＞
＜８．第５の実施の形態＞
＜９．まとめ及び変形例＞

なお実施の形態の説明に先だって、説明で用いる一部の用語について説明しておく。
「揺れ」とは動画を構成する画像のフレーム間の揺れ（interframe shake）を指す。いわゆる撮像装置で撮像された画像における手ぶれ（camera shake）等に起因する揺れや、画像処理により意図的に付加した揺れなど、フレーム間で生じる振動成分（フレーム間での画像の揺らぎ）を広く指すものとする。

「揺れ変更（interframe shake modification）」は、画像に生じている揺れの低減や、画像に揺れを付加することなど、画像における揺れの状態を変化させることをいう。
この「揺れ変更」には次の「揺れ除去（interframe shake reduction）」「揺れ演出（interframe shake production）」が含まれるものとする。

「揺れ除去」は、手ぶれなどにより画像に生じている揺れを無くすこと（揺れの全部除去）、もしくは低減すること（揺れの一部除去）をいう。即ち撮像時の揺れ情報に基づいて揺れを低減させるように調整することをいう。撮像装置において行われるいわゆる手ぶれ補正は、揺れ除去を行っていることになる。

「揺れ演出」は、画像に揺れを加える場合や、揺れを低減させる場合があり、その意味で結果として「揺れ除去」と同様となることもあるが、本実施の形態ではユーザの操作又は自動制御により揺れの変化量が指示され、該指示に応じて画像の揺れ状態を変化させることをいう。例えば撮像時の揺れ情報をユーザ指示等により変化させ、その変化させた揺れ情報に基づいて揺れ変更処理をすることで、揺れを低減又は増加させたり、ユーザ指示等により生成した揺れを付加する情報に基づいて揺れ変更することで、揺れを低減又は増加させたりすることが「揺れ演出」に該当する。
揺れを抑圧する方向に調整する場合においても、例えば意図的に揺れ具合を調整することは「揺れ演出」に該当すると考えることもできる。
なお、揺れ演出の目的の一例としては、動画のシーンに迫力を与えるため、わざと画像を揺らすことなどが想定される。

「撮像時揺れ情報」とは、撮像装置で撮像された際の揺れに関する情報であり、撮像装置の動きの検出情報や、該検出情報から算出できる情報や、撮像装置の姿勢を表す姿勢情報や、撮像装置の動きとしてのシフトや回転の情報などが該当する。
実施の形態では、「撮像時揺れ情報」の具体例として、クオータニオン（ＱＤ）、ＩＭＵデータ、シフト・回転情報（ＳＦＲＯ）などを挙げる。もちろんこれらに限定されない。

「調整後揺れ情報」とは、撮像時揺れ情報を調整して生成した揺れ情報であり、揺れ変更処理に用いられる情報である。例えばユーザ操作や自動制御に応じて調整される揺れ情報である。
実施の形態では、「調整後揺れ情報」の具体例として、調整後クオータニオン（ｅＱＤ）や調整後ＩＭＵデータ（ｅＩＭＵ）を挙げるが、もちろんこれらに限定されない。

「揺れ変更情報」（説明及び図面では符号「ＳＭＩ」を付す）は、画像データの揺れ変更処理の情報であり、揺れ変更処理の処理量を特定できる情報であればよい。
実施の形態では、「揺れ変更情報」の具体例として、揺れ変更パラメータ（ＰＲＭ）や調整後クオータニオン（ｅＱＤ）を挙げるが、もちろんこれらに限定されない。

＜１．画像処理装置として適用できる機器の構成＞
以下の実施の形態では、主にスマートフォンやパーソナルコンピュータなどの情報処理装置により本開示に係る画像処理装置が実現される例で説明していくが、画像処理装置は、各種の機器において実現できる。まずは本開示の技術を適用できる機器について説明しておく。

図１Ａは画像ソースＶＳと、画像ソースＶＳから画像ファイルＭＦを取得する画像処理装置（ＴＤｘ，ＴＤｙ）としての例を示している。
なお、画像処理装置ＴＤｘは、画像ソースＶＳから取得された画像データに対して一次的に揺れ変更処理を行う機器とする。
一方、画像処理装置ＴＤｙは、他の画像処理装置で既に揺れ変更処理が行われた画像データについて二次的に揺れ変更処理を行う機器とする。

画像ソースＶＳとしては撮像装置１、サーバ４、記録媒体５などが想定される。
画像処理装置ＴＤｘ、ＴＤｙとしてはスマートフォンなどの携帯端末２やパーソナルコンピュータ３などが想定される。他にも図示していないが、画像編集専用装置、クラウドサーバ、テレビジョン装置、ビデオ記録再生装置など各種の機器が画像処理装置ＴＤｘ、ＴＤｙとして想定される。これらの機器は、画像処理装置ＴＤｘ、ＴＤｙのいずれとしても機能できる。

画像ソースＶＳとしての撮像装置１は動画撮像を行うことのできるデジタルカメラ等であり、動画撮像によって得られた画像ファイルＭＦを有線通信や無線通信を介して携帯端末２やパーソナルコンピュータ３などに転送する。
サーバ４はローカルサーバ、ネットワークサーバ、クラウドサーバなどのいずれであっても良いが、撮像装置１で撮像された画像ファイルＭＦを提供できる装置を指す。このサーバ４がなんらかの伝送路を介して画像ファイルＭＦを携帯端末２やパーソナルコンピュータ３などに転送することが考えられる。

記録媒体５はメモリカード等の固体メモリ、光ディスク等のディスク状記録媒体、磁気テープ等のテープ状記録媒体などのいずれでもよいが、撮像装置１で撮像された画像ファイルＭＦが記録されたリムーバブル記録媒体を指している。この記録媒体５から読み出された画像ファイルＭＦが携帯端末２やパーソナルコンピュータ３などに読み取られることが考えられる。

画像処理装置ＴＤｘ、ＴＤｙとしての携帯端末２やパーソナルコンピュータ３等は、以上の画像ソースＶＳから取得した画像ファイルＭＦに対する画像処理が可能とされている。ここでいう画像処理とは、揺れ変更処理（揺れ演出や揺れ除去）を含む。
揺れ変更処理は、例えば、動画を構成する画像データのフレーム毎に、天球モデルへの貼付処理が行われた後に、当該フレームに対応する姿勢情報を用いて回転することにより行う。

なお、或る携帯端末２やパーソナルコンピュータ３が、画像処理装置ＴＤｘ，ＴＤｙとして機能する他の携帯端末２やパーソナルコンピュータ３に対する画像ソースＶＳとなることもある。

図１Ｂは、画像ソースＶＳと画像処理装置ＴＤｘの両方として機能できる１つの機器としての撮像装置１や携帯端末２を示している。
例えば撮像装置１の内部のマイクロコンピュータ等が揺れ変更処理を行う。
つまり撮像装置１は撮像によって生成した画像ファイルＭＦに対して揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができるものとする。

携帯端末２も同様であり、撮像機能を備えることで画像ソースＶＳとなり得るため、撮像によって生成した画像ファイルＭＦについて上記の揺れ変更処理を行うことで、揺れ除去や揺れ演出を施した画像処理結果としての画像出力を行うことができる。
もちろん撮像装置１や携帯端末２に限らず、画像ソース兼画像処理装置となりうる機器は他にも各種考えられる。

以上のように実施の形態の画像処理装置ＴＤｘ、ＴＤｙとして機能する装置及び画像ソースＶＳは多様であるが、以下では、撮像装置１等の画像ソースＶＳ、携帯端末２等の画像処理装置ＴＤｘ、及び他の画像処理装置ＴＤｙが、それぞれ別体の機器であるとして説明していく。

図２は画像ソースＶＳ、画像処理装置ＴＤｘ、の画像処理装置ＴＤｙにおける情報伝送の様子を示している。
画像ソースＶＳから画像処理装置ＴＤｘに対しては、画像データＶＤ１とメタデータＭＴＤ１が、有線通信、無線通信、或いは記録媒体を介して伝送される。
後述するが画像データＶＤ１とメタデータＭＴＤ１は、例えば画像ファイルＭＦとして伝送される情報である。
メタデータＭＴＤ１には、例えば手ぶれ補正などとして行われた撮像時の揺れ除去の情報として、座標変換パラメータＨＰが含まれる場合がある。

画像処理装置ＴＤｘは、画像データＶＤ１とメタデータＭＴＤ１、さらには座標変換パラメータＨＰを受けて各種の処理を行うことができる。
例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる撮像時揺れ情報を用いて画像データＶＤ１に対する揺れ変更処理を行うことができる。
また例えば画像処理装置ＴＤｘは、メタデータＭＴＤ１に含まれる座標変換パラメータＨＰを用いて撮像時に画像データＶＤ１に施された揺れ除去をキャンセルすることができる。

画像処理装置ＴＤｘは、揺れ変更処理を行った場合、画像データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとを関連付ける処理を行う。
そして関連付けられた画像データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩとは、画像処理装置ＴＤｙに対して一括して、或いは別々に、有線通信、無線通信、或いは記録媒体を介して伝送されるようにすることができる。
ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
より具体的には、例えば、複数の情報に同一のＩＤ（識別情報）を付与すること、複数の情報を同一の記録媒体に記録すること、複数の情報を同一のフォルダに格納すること、複数の情報を同一のファイルに格納すること（一方を他方にメタデータとして付与すること）、複数の情報を同一のストリームに埋め込むこと、例えば電子透かしのように画像にメタを埋め込むこと等の行為が、「関連付ける」に含まれる。

図２では画像データＶＤ２として画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送される画像データを示している。画像データＶＤ２は、撮像装置１での揺れ除去がキャンセルされた画像であったり、画像処理装置ＴＤｘで揺れ除去が施された画像であったり、画像処理装置ＴＤｘで揺れ変更処理が行われる前の画像であったりするなど、各種の例が考えられる。
また図２では画像処理装置ＴＤｘから画像処理装置ＴＤｙに伝送されるメタデータＭＴＤ２を示している。メタデータＭＴＤ２はメタデータＭＴＤ１と同じ情報であったり、一部異なる情報であったりする。但しメタデータＭＴＤ２には撮像時揺れ情報が含まれる。
従って画像処理装置ＴＤｙは、少なくとも画像データＶＤ２と、メタデータＭＴＤ２に含まれる撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられた状態で取得できる。
なお、揺れ変更情報ＳＭＩもメタデータＭＴＤ２に含まれるようにするデータ形態も考えられる。

本実施の形態では、このような情報伝送を想定したうえで、画像処理装置ＴＤｘ、ＴＤｙで実行できる画像処理について説明していく。

＜２．装置構成及び処理機能＞
まず画像ソースＶＳとなる撮像装置１の構成例を図３で説明する。
なお図１Ｂで説明したように携帯端末２で撮像した画像ファイルＭＦについてその携帯端末２で画像処理をすることを想定する場合、撮像機能に関し以下の撮像装置１と同等の構成を携帯端末２が備えればよいことになる。

また撮像装置１では、いわゆる手ぶれ補正といわれる、撮像時の撮像装置の動きによる画像の揺れを低減する処理が行われるが、これは撮像装置で行われる「揺れ除去」である。 これに対し、画像処理装置ＴＤｘ、ＴＤｙで行われる「揺れ演出」や「揺れ除去」は、撮像装置１で撮像時に行われる「揺れ除去」とは独立した別個の処理となる。

図３に示すように撮像装置１は、例えばレンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、出力部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、センサ部２３を有する。

レンズ系１１は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により、被写体からの光（入射光）が導かれ撮像素子部１２に集光される。
なお、図示していないがレンズ系１１には手ぶれ等による画像の揺れ（interframe shake）及びブラー（blur）を補正する光学手ぶれ補正機構（optical image stabilization mechanism）が設けられている場合がある。

撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。
なお、図示していない光学手ぶれ補正機構としては、レンズ系１１側ではなく、イメージセンサ１２ａ側を移動させることで画像の揺れを補正する機構とされている場合やジンバルを用いた空間光学手ぶれ補正機構（balanced optical image stabilization mechanism）の場合等もあり、どのような方式であっても構わない。
光学手ぶれ補正機構では、揺れ（interframe shake）に加えて後述するがフレーム内のブラーも合わせて補正される。

カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理、コーデック処理等を行う。
またカメラ信号処理部１３は各種補正処理も行う。但し手ぶれ補正については、撮像装置１内で行う場合もあれば、行わない場合も想定される。

前処理では、撮像素子部１２からの撮像画像信号に対して、Ｒ，Ｇ，Ｂの黒レベルを所定のレベルにクランプするクランプ処理や、Ｒ，Ｇ，Ｂの色チャンネル間の補正処理等を行う。
同時化処理では、各画素についての画像データが、Ｒ，Ｇ，Ｂ全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
ＹＣ生成処理では、Ｒ，Ｇ，Ｂの画像データから、輝度（Ｙ）信号および色（Ｃ）信号を生成（分離）する。
解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。

カメラ信号処理部１３で行われる各種補正処理（撮像装置１の内部補正）については図４に例を挙げる。図４ではレンズ系１１で行われる光学手ぶれ補正とともに、カメラ信号処理部１３で行われる補正処理を、その実行順序により例示している。

処理Ｆ１としての光学手ぶれ補正では、レンズ系１１のヨー方向、ピッチ方向のシフトによるレンズ内手ぶれ補正や、イメージセンサ１２ａのヨー方向、ピッチ方向のシフトによるボディ内手ぶれ補正が行われることで、手ぶれの影響を物理的にキャンセルした状態で被写体の像がイメージセンサ１２ａに結像するようにされる。
このレンズ内手ぶれ補正と、ボディ内手ぶれ補正は一方のみの場合もあり、双方を用いる場合もある。レンズ内手ぶれ補正とボディ内手ぶれ補正の双方を用いる場合はボディ内手ぶれ補正ではヨー方向、ピッチ方向のシフトは行わないことが考えられる。
またレンズ内手ぶれ補正とボディ内手ぶれ補正の双方とも採用されず、手ぶれに対しては電子手ぶれ補正（electrical image stabilization）のみ、または、光学手ぶれ補正のみが行われる場合もある。

カメラ信号処理部１３では処理Ｆ２から処理Ｆ７までの処理が各画素に対する空間座標変換により行われる。
処理Ｆ２ではレンズ歪み補正が行われる。
処理Ｆ３では電子手ぶれ補正の１つの要素としてのフォーカルプレーン歪み補正が行われる。なお、これは例えばＣＭＯＳ型のイメージセンサ１２ａによりローリングシャッター方式の読み出しが行われる場合の歪みを補正するものとなる。

処理Ｆ４ではロール補正が行われる。即ち電子手ぶれ補正の１つの要素としてのロール成分の補正が行われる。
処理Ｆ５では電子手ぶれ補正によって生じる台形歪み分に対する台形歪み補正が行われる。電子手ぶれ補正によって生じる台形歪み分とは、画像の中央から離れた場所を切り出すことにより生じるパース歪みである。
処理Ｆ６では、電子手ぶれ補正の１つの要素としてのピッチ方向、ヨー方向のシフトや切り出しが行われる。
例えば以上の手順で手ぶれ補正、レンズ歪み補正、台形歪み補正が行われることになる。
なお、ここで挙げた処理の全てを実施することは必須ではなく処理の順番も適宜入れ替えても構わない。

図３のカメラ信号処理部１３におけるコーデック処理では、以上の各種処理が施された画像データについて、例えば記録用や通信用の符号化処理、ファイル生成を行う。例えばＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルＭＦの生成を行う。また静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式のファイル生成を行うことも考えられる。
なおカメラ信号処理部１３はカメラ制御部１８からの情報等を用いて、画像ファイルＭＦに付加するメタデータの生成も行う。

また図３では音声処理系については図示を省略しているが、実際には音声収録系、音声処理系を有し、画像ファイルＭＦには動画としての画像データとともに音声データも含まれるようにしてもよい。

記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルＭＦやサムネイル画像等を記録する処理を行う。
記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよいし、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。
例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中の撮像画像である、いわゆるスルー画（被写体のモニタリング画像）が表示される。
また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

出力部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）の送信出力を行う。
また出力部１６はネットワーク通信部であるとして、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。

操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。
操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータ（演算処理装置）により構成される。
メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなど包括的に示している。
メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。

ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

センサ部２３は、撮像装置に搭載される各種のセンサを包括的に示している。
センサ部２３としては例えばＩＭＵ（ inertial measurement unit：慣性計測装置）が搭載されており、例えばピッチ-、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。
なお、センサ部２３は、撮像時の手ぶれを検出することができるセンサを含んでいればよく、ジャイロセンサと加速度センサの双方を備えている必要は無い。
またセンサ部２３としては、位置情報センサ、照度センサ等が搭載されていても良い。

例えば以上の撮像装置１によって撮像され生成された動画としての画像ファイルＭＦは、携帯端末２等の画像処理装置ＴＤｘ、ＴＤｙに転送されて画像処理を施されることが可能とされる。
画像処理装置ＴＤｘ、ＴＤｙとなる携帯端末２、パーソナルコンピュータ３は、例えば図５に示す構成を備えた情報処理装置として実現できる。なおサーバ４についても、同様に図５の構成の情報処理装置により実現できる。

図５において、情報処理装置７０のＣＰＵ７１は、ＲＯＭ７２に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インタフェース７５も接続されている。

入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。
例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。

また入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
表示部７７は各種表示を行う表示部であり、例えば情報処理装置７０の筐体に設けられるディスプレイデバイスや、情報処理装置７０に接続される別体のディスプレイデバイス等により構成される。
表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどより構成される通信部８０が接続される場合もある。
通信部８０は、インターネット等の伝送路を介しての通信処理を行ったり、各種機器との有線／無線通信、バス通信などによる通信を行う。

入出力インタフェース７５にはまた、必要に応じてドライブ８２が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８１が適宜装着される。
ドライブ８２により、リムーバブル記録媒体８１からは画像ファイルＭＦ等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８１から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

この情報処理装置７０では、例えば本開示の画像処理装置としての画像処理のためのソフトウエアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８１を介してインストールすることができる。或いは当該ソフトウエアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

例えばこのようなソフトウエア（アプリケーションプログラム）によって、図６のような機能構成が情報処理装置７０のＣＰＵ７１において構築される。
図６は画像処理装置ＴＤｘとして機能する情報処理装置７０として設けられる機能を示している。即ち情報処理装置７０（ＣＰＵ７１）は、揺れ変更部１００、揺れ情報調整部１０１、関連付け部１０２としての機能を備える。

揺れ情報調整部１０１は、動画を構成する画像データについての撮像時揺れ情報を調整して調整後揺れ情報を生成する。そしてその調整後揺れ情報を揺れ変更部１００に受け渡す。このとき、揺れ情報調整部１０１は、揺れ変更パラメータＰＲＭに基づいて撮像時揺れ情報を調整して調整後揺れ情報を生成する。
揺れ変更パラメータＰＲＭは、ユーザ操作や自動制御によって発生される処理パラメータである。

揺れ変更部１００は、調整後揺れ情報を用いて、画像データの揺れの状態を変更する揺れ変更処理を行う。
揺れ変更部１００は揺れ演出部１００ａとしての機能を備えており、特に調整後揺れ情報を用いることで、揺れを付加したり増減させたりする揺れ演出としての処理を行う。そして揺れ演出済み画像データとして揺れ演出が施された出力画像を得る。

関連付け部１０２は、画像データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける処理を行う機能である。
例えば関連付け部１０２は、画像データと、撮像時揺れ情報と、揺れ変更情報を関連付けて保存してもよい。或いは関連付け部１０２は、これら画像データ、撮像時揺れ情報、揺れ変更情報を互いに関連付けるための情報を生成、保存することも考えられる。
この場合、画像データは、揺れ変更部１００における揺れ変更処理（揺れ演出処理）を行う前の画像データとしている。
この画像データに関連付けられる撮像時揺れ情報は、当該画像データが撮像装置１で撮像されたときの揺れ情報である。
また、この画像データに関連付けられる揺れ変更情報は、当該画像データについて揺れ変更のために入力された揺れ変更パラメータＰＲＭとされる。或いは破線で示すように調整後揺れ情報を、画像データに関連付けられる揺れ変更情報としてもよい。

図７は図６を若干変形した機能構成を示している。
この図７の場合、揺れ変更部１００は、揺れ演出部１００ａと揺れ除去部１００ｂを備える例としている。
即ち揺れ変更部１００は、調整後揺れ情報を用いて、揺れ演出部１００ａにより画像データの揺れの状態を変更する揺れ演出処理を行い、揺れ演出が施された出力画像を得ることができる。
さらに揺れ変更部１００は、撮像時揺れ情報を用いて、揺れ除去部１００ｂにより、揺れ除去処理を行うことができる。即ち撮像時の手ぶれ等による揺れを低減させた出力画像を得ることができる。

関連付け部１０２は、画像データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける処理を行う。
この場合、画像データは、揺れ除去部１００ｂによる揺れ除去が施された画像データとしている。
この画像データに関連付けられる撮像時揺れ情報は、当該画像データが撮像されたときの揺れ情報である。
また、この画像データに関連付けられる揺れ変更情報は、図６の例と同じく、揺れ変更のために入力された揺れ変更パラメータＰＲＭとされる。或いは破線で示すように、調整後揺れ情報を揺れ変更情報としてもよい。つまりこの場合は、揺れ除去された画像データに対しては直接影響していない揺れ変更情報が関連付けられることになる。

なお後述する第１，第２，第５の実施の形態では、図６の機能構成に沿った例とし、第３，第４の実施の形態は図７の機能構成に沿った例としている。

また、以上は画像処理装置ＴＤｘとしての機能構成を示したが、画像処理装置ＴＤｙとしての機能構成は、図６，図７のうち、少なくとも揺れ変更部１００と、揺れ情報調整部１０１が設けられれば良い。関連付け部１０２が設けられても良い。
但し画像処理装置ＴＤｙの場合、揺れ変更部１００が処理対象とする画像データと、揺れ情報調整部１０１に供給される撮像時揺れ情報、及び揺れ変更パラメータＰＲＭ（揺れ変更情報）は、以前の揺れ変更の際に画像処理装置ＴＤｘなどにより関連付けられているデータであることになる。

なお、揺れ変更パラメータＰＲＭではなく調整後揺れ情報が画像データ及び撮像時揺れ情報に関連付けられている場合は、揺れ情報調整部１０１では、撮像時揺れ情報と調整後揺れ情報から過去の揺れ変更の処理量を求めれば良い。

また図１Ｂで説明したように画像ソースＶＳと画像処理装置ＴＤｘが例えば撮像装置１などで実現される場合、図６，図７の機能を撮像装置１のカメラ信号合処理部１３又はカメラ制御部１８において備えることで、画像処理装置ＴＤｘとして機能するようにすることも考えられる。

＜３．画像ファイル及びメタデータ＞
撮像装置１等の画像ソースＶＳから画像処理装置ＴＤｘに伝送される画像ファイルＭＦの内容とメタデータの内容を説明する。
図８Ａは画像ファイルＭＦに含まれるデータを示している。図示のように画像ファイルＭＦには「ヘッダー」「サウンド」「ムービー」「メタデータ」としての各種のデータが含まれる。

「ヘッダー」には、ファイル名、ファイルサイズ等の情報とともにメタデータの有無を示す情報などが記述される。
「サウンド」は動画とともに収録された音声データである。例えば２チャネルステレオ音声データが格納される。
「ムービー」は動画データであり、動画を構成する各フレーム（＃１、＃２、＃３・・・）としての画像データで構成される。
「メタデータ」としては、動画を構成する各フレーム（＃１、＃２、＃３・・・）に対応づけられた付加情報が記述される。

メタデータの内容例を図８Ｂに示す。例えば１つのフレームに対して、ＩＭＵデータ、座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰが記述される。なお、これらはメタデータ内容の一部であり、ここでは後述する画像処理に関連する情報のみを示しているものである。

ＩＭＵデータとしては、ジャイロ（角速度データ）、アクセル（加速度データ）、サンプリングレートが記述される。
センサ部２３として撮像装置１に搭載されるＩＭＵでは、角速度データと加速度データを所定のサンプリングレートで出力している。一般に、このサンプリングレートは撮像画像のフレームレートより高く、このため１フレーム期間に多くのＩＭＵデータサンプルが得られるものとなっている。

そのため角速度データとしては、図８Ｃに示すジャイロサンプル＃１、ジャイロサンプル＃２・・・ジャイロサンプル＃ｎというように、１フレームについてｎ個のサンプルが対応づけられる。
また加速度データとしても、アクセルサンプル＃１、アクセルサンプル＃２・・・アクセルサンプル＃ｍというように、１フレームについてｍ個のサンプルが対応づけられる。
ｎ＝ｍの場合もあるし、ｎ≠ｍの場合もある。
なお、ここではメタデータは各フレームに対応づけられる例で説明しているが、例えばＩＭＵデータはフレームとは完全に同期しない場合もある。そのような場合、例えば各フレームの時間情報と関連する時間情報を、タイミング情報ＴＭにおけるＩＭＵサンプルタイミングオフセットとして持つようにされる。

座標変換パラメータＨＰは、画像内の各画素の座標変換を伴う補正に用いるパラメータの総称としている。例えばレンズ歪みのような非線形な座標変換も含む。
そして、座標変換パラメータＨＰとは、少なくとも、レンズ歪み補正パラメータ、台形歪み補正パラメータ、フォーカルプレーン歪み補正パラメータ、電子手ぶれ補正パラメータ、光学手ぶれ補正パラメータを含みうる用語としている。

レンズ歪み補正パラメータは、樽型収差、糸巻き型収差などの歪みをどのように補正したかを直接または間接的に把握しレンズ歪補正前の画像に戻すための情報となる。メタデータの１つとしてのレンズ歪み補正パラメータに関するメタデータについて簡単に説明しておく。
図９Ａにはレンズ系１１とイメージセンサ１２ａの模式図において、像高Ｙ、角度α、入射瞳位置ｄ１、射出瞳位置ｄ２を示している。
レンズ歪み補正パラメータは、画像処理においては、イメージセンサ１２ａの各画素についての入射角度を知りたいために用いられる。そのため像高Ｙ、角度αの関係がわかれば良い。

図９Ｂはレンズ歪み補正前の画像１１０とレンズ歪み補正後の画像１１１を示している。最大像高Ｈ０は歪み補正前の最大像高であり、光軸の中心から最遠までの距離である。最大像高Ｈ１は歪み補正後の最大像高である。
像高Ｙ、角度αの関係がわかるようにメタデータとして必要なのは、歪み補正前の最大像高Ｈ０と、Ｎ個の各像高に対する入射角度のデータｄ０、ｄ１、・・・ｄ（Ｎ－１）となる。“Ｎ”は一例として１０程度であることが想定される。

図８Ｂに戻って、台形歪み補正パラメータは、電子手ぶれ補正によって切り出し領域を中央からずらすことで生じる台形歪みを補正するときの補正量であり、電子手ぶれ補正の補正量に応じた値ともなる。

フォーカルプレーン歪み補正パラメータは、フォーカルプレーン歪みに対してライン毎の補正量を示す値となる。

電子手ぶれ補正及び光学手ぶれ補正に関しては、ヨー、ピッチ、ロールの各軸方向についての補正量を示すパラメータとなる。

なお、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正の各パラメータについては、座標変換パラメータと総称しているが、これらの補正処理は、撮像素子部１２のイメージセンサ１２ａの各画素に結像した像に対する補正処理であって、各画素の座標変換を伴う補正処理のパラメータであるためである。光学手ぶれ補正も座標変換パラメータの１つとするが、光学手ぶれ補正においてフレーム間成分の揺れの補正は各画素の座標変換を伴う処理となるためである。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正が施された画像データを、各補正処理前、即ち、撮像素子部１２のイメージセンサ１２ａに結像したときの状態に戻すことができる。

またレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正の各パラメータについては、被写体からの光学像自体が光学的に歪んだ状態で撮像された画像である場合に対する歪み補正処理であり、それぞれ光学歪み補正を目的とするものであるため、光学歪み補正パラメータと総称している。
つまり、これらのパラメータを用いて逆補正を行えば、レンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正が施された画像データを、光学歪み補正前の状態に戻すことができる。

メタデータにおけるタイミング情報ＴＭとしては、露光時間（シャッタースピード）、露光開始タイミング、読み出し時間（幕速）、露光フレーム数（長秒露光情報）、ＩＭＵサンプルオフセット、フレームレートの各情報が含まれる。
本実施の形態の画像処理においては、これらは主に各フレームのラインとＩＭＵデータを対応づけるために用いられる。
但しイメージセンサ１２ａがＣＣＤの場合やグローバルシャッター方式のＣＭＯＳの場合であっても、 電子シャッターやメカシャッターを用いて露光重心がずれる場合は、露光開始タイミングと幕速も用いて露光重心に合わせた補正が可能となる。

メタデータにおけるカメラパラメータＣＰとしては、画角（焦点距離）、ズーム位置、レンズ歪み情報が記述される。

＜４．第１の実施の形態＞
第１の実施の形態としての画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０の処理例を説明する。
図１０は、画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。
なお、図６の揺れ変更部１００の機能によっては、少なくともステップＳＴ１６の処理が行われればよい。ただし、ステップＳＴ１１，ＳＴ１２，ＳＴ１３，ＳＴ１４，ＳＴ１７，ＳＴ１８を揺れ変更部１００の処理と考えることもできる。
また揺れ情報調整部１０１の機能によっては、ステップＳＴ１５の処理が行われる。
また関連付け部１０２の機能によっては、ステップＳＴ２０の処理が行われる。

まず前処理としてのステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４について説明する。
前処理は画像ファイルＭＦのインポート時に行われる処理とする。
ここでいう「インポート」とは、情報処理装置７０が例えば記憶部７９などに取り込んでいることでアクセス可能な画像ファイルＭＦなどを画像処理の対象とすることを指し、前処理を行って画像処理可能に展開することをいう。例えば撮像装置１から携帯端末２等に転送することを指すものではない。

ＣＰＵ７１は、ユーザ操作等により指定された画像ファイルＭＦを画像処理対象となるようにインポートするとともに、前処理として画像ファイルＭＦに付加されたメタデータに関する処理を行う。例えば動画の各フレームに対応するメタデータを抽出して記憶する処理を行う。
具体的には、この前処理では、メタデータ抽出（ステップＳＴ１）、全ＩＭＵデータ連結（ステップＳＴ２）、メタデータの保持（ステップＳＴ３）、クオータニオン（撮像装置１の姿勢情報）への変換、保持（ステップＳＴ４）が行われる。

ステップＳＴ１のメタデータ抽出としては、ＣＰＵ７１は、対象の画像ファイルＭＦを読み込んで、図８で説明したように画像ファイルＭＦに含まれているメタデータを抽出する。
なおステップＳＴ１，ＳＴ２，ＳＴ３，ＳＴ４の一部又は全部を撮像装置１などの画像ソースＶＳ側で行ってもよい。その場合は、前処理においては、以下説明するそれらの処理後の内容がメタデータとして取得される。

ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ（角速度データ（ジャイロサンプル）と加速度データ（アクセルサンプル））については、ステップＳＴ２で連結処理を行う。
これは、全フレームについて対応づけられているＩＭＵデータについて、全てを時系列順に並べて連結し、動画のシーケンス全体に対応するＩＭＵデータを構築する処理となる。
そして連結したＩＭＵデータに対して積分処理を行って、動画のシーケンス上の各時点での撮像装置１の姿勢を表すクオータニオンＱＤを算出し、これを記憶保持する。クオータニオンＱＤを算出するとしているのは一例である。
なお角速度データのみでクオータニオンＱＤを計算することもできる。

ＣＰＵ７１は、抽出されたメタデータのうち、ＩＭＵデータ以外のメタデータ、即ち座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰについては、ステップＳＴ３で保持する処理を行う。即ち各フレームに対応した状態で座標変換パラメータＨＰ、タイミング情報ＴＭ、カメラパラメータＣＰを記憶する。

以上の前処理が行われることで、ＣＰＵ７１にとっては、画像ファイルＭＦとして受け取った画像データに対する揺れ変更を含めた各種の画像処理を行う準備がなされたことになる。
図１０の定常処理は、以上のように前処理が施された画像ファイルＭＦの画像データを対象として行う画像処理を示している。

ＣＰＵ７１は、動画の１フレーム取り出し（ステップＳＴ１１）、撮像装置内部補正キャンセル（ステップＳＴ１２）、天球モデルへの貼り付け（ステップＳＴ１３）、同期処理（ステップＳＴ１４）、揺れ情報調整（ステップＳＴ１５）、揺れ変更（ステップＳＴ１６）、出力領域指定（ステップＳＴ１７）、平面投影及び切り出し（ステップＳＴ１８）、及び関連付け記録／再生（ステップＳＴ２０）の処理を行う。

ＣＰＵ７１は、以上のステップＳＴ１１からステップＳＴ２０の各処理は、画像ファイルＭＦの画像再生の際に毎フレームについて行うことになる。

ステップＳＴ１１でＣＰＵ７１は、フレーム番号ＦＮに沿って動画（画像ファイルＭＦ）の１フレームをデコードする。そして１フレームの画像データＰＤ（＃ＦＮ）を出力する。なお『（＃ＦＮ）』はフレーム番号を示し、そのフレームに対応する情報であることを表すものとする。
なお、動画が圧縮などのエンコード処理をされたものでない場合は、このステップＳＴ１１でのデコード処理は不要である。

ステップＳＴ１２でＣＰＵ７１は、１フレームの画像データＰＤ（＃ＦＮ）について撮像装置１で行われた内部補正をキャンセルする処理を行う。
このためにＣＰＵ７１は、前処理時に当該フレーム番号（＃ＦＮ）に対応して記憶された座標変換パラメータＨＰ（＃ＦＮ）を参照し、撮像装置１で行われた補正とは逆補正を行う。これにより撮像装置１におけるレンズ歪み補正、台形歪み補正、フォーカルプレーン歪み補正、電子手ぶれ補正、光学手ぶれ補正がキャンセルされた状態の画像データｉＰＤ（＃ＦＮ）を得る。

ステップＳＴ１３でＣＰＵ７１は、各種補正がキャンセルされた状態の１フレームの画像データｉＰＤ（＃ＦＮ）について天球モデルへの貼付を行う。このとき、当該フレーム番号（＃ＦＮ）に対応して記憶されたカメラパラメータＣＰ（＃ＦＮ）、即ち画角、ズーム位置、レンズ歪み情報を参照する。

図１１に天球モデルへの貼付の概要を示す。
図１１Ａは画像データｉＰＤを示している。像高ｈは画像中心からの距離である。図中の各円は像高ｈが等しくなる位置を示している。
この画像データｉＰＤのフレームについての画角、ズーム位置、レンズ歪み情報から、そのフレームにおける「イメージセンサ面と入射角φの関係」を計算し、イメージセンサ面の各位置の「data0」・・・「dataN-1」とする。そして「data0」・・・「dataN-1」から図１１Ｂのような像高ｈと入射角φの関係の１次元のグラフとして表現する。入射角φは光線の角度（光軸から見た角度）である。
この１次元のグラフを撮像画像の真ん中を中心に１回転させて、各ピクセルと入射角の関係を求める。
それに従って図１１Ｃの画素Ｇ１から天球座標上の画素Ｇ２のように、画像データｉＰＤの各画素について天球モデルＭＴへのマッピングを行うことになる。

以上によりレンズ歪みが除去された状態で撮像画像を理想天球面に貼り付けた天球モデルＭＴの画像（データ）が得られる。この天球モデルＭＴは、その画像データｉＰＤを元々撮像した撮像装置１の固有のパラメータや歪みが除去され、理想的なピンホールカメラで見える範囲が、天球面に貼ってあるものとなっている。
従ってこの状態で天球モデルＭＴの画像を所定方向に回転させることで、揺れ除去や揺れ演出としての揺れ変更処理が実現できることになる。

ここで揺れ変更処理には撮像装置１の姿勢情報（クオータニオンＱＤ）を用いることになる。このためにＣＰＵ７１はステップＳＴ１４で同期処理を行うようにしている。
同期処理では、フレーム番号ＦＮに対応して、ライン毎に適したクオータニオンＱＤ（＃ＬＮ）を特定し取得する処理を行う。なお『（＃ＬＮ）』はフレーム内のライン番号を示し、そのラインに対応する情報であることを表すものとする。

なお、ライン毎のクオータニオンＱＤ（＃ＬＮ）を用いるのは、イメージセンサ１２ａがＣＭＯＳ型でローリングシャッター方式の撮像が行われる場合、ライン毎に揺れの量が異なるためである。
例えばイメージセンサ１２ａがＣＣＤ型でグローバルシャッター方式の撮像が行われる場合は、フレーム単位のクオータニオンＱＤ（＃ＦＮ）を用いれば良い。
なお、イメージセンサ１２ａとしてのＣＣＤやＣＭＯＳのグローバルシャッターの時でも電子シャッター（メカシャッターでも同様）を用いていると重心がずれるので、フレームの露光期間の中心（電子シャッターのシャッター速度に応じてずれる）のタイミングのクオータニオンを用いると良い。

ここで画像に現れるブラーについて考慮する。
ブラーとは、同一フレーム内の撮像装置と被写体の間の相対的な動きによる、画像のにじみのことである。即ち露光時間内の揺れによる画像のにじみである。露光時間が長くなる程、ブラーとしてのにじみの影響は強くなる。
電子手ぶれ補正は、フレーム毎に切り出す画像範囲を制御する方式を用いる場合、フレーム間に生じる「揺れ」を軽減／解消できるものであるが、露光時間内の相対的な揺れは、このような電子手ぶれ補正では低減できない。
また手ぶれ補正で切り出し領域を変化させるときは、各フレームの姿勢情報を用いるが、その姿勢情報が、露光期間の開始又は終了のタイミング等の露光期間の中心とずれたものであると、その姿勢を基準とした露光時間内の揺れの方向が偏ることになり、にじみが目立ちやすい。さらに、ＣＭＯＳのローリングシャッターではラインごとに露光期間が異なる。

そこでステップＳＴ１４の同期処理では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準としてクオータニオンＱＤを取得するようにする。
図１２には、撮像装置１の垂直期間の同期信号ｃＶと、この同期信号ｃＶから生成されるイメージセンサ１２ａの同期信号ｓＶ、及びＩＭＵデータのサンプルタイミングを示すとともに、露光タイミング範囲１２０を示している。
露光タイミング範囲は、ローリングシャッター方式で露光時間ｔ４としたときの１フレームの各ラインの露光期間を平行四辺形で模式的に示したものである。さらに同期信号ｃＶと同期信号ｓＶの時間的なオフセットｔ０、ＩＭＵサンプルタイミングオフセットｔ１、読み出し開始タイミングｔ２、読み出し時間（幕速）ｔ３、露光時間ｔ４を示している。なお読み出し開始タイミングｔ２は同期信号ｓＶから所定時間ｔ２ｏｆを経たタイミングとなる。
各ＩＭＵサンプルタイミングで得られる各ＩＭＵデータについてはフレームに紐づけられる。例えば期間ＦＨ１におけるＩＭＵデータは平行四辺形で露光期間を示した現フレームに紐付いたメタデータとされ、期間ＦＨ１におけるＩＭＵデータは次のフレームに紐付いたメタデータとされる。但し図１０のステップＳＴ２で全ＩＭＵデータを連結することで、各フレームとＩＭＵデータの紐付けを解除し時系列でＩＭＵデータを管理できる状態になっている。
この場合に、現フレームの各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。これはＩＭＵデータとイメージセンサ１２ａの有効画素領域との時間的な関係がわかれば計算できる。

そこで当該フレーム（＃ＦＮ）に対応するタイミング情報ＴＭとして取得できる情報を用いて、各ラインの露光重心（破線Ｗのタイミング）に相当するＩＭＵデータを特定する。
即ち露光時間、露光開始タイミング、読み出し時間、露光フレーム数、ＩＭＵサンプルオフセット、フレームレートの情報である。
そして露光重心のＩＭＵデータから計算されたクオータニオンＱＤを特定し、ライン毎の姿勢情報であるクオータニオンＱＤ（＃ＬＮ）とする。

このクオータニオンＱＤ（＃ＬＮ）はステップＳＴ１５の揺れ情報調整の処理に提供される。
揺れ情報調整では、ＣＰＵ７１は入力された揺れ変更パラメータＰＲＭに従ってクオータニオンＱＤを調整する。
揺れ変更パラメータＰＲＭは、ユーザ操作に応じて入力されるパラメータであったり、自動制御によって発生されるパラメータであったりする。
ユーザは、画像に任意の揺れ具合を付加するように揺れ変更パラメータＰＲＭの入力を行うことができる。またＣＰＵ７１は、画像解析や画像種別、或いはユーザの揺れのモデルの選択操作などに応じて自動制御により揺れ変更パラメータＰＲＭを発生することができる。
具体的には、ステップＳＴ１５でＣＰＵ７１は、撮像時揺れ情報であるクオータニオンＱＤに基づいて、画像に揺れを付加したり、揺れの量を増減させたりするための調整後クオータニオンｅＱＤを生成する。

具体的な調整後クオータニオンｅＱＤの生成例を図１３，図１４，図１５で説明する。
図１３は揺れ変更パラメータＰＲＭによる周波数帯域別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
周波数帯域とは揺れの周波数の帯域である。説明上、ローバンド、ミドルバンド、ハイバンドの３つの帯域に分けるとする。もちろんこれは一例にすぎず帯域数は２以上であればよい。
低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが、揺れ変更パラメータＰＲＭとして与えられる。

図１３の調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、ゲイン演算部４４，４５，４６、合成部４７を有する。
この調整処理系には「揺らすためのクオータニオンＱＤｓ」を入力する。これは撮像時揺れ情報としてのクオータニオンＱＤの共役である。

揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１に入力し、低域成分ｑ_lowを求める。

この低域成分ｑ_lowに対してゲイン演算部４４で低域用ゲインＬＧを与える。
なお、式中のｍｅａｎ（ｑ，ｎ）は、ｑの前後ｎ個の平均値を示す。

また揺らすためのクオータニオンＱＤｓの値ｑを中域通過フィルタ４２に入力し、中域成分ｑ_midを求める。

なお、ｑ^* _lowはｑ_lowの共役である。
また“×”はクオータニオン積である。
この中域成分ｑ_midに対してゲイン演算部４５で中域用ゲインＭＧを与える。

また揺らすためのクオータニオンＱＤｓの値ｑを高域通過フィルタ４３に入力し、高域成分ｑ_highを求める。

なお、ｑ^* _midはｑ_midの共役である。
この高域成分ｑ_highに対してゲイン演算部４６で高域用ゲインＨＧを与える。

これらのゲイン演算部４４，４５，４６は、入力を“ｑ_in”とする。

この場合にθ’＝θ＊gainとして、次の“ｑ_out”を出力する。
（但しgainは、低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ）

このようなゲイン演算部４４，４５，４６により、それぞれ低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが与えられた低域成分ｑ_low、中域成分ｑ_mid、高域成分ｑ_highが得られる。これを合成部４７で合成した値ｑ_mixedを得る。

なお“×”はクオータニオン積である。
このように求められた値ｑ_mixedが調整後クオータニオンｅＱＤの値となる。
なお以上は帯域分割した例であるが、帯域分割せずに揺れ変更パラメータＰＲＭに応じたゲインを与えるという調整後クオータニオンｅＱＤの生成手法も考えられる。

次に図１４は揺れ変更パラメータＰＲＭによる方向別ゲインの指示に応じて調整後クオータニオンｅＱＤを生成する例である。
方向とは揺れの方向であり、即ち、ヨー、ピッチ、ロールの方向である。
ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが、揺れ変更パラメータＰＲＭとして与えられる。

図１４の調整処理系としては、ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有する。
ヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３には、それぞれヨー軸（Yaw axis）、ピッチ軸（Pitch axis）、ロール軸（Roll axis）の情報が提供される。

揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑをヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３にそれぞれ入力し、ヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollを求める。
これら各成分抽出処理は、入力を次の“ｑ_in”とする。

ｕは、ヨー軸、ピッチ軸、ロール軸等の軸の方向を表す単位ベクトルである。
この場合にθ’＝θ＊（ａ・ｕ）として、次の“ｑ_out”を出力する。

そしてこのような成分抽出により得られたヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollについては、ゲイン演算部５４，５５，５６により、それぞれヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧを与える。
そしてゲイン演算を施したヨー成分ｑ_yaw、ピッチ成分ｑ_pitch、ロール成分ｑ_rollを合成部４７で合成した値ｑ_mixedを得る。

なお、この場合の“×”もクオータニオン積である。
このように求められた値ｑ_mixedが調整後クオータニオンｅＱＤの値となる。

図１５は以上の周波数帯域別と方向別を組み合わせた例である。
調整処理系としては、低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３、方向別処理部５８，５９，６０、ゲイン演算部４４，４５，４６、合成部６１を有する。
揺れ変更パラメータＰＲＭによっては、低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧ、及び図示していないヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧが与えられる。

この調整処理系では、揺らすためのクオータニオンＱＤｓとしての現在フレーム及び前後の所定フレームについての各値ｑを低域通過フィルタ４１，中域通過フィルタ４２，高域通過フィルタ４３に供給してそれぞれの帯域成分を得る。各帯域成分は、方向別処理部５８，５９，６０に入力される。
方向別処理部５８，５９，６０は、それぞれが図１４のヨー成分抽出部５１，ピッチ成分抽出部５２，ロール成分抽出部５３、ゲイン演算部５４，５５，５６、合成部５７を有するものとする。
即ち、方向別処理部５８では、揺らすためのクオータニオンＱＤｓの低域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分け、ヨー用ゲインＹＧ、ピッチ用ゲインＰＧ、ロール用ゲインＲＧを用いてゲイン演算を行った後、合成する。
方向別処理部５９では、揺らすためのクオータニオンＱＤｓの中域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。
方向別処理部６０では、揺らすためのクオータニオンＱＤｓの高域成分に対して、ヨー方向、ロール方向、ピッチ方向の成分に分けて同様にゲイン演算を行った後、合成する。

これらの方向別処理部５８，５９，６０の出力はそれぞれゲイン演算部４４，４５，４６に供給され、それぞれ低域用ゲインＬＧ、中域用ゲインＭＧ、高域用ゲインＨＧが与えられる。そして合成部６１で合成され、調整後クオータニオンｅＱＤの値として出力される。

以上の図１５の例では、先に周波数帯域別に分けた後、それぞれの帯域成分毎に方向別の処理を適用したが、逆でもよい。即ち先に方向別に分けた後、それぞれの方向成分毎に周波数帯域別の処理を適用するようにしてもよい。

図１０のステップＳＴ１５では、例えば以上のような処理例によって調整後クオータニオンｅＱＤが生成される。
そして生成された調整後クオータニオンｅＱＤはステップＳＴ１６の揺れ変更処理に提供される。
ステップＳＴ１６の揺れ変更とは、例えば図１３，図１４，図１５の処理で得られる調整後クオータニオンｅＱＤを、揺れが止まった状態の画像に適用して揺れを付加するものと考えることができる。

ＣＰＵ７１はステップＳＴ１６の揺れ補正では、ステップＳＴ１３でフレームの画像が貼り付けられた天球モデルＭＴの画像を、ライン毎に調整後クオータニオンｅＱＤ（＃ＬＮ）を用いて回転させることで、揺れを付加するようにする。揺れ変更済天球モデルｈＭＴの画像は、ステップＳＴ１８の処理に送られる。

そしてステップＳＴ１８でＣＰＵ７１は、揺れ変更済天球モデルｈＭＴの画像を平面に投影し、切り出すことで、揺れ変更がなされた画像（出力画像データｏＰＤ）が得られる。

この場合、天球モデルＭＴの回転により揺れ変更が実現されているとともに、天球モデルＭＴを用いることで、どこを切り出しても台形状にならないため結果として台形歪みも解消されていることになる。また上述のように天球モデルＭＴは理想的なピンホールカメラで見える範囲が天球面に貼ってあるものとなっているためレンズ歪みもない。天球モデルＭＴの回転がライン毎のクオータニオンＱＤ（＃ＬＮ）に基づく調整後クオータニオンｅＱＤ（＃ＬＮ）に応じて行われることで、フォーカルプレーン歪み補正も解消されている。
さらにクオータニオンＱＤ（＃ＬＮ）が各ラインの露光重心に対応するものであることで、ブラーが目立たない画像となっている。

ステップＳＴ１８で平面投影された後の画像と天球モデルＭＴの対応付けは次のようになる。
図１６Ａは、平面投影する矩形の座標平面１３１の一例を示している。平面投影される画像の各座標を（ｘ，ｙ）とする。
図１６Ｂに示すように座標平面１３１を、天球モデルＭＴの真上に真ん中で接するように３次元空間上に配置（正規化）する。即ち、その座標平面１３１の中心が天球モデルＭＴの中心と一致し、かつ天球モデルＭＴと接する位置に配置されるようにする。

この場合、ズーム倍率や切り出し領域のサイズに基づいて座標を正規化する。例えば図１６Ａのように座標平面１３１の水平座標を０乃至ｏｕｔｈとし、垂直座標を０乃至ｏｕｔｖとする場合、ｏｕｔｈおよびｏｕｔｖが画像サイズとされる。そして例えば、次の式により座標を正規化する。

上記（数１０）において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、「ｚｏｏｍ」は、拡大縮小を制御するためのパラメータである。
またｘnorm、ｙnorm、ｚnormは、正規化したｘ、ｙ、ｚ座標である。
上記（数１０）の各式により、座標平面１３１の座標は、半径１．０の半球の球面上の座標に正規化される。

切り出し領域の向きを求めるための回転は図１７Ａのように、座標平面１３１を回転行列演算により回転させる。即ち下記（数１１）の回転行列を使用し、パン角、チルト角およびロール角で回転させる。ここではパン角は、座標をｚ軸周りに回転させる回転角度である。また、チルト角は、座標をｘ軸周りに回転させる回転角度であり、ロール角は、ｙ軸周りに回転させる回転角度である。

上記（数１１）において、「Ｒｔ」はチルト角、「Ｒｒ」はロール角、「Ｒｐ」はパン角である。また、（ｘrot、ｙrot、ｚrot）は回転後の座標である。

この座標（ｘrot、ｙrot、ｚrot）を透視射影での天球対応点算出に用いる。
図１７Ｂのように、座標平面１３１を、天球表面に透視射影する（領域１３２）。即ち座標から天球の中心に向かって直線を引いた時に球面と交差する点を求めることになる。各座標は、以下のように計算される。

（数１２）において、ｘsph、ｙsph、ｚsphは座標平面１３１上の座標を天球モデルＭＴの表面上の座標に射影した座標である。
この関係で平面投影された画像データが得られる。

例えば以上のような手法で平面に投影された画像についての切り出し領域が、図１０のステップＳＴ１７で設定されることになる。

ステップＳＴ１７では、画像解析（被写体認識）によるトラッキング処理や、ユーザ操作に応じた切り出し領域指示情報ＣＲＣに基づいて、現在のフレームにおける切り出し領域情報ＣＲＡが設定される。
例えば図１８Ａ、図１８Ｂに、或るフレームの画像について設定された切り出し領域情報ＣＲＡを、枠の状態で示している。
このような切り出し領域指示情報ＣＲＣがフレーム毎に設定される。
なお、切り出し領域情報ＣＲＡは、ユーザや自動制御による画像のアスペクト比の指示も反映される。

切り出し領域情報ＣＲＡはステップＳＴ１８の処理に反映される。即ち上記のように天球モデルＭＴ上で切り出し領域情報ＣＲＡに応じた領域が平面投影されて出力画像ｏＰＤが得られる。

このように得られた出力画像ｏＰＤは、ステップＳＴ１６で揺れ変更処理が施された画像データである。
図１０の処理が毎フレーム行われることで、出力画像ｏＰＤを再生表示すると、揺れ演出として揺れが付加された画像が表示されることになる。従ってユーザが揺れ変更パラメータＰＲＭの入力のための操作を行った場合、ユーザの意思に応じた揺れ演出が加えられた画像となる。このような画像データが、揺れ演出された画像として表示されたり保存されたりする。

ここで本実施の形態では、例えばステップＳＴ２０として関連付け記録／再生が行われる。例えばＣＰＵ７１はフレーム毎に関連付け記録（例えば図５の記憶部７９やリムーバブル記録媒体８１に記録）を行い、また必要時にそれらを再生／転送出力させることができる。

フレーム毎の関連付け記録処理としては、例えば、フレーム単位の画像データに対して、撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられて記録される。

まずフレーム単位の画像データとして、ステップＳＴ１２でＣＰＵ７１は撮像装置内部補正がキャンセルされた画像データｉＰＤの記録処理を行う。つまり撮像装置１での揺れ除去がキャンセルされて、撮像時の手ぶれ等の揺れの影響がそのまま現れている画像データである。

またＣＰＵ７１は、この画像データｉＰＤに関連付けられる撮像時揺れ情報として、そのフレームについてのクオータニオンＱＤ、タイミング情報ＴＭ、カメラパラメータＣＰの記録処理を行う。
図１９に画像ソースＶＳから画像処理装置ＴＤｘに供給されたメタデータＭＴＤ１と、画像処理装置ＴＤｘが画像処理装置ＴＤｙに供給するメタデータＭＴＤ２を示しているが、このメタデータＭＴＤ２に相当する情報が撮像時揺れ情報として、画像データｉＰＤのフレーム毎に関連づけられる。

さらにＣＰＵ７１は、画像データｉＰＤに関連付けられる揺れ変更情報ＳＭＩとして、揺れ変更パラメータＰＲＭの記録処理を行う。或いは揺れ変更パラメータＰＲＭに代えて、もしくは揺れ変更パラメータＰＲＭとともに、調整後クオータニオンｅＱＤを記録するようにしてもよい。

このように関連付けて記録した各フレームの画像データｉＰＤ、撮像時揺れ情報（メタデータＭＴＤ２）、及び揺れ変更情報ＳＭＩは、外部機器に転送されて利用可能とされる。
図２には画像処理装置ＴＤｘから画像処理装置ＴＤｙに画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを伝送することを示したが、この図１０の例の場合、画像データＶＤ２は、画像データｉＰＤにより構成される画像データとなる。またメタデータＭＴＤ２は図１９に示す内容として撮像時揺れ情報を示すものとなる。揺れ変更情報ＳＭＩは画像データｉＰＤに対して行った揺れ演出の処理量を示す情報となる。

このような画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを取得した画像処理装置ＴＤｙの処理例を図２０に示す。
なお以降、既述の処理と同様の処理については同一のステップ番号を付して処理内容の重複説明を避ける。

図２０は例えば画像処理装置ＴＤｙで行われる定常処理を示している。
この場合、ステップＳＴ２０の関連付け記録／再生処理としては、画像処理装置ＴＤｘから伝送されてきた情報の再生が行われるものとする。
即ちステップＳＴ２０の関連付け記録／再生処理とは、例えば画像処理装置ＴＤｘから伝送されてきた情報（画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩ）が、画像処理装置ＴＤｙとして機能する図５の情報処理装置７０の記憶部７９やリムーバブル記録媒体８１に記録された状態とされており、それらから逐次読み出される処理であるとする。

画像処理装置ＴＤｙとして機能する情報処理装置７０のＣＰＵ７１は、ステップＳＴ２０の処理として、フレーム毎に画像データｐＰＤを読み出す。画像データｐＰＤとは、ステップＳＴ２０で記録媒体から再生される画像データを指すものとしている。
画像処理装置ＴＤｘが図１０の処理を行った場合、再生される画像データｐＰＤは、図１０で説明した画像データｉＰＤとなる。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１３での天球モデルＭＴへの貼り付けのために現在の再生フレームの画像データｐＰＤに対応するカメラパラメータＣＰを読み出す。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１４の同期処理のために現在の再生フレームの画像データｐＰＤに対応するクオータニオンＱＤ及びタイミング情報ＴＭを読み出す。
さらにＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１５の揺れ情報調整のために現在の再生フレームの画像データｐＰＤに対応する揺れ変更情報ＳＭＩを読み出す。

ＣＰＵ７１は、ステップＳＴ１３の処理として、再生したカメラパラメータＣＰを参照して再生した画像データｐＰＤを天球モデルへ貼り付ける。

ＣＰＵ７１はステップＳＴ１４の処理として、再生した画像データｐＰＤに対応するクオータニオンＱＤ及びタイミング情報ＴＭにより同期処理を行う。
ＣＰＵ７１はステップＳＴ１５の処理として、再生した揺れ変更情報ＳＭＩ、及び入力された揺れ変更パラメータＰＲＭを用いてクオータニオンＱＤを調整し、調整後クオータニオンｅＱＤを生成する。

ＣＰＵ７１はステップＳＴ１６の処理として、調整後クオータニオンｅＱＤを用いて、天球モデルＭＴに貼り付けた画像データｐＰＤを回転させ、揺れ変更処理を行う。
ＣＰＵ７１はステップＳＴ１８として、揺れ変更された画像を切り出し領域情報ＣＲＡに応じて切り出し、平面投影して、出力画像データｏＰＤを生成し、出力する。
このような各処理を行う画像処理装置ＴＤｙでは次のような動作が可能となる。

・過去に画像処理装置ＴＤｘで施された揺れ演出の再現
ステップＳＴ１５では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）を反映して調整後クオータニオンｅＱＤを生成できる。従って画像処理装置ＴＤｙのＣＰＵ７１は、ステップＳＴ１６で、過去に画像処理装置ＴＤｘで行われた揺れ変更と同じ揺れ変更処理を行うことができ、そのような出力画像データｏＰＤを得て、表示させたり記録させたりすることができる。

・新規な揺れ演出の付加
処理対象として再生される画像データｐＰＤ（画像データｉＰＤ）は、画像処理装置ＴＤｘでの揺れ変更が施されていない画像データである。従って、画像処理装置ＴＤｙにおいてユーザ操作や自動制御により揺れ変更パラメータＰＲＭが入力され、それに応じた調整後クオータニオンｅＱＤが生成されることで、ステップＳＴ１６では、過去の揺れ変更に影響を受けない画像処理装置ＴＤｙのみの揺れ変更処理を行うことができ、そのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。

・過去に画像処理装置ＴＤｘで施された揺れ演出の調整や修正
ステップＳＴ１５では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）と、新たにユーザ操作や自動制御により入力する揺れ変更パラメータＰＲＭの両方を反映させて調整後クオータニオンｅＱＤを生成することができる。
従って画像処理装置ＴＤｙのＣＰＵ７１は、例えば画像処理装置ＴＤｘで行われた揺れ変更による画像の揺れ具合を、画像処理装置ＴＤｙのユーザが揺れ変更パラメータＰＲＭを調整したり一部変更したりすることに応じて変化させることができる。そしてそのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。

また画像処理装置ＴＤｙにおいて揺れ変更を行った場合、その情報も、関連付けられるようにすることが考えられる。
図２１には揺れ変更情報ＳＭＩの更新を示している。
ＣＰＵ７１は、ステップＳＴ１５で揺れ変更パラメータＰＲＭが新たに入力され、揺れの変更に反映された場合、図２１のステップＳＴ２０の関連付け記録／再生の処理として、揺れ変更情報ＳＭＩを更新する処理を示している。
つまり各フレームの画像データＶＤ２（ｉＰＤ）、撮像時揺れ情報（メタデータＭＴＤ２）に関連付けられている、揺れ変更情報ＳＭＩを、今回用いられた揺れ変更情報ＳＭＩに更新する。
このようにすることで、当該関連付けられた情報群を取得した他の画像処理装置では、画像処理装置ＴＤｙで行われた揺れ変更を再現したり、修正したりすることができるようになる。

なお、図２１において破線で示すように、ステップＳＴ１７の切り出し領域情報ＣＲＡに関する情報も、関連付けられて記録されるようにすることも考えられる。例えばアスペクト比の情報を関連付けておく。これによりアスペクト比の指定情報も、その後の画像再生時や揺れ演出の付加の際などにも反映させることができる。
もちろん図１０の画像処理装置ＴＤｘでの処理においてもアスペクト比等の切り出し領域情報ＣＲＡを記録してもよい。

＜５．第２の実施の形態＞
第２の実施の形態としての画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０の処理例を説明する。
第２の実施の形態は、画像ソースＶＳ（例えば撮像装置１）で揺れ除去が行われていない画像データＶＤ１が画像処理装置ＴＤｘに供給される例とする。
このため図２のように画像ソースＶＳから画像処理装置ＴＤｘに供給されるメタデータＭＴＤ１としては図２２に示すようになる。

図２２に示すメタデータＭＴＤ１としては、ＩＭＵデータ、タイミング情報ＴＭ、カメラパラメータＣＰが含まれている。但し揺れ除去（例えば手ぶれ補正）が行われていないため、座標変換パラメータＨＰ（図８参照）は含まれていない。

図２３は先の図１０と同様に画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順を示すとともに、各処理で用いる情報の関係性を示している。なお、既述の処理に関しては同一のステップ番号を付し説明を省略する。
図２３の処理は基本的には図１０と同様となるが、この図２３の処理では撮像装置内部補正キャンセルの処理（図１０のステップＳＴ１２）は行われない。撮像装置１で揺れ除去が行われないためである。
そして、ステップＳＴ２０の関連付け記録／再生の処理で記録される画像データは、ステップＳＴ１１で抽出される画像データＰＤとなる。

フレーム毎の関連付け記録処理としては、このフレーム単位の画像データＰＤに対して、撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連づけられて記憶される。

即ちＣＰＵ７１は、画像データＰＤに関連付けられる撮像時揺れ情報として、そのフレームについてのクオータニオンＱＤ、タイミング情報ＴＭ、カメラパラメータＣＰの記録処理を行う。図２２におけるメタデータＭＴＤ２が、この撮像時揺れ情報の内容となる。

さらにＣＰＵ７１は、画像データＰＤに関連付けられる揺れ変更情報ＳＭＩとして、揺れ変更パラメータＰＲＭの記録処理を行う。或いは揺れ変更パラメータＰＲＭに代えて、もしくは揺れ変更パラメータＰＲＭとともに、調整後クオータニオンｅＱＤを記録するようにしてもよい。

このように関連付けて記録した各フレームの画像データＰＤ、撮像時揺れ情報、及び揺れ変更情報ＳＭＩは、外部機器に転送されて利用可能とされる。
図２には画像処理装置ＴＤｘから画像処理装置ＴＤｙに画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを伝送することを示したが、この図２３の例の場合、画像データＶＤ２は、画像データＰＤにより構成される画像データとなる。またメタデータＭＴＤ２は図２２に示す内容として撮像時揺れ情報を示すものとなる。揺れ変更情報ＳＭＩは画像データＰＤに対して行った揺れ演出の処理量を示す情報となる。

このような画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩを取得した画像処理装置ＴＤｙの処理は、第１の実施の形態で説明したものと同様に行われる。

＜６．第３の実施の形態＞
第３の実施の形態としての画像処理装置ＴＤｘ、ＴＤｙとなる情報処理装置７０の処理例を説明する。
図２４は、図１０と同様に画像処理装置ＴＤｘとしての情報処理装置７０において実行される各種処理の手順及び各処理で用いる情報の関係性を示している。
この図２４は図７の機能構成による一例となる。
図７の揺れ変更部１００の機能によっては、少なくともステップＳＴ１６の処理が行われる。ただし、ステップＳＴ１１，ＳＴ１２，ＳＴ１３，ＳＴ１４，ＳＴ１７，ＳＴ１８についても揺れ変更部１００の処理と考えることもできる。
また揺れ情報調整部１０１の機能によっては、ステップＳＴ１５の処理が行われる。
また関連付け部１０２の機能によっては、ステップＳＴ２０の処理が行われる。

第１の実施の形態と異なる点は、ステップＳＴ２０の関連付け記録／再生の処理で記録する画像データが、ステップＳＴ１６で揺れ除去が行われた画像データｒＰＤとなることである。
そしてこのために、ステップＳＴ１６の揺れ変更処理では、図７に示した揺れ演出部１００ａの機能による揺れ演出と、揺れ除去部１００ｂの機能による揺れ除去が行われるようにする。

まず、揺れ演出を行う場合の処理は図１０と同様になる。即ちステップＳＴ１５で揺れ情報調整が行われ、ステップＳＴ１６で調整後クオータニオンｅＱＤを用いて揺れ変更処理が行われる。そしてその画像がステップＳＴ１８で平面投影及び切り出しされ、出力画像データｏＰＤとされる。従って揺れ演出を施した画像が表示されたり保存されることが可能となる。

一方、ステップＳＴ２０の関連付け記録／再生の処理のために、ステップＳＴ１６で揺れ除去が行われる。即ちクオータニオンＱＤに基づいて天球モデルＭＴが回転され、撮像時に生じた揺れを除去するように揺れ除去が行われる。この画像がステップＳＴ１８で平面投影及び切り出しされ、画像データｒＰＤとされ、この画像データｒＰＤの各フレームが関連付け記録／再生の処理で記憶される。

また揺れ除去がなされた画像データｒＰＤに対応して、各フレームについてのクオータニオンＱＤ、タイミング情報ＴＭ、カメラパラメータＣＰの記録処理を行う。即ち図１９におけるメタデータＭＴＤ２が撮像時揺れ情報の内容となる。

さらにＣＰＵ７１は、画像データＰＤに関連付けられる揺れ変更情報ＳＭＩとして、揺れ変更パラメータＰＲＭの記録処理を行う。或いは揺れ変更パラメータＰＲＭに代えて、もしくは揺れ変更パラメータＰＲＭとともに、調整後クオータニオンｅＱＤを記録するようにしてもよい。
但しこれは、揺れ演出の処理のためのパラメータとなる。つまり、揺れ演出部１００ａの機能による処理に用いた揺れ変更情報ＳＭＩが、揺れ除去部１００ｂの機能で揺れ除去された画像データｒＰＤの各フレームに対して関連付けられて記録されることになる。

なお、ステップＳＴ１６の揺れ変更処理として、揺れ演出の処理と揺れ除去の処理は同時に行われてもよいし、異なる時点で行われてもよい。
同時に行われる場合、ステップＳＴ１６では、図７に示したように、揺れ演出部１００ａの機能と揺れ除去部１００ｂの機能が同時並列的に処理を実行する。
その場合、天球モデルＭＴを２つ用意し、一方では調整後クオータニオンｅＱＤに基づいて揺れ演出のための画像の回転や切り出しが行われる。他方の天球モデルＭＴに対しては、ステップＳＴ１５の揺れ情報調整処理をバイパスしたクオータニオンＱＤが供給され、揺れ演出のための画像の回転や切り出しが行われる。
これにより揺れ演出が加えられた出力画像データｏＰＤとともに揺れ除去された画像データｒＰＤが得られる。そこで画像データｒＰＤを、撮像時揺れ情報及び出力画像データｏＰＤに用いた揺れ変更情報ＳＭＩと関連づけてステップＳＴ２０で記録する。

またステップＳＴ１６の揺れ変更処理として、揺れ演出の処理と揺れ除去の処理が異なる時点で行われる場合、まず、揺れ演出のための処理を図１０で説明した第１の実施の形態と同様に行う。
それとは別の時点で、揺れ除去を行いながら、揺れ除去された画像データｒＰＤをステップＳＴ２０の処理で記録していく。この場合の揺れ除去部１００ｂの処理に関しても、ステップＳＴ１５の揺れ情報調整処理をバイパスしたクオータニオンＱＤが供給されるようにすればよい。或いはステップＳＴ１５の揺れ情報調整処理で全てのパラメータ（例えばゲイン演算部４４，４５，４６やゲイン演算部５４，５５，５６）のゲイン値を“１”とした状態で調整後クオータニオンｅＱＤ（つまり実質的には元のクオータニオンＱＤ）が得られるようにしてもよい。

このようにして得られた揺れ除去された画像データｒＰＤを、撮像時揺れ情報、及び別の時点で揺れ演出の処理のために用いた揺れ変更情報ＳＭＩと関連づけて記録する。
揺れ変更情報については、揺れ演出の処理を行った際に、各フレームについて予め記録しておくことも考えられるし、最新の揺れ変更パラメータＰＲＭを別途記憶しておいて、画像データｒＰＤの記録の際に関連づけて記録してもよい。

なお、揺れ除去された画像データｒＰＤとともに、揺れ変更処理を行う前の画像データ（撮像時の揺れ除去をキャンセルした画像データ）ｉＰＤ又はＰＤを関連づけて保存してもよい。
さらに揺れ除去された画像データｒＰＤとともに、揺れ変更処理を行った後の出力画像データｏＰＤを関連づけて保存してもよい。

このような揺れ除去された画像データｒＰＤとしての画像データＶＤ２と、メタデータＭＴＤ２及び揺れ変更情報ＳＭＩを取得した画像処理装置ＴＤｙの処理例を図２５に示す。

先に図２０で述べた画像処理装置ＴＤｙの処理と基本的には同様であるが、ステップＳＴ１３の天球モデルＭＴへの貼付の処理に供される、再生される画像データｐＰＤは、撮像時の揺れが除去された画像データとなる。
この場合、画像処理装置ＴＤｙでは第１の実施の形態で説明したものと同様の処理が可能となる。

またこの図２５では、破線により、この画像処理装置ＴＤｙで行われた揺れ変更情報ＳＭＩ’（揺れ変更パラメータＰＲＭ、或いは調整後クオータニオンｅＱＤ）をステップＳＴ２０の関連付け記録／再生の処理で関連づけて記録する例を示した。
例えば、揺れ除去された画像データｒＰＤ、撮像時揺れ情報、画像処理装置ＴＤｘでの揺れ演出に係る揺れ変更情報ＳＭＩが既に関連づけられているが、それに加えて画像処理装置ＴＤｙでの揺れ演出に係る揺れ変更情報ＳＭＩ’も関連づけて記録する。

このように、それぞれの画像処理装置ＴＤｘ、ＴＤｙ・・・で行われる揺れ演出に係る揺れ変更情報ＳＭＩ’が関連づけられて追加されることで、さらに後に処理を行う画像処理装置では、過去に複数回行われた揺れ演出をそれぞれ再現することができるようになる。

ところで図２５では揺れ変更処理を行うことができる画像処理装置ＴＤｙの処理としたが、画像処理装置ＴＤｘから画像データが供給される装置は、揺れ変更の処理を行う機能を有さないものもある。
このような場合を考慮すると、揺れ除去された画像データｒＰＤが記録され、他の機器に供給されるようにすることによれば、揺れ除去等の揺れ変更の機能を有さない装置でも、揺れが除去された動画を再生することができるという点で有用である。

＜７．第４の実施の形態＞
第４の実施の形態の処理例を図２６で説明する。
図２６は第２の実施の形態と同じく、画像ソースＶＳ（例えば撮像装置１）で揺れ除去が行われていない画像データＶＤ１が画像処理装置ＴＤｘに供給される例とする。
このため図２のように画像ソースＶＳから画像処理装置ＴＤｘに供給されるメタデータＭＴＤ１としては図２７に示すようになる。つまり撮像時に揺れ除去（例えば手ぶれ補正）が行われていないため、座標変換パラメータＨＰ（図８参照）は含まれていない。

また従って図２６の処理例としては、撮像装置内部補正キャンセルの処理（図１０のステップＳＴ１２）は行われない。
そして、ステップＳＴ１２０の関連付け記録／再生の処理で記録される画像データは、ステップＳＴ１１で抽出される画像データＰＤとなる。

また図２６では、第３の実施の形態で説明したように、揺れ除去がなされた画像データｒＰＤが関連付け記録／再生の処理で記録されるものとしている。

この第４の実施の形態では、ステップＳＴ２１として、ステップＳＴ４で求めたクオータニオンＱＤをＸＹシフト・回転の情報に変換して保持する処理を行う点が、これまでの例と異なる。
即ち、姿勢情報であるクオータニオンＱＤを、揺れのＸＹシフト・回転の情報に変換する。Ｘ方向とＹ方向は、撮像装置１の光軸方向をＺ方向としたときに、このＺ方向と直交する面を構成する平面の横及び縦である。即ち画像の水平方向と垂直方向である。回転の情報とは、ヨー軸に対する回転、ピッチ軸に対する回転、ロール軸に対する回転の情報である。従ってＸＹシフト・回転の情報とは、Ｘ方向シフト、Ｙ方向シフト、ヨー軸回転、ピッチ軸回転、ロール軸回転の情報を含む。
なお、簡易的には、これらに全てではなく、いずれか１つ以上が含まれるようにしてもよい。またＺ軸シフトの情報を加えてもよい。

このＸＹシフト・回転の情報を求め、これをステップＳＴ２０で画像データｒＶＤの各フレームに関連づけて記録するようにする。即ちＸＹシフト・回転としての変化の情報をクオータニオンＱＤに代わる撮像時揺れ情報として記録する。
従って、画像処理装置ＴＤｘが画像処理装置ＴＤｙに伝送するメタデータＭＴＤ２は図２７のようにシフト・回転情報ＳＦＲＯを含むものとなる。

揺れ変更する際、天球モデルＭＴを用いるアプリケーションプログラムは、システムリソースを比較的多く必要とする。そこでシステムリソースが潤沢でない画像処理装置ＴＤｙにおいて揺れ変更処理を行う場合を想定すると、クオータニオンＱＤの提供ではシステム負担が大きいことがある。そこで、クオータニオンＱＤに代えてＸＹシフト・回転情報を画像処理装置ＴＤｙに提供するようにする。これにより画像処理装置ＴＤｙにおいて少ない処理負担で揺れ変更が行われるようにすることができる。例えば画像処理装置ＴＤｙとして携帯端末２等を想定した場合に好適となる。

なお、図２６の処理ではカメラパラメータＣＰはステップＳＴ２０の関連付け記録／再生の処理に提供されない。従って図２７のようにメタデータＭＴＤ２にはカメラパラメータＣＰは含まれていない。
カメラパラメータＣＰは天球モデルＭＴへの貼付に用いる情報であるため、天球モデルＭＴを用いない処理を画像処理装置ＴＤｙに実行させる場合には不要となるためである。

＜８．第５の実施の形態＞
第５の実施の形態の処理例を図２８、図２９、図３０で説明する。
図２８に画像処理装置ＴＤｘの処理例を示す。これは揺れ情報調整部１０１の機能による揺れ情報調整の処理が、前処理の時点におけるステップＳＴ３０として行われる例である。

ステップＳＴ３０でＣＰＵ７１は、ＩＭＵデータを、ユーザ操作又は自動制御による揺れ調整パラメータＰＲＭに基づいて調整し、調整後ＩＭＵデータｅＩＭＵを求める。
角速度センサのデータ、ヨー、ピッチ、ロールをそれぞれそのまま揺れ変更の方向に割り当てることができる。

ステップＳＴ４でＣＰＵ７１は、調整後ＩＭＵデータｅＩＭＵからクオータニオンＱＤを求め、保持する。
つまり、クオータニオンＱＤが求められる前のＩＭＵデータについて揺れ演出のための調整を施すことで、その調整後ＩＭＵデータｅＩＭＵから求められるクオータニオンＱＤは、既に揺れ演出のための姿勢情報となっているようにするものである。

定常処理の際には、このクオータニオンＱＤが用いられてステップＳＴ１４の同期処理、ステップＳＴ１６の揺れ変更処理が行われる。
これにより出力画像データｏＰＤは、揺れ変更パラメータＰＲＭによる揺れ演出が反映された画像となる。

ステップＳＴ２０の関連付け記録処理としては、フレーム単位の画像データｉＰＤに対して、撮像時揺れ情報と、揺れ変更情報ＳＭＩが関連付けられて記憶される。

即ちＣＰＵ７１は、画像データｉＰＤに関連付けられる撮像時揺れ情報として、そのフレームについてのＩＭＵデータ、タイミング情報ＴＭ、カメラパラメータＣＰの記録処理を行う。図２９におけるメタデータＭＴＤ２が、この撮像時揺れ情報の内容となる。

さらにＣＰＵ７１は、画像データＰＤに関連付けられる揺れ変更情報ＳＭＩとして、揺れ変更パラメータＰＲＭの記録処理を行う。或いは揺れ変更パラメータＰＲＭに代えて、もしくは揺れ変更パラメータＰＲＭとともに、調整後ＩＭＵデータｅＩＭＵを記録するようにしてもよい。

このように関連付けて記録した各フレームの画像データＰＤ、撮像時揺れ情報、及び揺れ変更情報ＳＭＩは、外部機器に転送されて利用可能とされる。
これらを取得した画像処理装置ＴＤｙの処理例を図３０に示す。
なお図３０におけるステップＳＴ２０の関連付け記録／再生処理とは、例えば画像処理装置ＴＤｘから伝送されてきた情報（画像データＶＤ２、メタデータＭＴＤ２、揺れ変更情報ＳＭＩ）が、画像処理装置ＴＤｙとして機能する図５の情報処理装置７０の記憶部７９やリムーバブル記録媒体８１に記録された状態とされ、それらから逐次読み出される処理であるとする。

図３０における前処理として、例えばステップＳＴ３０の揺れ情報調整と、ステップＳＴ４のクオータニオンＱＤへの変換／保持が行われる。
この場合、画像処理装置ＴＤｙのＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ３０の揺れ情報調整のために、画像の各フレームの揺れ変更情報ＳＭＩ、即ちＩＭＵデータを読み出す。
またＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ３０の揺れ情報調整に用いることができる揺れ変更情報ＳＭＩを読み出す。

再生されたＩＭＵデータは、この画像処理装置ＴＤｙにおいてステップＳＴ３０で入力される揺れ変更パラメータＰＲＭに基づいて調整され、調整後ＩＭＵデータｅＩＭＵとされる。或いは再生されたＩＭＵデータは揺れ変更情報ＳＭＩに基づいて調整され、調整後ＩＭＵデータｅＩＭＵとされるようにすることもできる。

そしてＣＰＵ７１はステップＳＴ４で、調整後ＩＭＵデータｅＩＭＵをクオータニオンＱＤに変換して保持する。

このようにしておくことで定常処理において、既に揺れ演出のためのクオータニオンＱＤが用意された状態となる。
なお、以上のステップＳＴ３０，ＳＴ４の処理は、定常処理の際に並列的に行われるようにしてもよい。

画像処理装置ＴＤｙでは定常処理として次のような処理が行われる。
画像処理装置ＴＤｙとして機能する情報処理装置７０のＣＰＵ７１は、ステップＳＴ２０の処理として、フレーム毎に画像データｐＰＤを読み出す。
画像処理装置ＴＤｘが図２８の処理を行った場合、再生される画像データｐＰＤは、画像データｉＰＤとなる。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１３での天球モデルＭＴへの貼り付けのために現在の再生フレームの画像データｐＰＤに対応するカメラパラメータＣＰを読み出す。
またＣＰＵ７１はステップＳＴ２０の処理として、ステップＳＴ１４の同期処理のために現在の再生フレームの画像データｐＰＤに対応するタイミング情報ＴＭを読み出す。

ＣＰＵ７１は、ステップＳＴ１３の処理として、再生したカメラパラメータＣＰを参照して再生した画像データｐＰＤを天球モデルへ貼り付ける。
ＣＰＵ７１はステップＳＴ１４の処理として、再生した画像データｐＰＤに対応するクオータニオンＱＤ及びタイミング情報ＴＭにより同期処理を行う。
ＣＰＵ７１はステップＳＴ１６の処理として、クオータニオンＱＤを用いて、天球モデルＭＴに貼り付けた画像データｐＰＤを回転させ、揺れ変更処理を行う。
ＣＰＵ７１はステップＳＴ１８として、揺れ変更された画像を切り出し領域情報ＣＲＡに応じて切り出し、平面投影して、出力画像データｏＰＤを生成し、出力する。
このような各処理を行う画像処理装置ＴＤｙでも、第１の実施の形態と処理方式が異なるが、次のような第１の実施の形態と概略同様の動作が可能となる。

・過去に画像処理装置ＴＤｘで施された揺れ演出の再現
ステップＳＴ３０では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）を反映して調整後ＩＭＵデータｅＩＭＵを生成できる。従ってステップＳＴ４で得られるクオータニオンＱＤは、過去に画像処理装置ＴＤｘで行われた揺れ変更と同じ揺れ変更処理を行うための情報となり、画像処理装置ＴＤｙのＣＰＵ７１は、画像処理装置ＴＤｘと同じ揺れ演出を施した出力画像データｏＰＤを得て、表示させたり記録させたりすることができる。

・新規な揺れ演出の付加
処理対象として再生される画像データｐＰＤ（画像データｉＰＤ）は、画像処理装置ＴＤｘでの揺れ変更が施されていない画像データである。従って、画像処理装置ＴＤｙにおいてユーザ操作や自動制御により揺れ変更パラメータＰＲＭが入力され、それに応じた調整後ＩＭＵデータｅＩＭＵが生成され、さらにクオータニオンＱＤが生成されることで、ステップＳＴ１６では、過去の揺れ変更に影響を受けない画像処理装置ＴＤｙのみの揺れ変更処理を行うことができ、そのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。

・過去に画像処理装置ＴＤｘで施された揺れ演出の調整や修正
ステップＳＴ３０では、画像処理装置ＴＤｘでの揺れ変更情報ＳＭＩ（例えば揺れ変更パラメータＰＲＭ）と、新たにユーザ操作や自動制御により入力する揺れ変更パラメータＰＲＭの両方を反映させて調整後ＩＭＵデータｅＩＭＵを生成し、さらにクオータニオンＱＤを生成することができる。
従って画像処理装置ＴＤｙのＣＰＵ７１は、例えば画像処理装置ＴＤｘで行われた揺れ変更による画像の揺れ具合を、画像処理装置ＴＤｙのユーザが揺れ変更パラメータＰＲＭを調整したり一部変更したりすることに応じて変化させることができる。そのような出力画像データｏＰＤによる画像を表示させたり記録させたりすることができる。

なお、画像処理装置ＴＤｙにおいて揺れ変更を行った場合、その情報も、関連付けられるようにすることが考えられる。その場合、各フレームの画像データＶＤ２（ｉＰＤ）、撮像時揺れ情報（メタデータＭＴＤ２）に関連付けられている、揺れ変更情報ＳＭＩを、今回用いられた揺れ変更情報ＳＭＩに更新する、或いは追加することが考えられる。
この場合、今回用いられた揺れ変更情報ＳＭＩとは、ステップＳＴ３０で用いられる揺れ変更パラメータＰＲＭ、もしくは調整後ＩＭＵデータｅＩＭＵである。

＜９．まとめ及び変形例＞
以上の実施の形態では次のような効果が得られる。
実施の形態の画像処理装置ＴＤｘは、動画を構成する画像データ（入力画像データ）の撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整部１０１（ステップＳＴ１５、ＳＴ３０）を備えている。また画像処理装置ＴＤｘは、調整後揺れ情報を用いて画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部１００（ステップＳＴ１６）を備えている。また画像処理装置ＴＤｘは画像データと撮像時揺れ情報と揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとを関連付ける処理を行う関連付け部１０２（ステップＳＴ２０）を備えている。
画像データＶＤ２（ＰＤ、ｉＰＤ、ｒＰＤ等）と、撮像時揺れ情報（各実施の形態におけるクオータニオンＱＤ、ＩＭＵデータ、シフト・回転データＳＦＲＯなど））と、揺れ変更情報ＳＭＩ（各実施の形態における調整後クオータニオンｅＱＤ、調整後ＩＭＵデータｅＩＭＵなど）が関連付けられることで、例えば画像処理装置ＴＤｙにおいて、画像処理装置ＴＤｘにおける揺れ変更処理により、どのような揺れ変更が行われたかを把握することができる。
すると画像処理装置ＴＤｙにおいて、例えば揺れ演出としての揺れ変更処理をやり直したり、既に施されている揺れ演出の揺れ具合を調整したり、揺れ演出をキャンセルしたりするなどの処理が可能となる。
また画像処理装置ＴＤｙにおいて、画像処理装置ＴＤｘで施された揺れ演出をキャンセルしたうえで揺れ除去を施すといったことも可能である。
即ち、揺れの状態を各画像処理装置で任意且つ多様に変更できるようになる。

なお互いに関連付けられる、画像データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩは、例えば同じファイル内に記録されることが考えられる。例えば動画を構成する画像データ（及び音声データ）とメタデータ、及び揺れ変更情報ＳＭＩを含むファイルを構成する。例えば撮像時揺れ情報と、揺れ変更情報ＳＭＩは画像データに付随するメタデータとして含まれるようにすることができる。
但し必ずしも同じファイル等で記録される必要はない。撮像時揺れ情報と揺れ変更情報ＳＭＩの一方又は両方は、画像データとは別のデータファイルとされても、画像データの各フレームと後に関連付けができる形態であればよい。即ちどのような記録形態であろうと、あくまでも伝送された先の画像処理装置ＴＤｙにおいて、これらを関連づけた状態で取得できるものであればよい。

また撮像時揺れ情報の例としてクオータニオンＱＤ、ＩＭＵデータ、シフト・回転データＳＦＲＯを挙げたが、撮像時揺れ情報とは、撮像時の撮像装置１の動きを表す情報であればよく、他にも考えられる。

実施の形態では、揺れ変更部１００は、調整後揺れ情報に基づいて画像に揺れ演出を付加する揺れ変更処理を行う例を挙げた。
例えば画像処理装置ＴＤｘにおいてユーザが揺れ演出として揺れ量を指示するような操作を行い、それに応じて揺れ演出調整値ＰＲＭが入力され、クオータニオンＱＤが調整されることで、調整後クオータニオンｅＱＤを用いて揺れ演出としての揺れ変更処理が行われる。本実施の形態の場合、このような揺れ演出が、別の画像処理装置ＴＤｙにおいても引き継いだり、更に変更することができるようになる。

第１、第２、第５の実施の形態では、関連付け部１０２は、入力画像データに撮像時揺れ情報及び揺れ変更情報を関連付けるものとした。即ち関連付け部１０２が撮像時揺れ情報及び揺れ変更情報ＳＭＩと関連付ける画像は、揺れ変更処理が施される前の画像であるとした。
揺れ変更処理が施されていない画像データとは、例えば撮像装置１での手ぶれ補正等としての揺れ除去がキャンセルされた状態の画像データである。これは実施の形態でいえば図２３のように撮像装置１で手ぶれ補正などとしての揺れ除去が施されない状態で入力された画像データＰＤや、図１０、図２８のように、撮像装置１で手ぶれ補正などとしての揺れ除去が施されたがステップＳＴ１２の撮像装置内部補正キャンセル処理により揺れ除去がキャンセルされた画像データｉＰＤであって、ステップＳＴ１６の揺れ変更処理が行われていない画像データが該当する。
このような画像データを保存することで、例えば画像処理装置ＴＤｙにおいては、その画像データに対して、撮像時揺れ情報ＳＩや揺れ変更情報ＳＭＩ（例えば調整後クオータニオンｅＱＤ）を用いて、画像処理装置ＴＤｘで施された揺れ演出を再現することができたり、揺れ演出の揺れ具合を調整したりすることができる。

第３、第４の実施の形態では、揺れ変更部１００は、撮像時揺れ情報に基づいて画像の揺れを除去する揺れ変更処理を行う例を挙げた。
例えば画像処理装置ＴＤｘにおいてステップＳＴ１６において、調整後クオータニオンｅＱＤではなく、調整前のクオータニオンＱＤに基づいて揺れ変更処理を行うことは、揺れ除去を行うことに相当する（図２４、図２６参照）。
これにより、揺れのない（又は揺れを低減した）画像を求める場合に好適となる。
また撮像装置１の処理能力によっては取り切れない揺れを、処理能力の高い画像処理装置ＴＤｘを用いて除去するということも可能となる。つまり精度の高い揺れ除去が可能となる。

第３、第４の実施の形態では、関連付け部１０２が撮像時揺れ情報及び揺れ変更情報と関連付ける画像は、揺れ除去処理が施された画像であるとした。
揺れ除去がなされた画像データとは、例えば撮像装置１での撮像時の動きにより画像に生じた揺れが除去された画像データである。これは実施の形態でいえば図２４や図２６のようにステップＳＴ１６の揺れ変更処理で揺れ除去が行われた画像データｒＰＤが該当する。
このような画像データを記録し保存することで、例えば画像処理装置ＴＤｙや他の画像再生装置において揺れ除去機能が備えられていない場合でも、手ぶれ等が低減、抑圧された画像を再生することができる。
もちろんこのような画像データについては、撮像時揺れ情報や揺れ変更情報ＳＭＩが関連付けられていることで、例えば画像処理装置ＴＤｙで、画像データの揺れ除去をキャンセルしたり、画像処理装置ＴＤｘで施された揺れ演出を再現することができたり、揺れ演出の揺れ具合を調整したりすることができる。

第１、第３、第５の実施の形態では、揺れ変更部１００は、画像データについて、該画像データに対応づけられたメタデータを用いて撮像時に行われた揺れ除去処理をキャンセルする処理を行った後に、揺れ変更処理を行うものとした。
例えば実施の形態の図１０、図２４、図２８におけるステップＳＴ１２の処理で、撮像装置内部補正キャンセルを行った画像データｉＰＤに対して、揺れ変更処理を行う。これにより撮像装置１での揺れ除去の影響を受けない揺れ演出や揺れ除去が可能になり、多様な揺れ演出やより高精度な揺れ除去が可能となる。

なお、ステップＳＴ１２では、メタデータにおける座標変換パラメータＨＰを用いて補正キャンセルを行う。座標変換パラメータＨＰは、例えばレンズ歪、台形歪、フォーカルプレーン歪、電子手ぶれ補正、光学手ぶれ補正の各パラメータなど、撮像画像の画枠（画角を含めた画像の範囲）を変化させる場合の情報である。
これにより、撮像時の画枠に関する補正をキャンセルすることができ、撮像装置１で画枠（画像の範囲）を補正した場合に、それを元に戻すことができる。

第１、第２、第５の実施の形態では、関連付け部１０２が撮像時揺れ情報及び揺れ変更情報と関連付ける画像データは、撮像時の揺れ除去処理が施されていない状態の入力画像データであるとした。
撮像時の揺れ除去が施されていない状態の入力画像データとは、例えば撮像装置１での手ぶれ補正等としての揺れ除去がキャンセルされた状態の画像データや、撮像装置１で手ぶれ補正等の揺れ除去が行われなかった画像データである。
これは実施の形態でいえば図２２のように撮像装置１で手ぶれ補正などとしての揺れ除去が施されない状態で入力された画像データＰＤや、図１０、図２８などのように撮像装置１で手ぶれ補正などとしての揺れ除去が施されたがステップＳＴ１２の撮像装置内部補正キャンセル処理により揺れ除去がキャンセルされた画像データｉＰＤが該当する。
このような画像データを保存することで、例えば画像処理装置ＴＤｙにおいては、撮像装置１で行われた揺れ除去をキャンセルする必要がなくなる。
そして画像処理装置ＴＤｙでは、その画像データに対して撮像時揺れ情報（例えばクオータニオンＱＤ）を用いてより高精度の揺れ除去を行うことができる。
また画像処理装置ＴＤｙでは、その画像データに対して、撮像時揺れ情報や揺れ変更情報ＳＭＩ（例えば調整後クオータニオンｅＱＤ）を用いて、画像処理装置ＴＤｘで施された揺れ演出を再現することができたり、揺れ演出の揺れ具合を調整したりすることができる。

第１、第２、第３の実施の形態では、関連付け部１０２が画像データ及び揺れ変更情報と関連付ける撮像時揺れ情報は、撮像時の撮像装置１の姿勢情報であるとした。
即ちＩＭＵデータから求めた姿勢情報としてのクオータニオンＱＤを撮像時揺れ情報としている。これにより撮像時の揺れを適切に表現する情報を画像処理装置ＴＤｙに送ることができる。

第４の実施の形態では、関連付け部１０２が画像データ及び揺れ変更情報と関連付ける撮像時揺れ情報は、撮像時の撮像装置１の動きを示すシフト・回転情報ＳＦＲＯとした。
クオータニオンＱＤと天球モデルＭＴを用いて揺れ変更を行うアプリケーションプログラムはシステムリソースの消費が比較的大きい。そのため画像処理装置ＴＤｙとしてシステムリソースの少ない機器を想定した場合、クオータニオンＱＤをシフト・回転情報ＳＦＲＯに変換して提供し、揺れ変更を簡易に実行できるようにすることが好適となる。

なお、シフト・回転データＳＦＲＯをクオータニオンＱＤとともに記憶して他の機器に提供できるようにしても良いことはいうまでもない。
また、撮像時揺れ情報としては、ＩＭＵデータも存在する。従って、ＩＭＵデータ、シフト・回転データＳＦＲＯ、クオータニオンＱＤについては、そのいずれかを撮像時揺れ情報として記憶してもよいし、いずれか２つを撮像時揺れ情報として記憶しても良いし、全てを含めて撮像時揺れ情報として記憶しても良い。もちろん、上記以外の情報を撮像時揺れ情報としてもよい。

実施の形態では、揺れ情報調整部１０１は、撮像時揺れ情報と揺れ変更処理量を指定する揺れ変更パラメータＰＲＭに基づいて、揺れ変更パラメータＰＲＭで指定される揺れ量の揺れを付加するための調整後揺れ情報を生成する例を挙げた。
例えば画像処理装置ＴＤｘで揺れ演出が行われる場合、揺れ変更パラメータＰＲＭでクオータニオンＱＤが調整され、調整後クオータニオンｅＱＤにより揺れ演出が行われる。このような揺れ変更パラメータＰＲＭを導入することで、任意の揺れ量とする揺れ変更が実現できる。

実施の形態では、関連付け部１０２が画像データ及び撮像時揺れ情報と関連付ける揺れ変更情報ＳＭＩは、揺れ変更パラメータＰＲＭとする例を挙げた。
例えば画像処理装置ＴＤｘで揺れ演出が行われた場合、そのときの揺れ変更パラメータＰＲＭを取得した画像処理装置ＴＤｙが、画像処理装置ＴＤｘで行われた揺れ演出の処理量を特定できる。
従って画像処理装置ＴＤｙにおいて、画像処理装置ＴＤｘで行われた揺れ演出を調整したり、キャンセルしたりして、画像の揺れを任意に再調整できるようになる。

実施の形態では、揺れ変更パラメータＰＲＭは、例えばユーザ操作により指定されたパラメータであるとした。
例えばユーザが任意に揺れ変更パラメータＰＲＭを指定して、画像処理装置ＴＤｘで揺れ演出が行われた場合、そのときの揺れ変更パラメータＰＲＭを取得した画像処理装置ＴＤｙは、画像処理装置ＴＤｘで行われた揺れ演出としてのユーザ指示の状態を確認できることになる。
従って、画像処理装置ＴＤｘ側のユーザの設定を確認した上で、画像処理装置ＴＤｙ側のユーザが任意に揺れの調整を行うこともできる。

実施の形態では、関連付け部１０２が画像データ及び撮像時揺れ情報と関連付ける揺れ変更情報ＳＭＩは、調整後揺れ情報である例を挙げた。
例えば画像処理装置ＴＤｘで揺れ演出が行われる場合、揺れ変更パラメータＰＲＭでクオータニオンＱＤが調整され、調整後クオータニオンｅＱＤにより揺れ演出が行われる。
この調整後クオータニオンｅＱＤを揺れ変更情報ＳＭＩとして、撮像時揺れ情報ＳＩであるクオータニオンＱＤと関連付けて記憶させても良い。
これらを取得した画像処理装置ＴＤｙでは、クオータニオンＱＤと調整後クオータニオンｅＱＤにより、画像処理装置ＴＤｘで行われた揺れ演出の処理量を特定できる。
従って画像処理装置ＴＤｙにおいて、画像処理装置ＴＤｘで行われた揺れ演出を調整したり、キャンセルしたりして、画像の揺れを任意に再調整できるようになる。

なお揺れ変更情報ＳＭＩの例としては、揺れ変更パラメータＰＲＭ、調整後クオータニオンｅＱＤを挙げたが、この両方を記憶させてもよい。
また第５の実施の形態では調整後ＩＭＵデータｅＩＭＵを挙げたが、調整後ＩＭＵデータｅＩＭＵと揺れ変更パラメータＰＲＭの両方を揺れ変更情報ＳＭＩとして記憶させてもよい。

実施の形態では、揺れ情報調整部１０１は、撮像時揺れ情報に基づく揺れ付加のための揺れ情報（例えば揺らすためのクオータニオンＱＤｓ）に対し、揺れの周波数帯域別に揺れ変更パラメータＰＲＭに基づくゲイン処理を行って、調整後揺れ情報を生成する例を挙げた。
図１３、図１５の処理のように帯域分割してゲイン処理を行い、ミックスすることで揺れの周波数帯域毎に揺れ量を調整した調整後クオータニオンｅＱＤを生成することができる。このようにすることで揺れの周波数帯域毎に任意の調整を行って多様な揺れ演出を施すことが可能になる。
例えば大きな揺れは抑えるが細かい揺れは増加させるといったような揺れ演出も容易に可能となる。

実施の形態では、揺れ情報調整部１０１は、撮像時揺れ情報に基づく揺れ付加のための揺れ情報（例えば揺らすためのクオータニオンＱＤｓ）に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、調整後揺れ情報を生成する例を挙げた。
図１４、図１５の処理のように揺れの方向（ヨー、ピッチ、ロール）毎にゲイン処理を行い、ミックスすることで揺れの方向毎に揺れ量を調整した調整後クオータニオンｅＱＤを生成することができる。このようにすることで揺れの方向毎に任意の調整を行って多様な揺れ演出を施すことが可能になる。
例えば縦方向の揺れは加えるが横方向の揺れは加えないといったような揺れ演出も容易に可能となる。

実施の形態では、揺れ情報調整部１０１が調整する撮像時揺れ情報は、処理対象の画像データの撮像の際に生成されたメタデータに基づいて得られる各フレームに対応する姿勢情報であり、調整後の姿勢情報を揺れ変更処理に供するものとした。
即ちＩＭＵデータから求めた姿勢情報としてのクオータニオンＱＤを撮像時揺れ情報とし、これを調整した調整後揺れ情報（調整後クオータニオンｅＱＤ）を用いて揺れ変更処理が行われる。これにより天球モデルＭＴを用いた揺れ変更が適切に行うことができる。

実施の形態では、揺れ変更部１００は、処理対象の入力画像データの各フレームを天球モデルＭＴへ貼付し、各フレームに対応する調整後揺れ情報である調整後の姿勢情報を用いて回転させることで揺れ変更を行う例を挙げた。
即ち調整後クオータニオンｅＱＤを用いて天球モデルＭＴ上で各フレームの画像を回転させることで揺れ変更処理が行われる。
天球モデルＭＴ上でフレーム毎に揺れを増減させるような回転を行って揺れ変更補正を行うことで、台形歪みが生じない揺れ変更が可能となる。従って揺れ演出が施された画像として、歪みの少ない高品位な画像が得られることになる。

なお、実施の形態では、天球モデルＭＴで揺れ変更を行って平面投影した後に、切り出し領域の画像を切り出す例を述べたがこれに限らない。即ち天球モデルＭＴで揺れ補正を行った状態で切り出し領域情報ＣＲＡで指定される領域の画像を切り出して、それを平面投影することによって、出力画像データｏＰＤを生成することもできる。
また揺れ演出や揺れ除去のための揺れ変更処理は、天球モデルＭＴを用いずに行う例も想定される。例えば切り出し領域をフレーム毎に変更することで行う例が考えられる。

また実施の形態では、画像処理装置ＴＤｘは、動画を構成する画像データＶＤ１と対応するメタデータＭＴＤ１を含む画像ファイルＭＦについて、画像データの各フレームに対応するメタデータを抽出して記憶するものとした。即ち動画としての画像ファイルＭＦを画像処理の対象とするときにフレーム毎のメタデータを記憶する（ステップＳＴ３）。
これにより、揺れ変更処理においてフレーム毎のメタデータを使用できる。

ところで実施の形態では、画像データの各フレームについて、ライン毎の露光重心のタイミングを基準として取得した姿勢情報（クオータニオンＱＤ（ＬＮ））を用いている。
露光期間内における被写体と撮像装置の相対的な揺れにより、いわゆるブラーが生じ、これはシャッタースピードによって露光時間が長くなるほど目立つ。この場合に、各ラインの露光開始タイミングの姿勢情報を用いると、各ラインの露光期間内の相対的揺れが、姿勢情報からみて一方向の揺れとなり、画像上で目立ちやすくなる。
一方で図１２のように各ラインの露光期間内の重心位置のＩＭＵデータに基づいて姿勢情報を取得することとすると、露光期間内の相対的揺れが、姿勢情報の状態からみて双方向の揺れとなり、視覚上、時間方向に相殺されるように感じられ、これによって画像においてブラーが目立たなくなるようにすることができる。

実施の形態では、画像処理装置ＴＤｙとして、
それぞれ動画を構成する画像データに関連付けられた撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとを用いて、調整後揺れ情報を生成する揺れ情報調整部１０１と、調整後揺れ情報を用いて画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部１００を備えている。
即ち画像処理装置ＴＤｙは、画像データと、撮像時揺れ情報と、揺れ変更情報ＳＭＩとが互いに関連付けられている情報が提供された場合に、二次的な揺れ変更処理が実行できる。画像処理装置ＴＤｙでは、画像処理装置ＴＤｘで施された揺れ変更をキャンセルしたり、揺れ量を調整したりすることができる。つまり既に一次的な揺れ変更が施された画像をさらに自由に調整したり揺れ変更できる環境が用意される。

なお、画像処理装置ＴＤｘ、ＴＤｙにおいて、揺れ変更部１００としては、少なくとも図１０等のステップＳＴ１６の処理が行われるものであればよく、ステップＳＴ１１、ＳＴ１２、ＳＴ１３、ＳＴ１４の一部又は全部は揺れ変更部１００の機能の外部（例えば揺れ変更部１００を有する画像処理装置とは別の装置）でおこなわれてもよい。
また、ＲＡＷ画像データを画像処理対象とする場合も考えられる。

また上述の実施の形態の説明で言及した以外にも処理例は各種考えられる。
揺れ演出処理の内容（揺れ演出の揺れ量、揺れ具合など）を場合によって切り替えるようにしてもよい。或いは揺れ演出と揺れ除去とを、場合によって切り替えるようにしてもよい。

例えばメタデータＭＴＤ１に基づいて、自動で切り替えることが考えられる。
また関連づけられた画像データ、撮像時揺れ情報、揺れ変更情報ＳＭＩのデータを配布する先の機器に応じて、揺れ変更の切替を行うことも考えられる。
例えば映像制作会社向けには品質を重視した揺れ変更を行い、スマートフォンのアプリケーションに対して配布する場合は負荷を軽くするようなものとするなどである。
さらには、表示装置の形態によって揺れ変更処理を切り替えることも考えられる。例えばバーチャルリアリティ用のゴーグルを用いる場合は、揺れを弱めるような例である。
つまり、関連付けられた画像データ、撮像時揺れ情報、揺れ変更情報ＳＭＩのデータを配布する先の機器が何であるかや、表示装置の形態を自動的に検出し、その結果に応じて、揺れ演出処理の内容を自動的に切り替えるようにしても良い。

画像の画角情報、アスペクト比、画角設定値もステップＳＴ２０で画像データ等に関連づけて保存しておくようにし、これらも何度も調整可能としてもよい。

実施の形態のプログラムは、図１０，図２３，図２４，図２６，図２８のような処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムである。
即ち実施の形態のプログラムは、動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理（ＳＴ１５、ＳＴ３０）と、調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理（ＳＴ１６）と、入力画像データ及び揺れ変更済み画像データの少なくとも一方と、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとを関連付ける関連付け処理と（ＳＴ２０）とを情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置ＴＤｘを、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。

また実施の形態のプログラムは、図２０，図２１，図２５，図３０のような処理を、例えばＣＰＵ、ＤＳＰ等、或いはこれらを含むデバイスに実行させるプログラムとしてもよい。
即ち実施の形態のプログラムは、動画を構成する画像データと、撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報ＳＭＩとが互いに関連付けられているときに、関連付けられた撮像時揺れ情報と揺れ変更情報ＳＭＩを用いて、調整後揺れ情報を生成する揺れ情報調整処理（ＳＴ１５、ＳＴ３０）と、調整後揺れ情報を用いて画像データの揺れの状態を変更する揺れ変更処理（ＳＴ１６）を情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した画像処理装置ＴＤｙを、例えば携帯端末２，パーソナルコンピュータ３、或いは撮像装置１などの機器において実現できる。

このような画像処理装置ＴＤｘ、ＴＤｙを実現するプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置ＴＤｘ、ＴＤｙの広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置として機能させることができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）
動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整部と、
前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報と、を関連付ける関連付け部と、を備えた
画像処理装置。
（２）
前記揺れ変更部は、前記揺れ変更処理として、前記調整後揺れ情報に基づいて前記入力画像データに揺れ演出を付加する
上記（１）に記載の画像処理装置。
（３）
前記関連付け部は、前記入力画像データに、前記撮像時揺れ情報及び前記揺れ変更情報を関連付ける
上記（１）又は（２）に記載の画像処理装置。
（４）
前記揺れ変更部は、前記揺れ変更処理として、前記撮像時揺れ情報に基づいて前記入力画像データの揺れを除去する
上記（１）から（３）のいずれかに記載の画像処理装置。
（５）
前記関連付け部は、前記揺れ変更済み画像データに、前記撮像時揺れ情報及び前記揺れ変更情報を関連付ける
上記（１）から（４）のいずれかに記載の画像処理装置。
（６）
前記揺れ変更部は、前記入力画像データに対して、該入力画像データに対応付けられたメタデータを用いて撮像時に行われた揺れ除去処理をキャンセルする処理を行った後に、前記揺れ変更処理を行う
上記（１）から（５）のいずれかに記載の画像処理装置。
（７）
前記関連付け部が撮像時揺れ情報及び揺れ変更情報と関連付ける画像データは、撮像時の揺れ除去処理が施されていない状態の画像データである
上記（１）から（６）のいずれかに記載の画像処理装置。
（８）
前記画像データは、撮像時に揺れ除去処理が行われていない前記入力画像データである
上記（７）に記載の画像処理装置。
（９）
前記画像データは、前記入力画像データに対して、撮像時に行われた揺れ除去処理をキャンセルする処理を行った画像データである
上記（７）に記載の画像処理装置。
（１０）
前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報である
上記（１）から（９）のいずれかに記載の画像処理装置。
（１１）
前記姿勢情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の動きを示すシフト情報又は回転情報である
上記（１）から（１０）のいずれかに記載の画像処理装置。
（１２）
前記揺れ情報調整部は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成する
上記（１）から（１１）のいずれかに記載の画像処理装置。
（１３）
前記揺れ変更情報は、前記揺れ変更パラメータである
上記（１２）に記載の画像処理装置。
（１４）
前記揺れ変更パラメータは、ユーザ操作により指定されたパラメータである
上記（１２）又は（１３）のいずれかに記載の画像処理装置。
（１５）
前記揺れ変更情報は、前記調整後揺れ情報である
上記（１２）から（１４）のいずれかに記載の画像処理装置。
（１６）
前記揺れ情報調整部は、前記撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの周波数帯域別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する
上記（１２）から（１５）のいずれかに記載の画像処理装置。
（１７）
前記揺れ情報調整部は、撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する
上記（１２）から（１６）のいずれかに記載の画像処理装置。
（１８）
前記撮像時揺れ情報は、前記入力画像データの撮像の際に生成されたメタデータに基づいて得られる前記入力画像データの各フレームに対応する姿勢情報である
上記（１）から（１７）のいずれかに記載の画像処理装置。
（１９）
前記揺れ変更部は、前記入力画像データの前記各フレームを天球モデルへ貼付し、前記各フレームに対応する前記調整後揺れ情報である調整後の前記姿勢情報を用いて前記各フレームを回転させることで前記揺れ変更処理を行う
上記（１８）に記載の画像処理装置。
（２０）
それぞれ動画を構成する画像データに関連付けられた撮像時揺れ情報と、揺れ変更処理の処理量が特定できる揺れ変更情報とを用いて、調整後揺れ情報を生成する揺れ情報調整部と、
調整後揺れ情報を用いて画像データの揺れの状態を変更する揺れ変更処理を行う揺れ変更部と、を備えた
画像処理装置。
（２１）
前記画像データは、撮像時に揺れ除去処理が行われていない画像データ、又は、撮像時に行われた揺れ除去処理をキャンセルする処理が行われた画像データである
上記（２０）に記載の画像処理装置。
（２２）
前記画像データは、前記撮像時揺れ情報に基づいた前記揺れ変更情報により、揺れが除去された画像データである
上記（２０）又は（２１）に記載の画像処理装置。
（２３）
画像処理装置が、
動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
を行う画像処理方法。
（２４）
動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
を情報処理装置に実行させるプログラム。

１ 撮像装置、２ 携帯端末、３ パーソナルコンピュータ、４ サーバ、５ 記録媒体、１１ レンズ系、１２ 撮像素子部、１３ カメラ信号処理部、１４ 記録制御部、１５ 表示部、１６ 出力部、１７ 操作部、１８ カメラ制御部、１９ メモリ部、２２ ドライバ部、２３ センサ部、４１ 低域通過フィルタ、４２ 中域通過フィルタ、４３ 高域通過フィルタ、４４，４５，４６ ゲイン演算部、４７，５７，６１ 合成部、５１ ヨー成分抽出部、５２ ピッチ成分抽出部、５３ ロール成分抽出部、５４，５５，５６ ゲイン演算部、５８，５９，６０ 方向別処理部、６５ 撮像画素範囲、６６ 結像領域、７０ 情報処理装置、７１ ＣＰＵ、７２ ＲＯＭ、７３ ＲＡＭ、７４ バス、７５ 入出力インタフェース、７６ 入力部、７７ 表示部、７８ 音声出力部、７９ 記憶部、８０ 通信部、８１ リムーバブル記録媒体、８２ ドライブ、１００ 揺れ変更部、１００ａ 揺れ演出部、１００ｂ 揺れ除去部、１０１ 揺れ情報調整部、１０２ 関連付け部、ＶＳ 画像ソース、ＴＤｘ 画像処理装置、ＴＤｙ 画像処理装置、ＭＦ 画像ファイル、ＰＤ 画像データ、ｉＰＤ 画像データ、ｏＰＤ 出力画像データ、ｐＰＤ 画像データ、ｒＰＤ 画像データ、ＦＮ フレーム番号、ＨＰ 座標変換パラメータ、ＴＭ タイミング情報、ＣＰ カメラパラメータ、ＱＤ クオータニオン、ｅＱＤ 調整後クオータニオン、ＱＤｓ クオータニオン、ｅＩＭＵ 調整後ＩＭＵデータ、ＳＦＲＯ シフト・回転情報、ＰＲＭ 揺れ変更パラメータ、ＳＭＩ，ＳＭＩ’ 揺れ変更情報、ＭＴ 天球モデル、ｈＭＴ 揺れ補正済天球モデル、Ｗ 露光重心、ＭＴＤ，ＭＴＤ１，ＭＴＤ２ メタデータ、ＣＲＣ 切り出し領域指示情報、ＣＲＡ 切り出し領域情報

Claims (22)

1. 動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整部と、
   前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
   前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報と、を関連付ける関連付け部と、を備え、
   前記揺れ情報調整部は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成するものであって、
   前記撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの周波数帯域別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する
   画像処理装置。
2. 動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整部と、
   前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
   前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報と、を関連付ける関連付け部と、を備え、
   前記揺れ情報調整部は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成するものであって、
   撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する
   画像処理装置。
3. 動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整部と、
   前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理を行う揺れ変更部と、
   前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報と、を関連付ける関連付け部と、を備え、
   前記撮像時揺れ情報は、前記入力画像データの撮像の際に生成されたメタデータに基づいて得られる前記入力画像データの各フレームに対応する姿勢情報であり、
   前記揺れ変更部は、前記入力画像データの前記各フレームを天球モデルへ貼付し、前記各フレームに対応する前記調整後揺れ情報である調整後の前記姿勢情報を用いて前記各フレームを回転させることで前記揺れ変更処理を行う
   画像処理装置。
4. 前記揺れ変更部は、前記揺れ変更処理として、前記調整後揺れ情報に基づいて前記入力画像データに揺れ演出を付加する
   請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記関連付け部は、前記入力画像データに、前記撮像時揺れ情報及び前記揺れ変更情報を関連付ける
   請求項１から請求項３のいずれかに記載の画像処理装置。
6. 前記揺れ変更部は、前記揺れ変更処理として、前記撮像時揺れ情報に基づいて前記入力画像データの揺れを除去する
   請求項１から請求項３のいずれかに記載の画像処理装置。
7. 前記関連付け部は、前記揺れ変更済み画像データに、前記撮像時揺れ情報及び前記揺れ変更情報を関連付ける
   請求項１から請求項３のいずれかに記載の画像処理装置。
8. 前記揺れ変更部は、前記入力画像データに対して、該入力画像データに対応付けられたメタデータを用いて撮像時に行われた揺れ除去処理をキャンセルする処理を行った後に、前記揺れ変更処理を行う
   請求項１から請求項３のいずれかに記載の画像処理装置。
9. 前記関連付け部が撮像時揺れ情報及び揺れ変更情報と関連付ける画像データは、撮像時の揺れ除去処理が施されていない状態の画像データである
   請求項１から請求項３のいずれかに記載の画像処理装置。
10. 前記画像データは、撮像時に揺れ除去処理が行われていない前記入力画像データである
    請求項９に記載の画像処理装置。
11. 前記画像データは、前記入力画像データに対して、撮像時に行われた揺れ除去処理をキャンセルする処理を行った画像データである
    請求項９に記載の画像処理装置。
12. 前記撮像時揺れ情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の姿勢情報である
    請求項１から請求項３のいずれかに記載の画像処理装置。
13. 前記姿勢情報は、撮像装置による前記入力画像データの撮像時の前記撮像装置の動きを示すシフト情報又は回転情報である
    請求項１２に記載の画像処理装置。
14. 前記揺れ変更情報は、前記揺れ変更パラメータである
    請求項１又は請求項２に記載の画像処理装置。
15. 前記揺れ変更パラメータは、ユーザ操作により指定されたパラメータである
    請求項１、請求項２、請求項１４のいずれかに記載の画像処理装置。
16. 前記揺れ変更情報は、前記調整後揺れ情報である
    請求項１、請求項２、請求項１４、請求項１５のいずれかに記載の画像処理装置。
17. 画像処理装置が、
    動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
    前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
    前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
    を行い、
    前記揺れ情報調整処理は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成する処理であって、
    前記撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの周波数帯域別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する処理を行う
    画像処理方法。
18. 画像処理装置が、
    動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
    前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
    前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
    を行い、
    前記揺れ情報調整処理は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成する処理であって、
    撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する処理を行う
    画像処理方法。
19. 画像処理装置が、
    動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
    前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
    前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
    を行い、
    前記撮像時揺れ情報は、前記入力画像データの撮像の際に生成されたメタデータに基づいて得られる前記入力画像データの各フレームに対応する姿勢情報であり、
    前記揺れ変更処理では、前記入力画像データの前記各フレームを天球モデルへ貼付し、前記各フレームに対応する前記調整後揺れ情報である調整後の前記姿勢情報を用いて前記各フレームを回転させることで前記入力画像データの揺れの状態を変更する処理を行う
    画像処理方法。
20. 動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
    前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
    前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
    を情報処理装置に実行させるとともに、
    前記揺れ情報調整処理は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成する処理であって、
    前記撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの周波数帯域別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する処理を、情報処理装置に実行させる
    プログラム。
21. 動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
    前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
    前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
    を情報処理装置に実行させるとともに、
    前記揺れ情報調整処理は、前記撮像時揺れ情報と前記揺れ変更処理の処理量を指定する揺れ変更パラメータに基づいて、前記揺れ変更パラメータで指定される揺れ量の揺れを付加するための前記調整後揺れ情報を生成する処理であって、
    撮像時揺れ情報に基づく揺れ付加のための揺れ情報に対し、揺れの方向別に揺れ変更パラメータに基づくゲイン処理を行って、前記調整後揺れ情報を生成する処理を、情報処理装置に実行させる
    プログラム。
22. 動画を構成する入力画像データを撮像したときの撮像時揺れ情報を調整して調整後揺れ情報を生成する揺れ情報調整処理と、
    前記調整後揺れ情報を用いて前記入力画像データの揺れの状態を変更することで揺れ変更済み画像データを得る揺れ変更処理と、
    前記入力画像データ及び前記揺れ変更済み画像データの少なくとも一方と、前記撮像時揺れ情報と、前記揺れ変更処理の処理量が特定できる揺れ変更情報とを関連付ける関連付け処理と、
    を情報処理装置に実行させるとともに、
    前記撮像時揺れ情報は、前記入力画像データの撮像の際に生成されたメタデータに基づいて得られる前記入力画像データの各フレームに対応する姿勢情報であり、
    前記揺れ変更処理では、前記入力画像データの前記各フレームを天球モデルへ貼付し、前記各フレームに対応する前記調整後揺れ情報である調整後の前記姿勢情報を用いて前記各フレームを回転させることで前記入力画像データの揺れの状態を変更する処理を、情報処理装置に実行させる
    プログラム。

Images