WO2011074446A1

WO2011074446A1 - 表示制御装置、表示制御方法、プログラム

Info

Publication number: WO2011074446A1
Application number: PCT/JP2010/071959
Authority: WO
Inventors: 緒方　哲治
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-12-16
Filing date: 2010-12-08
Publication date: 2011-06-23
Anticipated expiration: 2012-06-16
Also published as: JP5293587B2; JP2011130046A; EP2515531A4; KR20120102071A; US9851894B2; IN2012DN05086A; EP2515531A1; CN102656548A; TWI450180B; US20120236027A1; TW201207716A

Abstract

　本発明は、動作推移画像として合成処理されたフレーム画像を用いた多様な再生表示を実現できるようにする表示制御装置、表示制御方法、プログラムに関する。　フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録媒体に記録されており、各記録フレーム画像データが再生可能とされる。そしてタッチパネル等の操作入力部の操作に応じて、一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生を実行させるようにする。これにより動作推移動画の中で、ユーザが見たい場面を容易に見ることができるようにする。

Description

表示制御装置、表示制御方法、プログラム

　本発明は表示制御装置、表示制御方法、プログラムに関し、特に被写体の動作推移を表現する画像を表示する技術に関する。

　例えばスポーツのフォーメーション確認などの用途で、図３４に示すような「動作推移画像」が用いられる。
　動作推移画像は動作を行う人または物（動被写体）をある特徴的な時間（キーフレーム）で切り出し、それを空間的に並べることで動作の推移を容易に認識することができる。これは、動被写体が空間的に移動していなくても、空間的に移動させた画像を敢えて生成するところに特徴がある。一般的には絵を描くことによって実現されるが、写真を手作業で切り抜いて並べることで実現されることもある。

特許第３４４９９９３号公報特開２００４－１８０２５９号公報特開２００７－２５９４７７号公報特開２００２－３５９７７７号公報

　従来、こういった動作推移画像を自動で生成する場合、ビデオカメラの映像や写真機の連写などで得られた複数フレームの画像のうちで、処理対象とするキーフレームの画像を抜き出す。そしてさらにキーフレーム中で対象被写体の部分を切り出し、それを並べるなどの手法で行っている。
　しかし従来の動作推移画像では、動作範囲の拡大と動作推移の十分な表現性の両立が難しいという問題があった。

　例えば図３４は、ゴルフのスイングを行う人をビデオカメラで撮像した動画データから抜き出したキーフレームＦＫ１～ＦＫ２０を用いて動作推移画像を生成した例である。
　１つの合成画像として、この図３４のように多数のキーフレーム画像を合成すると、当然ながら各キーフレーム画像を並べる際の１枚の切り出し幅ｗａは狭くならざるを得ない。
　すると動被写体の動作範囲をカバーできなくなってしまい、目的であるはずの動被写体が一部切り取られてしまう。例えば図３４の各画像を見るとわかるように、スイング過程のタイミングによっては、ゴルフクラブの先端部分などが欠けた画像となっている。これは視覚的にも好ましくないと共に、フォームチェックなどの用途を考えても適切でない。

　ここで、動被写体（例えばスイングしている人とゴルフクラブ）の一部が欠けないようにするには、切出し幅を広くする必要がある。
　図３５は切出し幅ｗｂとして示すように、１つのキーフレーム画像からの切出し幅を広くした例であるが、この場合、１画像として並べることができるキーフレーム画像の数が少なくなる。例えば図３５は、図３４の２０個のキーフレームＦＫ１～ＦＫ２０から８個のキーフレームＦＫ１，ＦＫ４，ＦＫ７，ＦＫ１０，ＦＫ１１，ＦＫ１４，ＦＫ１７，ＦＫ２０を抽出して生成した動作推移画像を示している。
　この場合、各キーフレーム画像について見ると、動被写体（スイングしている人とゴルフクラブ）の一部が欠けないようにできる。しかしながら、１枚の画像上に並べることのできるキーフレーム数が減ることで、スムースに動きを表現する動作推移画像となりにくい。つまりフォームチェックなどとしての動作推移が十分に細かく表現できない。

　この図３４，図３５の例のように、動被写体の動作範囲をすべてカバーしようと切り出し幅を広くすると、生成される最終画像内に存在するキーフレーム数が少なくなり動作推移の表現性に欠ける。反対に切り出し幅を狭くするとキーフレーム数を増やして時間的に細かく動被写体を表現できるが、動被写体の動作範囲をカバーできなくなってしまい、目的であるはずの動被写体が一部切り取られてしまうという不都合がある。

　また、このような動作推移画像は、従来は複数のキーフレームを単純に並べて画像合成することによって、動作推移を表現する静止画とされるものであるが、より視覚効果の高い、動画的な動作推移画像を実現することも要望されている。
　そして、そのような動作推移画像を生成し、記録した場合、動作推移画像について、撮像後にユーザにとって分かり易くかつ操作性のよい態様で、再生して確認できるようにすると好適である。

　そこで本発明では、動作推移画像として、多数のフレーム画像を用いて十分な動作表現を可能とした合成画像データを記録した場合に、その動作推移画像の再生として、簡易な操作で多様な再生を実現できるようにすることを目的とする。

　本発明の表示制御装置は、フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、上記記録フレーム画像データの再生処理を行う再生処理部と、ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、上記再生処理部に判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行う表示制御部とを備える。

　その場合、上記表示制御部は、上記ユーザ指示として検知されるドラッグ操作（例えばタッチパネル上を指でなぞる操作）に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う。
　例えば上記表示制御部は、上記ユーザ指示として検知される単位時間毎のドラッグ操作量及びドラッグ操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う。
　また上記表示制御部は、上記ユーザ指示として検知されるフリック操作（例えばタッチパネル上を指ではじくような操作）に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う。
　例えば上記表示制御部は、上記ユーザ指示として検知されるフリック操作速度及びフリック操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う。
　また上記表示制御部は、上記ユーザ指示として検知されるポイント操作（例えばタッチパネル上の或る位置に触れる操作）に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う。
　例えば上記表示制御部は、上記ユーザ指示として検知されるポイント操作の位置に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う。

　本発明の表示制御方法は、フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対する操作入力を検知するステップと、検知された上記操作入力に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生制御を行うステップとを備える。
　本発明のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。

　このような本発明では、まず再生対象としての記録媒体の存在が前提となる。記録媒体には、フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている。
　各合成画像データとは、例えば次のようなものである
　まず、元のフレーム画像データとは、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などのことである。即ち１枚の画像を構成する画像データのことを広く示すものとする。
　このような入力される複数のフレーム画像データについて画像合成処理を行って動作推移画像を生成する際に、フレーム画像データについて、画像内の動被写体レイヤーと背景レイヤーを分離する処理を行う。そして、フレーム画像データが入力された各時点において、その時点で既存の合成画像データに、入力された最新のフレーム画像データを合成していく。このときに、１つのフレームについての幅を短くすることで、多数の動被写体画像を並べることができるが、その場合に最新のフレーム画像データの動被写体と、それ以前のフレーム画像データの動被写体が重なる部分が生ずる。そこで、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、また前回以前の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先したレイヤー画像合成処理を行うようにする。これにより動被写体の一部が以前のフレームの動被写体の上に重なる状態で合成画像が生成される。
　このように生成される合成画像データを、一連の記録フレーム画像データとして記録媒体に記録する。
　そして、再生時には、各合成画像データ（記録フレーム画像データ）を、動画の各フレームとして再生し、表示させることで、合成過程がわかる動画表示や、合成過程の或る段階の静止画表示などが実行できる。さらにこのとき、ドラッグ操作、フリック操作、ポイント操作等に対応することで、ユーザに、合成過程の各段階における見たい場面を容易に提示できるようにする。

　また、本発明の他の側面でみた表示制御装置は、表示画面の表示内容を制御する表示制御装置において、予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるとともに、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御し、またユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する制御信号を生成する制御信号生成部と、上記制御信号を上記表示画面の表示内容を制御するように出力する制御信号出力部とを備える。
　本発明の他の側面でみた表示制御方法は、表示画面の表示内容を制御する表示制御方法において、予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるとともに、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御し、ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御方法である。
　また本発明の他の側面のプログラムは、上記各ステップを演算処理装置に実行させるプログラムである。

　この場合、予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容とは、多数の動被写体が並んだ表示をいう。
　そして同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御する。例えば同一人物等としての同一の動被写体の各時点での状態（例えばゴルフスイング過程の各状態）の画像が、表示上で時系列順序で並んで表示されるようにする。
　さらに、ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する。つまり、表示中の状態と異なる時点での同一の動被写体を表示させるときには、その各動被写体画像の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示させるようにする。

　本発明によれば、動作推移画像としての各段階の合成画像データを再生することで、画像の合成過程を動的に表示することが可能となるとともに、合成過程におけるユーザの見たい段階での再生画像を、ユーザにとって容易な操作で提供できる。
　特に再生時に、動画の時間軸上の位置と、タッチパネル等による空間軸上の位置を関連づけることによって、より直感的な操作が可能となる。

本発明の表示制御装置を含む実施の形態の画像処理装置のブロック図である。実施の形態の動作推移画像の生成処理の説明図である。実施の形態のレイヤー分離処理の説明図である。実施の形態の入力画像の領域設定例の説明図である。実施の形態の推移動作有効領域及び残存背景領域の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の説明図である。実施の形態の動作推移動画の最終フレームの説明図である。実施の形態の合成画像生成及び記録処理例のフローチャートである。実施の形態のプロセス判定処理のフローチャートである。実施の形態の合成処理に用いる画像データの説明図である。実施の形態のプロセスＰ２，Ｐ３の説明図である。実施の形態のプロセスＰ４の説明図である。実施の形態のプロセスＰ５の説明図である。実施の形態のプロセスＰ６の説明図である。実施の形態の記録・表示される画像フレームの説明図である。実施の形態のドラッグ操作の説明図である。実施の形態のドラッグ操作の説明図である。実施の形態のドラッグ操作の説明図である。実施の形態のドラッグ操作の説明図である。実施の形態のドラッグ操作の各場合の説明図である。実施の形態のドラッグ操作対応処理のフローチャートである。実施の形態のフリック操作の説明図である。実施の形態のフリック操作対応処理のフローチャートである。実施の形態のポイント操作の説明図である。実施の形態のポイント操作対応処理のフローチャートである。従来の合成画像の説明図である。従来の合成画像の説明図である。

　以下、本発明の実施の形態を次の順序で説明する。
［１．画像処理装置の構成］
［２．動作推移画像の生成・記録処理例］
［３．動作推移画像の再生表示処理例］
　＜３－１：ドラッグ操作＞
　＜３－２：フリック操作＞
　＜３－３：ポイント操作＞
　＜３－４：他の操作例＞
［４．表示処理］
［５．プログラム］

［１．画像処理装置の構成］
　図１は実施の形態の画像処理装置１の構成例を示している。
　この画像処理装置１は、動作推移画像としての画像合成処理を行う装置としており、また画像記録再生部４０として、動作推移画像の記録や再生、表示を行う装置部（表示制御装置部）も有するものとしている。

　図１には本例の画像処理装置１の構成として、入力画選択部２，レイヤー処理部３，画像出力部４、合成画像更新保持部５、画像入力部１０、動被写体情報生成部１１、動被写体情報入力部１２、画像記録再生部４０を示している。
　これらの各部は必ずしも同一筐体内の構成部位とされるものには限らない。特に画像入力部１０、動被写体情報生成部１１、動被写体情報入力部１２、出力デバイス４０は、別体の構成部位とすることが考えられる。また動被写体情報生成部１１と動被写体情報入力部１２については一方を設けるのみでもよい。
　さらに、画像記録再生部４０は、別体の記録・再生・表示機器として構成されることも当然に想定される。
　また入力画選択部２，レイヤー処理部３，画像出力部４，合成画像更新保持部５については、それぞれがハードウエアブロックとして構成されてもよいが、マイクロコンピュータ等の演算処理装置において、ソフトウエアプログラムによって実現される機能ブロックとして実現することもできる。

　この画像処理装置１は、例えば撮像装置（ビデオカメラ等）や映像再生装置等の機器の内部に設けられても良いし、１つの画像処理専用機器として構成されてもよい。さらにパーソナルコンピュータ等においてソフトウエア及びハードウエアの連係によって実現される画像処理機能を実行するものとして構成されてもよい。

　画像入力部１０では、生成する動作推移画像（静止画または動画）の元となるフレーム画像データ群の入力を行う。
　フレーム画像データとは、動画を構成する各フレームの１つであったり、例えば連写撮像された静止画の１枚１枚の画像などのことである。即ち１枚の画像を構成する画像データのことを広く示すものとして、「フレーム画像データ」という用語を用いる。
　この画像入力部１０は、当該画像処理装置１が撮像装置に搭載されるのであれば、レンズ系や受光素子、画像信号処理を行って撮像画像信号を得る一連の撮像系部位に相当することになる。
　また外部の撮像装置で得られた撮像画像を取り込むのであれば、画像入力部１０は、外部機器から転送・送信・ダウンロード等されてくる画像信号の受信処理系とされることもある。例えば放送波に対するチューナ部や、ＵＳＢ（Universal Serial Bus）インターフェース等の外部機器インターフェース部、さらには有線又は無線のネットワーク通信部などが想定される。
　また、撮像画像データ等の画像信号がメモリカード（固体メモリ）、光ディスク等の記録媒体に記録されている場合は、画像入力部１０は、これらの記録媒体に対して再生を行う再生系部位又は再生プログラムとして実現される。

　画像入力部１０によっては、動画としての各フレーム画像データや、静止画連写撮像などによって得られた複数のフレーム画像データが入力され、画像入力部１０はこれらのフレーム画像データを入力画選択部２及び動被写体情報生成部１１に供給する。
　なお、画像入力部１０は前処理を行うこともある。動画像のファイルを受け取った場合に各フレームに展開したり、インターレース画像を受け取った場合にプログレッシブ化を行うなど処理に必要な形へ適切な変換を行う。また、拡大縮小を行うこともある。

　動被写体情報生成部１１は、画像入力部１０から受け取った元画像群（フレーム画像データ群）や他の外部情報（深度情報など）を用いて、動被写体情報を生成する。
　動被写体情報とは、少なくとも入力されたフレーム画像データのうち、どの部分が動被写体であり、どの部分が背景であるかを判別することが可能な情報である。
　動被写体情報生成部１１は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を生成し、入力画選択部２に供給する。

　動被写体情報は、動被写体画像として表現されることもあり、この場合は各画素が動被写体であるか、背景であるかを画素値として表す。また、各同被写体の場所を表す情報を式やベクトルで表す場合もある。
　動被写体情報生成部１１は、動被写体と背景の分離のほか、複数の動被写体が存在する場合、それぞれを分離し、かつ深度別に分離することもある。この場合、動被写体情報を画像で表すときは動被写体か背景かの２値画像ではなく、各画素がどの深度にあるかを表す多値画像（または多チャンネル画像）となる。

　また、動被写体情報の生成は本例の画像処理装置１の装置内でなくともよく、他の装置やプログラムで生成された動被写体情報を受け取ることもできる。動被写体情報入力部１２は、画像入力部１０で入力される各フレーム画像データについての動被写体情報を外部から受け取る部位として示している。動被写体情報入力部１２は、入力されたそれぞれのフレーム画像データに対応する動被写体情報を外部から入力し、入力画選択部２に供給する。
　なお、従って動被写体情報生成部１１と動被写体情報入力部１２は、少なくとも一方が設けられればよい。但し、動被写体情報生成部１１で生成される動被写体情報と、動被写体情報入力部１２で入力される動被写体情報を併用することもでき、その意味で、動被写体情報生成部１１と動被写体情報入力部１２が両方設けられることも有用である。

　入力画選択部２は、画像入力部１０から順次供給されるフレーム画像データについて、動作推移画像の生成のための処理を行う。即ちレイヤー処理部３での合成処理に用いる必要な画像データを選択し、適切な画像の組み合わせをレイヤー処理部３に出力する。また入力画選択部２は、レイヤー処理部３に出力するフレーム画像データに対応する動被写体情報や、合成のための座標情報など合成処理に必要な情報をレイヤー処理部３に出力する。
　図１では、入力画選択部２内にキーフレーム判定部２１と座標計算部２２を示している。キーフレーム判定部２１は、キーフレームの判定処理や、それに基づくレイヤー処理部３に出力するフレーム画像データの選定を行う。また座標計算部２２は、合成処理のための座標計算を行う。

　キーフレームとは、動作推移画像としての最終出力画（動画の場合は最終フレーム画）において、動作推移の軌跡として同一の静止画に残される時間軸の異なる複数の画像のことである。例えば時間的に連続するフレーム画像データ群のうちで、適切な単位時間あたりの等間隔で撮像されたフレームがキーフレームとされることが一般的に想定されるが、必ずしも等間隔の時間である必要はなく、撮像対象の動作推移を視認するのに適した間隔に変化させることもある。
　キーフレーム判定部２１は、画像入力部１０から順次供給されるフレーム画像データのうちで、キーフレームとなるフレーム画像データを選定する処理を行う。
　動作推移動画を生成する場合は、入力された全フレーム画像データをレイヤー処理部３の処理に供するが、キーフレームであるか否かによって、レイヤー処理部３での合成画像の扱いが異なることになる。

　図２に、キーフレームについて示している。図２の(a)は入力画選択部２に入力される画像データを模式的に示している。例えば動画データであり、図のＦ１，Ｆ２，Ｆ３・・・が、それぞれ１つのフレーム画像データを示しているとする。
　入力画選択部２は、このような動画として時間的に連続するフレームから、キーフレームを選択する。一例として、５フレーム置きのフレームをキーフレームとするとした場合、○を付したフレームＦ１，Ｆ６，Ｆ１１，Ｆ１６，Ｆ２１・・・がキーフレームとなる。図２の(b)には、これら各キーフレームの画像内容を図形で示している。

　動作推移動画を生成する場合には、キーフレーム以外のフレーム画像データ（例えばＦ２，Ｆ３等）も合成処理に用いる。
　但し、合成過程では、キーフレームを残したそれまでの合成画像データに対して、新たなフレーム画像データを合成することになる。
　図２の(c)では、動作推移動画の最終フレームの画像例を示しているが、キーフレームのみを残した合成画像データに対して、新たなフレーム画像データを合成していくことで、最終フレームでは、キーフレームの画像がほぼ等間隔に並んだような画像内容となる。詳しくは後述する。

　レイヤー処理部３は、レイヤー分離部３１，レイヤー加工部３２，レイヤー合成部３３を備え、動作推移画像の生成処理を行う。
　レイヤー分離部３１は、動被写体情報を用いて、入力されたフレーム画像データのレイヤー分離を行う。レイヤーとは、１つのフレーム画像データにつき、動被写体部分と背景部分等で分離させたそれぞれをいう。レイヤー分離部３１はレイヤー合成を行う該当範囲を、例えば動被写体情報を元に入力画像と前回キーフレーム画像を背景と動被写体に分離して各レイヤーの画像を生成する。複数の動被写体が存在し、それらの深度がわかる場合はそれぞれの動被写体の数＋背景の数のレイヤーに分離する。

　図３の(a)は、入力画像（或る１つのフレーム画像データ）と、そのフレーム画像データについての動被写体情報を示している。
　上述のように入力画選択部２は、画像入力部１０から順次供給されるフレーム画像データＦ１，Ｆ２，Ｆ３・・・をレイヤー処理部３に出力する。
　また、入力画選択部２には、動被写体情報生成部１１又は動被写体情報入力部１２から、各フレーム画像データに対応した動被写体情報が供給されている。入力画選択部２は、フレーム画像データをレイヤー処理部３に供給する際には、そのフレーム画像データに対応する動被写体情報もレイヤー処理部３に供給する。

　図３の(a)の上段及び下段に示すのは、そのようにしてレイヤー処理部３に与えられるフレーム画像データと、その動被写体情報である。ここでは動被写体情報は、２値の値で表現されているものとしている。つまり動被写体とされる画素について「１」、動被写体以外の背景となっている画素について「０」などとした情報である。図３の(a)下段では白抜き部分が「１」つまり動被写体を表し、黒部分は「０」つまり背景を表すものとしている。

　レイヤー分離部３１は、このような動被写体情報を用いて、入力されたフレーム画像データをレイヤー分離する。
　図３の(b)には、分離後の動被写体レイヤーと背景レイヤーを示している。図３の(b)上段の動被写体レイヤーは、図３の(a)の入力画像のうちで動被写体部分（つまり動被写体情報＝「１」の画素のみ）を抜き出した画像となる。
　また図３の(b)下段の背景レイヤーは、図３の(a)の入力画像のうちで背景部分（つまり動被写体情報＝「０」の画素のみ）を抜き出した画像となる。

　なお、複数の動被写体が存在する場合を想定し、３値以上の多値の動被写体情報を用いるようにすることもできる。この場合、動被写体情報生成部１１又は動被写体情報入力部１２では、複数の動被写体の深度（画像上での奥行き方向の前後関係）に応じて異なる値とした動被写体情報を生成（又は取得）する。
　そのような場合は、レイヤー分離部３１は、動被写体の数＋背景の数のレイヤーに分離することができる。

　レイヤー加工部３２は、分離された各レイヤーの切り取り、拡大縮小、座標移動などの加工を行う。即ちレイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工する。レイヤー加工部３２が行う処理は「拡大縮小」「回転」「平行移動」など、幾何学的な演算が行われることが多いが、動作部分の強調などの画像処理が行われることもある。拡大縮小はキーフレームの枚数、出力画像サイズなどによって決定される。

　レイヤー加工部３２は、レイヤー分離された各レイヤーに対して様々な処理を行い、合成できる形に加工するのであるが、動作推移画像は通常、入力されたフレーム画像データの全領域を対象とするのではなく、一部を切り出す形で行われる。
　さらに、動被写体が有効となる範囲と、最終画像に残される背景の領域も異なる。
　入力されるフレーム画像データとしての画像の幅と高さを（Ｗｉｍｇ，Ｈｉｍｇ）、推移動作有効領域の幅と高さを（Ｗｍｏｖ，Ｈｍｏｖ）、残存背景領域の幅と高さを（Ｗｂａｃｋ，Ｈｂａｃｋ）とすると、例えば図４の(a)（ｂ）（ｃ）のような領域態様が想定される。なお、図４の(a)（ｂ）（ｃ）はそれぞれ一例であり、これらに限られない。
　図４の(a)（ｂ）（ｃ）に示す推移動作有効領域とは、主たる動被写体を切り出す範囲となる。また残存背景領域とは、合成処理において背景画像として用いる領域である。

　これらの推移動作有効領域の値（Ｗｍｏｖ，Ｈｍｏｖ）や残存背景領域の値（Ｗｂａｃｋ，Ｈｂａｃｋ）は、被写体の推移方向、つまり動作推移画像として表現する際に画像が時間的に進行していく方向によって、幅が同じになったり高さが同じになったりする。
　図６～図１５で後述する動作推移画像のように、各動被写体画像を横方向に推移させる場合は、図４の(b)の例のように高さ（Ｈｍｏｖ、Ｈｂａｃｋ）が、元のフレーム画像データの高さ（Ｈｉｍｇ）と同じ値とすることが好適な場合が多い。
　また、各動被写体画像を縦方向に推移させる場合は、図４の(c)の例のように幅（Ｗｍｏｖ、Ｗｂａｃｋ）が、元のフレーム画像データの幅（Ｗｉｍｇ）と同じ値とすることが好適な場合が多い。
　スポーツのフォーム確認など、動作対象が人物であり、かつ立っている場合は横推移となることが多く、柔道の寝技などが対象である場合は縦推移となる可能性が高い。このように推移方向と、それに伴う各画像の大きさは撮像対象に強く依存する。

　図５は、実際のフレーム画像データについての、図４の(b)の例による、推移動作有効領域と残存背景領域の設定例を示している。
　図５の(a)は、元の入力されたフレーム画像データであり、例えばフレーム画像データのサイズはＶＧＡ（６４０×４８０）であるとする。推移動作有効領域と残存背景領域の中心は入力画像であるフレーム画像データの中心と一致するものとする。
　推移動作有効領域は、図５の(b)のように、幅Ｗｍｏｖ＝３２０，高さＨｍｏｖ＝４８０の領域とする。
　残存背景領域は、図５の(c)のように、幅Ｗｂａｃｋ＝１６０，高さＨｂａｃｋ＝４８０の領域とする。
　もちろんこれは一例にすぎず、実際には被写体の大きさや、動きに応じて適切な設定がされて、合成処理に用いる画像が切り出されればよい。

　レイヤー合成部３３は、加工されたレイヤーや前回以前の合成画像を用いた合成処理を行う。即ちレイヤー加工部３２によって加工された画像、前回以前の合成画像、動被写体情報等を元に、出力する画像の合成を行う。ここでいう合成とは動被写体情報を元に、どのレイヤーの画素を出力画像に反映するかの判定を行い、出力画像を生成することとなる。単一レイヤーの画素から選択することもあるが、複数レイヤーの画素を混合して出力する場合もある。

　本例のレイヤー合成部３３による処理としては、フレーム画像データの入力に応じて、画像合成処理を行って合成画像データを生成する。このとき、フレーム画像データが入力された時点における既存の合成画像データの一部領域に対してレイヤー画像合成処理を行う。この場合、入力された最新のフレーム画像データの動被写体レイヤーを第１に優先し、前回以前の画像合成処理に係るフレーム画像データの動被写体レイヤーを第２に優先する。
　具体的な処理例については後述する。

　画像出力部４は、レイヤー処理部３で合成された合成画像を画像記録再生部４０に出力する。
　ここでは画像記録再生部４０は、記録媒体への記録動作、再生動作、表示動作を行う部位としての例で示している。
　画像出力部４は、フレーム画像データの入力毎にレイヤー処理部３で生成される合成画像データを、記録媒体に記録する記録用のフレーム画像データとして順次、画像記録再生部４０に出力する。
　また画像出力部４は、さらに、フレーム画像データの入力毎にレイヤー処理部３で生成される合成画像データを、表示部４５上で動作推移動画として表示させるために順次、画像記録再生部４０に出力する。

　なお、画像記録再生部４０以外にも、画像出力部４による合成画像データの具体的な出力先については、他の表示装置への出力、他の記録機器への出力、ネットワーク出力など、システム形態によって多様に考えられる。

　また画像出力部４は、今回の合成処理に係るフレーム画像データがキーフレームの場合に、今回の合成画像データを、次の処理時に既存の前回の合成画像データとして使用できるようにするため、合成画像更新保持部５に出力して更新記憶させる。一方、今回の合成処理に係るフレーム画像データが非キーフレームの場合は、今回の合成画像データは、次回の処理時に、既存の前回の合成画像データとしては使用しないため、合成画像更新保持部５に出力しない。

　合成画像更新保持部５は、動作推移画像の生成過程において、各時点の合成画像データを保持する。
　例えば動作推移画像生成時には、画像出力部４から出力される各時点の合成画像を更新しながら保持していく。例えば前回、前々回などとして、合成処理過程で必要とされる過去の合成画像データを更新しながら保持する。また、各合成画像の生成時のキーフレームの情報や、キーフレームの動被写体情報等も記憶保持する。

　画像記録再生部４０は、ユーザインターフェース制御部（ＵＩ制御部）４１、記録再生処理部４２、記録媒体駆動部４３、表示ドライバ４４、表示部４５、タッチパネル４６を有する。

　ＵＩ制御部４１は例えばマイクロコンピュータで形成される。このＵＩ制御部４１は画像記録再生部４０内の各部を制御し、画像出力部４から供給される合成画像データの記録媒体への記録動作や表示動作を実行させる。また記録媒体からの再生動作や再生した合成画像データの表示動作を実行させる。
　なお、画像出力部４から画像記録再生部４０に供給され、記録媒体に記録される合成画像データとしての各フレーム画像データは、上記入力画選択部２が入力する元のフレーム画像データと区別する意味で、「記録フレーム画像データ」ともいうこととする。

　記録再生処理部４２は、ＵＩ制御部４１の制御に基づき、記録フレーム画像データの記録のための処理、例えば圧縮処理、エラー訂正コード付加、記録データ形成のためのエンコードなどを行う。また記録再生処理部４２は、記録媒体駆動部４３を制御して、記録媒体に対する記録駆動を実行させる。
　また記録再生処理部４２は、ＵＩ制御部４１の制御に基づき、記録媒体からの記録フレーム画像データの再生処理を行う。即ち記録媒体駆動部４３を制御して、記録媒体からのデータ読出を実行させる。そして読み出された記録フレーム画像データについて、所定のデコード処理、エラー訂正処理等を行い、動画の各フレームを形成する記録フレーム画像データを再生する。そして記録フレーム画像データを表示再生のため、表示ドライバ４４に供給する。

　記録媒体駆動部４３は、記録媒体に対して記録再生駆動を行う部位である。記録媒体としては、光ディスク、磁気ディスク、ホログラムディスク、固体メモリを内蔵したメモリカード、ハードディスク、固体メモリなど、各種のものが想定される。
　例えば光ディスクが用いられる場合、記録媒体駆動部４３は、光ピックアップやスピンドル機構、サーボ機構などを備えたディスク駆動部として形成される。即ち、採用される記録媒体に応じて情報の書き込み／読み出しを行う部位とされればよい。

　表示部４５は、液晶パネル、有機ＥＬパネルなどのディスプレイデバイスである。
　表示ドライバ４４はＵＩ制御部４１の制御に基づき、表示部４５に対して映像表示を実行させる。
　この表示ドライバ４４は、上記レイヤー処理部３での合成処理実行時に、画像出力部４から供給される合成画像データを表示部４５に表示させる処理を行う。
　また上記記録再生処理部４２、記録媒体駆動部４３の動作により再生が行われるときは、その再生された記録フレーム画像データを、表示部４５に表示させる処理を行う。

　タッチパネル４６は、表示部４５の画面上に形成され、ユーザ操作に供される。ユーザは表示部４５での表示内容に応じて、タッチパネル４６を用いて後述する操作（ドラッグ操作、フリック操作、ポイント操作等）を行うことができる。
　タッチパネル４６による操作情報（ユーザによるタッチ位置等の情報）はＵＩ制御部４１に供給される。ＵＩ制御部４１はタッチ位置等の操作情報と、そのときの表示内容に応じて、記録再生処理部４２に必要な再生動作を実行させる。

［２．動作推移画像の生成・記録処理例］
　このような画像処理装置１において、主に入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５により実行される動作推移画像の生成処理例を説明する。
　ここでは、図６～図１５のような動作推移動画を生成する場合を例に挙げ、図１６～図２２により具体的な処理例を説明する。

　まず本例の画像処理装置１で生成される動作推移動画について説明する。
　上述のように入力されるフレーム画像データからは、キーフレームが選定されるが、合成処理はキーフレーム以外のフレームも用いる。但し、新たなフレーム画像データを合成する対象としての既存の合成画像データは、キーフレームのみが反映された画像である。
　以下の図６～図１５の例では、キーフレームは図２の(a)のように選定されるものとする。

　図６は最初のフレーム画像データ（例えばキーフレーム）Ｆ１が入力された際の合成画像データを示している。なお、図６～図１５においては、キーフレームとされたフレーム画像データについては（Ｋ）を付している。
　次に２番目の、キーフレームではないフレーム画像データＦ２（以下、キーフレームではないフレーム画像データを「非キーフレーム」という）が入力された際の合成画像データを図７に示す。この場合、キーフレームＦ１に対して、所定量ずらした画素範囲に非キーフレームＦ２を合成する。なお、動被写体が重なった部分については、常に最新のフレームの動被写体画像が優先される。
　合成は、既存の合成画像データに、入力されたフレーム画像データを合成するという手法を採る。この非キーフレームＦ２を合成する時点での既存の合成画像データとは、図６のような合成画像データである。

　次に３番目の非キーフレームＦ３が入力された際の合成画像データを図８に示す。この場合、図７の非キーフレームＦ２に対して、所定量ずらした画素範囲に非キーフレームＦ３を合成する。
　ここで合成処理は、上記のように既存の合成画像データに、入力されたフレーム画像データを合成するという手法を採るが、非キーフレームが入力された際の合成画像データは、既存の合成画像データとして用いられない。
　従って、この非キーフレームＦ３が入力された際も、既存の合成画像データとは図６の合成画像データのままである。
　つまり前回の非キーフレームＦ２は合成に用いられず、その時点での既存の合成画像データに対して非キーフレームＦ３が合成されるため、図のようにフレーム画像データＦ１，Ｆ３の動被写体が表現される画像となる。

　図示しないが、４番目の非キーフレームＦ４が入力された際は、同様にしてキーフレームＦ１＋非キーフレームＦ４の合成画像データが生成され、また５番目の非キーフレームＦ５が入力された際は、同様にキーフレームＦ１＋非キーフレームＦ５の合成画像データが生成される。つまり、いずれも、その時点で既存の合成画像データに対して入力されたフレーム画像データが合成される。

　キーフレームＦ６が入力された際も、既存の合成画像データに対して合成されることは同様である。
　図９は２つめのキーフレームＦ６が入力された際の合成画像データであるが、既存の合成画像データ（この場合はキーフレームＦ１のみ）に対してキーフレームＦ６が合成される。
　但しこの時点で、この図９の合成画像データも、既存の合成画像データとして保存される。
　合成に用いる既存の合成画像データとしては、直前のキーフレーム入力の際の合成画像データ（前回合成画像データ）だけでなく、さらにその前のキーフレーム入力の際の合成画像データ（前々回合成画像データ）を用いても良い。
　例えば後述する具体的な処理例では、前回合成画像データと前々回合成画像データを用いるため、ここでも前回合成画像データと前々回合成画像データを用いるものとして説明する。
　なお、既存の合成画像データを用いるのは、レイヤー合成の際に、各画素について優先順位を付けて合成するためであるが、その意味で動被写体の重なり部分がどの程度の範囲になるかにより、過去に遡っての合成画像データの使用範囲を設定すればよい。例えば、前々々回合成画像データ、前々々々回合成画像データなどを合成処理に用いる例も考えられる。

　この図９の合成画像データが生成された後は、既存の合成画像データとして、前回合成画像データ（図９の合成画像）と、前々回合成画像データ（図６の合成画像）が合成画像更新保持部５に保持され、その後の合成処理に用いられる。

　次に非キーフレームＦ７が入力された際の合成画像データを図１０に示す。この場合も既存の合成画像データに非キーフレームＦ７の画像が合成されることで、図のようなキーフレームＦ１，Ｆ６の画像と非キーフレームＦ７の画像による合成画像が生成される。
　さらに非キーフレームＦ８が入力された際の合成画像データを図１１に示す。この場合も既存の合成画像データに非キーフレームＦ８の画像が合成されることで、図のようなキーフレームＦ１，Ｆ６の画像と非キーフレームＦ８の画像による合成画像が生成される。
　その後に非キーフレームＦ９、Ｆ１０が入力された際も同様である。

　図１２は３つめのキーフレームＦ１１が入力された際の合成画像データであるが、既存の合成画像データに対してキーフレームＦ６が合成される。
　但しこの時点で、この図１２の合成画像データも、既存の合成画像データとして保存される。そしてこの時点で、既存の合成画像データとして、前回合成画像データは図１２の合成画像に、前々回合成画像データは図９の合成画像に更新されて保持される。

　この図６～図１２のように、入力されるフレーム画像データ（キーフレーム及び非キーフレーム）について、順次合成処理がされていき、各時点で、それぞれ図示のような合成画像データが得られる。例えばこれらの合成画像データが、それぞれ動画を構成する１フレームとして出力されていく。さらに、以降同様にフレーム画像データの入力毎に合成画像データが生成され、図１３・・・図１４・・・図１５のように動画出力が進行していく。
　つまり、各キーフレームの被写体画像を残しながら、非キーフレームを含めて各フレームの被写体画像が合成されていき、各時点でその合成画像データが出力される。
　これにより、ゴルフスイング等の動作推移を表現する動画、即ち動作推移動画が出力されることになる。

　このような動作推移動画を生成する処理を例に挙げて、動作推移画像の生成処理例を図１６以降で説明していく。
　図１６は、動作推移動画を生成する際の、入力画選択部２、レイヤー処理部３、画像出力部４、合成画像更新保持部５によって実行される処理を示している。
　ステップＦ１０１～Ｆ１０５は入力画選択部２の処理となる。
　上述したように入力画選択部２には、画像入力部１０から時間的に連続するフレーム画像データが供給される。
　入力画選択部２は、１枚のフレーム画像データが供給されるたびにステップＦ１０２で、そのフレーム画像データと、動被写体情報生成部１１（又は動被写体情報入力部１２）からフレーム画像データに対応する動被写体情報を取り込む処理を行う。
　なお、ステップＦ１０１の判断は、動作推移動画を生成する一連のフレーム画像データの取込、つまり画像入力部１０からの供給が終了したか否かの判断である。つまり動作推移動画として反映させる所定数のフレーム画像データの入力が完了するまでは、ステップＦ１０１からＦ１０２に進むことになる。

　入力画選択部２は、ステップＦ１０２でフレーム画像データ及び動被写体情報を取り込んだら、ステップＦ１０３で、当該フレーム画像データをキーフレームとするか否かを選定する。例えば図２のようにキーフレーム選定を行うとすると、１番目、６番目、１１番目・・・という５フレーム置きのフレームをキーフレームとする。
　なお、上述のように、キーフレームは必ずしも等間隔で設定する必要はない。例えば図６～図１５で示したようなゴルフスイングの画像の場合、ボールへのインパクトの瞬間の前後では、細かい間隔でキーフレームを設定するなどの手法もとり得る。

　入力されたフレーム画像データについてキーフレーム判定を行ったら、入力画選択部２はステップＦ１０４で、合成画像更新保持部５から、その時点で既存の前回合成画像データ及び前々回合成画像データを取り込む。
　なお、最初のキーフレームとされたフレーム画像データについての合成処理が行われるまでは、前回合成画像データ、前々回合成画像データは存在しない。また、２番目のキーフレームとされたフレーム画像データについての合成処理が行われるまでは前々回合成画像データは存在しない。ステップＦ１０４では、その時点で前回合成画像データ、前々回合成画像データが合成画像更新保持部５に保存されていれば、それを取り込むという処理となる。

　ステップＦ１０５では、入力画選択部２は、今回のフレーム画像データ（キーフレーム又は非キーフレーム）を合成画像に反映させる画素位置の座標計算処理を行う。即ち最終的な合成画像のサイズ（動作推移動画のサイズ）の中で、今回のフレーム画像データを当てはめる画素範囲の算出処理である。
　入力画選択部２は、このステップＦ１０５で算出した座標と、今回のフレーム画像データ及び動被写体情報と、前回合成画像データと、前々回合成画像データとを、レイヤー処理部３に出力する。

　レイヤー処理部３は、ステップＦ１０６でプロセス判定処理を行う。
　プロセス判定とは、効率的な合成処理を行うために、合成処理を行う範囲での画素毎（或いは列毎、或いは行毎）に、どのような合成処理プロセスを実行するかを判定する処理である。
　なお、上記図６～図１５のように、被写体画像が横方向に推移していく動作推移動画を生成する場合は、プロセス判定処理は、画素毎もしくは列毎に行えばよい。一方、図示しないが、被写体画像が上下方向に推移していくような動作推移動画を生成する場合は、プロセス判定処理は、画素毎もしくは行毎に行えばよい。以下では、図６～図１５の例に合わせて、列毎にプロセス判定を行うという例に基づいて説明する。

　ステップＦ１０６で行われるプロセス判定処理を図１７に示す。
　本例では、合成処理には、今回のフレーム画像データと、前回合成画像データと、前々回合成画像データを用いる。既存の２つの合成画像データを用いる場合、判定するプロセス数は６個（プロセスＰ１～Ｐ６）となる。もし、前々々回合成画像データ等、使用する合成画像データが増える場合は、プロセス数は増加する。
　また、合成処理では、前回合成画像データに含まれる前回キーフレームの範囲の情報及び動被写体情報や、前々回合成画像データに含まれる前々回キーフレームの範囲の情報及びその動被写体情報を用いる。これらについては、前回合成画像データ、前々回合成画像データに付随して合成画像更新保持部５に保存され、上記ステップＦ１０２で読み出されるものとすればよい。

　図１７のプロセス判定処理は、注目列（上記のように行の場合もある）毎に行われる。
　プロセス判定を行う各列とは、例えば図１３の時点で言えば、Ａ１～Ａ７の範囲の各列となる。
　この範囲で画素一列（図１３の場合は合成画像データの上段の画素一列）を、それぞれ注目列としてプロセス判定を行う。
　レイヤー処理部３は、まずステップＦ２０１として、１列を注目列とし、その画素位置（合成画像データ内での座標位置）を取得する。
　そしてステップＦ２０２では、注目列の位置が前回合成画像データの範囲内か否かを判別する。前回合成画像データの範囲とは、図１３のＡ３領域～Ａ７領域の範囲である。
　注目列が前回合成画像データの範囲内でなければ、レイヤー処理部３はステップＦ２０３に進み、注目列が今回の推移動作有効領域内であるか否かを判別する。今回の推移動作有効領域とは、今回入力されたフレーム画像データ（キーフレーム又は非キーフレーム）の推移動作有効領域（図５の(b)参照）のことであり、図１３のＡ２領域～Ａ５領域の範囲である。

　レイヤー処理部３は、ステップＦ２０３で、注目列が今回の推移動作有効領域内でないと判断した場合は、当該注目列については、プロセスＰ１を適用すると判定する。これは、注目列が図１３のＡ１領域内となる場合である。
　またレイヤー処理部３は、ステップＦ２０３で、注目列が今回の推移動作有効領域内であると判断した場合は、当該注目列については、プロセスＰ２を適用すると判定する。これは、注目列が図１３のＡ２領域内となる場合である。

　またステップＦ２０２で、注目列が前回合成画像データの範囲内であると判定したときはレイヤー処理部３はステップＦ２０４に進み、注目列が今回の推移動作有効領域内であるか否かを判別する。そして、このステップＦ２０４で、注目列が今回の推移動作有効領域内ではないと判別した場合は、当該注目列については、プロセスＰ３を適用すると判定する。これは、注目列が図１３のＡ６及びＡ７領域内となる場合である。

　またステップＦ２０４で、注目列が今回の推移動作有効領域内であると判別した場合は、レイヤー処理部３はステップＦ２０５に進み、注目列が後領域の範囲内であるか否かを判別する。後領域とは、推移動作有効領域内で、図５の(b)に示すように、動作推移画像の進行方向Ａ（左から右に移行する場合）に対して、後側であって図５の(c)の残存背景領域に含まれない領域である。なお、動作推移が右から左に移行する画像の場合は、推移動作有効領域内での右側の領域となる。また、動作推移が上から下に移行する画像の場合は、推移動作有効領域内での上側の領域となる。
　図１３の例で言えば、Ａ５領域内の列が、後領域内と判定される。
　ステップＦ２０５で、注目列が後領域に該当すると判別した場合は、レイヤー処理部３は、当該注目列については、プロセスＰ４を適用すると判定する。これは、注目列が図１３のＡ５領域内となる場合である。

　ステップＦ２０５で後領域の範囲ではないと判別した場合は、レイヤー処理部３はステップＦ２０６に進み、注目列が前々回合成画像データの範囲内であるか否かを判別する。前々回合成画像データの範囲内とは、図１３のＡ４領域～Ａ７領域の範囲である。
　注目列が前々回合成画像データの範囲内ではないと判定した場合、レイヤー処理部３は、当該注目列については、プロセスＰ５を適用すると判定する。これは、注目列が図１３のＡ３領域内となる場合である。
　またステップＦ２０６で注目列が前々回合成画像データの範囲内であると判定した場合、レイヤー処理部３は、当該注目列については、プロセスＰ６を適用すると判定する。これは、注目列が図１３のＡ６領域内となる場合である。

　レイヤー処理部３は、図１６のステップＦ１０６で、或る１列の注目列について、以上の図１７のプロセス判定を行うごとに、ステップＦ１０７の合成処理を行う。ステップＦ１０７は、プロセス判定結果に応じて、合成結果の画像として、当該注目列の画素の合成を行う処理となり、必要に応じてレイヤー分離・加工・合成が行われる。
　そして、ステップＦ１０８，Ｆ１０９については後述するが、ステップＦ１１０で今回入力された現在のフレーム画像データについて処理が終了したと判断されるまで、ステップＦ１０６～Ｆ１０９の処理を繰り返す。つまり、プロセス判定処理を列単位で行うとした場合、全列についてプロセス判定及び合成処理を行うまで繰り返すことになる。

　プロセス判定結果に応じた注目列に対する合成処理をそれぞれ説明していく。
　まず、図１８に合成処理に用いる画像データを示す。
　図１８の(a)は、ステップＦ１０２で今回入力された入力画像（フレーム画像データ）の推移動作有効領域を示している。
　図１８の(b)は、今回の時点で既存の前回合成画像データを示している。
　図１８の(c)は、今回の時点で既存の前々回合成画像データを示している。
　なお、これらは図１３の時点における入力画像、前回合成画像データ、前々回合成画像データの例としている。

　プロセスＰ１は、描画を行わない処理とされる。
　従って注目列がプロセスＰ１と判定された場合は、ステップＦ１０７では、特に画素を合成結果に反映させるという合成処理は行わない。
　プロセスＰ１が適用される列は、図１３のＡ１領域の各列であり、従ってＡ１領域は何も描画されない。

　プロセスＰ２は、今回のフレーム画像データの推移動作有効領域から画素データをコピーする処理とされる。
　プロセスＰ２が適用される列は、図１３のＡ２領域の各列である。このＡ２領域は、前回合成画像データ（及び前々回合成画像データ）とは重複しない領域となる。従って、今回の入力画像の画素をそのまま反映させればよい。
　Ａ２領域に相当する画素とは、図１９の(a)に示すように、入力画像の推移動作有効領域において斜線部で示す各列の画素となる。
　この各列の画素については、そのまま図１３のＡ２領域の画素としてコピーする。

　プロセスＰ３は、前回合成画像データから画素データをコピーする処理とされる。
　プロセスＰ３が適用される列は、図１３のＡ６領域及びＡ７領域の各列である。このＡ６領域及びＡ７領域は、今回入力されたフレーム画像データの推移動作有効領域とは重複しない領域となる。従って、前回合成画像データの画素をそのまま反映させればよい。
　Ａ６領域及びＡ７領域に相当する画素とは、図１９の(b)に示すように、前回合成画像データにおいて斜線部で示す各列の画素となる。
　この前回合成画像データの各列の画素については、そのまま図１３のＡ６領域及びＡ７領域の画素としてコピーする。

　プロセスＰ４は、前回合成画像データ上に今回のフレーム画像データの動被写体画像（動被写体レイヤー）の画素データをコピーする処理とされる。
　プロセスＰ４が適用される列は、図１３のＡ５領域の各列である。このＡ５領域は、今回入力されたフレーム画像データの後領域となる。この領域は、今回のフレーム画像データの動被写体のみが、前回合成画像データに重なって表示されるようにする。
　図２０の上段には、入力画像の動被写体画像を示している。これは入力されたフレーム画像データについて図３で説明したレイヤー分離を行った後の、動被写体レイヤーとなる。即ちレイヤー処理部３は、レイヤー分離部３１の機能により、今回入力されたフレーム画像データについて動被写体情報を用いてレイヤー分離を行い、図示する動被写体のみの画像（背景のない画像）を生成する。
　そして、この図２０の動被写体画像のうちで、斜線部が、後領域に相当する。この後領域に該当する各列の画素において、動被写体画像を構成する画素のみを、図２０下段に示す前回合成画像データのＡ５領域相当部分（斜線部）に転写する。
　このように前回合成画像データ上に、今回のフレーム画像データの後領域の動被写体画素が転写された状態が、図１３のＡ５領域の合成画像データとして反映される。

　プロセスＰ５は、今回入力されたフレーム画像データの動被写体画像と、前回キーフレームの動被写体画像と、今回入力されたフレーム画像データの背景画像の３つのレイヤーを合成する処理となる。
　プロセスＰ５が適用される列は、図１３のＡ３領域の各列である。このＡ３領域は、今回入力されたフレーム画像データの推移動作有効領域と、前回合成画像データとが重なる部分である。そのため、図２１に示す優先順位で３つのレイヤーを合成する。
　図２１の(a)は入力画像の動被写体画像（動被写体レイヤー）を示している。また図２１の(c)は入力画像の背景画像（残存背景レイヤー）を示している。
　レイヤー処理部３は、レイヤー分離部３１の機能により、上記プロセスＰ４の場合と同じく、入力されたフレーム画像データについて図３で説明したレイヤー分離を行い、これら動被写体画像と背景画像を得る。
　また図２１の(b)は、前回合成画像データが生成された際のキーフレーム、即ち前回キーフレームの動被写体画像（動被写体レイヤー）を示している。なお、前回キーフレーム画像は前回合成画像データに含まれるが、前回キーフレームの動被写体画像の抽出は、前回キーフレームに対応する動被写体情報を用いて抽出できる。
　この図２１の(a)（ｂ）（ｃ）において、図１３の合成後の画像上での領域Ａ３に相当する部分には斜線を付している。
　プロセスＰ５の合成処理では、図２１の(a)（ｂ）（ｃ）の斜線部の列の画素について、図示するように、入力画像の動被写体画像を第１優先、前回キーフレームの動被写体画像を第２優先、入力画像の背景画像を第３優先としてレイヤー合成する。
　つまり、図２１の(a)の斜線部で動被写体を構成する画素は、それが最優先される。図２１の(a)の斜線部で動被写体を構成する画素以外の部分は、図２１の(b)の斜線部において、動被写体を構成する画素があれば、その画素が当てはめられる。これら以外の画素部分は、図２１の(c)の背景画像を構成する画素が当てはめられる。
　そしてこのように３レイヤーの画素が合成された状態が、図１３のＡ３領域の合成画像データとして反映される。

　プロセスＰ６は、今回入力されたフレーム画像データの動被写体画像と、前回キーフレームの動被写体画像と、前々回合成画像データの動被写体画像と、今回入力されたフレーム画像データの背景画像の４つのレイヤーを合成する処理となる。
　プロセスＰ６が適用される列は、図１３のＡ４領域の各列である。このＡ４領域は、今回入力されたフレーム画像データの推移動作有効領域と、前回合成画像データ及び前々回合成画像データとが重なる部分である。そのため、図２２に示す優先順位で４つのレイヤーを合成する。
　図２２の(a)は入力画像の動被写体画像（動被写体レイヤー）を示している。また図２２の(d)は入力画像の背景画像（残存背景レイヤー）を示している。
　また図２２の(b)は、前回合成画像データが生成された際のキーフレーム、即ち前回キーフレームの動被写体画像（動被写体レイヤー）を示している。
　また図２２の(c)は、前々回合成画像データが生成された際のキーフレーム、即ち前々回キーフレームの動被写体画像（動被写体レイヤー）を示している。
　レイヤー処理部３は、レイヤー分離部３１の機能により、上記プロセスＰ４の場合と同じく、入力されたフレーム画像データについて図３で説明したレイヤー分離を行い、これら動被写体画像と背景画像を得る。また、前回合成画像データ、前々回合成画像データから、それぞれ動被写体情報を用いて前回キーフレームの動被写体画像、前々回キーフレームの動被写体画像を抽出する。
　この図２２の(a)（ｂ）（ｃ）（ｄ）において、図１３の合成後の画像上での領域Ａ４に相当する部分には斜線を付している。
　プロセスＰ６の合成処理では、図２２の(a)（ｂ）（ｃ）（ｄ）の斜線部の列の画素について、図示するように、入力画像の動被写体画像を第１優先、前回キーフレームの動被写体画像を第２優先、前々回キーフレームの動被写体画像を第３優先、入力画像の背景画像を第４優先としてレイヤー合成する。
　つまり、図２２の(a)の斜線部で動被写体を構成する画素は、それが最優先される。図２２の(a)の斜線部で動被写体を構成する画素以外の部分は、図２２の(b)の斜線部において、動被写体を構成する画素があれば、その画素が当てはめられる。さらに図２２の(a)（ｂ）で動被写体を構成する画素がない部分であって図２２の(c)の斜線部において動被写体を構成する画素があれば、その画素が当てはめられる。これら以外の画素部分は、図２２の(d)の背景画像を構成する画素が当てはめられる。
　そしてこのように４レイヤーの画素が合成された状態が、図１３のＡ４領域の合成画像データとして反映される。

　プロセスＰ１～Ｐ６の合成処理は以上のように行われる。
　図１６のステップＦ１０７では、ステップＦ１０６でのプロセス判定結果に応じて、注目列の処理として上記プロセスＰ１～Ｐ６のいずれかが実行される。
　なお、列単位ではなく、画素単位でステップＦ１０６～Ｆ１０９の処理を繰り返しても良い。
　そして、合成処理対象の全ての列（全ての画素）について、いずれかのプロセスの処理が行われた時点で、例えば図１３のような合成画像データが完成することになる。
　その時点で図１６の処理はステップＦ１１０からＦ１１１に進む。

　ステップＦ１１１では、レイヤー処理部３は合成画像データを画像出力部４に供給する。画像出力部４は、供給された合成画像データを、動作推移動画を構成する１つのフレームとして画像記録再生部４０に出力する。
　なお、画像出力部４は、合成処理に要する時間や、画像入力部１０からのフレーム画像データの入力間隔などに応じて、或いはゆっくり推移する動画を表現するためなどに応じて、１枚の合成画像データを、動作推移動画を構成する複数のフレームとして連続して出力するようにしてもよい。

　ステップＦ１１２では、今回処理したフレーム画像データがキーフレームであったか否かで処理を分岐する。即ちステップＦ１０３での判定結果により処理を分岐する。
　今回入力されたフレーム画像データがキーフレームであった場合は、ステップＦ１１３で、今回生成された合成画像データを、以降の処理で前回合成画像データとして使用するために、合成画像更新保持部５に保存する処理を行う。
　合成画像更新保持部５は、その時点で保持している前回合成画像データを、前々回合成画像データとし、新たに今回画像出力部４から供給される合成画像データを前回合成画像データとして保持する。なお、キーフレームの動被写体情報なども付随して記憶する。

　そしてステップＦ１０１に戻り、次のフレーム画像データの処理に移る。
　以上のステップＦ１０１～Ｆ１１３の処理が、フレーム画像データ入力毎に繰り返される過程で、図６～図１５に示したような動作推移動画が出力される。
　即ちステップＦ１１１での画像出力部４による合成画像データの出力によって、画像記録再生部４０は記録処理及び表示処理を行う。

　まず、フレーム画像データが入力され、画像合成が行われるたびにステップＦ１１１で合成画像データが動画を構成する１フレームとして画像記録再生部４０の表示ドライバ４４に出力される。
　表示ドライバ４４は、この合成画像データを動画の１フレームとして、表示部４５に表示させる。この結果、表示部４５には、図６～図１５に示したような動作推移動画が表示出力されることになる。
　つまり合成処理の過程が、そのまま表示される。

　また、ステップＦ１１１での出力によって、各合成画像データが記録される。
　即ち、画像出力部４からの合成画像データは、記録再生処理部４２に対して記録フレーム画像データとして供給される。
　記録再生処理部４２は、この各記録フレーム画像データを、動作推移動画を構成する各フレームとして処理を行い、記録媒体駆動部４３の動作を制御して、一連の動画データとして記録媒体に記録させていく。

　図２３で記録再生処理部４２の処理によって記録媒体に記録される記録フレーム画像データを説明する。
　図２３の(a)は、入力画選択部２に入力される元のフレーム画像データＦ１、Ｆ２・・・を模式的に示している。
　上述した処理で、フレームＦ１、Ｆ２、Ｆ３・・・がそれぞれ入力された時点で、それぞれ合成処理が行われ、図２３の(b)に示す各合成画像データ（ｒＦ１、ｒＦ２・・・）が生成される。
　この図２３の(b)の各合成画像データが、例えば図６～図１５のような１フレームの画像データである。

　この合成画像データが、記録フレーム画像データｒＦ１、ｒＦ２、ｒＦ３・・・として記録媒体に記録されていく。従って、動作推移動画としての一連の動画を形成する各フレームが保存されることになる。
　なお、この図２３の(b)からも分かるように、キーフレームの合成時の合成画像データだけでなく、非キーフレームの合成時の合成画像データも、記録フレーム画像データの１つとして記録される。

　ステップＦ１０１で、全フレーム取込終了と判断されると、処理はステップＦ１１４に進み、合成処理が終了されると共に、画像出力部４は、合成画像データの出力を終了する。或いは、表示部４５では、例えば図１５のような最終フレームの合成画像データを、継続して出力してもよい。つまり、表示部１４上では、図６～図１５の動作推移動画が完了して最後の図１５の画像が継続される状態となる。
　又この時点では、それまでの全ての合成画像データが、記録フレーム画像データとして記録媒体に記録された状態となる。

　以上の処理によれば、動作推移画像の自動生成において、動作可能範囲の拡大による動被写体の的確な表現と、多数の動被写体を並べることでの時間方向に精細な動作推移の表現の両立を実現することができる。
　特にレイヤー合成により、各動被写体画像が、例えばゴルフクラブの先端等が欠けずに的確に表現され、しかも多数の動被写体画像を並べることができ、時間的に細かい間隔で動作推移を表現できる。
　これにより、自己のスポーツのフォーメーションや、野生動物の複雑な動き、実験室における自然現象などを簡単に、かつ非常にわかりやすく確認することができるようになる。また画像データの切り貼りなどの手作業を必要としないのでユーザー負担も非常に軽く有用性が高い。

　また、動作推移動画を生成し、表示出力することができる。そしてこの動作推移動画は、各時点の合成画像データを動画として出力することで、視覚効果が高く、動作の推移をわかりやすく捕らえることのできるものとなる。
　また、各時点の合成画像データを動作推移動画のための記録フレーム画像データとして記録媒体に記録しておくことで、後ので時点での再生によって画像の合成過程を動的に表示することが可能となり、合成される各々の映像の関連性がユーザーに理解しやすく伝えられる。
　特に後述するドラッグ操作、フリック操作、ポイント操作として例を述べるように、ユーザにとって直感的に分かりやすい操作で、動作推移動画の再生や、各動作段階の画像再生を行うことが可能となる。

　また上記の生成処理例では、プロセス判定に基づいて合成処理を行うことで、効率的な処理が実現される。即ち３レイヤー、４レイヤーのレイヤー合成を伴うプロセスＰ５、Ｐ６での合成処理は、比較的処理負担が大きい処理となるが、これらが必要な画素領域のみで実行される。そしてレイヤー合成が不要な領域ではプロセスＰ１、Ｐ２、Ｐ３等の単純なコピー処理で対応できる。これにより処理の効率化、処理負担の低減が図られる。

　ここで図１６における、ステップＦ１０８，Ｆ１０９の処理について説明する。
　ステップＦ１０９のコピー処理とは、例えば図１４の時点で、上段の最後の動被写体を下段の最初の動被写体としてコピーする処理のことである。
　図１４に示すように、合成画像データの上段の右端（左から右へ移行する場合）の所定範囲を下段コピー範囲と設定しておく。
　そして、レイヤー処理部３は、プロセス判定を行い、合成画像データに合成した各列について、ステップＦ１０８では、その列（又は画素）が、下段コピー範囲（即ち上段の最後の領域）に該当するか否かを判別する。下段コピー範囲に該当した場合は、ステップＦ１０９で、その列の画素を、下段の対応位置にコピーしていく。
　この処理を行うことで、図１４のように、上段における下段コピー範囲の画像が合成される際には、同時に下段にも同じ画像が合成される。
　動作推移動画の表示上では、図１４の上段の最後の動被写体と、下段の最初の動被写体は、同じ画像が同時に表れてくることになる。

　このような処理を行うことで、下段コピー範囲の動被写体も、一部が途切れることなく、的確に表現されるものとなる。即ち被写体の状態によっては、上段の最後の画像の位置が途切れてしまうこともあるが、そのような被写体も下段に適切に表示される。またこれにより、上段の動作推移と、下段の動作推移が、見やすく移行するものとなる。

　なお、このようなステップＦ１０８，Ｆ１０９の処理は、図６～図１５の例のように、動作推移画像を画面上で複数段に表示する場合にのみ必要な処理である。
　例えば横長の画像として、横方向に全て並べていく（２段以上にしない）合成処理を行っても良いが、その場合は、ステップＦ１０８，Ｆ１０９の処理は不要である。

　上記処理を行う本実施の形態の画像処理装置１は、連続静止画または動画像が撮像できる撮像装置によって撮像された複数のフレーム画像データを取得できるものであればよい。例えば撮像装置に内蔵してもよいし、撮像された複数のフレーム画像データを再生する再生装置に内蔵されてもよい。さらには撮像された複数のフレーム画像データを受信／転送入力される機器に内蔵されてもよい。
　従って、例えば携帯電話機、ＰＤＡ（Personal Digital Assistant）、パーソナルコンピュータ、ビデオ再生装置、ビデオ編集装置などに広く適用できる。

［３．動作推移画像の再生表示処理例］
　＜３－１：ドラッグ操作＞
　上記のように、動作推移画像を構成する合成画像データ（記録フレーム画像データ）は、合成処理時に記録媒体に記録される。
　この記録媒体に記録された記録フレーム画像データを再生表示することで、ユーザは合成処理後の時点でも任意に動作推移画像を動画として見ることができる。

　即ち、図示しない操作部、又は表示内容に応じたタッチパネル４６からのユーザの再生操作によって、動作推移動画の再生が指示された場合、ＵＩ制御部４１は記録再生処理部４２に再生処理を指示する。
　すると、記録再生処理部４２では、記録媒体に記録した図２３の(b)のような記録フレーム画像データｒＦ１、ｒＦ２・・・を記録媒体駆動部４３に読み出させ、再生処理を行って表示ドライバ４４に供給する。
　表示ドライバ４４は、供給された各記録フレーム画像データｒＦ１、ｒＦ２・・・を順次表示部４５に表示させていく。
　すると図６～図１５に示したような動作推移動画が、表示部４５で表示される。
　これによって、ユーザは、単に図１５のような動作推移画像としての静止画だけでなく、図６～図１５が動画として、スイングフォーム等の画像を任意の時点で見ることができる。

　本例では、このような動作推移動画の再生だけでなく、ユーザが見たい段階の画像を容易に見ることができるようにする。
　例えば図６～図１５の動作推移動画を再生させた場合、ＵＩ制御部４１は、一連の記録フレーム画像データｒＦ１、ｒＦ２・・・を動画として再生させたら、図１５の最終フレームの記録フレーム画像データｒＦ（ｚ）を継続して表示出力させる。
　ここで、図１５のような最終フレームの記録フレーム画像データｒＦ（ｚ）は、キーフレームのみがほぼ等間隔で並んだ画像である。
　ユーザにとっては、キーフレームとキーフレームの間（つまり非キーフレームの画像）も見直したい場合もある。

　そこで本例では、ユーザがタッチパネル４６を用いた操作により、見たい段階の画像を容易に見ることができるようにする。
　まず、その操作手法としてドラッグ操作の例を述べる。

　図２４は、最終フレームの記録フレーム画像データｒＦ９３が表示されている状態を示している。
　なお、この記録フレーム画像データｒＦ９３は、図示のように元のフレーム画像データとしてのキーフレームＦ１，Ｆ６，Ｆ１１・・・・Ｆ９３が合成された合成画像データである。上記合成処理で言えば、元のフレーム画像データＦ９３が入力されたときに行われた、その時点での既存の合成画像データ（キーフレームＦ１～Ｆ８８の合成画像）と、フレームＦ９３の合成処理によるものである。
　この合成画像データは、記録フレーム画像データｒＦ９３として記録媒体に記録されている。
　そしてこの図２４は、例えばユーザが動作推移動画を再生させ、動画再生完了後に、最終フレームである、この記録フレーム画像データｒＦ９３が継続して表示出力されている状態である。

　ここで、破線枠で示す領域ＡＮは、表示されている中での最新のフレーム画像データＦ９３の領域であるとしている。
　なお、この場合の「最新のフレーム画像データ」とは、表示上での、合成前の元のフレーム画像データのうちで、最も時間軸上で後方となるフレーム画像データのことをいう。ここでは、あくまでも表示されてる再生画像は、合成画像データである記録フレーム画像データｒＦ９３であるが、「最新のフレーム画像データ」の領域ＡＮとは、元のフレーム画像データＦ９３からの動被写体や背景画像が配置された領域のことである。
　一例として、最新のフレーム画像データの領域ＡＮとは、例えば図１３の場合での今回のフレームの推移動作有効領域（Ａ２～Ａ５）の範囲としてもよい。或いは動被写体が主に位置する領域Ａ３、Ａ４の範囲などとして設定しても良い。

　このとき、タッチパネル４６に対する操作として、図のようにユーザが表示画面上を指で領域ＡＮ内から左方向になぞっていくようなドラッグ操作ｄｒｋを行ったとする。
　すると、図２５のように、ドラッグ操作ｄｒｋに応じて、再生画像が変化する。つまり、ドラック操作の終端位置に応じた再生画像が出力されるようにする。
　この例では、ドラッグ操作の終端位置は、元のフレーム画像データＦ５８に対応する位置であったとすると、この元のフレーム画像データＦ５８の合成時の合成画像データ（記録フレーム画像データｒＦ５８）までが再生される。
　即ち、記録フレーム画像データｒＦ９３の継続出力の状態から、ドラッグ操作に伴って、記録フレーム画像データｒＦ９２→ｒＦ９１→ｒＦ９０→・・・・と時間軸上、逆方向に各フレームが再生される。いわゆるリバース再生画面が、指の押圧位置の移動に応じて実行される。そして、ユーザがドラッグ操作が終了させた位置が、例えば記録フレーム画像データｒＦ５８の対応位置であれば、当該リバース再生が図２５の状態で終了し、図２５の記録フレーム画像データｒＦ５８の出力が継続される。つまり表示上は静止画状態となる。

　さらに続いてユーザが、図２５の表示に対し、その表示状態での最新のフレーム画像データの領域からドラッグ操作を行うとする。図２６のように、元のフレーム画像データＦ５８の領域が最新のフレーム画像データの領域ＡＮとなる。
　この領域ＡＮ内に指をあて、少しだけ右方にドラッグ操作ｄｒｋを行ったとする。
　そのドラッグ操作の終端位置が、元のフレーム画像データＦ５９に対応する位置であったとすると、図２７のように、元のフレーム画像データＦ５９の入力時の合成画像データである記録フレーム画像データｒＦ５９が再生される。つまり、通常方向に動画の１コマ進行する再生となる。

　例えばこの図２４から図２７の例のように、ユーザは、ドラッグ操作によって、動作推移画像の中での見たい段階の画像を容易に再生させることができる。
　つまりドラッグ操作中は、指でなぞっていく速度に応じて順方向又は逆方向の動画再生を見ることができ、ドラッグ操作を終了したら、その終了位置に対応する静止画を見ることができる。
　なお、上記例における元のフレーム画像データＦ５８，Ｆ５９は非キーフレームである。図２３で説明したように、キーフレーム入力時の合成画像データだけでなく、非キーフレームの入力時の合成画像データも、それぞれ区別なく一連の動画を構成する記録フレーム画像データとして記録される。従って、再生時には元のフレーム画像データがキーフレームであったか否かは関係ないものとなる。
　換言すれば、このようにキーフレーム、非キーフレームの区別なく、合成画像データを記録しておくことで、元の全てのフレーム画像データの各段階の画像を、ユーザは任意に見ることができるようになる。

　ドラッグ操作に応じた表示変化を図２８にまとめる。
　図２８の(a)のように、ユーザが表示上で最新のフレーム画像データの領域ＡＮ内から右方向にドラッグ操作ｄｒｋを行うことで、操作結果として、そのドラッグ操作の終端位置に対応するフレームまでが再生表示される。画面上では、動被写体の画像が展開されていくイメージとして視認される。
　図２８の(b)のように、ユーザが表示上で最新のフレーム画像データの領域ＡＮ内から左方向にドラッグ操作ｄｒｋを行うことで、操作結果として、そのドラッグ操作の終端位置に対応するフレームまでがリバース再生表示される。画面上では、動被写体の画像が畳まれていくイメージとして視認される。

　一方、図２８の(c)は、ユーザが表示内での最新のフレーム画像データの領域ＡＮ以外の部分でドラッグ操作ｄｒｋを行った場合を示している。この場合は、一例として、ドラッグ操作を無効とし、表示上での再生画像は変化させないこととすることが考えられる。
　ただし、もちろん、このような場合にも、例えばドラッグ操作の終端位置までの各記録フレーム画像データの再生を行うという処理例も考えられる。

　以上のようなドラッグ操作に応じた再生制御例としての処理を説明する。
　以下に述べる処理は、ＵＩ制御部４１がタッチパネル４６の入力に応じて記録再生処理部４２等を制御する処理となる。
　ＵＩ制御部４１は、タッチパネル４１により検知されるドラッグ操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を実行させる。

　なお、表示上の位置（タッチパネル上の位置）と、フレーム位置の対応関係は次のように把握する。
　ここでは図２４のような画面上２段の表示ではなく、図２８のように画面上は１段で全て横方向に並べる動作推移動画であるとして説明する。
　その場合、表示部４５の画面上（タッチパネル４６上）の横方向の座標としてｘ座標を考える。
　一連の元のフレーム画像データについて、ｎ番目のフレームＦｎのｘ座標を、
　ｘ＝ｆｘ（ｎ）
とする。また、その逆変換関数を、
　ｎ＝Ｆｘ（ｘ）
とする。
　このタッチパネル６４上のｘ座標と、フレームナンバｎの関数を用いることで、ドラッグ操作の移動量に応じて、再生すべき記録フレーム画像データを判定することができる。

　なお図２３の説明からも分かるように、元のフレーム画像データ「Ｆ１」の位置に対応して再生対象となる記録フレーム画像データは「ｒＦ１」である。同様に元のフレーム画像データ「Ｆ２」の位置に対応して再生対象となる記録フレーム画像データは「ｒＦ２」である。以降の各フレームも同様である。
　そして上記関数は次のように考える。
　例えば図２３の(c)の記録フレーム画像データｒＦ４は、元のフレーム画像データＦ４に対応し、元のフレーム画像データＦ４の記録フレーム画像データｒＦ４内での描画位置のｘ座標値＝ｗであるとする。
　この場合、ｘ座標値＝ｗ、フレームナンバｎ＝４であることから、
　ｗ＝ｆｘ（４）
　４＝Ｆｘ（ｗ）
となる。
　そして得られるフレームナンバ「４」とは、元のフレーム画像データＦ４のフレームナンバであるが、これが再生対象のフレームナンバとして、記録フレーム画像データｒＦ４を示すものとなる。

　また、図２４のような上下二段の動作推移画像のときは　縦方向のｙ座標を用いて関数処理してもよいが、下段はそのまま上段の続きとしてｘ座標が進行するとすれば、上記を関数をそのまま適用できる。例えば上段はｘ座標が０～ｎ、下段のｘ座標がｎ＋１～ｍとして、０～ｍのｘ座標を設定した場合である。この場合、タッチパネル４６上のｙ座標は、単に上段か下段かを判別するのみで用いればよい。

　図２９にドラッグ操作対応処理としてのＵＩ制御部４１の処理例を示す。
　或る記録フレーム画像データｒＦｍを再生させているときに、タッチパネル４６による操作が検知された場合、ＵＩ制御部４１はステップＦ４０１で、まず最初にドラッグ開始位置としてのｘ座標値ｘ１を取得する。つまり、最初にタッチパネル４６に対してユーザが触れた位置をドラッグ開始位置として、そのｘ座標値を検出する。

　ステップＦ４０２では、ＵＩ制御部４１は、当該ドラッグ開始位置ｘ１が、その時点の表示内容における最新のフレーム画像データの領域ＡＮ内であるか否かを判定する。
　図２８の(c)に示したように、ドラッグ開始位置ｘ１が領域ＡＮの範囲でなければ、今回のドラッグ操作は無効なものとするため、その場合はステップＦ４０２から図２９のドラッグ操作対応処理を終える。
　一方、ドラッグ開始位置ｘ１が領域ＡＮ内であればステップＦ４０３～Ｆ４０５の処理を行う。

　ＵＩ制御部４１はステップＦ４０３では、ドラッグ操作の経過位置ｘ２を取得する。つまり、ユーザがドラッグ開始位置ｘ１から指をずらしていくことで移動したタッチパネル押圧位置としての、この時点のタッチ位置のｘ座標値である。
　ステップＦ４０４ではＵＩ制御部４１は、描画するフレーム位置の演算を行う。
　この場合ドラッグ移動量Δｘとして、
　Δｘ＝ｘ２－ｘ１
　の計算を行う。
　なお、図２８の(a)のように右方向へのドラッグ操作の場合、ドラッグ移動量Δｘは正値となり、図２８の(b)のように左方向へのドラッグ操作の場合、ドラッグ移動量Δｘは負値となるとする。（動作推移が左から右に進行し、またｘ座標値が例えば画面左端を０として右に正値で進行するとした場合）
　つまりドラッグ移動量Δｘの正負は、ドラッグ方向を示すものとなり、この場合のドラッグ移動量Δｘは、ドラッグ移動量とドラッグ方向を合わせて示す値となる。
　そしてｎ＝Ｆｘ（ｘ１＋Δｘ）の関数演算により、フレームナンバｎを得る。
　フレームナンバｎの記録フレーム画像データｒＦｎまでが、単位時間のドラッグ操作に応じて再生すべきフレームとなる。

　そこでＵＩ制御部４１は、ステップＦ４０５で、記録再生処理部４２及び表示ドライバ４４を制御してフレーム描画を実行させる。
　即ちドラッグ開始時点に表示中の或る記録フレーム画像データｒＦｍから、フレームナンバｎの記録フレーム画像データｒＦｎまでを再生させる。
　この場合、ｒＦｍ＜ｒＦｎであれば、記録再生処理部４２は、記録フレーム画像データｒＦｍ→ｒＦ（ｍ＋１）→ｒＦ（ｍ＋２）・・・ｒＦＮと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ４４に供給する。表示ドライバ４４は供給された記録フレーム画像データｒＦｍ～ｒＦＮを順次表示部４５に表示させる。
　これによって図２８の(a)のような表示が実行される。
　また、ｒＦｍ＞ｒＦｎであれば、記録再生処理部４２は、記録フレーム画像データｒＦｍ→ｒＦ（ｍ－１）→ｒＦ（ｍ－２）・・・ｒＦＮと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ４４に供給する。表示ドライバ４４は供給された記録フレーム画像データｒＦｍ～ｒＦＮを順次表示部４５に表示させる。
　これによって図２８の(b)のような表示が実行される。

　ＵＩ制御部４１はステップＦ４０６では、ユーザが指を離したか否か、つまりドラッグ操作が終了されたか否かを判別する。
　ドラッグ操作が終了されていれば、処理を終える。この場合、ＵＩ制御部４１は、記録再生処理部４２及び表示ドライバ４４には、以降、ドラッグ終了時点でのフレーム画像データｒＦｎを継続出力させるように指示する。
　一方、ドラッグ操作が継続していれば、ステップＦ４０７でｘ２の値をｘ１に代入する。つまりその時点での経過位置ｘ２を、次の単位時間でのドラッグ開始位置ｘ１をみなすようにする。そして再びステップＦ４０３に戻って同様のステップＦ４０３～Ｆ４０５の処理を行う。従って、引き続き継続されているドラッグ操作に応じた再生が行われる。

　このように単位時間毎にステップＦ４０３～Ｆ４０５の処理が行われることで、ユーザのドラッグ操作としての継続した指の動きに応じて、図２８の(a)（ｂ）のようい画像が展開され、又は畳まれていく。
　つまりＵＩ制御部４１は、単位時間毎にタッチパネル４１により検知されるドラッグ操作量及びドラッグ操作方向を検出する。そして現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに、その開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定する。そして開始フレーム位置から終了フレーム位置までの各記録フレーム画像データを順次、再生させることになる。

　このようなドラッグ対応処理により、動作推移画像としての各段階の合成画像データを再生することで、画像の合成過程を動的に表示することが可能となるとともに、合成過程におけるユーザの見たい段階での再生画像を、ユーザにとって容易な操作で提供できる。
　特に動画の時間軸上の位置と、タッチパネルによる空間軸上の位置を関連づけることによって、より直感的な操作が可能となる。

　なお、図２９のステップＦ４０２の判断を無くし、領域ＡＮ以外でのドラッグ操作であっても、それを無効とせずに、ドラッグ操作量及び方向に応じて上記再生処理を行うようにしてもよい。その場合は、ドラッグ開始位置ｘ１を、その時点の領域ＡＮの位置とすることが考えられる。

　＜３－２：フリック操作＞
　次に、他の操作例としてフリック操作を説明する。
　フリック操作とは、ユーザがタッチパネル４６上を指ではじくような操作である。

　図３０にフリック操作に応じた再生態様を示す。
　図３０の(a)のように、ユーザが表示上で最新のフレーム画像データの領域ＡＮ内から右方向にフリック操作を行ったとする。つまり図３０の(b)のように領域ＡＮ内を右方向に指ではじいたとする。
　この場合、操作結果として、そのフリック操作に応じて所定のフレームまでが再生表示される。画面上では、動被写体の画像が展開されていくイメージとして視認される。
　また図３０の(c)のように、ユーザが表示上で最新のフレーム画像データの領域ＡＮ内から左方向にフリック操作を行った場合は、そのフリック操作に応じて所定のフレームまでがリバース再生表示される。画面上では、動被写体の画像が畳まれていくイメージとして視認される。

　なお、図示していないが、ユーザが表示内での最新のフレーム画像データの領域ＡＮ以外の部分でフリック操作を行った場合は、一例として、フリック操作を無効とし、表示上での再生画像は変化させないこととすることが考えられる。
　ただし、もちろん、このような場合にも、フリック操作に応じて各記録フレーム画像データの再生を行うという処理例も考えられる。

　ＵＩ制御部４１は、このように、タッチパネル４６により検知されるフリック操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を実行させる制御を行う。
　ＵＩ制御部４１によるフリック操作対応処理の例を図３１に示す。

　或る記録フレーム画像データｒＦｍを再生させているときに、タッチパネル４６による操作が検知された場合、ＵＩ制御部４１はステップＦ５０１で、フリック操作位置としてのｘ座標値ｘ１を取得する。つまり、最初にタッチパネル４６に対してユーザが触れた位置をフリック操作位置として、そのｘ座標値を検出する。

　ステップＦ５０２では、ＵＩ制御部４１は、当該フリック操作位置ｘ１が、その時点の表示内容における最新のフレーム画像データの領域ＡＮ内であるか否かを判定する。
　フリック操作位置ｘ１が領域ＡＮの範囲でなければ、今回のフリック操作は無効なものとし、ステップＦ５０２から図３１のフリック操作対応処理を終える。
　一方、フリック操作位置ｘ１が領域ＡＮ内であればステップＦ５０３に進む。

　ＵＩ制御部４１はステップＦ５０３では、フリック操作の速度ｖｄを取得する。例えばフリック操作の際の、或る単位時間での押圧位置のｘ座標の微小な変化量により、フリック速度Ｖｄを算出する。
　なお、フリック方向が右方向（図３０の(a)の例の場合）であれば、フリック速度Ｖｄは正値となるようにする。またフリック方向が左方向（図３０の(c)の例の場合）であれば、フリック速度Ｖｄは負値となるようにする。

　次にステップＦ５０４でＵＩ制御部４１は、フリック速度Ｖｄに応じて、変位距離Δｘを算出する。ここでいう変位距離Δｘは、再生させるフレーム数に相当する。
　例えばフリック速度Ｖｄの絶対値に対して、フレーム数を対応付けておく。例えばフリック速度が速いほど多数のフレーム数に相当する変位距離Δｘとなるような線形関数もしくは非線形関数を設定しておく。
　つまりユーザが素早く指ではじいた場合は、多数のフレームが再生され、ゆっくり指ではじいた場合は、小数のフレームが再生されるようにするものである。
　右方向に素早くはじいた場合、変位距離Δｘの値は正値で大きい値となる。
　右方向にゆっくりはじいた場合、変位距離Δｘの値は正値で小さい値となる。
　左方向に素早くはじいた場合、変位距離Δｘの値は負値で絶対値が大きい値となる。
　左方向にゆっくりはじいた場合、変位距離Δｘの値は負値で絶対値が小さい値となる。

　ステップＦ５０５では、ＵＩ制御部４１はｎ＝Ｆｘ（ｘ１＋Δｘ）の関数演算により、フレームナンバｎを得る。
　フレームナンバｎの記録フレーム画像データｒＦｎまでが、今回のフリック操作に応じて再生すべきフレームとなる。

　そこでＵＩ制御部４１は、ステップＦ５０６で、記録再生処理部４２及び表示ドライバ４４を制御してフレーム描画を実行させる。
　即ち現在表示中の或る記録フレーム画像データｒＦｍから、フレームナンバｎの記録フレーム画像データｒＦｎまでを再生させる。
　この場合、ｒＦｍ＜ｒＦｎであれば、記録再生処理部４２は、記録フレーム画像データｒＦｍ→ｒＦ（ｍ＋１）→ｒＦ（ｍ＋２）・・・ｒＦＮと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ４４に供給する。表示ドライバ４４は供給された記録フレーム画像データｒＦｍ～ｒＦＮを順次表示部４５に表示させる。
　これによって図３０の(a)のような表示が実行される。
　また、ｒＦｍ＞ｒＦｎであれば、記録再生処理部４２は、記録フレーム画像データｒＦｍ→ｒＦ（ｍ－１）→ｒＦ（ｍ－２）・・・ｒＦＮと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ４４に供給する。表示ドライバ４４は供給された記録フレーム画像データｒＦｍ～ｒＦＮを順次表示部４５に表示させる。
　これによって図３０の(c)のような表示が実行される。

　ＵＩ制御部４１は、以上で１回のフリック操作に応じた処理を終える。
　なお以降、ＵＩ制御部４１は、記録再生処理部４２及び表示ドライバ４４には、フリック操作に応じた再生の終了時点でのフレーム画像データｒＦｎを継続出力させるように指示する。

　このようにフリック操作対応処理が行われることで、ユーザのフリック操作に応じて、図３０の(a)（ｃ）のようい画像が展開され、又は畳まれていく。
　つまりＵＩ制御部４１は、タッチパネル４１により検知されるフリック操作速度及びフリック操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定する。そして開始フレーム位置から終了フレーム位置までの各記録フレーム画像データを順次、再生させることになる。

　このようなフリック対応処理により、動作推移画像としての各段階の合成画像データを再生することで、画像の合成過程を動的に表示することが可能となるとともに、合成過程におけるユーザの見たい段階での再生画像を、ユーザにとって容易かつ直感的な操作で提供できる。

　なお、図３１のステップＦ５０２の判断を無くし、領域ＡＮ以外でのフリック操作であっても、それを無効とせずに、フリック操作速度及び方向に応じて上記再生処理を行うようにしてもよい。その場合は、ドラッグ開始位置ｘ１を、その時点の領域ＡＮの位置とすることが考えられる。
　或いは、フリック操作の場合は、フリック速度にかかわらず、常に一定の変位距離Δｘを用いるという処理も考えられる。
　例えば１回のフリック操作では、常に１０フレーム再生が進行するなどとする例である。

　＜３－３：ポイント操作＞
　次に、さらに他の操作例としてポイント操作を説明する。
　ポイント操作とは、ユーザがタッチパネル４６上で或る位置を触れて指定する操作である。

　図３２にポイント操作に応じた再生態様を示す。
　図３２の(a)のように、ユーザが表示上で或る位置に触れたとする。例えばその時点の表示内容として、何も表示されていない位置である。この場合、操作結果として、そのポイント操作に応じて所定のフレームまでが再生表示される。画面上では、動被写体の画像が展開されていくイメージとして視認される。
　また図３２の(b)のように、ユーザが表示上で、或るフレーム画像データの位置にポイント操作を行った場合は、そのポイント操作に応じて所定のフレームまでがリバース再生表示される。画面上では、動被写体の画像が畳まれていくイメージとして視認される。

　ＵＩ制御部４１は、このように、タッチパネル４６により検知されるポイント操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を実行させる制御を行う。
　ＵＩ制御部４１によるポイント操作対応処理の例を図３３に示す。

　或る記録フレーム画像データｒＦｍを再生させているときに、タッチパネル４６による操作が検知された場合、ＵＩ制御部４１はステップＦ６０１で、ポイント操作位置としてのｘ座標値ｘｐを取得する。つまり、タッチパネル４６に対してユーザが触れた位置のｘ座標値を検出する。

　ステップＦ６０２では、ＵＩ制御部４１は、当該ポイント操作位置ｘｐを用いた関数演算として、
　ｎ＝Ｆｘ（ｘｐ）
を行い、ポイント操作位置ｘｐに対応するフレームナンバを求める。
　フレームナンバｎの記録フレーム画像データｒＦｎまでが、今回のポイント操作に応じて再生すべきフレームとなる。

　そこでＵＩ制御部４１は、ステップＦ６０３で、記録再生処理部４２及び表示ドライバ４４を制御してフレーム描画を実行させる。
　即ち現在表示中の或る記録フレーム画像データｒＦｍから、フレームナンバｎの記録フレーム画像データｒＦｎまでを再生させる。
　この場合、ｒＦｍ＜ｒＦｎであれば、記録再生処理部４２は、記録フレーム画像データｒＦｍ→ｒＦ（ｍ＋１）→ｒＦ（ｍ＋２）・・・ｒＦＮと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ４４に供給する。表示ドライバ４４は供給された記録フレーム画像データｒＦｍ～ｒＦＮを順次表示部４５に表示させる。
　これによって図３２の(a)のような表示が実行される。
　また、ｒＦｍ＞ｒＦｎであれば、記録再生処理部４２は、記録フレーム画像データｒＦｍ→ｒＦ（ｍ－１）→ｒＦ（ｍ－２）・・・ｒＦＮと順に各記録フレーム画像データを記録媒体から読み出す処理を行い、表示ドライバ４４に供給する。表示ドライバ４４は供給された記録フレーム画像データｒＦｍ～ｒＦＮを順次表示部４５に表示させる。
　これによって図３２の(b)のような表示が実行される。

　ＵＩ制御部４１は、以上で１回のポイント操作に応じた処理を終える。
　なお、ＵＩ制御部４１は以降、記録再生処理部４２及び表示ドライバ４４には、ポイント操作に応じた再生の終了時点でのフレーム画像データｒＦｎを継続出力させるように指示する。

　このようにポイント操作対応処理が行われることで、ユーザのポイント操作に応じて、図３２の(a)（ｂ）のようい画像が展開され、又は畳まれていく。
　つまりＵＩ制御部４１は、タッチパネル４１により検知されるポイント操作位置ｘｐに応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定する。そして開始フレーム位置から終了フレーム位置までの各記録フレーム画像データを順次、再生させることになる。

　このようなポイント対応処理により、動作推移画像としての各段階の合成画像データを再生することで、画像の合成過程を動的に表示することが可能となるとともに、合成過程におけるユーザの見たい段階での再生画像を、ユーザにとって容易かつ直感的な操作で提供できる。

　なお、次のような処理も考えられる。
　ポイント操作位置ｘｐが、現在の最新のフレーム画像データＡＮの位置より後方のｘ座標値、つまり図３２の(a)のように画像表示の無い領域であれば、所定フレーム数の順方向再生を行う。一方、ポイント操作位置ｘｐが、現在の最新のフレーム画像データＡＮの位置より前方のｘ座標値、つまり図３２の(b)のように、若いナンバのフレーム画像データに対応する位置であれば、所定フレーム数のリバース再生を行う。即ち、前方／後方のみを指定するものとし、再生フレーム数は一定とする処理例である。

　＜３－４：他の操作例＞
　以上、ドラッグ操作、フリック操作、ポイント操作の例を挙げたが、操作例は他にも各種考えられる。
　例えばドラッグ＆ドロップ操作として、指を離した位置をドロップ位置とする。そしてドロップ時点で、ドラッグ開始位置からドロップ位置にまでの対応する記録フレーム画像データを動画再生すると言うことが考えられる。

　また、上記のドラッグ操作、フリック操作、ポイント操作の例では、それらの操作で指定される区間の複数フレームを動画再生するとしたが、それらの区間でフレームを間引いて間欠的な動画再生を行っても良い。
　或いは、動画再生とはせず、いきなりドラッグ終了位置、ポイント操作位置に対応する記録フレーム画像データを静止画として再生表示させることも考えられる。

　また、２回のポイント操作によって２つの位置を指定するものとし、その位置の間に対応する各フレームを動画再生すると言うことも考えられる。
　また動作推移画像が左右方向に並べられる例であるため、上記各処理例ではｘ座標値を用いたが、動作推移画像が上下に並べられる画像であれば、当然ｙ座標値に置き換えて考えればよい。

　また、上記例ではタッチパネル４６を用いて操作を行うものとしたが、タッチパネル以外の操作入力デバイスにより操作を行うこともできる。
　例えばマウスを用いて、ドラッグ操作、フリック操作、ポイント操作を行うことが想定される。
　さらにリモートコントローラを用いた操作も考えられる。例えばクリックボタンや角速度センサ、加速度センサ等を供えたリモートコントローラを用いれば、画面上のポインタを移動させるなどとしてドラッグ操作、フリック操作、ポイント操作を行うことも容易である。また、画面上に光入力位置の座標検出ができる検出部を備えるようにして、光を画面上に当てるレーザポインタ等で操作を行うこともできる。

［４．表示制御装置としての他の視点の構成］
　上記実施の形態において、画像記録再生部４０，又はＵＩ制御部４１は、次の（Ａ）（Ｂ）（Ｃ）の構成の表示制御装置と捉えることができる。

　（Ａ）予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御する表示制御装置である。
　（Ｂ）上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御する。
　（Ｃ）ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御部を備えている。

　この場合、予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域とは、例えば図２４のような各フレーム画像データの表示領域に相当する領域である。
　この各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容とは、例えば図２４～図２７のそれぞれのように、多数の動被写体が並んだ表示をいう。
　そして同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御する。例えば図２４～図２７のそれぞれのように、同一人物等としての同一の動被写体の各時点での状態（例えばゴルフスイング過程の各状態）の画像が、表示上で時系列順序で並んで表示されるようにする。
　さらに、ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際とは、上記のドラッグ操作、フリック操作、ポイント操作等の際に相当する。また動画的再生処理としては、ユーザ指示に限らず、動画や擬似的な動画が再生される各種の場合をいう。
　このような際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する。つまり、表示中の状態と異なる時点での同一の動被写体を表示させるときには、その各動被写体画像の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示させるようにする。例えば表示内容を図２４から図２５に変化させるような場合である。

　以上は、上記（Ａ）（Ｂ）（Ｃ）の構成を上述した実施の形態における例で述べたものであるが、このような構成の場合、表示する対象は、上述の合成画像データとしての記録フレーム画像データに限られない。
　即ちどのようなソースの画像であろうと、時系列順に並ぶ同一の動被写体の各時点の画像を、画面上に分割し、時系列順に並べて表示する場合に適用できる。

［５．プログラム］
　以上の実施の形態は、画像処理装置１として説明したが、本発明の表示制御装置は動作推移画像の再生表示を行う専用装置とする他、画像表示処理を行う各種機器に適用できる。例えば撮像装置、家庭用又は業務用の画像記録再生装置、ゲーム機器、ビデオ編集機、などが想定される。
　さらに、汎用のパーソナルコンピュータその他の情報処理装置において、表示制御装置を実現することも当然想定される。
　例えば図２９、図３１、図３３のような各種操作に対応する処理を演算処理装置に実行させるプログラムを画像表示処理アプリケーションソフトウエアとして提供することで、パーソナルコンピュータ等において、適切な画像表示処理を実現できる。

　即ち画像処理装置１の表示処理を実現するプログラムとは、次のような各ステップを演算処理装置に実行させるプログラムである。
　即ち、フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体を対象とする。
　そして或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対するユーザ指示を検知するステップと、検知された上記ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生制御を行い、再生された記録フレーム画像データの表示制御を行うステップとを実行させる。

　また例えばＵＩ制御部４１の表示制御処理を実現するプログラムとしては、次のような処理を演算処理装置に実行させるプログラムである。
　即ち、まず予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるよう表示画面の表示内容を制御するプログラムである。そして、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御する。またユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるようにする表示制御を実行させる。

　これらのようなプログラムにより、本発明をパーソナルコンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）、その他画像データを用いる多様な情報処理装置において容易に実現できる。

　なお、これらのプログラムは、パーソナルコンピュータ等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭやフラッシュメモリ等に予め記録しておくことができる。
　あるいはまた、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ、ブルーレイディスク、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　１　画像処理装置、２　入力画選択部、３　レイヤー処理部、４　画像出力部、５　合成画像更新保持部、１０　画像入力部、１１　動被写体情報生成部、１２　動被写体情報入力部、２１　キーフレーム判定部、２２　座標計算部、３１　レイヤー分離部、３２　レイヤー加工部、３３　レイヤー合成部、４０　画像記録再生部、４１　ＵＩ制御部、４２　記録再生処理部、４３　記録媒体駆動部、４４表示ドライバ、４５　表示部、４６　タッチパネル

Claims

　フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、上記記録フレーム画像データの再生処理を行う再生処理部と、
　ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、上記再生処理部に判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行う表示制御部と、
　を備えた表示制御装置。
　上記表示制御部は、上記ユーザ指示として検知されるドラッグ操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う請求項１に記載の表示制御装置。
　上記表示制御部は、上記ユーザ指示として検知される単位時間毎のドラッグ操作量及びドラッグ操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う請求項２に記載の表示制御装置。
　上記表示制御部は、上記ユーザ指示として検知されるフリック操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う請求項１に記載の表示制御装置。
　上記表示制御部は、上記ユーザ指示として検知されるフリック操作速度及びフリック操作方向に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う請求項４に記載の表示制御装置。
　上記表示制御部は、上記ユーザ指示として検知されるポイント操作に応じて、現在再生出力中の記録フレーム画像データのフレーム位置から、前方又は後方のフレーム位置となる記録フレーム画像データの再生を上記再生処理部に実行させ、再生された記録フレーム画像データの表示制御を行う請求項１に記載の表示制御装置。
　上記表示制御部は、上記ユーザ指示として検知されるポイント操作の位置に応じて、現在再生出力中の記録フレーム画像データのフレーム位置を開始フレーム位置としたときに該開始フレーム位置から前方又は後方のフレーム位置となる終了フレーム位置を判定し、上記開始フレーム位置から上記終了フレーム位置までの各記録フレーム画像データを順次、上記再生処理部に再生させ、再生された記録フレーム画像データの表示制御を行う請求項６に記載の表示制御装置。
　上記ユーザ指示の入力のため、上記記録フレーム画像データを再生出力する表示部に対して設けられたタッチパネル部が設けられた請求項１に記載の表示制御装置。
　フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対するユーザ指示を検知するステップと、
　検知された上記ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行うステップと、
　を備えた表示制御方法。
　フレーム画像データの入力毎に順次画像合成処理を行って生成された各合成画像データであって、各フレーム画像データの動被写体画像が順次所定の方向に並んで配置されていく動画表示が実行可能とされる各合成画像データが、一連の記録フレーム画像データとして記録されている記録媒体から、或る記録フレーム画像データが読み出されて再生表示されている際に、その再生表示に対するユーザ指示を検知するステップと、
　検知された上記ユーザ指示に応じて、上記一連の記録フレーム画像データのうちでの再生すべきフレーム位置を判定し、判定したフレーム位置の記録フレーム画像データの再生を実行させ、再生された記録フレーム画像データの表示制御を行うステップと、
　を演算処理装置に実行させるプログラム。
　表示画面の表示内容を制御する表示制御装置において、
　予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるとともに、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように上記表示内容を制御し、またユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する制御信号を生成する制御信号生成部と、
　上記制御信号を上記表示画面の表示内容を制御するように出力する制御信号出力部と
　を備えた表示制御装置。
　表示画面の表示内容を制御する表示制御方法において、
　予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるとともに、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御し、
　ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるように表示制御する表示制御方法。
　表示画面の表示内容を制御するプログラムであって、
　予め設定された領域数を有し、所定の順番で配置された分割表示領域を有する表示画面の各分割表示領域に、同一の動被写体を連続的に撮像して得た互いに異なる時間における同一の動被写体を表す画像が同時に表示されるとともに、上記同一の動被写体の時系列に応じた順番で、上記各分割表示領域に表示される上記同一の動被写体を表す画像が配置されるように、上記表示内容を制御し、
　ユーザ指示または動画的再生処理に応じて、上記表示画面に表示されている表示内容と異なる時間における同一の動被写体を表す画像を含む表示内容とする際に、上記異なる時間における同一の動被写体を含んだ同一の動被写体の各画像が、上記同一の動被写体の時系列に応じた順番を維持した状態で、上記分割表示示領域のそれぞれに表示されるようにする表示制御を演算処理装置に実行させるプログラム。