JP7176257B2 - 情報処理装置およびプログラム - Google Patents

Description

本発明は、情報処理装置およびプログラムに関する。

特許文献１には、前回の再生中断位置から再生を開始する場合に、再生中断位置よりも戻った位置から再生開始するようにし、さらに戻り量を中断した時間長に応じて可変するようにしたディスクドライブ装置が開示されている。

特許文献２には、コンテンツの任意の位置にしおりを追加できるようにして、所定の再生位置からコンテンツを再生することができるようにした画像記録再生装置が開示されている。

特許文献３には、コンテンツのフレーム情報量を自動的に抽出して、抽出したフレーム情報量に応じてコンテンツの再生速度を調整することで、コンテンツを視聴者にとって最適な再生速度に自動変換して出力することが可能な情報再生装置が開示されている。

特開２００１－２２９６５７号公報 特開２００２－０４４５８６号公報 特開２００９－１８２８０３号公報

本発明の目的は、動画像と同期させて静止画像の表示内容を変更して表示する場合、静止画像の表示内容を変更する時刻を設定した際に、設定した時刻の微調整を行うことが可能な情報処理装置およびプログラムを提供することである。

［情報処理装置］
請求項１に係る本発明は、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付手段と、
前記受付手段により静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替手段とを備えた情報処理装置である。

請求項２に係る本発明は、静止画像の表示内容を変更する時刻の設定指示が、静止画像を次の頁に切り替える切替タイミングの設定指示または静止画像内に表示要素を付加する付加タイミングの設定指示である請求項１記載の情報処理装置である。

請求項３に係る本発明は、前記切替手段により動作状態が調整状態に切り替えられる前に、調整状態に移行するか否かを使用者に確認する確認手段をさらに備え、
前記切替手段は、前記確認手段により調整状態に移行することが使用者により許可された場合に、動作状態を調整状態に切り替える請求項１又は２記載の情報処理装置である。

請求項４に係る本発明は、前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備えた請求項１から３のいずれか記載の情報処理装置である。

請求項５に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の調整が完了するまで繰り返し再生する請求項４記載の情報処理装置である。

請求項６に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の設定を行う設定状態における動画像の再生速度よりも遅い再生速度で再生する請求項４記載の情報処理装置である。

請求項７に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、複数の異なる再生速度で再生する請求項４記載の情報処理装置である

請求項８に係る本発明は、前記動画像再生手段が、抽出された再生区間の動画像を、静止画像の表示内容を変更するよう設定指示が行われた時刻に近い再生区間ほど遅い再生速度で再生する請求項７記載の情報処理装置である。

請求項９に係る本発明は、前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における再生位置を示す再生位置表示画像が表示されるように制御する表示制御手段をさらに備えた請求項１記載の情報処理装置である。

請求項１０に係る本発明は、前記表示制御手段が、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として異なった時間間隔となるように前記再生位置表示画像を表示する請求項９記載の情報処理装置である。

請求項１１に係る本発明は、前記表示制御手段が、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻に近いほど長くなるように前記再生位置表示画像を表示する請求項１０記載の情報処理装置である。

請求項１２に係る本発明は、前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声の文字画像が表示されるように制御する表示制御手段をさらに備えた請求項１記載の情報処理装置である。

請求項１３に係る本発明は、前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備え、
前記動画像再生手段が、音声の文字画像が表示されるよう前記表示制御手段により制御されるか否かに応じて、異なる再生形態により動画像を再生する請求項１２記載の情報処理装置である。

請求項１４に係る本発明は、前記動画像再生手段が、音声の文字画像が表示されるよう前記表示制御手段により制御される場合には、動画像を一時停止状態で再生する請求項１３記載の情報処理装置である。

請求項１５に係る本発明は、前記動画像再生手段が、音声の文字画像が表示されるよう前記表示制御手段により制御されない場合には、抽出された再生区間の動画像を繰り返し再生する請求項１３記載の情報処理装置である。

請求項１６に係る本発明は、前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声レベルを示す画像が表示されるように制御する表示制御手段をさらに備えた請求項１記載の情報処理装置である。

請求項１７に係る本発明は、現在の動作状態が、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定を行う設定状態であるのか前記調整状態であるのかが分かるよう表示するよう制御する表示制御手段をさらに備えた請求項１記載の情報処理装置である。

請求項１８に係る本発明は、前記切替手段が、使用者の操作により静止画像の表示内容を変更する時刻の調整が完了した旨が入力された場合に、動作状態を調整状態から設定状態に切り替える請求項１記載の情報処理装置である。

請求項１９に係る本発明は、前記切替手段が、使用者の指示がなく抽出された再生区間の再生が完了した場合に、動作状態を調整状態から設定状態に切り替える請求項４記載の情報処理装置である。

［プログラム］
請求項２０に係る本発明は、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付ステップと、
前記受付ステップにおいて静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替ステップと、
をコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、動画像と同期させて静止画像の表示内容を変更して表示する場合、静止画像の表示内容を変更する時刻を設定した際に、設定した時刻の微調整を行うことが可能な情報処理装置を提供することができる。

請求項２に係る本発明によれば、動画像と同期させて静止画像を次の頁に切り替えたり静止画像内に表示要素を付加して表示する場合、切替タイミングや付加タイミングを設定した際に、設定した切替タイミングや付加タイミングの微調整を行うことが可能な情報処理装置を提供することができる。

請求項３に係る本発明によれば、静止画像の表示内容を変更する時刻が設定された際に、使用者の意志に関わらず、動作状態が調整状態に常に切り替えってしまうことを防ぐことが可能な情報処理装置を提供することができる。

請求項４に係る本発明によれば、使用者は、再生される動画像を視聴しながら、設定した時刻の微調整を行うことが可能な情報処理装置を提供することができる。

請求項５に係る本発明によれば、使用者が再生区間を１回視聴しただけでは設定した時刻の微調整を行うことができなかった場合でも、再生される動画像を視聴しながら、設定した時刻の微調整を繰り返し行うことが可能な情報処理装置を提供することができる。

請求項６に係る本発明によれば、設定状態における動画像の再生速度と同じ再生速度で抽出された再生区間の動画像を再生する場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。

請求項７に係る本発明によれば、抽出された再生区間の動画像を一定の再生速度で再生する場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。

請求項８に係る本発明によれば、抽出された再生区間の動画像を一定の再生速度で再生する場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。

請求項９に係る本発明によれば、再生位置表示画像を表示しないよう制御する場合と比較して、設定した時刻の微調整をより行い易くすることができる情報処理装置を提供することができる。

請求項１０に係る本発明によれば、再生位置表示画像における時間間隔を等間隔とする場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。

請求項１１に係る本発明によれば、再生位置表示画像における時間間隔を等間隔とする場合と比較して、設定した時刻の微調整をより高い精度で行うことが可能な情報処理装置を提供することができる。

請求項１２に係る本発明によれば、音声の文字画像を表示しないよう制御する場合と比較して、設定した時刻の微調整をより行い易くすることができる情報処理装置を提供することができる。

請求項１３に係る本発明によれば、音声の文字画像を表示するよう制御する場合に、設定した時刻の微調整を、表示した音声の文字画像を利用して行うようにすることが可能な情報処理装置を提供することができる。

請求項１４に係る本発明によれば、音声の文字画像を表示するよう制御する場合に、表示された音声の文字画像を用いて、設定した時刻の微調整を行うようにすることが可能な情報処理装置を提供することができる。

請求項１５に係る本発明によれば、音声の文字画像を表示するよう制御されない場合には、抽出された再生区間の動画像を視聴して、設定した時刻の微調整を行うようにすることが可能な情報処理装置を提供することができる。

請求項１６に係る本発明によれば、表示された音声レベルの画像を参照して、設定した時刻の微調整を行うようにすることが可能な情報処理装置を提供することができる。

請求項１７に係る本発明によれば、現在の動作状態が、設定状態であるのか調整状態であるのかを把握することが可能な情報処理装置を提供することができる。

請求項１８に係る本発明によれば、使用者の意志に関わらず動作状態が調整状態から設定状態に切り替わってしまうのを防ぐことが可能な情報処理装置を提供することができる。

請求項１９に係る本発明によれば、使用者の操作を必要とすることなく、動作状態を自動的に調整状態から設定状態に切り替えることが可能な情報処理装置を提供することができる。

請求項２０に係る本発明によれば、動画像と同期させて静止画像の表示内容を変更して表示する場合、静止画像の表示内容を変更する時刻を設定した際に、設定した時刻の微調整を行うことが可能なプログラムを提供することができる。

本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。 本発明の一実施形態における編集処理サーバ１０のハードウェア構成を示すブロック図である。 本発明の一実施形態における編集処理サーバ１０の機能構成を示すブロック図である。 本発明の一実施形態の編集処理サーバ１０における動画の概略を示すフローチャートである。 プレビュー画面の一例を示す図である。 図５に示したプレビュー画面において、コマンド追加指示があった場合の一例を示す図である。 コマンド位置調整画面の一例を示す図である。 図７に示したコマンド位置調整画面におけるシークバー５３の再生速度の設定例を説明するための図である。 コマンド位置調整画面において、ページ切替コマンドの追加を行った場合の様子を説明するための図である。 「再生時刻０：００：２８．４」がページ切替のコマンド位置として追加された場合を説明するための図である。 コマンドの追加後に、表示される画面がコマンド位置調整画面からプレビュー画面に切り替わる様子を説明するための図である。 ユーザにコマンド位置調整画面へ遷移しても良いか否かを確認する場合の表示画面例を示す図である。 矢印の形状の表示オブジェクト６１をプレゼンテーション資料上において順次位置を移動して表示する場合を説明するための図である。

次に、本発明の実施の形態について図面を参照して詳細に説明する。

図１は本発明の一実施形態のマルチメディアコンテンツ生成システムの構成を示すシステム図である。

本発明の一実施形態のマルチメディアコンテンツ生成システムは、図１に示されるように、ネットワーク３０により相互に接続された編集処理サーバ１０およびパーソナルコンピュータ（以下、パソコンと略す。）等の端末装置２０と、ビデオカメラ４０により構成される。

本実施形態のマルチメディアコンテンツ生成システムは、動画像、静止画像、音声、文字等の様々なコンテンツを組み合わせたマルチメディアコンテンツを生成するものである。本実施形態のマルチメディアコンテンツ生成システムによれば、例えば、プレゼンテーション資料を用いた講義や説明の動画像を撮影しておき、どの動画像に同期してプレゼンテーション資料が切替わるようなマルチメディアコンテンツを生成することができる。また、機器のメンテナンスや組み立て手順等を説明する動画像とともに、静止画像や矢印、文字による説明画像、音声等を同期して再生するようなマルチメディアコンテンツを生成することができる。

編集処理サーバ１０は、このような様々なコンテンツを編集してマルチメディアコンテンツを生成するための編集ソフトウェアがインストールされている情報処理装置である。そして、端末装置２０は、ビデオカメラ４０により撮影された動画像データを取り込み、編集処理サーバ１０上で動作する編集ソフトウェアを用いて、マルチメディアコンテンツを生成する。

なお、このような編集ソフトウェアを編集処理サーバ１０にインストールするのではなく、パソコン等の端末装置２０に直接インストールして使用することも可能である。

次に、本実施形態の画像形成システムにおける編集処理サーバ１０のハードウェア構成を図２に示す。

編集処理サーバ１０は、図２に示されるように、ＣＰＵ１１、メモリ１２、ハードディスクドライブ（ＨＤＤ）等の記憶装置１３、ネットワーク３０を介して端末装置２０等の外部の装置等との間でデータの送信及び受信を行う通信インタフェース（ＩＦ）１４、タッチパネル又は液晶ディスプレイ並びにキーボードを含むユーザインタフェース（ＵＩ）装置１５を有する。これらの構成要素は、制御バス１６を介して互いに接続されている。

ＣＰＵ１１は、メモリ１２または記憶装置１３に格納された制御プログラムに基づいて所定の処理を実行して、編集処理サーバ１０の動作を制御する。なお、本実施形態では、ＣＰＵ１１は、メモリ１２または記憶装置１３内に格納された制御プログラムを読み出して実行するものとして説明するが、当該プログラムをＣＤ－ＲＯＭ等の記憶媒体に格納してＣＰＵ１１に提供することも可能である。

図３は、上記の制御プログラムが実行されることにより実現される編集処理サーバ１０の機能構成を示すブロック図である。

本実施形態の編集処理サーバ１０は、図３に示されるように、データ通信部３１と、制御部３２と、マルチメディアデータ格納部３３とを備えている。

データ通信部３１は、端末装置２０との間でネットワーク３０を介したデータ通信を行っている。

制御部３２は、編集処理サーバ１０の動作を制御していて、ユーザ操作受付部４１と、動作モード切替部４２と、表示制御部４３と、動画像再生部４４と、確認部４５とを備えている。

マルチメディアデータ格納部３３は、編集処理を行おうとする動画像データ、静止画像データ、音声データ等の各種コンテンツデータを格納している。

また、ユーザ操作受付部４１は、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける。静止画像の表示内容を変更する時刻の設定指示とは、具体的には、プレゼンテーション資料のような静止画像を次のページ（頁）に切り替える切替タイミングの設定指示または静止画像内に矢印、文字等の表示オブジェクト（表示要素）を付加する付加タイミングの設定指示である。

つまり、ユーザ操作受付部４１は、動画像の再生開始から何分何秒後に、表示する静止画像を２ページから３ページに切り替えるというような設定指示（コマンド）や、動画像の再生開始から何分何秒後に、表示している静止画像のどの場所に矢印や文字等の表示オブジェクトを付加するというような設定指示を受け付ける。

そして、動作モード切替部４２は、ユーザ操作受付部４１により静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作モード（動作状態）を、静止画像の表示内容を変更する時刻の設定を行う設定モード（設定状態）から、静止画像の表示内容を変更する時刻を調整する調整モード（調整状態）に切り替える。

ここで、静止画像の表示内容を変更する時刻の設定を行う設定モードにおいて表示される画面はプレビュー画面と呼ばれ、静止画像の表示内容を変更する時刻を調整する調整モードにおいて表示される画面はコマンド位置調整画面と呼ばれる。

このプレビュー画面では、動画像を再生しながら、切替えて表示を行おうとする複数の静止画像が表示され、静止画像の切り替えを行いたタイミングで切り替える静止画像を選択することにより切替タイミングの設定指示を行うことができるようになっている。また、プレビュー画面では、動画像を再生しながら、静止画像に付加したい表示オブジェクトを選択して表示位置を指定することにより、表示オブジェクトを付加する付加タイミングの設定指示を行うことができるようになっている。

確認部４５は、動作モード切替部４２により動作モードが設定モードから調整モードに切り替えられる前に、調整モードに移行するか否かをユーザ（使用者）に確認する。なお、予め設定された設定内容により、動作モードが設定モードから調整モードに切り替わる際に、常に確認部４５による確認処理が行われるようにしても良いし、このような確認処理が行われないようにしても良い。

そして、このように確認部４５による確認が行われる場合には、動作モード切替部４２は、確認部４５により調整モードに移行することがユーザにより許可された場合に、設定モードから調整モードに動作モードを切り替える。

動画像再生部４４は、調整モードにおいて、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する。

例えば、動画像再生部４４は、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として、前後数秒の区間を再生区間として抽出し、抽出した再生区間の動画像を、静止画像の表示内容を変更する時刻の調整が完了するまで繰り返し再生する。

また、動画像再生部４４は、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の設定を行う設定モードにおける動画像の再生速度よりも遅い再生速度で再生する。

また、動画像再生部４４は、抽出された再生区間の動画像を、複数の異なる再生速度で再生する。

具体的には、動画像再生部４４は、抽出された再生区間の動画像を、静止画像の表示内容を変更するよう設定指示が行われた時刻に近い再生区間ほど遅い再生速度で再生する。

表示制御部４３は、端末装置２０において表示される画面の制御を行っている。そして、表示制御部４３は、調整モードでは、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における再生位置を示すシークバー（再生位置表示画像）が表示されるように制御する。

また、表示制御部４３は、シークバーにおける時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として異なった時間間隔となるようにシークバーを表示する。

具体的には、表示制御部４３は、シークバーにおける時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻に近いほど長くなるようにシークバーを表示する。

また、表示制御部４３は、調整モードでは、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声のテキスト画像（文字画像）が表示されるように制御する。

そして、動画像再生部４４は、音声の文字画像が表示されるよう表示制御部４３により制御されるか否かに応じて、異なる再生形態により動画像を再生する。具体的には、動画像再生部４４は、音声の文字画像が表示されるよう表示制御部４３により制御される場合には、動画像を一時停止状態で再生する。なお、動画像再生部４４は、音声の文字画像が表示されるよう表示制御部４３により制御されない場合には、抽出された再生区間の動画像を繰り返し再生する。

さらに、表示制御部４３は、調整モードでは、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声レベルを示す画像が表示されるように制御するようにしても良い。

なお、表示制御部４３は、現在の動作モードが、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定を行う設定モードであるのか上記で説明した調整モードであるのかが分かるよう表示するよう制御する。

最後に、動作モード切替部４２は、ユーザの操作により静止画像の表示内容を変更する時刻の調整が完了した旨が入力された場合、動作モードを調整モードから設定モードに切り替える。

または、動作モード切替部４２は、ユーザの指示がなく抽出された再生区間の再生が完了した場合に、動作モードを調整モードから設定モードに切り替えるようにしても良い。

次に、本実施形態のマルチメディアコンテンツ生成システムにおける編集処理サーバ１０の動作について図面を参照して詳細に説明する。

先ず、編集処理サーバ１０における動画の概略を図４のフローチャートを参照して説明する。

例えば、編集処理サーバ１０から端末装置２０に対して、図５に示すようなプレビュー画面を表示して動画像を再生している場合において（ステップＳ１０１）、図６に示すようなコマンド追加指示があったものとして説明する（ステップＳ１０２においてｙｅｓ）。

図６に示したプレビュー画面の表示画面例では、ユーザが、動画像の再生時刻３０．０秒において表示されるプレゼンテーション資料を１ページ目から２ページ目に切り替えるようなページ切替指示が行われた場合が示されている。

そして、このようなページ切替指示が行われた場合、編集処理サーバ１０では、動作モードを設定モードから調整モードに遷移させ、端末装置２０に表示する画面をプレビュー画面からコマンド位置調整画面に切り替える（ステップＳ１０３）。

このようなコマンド位置調整画面例を図７に示す。図７に示したコマンド位置調整画面では、表示された静止画像とともに、ページ切替指示が行われた再生時刻３０．０秒を中心とした前後５秒の２５．０秒～３５．０秒の再生区間が抽出されて、抽出された再生区間の動画像が繰り返し再生される。

そして、この図７に示したコマンド位置調整画面では、抽出された再生区間における再生位置を示すためのシークバー５３、この再生区間における音声をテキスト化したテキスト画像５１、この再生区間における音声の音声レベル画像５２が表示される（ステップＳ１０４）。

ユーザは、このようにして表示されたテキスト画像５１、音声レベル画像５２、シークバー５３を参照することにより、プレゼンテーション資料の１ページ目を２ページ目に切り替える切替タイミングの微調整を行うことができる。

そして、このコマンド位置調整画面では、ページ切り替えを指示するコマンド位置が決定されるまで、抽出された再生区間の再生が繰り返される（ステップＳ１０５、Ｓ１０６）。

なお、この図７に示されたコマンド位置調整画面では、左下方において「コマンド位置調整中です。」という文字が表示されることにより、現在の動作モードが調整モードであることが分かるような表示が行われている。

そして、ユーザによりページ切り替えを指示するコマンド位置が決定されると（ステップＳ１０６においてｙｅｓ）、編集処理サーバ１０では、コマンド位置の追加処理が行われる（ステップＳ１０７）。

そして、動作モードは設定モードに戻って、表示される画面はプレビュー画面に戻り、動画像の再生が継続されることになる（ステップＳ１０１）。

なお、図７に示したコマンド位置調整画面におけるシークバー５３の再生速度の設定例について図８を参照して説明する。

図８に示した再生速度の設定例では、プレビュー画面における再生速度を１とした場合に、－１～＋１秒の区間の再生速度が５分の１（１／５）に設定され、－２～－１秒の区間および＋１～＋２秒の区間の再生速度が３分の１（１／３）に設定され、－３～－２秒の区間および＋２～＋３秒の区間の再生速度が２分の１（１／２）に設定された場合が示されている。

そして、シークバー５３における再生速度が上記のように設定されていることにより、シークバー５３における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻（０時００分３０．０秒）に近いほど長くなるように設定されている。

そして、図９に示すように、ユーザが、テキスト画像５１、音声レベル画像５２、シークバー５３等を参照して、再生時刻２８．４秒において、２ページ目のプレゼンテーション資料を選択した場合、この再生時刻２８．４秒がページ切替のコマンドを追加する位置として選択されることになる。

そのため、図１０に示すように、「再生時刻０：００：２８．４」がページ切替のコマンド位置として追加される。そして、このコマンド位置の追加後には、表示される画面は、図１１に示すようにコマンド位置調整画面からプレビュー画面に切り替わり動画像の再生が続行されることになる。

なお、本実施形態では、抽出された再生区間が繰り返し再生される場合を用いて説明を行ったが、コマンド位置調整画面において動画像の再生を一時停止状態として、ユーザがテキスト画像５１や音声レベル画像５２を参照してコマンド追加位置を微調整するようにしても良い。

つまり、図７に示したようなコマンド位置調整画面では、「かんがえていきます さてつぎにいきます こ」というテキスト画像５１を参照することにより、「かんがえていきます」というテキストと、「さてつぎにいきます こ」というテキストの間をコマンド追加位置として指定することができるのが分かる。

そして、このような音声のテキスト画像５１が表示される場合には、動画像を繰り返し再生するのではなく一時停止状態で再生するようにしても良い。そして、ユーザは、音声のテキスト画像５１が表示されている場合には、動画像を視聴しなくてもこのテキスト画像５１のみを用いてページ切り替えを行うべき位置を判定することができるため、動画像が一時停止状態の方がかえってページ切替コマンドを追加する位置の指定を容易に行うことができる。

なお、動画像データに音声のテキストデータが含まれていない場合には、音声データに対して音声認識処理を行うことによりテキストデータを生成して、生成されたテキストデータをテキスト画像５１として表示するようにすれば良い。

また、プレビュー画面においてコマンドの追加の設定指示が行われた場合に、即座にコマンド位置調整画面に切り替わるのではなく、ユーザにコマンド位置調整画面へ遷移しても良いか否かを確認する場合の表示画面例を図１２に示す。

図１２に示した表示画面例では、プレビュー画面においてユーザがプレゼンテーション資料の２ページ目を選択してページ切替の位置指定した場合に、「コマンド位置調整画面に遷移しますか」という文字が表示された場合が示されている。そして、ユーザが「はい」を選択した場合には、コマンド位置調整画面に遷移し、「いいえ」を選択した場合にはコマンド位置調整画面に遷移することなく元のプレビュー画面に戻るような制御が行われる。このようなコマンド位置調整画面に遷移する際の確認処理は、下記のような場合に有効である。

例えば、ページの切り替えタイミングが動画像の再生とおおよそ同期していれば良い場合には、コマンド位置調整画面をわざわざ表示させてコマンド位置の微調整を行う必要がない。そのため、このような場合にはコマンド位置調整画面を表示させずに次のコマンド位置の設定を行うようにすれば良い。逆に、ページの切り替えタイミングが動画像の再生と厳密に同期している必要がある場合には、コマンド位置調整画面を表示させてコマンド位置の微調整を行うようにすることができる。

なお、上記では、ページ切替を行うコマンドを追加する場合を用いて説明したが、ページ切替以外のコマンドを追加する場合にも同様な動作モードの切り替えが行われる。

例えば、図１３（Ａ）～図１３（Ｄ）に示されるように、矢印の形状の表示オブジェクト６１をプレゼンテーション資料上において順次位置を移動して表示するようなマルチメディアコンテンツを生成するような場合でもコマンドの追加タイミングを設定した場合に動作モードが設定モードから調整モードに切り替わるような制御が行われるようにすれば良い。

１０ 編集処理サーバ
１１ ＣＰＵ
１２ メモリ
１３ 記憶装置
１４ 通信インタフェース（ＩＦ）
１５ ユーザインタフェース（ＵＩ）装置
１６ 制御バス
２０ 端末装置
３０ ネットワーク
３１ データ通信部
３２ 制御部
３３ マルチメディアデータ格納部
４１ ユーザ操作受付部
４２ 動作モード切替部
４３ 表示制御部
４４ 動画像再生部
４５ 確認部
５１ テキスト画像
５２ 音声レベル画像
５３ シークバー
６１ 表示オブジェクト

Claims (20)

1. 動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付手段と、
   前記受付手段により静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替手段と、
   を備えた情報処理装置。
2. 静止画像の表示内容を変更する時刻の設定指示が、静止画像を次の頁に切り替える切替タイミングの設定指示または静止画像内に表示要素を付加する付加タイミングの設定指示である請求項１記載の情報処理装置。
3. 前記切替手段により動作状態が調整状態に切り替えられる前に、調整状態に移行するか否かを使用者に確認する確認手段をさらに備え、
   前記切替手段は、前記確認手段により調整状態に移行することが使用者により許可された場合に、動作状態を調整状態に切り替える請求項１又は２記載の情報処理装置。
4. 前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備えた請求項１から３のいずれか記載の情報処理装置。
5. 前記動画像再生手段は、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の調整が完了するまで繰り返し再生する請求項４記載の情報処理装置。
6. 前記動画像再生手段は、抽出された再生区間の動画像を、静止画像の表示内容を変更する時刻の設定を行う設定状態における動画像の再生速度よりも遅い再生速度で再生する請求項４記載の情報処理装置。
7. 前記動画像再生手段は、抽出された再生区間の動画像を、複数の異なる再生速度で再生する請求項４記載の情報処理装置。
8. 前記動画像再生手段は、抽出された再生区間の動画像を、静止画像の表示内容を変更するよう設定指示が行われた時刻に近い再生区間ほど遅い再生速度で再生する請求項７記載の情報処理装置。
9. 前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における再生位置を示す再生位置表示画像が表示されるように制御する表示制御手段をさらに備えた請求項１記載の情報処理装置。
10. 前記表示制御手段は、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻を中心として異なった時間間隔となるように前記再生位置表示画像を表示する請求項９記載の情報処理装置。
11. 前記表示制御手段は、前記再生位置表示画像における時間間隔が、静止画像の表示内容を変更するよう設定指示が行われた時刻に近いほど長くなるように前記再生位置表示画像を表示する請求項１０記載の情報処理装置。
12. 前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声の文字画像が表示されるように制御する表示制御手段をさらに備えた請求項１記載の情報処理装置。
13. 前記調整状態において、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間の動画像を抽出して再生する動画像再生手段をさらに備え、
    前記動画像再生手段は、音声の文字画像が表示されるよう前記表示制御手段により制御されるか否かに応じて、異なる再生形態により動画像を再生する請求項１２記載の情報処理装置。
14. 前記動画像再生手段は、音声の文字画像が表示されるよう前記表示制御手段により制御される場合には、動画像を一時停止状態で再生する請求項１３記載の情報処理装置。
15. 前記動画像再生手段は、音声の文字画像が表示されるよう前記表示制御手段により制御されない場合には、抽出された再生区間の動画像を繰り返し再生する請求項１３記載の情報処理装置。
16. 前記調整状態では、静止画像の表示内容を変更するよう設定指示が行われた時刻を含む予め設定された再生区間における音声レベルを示す画像が表示されるように制御する表示制御手段をさらに備えた請求項１記載の情報処理装置。
17. 現在の動作状態が、動画像の再生に同期して静止画像の表示内容を変更する時刻の設定を行う設定状態であるのか前記調整状態であるのかが分かるよう表示するよう制御する表示制御手段をさらに備えた請求項１記載の情報処理装置。
18. 前記切替手段は、使用者の操作により静止画像の表示内容を変更する時刻の調整が完了した旨が入力された場合に、動作状態を調整状態から設定状態に切り替える請求項１記載の情報処理装置。
19. 前記切替手段は、使用者の指示がなく抽出された再生区間の再生が完了した場合に、動作状態を調整状態から設定状態に切り替える請求項４記載の情報処理装置。
20. 動画像の再生に同期して静止画像の表示内容を変更する時刻の設定指示を受け付ける受付ステップと、
    前記受付ステップにおいて静止画像の表示内容を変更する時刻の設定指示を受け付けた際に、動作状態を、静止画像の表示内容を変更する時刻の設定を行う設定状態から、静止画像の表示内容を変更する時刻を調整する調整状態に切り替える切替ステップと、
    をコンピュータに実行させるためのプログラム。

Images