JP2012142874A

JP2012142874A - 情報処理装置、情報処理方法、およびプログラム

Info

Publication number: JP2012142874A
Application number: JP2011000953A
Authority: JP
Inventors: Senzaburo Nakamura; 泉三郎中村; Mitsutoshi Magai; 光俊真貝
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-01-06
Filing date: 2011-01-06
Publication date: 2012-07-26
Also published as: US20120176537A1; CN102592641A; US8570436B2

Abstract

【課題】元の映像データのフレームに基づく補間により生成された補間フレームをタイムコードによって特定する。
【解決手段】例えば、再生速度が１／３である場合、図２に示されるように、映像データの元の１番目のフレーム（タイムコード＝01:00:00:00）と２番目のフレーム（タイムコード＝01:00:00:01）の間に２枚の補間フレーム（同図において斜線で描かれているフレーム）が生成される。同様に、映像データの元の２番目のフレーム（タイムコード＝01:00:00:01）と３番目のフレーム（タイムコード＝01:00:00:02）の間に２枚の補間フレームが生成される。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:06が付与される。本発明は、映像を加工、編集する装置に適用することができる。
【選択図】図２

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、映像データの進行速度を変更する場合に用いて好適な情報処理装置、情報処理方法、およびプログラムに関する。

例えば、ビデオカメラにより撮影された映像データには、その各フレームに対して、時間軸上の位置情報であるタイムコードと称する番号が付与されている（例えば、特許文献１参照）。ＣＧ(computer graphics)などによるアニメーションの映像データに対しても同様である。

このような映像データを１倍速よりも遅い速度でスロー再生し、１倍速再生時と同じフレームレート（例えば、３０フレーム／秒）で出力する場合、映像データを構成するフレームを用いた補間により、元の映像データには存在していない補間フレームを生成する必要がある。なお、本明細書において、再生とは、映像データに基づくフレームの映像を時系列に従って進行させることを意味するものとする。

具体的には、例えば、１／３倍速で再生する場合、元の映像データの連続するフレームの間に、２枚の補間フレームを生成して挿入することになる。ただし、スロー再生に際して補間フレームが生成される場合、生成される補間フレームに対してタイムコードは付与されない。

特開２００６−５４７４６号公報

上述したように、スロー再生に際して生成される補間フレームに対してはタイムコードが付与されないので、タイムコードにより任意の補間フレームを特定することができない。

このため、例えば、補間フレームが表示されているタイミングでスロー再生を停止しても、その補間フレームからスロー再生を再開することができず、その近傍のタイムコードを有する元の映像データのフレームからスロー再生が再開されてしまい、映像に違和感が生じていた。

また例えば、映像データの再生位置を移動（キューアップ）させようとした場合、移動先に補間フレームを指定することができなかった。

本発明はこのような状況に鑑みてなされたものであり、補間された映像データ上の任意の時間的位置をタイムコードを用いて特定できるようにするものである。

本発明の一側面である情報処理装置は、映像データを入力する入力手段と、入力された前記映像データの進行速度を設定する設定手段と、入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理手段と、前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与手段とを含む。

本発明の一側面である情報処理装置は、前記タイムコードが付与された前記補間済映像データに前記進行速度を対応付けて管理する管理手段と、前記管理手段によって管理されている前記補間済映像データをユーザによって指定される任意速度で可変速再生して出力する再生手段をさらに含むことができる。

前記再生手段は、さらに付与された前記タイムコードを用いて指定された前記補間済映像データ上の位置に出力位置を移動させることができる。

本発明の一側面である情報処理装置は、可変速再生された前記補間済映像データの映像を表示させる表示制御手段をさらに含むことができる。

前記表示制御手段は、可変速再生された前記補間済映像データの各フレームの映像に同期して、付与されている前記タイムコードも表示させることができる。

本発明の一側面である情報処理装置は、前記補間済映像データの各フレームのフレーム番号と、各フレームに付与された前記タイムコードとの対応を示すタイムコードテーブルを生成するタイムコード生成手段をさらに含むことができ、前記管理手段は、前記タイムコードが付与された前記補間済映像データに前記タイムコードテーブルも対応付けて管理することができる。

前記入力手段は、撮像された前記映像データ、またはCGによる前記映像データを入力することができる。

前記設定手段は、ユーザから指定された速度設定値に基づいて前記進行速度を設定するか、前記映像データの入力時間長とユーザから指定された前記補間済映像データの出力時間長とに基づいて前記進行速度を設定することができる。

本発明の一側面である情報処理方法は、情報処理装置の情報処理方法において、前記情報処理装置による、映像データを入力する入力ステップと、入力された前記映像データの進行速度を設定する設定ステップと、入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップとを含む。

本発明の一側面であるプログラムは、情報処理装置の制御用のプログラムであって、映像データを入力する入力ステップと、入力された前記映像データの進行速度を設定する設定ステップと、入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップとを含む処理を情報処理装置のコンピュータに実行させる。

本発明の一側面においては、入力された映像データに対して、設定された進行速度に対応する補間処理が行われ、補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードが付与される。

本発明の一側面によれば、補間された映像データ上の任意の時間的位置をタイムコードを用いて特定することができる。

本発明を適用した映像編集装置の構成例を示すブロック図である。映像データのフレーム数が３であって、１／３倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。映像データのフレーム数が３であって、１／２．５倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。映像データのフレーム数が３であって、１／３．３倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。映像データのフレーム数が４であって、１／３．３倍速再生時の補間済映像データの補間フレームとタイムコードを示す図である。タイムコードテーブルの一例を示す図である。映像データ補間処理を説明するフローチャートである。コンピュータの構成例を示すブロック図である。

以下、発明を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

＜１．実施の形態＞
［映像編集装置の構成例］
図１は、本発明の一実施の形態である映像編集装置の構成例を示している。この映像編集装置１０は、映像データを１倍速よりも遅い速度でスロー再生し、１倍速再生時と同じフレームレート（例えば、３０フレーム／秒）の補間済映像データを生成するものである。なお、補間済映像データの全てのフレームには、タイムコードが付与される。

映像編集装置１０は、操作入力部１１、映像データ入力部１２、再生速度設定部１３、補間部１４、タイムコード(TC)付与部１５、補間済映像データベース(DB)１７、可変速再生部１８、および表示制御部１９から構成される。

操作入力部１１は、ユーザによる各種の操作を受け付ける。具体的には、操作入力部１１は、例えば、映像データの再生速度を指定するための再生速度設定値Ｎの入力を受け付けて再生速度設定部１３に出力する。ここで、Ｎは１以上の正の値とする。なお、Ｎを１以上の正の整数に制限すれば、補間部１４における補間処理の負荷を軽減させることができる。また、再生速度設定値Ｎを入力する代わりに、スロー再生時の再生時間長（以下、出力時間長と称する）を指定するようにしてもよい。

また、例えば、操作入力部１１は、補間済映像データの可変速再生時の再生速度の入力を受け付けたり、補間済映像データをキューアップ（再生位置の移動）の移動先を指示するためのタイムコードの入力を受け付けたりして可変速再生部１８に出力する。

映像データ入力部１２は、映像編集装置１０にて処理対象とする映像データを外部から取得して補間部１４に出力する。

ここで、映像データは、ビデオカメラにより撮影された実写映像であってもよいし、CGにより作成される映像でもよい。

さらに、幾何学的情報（オプションでシェーディング情報）を含むCGデータを入力とし、映像データ入力部１２にて、CGデータのキーフレーム間を補間、レンダリングして映像を生成するようにしてもよい。

また、映像データ入力部１２は、処理対象とする映像データの１倍速再生時の再生時間長（以下、入力時間長と称する）を検出して再生速度設定部１３に出力する。

再生速度設定部１３は、操作入力部１１から入力される再生速度設定値Ｎに基づき、映像データの再生速度を１／Ｎに決定して補間部１４およびタイムコード付与部１５に通知する。また、再生速度設定部１３は、操作入力部１１から出力時間長が入力される場合、映像データの再生速度を（入力時間長／出力時間長）に決定して補間部１４およびタイムコード付与部１５に通知する。例えば、入力時間長が１分間であり、出力時間長が２分間である場合、再生速度は１／２に決定される。

補間部１４は、再生速度設定部１３から通知される再生速度に従い、映像データを構成する元のフレームを用いた補間処理により補間フレームを生成することにより、補間済映像データを生成する。なお、映像データのフレーム数Ｆ_０とした場合、補間済映像データのフレーム数Ｆ_ｍは、Ｆ_ｍ＝（Ｆ_０−１）×Ｎ＋１となる。なお、この算出結果に小数点以下の値が含まれる場合には切り上げ、切り捨て、四捨五入などの丸め処理を行うものとする。以下の実施の形態では切り上げを用いる。ROUNDUP（ｘ）はｘを切り上げた数値を表すこととする。

さらに、補間部１４は、補間済映像データの各フレーム（映像データを構成する元のフレーム、および補間フレーム）を、順次、タイムコード付与部１５に出力する。

タイムコード付与部１５は、補間部１４から順次入力される補間済映像データの全てのフレームに対してタイムコード（HH:MM:SS:FF）を付与する。

例えば、映像データのフレーム数Ｆ_０＝３であり、再生速度を１／３とした場合、補間済映像データのフレーム数Ｆ_ｍ＝（３−１）×３＋１＝７となる。そして、図２に示されるように、映像データの元の１番目のフレーム（タイムコード＝01:00:00:00）と２番目のフレーム（タイムコード＝01:00:00:01）の間に２枚の補間フレーム（同図において斜線で描かれているフレーム）が生成される。同様に、映像データの元の２番目のフレーム（タイムコード＝01:00:00:01）と３番目のフレーム（タイムコード＝01:00:00:02）の間に２枚の補間フレームが生成される。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:06が付与される。

また例えば、映像データのフレーム数Ｆ_０＝３であり、再生速度を１／２．５とした場合、補間済映像データのフレーム数Ｆ_ｍ＝（３−１）×２．５＋１＝６となる。そして、図３に示されるように、映像データの元の１番目のフレーム（タイムコード＝01:00:00:00）と３番目のフレーム（タイムコード＝01:00:00:02）の間に４枚の補間フレーム（同図において斜線で描かれているフレーム）が生成される。なお、映像データの元の２番目のフレームは補間処理には利用されるものの、補間済映像データには含まれない。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:05が付与される。

また例えば、映像データのフレーム数Ｆ_０＝３であり、再生速度を１／（１０／３）とした場合、補間済映像データのフレーム数Ｆ_ｍ＝ROUNDUP（（３−１）×（１０／３）＋１）＝８となる。そして、図４に示されるように、映像データの元の１番目のフレーム（タイムコード＝01:00:00:00）以降に、７枚の補間フレーム（同図において斜線で描かれているフレーム）が生成される。なお、映像データの元の２および３番目のフレームは補間処理には利用されるものの、補間済映像データには含まれない。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:07が付与される。

さらに例えば、映像データのフレーム数Ｆ_０＝４であり、再生速度を１／（１０／３）とした場合、補間済映像データのフレーム数Ｆ_ｍ＝（４−１）×（１０／３）＋１＝１１となる。そして、図５に示されるように、映像データの元の１番目のフレーム（タイムコード＝01:00:00:00）と４番目のフレーム（タイムコード＝01:00:00:03）の間に９枚の補間フレーム（同図において斜線で描かれているフレーム）が生成される。なお、映像データの元の２および３番目のフレームは補間処理には利用されるものの、補間済映像データには含まれない。そして、補間済映像データの各フレームに対して新たにタイムコード01:00:00:00乃至01:00:00:10が付与される。

図１に戻り、タイムコード付与部１５は、補間部１４から順次入力される補間済映像データとタイムコードとを同期させて補間済映像データベース１７に出力する。

さらに、タイムコード付与部１５に内蔵されるタイムコード(TC)テーブル生成部１６は、図６に示されるように、補間済映像データの各フレームのフレーム番号にタイムコードを対応付けたタイムコードテーブルを生成して補間済映像データベース１７に出力する。

補間済映像データベース１７は、同期して入力される補間済映像データおよびタイムコード、並びにタイムコードテーブルを、その再生速度設定値Ｎに対応付けて保管する。例えば、同一の映像データを異なる再生速度で複数回再生させた場合、その再生回数と同じ数の補間済映像データおよびタイムコード、並びにタイムコードテーブルの組み合わせが保管されることになる。なお、補間済映像データのフレームのうち、元の映像データを構成していたフレームについては、補間処理以前に付与されていた元のタイムコードも対応付けて記憶するようにしてもよい。

可変速再生部１８は、操作入力部１１に入力されるユーザの操作に従い、補間済映像データベース１７に保管されている補間済映像データを、ユーザから指示される再生速度（Ｍ倍速とする）で再生して表示制御部１９に出力する。この場合、実質的に元の映像データがＭ／Ｎ倍速で再生されることになる。例えば、再生速度設定値Ｎ＝３の補間済映像データが、１倍速で再生されると、実質的に元の映像データが１／３倍速で再生されることになる。また例えば、再生速度設定値Ｎ＝３の補間済映像データが、３倍速で再生されると、実質的に元の映像データが１（＝３／３）倍速で再生されることになる。

また、可変速再生部１８は、操作入力部１１に入力されるユーザの操作に従い、補間済映像データベース１７に保管されている補間済映像データのキューアップを実行する（時間的位置を移動させる）。

さらに、可変速再生部１８は、再生した映像とともに、それに対応するタイムコード（補間処理後に付与されたもの）およびストップタイムコードも表示制御部１９に出力する。ただし、ここで、補間処理以前に元々付与されていたタイムコードを表示制御部１９に出力するようにしてもよい。

表示制御部１９は、可変速再生部１８によって再生された補間済映像データの映像を後段の図示せぬディスプレイなどに表示させる。なお、表示制御部１９は、再生中の補間済映像データの映像とともに、それに同期したタイムコードおよびストップタイムコードも表示させる。

［動作説明］
次に、映像編集装置１０の動作について説明する。図７は、映像編集装置１０による映像データ補間処理を説明するフローチャートである。

なお、映像データ補間処理の開始に先立って、処理対象とする映像データと再生速度設定値Ｎはユーザにより指定されているものとする。

ステップＳ１において、映像データ入力部１２は、処理対象とする映像データを外部から取得して補間部１４に出力する。

ステップＳ２において、再生速度設定部１３は、ユーザによって指定された再生速度設定値Ｎに基づき、映像データの再生速度を１／Ｎに決定して補間部１４およびタイムコード付与部１５に通知する。

ステップＳ３において、補間部１４は、映像データの１枚目のフレームをタイムコード付与部１５に出力する。タイムコード付与部１５は、１枚目のフレームに対してタイムコード01:00:00:00を付与し、１枚目のフレームとタイムコードを補間済映像データベース１７に出力する。

ステップＳ４において、補間部１４は、次に出力するフレームが映像データの元のフレームであるか否か、換言すれば、次に出力するフレームが補間フレームであるか否かを判断する。

次に出力するフレームが映像データの元のフレームではない（次に出力するフレームが補間フレームである）と判断された場合、処理はステップＳ５に進められる。ステップＳ５において、補間部１４は、再生速度設定部１３から通知された再生速度に従い、映像データの元のフレームを用いた補間処理により補間フレームを生成してタイムコード付与部１５に出力する。

反対に、次に出力するフレームが映像データの元のフレームである（次に出力するフレームが補間フレームではない）と判断された場合、処理はステップＳ６に進められる。ステップＳ６において、補間部１４は、映像データの元のフレームをタイムコード付与部１５に出力する。

ステップＳ７において、タイムコード付与部１５は、補間部１４から入力されたフレームに対してタイムコードを付与し、フレームとタイムコードを同期させて補間済映像データベース１７に出力する。補間済映像データベース１７は、同期して入力された補間済映像データのフレームとタイムコードとをその再生速度設定値Ｎに対応付けて保管する。

ステップＳ８において、補間部１４は、処理対象としている映像データの補間処理が終了したか否かを判定し、終了したと判定するまでステップＳ４乃至Ｓ８の処理を繰り返す。そして、ステップＳ８で補間処理が終了したと判定された場合、処理はステップＳ９に進められる。

ステップＳ９において、タイムコード付与部１５のタイムコードテーブル生成部１６は、補間済映像データの各フレームのフレーム番号にタイムコードを対応付けたタイムコードテーブルを生成して補間済映像データベース１７に出力する。補間済映像データベース１７は、入力されたタイムコードテーブルを、先に管理している補間済映像データとタイムコードに対応付けて保管する。以上で、映像データ補間処理は終了される。

以上説明した映像データ補間処理によれば、映像データを１倍速よりも遅い速度でスロー再生し、１倍速再生時と同じフレームレート（例えば、３０フレーム／秒）の補間済映像データを生成することができる。この補間済映像データは全てのフレームに対してタイムコードが付与されているので、補間済映像データ上の時間的位置をタイムコードを用いて特定することができる。

本発明を適用した映像編集装置１０は、映像を加工、編集する映像プロダクションや放送局などの現場にて利用することができる。

本実施の形態においては、映像の進行速度を１倍速未満を想定したが、映像編集装置１０は、１倍速以上の進行速度にも対応可能である。この場合の補間処理は、間引き処理を含むものとなる。

ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、プログラム記録媒体からインストールされる。

図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

このコンピュータ１００において、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。

また、プログラムは、１台のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１０映像編集装置，１１操作入力部，１２映像データ入力部，１３再生速度設定部，１４補間部，１５タイムコード付与部，１６タイムコードテーブル生成部，１７補間済映像データベース，１８可変速再生部，１９表示制御部

Claims

映像データを入力する入力手段と、
入力された前記映像データの進行速度を設定する設定手段と、
入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理手段と、
前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与手段と
を含む情報処理装置。
前記タイムコードが付与された前記補間済映像データに前記進行速度を対応付けて管理する管理手段と、
前記管理手段によって管理されている前記補間済映像データをユーザによって指定される任意速度で可変速再生して出力する再生手段を
さらに含む請求項１に記載の情報処理装置。
前記再生手段は、さらに、付与された前記タイムコードを用いて指定された前記補間済映像データ上の位置に出力位置を移動させる
請求項２に記載の情報処理装置。
可変速再生された前記補間済映像データの映像を表示させる表示制御手段を
さらに含む請求項２または３に記載の情報処理装置。
前記表示制御手段は、可変速再生された前記補間済映像データの各フレームの映像に同期して、付与されている前記タイムコードも表示させる
請求項４に記載の情報処理装置。
前記補間済映像データの各フレームのフレーム番号と、各フレームに付与された前記タイムコードとの対応を示すタイムコードテーブルを生成するタイムコード生成手段を
さらに含み、
前記管理手段は、前記タイムコードが付与された前記補間済映像データに前記タイムコードテーブルも対応付けて管理する
請求項２に記載の情報処理装置。
前記入力手段は、撮像された前記映像データ、またはCG(computer graphics)による前記映像データを入力する
請求項１に記載の情報処理装置。
前記設定手段は、ユーザから指定された速度設定値に基づいて前記進行速度を設定するか、前記映像データの入力時間長とユーザから指定された前記補間済映像データの出力時間長とに基づいて前記進行速度を設定する
請求項１に記載の情報処理装置。
情報処理装置の情報処理方法において、
前記情報処理装置による、
映像データを入力する入力ステップと、
入力された前記映像データの進行速度を設定する設定ステップと、
入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、
前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップと
を含む情報処理方法。
情報処理装置の制御用のプログラムであって、
映像データを入力する入力ステップと、
入力された前記映像データの進行速度を設定する設定ステップと、
入力された前記映像データに対して、設定された前記進行速度に対応する補間処理を行う補間処理ステップと、
前記補間処理の結果得られる補間済映像データを構成する全てのフレームに対してタイムコードを付与する付与ステップと
を含む処理を情報処理装置のコンピュータに実行させるプログラム。