JPH05191699A - マルチ情報カメラ - Google Patents

Abstract

(57)【要約】 【目的】 記録後に計算機で映像を自動処理する場合
に、インデクスとしての情報、さらに多くの処理に必要
な情報を得ることを可能にする。また、記録後の計算機
処理時に必ずしも映像をすべて処理しなくとも付帯情報
だけの処理で高速に検索などの処理を可能にする。 【構成】 映像と音声を記録するカメラであって、撮影
時の絶対時刻を発生してデータ化する手段と、カメラの
位置を検出しデータ化する手段と、カメラの向きを検出
してデータ化する手段と、撮像関連情報を撮像制御系か
ら発生してデータ化する手段と、カメラ動きデータを検
出してデータ化する手段と、周囲環境情報を検出してデ
ータ化する手段と、それらのデータを付帯情報として時
々刻々に撮影映像と対応させて自動的に記録する手段を
具備することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、映像と音声を記録する
カメラにおいて、検索、編集、解析、データベースへの
登録など、記録後に計算機により映像・音声データの処
理を行うために、撮影時にあらかじめ必要なデータを収
集する技術に関するものである。

【０００２】

【従来の技術】従来、映像・音声を記録するカメラにお
いては、時間に従ったフレーム対応の識別情報としてタ
イムコードを記録テープ上の特別なトラックに記録し、
編集作業時に映像と音声の同期をとるための基準とする
ことが行われてきた。タイムコードは、撮影時に付加す
るか、または撮影後にテープにタイムコードジェネレー
タにより付加される。

【０００３】図５は、映像と音声をそれぞれ別媒体に記
録する場合に、タイムコードを同時にそれぞれに記録し
ておき、編集時にタイムコードにより対応をつける構成
を示したものであり、１０は撮像部、１１は映像記録
部、１２はタイムコード発生機、１３は音声記録部、１
４はマイクである。また、日付や時刻が映像内にスーパ
インポーズされることも行われているが、編集等の処理
に必要な他の情報については、人によって主に紙などの
上に電子化されていない情報の形で記録されている。一
方、編集処理の始めの段階で、編集のための情報を人が
投入、電子化することもあるが、その場合も主に映像の
切れ目であるカット点の情報を加える程度である。

【０００４】

【発明が解決しようとする課題】映像を計算機で処理す
る場合、例えば、検索、編集、解析、加工、データベー
ス登録などを行う場合には、映像データ自身の他にその
映像の撮影時に係わるさまざまな付帯的な情報が必要に
なる。例えば、映像を検索あるいは解析する場合には、
映像の撮影条件に関する情報が必要であるが、上記従来
技術では、編集時に時間の基準とするタイムコードが電
子化されているだけで、他の各種の情報が電子化されて
いないために、紙に書かれた記録から人が介在して必要
な情報を電子化するか、または編集者が記憶と感覚にた
よって処理するしかないという問題があった。また、日
付や時刻を映像内にスーパインポーズする場合もある
が、それらだけでは情報として不十分であるだけでな
く、自動処理のためには、特殊な認識処理が必要になる
という問題があった。

【０００５】また、撮影のスタート／ストップ／ポーズ
に伴って生じる映像のカット点が、編集などにあたって
の基本となるが、従来、それら撮影の操作に関する電子
的記録がなされていないために、例えば、記録後に人が
見なければカット点がわからないという問題点があっ
た。

【０００６】さらに、従来、カメラ用としては、映像を
テープ等順次記録／再生媒体に記録することが行われて
いるが、そこにいくら情報を付加しても、任意の時点の
情報を高速に読み出すことはできないという問題があっ
た。

【０００７】本発明は、上記問題点を解決するためにな
されたものであり、本発明の目的は、記録後に計算機で
映像を自動処理する場合に、インデクスとしての情報、
さらに多くの処理に必要な情報を得ることが可能な技術
を提供することにある。

【０００８】本発明の他の目的は、記録後の計算機処理
時に必ずしも映像をすべて処理しなくとも付帯情報だけ
の処理で高速に検索などの処理が可能な技術を提供する
ことにある。

【０００９】本発明の上記ならびにその他の目的及び新
規な特徴は、本明細書の記述及び添付図面によって明ら
かにする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本発明の（１）の手段は、映像と音声を記録するカ
メラであって、撮影時の絶対時刻を発生してデータ化す
る手段と、カメラの位置を検出してデータ化する手段
と、カメラの向きを検出してデータ化する手段と、撮像
関連情報を撮像制御系から発生してデータ化する手段
と、カメラ動きデータを検出してデータ化する手段と、
周囲環境情報を検出してデータ化する手段と、それらの
データを付帯情報として時々刻々に撮影映像と対応させ
て自動的に記録する手段を具備することを特徴とする。

【００１１】本発明の（２）の手段は、上記（１）の手
段のマルチ情報カメラにおいて、データ記録時にデータ
に対してあらかじめ定める前処理を行う手段と、その処
理結果を評価し、あらかじめ設定してある条件に合致し
たときにそのことを示すマーキング情報を新たな付帯情
報として時々刻々の撮影映像と対応させて自動的に記録
する手段を具備することを特徴とする。

【００１２】本発明の（３）の手段は、上記（２）の手
段のカメラにおいて、条件合致時のフレーム映像を新た
な付帯情報として時々刻々の撮影映像と対応させて自動
的に記録する手段を具備することを特徴とする。

【００１３】本発明の（４）の手段は、上記（１）乃至
（３）の手段のうちどれか１つの手段のカメラにおい
て、上記記載のデータを映像記録系とは独立にランダム
アクセス記録媒体に記録する手段を具備することを特徴
とする。

【００１４】

【作用】上記（１）乃至（４）の手段によれば、撮影時
の絶対時刻、撮像関連情報、カメラ位置情報、カメラ向
き情報、カメラ動き情報、周囲環境情報をセンサで検出
または内部の処理により発生し、それをデータ化し、そ
れらを付帯情報として時々刻々の撮影映像と対応させて
自動的に記録しておくので、計算機で撮影映像を自動的
に処理することができる。

【００１５】また、付帯情報を映像自身とは別にランダ
ムアクセス記録媒体に記録することにより、たとえ、長
時間映像をビデオテープなどの順次記録／再生媒体に記
録する場合であっても、付帯情報のランダムアクセスが
可能になる。

【００１６】

【実施例】以下、本発明の一実施例を図面を参照して説
明する。

【００１７】図１は、本発明の一実施例における撮影に
関する撮影者、カメラ、被写体、周囲環境等の状況を示
した図であり、２０は太陽、２１はカメラ、２２は撮影
者、２３は被写体、２４はカメラ操作、２５は周囲環境
である。撮影のためのカメラ２１は、撮影者２２によっ
てある時刻にある位置で被写体２３に対して構えられ
る。まず、撮像系に関しては、自動ないし手動により焦
点が主たる被写体２３に合わせられるとともに、レンズ
の絞り、シャッター速度等についても自動ないし手動で
設定される。

【００１８】上記カメラ操作２４は、レンズ操作として
ズームイン／アウト等の操作が行われる。また、カメラ
操作２４として、スタート／ストップ／ポーズによる記
録のオン／オフ、左右にカメラを振るパニング、上下に
振るチルティング、カメラ位置を平行に移動するトラッ
キング、前後に平行移動するドーリングなどが行われ
る。一方、周囲環境２５に関しては、周囲の明るさ、温
度、湿度などが撮影条件としてある。

【００１９】図２は、本発明に係るマルチ情報カメラの
情報記録機構の一実施例の構成を示すブロック図であ
り、３０はレンズ、３１は絞り、３２はズーム機構、３
３は電子シャッター、３４は撮像素子、３５は電子駆動
系、３６はデータ変換部、３７は映像・音声処理部、３
８は二次処理系、３９はフォーマット構成部（変換
部）、４０は映像・音声記録機構、４１は付帯情報記録
機構、４２はタイムスタンプ発生部、４３は記録スター
ト・ポーズ・ストップスイッチ、４４はマイク、４５は
距離センサ、４６はカメラ高センサ、４７はカメラ位置
検出機構、４８は角速度検出機構、４９は温度センサ、
５０は湿度センサ、５１はその他の周囲環境センサ、５
２は外部入力インタフェースである。

【００２０】図３は、本実施例のマルチ情報カメラにお
ける情報の関係を説明するための図であり、３０Ａはオ
リジナル情報、３０Ｂは記録する付帯情報、３０１は撮
像系情報、３０２はカメラ位置情報、３０３はカメラ動
き情報、３０４は被写体関連情報、３０５は周囲環境情
報、３０６は外部入力情報、３０７は各種インベントマ
ーク、３０８は絶対時刻情報である。

【００２１】図４は、本実施例の記録された映像・音声
情報と付帯情報の様子とその利用について説明するため
の図であり、４０Ａ，４０Ｂは記録媒体、４０１は画像
列、４０１Ａはカット点、４０２はカット点４０１Ａの
情報、４０３はカット点４０１Ａでのフレーム映像、４
０４はフレーム映像列である。

【００２２】次に、本実施例の動作を図１乃至図４を用
いて説明する。まず、撮影者２２がカメラ２１を構える
と、カメラ２１の絶対位置、向きが定まる。カメラ２１
の絶対位置については、カメラ位置検出機構４７により
検出するが、これは、例えば、衛星からの電波を用いた
位置決め方法、あるいは地上基準波の参照を用いた位置
決め方法による。精度的にはマクロな位置検出を行う。
また、カメラ２１の下方向への距離をカメラ２１に高さ
として、超音波反射測定法などによるカメラ位置検出機
構４７により測定する。カメラ２１の位置の変化、レン
ズ光軸の絶対方向及びその変化は、角速度検出機構（セ
ンサ）４８等による精度の高いジャイロを用いることに
より検出することができる。

【００２３】撮像系では、従来よりビデオカメラで用い
られている絞り、焦点の自動あるいは手動による決定機
構により得られた結果を、絞り３１及びズーム機構３２
の電子駆動系３５のエンコーダ出力から取り出す。その
他、シャッタースピード等についても電子シャッター３
３の設定値を取り出す。

【００２４】周囲環境については、例えば温度、湿度を
それぞれ測定用のセンサ４９、５０により検出する。

【００２５】また、レンズの絞り値と撮像素子３４上で
検出される出力平均値から、二次処理部３８により明る
さ情報を発生する。

【００２６】これらの各種付帯情報は、フォーマット構
成部３９によって一定のフォーマットに構成し、タイム
スタンプ発生部４２によって発生される時刻情報ととも
に同期して付帯情報記録機構４１によって記録される。
映像と音声については通常のビデオカメラの記録機構に
よりタイムスタンプとともに映像・音声記録機構４０に
よって記録される。撮影のスタート／ストップ／ポーズ
については、記録機構４０、４１への記録機構制御のタ
イミングを与えるだけでなく、スタートのタイミングで
カット点のきっかけとしてカット点を示すマーク情報を
記録する。このカット点でのタイムスタンプによりカッ
ト点間の映像（ショット）が絶対時刻で規定される。ま
た、このタイミングで記録したフレーム映像を圧縮して
付帯情報の一部として記録すると、それはそのカット点
で始まるショットの代表映像としてグラフィカルインデ
クスとすることができる。

【００２７】その他、各種センサで検出した情報や発生
した情報を用いて、記録時にリアルタイム処理を行い、
付帯情報として記録するための情報を二次処理部３８で
発生する。二次情報の発生の仕方としては、記録時に常
に処理結果を記録する場合と、処理自体がフィルタリン
グとなっており結果の値がある条件を満たした場合に、
そのことを示すマーク情報を記録する場合がある。二次
処理部３８における処理・評価アルゴリズムはあらかじ
め設定するが、それらをプログラマブルとしておくこと
により汎用的な処理が可能となる。例えば、カメラ位置
やカメラ光軸の変化量がある一定値を越えた場合に、急
激なカメラ操作を要するイベントが生じたとするマーク
情報を記録する。例えば、角速度検出値から得られるカ
メラ光軸変位量を用いて、あるしきい値を超えている範
囲をパニング、チルティングとしてマークしたり、焦点
距離の変化からズームイン／アウトのマーク情報をつけ
ることができる。

【００２８】さらに、音声、画像、テキストなどのデー
タにより外部から撮影に関する情報、例えば、音声によ
る撮影者のナレーションや、説明となるテキストや図面
などは、外部入力インターフェース５２から入力し、付
帯情報として付け加える。

【００２９】一方、撮影映像をビデオデープのような順
次記録媒体／再生媒体に記録する場合、以上述べた付帯
情報を映像とは別のランダムアクセス可能な記録媒体、
例えば、フロッピーディスクに記録すると、記録後の処
理に映像自身をすべて処理せずとも、付帯情報として記
録されている情報をもとに検索や映像分析一次処理など
が可能となる。例えば、図４に示すように、マーク情報
として記録されているカット点４０１Ａの情報４０２を
用いることにより、各カットの時刻情報等をすぐに一覧
することができ、また、カット点４０１Ａでのフレーム
映像４０３を即座に一覧して（フレーム映像列４０４）
表示することにより、視覚的に撮影映像の内容一覧がで
き、これをもとに一次処理としての粗いサマリー映像編
集などを、実際の映像情報を用いることなく短時間に実
現できる。

【００３０】以上、本発明を実施例に基づき具体的に説
明したが、本発明は、上記実施例に限定されるものでは
なく、その要旨を逸脱しない範囲において種々変更し得
ることはいうまでもない。

【００３１】

【発明の効果】以上、説明したように、本発明のマルチ
情報カメラによれば、撮影時に、従来、電子的に記録さ
れていなかった情報を付帯情報として映像・音声と同時
に自動的に記録することができるので、記録後に計算機
で映像を自動処理する場合にインデクスとしての情報、
さらに多くの処理に必要な情報を得ることができる。す
なわち、記録後の付帯情報は、映像処理時に計算機が映
像を処理する際に、上記に示したような検索や編集など
の一時処理の他、映像の認識等に必要な情報を与える。
例えば、撮像系条件情報、カメラ位置やカメラ光軸の情
報は、映像から被写物の３次元モデルの推定に重要な情
報を与える。

【００３２】また、カメラで一時的に検出・発生した情
報だけでなく、それらを元に、撮影時にリアルタイムで
処理を行って二次情報を付帯情報として付け加え、しか
もそれら付帯情報をランダムアクセス可能な記録媒体に
記録することにより、記録後の計算機処理時に必ずしも
映像をすべて処理しなくとも付帯情報だけの処理で高速
に検索などの処理が可能となる。

【図面の簡単な説明】

【図１】 本発明の一実施例における撮影に関する撮影
者、カメラ、被写体、周囲環境等の状況を示した図、

【図２】 本発明に係るマルチ情報カメラの情報記録機
構の一実施例の構成を示すブロック図、

【図３】 本実施例のマルチ情報カメラにおける情報の
関係を説明するための図、

【図４】 本実施例の記録された映像・音声情報と付帯
情報の様子とその利用について説明するための図、

【図５】 従来のタイムコードを利用する映像・音声記
録系の構成を示した図。

【符号の説明】

１０…撮像部、１１…映像記録部、１２…タイムコード
発生機、１３…音声記録部、１４…マイク、２０…太
陽、２１…カメラ、２２…撮影者、２３…被写体、２４
…カメラ操作、２５…周囲環境、３０…レンズ、３１…
絞り、３２…ズーム機構、３３…電子シャッター、３４
…撮像素子、３５…電子駆動系、３６…データ変換部、
３７…映像・音声処理部、３８…二次処理系、３９…フ
ォーマット変換部、４０…映像・音声記録機構、４１…
付帯情報記録機構、４２…タイムスタンプ発生部、４３
…記録スタート・ポーズ・ストップスイッチ、４４…マ
イク、４５…距離センサ、４６…カメラ高センサ、４７
…カメラ位置検出機構、４８…角速度検出機構、４９…
温度センサ、５０…湿度センサ、５１…その他の周囲環
境センサ、５２…外部入力インタフェース。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 映像と音声を記録するカメラであって、
   撮影時の絶対時刻を発生してデータ化する手段と、カメ
   ラの位置を検出してデータ化する手段と、カメラの向き
   を検出してデータ化する手段と、撮像関連情報を撮像制
   御系から発生してデータ化する手段と、カメラ動きデー
   タを検出してデータ化する手段と、周囲環境情報を検出
   してデータ化する手段と、それらのデータを付帯情報と
   して時々刻々に撮影映像と対応させて自動的に記録する
   手段を具備することを特徴とするマルチ情報カメラ。
2. 【請求項２】 請求項１に記載のマルチ情報カメラにお
   いて、データ記録時にデータに対してあらかじめ定める
   前処理を行う手段と、その処理結果を評価し、あらかじ
   め設定してある条件に合致したときにそのことを示すマ
   ーキング情報を新たな付帯情報として時々刻々の撮影映
   像と対応させて自動的に記録する手段を具備することを
   特徴とするマルチ情報カメラ。
3. 【請求項３】 請求項２に記載のカメラにおいて、条件
   合致時のフレーム映像を新たな付帯情報として時々刻々
   の撮影映像と対応させて自動的に記録する手段を具備す
   ることを特徴とするマルチ情報カメラ。
4. 【請求項４】 請求項１乃至３のうちどれか１項に記載
   のカメラにおいて、上記記載のデータを映像記録系とは
   独立にランダムアクセス記録媒体に記録する手段を具備
   することを特徴とするマルチ情報カメラ。