JPH1049706A - 情報編集装置、情報再生装置、及び情報編集再生装置 - Google Patents
情報編集装置、情報再生装置、及び情報編集再生装置Info
- Publication number
- JPH1049706A JPH1049706A JP8202418A JP20241896A JPH1049706A JP H1049706 A JPH1049706 A JP H1049706A JP 8202418 A JP8202418 A JP 8202418A JP 20241896 A JP20241896 A JP 20241896A JP H1049706 A JPH1049706 A JP H1049706A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- related information
- dimensional model
- photographing position
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
(57)【要約】
【課題】 動画像に映っているオブジェクトを選択して
関連情報にアクセスする装置において、オブジェクトを
選択するのに必要な情報設定作業と、リンク情報を大幅
に削減する。 【解決手段】 編集装置において、動画像内の特定オブ
ジェクトを対応する3次元モデルとして置き換え、3次
元モデルを各フレームごとに設定された撮影位置データ
に基づき、その撮影位置から見た場合に得られる3次元
画像をバッファ上に描画し、そこに映っているオブジェ
クトに対して選択処理するように構成する。
関連情報にアクセスする装置において、オブジェクトを
選択するのに必要な情報設定作業と、リンク情報を大幅
に削減する。 【解決手段】 編集装置において、動画像内の特定オブ
ジェクトを対応する3次元モデルとして置き換え、3次
元モデルを各フレームごとに設定された撮影位置データ
に基づき、その撮影位置から見た場合に得られる3次元
画像をバッファ上に描画し、そこに映っているオブジェ
クトに対して選択処理するように構成する。
Description
【0001】
【発明の属する技術分野】本発明は、動画像、音声、テ
キスト等のマルチメディアデータの扱う装置に関するも
ので、特に動画像の扱いにあたり、再生の際に動画像内
の特定オブジェクトを指定するとその関連情報が再生さ
れるよう、オブジェクトと関連情報間のリンク情報を編
集する編集装置、及びオブジェクトと関連情報がリンク
付けされた動画像を再生する再生装置に関する。
キスト等のマルチメディアデータの扱う装置に関するも
ので、特に動画像の扱いにあたり、再生の際に動画像内
の特定オブジェクトを指定するとその関連情報が再生さ
れるよう、オブジェクトと関連情報間のリンク情報を編
集する編集装置、及びオブジェクトと関連情報がリンク
付けされた動画像を再生する再生装置に関する。
【0002】
【従来の技術】近年、CD−ROMを用いた電子出版や
インターネット上のをWorld Wide Webの
ホームページなどにおける情報検索の方式としてハイパ
ーテキスト技術が盛んに使われ始めている。一般にハイ
パーテキスト技術では、ある情報と他の情報について関
連情報としてリンクを設定し、そのリンクを実行するた
めのボタンを画面上に表示し、ユーザがボタンを選択す
ることで関連情報を画面上に表示する。情報及びその関
連情報としてはテキスト、静止画、音声、動画などが用
いられ、また、それら各種のデータが混在したマルチメ
ディア情報を取り扱うことができるものもある。ここで
は、実写映像による自然動画などの動画像を使用して、
これに各種の関連情報をリンクする場合を考える。
インターネット上のをWorld Wide Webの
ホームページなどにおける情報検索の方式としてハイパ
ーテキスト技術が盛んに使われ始めている。一般にハイ
パーテキスト技術では、ある情報と他の情報について関
連情報としてリンクを設定し、そのリンクを実行するた
めのボタンを画面上に表示し、ユーザがボタンを選択す
ることで関連情報を画面上に表示する。情報及びその関
連情報としてはテキスト、静止画、音声、動画などが用
いられ、また、それら各種のデータが混在したマルチメ
ディア情報を取り扱うことができるものもある。ここで
は、実写映像による自然動画などの動画像を使用して、
これに各種の関連情報をリンクする場合を考える。
【0003】動画像を画面上に再生して、そこに映し出
されている物体つまりオブジェクトの関連情報を表示す
るには、使用者はそのオブジェクトをカーソル等で指示
して選択しなければならない。この選択方法として従来
は次の二つの方法が用いられてきた。
されている物体つまりオブジェクトの関連情報を表示す
るには、使用者はそのオブジェクトをカーソル等で指示
して選択しなければならない。この選択方法として従来
は次の二つの方法が用いられてきた。
【0004】(1)オブジェクトの近くに表示されたボ
タンをカーソルで選択する。オブジェクトの近くにボタ
ンを表示し、オブジェクトを選択したい場合はボタンを
カーソルで選択する。ボタンの表示位置はフレーム毎に
更新する。
タンをカーソルで選択する。オブジェクトの近くにボタ
ンを表示し、オブジェクトを選択したい場合はボタンを
カーソルで選択する。ボタンの表示位置はフレーム毎に
更新する。
【0005】(2)オブジェクト自身をカーソルで選択
する。動画像として表示されているオブジェクトを矩形
などで囲んで領域を設定しておいて、カーソルをその領
域内に入れて選択ボタンを押したら、オブジェクトが選
択されたと判定する。この矩形領域はフレーム毎に作成
される。
する。動画像として表示されているオブジェクトを矩形
などで囲んで領域を設定しておいて、カーソルをその領
域内に入れて選択ボタンを押したら、オブジェクトが選
択されたと判定する。この矩形領域はフレーム毎に作成
される。
【0006】(1)の方法は特開平2ー121058
「データファイル装置とデータ連想記録検索方法および
検索装置」や特開平3ー9393「データ編集/提示方
法とその装置」にも用いられている。(2)については
一般に、動画像を使ったシューティングゲームの当たり
判定などで使用されている。
「データファイル装置とデータ連想記録検索方法および
検索装置」や特開平3ー9393「データ編集/提示方
法とその装置」にも用いられている。(2)については
一般に、動画像を使ったシューティングゲームの当たり
判定などで使用されている。
【0007】
【発明が解決しようとする課題】自然動画などの動画像
データについては、多数のフレーム(静止画像として1
画面になる)から構成されるもので、再生にあたっては
毎秒30フレームなどの割合で連続的に再生されるもの
である。例えば、静止物体を移動しながら撮影した場合
に得られる動画像のように、オブジェクトの位置が時々
刻々と変化する場合、オブジェクトと関連情報とのリン
ク付けの編集作業にあたって、従来の技術では以下のよ
うな問題点が生じる。
データについては、多数のフレーム(静止画像として1
画面になる)から構成されるもので、再生にあたっては
毎秒30フレームなどの割合で連続的に再生されるもの
である。例えば、静止物体を移動しながら撮影した場合
に得られる動画像のように、オブジェクトの位置が時々
刻々と変化する場合、オブジェクトと関連情報とのリン
ク付けの編集作業にあたって、従来の技術では以下のよ
うな問題点が生じる。
【0008】従来の技術(1)では、ボタンの大きさや
形状については、オブジェクトの数だけ設定すればいい
が、ボタンの表示位置はフレーム毎にオブジェクトの数
だけ設定しなければならない。
形状については、オブジェクトの数だけ設定すればいい
が、ボタンの表示位置はフレーム毎にオブジェクトの数
だけ設定しなければならない。
【0009】従来技術の(2)では、オブジェクト選択
用の領域情報をフレーム毎にオブジェクトの数だけ設定
しなければならない。
用の領域情報をフレーム毎にオブジェクトの数だけ設定
しなければならない。
【0010】いずれにしても、フレーム×オブジェクト
の数だけボタンの位置または領域情報を設定する必要が
あり、フレーム数やリンク対象のオブジェクトが増える
につれて編集作業及び編集情報が増大し、その分だけ再
生に際しても必要情報の量と検索及び処理時間が増大す
る。
の数だけボタンの位置または領域情報を設定する必要が
あり、フレーム数やリンク対象のオブジェクトが増える
につれて編集作業及び編集情報が増大し、その分だけ再
生に際しても必要情報の量と検索及び処理時間が増大す
る。
【0011】本発明は、かかる事情に鑑みてなされたも
ので、フレーム毎に個々のオブジェクトに対して行って
いた上述のような編集作業を不要とし、編集作業と編集
情報量とを削減できる編集・再生装置を提供することを
目的とする。
ので、フレーム毎に個々のオブジェクトに対して行って
いた上述のような編集作業を不要とし、編集作業と編集
情報量とを削減できる編集・再生装置を提供することを
目的とする。
【0012】
【課題を解決するための手段】上記目的を達成するため
に請求項1にかかる発明は、動画像内のオブジェクトと
関連情報間のリンク情報を編集する情報編集装置におい
て、画面上に表示されたカーソルを移動させ、画面上の
1点の座標を入力するカーソル制御手段と、動画像デー
タを記憶する動画像記憶手段と、動画像内のオブジェク
トの関連情報を記憶する関連情報記憶手段と、動画像内
のオブジェクトに対応する3次元モデルデータを記憶す
る3次元モデル記憶手段と、上記動画像記憶手段から動
画像データを読み出して、再生する動画像再生手段と、
動画像の各フレームに対応した撮影位置データを記憶す
る撮影位置記憶手段と、上記動画像再生手段が再生する
映像の各フレームに対応した撮影位置データを、上記撮
影位置記憶手段から読み出す撮影位置読み出し手段と、
上記撮影位置記憶手段から読み出した撮影位置データを
表示して、これを編集者の入力に従って変更する撮影位
置変更手段と、上記撮影位置読み出し手段が読み出した
撮影位置に、あるいは撮影位置変更手段によって変更さ
れた撮影位置に基づく画像を、上記3次元モデル記憶手
段に記憶した3次元モデルデータを用いて描画する3次
元シーン描画手段と、上記3次元シーン描画手段が描画
した画像を記憶する3次元シーン描画バッファと、3次
元モデルの選択にあたって、上記カーソル制御手段が内
部で記憶している現在のカーソル位置にあるピクセルの
値を上記3次元シーン描画バッファから取得し、その値
に対応する3次元モデルを選択する3次元モデル選択手
段と、リンク先の選択にあたって、上記関連情報記憶手
段に記憶された関連情報に基づいて、リンク先になる関
連情報の候補一覧を表示し、その内より編集者の選択を
受けるリンク先選択手段と、上記リンク先選択手段によ
り選択された関連情報について、現在選択中の3次元モ
デルの識別子と、リンク先になる関連情報の識別子とを
対応させて記憶するリンク情報記憶手段と、上記動画像
再生手段が再生する動画像と、上記3次元シーン描画バ
ッファが記憶する画像と、上記カーソル制御手段が制御
するカーソルと、上記撮影位置変更手段により撮影位置
を変更するための操作インターフェースと、上記リンク
先選択手段によってリンク先を選択するための候補一覧
とを表示する表示手段とを備えることを特徴とするもの
である。
に請求項1にかかる発明は、動画像内のオブジェクトと
関連情報間のリンク情報を編集する情報編集装置におい
て、画面上に表示されたカーソルを移動させ、画面上の
1点の座標を入力するカーソル制御手段と、動画像デー
タを記憶する動画像記憶手段と、動画像内のオブジェク
トの関連情報を記憶する関連情報記憶手段と、動画像内
のオブジェクトに対応する3次元モデルデータを記憶す
る3次元モデル記憶手段と、上記動画像記憶手段から動
画像データを読み出して、再生する動画像再生手段と、
動画像の各フレームに対応した撮影位置データを記憶す
る撮影位置記憶手段と、上記動画像再生手段が再生する
映像の各フレームに対応した撮影位置データを、上記撮
影位置記憶手段から読み出す撮影位置読み出し手段と、
上記撮影位置記憶手段から読み出した撮影位置データを
表示して、これを編集者の入力に従って変更する撮影位
置変更手段と、上記撮影位置読み出し手段が読み出した
撮影位置に、あるいは撮影位置変更手段によって変更さ
れた撮影位置に基づく画像を、上記3次元モデル記憶手
段に記憶した3次元モデルデータを用いて描画する3次
元シーン描画手段と、上記3次元シーン描画手段が描画
した画像を記憶する3次元シーン描画バッファと、3次
元モデルの選択にあたって、上記カーソル制御手段が内
部で記憶している現在のカーソル位置にあるピクセルの
値を上記3次元シーン描画バッファから取得し、その値
に対応する3次元モデルを選択する3次元モデル選択手
段と、リンク先の選択にあたって、上記関連情報記憶手
段に記憶された関連情報に基づいて、リンク先になる関
連情報の候補一覧を表示し、その内より編集者の選択を
受けるリンク先選択手段と、上記リンク先選択手段によ
り選択された関連情報について、現在選択中の3次元モ
デルの識別子と、リンク先になる関連情報の識別子とを
対応させて記憶するリンク情報記憶手段と、上記動画像
再生手段が再生する動画像と、上記3次元シーン描画バ
ッファが記憶する画像と、上記カーソル制御手段が制御
するカーソルと、上記撮影位置変更手段により撮影位置
を変更するための操作インターフェースと、上記リンク
先選択手段によってリンク先を選択するための候補一覧
とを表示する表示手段とを備えることを特徴とするもの
である。
【0013】また、請求項2にかかる発明は、動画像を
再生し、指定により動画像内の特定オブジェクトの関連
情報を再生する情報再生装置において、画面上に表示さ
れたカーソルを移動させ、画面上の1点の座標を入力す
るカーソル制御手段と、動画像データを記憶する動画像
記憶手段と、動画像内のオブジェクトの関連情報を記憶
する関連情報記憶手段と、動画像内のオブジェクトに対
応する3次元モデルデータを記憶する3次元モデル記憶
手段と、上記3次元モデルの識別子と上記関連情報の識
別子とを、リンク関係に従って対応させて記憶するリン
ク情報記憶手段と、上記動画像記憶手段から動画像デー
タを読み出して、再生する動画像再生手段と、動画像の
各フレームに対応した撮影位置データを記憶する撮影位
置記憶手段と、上記動画像再生手段が再生する映像の各
フレームに対応した撮影位置を、上記撮影位置記憶手段
から読み出す撮影位置読み出し手段と、上記撮影位置読
み出し手段が読み出した撮影位置に基づく画像を上記3
次元モデル記憶手段に記憶した3次元モデルデータを用
いて、描画する3次元シーン描画手段と、上記3次元シ
ーン描画手段が描画した画像を記憶する3次元シーン描
画バッファと、カーソル位置にあるピクセルの値を上記
3次元シーン描画バッファから取得し、その値に対応す
る関連情報の識別子を上記リンク情報記憶手段から読み
出すリンク先読み出し手段と、上記リンク先読み出し手
段により読み出した関連情報の識別子で示される関連情
報を上記関連情報記憶手段から読み出して表示手段に再
生する関連情報再生手段と、関連情報の再生にあたっ
て、上記3次元モデル描画手段と、上記リンク先読み出
し手段と、上記関連情報再生手段とを制御して、順次機
能させる関連情報再生制御手段と、上記動画像再生手段
が再生する動画像と、上記関連情報再生手段が再生する
関連情報と、上記カーソル制御手段が制御するカーソル
とを表示する表示手段とを備えることを特徴とするもの
である。
再生し、指定により動画像内の特定オブジェクトの関連
情報を再生する情報再生装置において、画面上に表示さ
れたカーソルを移動させ、画面上の1点の座標を入力す
るカーソル制御手段と、動画像データを記憶する動画像
記憶手段と、動画像内のオブジェクトの関連情報を記憶
する関連情報記憶手段と、動画像内のオブジェクトに対
応する3次元モデルデータを記憶する3次元モデル記憶
手段と、上記3次元モデルの識別子と上記関連情報の識
別子とを、リンク関係に従って対応させて記憶するリン
ク情報記憶手段と、上記動画像記憶手段から動画像デー
タを読み出して、再生する動画像再生手段と、動画像の
各フレームに対応した撮影位置データを記憶する撮影位
置記憶手段と、上記動画像再生手段が再生する映像の各
フレームに対応した撮影位置を、上記撮影位置記憶手段
から読み出す撮影位置読み出し手段と、上記撮影位置読
み出し手段が読み出した撮影位置に基づく画像を上記3
次元モデル記憶手段に記憶した3次元モデルデータを用
いて、描画する3次元シーン描画手段と、上記3次元シ
ーン描画手段が描画した画像を記憶する3次元シーン描
画バッファと、カーソル位置にあるピクセルの値を上記
3次元シーン描画バッファから取得し、その値に対応す
る関連情報の識別子を上記リンク情報記憶手段から読み
出すリンク先読み出し手段と、上記リンク先読み出し手
段により読み出した関連情報の識別子で示される関連情
報を上記関連情報記憶手段から読み出して表示手段に再
生する関連情報再生手段と、関連情報の再生にあたっ
て、上記3次元モデル描画手段と、上記リンク先読み出
し手段と、上記関連情報再生手段とを制御して、順次機
能させる関連情報再生制御手段と、上記動画像再生手段
が再生する動画像と、上記関連情報再生手段が再生する
関連情報と、上記カーソル制御手段が制御するカーソル
とを表示する表示手段とを備えることを特徴とするもの
である。
【0014】また、請求項3にかかる発明は、動画像内
のオブジェクトと関連情報間のリンク情報を編集し、動
画像を再生し、かつ指定により動画像内のオブジェクト
の関連情報を再生する情報編集再生装置において、画面
上に表示されたカーソルを移動させ、画面上の1点の座
標を入力するカーソル制御手段と、動画像データを記憶
する動画像記憶手段と、動画像内のオブジェクトの関連
情報を記憶する関連情報記憶手段と、動画像内のオブジ
ェクトに対応する3次元モデルデータを記憶する3次元
モデル記憶手段と、上記動画像記憶手段から動画像デー
タを読み出して、再生する動画像再生手段と、上記動画
像再生手段が再生する映像の各フレームに対応した撮影
位置データを記憶する撮影位置記憶手段と、上記動画像
再生手段が再生する映像の各フレームに対応した撮影位
置を、上記撮影位置記憶手段から読み出す撮影位置読み
出し手段と、上記撮影位置記憶手段から読み出した撮影
位置データを表示して、これを編集者の入力に従って変
更する撮影位置変更手段と、上記撮影位置読み出し手段
が読み出した撮影位置に、あるいは撮影位置変更手段に
よって変更された撮影位置に基づく画像を、上記3次元
モデル記憶手段に記憶した3次元モデルデータを用いて
描画する3次元シーン描画手段と、上記3次元シーン描
画手段が描画した画像を記憶する3次元シーン描画バッ
ファと、3次元モデルの選択にあたって、上記カーソル
制御手段が内部で記憶している現在のカーソル位置にあ
るピクセルの値を上記3次元シーン描画バッファから取
得し、その値に対応する3次元モデルを選択する3次元
モデル選択手段と、リンク先の選択にあたって、上記関
連情報記憶手段に記憶された関連情報に基づいて、リン
ク先になる関連情報の候補一覧を表示し、その内より選
択を受けるリンク先選択手段と、上記リンク先選択手段
により選択された関連情報について、現在選択中の3次
元モデルの識別子と、リンク先になる関連情報の識別子
とを対応させて記憶するリンク情報記憶手段と、カーソ
ル位置にあるピクセルの値を上記3次元シーン描画バッ
ファから取得し、その値に対応する関連情報の識別子を
上記リンク情報記憶手段から読み出すリンク先読み出し
手段と、上記リンク先読み出し手段により読み出した関
連情報の識別子で示される関連情報を上記関連情報記憶
手段から読み出して表示手段に再生する関連情報再生手
段と、関連情報の再生にあたって、上記3次元モデル描
画手段と、上記リンク先読み出し手段と、上記関連情報
再生手段とを制御して、順次機能させる関連情報再生制
御手段と、上記動画像再生手段が再生する動画像と、上
記3次元シーン描画バッファが記憶する画像と、上記カ
ーソル制御手段が制御するカーソルと、上記撮影位置変
更手段により撮影位置を変更するための操作インターフ
ェースと、上記リンク先選択手段によってリンク先を選
択するための候補一覧と、上記関連情報再生手段が再生
する関連情報とを表示する表示手段とを備えることを特
徴とするものである。
のオブジェクトと関連情報間のリンク情報を編集し、動
画像を再生し、かつ指定により動画像内のオブジェクト
の関連情報を再生する情報編集再生装置において、画面
上に表示されたカーソルを移動させ、画面上の1点の座
標を入力するカーソル制御手段と、動画像データを記憶
する動画像記憶手段と、動画像内のオブジェクトの関連
情報を記憶する関連情報記憶手段と、動画像内のオブジ
ェクトに対応する3次元モデルデータを記憶する3次元
モデル記憶手段と、上記動画像記憶手段から動画像デー
タを読み出して、再生する動画像再生手段と、上記動画
像再生手段が再生する映像の各フレームに対応した撮影
位置データを記憶する撮影位置記憶手段と、上記動画像
再生手段が再生する映像の各フレームに対応した撮影位
置を、上記撮影位置記憶手段から読み出す撮影位置読み
出し手段と、上記撮影位置記憶手段から読み出した撮影
位置データを表示して、これを編集者の入力に従って変
更する撮影位置変更手段と、上記撮影位置読み出し手段
が読み出した撮影位置に、あるいは撮影位置変更手段に
よって変更された撮影位置に基づく画像を、上記3次元
モデル記憶手段に記憶した3次元モデルデータを用いて
描画する3次元シーン描画手段と、上記3次元シーン描
画手段が描画した画像を記憶する3次元シーン描画バッ
ファと、3次元モデルの選択にあたって、上記カーソル
制御手段が内部で記憶している現在のカーソル位置にあ
るピクセルの値を上記3次元シーン描画バッファから取
得し、その値に対応する3次元モデルを選択する3次元
モデル選択手段と、リンク先の選択にあたって、上記関
連情報記憶手段に記憶された関連情報に基づいて、リン
ク先になる関連情報の候補一覧を表示し、その内より選
択を受けるリンク先選択手段と、上記リンク先選択手段
により選択された関連情報について、現在選択中の3次
元モデルの識別子と、リンク先になる関連情報の識別子
とを対応させて記憶するリンク情報記憶手段と、カーソ
ル位置にあるピクセルの値を上記3次元シーン描画バッ
ファから取得し、その値に対応する関連情報の識別子を
上記リンク情報記憶手段から読み出すリンク先読み出し
手段と、上記リンク先読み出し手段により読み出した関
連情報の識別子で示される関連情報を上記関連情報記憶
手段から読み出して表示手段に再生する関連情報再生手
段と、関連情報の再生にあたって、上記3次元モデル描
画手段と、上記リンク先読み出し手段と、上記関連情報
再生手段とを制御して、順次機能させる関連情報再生制
御手段と、上記動画像再生手段が再生する動画像と、上
記3次元シーン描画バッファが記憶する画像と、上記カ
ーソル制御手段が制御するカーソルと、上記撮影位置変
更手段により撮影位置を変更するための操作インターフ
ェースと、上記リンク先選択手段によってリンク先を選
択するための候補一覧と、上記関連情報再生手段が再生
する関連情報とを表示する表示手段とを備えることを特
徴とするものである。
【0015】また、請求項4にかかる発明は、請求項1
記載の情報編集装置において、上記3次元モデル選択手
段によって選択された3次元モデルのモデル名を画面上
に表示するモデル名表示手段を備えることを特徴とする
ものである。
記載の情報編集装置において、上記3次元モデル選択手
段によって選択された3次元モデルのモデル名を画面上
に表示するモデル名表示手段を備えることを特徴とする
ものである。
【0016】また、請求項5にかかる発明は、請求項3
記載の情報編集再生装置において、上記3次元モデル選
択手段によって選択された3次元モデルのモデル名を画
面上に表示するモデル名表示手段を備えることを特徴と
するものである。
記載の情報編集再生装置において、上記3次元モデル選
択手段によって選択された3次元モデルのモデル名を画
面上に表示するモデル名表示手段を備えることを特徴と
するものである。
【0017】また、請求項6にかかる発明は、請求項1
記載の情報編集装置において、動画像を撮影する動画像
撮影手段と、上記動画像撮影手段で撮影した動画像を動
画像データとして上記動画像記憶手段に記録する動画像
記録手段と、撮影時のカメラの位置と向きを動画像の各
フレーム単位に計測する撮影位置計測手段と、上記撮影
位置計測手段で計測した撮影位置を上記動画像記録手段
が記録した動画像の各フレームに対応した撮影位置デー
タとして上記撮影位置記憶手段に記録する撮影位置記録
手段とを備えることを特徴とするものである。
記載の情報編集装置において、動画像を撮影する動画像
撮影手段と、上記動画像撮影手段で撮影した動画像を動
画像データとして上記動画像記憶手段に記録する動画像
記録手段と、撮影時のカメラの位置と向きを動画像の各
フレーム単位に計測する撮影位置計測手段と、上記撮影
位置計測手段で計測した撮影位置を上記動画像記録手段
が記録した動画像の各フレームに対応した撮影位置デー
タとして上記撮影位置記憶手段に記録する撮影位置記録
手段とを備えることを特徴とするものである。
【0018】また、請求項7にかかる発明は、請求項3
記載の情報編集再生装置において、動画像を撮影する動
画像撮影手段と、上記動画像撮影手段で撮影した動画像
を動画像データとして上記動画像記憶手段に記録する動
画像記録手段と、撮影時のカメラの位置と向きを動画像
の各フレーム単位に計測する撮影位置計測手段と、上記
撮影位置計測手段で計測した撮影位置を上記動画像記録
手段が記録した動画像の各フレームに対応した撮影位置
データとして上記撮影位置記憶手段に記録する撮影位置
記録手段とを備えることを特徴とするものである。
記載の情報編集再生装置において、動画像を撮影する動
画像撮影手段と、上記動画像撮影手段で撮影した動画像
を動画像データとして上記動画像記憶手段に記録する動
画像記録手段と、撮影時のカメラの位置と向きを動画像
の各フレーム単位に計測する撮影位置計測手段と、上記
撮影位置計測手段で計測した撮影位置を上記動画像記録
手段が記録した動画像の各フレームに対応した撮影位置
データとして上記撮影位置記憶手段に記録する撮影位置
記録手段とを備えることを特徴とするものである。
【0019】また、請求項8にかかる発明は、請求項6
記載の情報編集装置において、上記3次元モデル選択手
段によって選択された3次元モデルのモデル名を画面上
に表示するモデル名表示手段を備えることを特徴とする
ものである。
記載の情報編集装置において、上記3次元モデル選択手
段によって選択された3次元モデルのモデル名を画面上
に表示するモデル名表示手段を備えることを特徴とする
ものである。
【0020】また、請求項9にかかる発明は、請求項7
記載の情報編集再生装置において、上記3次元モデル選
択手段によって選択された3次元モデルのモデル名を画
面上に表示するモデル名表示手段を備えることを特徴と
するものである。
記載の情報編集再生装置において、上記3次元モデル選
択手段によって選択された3次元モデルのモデル名を画
面上に表示するモデル名表示手段を備えることを特徴と
するものである。
【0021】
【発明の実施の形態】以下の実施の形態1〜5における
情報編集装置、情報再生装置、及び情報編集再生装置に
ついては、(A)撮影、(B)編集、(C)再生の全部
または一部を行うものであり、各装置の動作の説明にあ
たっては上記の記号(A)〜(C)を用いるものとす
る。
情報編集装置、情報再生装置、及び情報編集再生装置に
ついては、(A)撮影、(B)編集、(C)再生の全部
または一部を行うものであり、各装置の動作の説明にあ
たっては上記の記号(A)〜(C)を用いるものとす
る。
【0022】実施の形態1.本発明の実施の形態1は、
オブジェクトと関連情報間のリンク情報を編集する編集
装置である。
オブジェクトと関連情報間のリンク情報を編集する編集
装置である。
【0023】図1は本発明の実施の形態1の情報編集装
置を示す構成図である。図における符号の説明は以下の
通りである。1は動画像記憶手段1であって、動画像デ
ータをアナログまたはディジタルで複数フレーム記憶す
る。動画像データは、アナログまたはディジタルの家庭
用カメラ一体型VTRなどで簡単に作成することができ
る。また、コンピュータで処理しやすいコンピュータ用
の動画フォーマット、例えばApple社のパソコンで
あるMacintosh上で使われているQuickT
imeフォーマットに動画像データを変換したものであ
ってもよい。このようなデータ変換はパソコン上で動作
する市販の変換ソフトで簡単に行うことができる。2は
関連情報記憶手段であって、動画像に映っている特定の
オブジェクトに関連する情報である関連情報と、関連情
報の識別子とを記憶している。この情報はテキスト・音
声・静止画・動画またはそれらが混在したマルチメディ
アデータのいずれであってもよい。このようなデータは
パソコン上で動作する市販のワープロソフトやアニメー
ション作成ソフトや音声編集ソフトや映像編集ソフトな
どにより簡単に作成することができ、この例においては
関連情報はすでに作成され関連情報記憶手段2に記憶さ
れたものとする。関連情報識別子は関連情報を特定する
ためのものであり、例えばファイル名等をこれに用いる
ことができる。3は3次元モデル記憶手段3であって、
3次元シーンを描画するための3次元モデルの、3次元
空間内での位置および形状を定義した3次元オブジェク
トデータと、3次元モデルの識別子と、3次元モデルの
名前とを複数記憶する。4は撮影位置記憶手段であっ
て、動画像データの各フレームごとにそのフレームに対
応した3次元シーンを描画する時の撮影位置データを記
憶する。15はリンク情報記憶手段であって、リンク先
選択手段14において選択された3次元モデルの識別子
と関連情報の識別子との組み合わせを複数記憶する。以
上の構成要素1、2、3、4、15は、例えば磁気ディ
スク、光磁気ディスク、光ディスク、半導体メモリを使
用したICカード等の補助記憶装置またはコンピュータ
に内蔵されている半導体メモリなどの主記憶装置により
実現される。
置を示す構成図である。図における符号の説明は以下の
通りである。1は動画像記憶手段1であって、動画像デ
ータをアナログまたはディジタルで複数フレーム記憶す
る。動画像データは、アナログまたはディジタルの家庭
用カメラ一体型VTRなどで簡単に作成することができ
る。また、コンピュータで処理しやすいコンピュータ用
の動画フォーマット、例えばApple社のパソコンで
あるMacintosh上で使われているQuickT
imeフォーマットに動画像データを変換したものであ
ってもよい。このようなデータ変換はパソコン上で動作
する市販の変換ソフトで簡単に行うことができる。2は
関連情報記憶手段であって、動画像に映っている特定の
オブジェクトに関連する情報である関連情報と、関連情
報の識別子とを記憶している。この情報はテキスト・音
声・静止画・動画またはそれらが混在したマルチメディ
アデータのいずれであってもよい。このようなデータは
パソコン上で動作する市販のワープロソフトやアニメー
ション作成ソフトや音声編集ソフトや映像編集ソフトな
どにより簡単に作成することができ、この例においては
関連情報はすでに作成され関連情報記憶手段2に記憶さ
れたものとする。関連情報識別子は関連情報を特定する
ためのものであり、例えばファイル名等をこれに用いる
ことができる。3は3次元モデル記憶手段3であって、
3次元シーンを描画するための3次元モデルの、3次元
空間内での位置および形状を定義した3次元オブジェク
トデータと、3次元モデルの識別子と、3次元モデルの
名前とを複数記憶する。4は撮影位置記憶手段であっ
て、動画像データの各フレームごとにそのフレームに対
応した3次元シーンを描画する時の撮影位置データを記
憶する。15はリンク情報記憶手段であって、リンク先
選択手段14において選択された3次元モデルの識別子
と関連情報の識別子との組み合わせを複数記憶する。以
上の構成要素1、2、3、4、15は、例えば磁気ディ
スク、光磁気ディスク、光ディスク、半導体メモリを使
用したICカード等の補助記憶装置またはコンピュータ
に内蔵されている半導体メモリなどの主記憶装置により
実現される。
【0024】5は動画像再生手段であって、動画像記憶
手段1に記憶された動画像データを読み出して画面の特
定の矩形領域に再生する。動画像再生手段に用いうる再
生用制御プログラムとしては、動画像データのフォーマ
ットが上記QuickTimeの場合には、Quick
Time用のソフトウェアライブラリを使用することが
できる。また、動画像再生手段5は内部レジスタを持
ち、現在再生中のフレームのフレーム番号をこれに記憶
する。6は撮影位置読み出し手段であって、動画像再生
手段5が再生しているフレームに対応する撮影位置デー
タを、動画像再生手段5の内部レジスタに記憶されたフ
レーム番号によって、撮影位置記憶手段4から読み出
す。11は撮影位置変更手段であって、撮影位置記憶手
段4に記憶された撮影位置データを表示し、編集者によ
る変更の入力を受け、編集者からの更新命令によって撮
影位置記憶手段に記憶された撮影位置データを書き換え
る。13はモデル名表示手段であって、3次元モデル選
択手段12によって3次元モデルが選択された際に、そ
の3次元モデルのモデル名を3次元モデル記憶手段3か
ら読み出してきて画面上の特定の領域に表示する。14
はリンク先選択手段であって、3次元モデル選択手段1
2によって3次元モデルが選択された後、関連する情報
へのリンクの作成にあたって、関連情報識別子の候補選
択ダイアログを表示して、編集者によるリンク先の選択
を受ける。以上の構成要素5、6、11、13、14
は、例えばCPUおよびコンピュータの主記憶装置の一
部に格納された制御プログラムとして実現される。
手段1に記憶された動画像データを読み出して画面の特
定の矩形領域に再生する。動画像再生手段に用いうる再
生用制御プログラムとしては、動画像データのフォーマ
ットが上記QuickTimeの場合には、Quick
Time用のソフトウェアライブラリを使用することが
できる。また、動画像再生手段5は内部レジスタを持
ち、現在再生中のフレームのフレーム番号をこれに記憶
する。6は撮影位置読み出し手段であって、動画像再生
手段5が再生しているフレームに対応する撮影位置デー
タを、動画像再生手段5の内部レジスタに記憶されたフ
レーム番号によって、撮影位置記憶手段4から読み出
す。11は撮影位置変更手段であって、撮影位置記憶手
段4に記憶された撮影位置データを表示し、編集者によ
る変更の入力を受け、編集者からの更新命令によって撮
影位置記憶手段に記憶された撮影位置データを書き換え
る。13はモデル名表示手段であって、3次元モデル選
択手段12によって3次元モデルが選択された際に、そ
の3次元モデルのモデル名を3次元モデル記憶手段3か
ら読み出してきて画面上の特定の領域に表示する。14
はリンク先選択手段であって、3次元モデル選択手段1
2によって3次元モデルが選択された後、関連する情報
へのリンクの作成にあたって、関連情報識別子の候補選
択ダイアログを表示して、編集者によるリンク先の選択
を受ける。以上の構成要素5、6、11、13、14
は、例えばCPUおよびコンピュータの主記憶装置の一
部に格納された制御プログラムとして実現される。
【0025】7は3次元シーン描画手段であって、例え
ば高速グラフィックスハードウェアおよびその制御プロ
グラムにより構成され、撮影位置読み出し手段6により
読み出された視点位置と視線方向から、3次元モデル記
憶手段3に記憶した3次元シーンを眺めた場合に得られ
る画像のビットマップデータを生成する。12は3次元
モデル選択手段であって、例えば3次元シーン描画手段
7に組み込まれた制御プログラムとして実現され、3次
元シーン表示領域上でカーソル制御手段10により指示
された点に表示されている3次元モデルを3次元モデル
記憶手段3から検索し、その識別子を内部レジスタに記
憶する。8は3次元シーン描画バッファであって、例え
ばメモリ等コンピュータの主記憶装置の一部として実現
され、3次元シーン描画手段7が作成した画像のビット
マップデータを記憶する。9は表示手段であって、例え
ば、CRTや液晶などのディスプレイとして実現され、
動画像や3次元シーン、カーソル、撮影位置データ、操
作インターフェース、リンク先選択インターフェースな
どの表示を行う。10はカーソル制御手段であって、例
えば1つ以上のボタンを有するマウスやキーボードのよ
うな入力装置とその制御プログラムにより構成され、編
集者のマウス移動操作等に応じて図形カーソルを表示手
段9上で移動させると共に、編集者がボタンを押下等に
より指定したした時点でのカーソル位置座標を取得す
る。
ば高速グラフィックスハードウェアおよびその制御プロ
グラムにより構成され、撮影位置読み出し手段6により
読み出された視点位置と視線方向から、3次元モデル記
憶手段3に記憶した3次元シーンを眺めた場合に得られ
る画像のビットマップデータを生成する。12は3次元
モデル選択手段であって、例えば3次元シーン描画手段
7に組み込まれた制御プログラムとして実現され、3次
元シーン表示領域上でカーソル制御手段10により指示
された点に表示されている3次元モデルを3次元モデル
記憶手段3から検索し、その識別子を内部レジスタに記
憶する。8は3次元シーン描画バッファであって、例え
ばメモリ等コンピュータの主記憶装置の一部として実現
され、3次元シーン描画手段7が作成した画像のビット
マップデータを記憶する。9は表示手段であって、例え
ば、CRTや液晶などのディスプレイとして実現され、
動画像や3次元シーン、カーソル、撮影位置データ、操
作インターフェース、リンク先選択インターフェースな
どの表示を行う。10はカーソル制御手段であって、例
えば1つ以上のボタンを有するマウスやキーボードのよ
うな入力装置とその制御プログラムにより構成され、編
集者のマウス移動操作等に応じて図形カーソルを表示手
段9上で移動させると共に、編集者がボタンを押下等に
より指定したした時点でのカーソル位置座標を取得す
る。
【0026】以上のように構成された本発明の実施の形
態1の情報編集装置は(B)編集を行うものであり、以
下にその動作を、(1)編集画面表示、(2)撮影位置
データの設定、(3)関連情報とのリンク設定の各段階
について、図1〜図11を用いて説明する。
態1の情報編集装置は(B)編集を行うものであり、以
下にその動作を、(1)編集画面表示、(2)撮影位置
データの設定、(3)関連情報とのリンク設定の各段階
について、図1〜図11を用いて説明する。
【0027】(B)編集 (1)編集画面表示 編集作業が開始されると、まず編集画面が表示される。
図7に本実施の形態の編集装置における編集画面を示
す。図7の201は動画像表示領域であって動画像が表
示される。202は3次元シーン表示領域であって動画
像内のオブジェクトを3次元モデルに置き換えた3次元
シーンが表示される。203は操作インターフェースで
あって、編集者が指示を与えるためのものである。20
4はカーソルで、カーソル制御手段によって制御され、
編集者のマウス移動操作等に応じて画面上で移動し、編
集者がボタン押下等により指定した時点で画面上の位置
座標を得てカーソル制御手段に伝える。
図7に本実施の形態の編集装置における編集画面を示
す。図7の201は動画像表示領域であって動画像が表
示される。202は3次元シーン表示領域であって動画
像内のオブジェクトを3次元モデルに置き換えた3次元
シーンが表示される。203は操作インターフェースで
あって、編集者が指示を与えるためのものである。20
4はカーソルで、カーソル制御手段によって制御され、
編集者のマウス移動操作等に応じて画面上で移動し、編
集者がボタン押下等により指定した時点で画面上の位置
座標を得てカーソル制御手段に伝える。
【0028】動画像再生手段5は動画像記憶手段1から
1フレームの動画像を表示手段9に出力し、この1フレ
ームが画面内の201の動画像表示領域に表示される。
次いで撮影位置読み出し手段6は、動画像再生手段5が
内部レジスタに記憶しているフレーム番号を参照し、こ
のフレーム番号で指定される視点位置と視線方向を撮影
位置記憶手段4から読み出して、表示手段9により画面
の「フレーム番号」の部分にフレーム番号を、画面の
「視点の位置」及び「視線の方向」の部分に撮影位置読
み出し手段から得た撮影位置データを表示する。視点の
位置と視線の方向の初期値は、例えば、視点の位置は
(X,Y,Z)=(0,0,0)で、視線の方向は(r
x,ry)=(0,0)とする。(表記については後述
する。) 3次元シーン描画手段7は、撮影位置読み出し手段6に
より読み出された撮影位置データ(視点位置と視線方
向)に基づいて、3次元モデル記憶手段3に記憶した3
次元モデルをこの視点位置と視線方向により眺めた場合
に得られる画像のビットマップデータを生成して、3次
元シーン描画バッファに出力する。このバッファに書き
込まれた3次元モデルの画像は表示手段9において、画
面の3次元シーン領域202に表示される。3次元シー
ン描画手段に用いられる高速グラフィックスハードウェ
アおよびその制御プログラムには、パソコン用の3Dグ
ラフィックアクセラレータとその制御プログラムである
ドライバソフトウェアとその上で動く汎用の3Dライブ
ラリが使える。汎用の3Dライブラリの代表にシリコン
グラフィックス社のGL(GraphicLibrar
y)をベースにしたOpenGLがある。
1フレームの動画像を表示手段9に出力し、この1フレ
ームが画面内の201の動画像表示領域に表示される。
次いで撮影位置読み出し手段6は、動画像再生手段5が
内部レジスタに記憶しているフレーム番号を参照し、こ
のフレーム番号で指定される視点位置と視線方向を撮影
位置記憶手段4から読み出して、表示手段9により画面
の「フレーム番号」の部分にフレーム番号を、画面の
「視点の位置」及び「視線の方向」の部分に撮影位置読
み出し手段から得た撮影位置データを表示する。視点の
位置と視線の方向の初期値は、例えば、視点の位置は
(X,Y,Z)=(0,0,0)で、視線の方向は(r
x,ry)=(0,0)とする。(表記については後述
する。) 3次元シーン描画手段7は、撮影位置読み出し手段6に
より読み出された撮影位置データ(視点位置と視線方
向)に基づいて、3次元モデル記憶手段3に記憶した3
次元モデルをこの視点位置と視線方向により眺めた場合
に得られる画像のビットマップデータを生成して、3次
元シーン描画バッファに出力する。このバッファに書き
込まれた3次元モデルの画像は表示手段9において、画
面の3次元シーン領域202に表示される。3次元シー
ン描画手段に用いられる高速グラフィックスハードウェ
アおよびその制御プログラムには、パソコン用の3Dグ
ラフィックアクセラレータとその制御プログラムである
ドライバソフトウェアとその上で動く汎用の3Dライブ
ラリが使える。汎用の3Dライブラリの代表にシリコン
グラフィックス社のGL(GraphicLibrar
y)をベースにしたOpenGLがある。
【0029】ここで撮影位置記憶手段4に記憶される撮
影位置データと3次元モデル記憶手段3に記憶される3
次元モデルについて以下に図2から図6を用いて説明す
る。3次元モデルは動画像に映っている物体をモデル化
したものであるが、編集の際にしか画面上に表示されな
いので、動画像内のオブジェクトを選択する場合に不都
合が生じない程度に簡略化するすることができる。つま
り、オブジェクトが存在しない部分を選択したのにその
オブジェクトが選択されるなどの不都合が起こらなけれ
ば、詳細な3次元モデルを作成しなくてもよい。例え
ば、図2に示すようにテレビを単なる長方形の3次元モ
デルでモデル化することができる。このようなデータは
パソコン上で動作する市販のモデリングツールにより簡
単に作成することができる。本実施の形態1における編
集装置については、3次元モデル作成の段階については
説明を省略し、かかるツール等によって作成されたモデ
ルが3次元モデル記憶手段3に記憶された状態になって
いるものとしている。
影位置データと3次元モデル記憶手段3に記憶される3
次元モデルについて以下に図2から図6を用いて説明す
る。3次元モデルは動画像に映っている物体をモデル化
したものであるが、編集の際にしか画面上に表示されな
いので、動画像内のオブジェクトを選択する場合に不都
合が生じない程度に簡略化するすることができる。つま
り、オブジェクトが存在しない部分を選択したのにその
オブジェクトが選択されるなどの不都合が起こらなけれ
ば、詳細な3次元モデルを作成しなくてもよい。例え
ば、図2に示すようにテレビを単なる長方形の3次元モ
デルでモデル化することができる。このようなデータは
パソコン上で動作する市販のモデリングツールにより簡
単に作成することができる。本実施の形態1における編
集装置については、3次元モデル作成の段階については
説明を省略し、かかるツール等によって作成されたモデ
ルが3次元モデル記憶手段3に記憶された状態になって
いるものとしている。
【0030】図3に本実施の形態の編集装置において採
用している座標系の概念図を示す。この座標系は初期状
態における画面の水平方向をX軸に、画面の垂直方向を
Y軸に、画面の奥行き方向をZ軸に選んだ直行座標系で
ある。X、Y、Z軸はそれぞれ右向き、上向き、奥向き
が正の方向とする。3次元空間のある一点は座標(x,
y,z)で表すことができる。
用している座標系の概念図を示す。この座標系は初期状
態における画面の水平方向をX軸に、画面の垂直方向を
Y軸に、画面の奥行き方向をZ軸に選んだ直行座標系で
ある。X、Y、Z軸はそれぞれ右向き、上向き、奥向き
が正の方向とする。3次元空間のある一点は座標(x,
y,z)で表すことができる。
【0031】今、動画像として図4の(a)のようにテ
レビと本棚と机とが映っている場合を考える。これらの
オブジェクトに関連情報を設定する場合は同図(b)に
示すような3次元モデルを用意する。図5(a)は、こ
れらの3次元モデルの上記座標系における相対位置関係
を示す上面図である。この時、3次元モデル記憶手段3
の記憶内容は概念的には同図(b)のようになる。同図
において、最初の列は3次元シーン内の表示オブジェク
トの識別子として用いられるオブジェクトIDである。
2番目及び3番目の列はオブジェクトについてのデー
タ、すなわちオブジェクトデータである。2番目の列は
各オブジェクトの中心の3次元空間内での位置を示す。
3番目の列は各オブジェクトの形状であり、実際の形状
データとしては各オブジェクトを構成する全ての頂点の
座標値が正確に記述されるが、本発明の主旨とは特に関
係しないので抽象表現してある。最後の列はモデル名で
あり、各オブジェクトの名前を用いる。
レビと本棚と机とが映っている場合を考える。これらの
オブジェクトに関連情報を設定する場合は同図(b)に
示すような3次元モデルを用意する。図5(a)は、こ
れらの3次元モデルの上記座標系における相対位置関係
を示す上面図である。この時、3次元モデル記憶手段3
の記憶内容は概念的には同図(b)のようになる。同図
において、最初の列は3次元シーン内の表示オブジェク
トの識別子として用いられるオブジェクトIDである。
2番目及び3番目の列はオブジェクトについてのデー
タ、すなわちオブジェクトデータである。2番目の列は
各オブジェクトの中心の3次元空間内での位置を示す。
3番目の列は各オブジェクトの形状であり、実際の形状
データとしては各オブジェクトを構成する全ての頂点の
座標値が正確に記述されるが、本発明の主旨とは特に関
係しないので抽象表現してある。最後の列はモデル名で
あり、各オブジェクトの名前を用いる。
【0032】撮影位置データは例えば図6に示すよう
に、フレーム番号、3次元空間での視点の位置、視線の
方向を表すベクトルを一組として表され、撮影位置記憶
手段4はそれらを複数記憶する。視点の位置は3次元座
標(X,Y,Z)で表される。また、ベクトルは、X軸
を中心とした反時計回りの回転角rx、Y軸を中心とし
た反時計回りの回転角ryの組(rx,ry)で表さ
れ、(rx,ry)=(0,0)はZ軸の正の向きを指
すものとする。
に、フレーム番号、3次元空間での視点の位置、視線の
方向を表すベクトルを一組として表され、撮影位置記憶
手段4はそれらを複数記憶する。視点の位置は3次元座
標(X,Y,Z)で表される。また、ベクトルは、X軸
を中心とした反時計回りの回転角rx、Y軸を中心とし
た反時計回りの回転角ryの組(rx,ry)で表さ
れ、(rx,ry)=(0,0)はZ軸の正の向きを指
すものとする。
【0033】撮影位置が設定されていない初期状態では
撮影位置記憶手段4には不定値NULLが記憶されてい
る。従って、動画像の各フレームごとに、最初に表示さ
れる3次元シーン領域202の3次元モデルについて
は、動画像の領域201に表示される動画像のフレーム
に対して、視点位置及び視線の方向が一致した画像にな
るとは限らない。
撮影位置記憶手段4には不定値NULLが記憶されてい
る。従って、動画像の各フレームごとに、最初に表示さ
れる3次元シーン領域202の3次元モデルについて
は、動画像の領域201に表示される動画像のフレーム
に対して、視点位置及び視線の方向が一致した画像にな
るとは限らない。
【0034】(2)撮影位置データの設定 1フレームについての編集画面表示がなされると、次に
編集者は撮影位置を変更して、3次元シーンの画像を動
画像と一致するようにしてやる。この操作は、画面の操
作インターフェースを用いて行われる。
編集者は撮影位置を変更して、3次元シーンの画像を動
画像と一致するようにしてやる。この操作は、画面の操
作インターフェースを用いて行われる。
【0035】図8に操作インターフェース203の例を
示す。この例では撮影位置の変更操作は次の8つのキー
をカーソルで選択することで行う。即ち、視点位置を前
進させる前進キーと、後退させる後退キーと、上昇させ
る上昇キーと、下降させる下降キーと、視線方向を左に
向かせる左向きキーと、右に向かせる右向きキーと、上
に向かせる上向きキーと下に向かせる下向きキーを使用
する。視点は現在の視線の方向に移動するとする。した
がって、視線方向の変更が即ち移動方向の変更となる。
例えば、今、視点の位置が(18,10,0)で視線の
方向が(0,0)である場合、前進キーを押すと視点位
置のz成分が増加する。後退キーを押すと減少する。上
昇キーを押すと視点位置のy成分が増加する。下降キー
を押すと減少する。左向きキーを押すと視線方向のry
成分が増加する。右向きキーを押すと減少する。上向き
キーを押すと視線方向のrx成分が増加する。下向きキ
ーを押すと減少する。
示す。この例では撮影位置の変更操作は次の8つのキー
をカーソルで選択することで行う。即ち、視点位置を前
進させる前進キーと、後退させる後退キーと、上昇させ
る上昇キーと、下降させる下降キーと、視線方向を左に
向かせる左向きキーと、右に向かせる右向きキーと、上
に向かせる上向きキーと下に向かせる下向きキーを使用
する。視点は現在の視線の方向に移動するとする。した
がって、視線方向の変更が即ち移動方向の変更となる。
例えば、今、視点の位置が(18,10,0)で視線の
方向が(0,0)である場合、前進キーを押すと視点位
置のz成分が増加する。後退キーを押すと減少する。上
昇キーを押すと視点位置のy成分が増加する。下降キー
を押すと減少する。左向きキーを押すと視線方向のry
成分が増加する。右向きキーを押すと減少する。上向き
キーを押すと視線方向のrx成分が増加する。下向きキ
ーを押すと減少する。
【0036】まず初めに8つのキーを操作して大まかな
位置を決める。編集者によるキー操作はカーソル制御手
段によって、撮影位置変更手段11と3次元シーン描画
手段7に入力される。3次元シーン描画手段7は新たな
撮影位置データに従って3次元シーン描画バッファ8に
その撮影位置から見た場合の3次元モデルの画像をビッ
トマップとして作成し、この画像は表示手段9において
画面の3次元シーン領域202に表示されるので、撮影
位置の変更結果は即座に画面に反映される。
位置を決める。編集者によるキー操作はカーソル制御手
段によって、撮影位置変更手段11と3次元シーン描画
手段7に入力される。3次元シーン描画手段7は新たな
撮影位置データに従って3次元シーン描画バッファ8に
その撮影位置から見た場合の3次元モデルの画像をビッ
トマップとして作成し、この画像は表示手段9において
画面の3次元シーン領域202に表示されるので、撮影
位置の変更結果は即座に画面に反映される。
【0037】次に編集者は、大まかな撮影位置が定まっ
た状態で微調整に移る。編集者が重ね表示キーを押す
と、この指令はカーソル制御手段10から3次元シーン
描画手段7に伝えられることにより、3次元シーン描画
手段7は描画を領域201に行うようになり、図9に示
すように動画像の上に3次元シーンが半透明で重ねて表
示され、編集者は上記の8つのキーを用いて最終的な位
置の微調整を行う。
た状態で微調整に移る。編集者が重ね表示キーを押す
と、この指令はカーソル制御手段10から3次元シーン
描画手段7に伝えられることにより、3次元シーン描画
手段7は描画を領域201に行うようになり、図9に示
すように動画像の上に3次元シーンが半透明で重ねて表
示され、編集者は上記の8つのキーを用いて最終的な位
置の微調整を行う。
【0038】そして、編集者は撮影位置の変更が完了す
ると操作インターフェースの更新キーを押し、この情報
がカーソル制御手段10から撮影位置変更手段11に伝
えられると、撮影位置変更手段11は撮影位置記憶手段
4に記憶された撮影位置データを書き換える。
ると操作インターフェースの更新キーを押し、この情報
がカーソル制御手段10から撮影位置変更手段11に伝
えられると、撮影位置変更手段11は撮影位置記憶手段
4に記憶された撮影位置データを書き換える。
【0039】編集者は続けて次のフレームの撮影位置デ
ータを更新したければ次フレームキーを押して、動画像
を1フレーム進める。前のフレームの撮影位置データを
更新したければ前フレームキーを押して、動画像を1フ
レーム戻す。この時、そのフレームに既に撮影位置が設
定されていればその値が画面上に表示され、3次元シー
ン表示領域にはその位置から眺めた画像が表示される。
まだ設定されていなければフレームを移動する前のフレ
ームで設定した値がコピーされて使用される。このよう
にして、編集者は関連情報とのリンクを設定したい全て
のフレームに対して撮影位置の設定を行う。
ータを更新したければ次フレームキーを押して、動画像
を1フレーム進める。前のフレームの撮影位置データを
更新したければ前フレームキーを押して、動画像を1フ
レーム戻す。この時、そのフレームに既に撮影位置が設
定されていればその値が画面上に表示され、3次元シー
ン表示領域にはその位置から眺めた画像が表示される。
まだ設定されていなければフレームを移動する前のフレ
ームで設定した値がコピーされて使用される。このよう
にして、編集者は関連情報とのリンクを設定したい全て
のフレームに対して撮影位置の設定を行う。
【0040】(3)関連情報とのリンク設定 本発明の情報編集装置においては、関連情報とリンクを
設定したい全てのフレームについて撮影位置が設定され
ていれば、任意のフレームについてオブジェクトと関連
情報とのリンクを設定すれば良い。
設定したい全てのフレームについて撮影位置が設定され
ていれば、任意のフレームについてオブジェクトと関連
情報とのリンクを設定すれば良い。
【0041】従って編集者は任意のフレームが表示され
た状態で、関連情報とのリンクを設定したいオブジェク
トについて、3次元シーン領域202内の該当する3次
元モデルにカーソルを合わせて決定する。この情報はカ
ーソル制御手段10によって3次元モデル選択手段12
に伝えられ、3次元モデル選択手段12は、3次元シー
ン表示領域202上でカーソル制御手段10より指示さ
れた点に表示されている3次元モデルを3次元モデル記
憶手段3から検索し、その識別子を内部レジスタに記憶
する。
た状態で、関連情報とのリンクを設定したいオブジェク
トについて、3次元シーン領域202内の該当する3次
元モデルにカーソルを合わせて決定する。この情報はカ
ーソル制御手段10によって3次元モデル選択手段12
に伝えられ、3次元モデル選択手段12は、3次元シー
ン表示領域202上でカーソル制御手段10より指示さ
れた点に表示されている3次元モデルを3次元モデル記
憶手段3から検索し、その識別子を内部レジスタに記憶
する。
【0042】3次元モデル選択手段12による、画面上
の1点(ピクセル)に対する3次元モデルの選択につい
ては、以下のように行われる。3次元シーン描画手段7
は、1ピクセル当たり16ビットで構成された3次元シ
ーン描画バッファ8に、3次元モデル記憶手段3から読
み出した3次元モデルの描画を行う。その際、その3次
元モデルの識別子であるオブジェクトIDをビットマッ
プデータの一部(色情報)に割り当てて書き込むこと
で、個々のピクセルには3次元モデルの識別子が書き込
まれたことになる。3次元モデル選択手段12は、指示
された点のピクセルデータを参照するだけで対応する3
次元モデルを容易に検索することができる。この方法
は、アジソン・ウェスレイ社のOpenGLの解説書で
ある「OpenGL Programming Gui
de」で紹介されている。この方法は検索の一例であっ
て、3次元モデル選択方法については複数の3次元モデ
ルからその内の一つを選択できさえすればその他の技術
を用いてもよい。
の1点(ピクセル)に対する3次元モデルの選択につい
ては、以下のように行われる。3次元シーン描画手段7
は、1ピクセル当たり16ビットで構成された3次元シ
ーン描画バッファ8に、3次元モデル記憶手段3から読
み出した3次元モデルの描画を行う。その際、その3次
元モデルの識別子であるオブジェクトIDをビットマッ
プデータの一部(色情報)に割り当てて書き込むこと
で、個々のピクセルには3次元モデルの識別子が書き込
まれたことになる。3次元モデル選択手段12は、指示
された点のピクセルデータを参照するだけで対応する3
次元モデルを容易に検索することができる。この方法
は、アジソン・ウェスレイ社のOpenGLの解説書で
ある「OpenGL Programming Gui
de」で紹介されている。この方法は検索の一例であっ
て、3次元モデル選択方法については複数の3次元モデ
ルからその内の一つを選択できさえすればその他の技術
を用いてもよい。
【0043】3次元モデル選択手段12が3次元モデル
を選択すると、そのオブジェクトIDがモデル名表示手
段13に伝えらる。モデル名表示手段13はそのオブジ
ェクトIDにより、3次元モデル記憶手段3からモデル
名を取得し、表示手段9において画面の「モデル名」の
部分に表示する。
を選択すると、そのオブジェクトIDがモデル名表示手
段13に伝えらる。モデル名表示手段13はそのオブジ
ェクトIDにより、3次元モデル記憶手段3からモデル
名を取得し、表示手段9において画面の「モデル名」の
部分に表示する。
【0044】編集者は上記3次元モデル選択手段12に
より3次元モデルが選択されると、関連する情報へのリ
ンクを作成するため、操作インターフェース203上の
リンク設定ボタンを押すことにより、関連情報識別子の
候補選択ダイアログを呼び出すことができる。リンク設
定の指令はカーソル制御手段10によってリンク先選択
手段14に伝えられ、リンク先選択手段14は表示手段
9において、候補選択ダイアログを表示する。
より3次元モデルが選択されると、関連する情報へのリ
ンクを作成するため、操作インターフェース203上の
リンク設定ボタンを押すことにより、関連情報識別子の
候補選択ダイアログを呼び出すことができる。リンク設
定の指令はカーソル制御手段10によってリンク先選択
手段14に伝えられ、リンク先選択手段14は表示手段
9において、候補選択ダイアログを表示する。
【0045】図10に候補選択ダイアログの例を示す。
使用者により候補選択ダイアログが呼び出されたら、関
連情報記憶手段2に記憶された複数の関連情報につい
て、その識別子を候補選択ダイアログ形式で表示する。
そして、カーソル制御手段10によりその内の一つを選
択する。選択操作はカーソルを関連情報識別子の候補の
上に重ねてカーソル制御手段10に備えられたボタンを
押すことで実行する。リンク先選択手段14は選択結果
を得ると、3次元モデルの識別子(オブジェクトID)
と関連情報の識別子をリンク情報としてリンク情報記憶
手段15に書き込む。図11にリンク情報記憶手段14
の例を示す。
使用者により候補選択ダイアログが呼び出されたら、関
連情報記憶手段2に記憶された複数の関連情報につい
て、その識別子を候補選択ダイアログ形式で表示する。
そして、カーソル制御手段10によりその内の一つを選
択する。選択操作はカーソルを関連情報識別子の候補の
上に重ねてカーソル制御手段10に備えられたボタンを
押すことで実行する。リンク先選択手段14は選択結果
を得ると、3次元モデルの識別子(オブジェクトID)
と関連情報の識別子をリンク情報としてリンク情報記憶
手段15に書き込む。図11にリンク情報記憶手段14
の例を示す。
【0046】以上のようにして、撮影位置記憶手段に動
画像データの各フレームごとの撮影位置が記憶され、リ
ンク情報記憶手段にオブジェクトと関連情報のリンク関
係が記憶された状態となる。
画像データの各フレームごとの撮影位置が記憶され、リ
ンク情報記憶手段にオブジェクトと関連情報のリンク関
係が記憶された状態となる。
【0047】本実施の形態1の情報編集装置によれば、
3次元モデル記憶手段によって記憶された3次元モデル
と、撮影位置変更手段によって各フレームごとに設定さ
れ、撮影位置記憶手段によって記憶され、撮影位置読み
出し手段によってフレームごとに読み出し可能な撮影位
置データとから、いずれのフレームについてもオブジェ
クトを3次元モデルに置き換えた3次元シーンの描画が
可能である。そして、この描画を3次元シーン描画手段
が3次元シーン描画バッファに行うことにより、いずれ
のフレームのいずれのオブジェクトについても、その対
応する3次元モデルは、3次元シーンの描画のバッファ
を参照することで3次元モデル選択手段によって選択で
きる。従って、任意のフレームにおいて、3次元モデル
と関連情報とのリンク設定をリンク先選択手段によって
行い、3次元モデル識別子と関連情報識別子のリンク情
報をリンク情報記憶手段に記憶させておけば、いずれの
フレームのいずれのオブジェクトについても関連情報と
のリンク関係が3次元モデルを介して設定されたことに
なる。すなわち、個々の3次元モデルに対して1度だけ
関連情報とのリンクを設定しておけば良いため、フレー
ムごとに個々のオブジェクトに対してリンクの設定を行
うという作業を必要とする従来の方法と比較すると、大
きく作業量及びリンク情報の量を低減でき、特にオブジ
ェクトの数とフレーム数が多い場合にはその効果が大き
い。
3次元モデル記憶手段によって記憶された3次元モデル
と、撮影位置変更手段によって各フレームごとに設定さ
れ、撮影位置記憶手段によって記憶され、撮影位置読み
出し手段によってフレームごとに読み出し可能な撮影位
置データとから、いずれのフレームについてもオブジェ
クトを3次元モデルに置き換えた3次元シーンの描画が
可能である。そして、この描画を3次元シーン描画手段
が3次元シーン描画バッファに行うことにより、いずれ
のフレームのいずれのオブジェクトについても、その対
応する3次元モデルは、3次元シーンの描画のバッファ
を参照することで3次元モデル選択手段によって選択で
きる。従って、任意のフレームにおいて、3次元モデル
と関連情報とのリンク設定をリンク先選択手段によって
行い、3次元モデル識別子と関連情報識別子のリンク情
報をリンク情報記憶手段に記憶させておけば、いずれの
フレームのいずれのオブジェクトについても関連情報と
のリンク関係が3次元モデルを介して設定されたことに
なる。すなわち、個々の3次元モデルに対して1度だけ
関連情報とのリンクを設定しておけば良いため、フレー
ムごとに個々のオブジェクトに対してリンクの設定を行
うという作業を必要とする従来の方法と比較すると、大
きく作業量及びリンク情報の量を低減でき、特にオブジ
ェクトの数とフレーム数が多い場合にはその効果が大き
い。
【0048】実施の形態2.本発明の実施の形態2は、
オブジェクトと関連情報がリンク付けされた動画像を再
生するにあたって、特定オブジェクトの指定により関連
情報を再生する情報再生装置である。
オブジェクトと関連情報がリンク付けされた動画像を再
生するにあたって、特定オブジェクトの指定により関連
情報を再生する情報再生装置である。
【0049】図12は本発明の実施の形態2による情報
再生装置を示す構成図である。図において符号1〜6、
及び15については実施の形態1と同じものなので、説
明を省略する。7は3次元シーン描画手段であって、実
施の形態1と同様に3次元モデルデータから3次元シー
ンを描画するが、本実施の形態の装置では、関連情報再
生制御手段16が指示した場合にのみ描画を行う。8は
3次元シーン描画バッファであって、実施の形態1と同
様に3次元シーン描画手段7が描画した3次元シーンの
ビットマップデータを記憶するが、本実施の形態の装置
ではその内容は表示手段9には表示されない。9は表示
手段であって、動画像再生手段5が再生する動画像とカ
ーソル制御手段10が制御する図形カーソルを同時に画
面上に表示し、関連情報の再生が指示されたときのみ関
連情報再生手段18が再生する関連情報を表示する。本
実施の形態の装置では、3次元モデルや撮影位置デー
タ、モデル名、操作インタフェース、候補ダイアログ等
は再生に際しては表示しない。10はカーソル制御手段
であって、表示手段9に表示された図形カーソルを操作
し、備え付けのボタンの押下等により使用者の命令があ
ると、関連情報再生制御手段16に関連情報を再生する
ための指示を与え、また関連情報再生制御手段16に関
連情報の再生の中止の指示を与える。16は関連情報再
生制御手段であって、例えばCPUおよびコンピュータ
の主記憶装置の一部に格納された制御プログラムとして
実現され、カーソル制御手段10が伝える使用者の命令
により、関連情報を再生するための制御を行う。17は
リンク先読み出し手段であり、例えばCPUおよびコン
ピュータの主記憶装置の一部に格納された制御プログラ
ムとして実現され、関連情報再生制御手段16から受け
取ったカーソル位置座標が示すピクセルの値を3次元シ
ーン描画バッファ8から取得し、その値で指定される関
連情報の識別子をリンク情報記憶手段15から検索し、
関連情報再生制御手段16に返す。ただし検索の結果該
当する識別子が存在しない場合はNULLを返す。18
は関連情報再生手段であって、例えばCPUおよびコン
ピュータの主記憶装置の一部に格納された制御プログラ
ムとして実現され、関連情報再生制御手段16から受け
取った関連情報識別子で指定される関連情報を、関連情
報記憶手段2から読み出して表示手段9に再生する。ま
た、関連情報の再生中にカーソル制御手段10がボタン
の押下を伝えた場合は関連情報の再生を中止する。以上
のように構成された本発明の実施の形態2の情報再生装
置は(C)再生を行うものであり、その動作を図12及
び、図13を用いて以下に説明する。
再生装置を示す構成図である。図において符号1〜6、
及び15については実施の形態1と同じものなので、説
明を省略する。7は3次元シーン描画手段であって、実
施の形態1と同様に3次元モデルデータから3次元シー
ンを描画するが、本実施の形態の装置では、関連情報再
生制御手段16が指示した場合にのみ描画を行う。8は
3次元シーン描画バッファであって、実施の形態1と同
様に3次元シーン描画手段7が描画した3次元シーンの
ビットマップデータを記憶するが、本実施の形態の装置
ではその内容は表示手段9には表示されない。9は表示
手段であって、動画像再生手段5が再生する動画像とカ
ーソル制御手段10が制御する図形カーソルを同時に画
面上に表示し、関連情報の再生が指示されたときのみ関
連情報再生手段18が再生する関連情報を表示する。本
実施の形態の装置では、3次元モデルや撮影位置デー
タ、モデル名、操作インタフェース、候補ダイアログ等
は再生に際しては表示しない。10はカーソル制御手段
であって、表示手段9に表示された図形カーソルを操作
し、備え付けのボタンの押下等により使用者の命令があ
ると、関連情報再生制御手段16に関連情報を再生する
ための指示を与え、また関連情報再生制御手段16に関
連情報の再生の中止の指示を与える。16は関連情報再
生制御手段であって、例えばCPUおよびコンピュータ
の主記憶装置の一部に格納された制御プログラムとして
実現され、カーソル制御手段10が伝える使用者の命令
により、関連情報を再生するための制御を行う。17は
リンク先読み出し手段であり、例えばCPUおよびコン
ピュータの主記憶装置の一部に格納された制御プログラ
ムとして実現され、関連情報再生制御手段16から受け
取ったカーソル位置座標が示すピクセルの値を3次元シ
ーン描画バッファ8から取得し、その値で指定される関
連情報の識別子をリンク情報記憶手段15から検索し、
関連情報再生制御手段16に返す。ただし検索の結果該
当する識別子が存在しない場合はNULLを返す。18
は関連情報再生手段であって、例えばCPUおよびコン
ピュータの主記憶装置の一部に格納された制御プログラ
ムとして実現され、関連情報再生制御手段16から受け
取った関連情報識別子で指定される関連情報を、関連情
報記憶手段2から読み出して表示手段9に再生する。ま
た、関連情報の再生中にカーソル制御手段10がボタン
の押下を伝えた場合は関連情報の再生を中止する。以上
のように構成された本発明の実施の形態2の情報再生装
置は(C)再生を行うものであり、その動作を図12及
び、図13を用いて以下に説明する。
【0050】(C)再生 再生が開始されると、再生画面が表示される。図13に
本実施の形態の再生装置における再生画面を示す。図1
3の201は動画像表示領域で動画像が表示される。2
04はカーソルで実施の形態1における図7のものと同
じである。マウスボタンの押下などカーソルによる指定
が行われない限り、動画像の各フレームは動画像再生手
段5により、表示手段9に連続して表示され続ける。
本実施の形態の再生装置における再生画面を示す。図1
3の201は動画像表示領域で動画像が表示される。2
04はカーソルで実施の形態1における図7のものと同
じである。マウスボタンの押下などカーソルによる指定
が行われない限り、動画像の各フレームは動画像再生手
段5により、表示手段9に連続して表示され続ける。
【0051】使用者はこの動画像の再生を見て、関連情
報を再生したいオブジェクトがあったならば、画面のそ
のオブジェクトにカーソルを合わせ、ボタンを押下する
などの操作によって関連情報の再生を指示する。動画像
を再生中にカーソル制御手段10により、再生の指示が
確認されたら、関連情報再生指令がカーソル制御手段1
0から関連情報再生制御手段16に伝えられる。
報を再生したいオブジェクトがあったならば、画面のそ
のオブジェクトにカーソルを合わせ、ボタンを押下する
などの操作によって関連情報の再生を指示する。動画像
を再生中にカーソル制御手段10により、再生の指示が
確認されたら、関連情報再生指令がカーソル制御手段1
0から関連情報再生制御手段16に伝えられる。
【0052】関連情報再生制御手段16はまず、3次元
シーン描画手段7に3次元シーンを3次元シーン描画バ
ッファ8に描画させる。3次元シーン描画手段7は、撮
影位置読み出し手段6によって、3次元シーンを描画す
るための視点位置と視線方向を得る。撮影位置読み出し
手段6は、動画像再生手段5の内部レジスタが記憶して
いる現在再生中のフレーム番号によって、撮影位置記憶
手段4からそのフレーム番号に対応した視点位置と視線
方向を読み出して、3次元シーン描画手段7に伝える。
例えば、撮影位置記憶手段4に記憶された撮影位置デー
タが図6のような内容であり、現在再生中のフレーム番
号が2003番の場合は視点位置=(18,10,1
5)、視線方向=(0,10)となる。そして3次元シ
ーン描画手段7は、撮影位置読み出し手段6によって読
み出された位置から眺めた3次元シーンを、3次元モデ
ル記憶手段3に記憶された3次元モデルのデータを元
に、3次元シーン描画バッファ9に描画する。
シーン描画手段7に3次元シーンを3次元シーン描画バ
ッファ8に描画させる。3次元シーン描画手段7は、撮
影位置読み出し手段6によって、3次元シーンを描画す
るための視点位置と視線方向を得る。撮影位置読み出し
手段6は、動画像再生手段5の内部レジスタが記憶して
いる現在再生中のフレーム番号によって、撮影位置記憶
手段4からそのフレーム番号に対応した視点位置と視線
方向を読み出して、3次元シーン描画手段7に伝える。
例えば、撮影位置記憶手段4に記憶された撮影位置デー
タが図6のような内容であり、現在再生中のフレーム番
号が2003番の場合は視点位置=(18,10,1
5)、視線方向=(0,10)となる。そして3次元シ
ーン描画手段7は、撮影位置読み出し手段6によって読
み出された位置から眺めた3次元シーンを、3次元モデ
ル記憶手段3に記憶された3次元モデルのデータを元
に、3次元シーン描画バッファ9に描画する。
【0053】関連情報再生制御手段16は次に、カーソ
ル制御手段10が出力したカーソル位置座標をリンク先
読み出し手段17に出力する。リンク先読み出し手段1
7は、受け取ったカーソル位置座標が示すピクセルの値
を3次元シーン描画バッファ8から取得し、その値で指
定される関連情報の識別子をリンク情報記憶手段15か
ら検索し、その識別子を関連情報再生手段18に出力す
る。もし該当する識別子が存在しない場合はNULLを
返す。例えば、リンク情報記憶手段15に記憶されたリ
ンク情報が図11のような内容であり、3次元シーン描
画バッファ8から得たピクセルの値が102である場合
は関連情報の識別子=“本棚の関連情報”というファイ
ル名が得られる。
ル制御手段10が出力したカーソル位置座標をリンク先
読み出し手段17に出力する。リンク先読み出し手段1
7は、受け取ったカーソル位置座標が示すピクセルの値
を3次元シーン描画バッファ8から取得し、その値で指
定される関連情報の識別子をリンク情報記憶手段15か
ら検索し、その識別子を関連情報再生手段18に出力す
る。もし該当する識別子が存在しない場合はNULLを
返す。例えば、リンク情報記憶手段15に記憶されたリ
ンク情報が図11のような内容であり、3次元シーン描
画バッファ8から得たピクセルの値が102である場合
は関連情報の識別子=“本棚の関連情報”というファイ
ル名が得られる。
【0054】関連情報再生制御手段16は、得られた識
別子を関連情報再生手段18に伝え、関連情報再生手段
18は識別子に該当する関連情報を表示手段9に再生す
る。ただし、関連情報再生制御手段16にNULLが返
された場合には、関連情報再生制御手段16は何も行わ
ない。この場合指定された画面上の点には、関連情報を
有するオブジェクトは存在しなかったということで、引
き続き動画像の再生が継続される。
別子を関連情報再生手段18に伝え、関連情報再生手段
18は識別子に該当する関連情報を表示手段9に再生す
る。ただし、関連情報再生制御手段16にNULLが返
された場合には、関連情報再生制御手段16は何も行わ
ない。この場合指定された画面上の点には、関連情報を
有するオブジェクトは存在しなかったということで、引
き続き動画像の再生が継続される。
【0055】使用者は関連情報の再生が終了した場合
に、あるいは再生途中で中止したい場合に、マウスボタ
ンの押下などによって、終了または中止を指示する。カ
ーソル制御手段10はこの指示を関連情報再生手段18
に伝え、関連情報再生手段18は関連情報の再生を終了
または中止する。以上のように、動画像が再生され、使
用者の指示によって関連情報の再生が行われる。
に、あるいは再生途中で中止したい場合に、マウスボタ
ンの押下などによって、終了または中止を指示する。カ
ーソル制御手段10はこの指示を関連情報再生手段18
に伝え、関連情報再生手段18は関連情報の再生を終了
または中止する。以上のように、動画像が再生され、使
用者の指示によって関連情報の再生が行われる。
【0056】本実施の形態2の情報再生装置によれば、
3次元モデル記憶手段に動画像内のオブジェクトの3次
元モデルを記憶し、撮影位置記憶手段に各フレームごと
の撮影位置データを記憶し、リンク情報記憶手段に3次
元モデルと関連情報とのリンク関係を記憶しておくこと
がなされている。そして、動画像の再生の際の関連情報
の再生にあたっては、関連情報再生制御手段の制御によ
って、3次元シーン描画手段が3次元シーン描画バッフ
ァに、3次元モデルと撮影位置読み出し手段によって得
た撮影位置データを用いて描画を行い、バッファに書き
込まれたデータによってリンク先読み出し手段がリンク
情報記憶手段からリンク情報を得て、これによって関連
情報再生手段が関連情報を再生する。従って、動画像内
のオブジェクトに対応した3次元モデルデータと、フレ
ーム単位の撮影位置と、オブジェクト単位のリンク情報
とを使用して関連情報の再生を行うので、オブジェクト
の数が多く、なおかつフレーム数が多い場合について
も、フレーム毎にオブジェクト単位のリンク情報を記憶
する従来の方法より記憶容量を削減することができ、こ
れによって読み出しの際の装置のオーバーヘッドが減少
し、読み出し処理が速くなる。
3次元モデル記憶手段に動画像内のオブジェクトの3次
元モデルを記憶し、撮影位置記憶手段に各フレームごと
の撮影位置データを記憶し、リンク情報記憶手段に3次
元モデルと関連情報とのリンク関係を記憶しておくこと
がなされている。そして、動画像の再生の際の関連情報
の再生にあたっては、関連情報再生制御手段の制御によ
って、3次元シーン描画手段が3次元シーン描画バッフ
ァに、3次元モデルと撮影位置読み出し手段によって得
た撮影位置データを用いて描画を行い、バッファに書き
込まれたデータによってリンク先読み出し手段がリンク
情報記憶手段からリンク情報を得て、これによって関連
情報再生手段が関連情報を再生する。従って、動画像内
のオブジェクトに対応した3次元モデルデータと、フレ
ーム単位の撮影位置と、オブジェクト単位のリンク情報
とを使用して関連情報の再生を行うので、オブジェクト
の数が多く、なおかつフレーム数が多い場合について
も、フレーム毎にオブジェクト単位のリンク情報を記憶
する従来の方法より記憶容量を削減することができ、こ
れによって読み出しの際の装置のオーバーヘッドが減少
し、読み出し処理が速くなる。
【0057】実施の形態3.本発明の実施の形態3は、
動画像の編集及び再生機能を持ち、編集にあたっては、
オブジェクトと関連情報間のリンク情報を編集でき、再
生にあたっては、動画像内の特定オブジェクトが指定さ
れるとそのオブジェクトの関連情報が再生されるような
情報編集再生装置である。
動画像の編集及び再生機能を持ち、編集にあたっては、
オブジェクトと関連情報間のリンク情報を編集でき、再
生にあたっては、動画像内の特定オブジェクトが指定さ
れるとそのオブジェクトの関連情報が再生されるような
情報編集再生装置である。
【0058】図14は本発明の実施の形態3による情報
編集再生装置を示す構成図である。図において符号1〜
6、及び15は実施の形態1と、また、符号16〜18
は実施の形態2と同じものなので、説明を省略する。7
は3次元シーン描画手段であって、撮影位置読み出し手
段6が読み出した撮影位置データと、3次元モデル記憶
手段3が記憶している3次元モデルデータから、3次元
シーンを3次元シーン描画バッファに描画する。編集の
際はフレーム再生ごとに描画を行うが、再生の際には関
連情報再生制御手段の指令によって描画を行う。8は3
次元シーン描画バッファであって、3次元シーン描画手
段7が描画した3次元シーンのビットマップデータを記
憶する。編集に際してはその画像が表示手段9により表
示されるが、再生の際には表示されない。9は表示手段
であって、編集の際には動画像や3次元シーン、カーソ
ル、撮影位置データ、リンク先選択インターフェースな
どを表示し、再生の際には動画像とカーソルを同時に画
面上に表示し、かつ、関連情報の再生が指示されたとき
のみ関連情報を表示する。10はカーソル制御手段であ
って、表示手段9に表示された図形カーソルを操作し、
編集の際には編集者のマウス移動操作等に応じて図形カ
ーソルを表示手段9上で移動させると共に、ボタンを押
下等の指示のあった時点でのカーソル位置座標を出力
し、再生の際には関連情報の再生開始、終了及び中止の
指示を与える。以上のように構成された本発明の実施の
形態3の編集再生装置は、(B)編集及び(C)再生を
行うものであり、その動作を以下に説明する。
編集再生装置を示す構成図である。図において符号1〜
6、及び15は実施の形態1と、また、符号16〜18
は実施の形態2と同じものなので、説明を省略する。7
は3次元シーン描画手段であって、撮影位置読み出し手
段6が読み出した撮影位置データと、3次元モデル記憶
手段3が記憶している3次元モデルデータから、3次元
シーンを3次元シーン描画バッファに描画する。編集の
際はフレーム再生ごとに描画を行うが、再生の際には関
連情報再生制御手段の指令によって描画を行う。8は3
次元シーン描画バッファであって、3次元シーン描画手
段7が描画した3次元シーンのビットマップデータを記
憶する。編集に際してはその画像が表示手段9により表
示されるが、再生の際には表示されない。9は表示手段
であって、編集の際には動画像や3次元シーン、カーソ
ル、撮影位置データ、リンク先選択インターフェースな
どを表示し、再生の際には動画像とカーソルを同時に画
面上に表示し、かつ、関連情報の再生が指示されたとき
のみ関連情報を表示する。10はカーソル制御手段であ
って、表示手段9に表示された図形カーソルを操作し、
編集の際には編集者のマウス移動操作等に応じて図形カ
ーソルを表示手段9上で移動させると共に、ボタンを押
下等の指示のあった時点でのカーソル位置座標を出力
し、再生の際には関連情報の再生開始、終了及び中止の
指示を与える。以上のように構成された本発明の実施の
形態3の編集再生装置は、(B)編集及び(C)再生を
行うものであり、その動作を以下に説明する。
【0059】(B)編集 本実施の形態の装置による(B)編集は、実施の形態1
の編集装置における(B)編集の場合と同様に(1)編
集画面表示、(2)撮影位置データの設定、(3)関連
情報とのリンク設定、の各段階からなるものであるが、
このうち(1)及び(2)については、実施の形態1と
同様の動作となるので説明を省略し、(3)関連情報と
のリンク設定についてのみ以下に動作を説明する。
の編集装置における(B)編集の場合と同様に(1)編
集画面表示、(2)撮影位置データの設定、(3)関連
情報とのリンク設定、の各段階からなるものであるが、
このうち(1)及び(2)については、実施の形態1と
同様の動作となるので説明を省略し、(3)関連情報と
のリンク設定についてのみ以下に動作を説明する。
【0060】(3)関連情報とのリンク設定 実施の形態1の編集装置と同様に、関連情報とリンクを
設定したい全てのフレームについて撮影位置が設定され
ていれば、任意のフレームについて関連情報とのリンク
を設定すれば良い。従って編集者は図7に示す編集画面
において、任意のフレームが表示された状態で、関連情
報とのリンクを設定したいオブジェクトについて、該当
する3次元モデルにカーソルを合わせて決定する。この
情報はカーソル制御手段10によって3次元モデル選択
手段12に伝えられ、3次元モデル選択手段12は、3
次元シーン表示領域202上でカーソル制御手段10よ
り指示された点に表示されている3次元モデルを3次元
モデル記憶手段3から検索し、その識別子を内部レジス
タに記憶する。
設定したい全てのフレームについて撮影位置が設定され
ていれば、任意のフレームについて関連情報とのリンク
を設定すれば良い。従って編集者は図7に示す編集画面
において、任意のフレームが表示された状態で、関連情
報とのリンクを設定したいオブジェクトについて、該当
する3次元モデルにカーソルを合わせて決定する。この
情報はカーソル制御手段10によって3次元モデル選択
手段12に伝えられ、3次元モデル選択手段12は、3
次元シーン表示領域202上でカーソル制御手段10よ
り指示された点に表示されている3次元モデルを3次元
モデル記憶手段3から検索し、その識別子を内部レジス
タに記憶する。
【0061】3次元モデル選択手段12が3次元モデル
を選択すると、そのオブジェクトIDをモデル名表示手
段13に伝え、モデル名表示手段13はそのオブジェク
トIDにより、3次元モデル記憶手段3からモデル名を
取得し、表示手段9において画面の「モデル名」の部分
に表示する。
を選択すると、そのオブジェクトIDをモデル名表示手
段13に伝え、モデル名表示手段13はそのオブジェク
トIDにより、3次元モデル記憶手段3からモデル名を
取得し、表示手段9において画面の「モデル名」の部分
に表示する。
【0062】編集者は上記3次元モデル選択手段12に
より3次元モデルが選択されると、関連する情報へのリ
ンクを作成するため、操作インターフェース203上の
リンク設定ボタンを押すことにより、関連情報識別子の
候補選択ダイアログを呼び出すことができる。リンク設
定の指令はカーソル制御手段10によってリンク先選択
手段14に伝えられ、リンク先選択手段14は表示手段
9において、候補選択ダイアログを表示する。候補選択
ダイアログは図10に示される。
より3次元モデルが選択されると、関連する情報へのリ
ンクを作成するため、操作インターフェース203上の
リンク設定ボタンを押すことにより、関連情報識別子の
候補選択ダイアログを呼び出すことができる。リンク設
定の指令はカーソル制御手段10によってリンク先選択
手段14に伝えられ、リンク先選択手段14は表示手段
9において、候補選択ダイアログを表示する。候補選択
ダイアログは図10に示される。
【0063】使用者により候補選択ダイアログが呼び出
されたら、関連情報記憶手段2に記憶された複数の関連
情報識別子を候補選択ダイアログ形式で表示する。そし
て、カーソル制御手段10によりその内の一つを選択す
る。選択操作はカーソルを関連情報識別子の候補の上に
重ねてカーソル制御手段10に備えられたボタンを押す
ことで実行する。関連情報が選択されると、この選択は
カーソル制御手段10から、関連情報再生手段18と、
リンク先選択手段14とに伝えられる。関連情報再生手
段18は、関連情報記憶手段2に記憶された該当する関
連情報を表示手段9において画面に再生し、実施の形態
2における関連情報の再生の場合と同様に、再度ボタン
押下等で指示があった場合には再生を終了または中止す
る。編集者は、再生された関連情報を確認の上、設定ボ
タンまたは取り消しボタンにより、リンク設定またはリ
ンク設定の取りやめを指示できる。設定ボタンによる指
示によってリンク先選択手段14が選択結果を得ると、
3次元モデルの識別子(オブジェクトID)と関連情報
の識別子とをリンク情報としてリンク情報記憶手段15
に書き込む。
されたら、関連情報記憶手段2に記憶された複数の関連
情報識別子を候補選択ダイアログ形式で表示する。そし
て、カーソル制御手段10によりその内の一つを選択す
る。選択操作はカーソルを関連情報識別子の候補の上に
重ねてカーソル制御手段10に備えられたボタンを押す
ことで実行する。関連情報が選択されると、この選択は
カーソル制御手段10から、関連情報再生手段18と、
リンク先選択手段14とに伝えられる。関連情報再生手
段18は、関連情報記憶手段2に記憶された該当する関
連情報を表示手段9において画面に再生し、実施の形態
2における関連情報の再生の場合と同様に、再度ボタン
押下等で指示があった場合には再生を終了または中止す
る。編集者は、再生された関連情報を確認の上、設定ボ
タンまたは取り消しボタンにより、リンク設定またはリ
ンク設定の取りやめを指示できる。設定ボタンによる指
示によってリンク先選択手段14が選択結果を得ると、
3次元モデルの識別子(オブジェクトID)と関連情報
の識別子とをリンク情報としてリンク情報記憶手段15
に書き込む。
【0064】以上のようにして、撮影位置記憶手段に動
画像データの各フレームごとの撮影位置が記憶され、リ
ンク情報記憶手段にオブジェクトと関連情報のリンク関
係が記憶された状態となる。
画像データの各フレームごとの撮影位置が記憶され、リ
ンク情報記憶手段にオブジェクトと関連情報のリンク関
係が記憶された状態となる。
【0065】(C)再生 本実施の形態の装置における(C)再生については、実
施の形態2の(C)再生と同様の動作となるので、ここ
では説明を省略する。
施の形態2の(C)再生と同様の動作となるので、ここ
では説明を省略する。
【0066】本実施の形態3の情報編集再生装置によれ
ば、3次元モデル記憶手段によって記憶された3次元モ
デルと、撮影位置変更手段によって各フレームごとに設
定され、撮影位置記憶手段によって記憶され、撮影位置
読み出し手段によってフレームごとに読み出し可能な撮
影位置データとから、いずれのフレームについてもオブ
ジェクトを3次元モデルに置き換えた3次元シーンの描
画が可能である。そして、この描画を3次元シーン描画
手段が3次元シーン描画バッファに行うことにより、い
ずれのフレームのいずれのオブジェクトについても対応
する3次元モデルは、3次元シーンの描画のバッファを
参照することで3次元モデル選択手段によって選択でき
る。従って、任意のフレームにおいて、3次元モデルと
関連情報とのリンク設定をリンク先選択手段によって行
い、3次元モデル識別子と関連情報識別子のリンク情報
をリンク情報記憶手段に記憶させておけば、いずれのフ
レームのいずれのオブジェクトについても関連情報との
リンク関係が3次元モデルを介して設定されたことにな
る。すなわち、個々の3次元モデルに対して1度だけ関
連情報とのリンクを設定しておけば良いため、フレーム
ごとに個々のオブジェクトに対してリンクの設定を行う
という作業を必要とする従来の方法と比較すると、大き
く作業量及びリンク情報の量を低減でき、特にオブジェ
クトの数とフレーム数が多い場合にはその効果が大きい
上に、関連情報再生手段を編集の際にも用いることによ
って関連情報の中身を確認しながらリンクを設定できる
ので、より編集が行いやすくなる。また、再生に際して
は、動画像再生中に関連情報の再生にあたって、関連情
報再生制御手段の制御によって、撮影位置読み出し手段
がそのフレームの撮影位置を読み出すと、3次元シーン
描画手段が3次元シーン描画バッファにその撮影位置に
よって描画を行う。そして、バッファに書き込まれたデ
ータによってリンク先読み出し手段がリンク情報記憶手
段からリンク情報を得て、これによって関連情報再生手
段が関連情報を再生する。このように、動画像内のオブ
ジェクトに対応した3次元モデルデータとフレーム単位
の撮影位置とオブジェクト単位のリンク情報を使用して
関連情報の再生を行うので、オブジェクトの数が多く、
なおかつフレーム数が多い場合についても、フレーム毎
にオブジェクト単位のリンク情報を記憶する従来の方法
より記憶容量を削減することができ、読み出しに要する
装置のオーバーヘッドが減少するので、読み出し処理が
速くなる。
ば、3次元モデル記憶手段によって記憶された3次元モ
デルと、撮影位置変更手段によって各フレームごとに設
定され、撮影位置記憶手段によって記憶され、撮影位置
読み出し手段によってフレームごとに読み出し可能な撮
影位置データとから、いずれのフレームについてもオブ
ジェクトを3次元モデルに置き換えた3次元シーンの描
画が可能である。そして、この描画を3次元シーン描画
手段が3次元シーン描画バッファに行うことにより、い
ずれのフレームのいずれのオブジェクトについても対応
する3次元モデルは、3次元シーンの描画のバッファを
参照することで3次元モデル選択手段によって選択でき
る。従って、任意のフレームにおいて、3次元モデルと
関連情報とのリンク設定をリンク先選択手段によって行
い、3次元モデル識別子と関連情報識別子のリンク情報
をリンク情報記憶手段に記憶させておけば、いずれのフ
レームのいずれのオブジェクトについても関連情報との
リンク関係が3次元モデルを介して設定されたことにな
る。すなわち、個々の3次元モデルに対して1度だけ関
連情報とのリンクを設定しておけば良いため、フレーム
ごとに個々のオブジェクトに対してリンクの設定を行う
という作業を必要とする従来の方法と比較すると、大き
く作業量及びリンク情報の量を低減でき、特にオブジェ
クトの数とフレーム数が多い場合にはその効果が大きい
上に、関連情報再生手段を編集の際にも用いることによ
って関連情報の中身を確認しながらリンクを設定できる
ので、より編集が行いやすくなる。また、再生に際して
は、動画像再生中に関連情報の再生にあたって、関連情
報再生制御手段の制御によって、撮影位置読み出し手段
がそのフレームの撮影位置を読み出すと、3次元シーン
描画手段が3次元シーン描画バッファにその撮影位置に
よって描画を行う。そして、バッファに書き込まれたデ
ータによってリンク先読み出し手段がリンク情報記憶手
段からリンク情報を得て、これによって関連情報再生手
段が関連情報を再生する。このように、動画像内のオブ
ジェクトに対応した3次元モデルデータとフレーム単位
の撮影位置とオブジェクト単位のリンク情報を使用して
関連情報の再生を行うので、オブジェクトの数が多く、
なおかつフレーム数が多い場合についても、フレーム毎
にオブジェクト単位のリンク情報を記憶する従来の方法
より記憶容量を削減することができ、読み出しに要する
装置のオーバーヘッドが減少するので、読み出し処理が
速くなる。
【0067】実施の形態4 本発明の実施の形態4は、動画像の撮影とその映像の記
録の際に、各フレームごとの撮影位置を記録し、オブジ
ェクトと関連情報間のリンク情報を編集する編集装置に
ついてのものである。
録の際に、各フレームごとの撮影位置を記録し、オブジ
ェクトと関連情報間のリンク情報を編集する編集装置に
ついてのものである。
【0068】図15は本発明の実施の形態4の情報編集
装置を示す構成図である。図において符号1〜15は実
施の形態1と同じなので、説明を省略する。19は動画
像撮影手段であって、例えばカメラ一体型VTRのカメ
ラ部と映像変換部とによって実現され、CCD等の光電
変換素子により一定の時間間隔で受光した光を電気信号
に変換して動画像データを動画像記録手段20に送出す
る。20は動画像記録手段であって、例えばカメラ一体
型VTRの映像記録部によって実現され、動画像撮影手
段19によって入力された動画像データを動画像記憶手
段1に記録する。21は位置計測手段であって、例えば
カーナビゲーションシステム等で用いられているGPS
を用いた位置計測技術と同様の技術で実現される。22
は方位計測手段であって、例えば地磁気等から方位を検
出する方位センサで実現され、現在、カメラがどの方角
を向いているかを撮影位置記録手段23に送出する。2
3は撮影位置記録手段であって、例えばCPUおよび制
御プログラムとして実現され、位置計測手段21から送
出された位置情報と方位計測手段22から送出された方
位情報を動画像記録手段20が記録する動画像データの
フレーム番号と同じ番号を割り振って撮影位置記憶手段
4に記録する。24は入力手段であって、2つ以上のボ
タンおよびその制御プログラムにより構成され、使用者
からの操作により撮影の開始と終了を指示する。25は
制御手段であって、例えばCPUおよび制御プログラム
として実現され、装置全体の制御をする。以上のように
構成された情報編集装置は(A)撮影、(B)編集を行
うものであるが、以下に図15と図16を用いて各段階
ごとの動作を説明する。
装置を示す構成図である。図において符号1〜15は実
施の形態1と同じなので、説明を省略する。19は動画
像撮影手段であって、例えばカメラ一体型VTRのカメ
ラ部と映像変換部とによって実現され、CCD等の光電
変換素子により一定の時間間隔で受光した光を電気信号
に変換して動画像データを動画像記録手段20に送出す
る。20は動画像記録手段であって、例えばカメラ一体
型VTRの映像記録部によって実現され、動画像撮影手
段19によって入力された動画像データを動画像記憶手
段1に記録する。21は位置計測手段であって、例えば
カーナビゲーションシステム等で用いられているGPS
を用いた位置計測技術と同様の技術で実現される。22
は方位計測手段であって、例えば地磁気等から方位を検
出する方位センサで実現され、現在、カメラがどの方角
を向いているかを撮影位置記録手段23に送出する。2
3は撮影位置記録手段であって、例えばCPUおよび制
御プログラムとして実現され、位置計測手段21から送
出された位置情報と方位計測手段22から送出された方
位情報を動画像記録手段20が記録する動画像データの
フレーム番号と同じ番号を割り振って撮影位置記憶手段
4に記録する。24は入力手段であって、2つ以上のボ
タンおよびその制御プログラムにより構成され、使用者
からの操作により撮影の開始と終了を指示する。25は
制御手段であって、例えばCPUおよび制御プログラム
として実現され、装置全体の制御をする。以上のように
構成された情報編集装置は(A)撮影、(B)編集を行
うものであるが、以下に図15と図16を用いて各段階
ごとの動作を説明する。
【0069】(A)撮影 入力手段24により撮影者が撮影の開始を指示すると、
制御手段25は動画像撮影手段19、動画像記録手段2
0、位置計測手段21、方位計測手段22、撮影位置記
録手段23のそれぞれの機能を開始させる。
制御手段25は動画像撮影手段19、動画像記録手段2
0、位置計測手段21、方位計測手段22、撮影位置記
録手段23のそれぞれの機能を開始させる。
【0070】動画像撮影手段19は、映像の撮影を行
い、CCDが一定の時間間隔で受光した光を電気信号に
変換して動画像データとして動画像記録手段20に送出
し、動画像記録手段20は、受け取ったデータを動画像
記憶手段1にフレーム番号と共に1フレーム分記録記憶
させる。
い、CCDが一定の時間間隔で受光した光を電気信号に
変換して動画像データとして動画像記録手段20に送出
し、動画像記録手段20は、受け取ったデータを動画像
記憶手段1にフレーム番号と共に1フレーム分記録記憶
させる。
【0071】一方、位置計測手段21については、撮影
装置(動画像撮影手段19)が移動する空間の周囲に位
置計測用の発信器を3つ設置し、撮影装置には受信機を
装備する。そして、発信器から発信した信号を受信機で
受信し、その到着時間からカメラの位置情報を算出し撮
影位置記録手段23に送出する。
装置(動画像撮影手段19)が移動する空間の周囲に位
置計測用の発信器を3つ設置し、撮影装置には受信機を
装備する。そして、発信器から発信した信号を受信機で
受信し、その到着時間からカメラの位置情報を算出し撮
影位置記録手段23に送出する。
【0072】図16は、位置計測の概念図である。同図
においてS1、S2、S3がそれぞれ発信器として、こ
こでは発信器はそれぞれ3次元座標(0,0,0)、
(0,0,30)、(40,0,0)に配置されてい
る。今、発信器S1から受信機までの到着時間はT1、
またS2はT2、S3はT3だったとする。この時間か
ら距離を求め、その距離を半径とし発信器の位置を中心
とする円を求める。そして3つの円の交点を求めれば受
信機の現在地即ち視点の位置はP(21,0,17)と
なる。このようにして位置計測手段21によって位置が
計測される。
においてS1、S2、S3がそれぞれ発信器として、こ
こでは発信器はそれぞれ3次元座標(0,0,0)、
(0,0,30)、(40,0,0)に配置されてい
る。今、発信器S1から受信機までの到着時間はT1、
またS2はT2、S3はT3だったとする。この時間か
ら距離を求め、その距離を半径とし発信器の位置を中心
とする円を求める。そして3つの円の交点を求めれば受
信機の現在地即ち視点の位置はP(21,0,17)と
なる。このようにして位置計測手段21によって位置が
計測される。
【0073】そして方位計測手段22は地磁気等から方
位を検出する。例えば図13でz軸方向が北の場合、方
位センサが西を計測したら視線の方向は(0,180)
となる。方位計測手段22は計測したデータを撮影位置
記録手段23に送出する。
位を検出する。例えば図13でz軸方向が北の場合、方
位センサが西を計測したら視線の方向は(0,180)
となる。方位計測手段22は計測したデータを撮影位置
記録手段23に送出する。
【0074】撮影位置記録手段23は、位置計測手段2
1から送出された位置情報と方位計測手段22から送出
された方位情報を組にして、動画像記録手段20が記録
する動画像データのフレーム番号と同じ番号を割り振っ
て撮影位置記憶手段4に記憶させる。
1から送出された位置情報と方位計測手段22から送出
された方位情報を組にして、動画像記録手段20が記録
する動画像データのフレーム番号と同じ番号を割り振っ
て撮影位置記憶手段4に記憶させる。
【0075】入力手段24により使用者が撮影の終了を
指示すると、制御手段25は動画像撮影手段19、動画
像記録手段20、位置計測手段21、方位計測手段2
2、撮影位置記録手段23それぞれの機能を停止させ
る。以上により、動画像データが動画像記憶手段1に、
位置情報と方位情報が撮影位置記憶手段4にそれぞれフ
レーム単位で記録される。
指示すると、制御手段25は動画像撮影手段19、動画
像記録手段20、位置計測手段21、方位計測手段2
2、撮影位置記録手段23それぞれの機能を停止させ
る。以上により、動画像データが動画像記憶手段1に、
位置情報と方位情報が撮影位置記憶手段4にそれぞれフ
レーム単位で記録される。
【0076】(B)編集 (1)編集画面表示 実施の形態1の(B)編集(1)編集画面の表示と同様
の動作となるが、本実施の形態の装置では、図7の20
2に表示される3次元シーンの画像は、(A)撮影で、
位置計測手段21と方位計測手段22が計測し、撮影位
置記録手段23が記録した撮影位置データを、撮影位置
読み出し手段6が、撮影位置記録手段4から読み出し、
これに基づいて3次元シーン描画手段によって描画され
るものである。すなわち本実施の形態の装置では、視点
と視線の方向の平面成分についての設定が済まされた状
態で3次元シーンが表示されるということになる。
の動作となるが、本実施の形態の装置では、図7の20
2に表示される3次元シーンの画像は、(A)撮影で、
位置計測手段21と方位計測手段22が計測し、撮影位
置記録手段23が記録した撮影位置データを、撮影位置
読み出し手段6が、撮影位置記録手段4から読み出し、
これに基づいて3次元シーン描画手段によって描画され
るものである。すなわち本実施の形態の装置では、視点
と視線の方向の平面成分についての設定が済まされた状
態で3次元シーンが表示されるということになる。
【0077】(2)撮影位置データの設定 編集者による撮影位置の変更と、フレームごとの撮影位
置データの設定は実施の形態1の(B)編集(2)撮影
位置データの設定と同様に行われるが、本実施の形態の
装置では、視点及び視線の方向の平面成分については
(1)編集画面の表示で既に設定がなされているため、
編集者による変更が不要となる。編集者は視線の方向の
傾き成分についてのみ、変更と設定を行ってやればよ
い。
置データの設定は実施の形態1の(B)編集(2)撮影
位置データの設定と同様に行われるが、本実施の形態の
装置では、視点及び視線の方向の平面成分については
(1)編集画面の表示で既に設定がなされているため、
編集者による変更が不要となる。編集者は視線の方向の
傾き成分についてのみ、変更と設定を行ってやればよ
い。
【0078】(3)関連情報とのリンク設定について
は、実施の形態1の(B)編集(3)関連情報とのリン
ク設定と同様の動作となるので説明を省略する。
は、実施の形態1の(B)編集(3)関連情報とのリン
ク設定と同様の動作となるので説明を省略する。
【0079】本実施の形態4の情報編集装置によれば、
入力手段によって撮影開始を指示するだけで、動画像撮
影手段と動画像記録手段とによる動画像データの記録に
加えて、位置計測手段と方位計測手段が撮影時の位置と
方位を計測し、撮影位置記録手段がこれを撮影位置記憶
手段に記録する。従って、どこで・どんな向きでビデオ
を撮影したかを表す撮影位置データを動画像のフレーム
単位に記録することができるので、フレーム毎の撮影位
置データの設定については、視線の方向の傾き成分のみ
の設定で済むようになり、実施の形態1による編集装置
よりもさらに編集作業の低減をはかれる。
入力手段によって撮影開始を指示するだけで、動画像撮
影手段と動画像記録手段とによる動画像データの記録に
加えて、位置計測手段と方位計測手段が撮影時の位置と
方位を計測し、撮影位置記録手段がこれを撮影位置記憶
手段に記録する。従って、どこで・どんな向きでビデオ
を撮影したかを表す撮影位置データを動画像のフレーム
単位に記録することができるので、フレーム毎の撮影位
置データの設定については、視線の方向の傾き成分のみ
の設定で済むようになり、実施の形態1による編集装置
よりもさらに編集作業の低減をはかれる。
【0080】なお、本実施の形態の編集装置では、撮影
時のカメラの高度と傾きは計測していないが、それらを
計測するようにしてもよい。高度については図14に発
信器を一つY軸方向に配置することで容易に求められ
る。傾きについてはカメラ部に受信機をもう一つ同じ方
向に距離をおいて配置し、受信機それぞれの3次元座標
を求めれば、2点の座標から傾きが求められる。このよ
うにすれば、情報編集装置によるフレーム毎の撮影位置
データの作成が全く不要になるので、編集作業量をさら
に削減できる。
時のカメラの高度と傾きは計測していないが、それらを
計測するようにしてもよい。高度については図14に発
信器を一つY軸方向に配置することで容易に求められ
る。傾きについてはカメラ部に受信機をもう一つ同じ方
向に距離をおいて配置し、受信機それぞれの3次元座標
を求めれば、2点の座標から傾きが求められる。このよ
うにすれば、情報編集装置によるフレーム毎の撮影位置
データの作成が全く不要になるので、編集作業量をさら
に削減できる。
【0081】実施の形態5.本発明の実施の形態5は、
動画像の撮影とその映像の記録の際に、各フレームごと
の撮影位置を記録し、動画像の編集及び再生機能を持
ち、編集にあたっては、オブジェクトと関連情報間のリ
ンク情報を編集でき、再生にあたっては、動画像内の特
定オブジェクトが指定されるとそのオブジェクトの関連
情報が再生されるような情報編集再生装置である。
動画像の撮影とその映像の記録の際に、各フレームごと
の撮影位置を記録し、動画像の編集及び再生機能を持
ち、編集にあたっては、オブジェクトと関連情報間のリ
ンク情報を編集でき、再生にあたっては、動画像内の特
定オブジェクトが指定されるとそのオブジェクトの関連
情報が再生されるような情報編集再生装置である。
【0082】図17は本発明の実施の形態5による情報
編集再生装置を示す構成図である。図において符号1〜
6、及び18は実施の形態3と、また符号19〜25は
実施の形態4と同じものなので、説明を省略する。
編集再生装置を示す構成図である。図において符号1〜
6、及び18は実施の形態3と、また符号19〜25は
実施の形態4と同じものなので、説明を省略する。
【0083】本発明の実施の形態3の編集再生装置は、
(A)撮影、(B)編集、及び(C)再生を行うもので
あるが、その動作は、各段階について以下の通り既出の
説明と同様のものとなるので、いずれも説明は省略す
る。
(A)撮影、(B)編集、及び(C)再生を行うもので
あるが、その動作は、各段階について以下の通り既出の
説明と同様のものとなるので、いずれも説明は省略す
る。
【0084】(A)撮影 実施の形態4の(A)撮影と同様である。
【0085】(B)編集 本実施の形態の装置による(B)編集は、(1)編集画
面表示、(2)撮影位置データの設定、(3)関連情報
とのリンク設定、の各段階からなるが、このうち(1)
編集画面表示、及び(2)撮影位置データの設定、につ
いては、実施の形態4の(B)編集における(1)編集
画面表示、及び(2)撮影位置データの設定、と同様で
あり、(3)関連情報とのリンク設定については、実施
の形態3の(B)編集(3)関連情報とのリンク設定と
同様である。
面表示、(2)撮影位置データの設定、(3)関連情報
とのリンク設定、の各段階からなるが、このうち(1)
編集画面表示、及び(2)撮影位置データの設定、につ
いては、実施の形態4の(B)編集における(1)編集
画面表示、及び(2)撮影位置データの設定、と同様で
あり、(3)関連情報とのリンク設定については、実施
の形態3の(B)編集(3)関連情報とのリンク設定と
同様である。
【0086】(C)再生 実施の形態2の(C)再生と同様である。
【0087】本実施の形態5の情報編集装置によれば、
入力手段によって撮影開始を指示するだけで、動画像撮
影手段と動画像記録手段による動画像データの記録に加
えて、位置計測手段と方位計測手段が撮影時の位置と方
位を計測し、撮影位置記録手段がこれを撮影位置記憶手
段に記録する。従って、どこで・どんな向きでビデオを
撮影したかを表す撮影位置データを動画像のフレーム単
位に記録することができるので、フレーム毎の撮影位置
データの設定の内、視点の位置と傾き成分を除く視線の
方向の設定が不要になり、実施の形態3による編集再生
装置よりもさらに編集作業の低減をはかれる。さらに、
関連情報再生手段を編集の際にも用いることによって関
連情報の中身を確認しながらリンクを設定できるので、
実施の形態4の編集装置よりも編集が行いやすいものと
なる。
入力手段によって撮影開始を指示するだけで、動画像撮
影手段と動画像記録手段による動画像データの記録に加
えて、位置計測手段と方位計測手段が撮影時の位置と方
位を計測し、撮影位置記録手段がこれを撮影位置記憶手
段に記録する。従って、どこで・どんな向きでビデオを
撮影したかを表す撮影位置データを動画像のフレーム単
位に記録することができるので、フレーム毎の撮影位置
データの設定の内、視点の位置と傾き成分を除く視線の
方向の設定が不要になり、実施の形態3による編集再生
装置よりもさらに編集作業の低減をはかれる。さらに、
関連情報再生手段を編集の際にも用いることによって関
連情報の中身を確認しながらリンクを設定できるので、
実施の形態4の編集装置よりも編集が行いやすいものと
なる。
【0088】
【発明の効果】請求項1の情報編集装置によれば、3次
元モデル記憶手段によって記憶された3次元モデルと、
撮影位置変更手段によって各フレームごとに設定され、
撮影位置記憶手段によって記憶され、撮影位置読み出し
手段によってフレームごとに読み出し可能な撮影位置デ
ータとから、いずれのフレームについてもオブジェクト
を3次元モデルに置き換えた3次元シーンの描画が可能
である。そして、この描画を3次元シーン描画手段が3
次元シーン描画バッファに行うことにより、いずれのフ
レームのいずれのオブジェクトについても対応する3次
元モデルは、3次元シーンの描画のバッファを参照する
ことで3次元モデル選択手段によって選択できる。従っ
て、任意のフレームにおいて、3次元モデルと関連情報
とのリンク設定をリンク先選択手段によって行い、3次
元モデル識別子と関連情報識別子のリンク情報をリンク
情報記憶手段に記憶させておけば、いずれのフレームの
いずれのオブジェクトについても関連情報とのリンク関
係が3次元モデルを介して設定されたことになる。すな
わち、個々の3次元モデルに対して1度だけ関連情報と
のリンクを設定しておけば良いため、フレームごとに個
々のオブジェクトに対してリンクの設定を行うという作
業を必要とする従来の方法と比較すると、大きく作業量
及びリンク情報の量を低減でき、特にオブジェクトの数
とフレーム数が多い場合にはその効果が大きい。
元モデル記憶手段によって記憶された3次元モデルと、
撮影位置変更手段によって各フレームごとに設定され、
撮影位置記憶手段によって記憶され、撮影位置読み出し
手段によってフレームごとに読み出し可能な撮影位置デ
ータとから、いずれのフレームについてもオブジェクト
を3次元モデルに置き換えた3次元シーンの描画が可能
である。そして、この描画を3次元シーン描画手段が3
次元シーン描画バッファに行うことにより、いずれのフ
レームのいずれのオブジェクトについても対応する3次
元モデルは、3次元シーンの描画のバッファを参照する
ことで3次元モデル選択手段によって選択できる。従っ
て、任意のフレームにおいて、3次元モデルと関連情報
とのリンク設定をリンク先選択手段によって行い、3次
元モデル識別子と関連情報識別子のリンク情報をリンク
情報記憶手段に記憶させておけば、いずれのフレームの
いずれのオブジェクトについても関連情報とのリンク関
係が3次元モデルを介して設定されたことになる。すな
わち、個々の3次元モデルに対して1度だけ関連情報と
のリンクを設定しておけば良いため、フレームごとに個
々のオブジェクトに対してリンクの設定を行うという作
業を必要とする従来の方法と比較すると、大きく作業量
及びリンク情報の量を低減でき、特にオブジェクトの数
とフレーム数が多い場合にはその効果が大きい。
【0089】請求項2の情報再生装置によれば、3次元
モデル記憶手段に動画像内のオブジェクトの3次元モデ
ルを用意し、撮影位置記憶手段に各フレームごとの撮影
位置データを記憶し、リンク情報記憶手段に3次元モデ
ルと関連情報とのリンク関係を記憶しておくものであ
る。そして、動画像の再生の際の関連情報の再生にあた
っては、関連情報再生制御手段の制御によって、3次元
シーン描画手段が3次元シーン描画バッファに、撮影位
置読み出し手段によって得た撮影位置データを用いて描
画を行い、バッファに書き込まれたデータによってリン
ク先読み出し手段がリンク情報記憶手段からリンク情報
を得て、これによって関連情報再生手段が関連情報を再
生する。従って、動画像内のオブジェクトに対応した3
次元モデルデータと、フレーム単位の撮影位置と、オブ
ジェクト単位のリンク情報とを使用して関連情報の再生
を行うことにより、オブジェクトの数が多く、なおかつ
フレーム数が多い場合に対して、フレーム毎にオブジェ
クト単位のリンク情報を記憶する従来の方法より記憶容
量を削減することができる。また、このため読み出しの
際の装置のオーバーヘッドが減少し、読み出し処理が速
やかに行われる。
モデル記憶手段に動画像内のオブジェクトの3次元モデ
ルを用意し、撮影位置記憶手段に各フレームごとの撮影
位置データを記憶し、リンク情報記憶手段に3次元モデ
ルと関連情報とのリンク関係を記憶しておくものであ
る。そして、動画像の再生の際の関連情報の再生にあた
っては、関連情報再生制御手段の制御によって、3次元
シーン描画手段が3次元シーン描画バッファに、撮影位
置読み出し手段によって得た撮影位置データを用いて描
画を行い、バッファに書き込まれたデータによってリン
ク先読み出し手段がリンク情報記憶手段からリンク情報
を得て、これによって関連情報再生手段が関連情報を再
生する。従って、動画像内のオブジェクトに対応した3
次元モデルデータと、フレーム単位の撮影位置と、オブ
ジェクト単位のリンク情報とを使用して関連情報の再生
を行うことにより、オブジェクトの数が多く、なおかつ
フレーム数が多い場合に対して、フレーム毎にオブジェ
クト単位のリンク情報を記憶する従来の方法より記憶容
量を削減することができる。また、このため読み出しの
際の装置のオーバーヘッドが減少し、読み出し処理が速
やかに行われる。
【0090】請求項3の情報編集再生装置によれば、編
集作業とリンク情報量の低減の効果に加えて、関連情報
再生手段を編集の際にも用いることによって関連情報の
中身を確認しながらリンクを設定できるので、より編集
が行いやすくなる。
集作業とリンク情報量の低減の効果に加えて、関連情報
再生手段を編集の際にも用いることによって関連情報の
中身を確認しながらリンクを設定できるので、より編集
が行いやすくなる。
【0091】請求項4の情報編集装置によれば、編集作
業とリンク情報量の低減の効果に加えて、モデル名表示
手段を備えることにより、選択した3次元モデルのモデ
ル名が表示されるので、どの3次元モデルが選択された
かが確認できるため、似た形状の3次元モデルのリンク
付け作業を確実にできるようになる。
業とリンク情報量の低減の効果に加えて、モデル名表示
手段を備えることにより、選択した3次元モデルのモデ
ル名が表示されるので、どの3次元モデルが選択された
かが確認できるため、似た形状の3次元モデルのリンク
付け作業を確実にできるようになる。
【0092】請求項5の情報編集再生装置によれば、編
集作業とリンク情報量の低減の効果に加えて、関連情報
再生手段を編集の際にも用いることによって関連情報の
中身を確認しながらリンクを設定できる。また、モデル
名表示手段を備えることにより、選択した3次元モデル
のモデル名が表示されるので、どの3次元モデルが選択
されたかが確認できるため、似た形状の3次元モデルの
リンク付け作業を確実にできるようになり、より編集が
行いやすくなる。
集作業とリンク情報量の低減の効果に加えて、関連情報
再生手段を編集の際にも用いることによって関連情報の
中身を確認しながらリンクを設定できる。また、モデル
名表示手段を備えることにより、選択した3次元モデル
のモデル名が表示されるので、どの3次元モデルが選択
されたかが確認できるため、似た形状の3次元モデルの
リンク付け作業を確実にできるようになり、より編集が
行いやすくなる。
【0093】請求項6の情報編集装置によれば、撮影位
置データによる3次元モデル描画と3次元モデルに対す
るリンク設定によって編集作業とリンク情報量の低減の
効果がある。さらに、入力手段によって撮影開始を指示
するだけで、動画像撮影手段と動画像記録手段による動
画像データの記録に加えて、位置計測手段と方位計測手
段が撮影時の位置と方位を計測し、撮影位置記録手段が
これを撮影位置記憶手段に記録することで、どこで・ど
んな向きでビデオを撮影したかを表す撮影位置データを
動画像のフレーム単位に記録することができる。従っ
て、フレーム毎の撮影位置データの設定の内、傾き成分
を除く視線の方向及び視点の位置の設定が不要になり、
請求項1の編集装置よりもさらに編集作業の低減をはか
れる。
置データによる3次元モデル描画と3次元モデルに対す
るリンク設定によって編集作業とリンク情報量の低減の
効果がある。さらに、入力手段によって撮影開始を指示
するだけで、動画像撮影手段と動画像記録手段による動
画像データの記録に加えて、位置計測手段と方位計測手
段が撮影時の位置と方位を計測し、撮影位置記録手段が
これを撮影位置記憶手段に記録することで、どこで・ど
んな向きでビデオを撮影したかを表す撮影位置データを
動画像のフレーム単位に記録することができる。従っ
て、フレーム毎の撮影位置データの設定の内、傾き成分
を除く視線の方向及び視点の位置の設定が不要になり、
請求項1の編集装置よりもさらに編集作業の低減をはか
れる。
【0094】請求項7の情報編集再生装置によれば、撮
影位置データによる3次元モデル描画と3次元モデルに
対するリンク設定によって編集作業とリンク情報量の低
減の効果がある。加えて、動画像撮影手段と並行して撮
影位置データを記録することにより、さらに編集作業を
低減できる上に、関連情報再生手段を編集の際にも用い
ることによって関連情報の中身を確認しながらリンクを
設定でき、より編集が行いやすくなる。
影位置データによる3次元モデル描画と3次元モデルに
対するリンク設定によって編集作業とリンク情報量の低
減の効果がある。加えて、動画像撮影手段と並行して撮
影位置データを記録することにより、さらに編集作業を
低減できる上に、関連情報再生手段を編集の際にも用い
ることによって関連情報の中身を確認しながらリンクを
設定でき、より編集が行いやすくなる。
【0095】請求項8の情報編集装置によれば、撮影位
置データによる3次元モデル描画と3次元モデルに対す
るリンク設定によって編集作業とリンク情報量の低減の
効果がある。加えて、動画像撮影手段と並行して撮影位
置データを記録することにより、さらに編集作業を低減
できる上に、モデル名表示手段を備えることにより、選
択した3次元モデルのモデル名が表示されるので、どの
3次元モデルが選択されたかが確認できるため、似た形
状の3次元モデルのリンク付け作業を確実にできるよう
になる。
置データによる3次元モデル描画と3次元モデルに対す
るリンク設定によって編集作業とリンク情報量の低減の
効果がある。加えて、動画像撮影手段と並行して撮影位
置データを記録することにより、さらに編集作業を低減
できる上に、モデル名表示手段を備えることにより、選
択した3次元モデルのモデル名が表示されるので、どの
3次元モデルが選択されたかが確認できるため、似た形
状の3次元モデルのリンク付け作業を確実にできるよう
になる。
【0096】請求項9の情報編集再生装置によれば、撮
影位置データによる3次元モデル描画と3次元モデルに
対するリンク設定によって編集作業とリンク情報量の低
減の効果がある。加えて、動画像撮影手段と並行して撮
影位置データを記録することにより、さらに編集作業を
低減できる上に、関連情報再生手段を編集の際にも用い
ることによって関連情報の中身を確認しながらリンクを
設定できる。そして、モデル名表示手段を備えることに
より、選択した3次元モデルのモデル名が表示されるの
で、どの3次元モデルが選択されたかが確認できるた
め、似た形状の3次元モデルのリンク付け作業を確実に
できるようになり、より編集が行いやすくなる。
影位置データによる3次元モデル描画と3次元モデルに
対するリンク設定によって編集作業とリンク情報量の低
減の効果がある。加えて、動画像撮影手段と並行して撮
影位置データを記録することにより、さらに編集作業を
低減できる上に、関連情報再生手段を編集の際にも用い
ることによって関連情報の中身を確認しながらリンクを
設定できる。そして、モデル名表示手段を備えることに
より、選択した3次元モデルのモデル名が表示されるの
で、どの3次元モデルが選択されたかが確認できるた
め、似た形状の3次元モデルのリンク付け作業を確実に
できるようになり、より編集が行いやすくなる。
【図1】 本発明の実施の形態1による情報編集装置の
構成を示すブロック図である。
構成を示すブロック図である。
【図2】 3次元モデルの例と動画像との対比を示す説
明図である。
明図である。
【図3】 本発明の装置で採用している座標系を示す説
明図である。
明図である。
【図4】 動画像に対応する3次元シーンを示す説明図
である。
である。
【図5】 3次元モデル記憶手段3の記憶内容を示す説
明図である。
明図である。
【図6】 撮影位置記憶手段4の記憶内容を示す説明図
である。
である。
【図7】 本発明の実施の形態1による情報編集装置に
おける編集画面を示す図である。
おける編集画面を示す図である。
【図8】 操作インターフェース203の例を示す図で
ある。
ある。
【図9】 動画像表示領域に3次元シーンを重ね表示し
た場合を示す説明図である。
た場合を示す説明図である。
【図10】 候補選択ダイアログの例でを示す図であ
る。
る。
【図11】 リンク情報記憶手段14の記憶内容を示す
説明図である。
説明図である。
【図12】 本発明の実施の形態2による情報再生装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図13】 本発明の実施の形態2による情報再生装置
における再生画面を示す図である。
における再生画面を示す図である。
【図14】 本発明の実施の形態3による情報編集再生
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図15】 本発明の実施の形態4による情報編集装置
の構成を示すブロック図である。
の構成を示すブロック図である。
【図16】 カメラの位置を計測方法を示す説明図であ
る。
る。
【図17】 本発明の実施の形態5による情報編集装置
の構成を示すブロック図である。
の構成を示すブロック図である。
1 動画像記憶手段 2 関連情報記憶手段 3 3次元モデル記憶手段 4 撮影位置記憶手段 5 動画像再生手段 6 撮影位置読み出し手段 7 3次元シーン描画手段 8 3次元シーン描画バッファ 9 表示手段 10 カーソル制御手段 11 撮影位置変更手段 12 3次元モデル選択手段 13 モデル名表示手段 14 リンク先選択手段 15 リンク情報記憶手段 16 関連情報再生制御手段 17 リンク先読み出し手段 18 関連情報再生手段 19 動画像撮影手段 20 動画像記録手段 21 位置計測手段 22 方位計測手段 23 撮影位置記録手段 24 入力手段 25 制御手段
Claims (9)
- 【請求項1】 動画像内のオブジェクトについて関連情
報とのリンク関係を設定する情報編集装置において、 画面上に表示されたカーソルを移動させ、画面上の1点
の座標を入力するカーソル制御手段と、 動画像データを記憶する動画像記憶手段と、 動画像内のオブジェクトの関連情報を記憶する関連情報
記憶手段と、 動画像内のオブジェクトに対応する3次元モデルデータ
を記憶する3次元モデル記憶手段と、 上記動画像記憶手段から動画像データを読み出して、再
生する動画像再生手段と、 動画像の各フレームに対応した撮影位置データを記憶す
る撮影位置記憶手段と、 上記動画像再生手段が再生する映像の各フレームに対応
した撮影位置データを、上記撮影位置記憶手段から読み
出す撮影位置読み出し手段と、 上記撮影位置記憶手段から読み出した撮影位置データを
表示して、これを編集者の入力に従って変更する撮影位
置変更手段と、 上記撮影位置読み出し手段が読み出した撮影位置に、あ
るいは撮影位置変更手段によって変更された撮影位置に
基づく画像を、上記3次元モデル記憶手段に記憶した3
次元モデルデータを用いて描画する3次元シーン描画手
段と、 上記3次元シーン描画手段が描画した画像を記憶する3
次元シーン描画バッファと、 3次元モデルの選択にあたって、上記カーソル制御手段
が内部で記憶している現在のカーソル位置にあるピクセ
ルの値を上記3次元シーン描画バッファから取得し、そ
の値に対応する3次元モデルを選択する3次元モデル選
択手段と、 リンク先の選択にあたって、上記関連情報記憶手段に記
憶された関連情報に基づいて、リンク先になる関連情報
の候補一覧を表示し、その内より編集者の選択を受ける
リンク先選択手段と、 上記リンク先選択手段により選択された関連情報につい
て、現在選択中の3次元モデルの識別子と、リンク先に
なる関連情報の識別子とを対応させて記憶するリンク情
報記憶手段と、 上記動画像再生手段が再生する動画像と、上記3次元シ
ーン描画バッファが記憶する画像と、上記カーソル制御
手段が制御するカーソルと、上記撮影位置変更手段によ
り撮影位置を変更するための操作インターフェースと、
上記リンク先選択手段によってリンク先を選択するため
の候補一覧とを表示する表示手段とを備えることを特徴
とする情報編集装置。 - 【請求項2】 動画像及び動画像内オブジェクトの関連
情報を再生する情報再生装置において、 画面上に表示されたカーソルを移動させ、画面上の1点
の座標を入力するカーソル制御手段と、 動画像データを記憶する動画像記憶手段と、 動画像内のオブジェクトの関連情報を記憶する関連情報
記憶手段と、 動画像内のオブジェクトに対応する3次元モデルデータ
を記憶する3次元モデル記憶手段と、 上記3次元モデルの識別子と上記関連情報の識別子と
を、設定されたリンク関係に従って対応させて記憶する
リンク情報記憶手段と、 上記動画像記憶手段から動画像データを読み出して、再
生する動画像再生手段と、 動画像の各フレームに対応した撮影位置データを記憶す
る撮影位置記憶手段と、 上記動画像再生手段が再生する映像の各フレームに対応
した撮影位置を、上記撮影位置記憶手段から読み出す撮
影位置読み出し手段と、 上記撮影位置読み出し手段が読み出した撮影位置に基づ
く画像を上記3次元モデル記憶手段に記憶した3次元モ
デルデータを用いて、描画する3次元シーン描画手段
と、 上記3次元シーン描画手段が描画した画像を記憶する3
次元シーン描画バッファと、 カーソル位置にあるピクセルの値を上記3次元シーン描
画バッファから取得し、その値に対応する関連情報の識
別子を上記リンク情報記憶手段から読み出すリンク先読
み出し手段と、 上記リンク先読み出し手段により読み出した関連情報の
識別子で示される関連情報を上記関連情報記憶手段から
読み出して表示手段に再生する関連情報再生手段と、 関連情報の再生にあたって、上記3次元モデル描画手段
と、上記リンク先読み出し手段と、上記関連情報再生手
段とを制御して、順次機能させる関連情報再生制御手段
と、 上記動画像再生手段が再生する動画像と、上記関連情報
再生手段が再生する関連情報と、上記カーソル制御手段
が制御するカーソルとを表示する表示手段とを備えるこ
とを特徴とする情報再生装置。 - 【請求項3】 動画像内のオブジェクトについて関連情
報とのリンク関係を設定し、動画像及び動画像内オブジ
ェクトの関連情報を再生する情報編集再生装置におい
て、 画面上に表示されたカーソルを移動させ、画面上の1点
の座標を入力するカーソル制御手段と、 動画像データを記憶する動画像記憶手段と、 動画像内のオブジェクトの関連情報を記憶する関連情報
記憶手段と、 動画像内のオブジェクトに対応する3次元モデルデータ
を記憶する3次元モデル記憶手段と、 上記動画像記憶手段から動画像データを読み出して、再
生する動画像再生手段と、 上記動画像再生手段が再生する映像の各フレームに対応
した撮影位置データを記憶する撮影位置記憶手段と、 上記動画像再生手段が再生する映像の各フレームに対応
した撮影位置を、上記撮影位置記憶手段から読み出す撮
影位置読み出し手段と、 上記撮影位置記憶手段から読み出した撮影位置データを
表示して、これを編集者の入力に従って変更する撮影位
置変更手段と、 上記撮影位置読み出し手段が読み出した撮影位置に、あ
るいは撮影位置変更手段によって変更された撮影位置に
基づく画像を、上記3次元モデル記憶手段に記憶した3
次元モデルデータを用いて描画する3次元シーン描画手
段と、 上記3次元シーン描画手段が描画した画像を記憶する3
次元シーン描画バッファと、 3次元モデルの選択にあたって、上記カーソル制御手段
が内部で記憶している現在のカーソル位置にあるピクセ
ルの値を上記3次元シーン描画バッファから取得し、そ
の値に対応する3次元モデルを選択する3次元モデル選
択手段と、 リンク先の選択にあたって、上記関連情報記憶手段に記
憶された関連情報に基づいて、リンク先になる関連情報
の候補一覧を表示し、その内より選択を受けるリンク先
選択手段と、 上記リンク先選択手段により選択された関連情報につい
て、現在選択中の3次元モデルの識別子と、リンク先に
なる関連情報の識別子とを対応させて記憶するリンク情
報記憶手段と、 カーソル位置にあるピクセルの値を上記3次元シーン描
画バッファから取得し、その値に対応する関連情報の識
別子を上記リンク情報記憶手段から読み出すリンク先読
み出し手段と、 上記リンク先読み出し手段により読み出した関連情報の
識別子で示される関連情報を上記関連情報記憶手段から
読み出して表示手段に再生する関連情報再生手段と、 関連情報の再生にあたって、上記3次元モデル描画手段
と、上記リンク先読み出し手段と、上記関連情報再生手
段とを制御して、順次機能させる関連情報再生制御手段
と、 上記動画像再生手段が再生する動画像と、上記3次元シ
ーン描画バッファが記憶する画像と、上記カーソル制御
手段が制御するカーソルと、上記撮影位置変更手段によ
り撮影位置を変更するための操作インターフェースと、
上記リンク先選択手段によってリンク先を選択するため
の候補一覧と、上記関連情報再生手段が再生する関連情
報とを表示する表示手段とを備えることを特徴とする情
報編集再生装置。 - 【請求項4】 請求項1記載の情報編集装置において、 上記3次元モデル選択手段によって選択された3次元モ
デルのモデル名を画面上に表示するモデル名表示手段を
備えることを特徴とする情報編集装置。 - 【請求項5】 請求項3記載の情報編集再生装置におい
て、 上記3次元モデル選択手段によって選択された3次元モ
デルのモデル名を画面上に表示するモデル名表示手段を
備えることを特徴とする情報編集装置。 - 【請求項6】 請求項1記載の情報編集装置において、 動画像を撮影する動画像撮影手段と、 上記動画像撮影手段で撮影した動画像を動画像データと
して上記動画像記憶手段に記録する動画像記録手段と、 撮影時のカメラの位置と向きを動画像の各フレーム単位
に計測する撮影位置計測手段と、 上記撮影位置計測手段で計測した撮影位置を上記動画像
記録手段が記録した動画像の各フレームに対応した撮影
位置データとして上記撮影位置記憶手段に記録する撮影
位置記録手段とを備えることを特徴とする情報編集装
置。 - 【請求項7】 請求項3記載の情報編集再生装置におい
て、 動画像を撮影する動画像撮影手段と、 上記動画像撮影手段で撮影した動画像を動画像データと
して上記動画像記憶手段に記録する動画像記録手段と、 撮影時のカメラの位置と向きを動画像の各フレーム単位
に計測する撮影位置計測手段と、 上記撮影位置計測手段で計測した撮影位置を上記動画像
記録手段が記録した動画像の各フレームに対応した撮影
位置データとして上記撮影位置記憶手段に記録する撮影
位置記録手段とを備えることを特徴とする情報編集再生
装置。 - 【請求項8】 請求項6記載の情報編集装置において、 上記3次元モデル選択手段によって選択された3次元モ
デルのモデル名を画面上に表示するモデル名表示手段を
備えることを特徴とする情報編集装置。 - 【請求項9】 請求項7記載の情報編集再生装置におい
て、 上記3次元モデル選択手段によって選択された3次元モ
デルのモデル名を画面上に表示するモデル名表示手段を
備えることを特徴とする情報編集装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8202418A JPH1049706A (ja) | 1996-07-31 | 1996-07-31 | 情報編集装置、情報再生装置、及び情報編集再生装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8202418A JPH1049706A (ja) | 1996-07-31 | 1996-07-31 | 情報編集装置、情報再生装置、及び情報編集再生装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1049706A true JPH1049706A (ja) | 1998-02-20 |
Family
ID=16457187
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8202418A Pending JPH1049706A (ja) | 1996-07-31 | 1996-07-31 | 情報編集装置、情報再生装置、及び情報編集再生装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1049706A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
| JP2006011970A (ja) * | 2004-06-28 | 2006-01-12 | Ricoh Co Ltd | コンテンツの編集方法、カプセル化文書構造、情報処理装置およびシステム並びにプログラム |
| JP2006323450A (ja) * | 2005-05-17 | 2006-11-30 | Toppan Printing Co Ltd | シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体 |
| CN114046626A (zh) * | 2021-11-10 | 2022-02-15 | 福建瑞雪制冷设备有限公司 | 一种冷库恒温控制方法及其控制系统 |
-
1996
- 1996-07-31 JP JP8202418A patent/JPH1049706A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002042172A (ja) * | 2000-07-25 | 2002-02-08 | Matsushita Electric Works Ltd | 仮想物体の選択方法、この方法が適用される記録媒体およびサービス |
| JP2006011970A (ja) * | 2004-06-28 | 2006-01-12 | Ricoh Co Ltd | コンテンツの編集方法、カプセル化文書構造、情報処理装置およびシステム並びにプログラム |
| JP2006323450A (ja) * | 2005-05-17 | 2006-11-30 | Toppan Printing Co Ltd | シミュレーション画像生成装置、方法、演算プログラム、及びそのプログラムを記録した記録媒体 |
| CN114046626A (zh) * | 2021-11-10 | 2022-02-15 | 福建瑞雪制冷设备有限公司 | 一种冷库恒温控制方法及其控制系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5815138A (en) | Method and apparatus for controlling a cursor | |
| JP3021556B2 (ja) | 映像情報処理装置とその方法 | |
| US7110592B2 (en) | Image recording apparatus, image reproducing apparatus and methods therefor | |
| US5157511A (en) | Image control apparatus for providing an index number to a video reproducer to cause the reproducer to search for and to reproduce a preselected still image | |
| US5970504A (en) | Moving image anchoring apparatus and hypermedia apparatus which estimate the movement of an anchor based on the movement of the object with which the anchor is associated | |
| JP3171744B2 (ja) | 音声及び動画の検索装置 | |
| US6144972A (en) | Moving image anchoring apparatus which estimates the movement of an anchor based on the movement of the object with which the anchor is associated utilizing a pattern matching technique | |
| US5666555A (en) | Audio output method and apparatus in multi-window system | |
| KR0150452B1 (ko) | 움직임 정보 발생 장치 | |
| JP2004198858A (ja) | 投影装置 | |
| US20250024000A1 (en) | Data recording method, device and system for virtual production | |
| JP2019033430A (ja) | 動画再生装置およびその制御方法、並びにプログラム | |
| JP4458886B2 (ja) | 複合現実感画像の記録装置及び記録方法 | |
| JP2004045651A (ja) | 動画像処理方法 | |
| JPH1049706A (ja) | 情報編集装置、情報再生装置、及び情報編集再生装置 | |
| JP2004032131A (ja) | 撮像装置及び画像処理装置 | |
| JPH0232473A (ja) | 動画像検索編集方法 | |
| CA2103394C (en) | Apparatus for video signal processing | |
| JPH10187759A (ja) | 動画アンカー表示、選択、設定装置および動画アンカーを用いた動画ハイパーメディア装置と動画提供システム | |
| JPH11153430A (ja) | 撮影画像管理装置およびそのプログラム記録媒体 | |
| JPH08235344A (ja) | シナリオ編集装置 | |
| KR20010001740A (ko) | 지도와 연계된 파노라마 영상의 탐색 시스템 및 그 제어방법 | |
| JPH11174950A (ja) | 情報処理装置及びその方法、コンピュータ可読メモリ | |
| JP3106561B2 (ja) | 画像データ処理装置 | |
| JP4077525B2 (ja) | マルチメディア情報再生装置およびマルチメディア情報記録装置 |