JPH11168754A - 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 - Google Patents

画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体

Info

Publication number
JPH11168754A
JPH11168754A JP9333286A JP33328697A JPH11168754A JP H11168754 A JPH11168754 A JP H11168754A JP 9333286 A JP9333286 A JP 9333286A JP 33328697 A JP33328697 A JP 33328697A JP H11168754 A JPH11168754 A JP H11168754A
Authority
JP
Japan
Prior art keywords
image
memory
information
camera
data frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9333286A
Other languages
English (en)
Inventor
Takaaki Endo
隆明 遠藤
Akihiro Katayama
昭宏 片山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MR System Kenkyusho KK
Original Assignee
MR System Kenkyusho KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MR System Kenkyusho KK filed Critical MR System Kenkyusho KK
Priority to JP9333286A priority Critical patent/JPH11168754A/ja
Priority to US09/098,546 priority patent/US6335754B1/en
Priority to EP98304943A priority patent/EP0921376B1/en
Priority to DE69833089T priority patent/DE69833089T2/de
Priority to AT98304943T priority patent/ATE315212T1/de
Publication of JPH11168754A publication Critical patent/JPH11168754A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42646—Internal components of the client ; Characteristics thereof for reading from or writing on a non-volatile solid state storage medium, e.g. DVD, CD-ROM
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433—Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334—Recording operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8233—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being a character code signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Ecology (AREA)
  • Environmental Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 カメラで撮影して得た実写の画像シーケンス
に、撮影位置に関する位置情報を効率よく付加すること
を可能ならしめる、画像の記録方法を提案する。 【解決手段】 ウオークスルー空間を実現するための、
離散的な複数の方位方向で複数のカメラにより撮影して
得られた画像を記録する方法であって、環境をシーケン
シャルに撮像して生成した画像のデータフレームを、そ
のデータフレームを特定するタイムコードと共に、ビデ
オテープに記憶し、データフレームの撮影位置について
の位置情報LOCを取得し、その位置情報を当該位置情報
の取得時刻TIMを示す取得時刻情報と共にディスクＨＤ
に記憶し、当該データフレームの特定情報と、当該デー
タフレームの生成された時点において取得した位置情報
に対応する取得時刻情報とを対にしてＨＤに記憶するこ
とを特徴とする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、実写画像をもとに
仮想空間の記述を行うための画像の記録方法及び装置に
関し、特にカメラで撮影して得た実写の画像シーケンス
に、撮影位置に関する位置情報を効率良く付加する方法
に関する。また、本発明は、実写画像をもとに仮想空間
の記述を行うために構築された画像データベースシステ
ムに関する。本発明は、さらに上記記録の制御を行うコ
ンピュータプログラムに記憶媒体に関する。
【０００２】
【従来の技術】近年、コンピュータネットワークが形成
する電脳空間(cyber spaces)内に、人が集い社会的営み
を行う都市環境を構築する試みが行われている。通常、
この種の仮想空間の記述と表示には、従来からのＣＧ技
術が用いられている。しかし、幾何モデルを基にしたＣ
Ｇ表現には限界があるため、最近、実写画像に基づくIm
age Based Rendering (IBR)が注目を集めている。
【０００３】所で、実写で得た画像データをそのまま再
生するのでは、撮影者の追体験をするに過ぎない。そこ
で、画像データベースを基に、IBR技術を用いて任意の
景観を画像データとしてリアルタイムで生成して呈示す
る。即ち、撮影された映像を一枚一枚独立した画像とし
て扱い、それを体験者の求めに応じて並び換えれば、遠
隔地において、体験者の求める独自の移動経路上をウオ
ークスルーすることができ、そこに３次元の仮想空間を
感じることができる。
【０００４】体験者の求めに応じて画像を検索再構成す
るには、それぞれの画像が撮影された地点の位置情報を
用いるのが有効である。これらは、体験者の求めに最も
近い画像をデータベースから選択し、適切な画像補間処
理を行うことによって最適な画像を表示するというもの
である。第１図は、実写画像を用いた広域ウオークスル
ーの原理を示す。
【０００５】即ち、狭領域１，２，３，４については実
写画像が用意されている。これらの狭領域を亙って歩い
て行く広域ウオークスルー（経路１０又は経路１１に沿
って）を実現する場合には、狭領域間の空間の画像を補
間する必要がある。狭領域２と３の間を補間するには、
空間２と３の間の体験者の存在位置についての情報か
ら、領域２と領域３の実写画像を検索する必要がある。
即ち、ユーザの位置情報に基づいて必要な画像を検索す
るには、実写画像は、撮影時の位置データに従ってデー
タベース化されている必要がある。
【０００６】また、補間を精度良く行い、補間された画
像と実写画像とが滑らかに繋がるためには、体験者は自
分のまわりの３６０度の範囲でウオークスルー可能性が
あることに鑑みれば、数多くのカメラを様々な角度に向
けて配置し、これらのカメラで同時に環境の画像を取り
込み、これらの実写画像から画像データベースを構築す
る必要がある。
【０００７】しかしながら、多数のカメラの個々の撮影
中心を一点にして配置することはなかなか困難である。
この点で、従来では、第２図に示すように、複数のミラ
ーを点対称に配置し、周囲からの光が上方に向かうよう
に、個々のミラーの鏡面を配置することにより、個々の
カメラの撮影中心を一点に集中させるようにしていた。
【０００８】
【発明が解決しようとする課題】しかしながら、従来技
術において、実写画像のデータベースを作成するには、
個々の画像フレーム毎に位置情報を付加するようにして
いた。しかしながら、この位置情報の画像への付加は、
撮影を行うビデオカメラを例えば等速度移動させながら
画像を連続的にビデオテープに記録し、そのビデオテー
プの先頭から位置情報を付加しようとする画像を記憶し
ているテープ上の位置までの距離によって、位置を計算
するものである。そして、テープ上の各画像とその画像
を撮影した位置情報を統合して実写画像データベースを
作成していた。
【０００９】従って、この作業は実質的に手作業に等し
く、実写画像の量が多ければ多いほど膨大な時間を必要
とするものであった。また、広域ウオークスルーを実現
するには、実写画像は広範囲（広角）でなくてはならな
いが、１つのカメラで広角の実写画像を得ると、広角画
像の周辺画素を用いて画像補間が行われた場合には、そ
の補間後の画像に大量の誤差が発生してしまい、実質的
には補間画像と実写画像との間に連続性が失われてしま
うこともある。そこで、複数のカメラ（ｎ個のカメラ）
を広角に配置して実写を行った場合には、上記位置情報
の付加作業がｎ倍に増えてしまうと言う問題があった。
【００１０】
【課題を解決するための手段】本発明はこのような事態
に鑑みてなされたもので、その目的は、カメラで撮影し
て得た実写の画像シーケンスに、撮影位置に関する位置
情報を効率よく付加することを可能ならしめる、画像の
記録方法並びに画像記録装置を提案する。本発明の他の
目的は、カメラで撮影して得た実写の画像シーケンス
に、撮影位置に関する位置情報を効率よく付加可能なよ
うに、時刻情報が付加された画像データベースを構築す
るデータベース装置を提案する。
【００１１】上記課題を達成するために、本発明の、連
続的な三次元画像空間を構築するための基礎とするため
に、離散的な複数の方位方向で複数のカメラにより撮影
して得られた画像を記録する方法は、前記複数のカメラ
の任意のカメラにより、対象をシーケンシャルに撮像し
て生成した画像のデータフレームを、そのデータフレー
ムを特定する特定情報と共に、第１のメモリに記憶し、
前記データフレームの撮影位置についての位置情報を取
得し、その位置情報を当該位置情報の取得時刻を示す取
得時刻情報と共に、第２のメモリに記憶し、当該データ
フレームの特定情報と、当該データフレームの生成され
た時点において取得した位置情報に対応する取得時刻情
報とを対にして第３のメモリに記憶することを特徴とす
る。
【００１２】本発明の好適な一態様に拠れば、前記第１
のメモリはシーケンシャルメモリであって、前記特定情
報は、前記第１のメモリ内における当該データフレーム
の記録順序を示すフレーム番号であることを特徴とす
る。本発明の好適な一態様に拠れば、前記特定情報は当
該データフレームを前記第１メモリに記録する時の相対
時刻を示す情報である。
【００１３】本発明の好適な一態様に拠れば、前記第１
のメモリは、カメラ毎に設けられたビデオテープメモリ
であり、前記第２のメモリは磁気ディスクである。本発
明の好適な一態様に拠れば、前記特定情報は、カメラに
おいてカメラ毎に発生されたタイムコードであり、前記
複数のカメラの内の特定の１つカメラのタイムコードを
基準とし、この特定の１つのカメラのタイムコードと、
他のカメラのタイムコードとの差異を求める。
【００１４】本発明の好適な一態様に拠れば、前記カメ
ラは車両に搭載される。本発明の好適な一態様に拠れ
ば、カメラの姿勢を示す姿勢情報も併せて前記第２のメ
モリに記録される。本発明の好適な一態様に拠れば、前
記位置情報はGPSセンサから得られる。本発明の好適な
一態様に拠れば、取得時刻情報の値をキーにして、前記
第２のメモリと前記第３のメモリとをサーチして、この
取得時刻情報に対応する特定情報が特定する前記第１の
メモリ内の画像フレームデータと、前記取得時刻情報に
対応する前記第２のメモリ内の位置情報とを互いに関連
付けて第４のメモリに記録する。
【００１５】本発明は上記記録方法で作成した画像デー
タベースにも及ぶ。上記課題は、本発明の、連続的な三
次元画像空間を構築するための基礎とするために、離散
的な複数の方位方向で複数のカメラにより撮影して得ら
れた画像を記録する方法であって、前記複数のカメラの
任意のカメラにより、対象をシーケンシャルに撮像して
生成した画像のデータフレームを、そのデータフレーム
の生成された生成時刻を表す生成時刻情報と共に、第１
のメモリに記憶し、前記データフレームの撮影位置につ
いての位置情報を取得し、その位置情報を当該位置情報
の取得時刻を示す取得時刻情報と共に、第２のメモリに
記憶することを特徴とする画像の記録方法によっても達
成される。
【００１６】本発明の好適な一態様に拠れば、前記生成
時刻情報と取得時刻情報の値が等しい、前記第１のメモ
リ内の画像データフレームと、前記第２のメモリ内の位
置情報とを互いに関連付けて第４のメモリに記録する。
上記課題は、本発明の、離散的な複数の方位方向で複数
のカメラにより撮影して得られた画像データベースシス
テムであって、撮影位置に関連する位置情報と、位置情
報を取得した時刻を表す第１の時刻情報とを共に含む位
置・時刻データベースと、画像データと、この画像デー
タを生成した時刻を表す第２の時刻情報とを共に含む画
像・時刻データベースと、を具備する画像データベース
システムによっても達成される。
【００１７】上記課題を達成するための、本発明の、連
続的な三次元画像空間を構築するための基礎とするため
に、離散的な複数の方位方向で複数のカメラにより撮影
して得られた画像を記録する記録装置は、前記複数のカ
メラの任意のカメラにより、対象をシーケンシャルに撮
像して生成した画像のデータフレームを、そのデータフ
レームを特定する特定情報と共に記憶する第１のメモリ
と、前記データフレームの撮影位置についての位置情報
を取得し、その位置情報を当該位置情報の取得時刻を示
す取得時刻情報と共に記憶する第２のメモリと、当該デ
ータフレームの特定情報と、当該データフレームの生成
された時点において取得した位置情報に対応する取得時
刻情報とを対にして記憶する第３のメモリとを具備する
ことを特徴とする。
【００１８】本発明の好適な一態様に拠れば、前記第１
のメモリはシーケンシャルメモリであって、前記特定情
報は、前記第１のメモリ内における当該データフレーム
の記録順序を示すフレーム番号である。本発明の好適な
一態様に拠れば、前記特定情報は当該データフレームを
前記第１メモリに記録する時の相対時刻を示す情報であ
ることを特徴とする。
【００１９】本発明の好適な一態様に拠れば、前記第１
のメモリは、カメラ毎に設けられたビデオテープメモリ
であり、前記第２のメモリは磁気ディスクである。本発
明の好適な一態様に拠れば、前記特定情報は、カメラに
おいてカメラ毎に発生されたタイムコードであり、前記
複数のカメラの内の特定の１つカメラのタイムコードを
基準とし、この特定の１つのカメラのタイムコードと、
他のカメラのタイムコードとの差異を求めることを特徴
とする。
【００２０】本発明の好適な一態様に拠れば、前記カメ
ラは車両に搭載される。本発明の好適な一態様に拠れ
ば、カメラの姿勢を示す姿勢情報も併せて前記第２のメ
モリに記録される。本発明の好適な一態様に拠れば、前
記位置情報はGPSセンサから得られる。本発明の好適な
一態様に拠れば、取得時刻情報の値をキーにして、前記
第２のメモリと前記第３のメモリとをサーチして、この
取得時刻情報に対応する特定情報が特定する前記第１の
メモリ内の画像フレームデータと、前記取得時刻情報に
対応する前記第２のメモリ内の位置情報とを互いに関連
付けて記憶する第４のメモリとを具備する。
【００２１】本発明の他の目的は、連続的な三次元画像
空間を構築するための基礎とするために、離散的な複数
の方位方向で複数のカメラにより撮影して得られた画像
を記録する記録装置であって、前記複数のカメラの任意
のカメラにより、対象をシーケンシャルに撮像して生成
した画像のデータフレームを、そのデータフレームの生
成された生成時刻を表す生成時刻情報と共に記憶する第
１のメモリと、前記データフレームの撮影位置について
の位置情報を取得し、その位置情報を当該位置情報の取
得時刻を示す取得時刻情報と共に記憶する第２のメモリ
とを具備することを特徴とする画像記録装置によっても
達成される。
【００２２】本発明の好適な一態様に拠れば、前記生成
時刻情報と取得時刻情報の値が等しい、前記第１のメモ
リ内の画像データフレームと、前記第２のメモリ内の位
置情報とを互いに関連付けて記憶する第４のメモリを具
備する。
【００２３】
【発明の実施の形態】以下、本発明を適用した画像の収
集システムと、さらに、広域ウオークスルーを可能にす
るための画像データベースであって、この収集システム
で収集した画像からデータベースを構築するシステムを
説明する。 〈画像収集システムの構成〉本画像収集システムは、車
両に搭載された複数のカメラにより周辺環境の撮影を行
う。また、車両には、車両位置を検知するGPSセンサ並
びに、車体の姿勢（即ち、カメラの姿勢）を検知する姿
勢センサ、方位を地磁気により検出する方位センサが搭
載されている。
【００２４】第３図にこの画像収集システムの構成を示
す。環境を撮影するためのカメラは７台（２０ａ，２０
ｂ，…２０ｇ）搭載されている。このカメラは例えばソ
ニー社製のビデオカメラDCR-VX1000を用いた。PC３０は
本画像収集システムの全体を制御するもので、マイクロ
プロセッサPentium Pro 200Hzを内蔵する。PC３０と夫
々のカメラ２０との間はビデオ／コンピュータインタフ
ェースユニット２１ａ…２１ｇ（ソニー社製Vbox II CI
-1100）により接続されている。
【００２５】PC３０とインタフェース２１ｇとの間は周
知のRS232Cインタフェースバスによって接続され、イン
タフェースユニット２１ａ，２１ｂ，…２１ｇはデイジ
ーチェーン方式（入力信号：VISCAIN、出力信号：VISCA
OUT）で接続されている。後述するように、PC３０は、
各インタフェースユニット２１ａ…２１ｇを介してタイ
ムコード問い合わせ信号を各々のカメラ２０ａ、…、２
０ｇに送る。各カメラ２０ａ、…、２０ｇは、信号ライ
ンVISCAOUT上にタイムコード情報を載せ、このタイムコ
ード情報はPC３０に伝わる。
【００２６】PC３０には、GPSセンサ４０と３軸の姿勢
センサ４１とが、夫々のRS232Cバスインタフェースを介
して接続され、また、地磁気方位センサ４２がアナログ
バスを介してPC３０に接続されている。センサ４２から
の方位信号はPC３０内のＡ／Ｄ変換器（不図示）によっ
てＡ／Ｄ変換される。本システムに用いられているGPS
センサ４０は、Trimble社製のキネマティック方式の４
４００を採用した。ネマティック方式のセンサは、５Hz
のサンプリングレートで±３cmの精度で位置測定を可能
にする。
【００２７】姿勢センサ４１には、ピッチ角とロール角
において±0.5度の精度、ヨー角において±0.9度の精度
を確保することのできるDATATECH社製のGU-3020を採用
した。また、地磁気方位センサ４２には精度±２度を確
保するTOKIN社製のTMC-2000を採用した。なお、GPSセン
サ４０からの信号に基づいて、位置情報を演算する作業
は高速性を要するために、PC３０に過度の負荷をかける
おそれがある。そこで、第３図のデータ収集システムの
変形として、GPSデータ演算専用のPCを付加しても良
い。
【００２８】第４図に、第３図のシステムで収集された
各種データの記録場所を示す。周知のように、キネマテ
ィック方式のGPSセンサは、精度の高い時刻データと位
置データとを出力する。第４図において、PC３０内のハ
ードウエアディスクHDには、カメラ２０からの「タイム
コード」と、センサ４０からの「時刻データ」並びに
「位置情報データ」と、姿勢センサ４１からの「姿勢情
報データ」と、方位センサ４２からの「方位情報」とが
記憶される。
【００２９】第４図において、各カメラ（２０ａ…２０
ｇ）からの実写画像は、各々のビデオテープ２２ａ，２
２ｂ，…，２２ｇに記録される。第５図に、カムコーダ
（２０ａ…２０ｇ）における記録の方式を示す。周知の
ように、カムコーダ２０は、タイムコードジェネレータ
２３と、信号ミキサ２４と、データ記録のためのビデオ
テープ２２とを内蔵する。タイムコードジェネレータ２
３は、画像のフレームをインデックスするためのタイム
コードを出力する。即ち、タイムコードは、テープ上に
記録された画像データのフレーム位置を特定する。
【００３０】第５図において、タイムコードジェネレー
タ２３からのタイムコードと、不図示のＣＣＤセンサか
らの画像データとは、ミキサ２４によって所定のフォー
マットに従ってテープ２２上に記録される。第６図に、
カメラ２０のテープ２２上に記録される上記２つのデー
タ（画像データとタイムコード）の記録される形式の一
例を示す。即ち、テープ上においては、各画像フレーム
には１つのタイムコードが割り当てられている。換言す
れば、あるテープ２２上の目的の画像データは、その画
像データに対応するタイムコードを指定すれば、そのテ
ープ２２上でサーチすることができる。
【００３１】第７図にハードウエアディスクHD内におけ
る前記各種情報の１レコードの記録フォーマットの一例
を示す。PC３０は、任意のカメラから任意の時点でタイ
ムコードを受けると、その時の「時刻データ」（センサ
４０から受信した）と、車両の「位置情報」（センサ４
０から受信した）と、姿勢センサ４１からの「姿勢情
報」と、方位センサ４２から「方位情報」とを組にし
て、タイムコード・センサ情報レコードファイル（第７
図の形式）としてディスクHD内に書き込む。即ち、１つ
のタイムコード・センサ情報レコードは、タイムコード
TCの値、そのときの時刻TIM、そのタイムコードを発生
したカメラの番号＃、そのタイムコードを受信した時点
の、車両位置データLOC、姿勢データPOS、方位データAZ
M等により構成される。
【００３２】第７図の「タイムコード・センサ情報レコ
ード」から明らかなように、ある時刻ｔxの値が与えら
れば、その時刻ｔxの値から、その時刻ｔxの値に近いTI
Mを有するレコードが知れ、そのレコードから、タイム
コードTC、車両位置LOC、姿勢POS、方位AZMを知ること
ができる。また、得られたタイムコードTCの値から、テ
ープ２２上をサーチして、目的の画像データを得ること
ができる。
【００３３】第３図のデータ収集システムの目的は、パ
ノラマ画像を生成するのに好都合な画像データベースを
生成するための、基になる画像データを生成することに
ある。ここで、センサデータや画像データの位置を表し
得る信号は、カメラではタイムコード、センサ信号では
センサ４０からの時刻データである。画像データベース
は、最終的には、画像データと、車両の位置情報や姿勢
データとが結びつけばよい。従って、データ収集システ
ムが記憶するファイル形式は、第６図，第７図以外で
も、データ量に即した形式とすることが可能である。
【００３４】後述のデータ画像の収集は第６図，第７図
のデータ収集方法を変えたものである。 〈カメラの配置〉第８図に、本データ収集システムの７
台のカメラ（２０ａ〜２０ｇ）の車両上への配置を示
す。
【００３５】第８図において図面上方を車両の進行方向
とする。第８図，第９図が示すように、カメラ２０ｃ
（＃３カメラ）とカメラ２０ｄ（＃４カメラ）は車両進
行方向の環境の撮影を担当し、カメラ２０ａ（＃１カメ
ラ）とカメラ２０ｂ（＃２カメラ）は車両左側の環境の
撮影を担当し、カメラ２０ｅ（＃５カメラ）とカメラ２
０ｆ（＃６カメラ）は車両右側の環境の撮影を担当す
る。
【００３６】第８図において、＃７カメラ（２０ｇ）は
後方の環境を撮影する。カメラ２０ｇはその撮影中心が
他のカメラ（２０ａ乃至２０ｆ）の撮影中心（第８図の
点Ｔで示す）から距離ｒだけ離間している。カメラ２０
ｇを車両の後部に置くことにより、カメラ２０ｇが車体
を写し込んでしまうことを防止する。また、カメラ２０
ｇを後方に下げることにより、多くのカメラの配置の自
由度を確保する。即ち、中心位置Ｔに過度に多くのカメ
ラが集中するのを防止する。
【００３７】〈実写画像の収集〉次に、本データ収集シ
ステムによる画像データ収集のための処理の流れを説明
する。第１０図は、PC３０によって制御される実写画像
データ収集処理の全体的な手順を説明する。
【００３８】ステップＳ１００では全カメラのタイムコ
ード同士の対応付けを行う。ステップＳ２００ではタイ
ムコードTCとGPSセンサからの時刻データとの対応付け
を行う。ステップＳ３００では、タイムコードTCと、各
センサからの情報との対応付けを行う。ステップＳ３０
０の処理は、撮影が終了するまで繰り返される。
【００３９】第１１図は、ステップＳ１００における
「タイムコードの対応付け」処理の詳細な手順を示す。
即ち、ステップＳ１０２で、カメラの番号示すカウンタ
ｋの値を２にセットする。２にセットする理由は、本シ
ステムでは、＃１カメラ（カメラ２２ａ）を便宜上基準
としているからに過ぎない。そこで、ステップＳ１０４
では、＃１カメラからのタイムコードをロギングする。
ステップＳ１０６では、＃ｋカメラのタイムコードをロ
ギングする。ステップＳ１０８では、上記操作を所定回
数だけ繰り返したかを判断する。この操作により、＃１
カメラのタイムコードと、＃２カメラ乃至＃７カメラの
内の任意のカメラｋのタイムコードとの組み合わせでの
対応関係（タイムコードの値の相違）を示すデータが複
数得られた。この複数個のデータを平均化すれば、＃１
カメラと＃ｋカメラのタイムコード同士での対応付け、
即ち、値の相違が得られる。この対応付けを、＃２カメ
ラから＃７カメラの全てのカメラについて行う。
【００４０】第１２図は、第９図のステップＳ２００に
おけるタイムコードTCと時刻データTIMとの対応付けを
得るための処理手順の詳細である。即ち、ステップＳ２
０２で、GPSセンサからの時刻データTIMを得る。ステッ
プＳ２０４では、時刻データTIM における＃１カメラの
タイムコードTCの値をロギングする。上記操作を何回か
繰り返して、その平均値より、＃１カメラにおけるタイ
ムコードが示す値と絶対時刻（GPSセンサからの時刻TI
M）との差異を知ることができる。
【００４１】即ち、第１１図と第１２図のフローチャー
トによって得られた関係により、あるカメラｋのタイム
コードがTCkであるときに、＃１カメラのタイムコード
はいくつであり、時間間隔でどの程度ずれているかを予
め把握しておくことができる。第１３図はステップＳ３
００の詳細を説明する。即ち、ステップＳ３０２では、
基準である＃１カメラからのタイムコードを受信する。
ステップＳ３０４では、姿勢センサからの姿勢データ
（ピッチ角、ロール角、ヨー角）を記憶する。ステップ
Ｓ３０６では、方位センサのデータを取得する。ステッ
プＳ３０８では、得たタイムコードやセンサなどに基づ
いて、ハードウエアディスクHD内のタイムコード・セン
サ情報ファイルに１レコード分だけ記録する。
【００４２】〈カメラ配置の自由度の確保〉第８図にお
いて、＃７カメラ（２０ｇ）は後方の環境を撮影する。
カメラ２０ｇはその撮影中心が他のカメラ（２０ａ乃至
２０ｆ）の撮影中心（第８図の点Ｔで示す）から距離ｒ
だけ離間している。カメラ２０ｇを車両の後部に置くこ
とにより、カメラ２０ｇが車体を写し込んでしまうこと
を防止する。また、カメラ２０ｇを後方に下げることに
より、多くのカメラの配置の自由度を確保する。即ち、
中心位置Ｔに過度に多くのカメラが集中するのを防止す
る。
【００４３】従来技術の項で述べたように、不連続の２
つ点で撮影した実写画像から、１つの補間画像を生成す
るには、これらの撮影位置は過度に離間すると、補間画
像と実写画像との間にスムーズさが無くなってしまう。
そこで、本システムでは、第１４図に示すように、＃７
カメラ（２０ｇ）から、時間幅 ｒ／ｖ （ここでｖは車両の進行速度） だけ未来の画像データ、即ち、＃７カメラがｒ／ｖ時間
後に位置Ｔにまで進んだときに撮影した実写画像データ
を、＃１乃至＃６カメラがｒ／ｖ時間だけ過去の位置
（即ち、第１４図に示された位置）で実写した画像デー
タと共に用いることとする。
【００４４】即ち、広域ウオークスルーシステムを実現
するために、実写画像から補間画像を生成するための基
となる画像データベースは、＃１カメラ乃至＃７カメラ
の実写画像を互いに関係づけてデータベースとしなけれ
ばならないが、第１５図に示すように、＃１カメラ乃至
＃６カメラの画像は実際に同じ時刻（時刻ｔ1とする）
に撮影された画像同士（即ち、同じ「時刻データ」を有
する画像同士）をデータベースの１レコードとして統合
し、＃７カメラ（２０ｇ）からの画像データについて
は、時刻 ｔ1＋（ｒ／ｖ） の画像データを同レコードに統合する。
【００４５】第１５図の処理を、第３図のデータ収集シ
ステムで行う場合には、第１１図の制御手順によって得
られた所の、＃１カメラのタイムコードと＃７カメラか
らのタイムコードとの対応関係に対して、更に、 時間幅ｒ／ｖに相当するフレーム数 だけ減算することにより、上記対応関係を修正する。即
ち、＃１カメラ乃至＃６カメラのタイムコードにたいし
て、＃７カメラのタイムコードは、常に、上記時間幅ｒ
／ｖに相当するフレーム数だけ未来の画像データを示す
ことになる。
【００４６】〈データベース生成システム〉第１６図
は、第３図のデータ収集システムにより得られたビデオ
テープファイルと、磁気ディスクファイル（PC３０内の
HD）とから、広域ウオークスルー画像呈示のための画像
補間を行うのに適したデータベースを生成するデータベ
ース生成システムの構成を示す。
【００４７】第３図のシステムは、第６図と第７図に示
された２つのファイルを生成する。２つのファイルは、
タイムコードによって、任意のフレームの画像データ
を、その画像データを撮影したときのカメラの位置、カ
メラの姿勢、カメラの方位とをリンクさせることは可能
である。データベース生成システムの必要性は、テープ
上の画像データを高速のファイルに移し代える所にあ
る。
【００４８】また、第３図システムは、処理すべきデー
タ量が多いために、第６図のタイムコード・センサ情報
ファイルを生成することが困難な場合がある。換言すれ
ば、第３図のシステムは、第１７図に示すように、タイ
ムコードデータTCと時刻データTIMと姿勢データPOSとが
１つのファイル（第１ロギングファイルと呼ぶ）に、位
置データLOCと時刻データTIMとが別の１つのファイル
（以下、第２ロギングファイルと呼ぶ）に記憶するよう
にしている。また、画像データは、第３ロギングファイ
ルとして、実写画像とタイムコードとが組になってテー
プ中に記録されている。なお、第１ロギングファイルと
第２ロギングファイルとは、GPSセンサ４０の出力が発
生する毎にレコードが生成されているので、データ量は
多く、従って、画像補間を行う際の精度が確保される。
【００４９】以下に説明するデータベース生成システム
は、第３図のデータ収集システムが生成した第１７図の
２つのロギングファイルをデータベースに変換するもの
である。第１６図において、データベースの生成は、画
像処理装置計算機５０によって行われる。上記ビデオテ
ープファイルはビデオデッキ６０ａ〜６０ｇにセットさ
れて読み取られる。また、PC３０は計算機５０に接続さ
れる。
【００５０】第１８図は計算機５０による処理の流れを
全体的に示す。ステップＳ５００は、PC３０から第１ロ
ギングファイルを計算機５０に転送する。ステップＳ６
００では、第２ロギングファイルを計算機５０に転送す
る。ステップＳ７００では、ビデオデッキ６０から第３
ロギングファイルを計算機５０に転送する。
【００５１】ステップＳ８００では、第１ロギングファ
イルと第２ロギングファイルとを、時刻データTIMをキ
ーにして対応づける。その詳細を第１９図に示す。この
処理の結果は、計算機５０内のハードウエアディスク
（不図示）に記憶される。ステップＳ９００では、第１
ロギングファイルと第３ロギングファイルとを、タイム
コードTCをキーにして対応づける。その詳細を第２０図
に示す。この処理の結果も、計算機５０内のハードウエ
アディスク（不図示）に記憶される。
【００５２】なお、第８図に関連して説明したように、
＃７カメラからの画像について、時間幅ｒ／ｖに相当す
る未来のフレームをデータベースの対象とする処理につ
いては、＃７カメラについての、第１ロギングファイル
と第２ロギングファイルの対応付け処理（ステップＳ８
０６）、並びに、第１ロギングファイルと第３ロギング
ファイルの対応付け処理（ステップＳ９０６）につい
て、上記ｒ／ｖに対応した時間操作に基づいたサーチを
行えばよい。
【００５３】具体的には、ステップＳ８０６、ステップ
Ｓ９０６の処理を、第２１図に示した制御手順に変形し
て、パノラマ画像合成用の画像データベースを作成す
る。即ち、第２１図のステップＳ１０００で第１ロギン
グファイルの１レコードを読み出して、ステップＳ１０
０２で当該レコード中の時刻データTIMを知る。次に、
＃１カメラ乃至＃６カメラの画像データについては、ス
テップＳ１００４で、＃１カメラ乃至＃６カメラそれぞ
れの第２ロギングファイル中をサーチして、上記TIMと
同じ値を有するTIMを有するレコードを探す。ステップ
Ｓ１００６で、ステップＳ１０００で見つかった第１ロ
ギングファイルのレコードとステップＳ１００４で見つ
かった第２ロギングファイルのレコードとを統合（実質
的に、情報TIMとLOCとが統合される）する。
【００５４】一方、＃７カメラについては、ステップＳ
１０１０で、ステップＳ１００２で得た時刻TIM から、
【００５５】
【数１】
【００５６】を計算し、上記数１式の時刻TIMと同じ値
を有するTIMを有するレコードを＃７カメラの第２ロギ
ングファイル中に探す。尚、上記式中のｆは、時間幅ｒ
／ｖを、本データ収集系において必要とされる時間幅に
変換する関数を示す。ステップＳ１０１２で、ステップ
Ｓ１０００で見つかった第１ロギングファイルのレコー
ドとステップＳ１０１０で見つかった第２ロギングファ
イルのレコードとを統合する。
【００５７】ステップＳ１０２０では、第１ロギングフ
ァイルの全てのレコードについて上記処理を行ったかを
判断し、終了したのであれば、ステップＳ１０２２に進
んで、第１ロギングファイルと第２ロギングファイルと
を統合したレコードをデータベースファイルに書き込
む。かくして、計算機５０内に、広域ウオークスルーを
行うための画像補間が容易なデータベースシステムが生
成された。
【００５８】〈パノラマ画像の生成〉第２２図は、第８
図に示された６つのカメラ（２０ａ〜２０ｆ）において
視野範囲をオーバラップさせる角度を説明する原理図で
ある。一般に、距離２ｄだけ離間して配置された２つの
カメラ（視野角度は同じ）から得られた画像の補間にお
いて、今、距離Ｌ０にある対象Ｐがスムーズに繋がるよ
うに画像を合成（パノラマ画像の生成）する場合を考え
る。カメラの前方で点Ｐを頂点とする三角形の領域は死
角となる。また、点Ｐ’は両カメラによって二重に撮像
される領域内の点を示す。点Ｐ’はカメラの前方の距離
Ｌ（Ｌ≧Ｌ０）だけ離れているとすると、点Ｐ’は、Ｐ
よりも
【００５９】
【数２】
【００６０】だけ角画像の中央側に映じることになる。
よって２枚の画像をつなげると、対象Ｐは二重に表示さ
れ、二重の像の映る位置間の差は、
【００６１】
【数３】
【００６２】となる。１組のカメラ（２０ａと２０ｂ、
または２０ｃと２０ｄ、または２０ｅと２０ｆ）は上記
差を考慮してオーバラップ角度を設定する。撮影中心が
互いに最も離れている＃２カメラと＃３カメラ、或いは
＃４カメラと＃５カメラとについて計算すると、３ｍ先
の対象について画像の継ぎ目を最適化すると、１０ｍ先
の対象が6.5度（距離に換算して1.1ｍ）、無限遠方の対
象が9.3度の角度差で二重に映ることを意味する。
【００６３】＃１カメラ乃至＃６カメラについては、撮
影中心が近接しているために、上記式を考慮した二重写
りを考慮して画像補間を行う。また、＃７カメラ（２０
ｇ）からの画像データについては、データベース上にお
いて、時刻 ｔ1＋（ｒ／ｖ） の画像データが時刻ｔ1の画像データとして記録されて
いるので、データベース中の＃７カメラ（２０ｇ）につ
いての画像データを使用して画像補間する。
【００６４】一枚のパノラマ画像を合成するには、仮想
投影面を平面から円筒面に変換する必要がある。第２３
図に示すように、絶対方位θ0の方向を向いた水平画角
２・θωのカメラによって撮影された画像（縦：２Ｚ，
横：２Ｘ）を考える。この画像内で画像の中央から縦
ｚ、横ｘの位置にある画像を、円筒投影面上へ投射した
場合の平面への投射位置（θ，ｚ'）は、
【００６５】
【数４】
【００６６】となる。実際には、先ずカメラの球面収差
補正を行い、上記の変換を施して円筒面に投影した画像
を得て、これを横一列に並べることによって一枚のパノ
ラマ画像を得ている。また、画像同士の重なり部分には
ブレンディング処理を行い、連続的な変化を持たせてい
る。
【００６７】７台のカメラで大量に作られた画像データ
ベースを以上のようにパノラマ画像にまとめていくこと
で、新たにパノラマ画像のデータベースができあがる。
これが本ウオークスルーシステムで用いるソース画像と
なる。 〈データ収集の変形例〉…第１変形例 第１０図，第１１図に示したデータ収集は、姿勢センサ
からの出力が不定期である場合に有効であった。
【００６８】これから説明する変形例は、姿勢センサか
らの出力が一定の周期でなされ、且つ、そのデータの取
りこぼしがない場合に有効なものである。即ち、第１０
図の制御手順は第２４図の制御手順に変わる。ステップ
Ｓ１１００の制御はステップＳ１００のそれに等価であ
る。また、ステップＳ１２００の制御はステップＳ２０
０の制御に等価である。
【００６９】ステップＳ１３００では、タイムコードTC
と姿勢センサの出力POSとの対応付けを行う。具体的に
は、第２５図のステップＳ１３０２において、姿勢セン
サの出力データをロギングし、ステップＳ１３０４で＃
１カメラのタイムコードをロギングし、これらをペアに
してディスクに書き込む。第２４図のステップＳ１４０
０では、姿勢センサの出力データPOSと方位センサの出
力AZMとの対応付けを行う。具体的には、第２６図のス
テップＳ１４０２で姿勢センサの出力をロギングし、ス
テップＳ１４０４で方位センサの出力をロギングする。
こうして、姿勢センサ出力と方位センサ出力とは組とな
ってロギングされる。
【００７０】第２４図の手法では、ステップＳ１５００
とステップＳ１４００との間のループでは、タイムコー
ドを考慮する必要が無くなり、データ収集が高速にな
る。 〈カメラ配置の変形例〉…第２変形例 第８図に示したカメラの配置では、後方の背景を撮影す
るカメラ２０ｇは１つのみが設置されていた。一個のカ
メラで後方視界をカバーするためには、カメラ２０ｇの
視野角は広く設定する必要があるが、視野を広く設定す
ると、周囲の解像度が劣化して、画像補間の際のつなが
りが不連続になる可能性がある。また、第８図のカメラ
配置は直進時には問題はないが、右左折時には問題が発
生する。
【００７１】第２７図に示した変形例は、後方に＃８カ
メラを１つ増やしたものである。後方カメラを２つとし
たことで、１つのカメラ（＃７又は＃８）の視野は狭く
とも良くなる。また、死角となる領域を狭くするため
に、第２７図に示すように、＃７カメラと＃８カメラの
光軸を交叉させる。第２７図のカメラ配置の車両に画像
収集システムを搭載した場合において、この車両が直進
した場合には、ｒ／ｖ時間後には、＃７カメラと＃８カ
メラとは夫々第２８図の７'と８'の位置に移動する。即
ち、車両が前進を継続する場合には、ｒ／ｖ時間に相当
するフレーム数前の＃７カメラ７，＃８カメラ双方の画
像データを用いる。
【００７２】＃７カメラと＃８カメラとを交叉させる利
点の１つは、右折時或いは左折時に現れる。即ち、左折
の場合は、車体は反時計まわりに回転するので、後方の
＃８カメラは第２９図のような配置位置（８'位置）に
到達する。即ち、８'位置にある＃８カメラの画像デー
タと、左折前の位置にあるときの＃１カメラ乃至＃６カ
メラの画像データとを組み合わせることとする。このよ
うにすると、＃１カメラ乃至＃６カメラは車体が左折前
の方向（直進方向）を向いたときの画像データが、＃８
カメラが直進方向に向いたときの画像データと統合され
ることとなって、第８図の配置の問題は解消される。
【００７３】なお、左折及び右折の検出は、例えばせ姿
勢センサ４１の出力から知ることができる。即ち、計算
機５０は、姿勢センサ４１の出力が記憶されているファ
イルを読み取り、そのときのターン方向が例えば右折
（或いは左折）を示しているときは、＃７カメラ（或い
は＃８カメラ）からの画像データを選択するようにす
る。一般的に言えば、車体が時計回り（反時計回り）に
ターンすれば、中心線よりも反時計回り（時計回り）に
ずれて設けられたカメラの出力を採用する。
【００７４】第３０図は、右折の場合には、＃７カメラ
の画像データが用いられることを示す。尚、第２変形例
の制御手順は、後述の第３変形例の制御手順から自ずと
明らかになる。 〈カメラ配置の変形例〉…第３変形例 第３変形例（第３１図〜第３４図）は、第２変形例に対
して、更に、車両の直後方を向く＃８カメラを付加した
ものである。
【００７５】この配置によれば、直進時には、第３２図
に示すように、中央の＃８カメラの画像データを用い、
左折時には第３３図に示すように、後方右側に配置され
た＃９カメラの画像データを用い、右折時には第３４図
に示すように、後方左側に配置された＃７カメラの画像
データを用いる。第３変形例は、第２変形例よりもさら
に画像のつながりがスムーズになるという効果がある。
【００７６】第３５図に第３変形例のデータベース生成
の手順を示す。この制御手順は、車両の進行方向（姿勢
データPOS或いはセンサ４２からの方位データから判断
できる）に基づいて後方視界を撮影するカメラの内のど
の画像データを使用するかという点で、第２変形例と実
質的に同じである。第２１図のそれと異なるところは、
ステップＳ２０１０で姿勢データPOS（或いは、センサ
４２から方位データ）に基づいて右折か直進か左折かを
判断し、右折の場合は、＃７カメラ（第３３図）の画像
データを採用し、直進の場合は＃８カメラ（第３１図）
の画像データを採用し、左折の場合は、＃９カメラ（第
３２図）の画像データを採用するというものである。
【００７７】〈撮影とデータベース構築の同時化〉…第
４変形例 上記実施形態では、画像データベースを、前もってテー
プに撮影した画像データを元に、撮影後に構築した。し
かしながら、撮影しながらデータベースを構築すること
も可能である。この場合、大容量かつ高速のファイル装
置が必要となる。
【００７８】尚、第１４図或いは第２７図または至第３
１図などに示した上記実施形態に対してデータベースの
リアルタイムを構築を行う場合には、後部位置に配置さ
れたカメラ（第１４図の例ではカメラ＃７、第２７図の
例ではカメラ＃７及び＃８，第３１図の例では＃７乃至
＃９のカメラ）が撮影した画像データを、前述の時間ｆ
（ｒ／ｖ）だけ遅延させるバッファが必要となる。
【００７９】〈その他の変形例〉上記実施形態では、第
１ロギングファイル及び第２ロギングファイルに記憶す
るデータの組み合わせは、例えば第１７図に示すよう
に、前者に、TC、TIM、POSを記録し、後者にLOC、TIMを
記録した。しかしながら、記録の組み合わせは第１７図
の組み合わせに限定されない。
【００８０】即ち、画像データが大容量であることに鑑
みれば、画像データは磁気テープなどの大容量メモリに
単独で記録することが好ましい。しかしながら、 TC、T
IM、POS、LOCについては、１つの高速ファイルに記録し
てもよい。
【００８１】
【発明の効果】以上説明したように本発明によれば、カ
メラで撮影して得た実写の画像シーケンスに、撮影位置
に関する位置情報を効率よく付加することが可能にな
る。また、カメラで撮影して得た実写の画像シーケンス
に、撮影位置に関する位置情報を効率よく付加可能なよ
うに、時刻情報が付加された画像データベースを構築す
るデータベース装置ができる。
【図面の簡単な説明】
【図１】 本発明が適用され得る広域ウオークスルー方
式の概略を説明する図。
【図２】 従来のカメラ配置装置に設けられたカメラ搭
載装置の概略の構成を示す側面図。
【図３】 本発明を適用した実施例にかかるデータ収集
システムの構成を示すブロック図。
【図４】 第３図のシステムにおいて、各種データが最
終的にどこに記録されるかを示す図。
【図５】 第３図のビデオカメラ２０におけるタイムコ
ードの生成を示すブロック図。
【図６】 ビデオカメラ２０のビデオテープ２２上に記
録されるデータのフォーマットを説明する図。
【図７】 PC３０のハードウエアディスクHD内に記録さ
れるデータのフォーマットを説明する図。
【図８】 本実施形態のカメラ配置の特徴を説明する
図。
【図９】 第８図のカメラ配置において、＃１カメラ乃
至＃６カメラの撮影方位を説明する図。
【図１０】 第３図のデータ収集システムの処理の全体
を示すフローチャート。
【図１１】 第１０図のフローチャートの一部を詳細に
説明するフローチャート。
【図１２】 第１０図のフローチャートの一部を詳細に
説明するフローチャート。
【図１３】 第１０図のフローチャートの一部を詳細に
説明するフローチャート。
【図１４】 第８図のカメラ配置の利点を説明する図。
【図１５】 画像データベースの１レコードに統合する
画像データの時刻を説明する図。
【図１６】 実施形態のデータベース生成システムの構
成を示すブロック図。
【図１７】 第６図，第７図の形式以外のファイルの構
成を示す図。
【図１８】 実施形態のデータベース生成のための制御
の基本原理を説明するフローチャート。
【図１９】 第１８図のフローチャートの一部を詳細に
説明するフローチャート。
【図２０】 第１８図のフローチャートの一部を詳細に
説明するフローチャート。
【図２１】 第１４図のカメラ配置において、＃７カメ
ラの画像データを７’一にあるカメラからの画像データ
に変換する制御手順を示すフローチャート。
【図２２】 本実施形態においてパノラマ画像精製時に
おいて、死角領域及び２重域領域をの発生を説明する
図。
【図２３】 パノラマ画像生成のための円筒への射影原
理を説明する図。
【図２４】 第１０図の制御手順の変形例にかかる制御
手順のフローチャート。
【図２５】 第２４図のフローチャートの一部を詳細に
説明したフローチャート。
【図２６】 第２４図のフローチャートの一部を詳細に
説明したフローチャート。
【図２７】 他の方式によるカメラ配置を説明する図。
【図２８】 第２７図の方式によるカメラ配置において
車両が直進動作を行ったときの画像データの収集を説明
する図。
【図２９】 第２７図の方式によるカメラ配置において
車両が左折動作を行ったときの画像データの収集を説明
する図。
【図３０】 第２７図の方式によるカメラ配置において
車両が右折動作を行ったときの画像データの収集を説明
する図。
【図３１】 さらに他の方式によるカメラ配置を説明す
る図。
【図３２】 第３１図の方式によるカメラ配置において
車両が直進動作を行ったときの画像データの収集を説明
する図。
【図３３】 第３１図の方式によるカメラ配置において
車両が左折動作を行ったときの画像データの収集を説明
する図。
【図３４】 第３１図の方式によるカメラ配置において
車両が右折動作を行ったときの画像データの収集を説明
する図。
【図３５】 第３変形例に関わる画像データベースの作
成手順を示すフローチャート。

Claims (26)

    【特許請求の範囲】
  1. 【請求項１】 連続的な三次元画像空間を構築するため
    の基礎とするために、離散的な複数の方位方向で複数の
    カメラにより撮影して得られた画像を記録する方法であ
    って、 前記複数のカメラの任意のカメラにより、対象をシーケ
    ンシャルに撮像して生成した画像のデータフレームを、
    そのデータフレームを特定する特定情報と共に、第１の
    メモリに記憶し、 前記データフレームの撮影位置についての位置情報を取
    得し、その位置情報を当該位置情報の取得時刻を示す取
    得時刻情報と共に、第２のメモリに記憶し、 当該データフレームの特定情報と、当該データフレーム
    の生成された時点において取得した位置情報に対応する
    取得時刻情報とを対にして第３のメモリに記憶すること
    を特徴とする画像の記録方法。
  2. 【請求項２】 前記第１のメモリはシーケンシャルメモ
    リであって、前記特定情報は、前記第１のメモリ内にお
    ける当該データフレームの記録順序を示すフレーム番号
    であることを特徴とする請求項１に記載の画像の記録方
    法。
  3. 【請求項３】 前記特定情報は当該データフレームを前
    記第１メモリに記録する時の相対時刻を示す情報である
    ことを特徴とする請求項１に記載の画像の記録方法。
  4. 【請求項４】 前記第１のメモリは、カメラ毎に設けら
    れたビデオテープメモリであり、前記第２のメモリは磁
    気ディスクであることを特徴とする請求項１に記載の画
    像の記録方法。
  5. 【請求項５】 前記特定情報は、カメラにおいてカメラ
    毎に発生されたタイムコードであり、前記複数のカメラ
    の内の特定の１つカメラのタイムコードを基準とし、こ
    の特定の１つのカメラのタイムコードと、他のカメラの
    タイムコードとの差異を求めることを特徴とする請求項
    １に記載の画像の記録方法。
  6. 【請求項６】 前記カメラは車両に搭載されることを特
    徴とする請求項１に記載の画像の記録方法。
  7. 【請求項７】 カメラの姿勢を示す姿勢情報も併せて前
    記第２のメモリに記録されることを特徴とする請求項１
    に記載の画像の記録方法。
  8. 【請求項８】 前記位置情報はGPSセンサから得られる
    ことを特徴とする請求項１に記載の画像の記録方法。
  9. 【請求項９】 取得時刻情報の値をキーにして、前記第
    ２のメモリと前記第３のメモリとをサーチして、この取
    得時刻情報に対応する特定情報が特定する前記第１のメ
    モリ内の画像フレームデータと、前記取得時刻情報に対
    応する前記第２のメモリ内の位置情報とを互いに関連付
    けて第４のメモリに記録することを特徴とする請求項１
    に記載の画像の記録方法。
  10. 【請求項１０】 請求項１に記載の記録方法で作成した
    画像データベース。
  11. 【請求項１１】 連続的な三次元画像空間を構築するた
    めの基礎とするために、離散的な複数の方位方向で複数
    のカメラにより撮影して得られた画像を記録する方法で
    あって、 前記複数のカメラの任意のカメラにより、対象をシーケ
    ンシャルに撮像して生成した画像のデータフレームを、
    そのデータフレームの生成された生成時刻を表す生成時
    刻情報と共に、第１のメモリに記憶し、 前記データフレームの撮影位置についての位置情報を取
    得し、その位置情報を当該位置情報の取得時刻を示す取
    得時刻情報と共に、第２のメモリに記憶することを特徴
    とする画像の記録方法。
  12. 【請求項１２】 前記生成時刻情報と取得時刻情報の値
    が等しい、前記第１のメモリ内の画像データフレーム
    と、前記第２のメモリ内の位置情報とを互いに関連付け
    て第４のメモリに記録することを特徴とする請求項１１
    に記載の画像の記録方法。
  13. 【請求項１３】 離散的な複数の方位方向で複数のカメ
    ラにより撮影して得られた画像データベースシステムで
    あって、 撮影位置に関連する位置情報と、位置情報を取得した時
    刻を表す第１の時刻情報とを共に含む位置・時刻データ
    ベースと、 画像データと、この画像データを生成した時刻を表す第
    ２の時刻情報とを共に含む画像・時刻データベースと、 を具備する画像データベースシステム。
  14. 【請求項１４】 連続的な三次元画像空間を構築するた
    めの基礎とするために、離散的な複数の方位方向で複数
    のカメラにより撮影して得られた画像を記録する記録装
    置であって、 前記複数のカメラの任意のカメラにより、対象をシーケ
    ンシャルに撮像して生成した画像のデータフレームを、
    そのデータフレームを特定する特定情報と共に記憶する
    第１のメモリと、 前記データフレームの撮影位置についての位置情報を取
    得し、その位置情報を当該位置情報の取得時刻を示す取
    得時刻情報と共に記憶する第２のメモリと、 当該データフレームの特定情報と、当該データフレーム
    の生成された時点において取得した位置情報に対応する
    取得時刻情報とを対にして記憶する第３のメモリとを具
    備することを特徴とする画像記録装置。
  15. 【請求項１５】 前記第１のメモリはシーケンシャルメ
    モリであって、前記特定情報は、前記第１のメモリ内に
    おける当該データフレームの記録順序を示すフレーム番
    号であることを特徴とする請求項１４に記載の画像記録
    装置。
  16. 【請求項１６】 前記特定情報は当該データフレームを
    前記第１メモリに記録する時の相対時刻を示す情報であ
    ることを特徴とする請求項１４に記載の画像記録装置。
  17. 【請求項１７】 前記第１のメモリは、カメラ毎に設け
    られたビデオテープメモリであり、前記第２のメモリは
    磁気ディスクであることを特徴とする請求項１４に記載
    の画像記録装置。
  18. 【請求項１８】 前記特定情報は、カメラにおいてカメ
    ラ毎に発生されたタイムコードであり、前記複数のカメ
    ラの内の特定の１つカメラのタイムコードを基準とし、
    この特定の１つのカメラのタイムコードと、他のカメラ
    のタイムコードとの差異を求めることを特徴とする請求
    項１４に記載の画像記録装置。
  19. 【請求項１９】 前記カメラは車両に搭載されることを
    特徴とする請求項１４に記載の画像記録装置。
  20. 【請求項２０】 カメラの姿勢を示す姿勢情報も併せて
    前記第２のメモリに記録されることを特徴とする請求項
    １４に記載の画像記録装置。
  21. 【請求項２１】 前記位置情報はGPSセンサから得られ
    ることを特徴とする請求項１４に記載の画像記録装置。
  22. 【請求項２２】 取得時刻情報の値をキーにして、前記
    第２のメモリと前記第３のメモリとをサーチして、この
    取得時刻情報に対応する特定情報が特定する前記第１の
    メモリ内の画像フレームデータと、前記取得時刻情報に
    対応する前記第２のメモリ内の位置情報とを互いに関連
    付けて記憶する第４のメモリとを具備する請求項１４に
    記載の画像記録装置。
  23. 【請求項２３】 連続的な三次元画像空間を構築するた
    めの基礎とするために、離散的な複数の方位方向で複数
    のカメラにより撮影して得られた画像を記録する記憶装
    置であって、 前記複数のカメラの任意のカメラにより、対象をシーケ
    ンシャルに撮像して生成した画像のデータフレームを、
    そのデータフレームの生成された生成時刻を表す生成時
    刻情報と共に記憶する第１のメモリと、 前記データフレームの撮影位置についての位置情報を取
    得し、その位置情報を当該位置情報の取得時刻を示す取
    得時刻情報と共に記憶する第２のメモリとを具備するこ
    とを特徴とする画像記録装置。
  24. 【請求項２４】 前記生成時刻情報と取得時刻情報の値
    が等しい、前記第１のメモリ内の画像データフレーム
    と、前記第２のメモリ内の位置情報とを互いに関連付け
    て記憶する第４のメモリを具備することを特徴とする請
    求項２３に記載の画像記録装置。
  25. 【請求項２５】 連続的な三次元画像空間を構築するた
    めの基礎とするために、離散的な複数の方位方向で複数
    のカメラにより画像を撮影し得られた画像を記録する制
    御をコンピュータに実行させるコンピュータプログラム
    の記憶媒体であって、 前記複数のカメラの任意のカメラにより、対象をシーケ
    ンシャルに撮像して生成した画像のデータフレームを、
    そのデータフレームを特定する特定情報と共に、第１の
    メモリに記憶する第１のプログラムコード手段と、 前記データフレームの撮影位置についての位置情報を取
    得し、その位置情報を当該位置情報の取得時刻を示す取
    得時刻情報と共に、第２のメモリに記憶する第２のプロ
    グラムコード手段と、 当該データフレームの特定情報と、当該データフレーム
    の生成された時点において取得した位置情報に対応する
    取得時刻情報とを対にして第３のメモリに記憶する第３
    のプログラムコード手段とを記憶したコンピュータプロ
    グラムの記憶媒体。
  26. 【請求項２６】 連続的な三次元画像空間を構築するた
    めの基礎とするために、離散的な複数の方位方向で複数
    のカメラにより画像を撮影し得られた画像を記録する制
    御をコンピュータに実行させるコンピュータプログラム
    の記憶媒体であって、 前記複数のカメラの任意のカメラにより、対象をシーケ
    ンシャルに撮像して生成した画像のデータフレームを、
    そのデータフレームの生成された生成時刻を表す生成時
    刻情報と共に、第１のメモリに記憶する第１のプログラ
    ムコード手段と、 前記データフレームの撮影位置についての位置情報を取
    得し、その位置情報を当該位置情報の取得時刻を示す取
    得時刻情報と共に、第２のメモリに記憶する第２のプロ
    グラムコード手段とを記憶したコンピュータプログラム
    の記憶媒体。
JP9333286A 1997-12-03 1997-12-03 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体 Pending JPH11168754A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP9333286A JPH11168754A (ja) 1997-12-03 1997-12-03 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
US09/098,546 US6335754B1 (en) 1997-12-03 1998-06-17 Synchronization between image data and location information for panoramic image synthesis
EP98304943A EP0921376B1 (en) 1997-12-03 1998-06-23 Panoramic image acquisition system
DE69833089T DE69833089T2 (de) 1997-12-03 1998-06-23 Panorama-Bilderzeugungssystem
AT98304943T ATE315212T1 (de) 1997-12-03 1998-06-23 Panorama-bilderzeugungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP9333286A JPH11168754A (ja) 1997-12-03 1997-12-03 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体

Publications (1)

Publication Number Publication Date
JPH11168754A true JPH11168754A (ja) 1999-06-22

Family

ID=18264406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9333286A Pending JPH11168754A (ja) 1997-12-03 1997-12-03 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体

Country Status (5)

Country Link
US (1) US6335754B1 (ja)
EP (1) EP0921376B1 (ja)
JP (1) JPH11168754A (ja)
AT (1) ATE315212T1 (ja)
DE (1) DE69833089T2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001074090A1 (en) * 2000-03-31 2001-10-04 Olympus Optical Co., Ltd. Method for posting three-dimensional image data and system for creating three-dimensional image
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
JP2003203251A (ja) * 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
WO2005071619A1 (ja) * 2004-01-21 2005-08-04 Campus Create Co., Ltd. 画像生成方法
US7110592B2 (en) 2001-03-02 2006-09-19 Canon Kabushiki Kaisha Image recording apparatus, image reproducing apparatus and methods therefor
US7120313B2 (en) 2001-03-07 2006-10-10 Canon Kabushiki Kaisha Image processing apparatus and method for producing a virtual space for walk-through
US7388982B2 (en) 2002-11-29 2008-06-17 Canon Kabushiki Kaisha Image processing method and apparatus for generating panoramic image
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
US7518636B2 (en) 2003-02-21 2009-04-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method
JP2009129183A (ja) * 2007-11-22 2009-06-11 Internatl Business Mach Corp <Ibm> 仮想空間を構築するための画像処理方法、装置
US7673246B2 (en) 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
US8421797B2 (en) 2008-11-28 2013-04-16 Yamaha Hatsudoki Kabushiki Kaisha Remote control system and remote control apparatus
US9403482B2 (en) 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6389179B1 (en) * 1996-05-28 2002-05-14 Canon Kabushiki Kaisha Image combining apparatus using a combining algorithm selected based on an image sensing condition corresponding to each stored image
JP3571893B2 (ja) 1997-12-03 2004-09-29 キヤノン株式会社 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
US6906708B1 (en) * 1999-03-26 2005-06-14 Canon Kabushiki Kaisha Image processing method and apparatus, and storage medium
CN100438623C (zh) * 1999-04-16 2008-11-26 松下电器产业株式会社 图象处理装置及监视系统
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
DE19961428C2 (de) * 1999-12-17 2002-03-07 Florian Maier Verfahren und Vorrichtung zum Visualisieren eines Vorganges zu einem definierten Zeitpunkt
JP4624594B2 (ja) * 2000-06-28 2011-02-02 パナソニック株式会社 物体認識方法および物体認識装置
US6731305B1 (en) * 2000-07-17 2004-05-04 Imove, Inc. Camera system which records camera identification in image file
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
DE10053683A1 (de) * 2000-10-28 2002-05-08 Alcatel Sa Bild-Überwachung
US7126630B1 (en) * 2001-02-09 2006-10-24 Kujin Lee Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method
JP3472273B2 (ja) * 2001-03-07 2003-12-02 キヤノン株式会社 画像再生装置及び画像処理装置及び方法
JP5037765B2 (ja) * 2001-09-07 2012-10-03 株式会社トプコン オペレータ誘導システム
JP3720747B2 (ja) * 2001-09-28 2005-11-30 キヤノン株式会社 画像形成システム及び画像形成装置、及び画像形成方法
JP2004072349A (ja) * 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7436429B2 (en) * 2003-11-24 2008-10-14 The Boeing Company Virtual pan/tilt camera system and method for vehicles
US20050168485A1 (en) * 2004-01-29 2005-08-04 Nattress Thomas G. System for combining a sequence of images with computer-generated 3D graphics
US7079173B2 (en) * 2004-02-04 2006-07-18 Hewlett-Packard Development Company, L.P. Displaying a wide field of view video image
CA2559726C (en) 2004-03-24 2015-10-20 A9.Com, Inc. System and method for displaying images in an online directory
GB2421653A (en) * 2004-12-24 2006-06-28 Trek Wireless Ltd System for the collection and association of image and position data
US7720353B1 (en) * 2005-06-21 2010-05-18 Hewlett-Packard Development Company, L.P. Parallel communication streams from a multimedia system
EP1916846B1 (en) * 2005-08-02 2016-09-14 Nissan Motor Company Limited Device and method for monitoring vehicle surroundings
US20090153468A1 (en) * 2005-10-31 2009-06-18 National University Of Singapore Virtual Interface System
US20090128630A1 (en) * 2006-07-06 2009-05-21 Nissan Motor Co., Ltd. Vehicle image display system and image display method
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
WO2008128348A1 (en) * 2007-04-22 2008-10-30 Ilookabout Inc. Method of obtaining geographically related images using a vehicle
US8855856B2 (en) * 2007-05-08 2014-10-07 GM Global Technology Operations LLC Vehicle roll control method using controllable friction force of MR dampers
US8174561B2 (en) * 2008-03-14 2012-05-08 Sony Ericsson Mobile Communications Ab Device, method and program for creating and displaying composite images generated from images related by capture position
WO2010052550A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating and broadcasting interactive panoramic walk-through applications
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
US9007428B2 (en) * 2011-06-01 2015-04-14 Apple Inc. Motion-based image stitching
EP2779621B1 (en) 2011-11-07 2021-12-22 Sony Interactive Entertainment Inc. Image generation device, image generation method and program
WO2013069048A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5659304B2 (ja) * 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5769813B2 (ja) 2011-11-07 2015-08-26 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
WO2013141922A2 (en) * 2011-12-20 2013-09-26 Sadar 3D, Inc. Systems, apparatus, and methods for data acquisiton and imaging
JP5915158B2 (ja) * 2011-12-22 2016-05-11 ソニー株式会社 タイムコード表示装置及びタイムコード表示方法
WO2013186804A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US20140315489A1 (en) * 2013-04-22 2014-10-23 Htc Corporation Method for performing wireless display sharing, and associated apparatus and associated computer program product
CN107003600A (zh) * 2014-09-15 2017-08-01 德米特里·戈里洛夫斯基 包括观察大场景的多个数字照相机的系统
FR3052252B1 (fr) * 2016-06-07 2019-05-10 Thales Equipement optronique de vision pour un vehicule terrestre
TWI779029B (zh) * 2018-05-04 2022-10-01 大猩猩科技股份有限公司 一種分佈式的物件追蹤系統
IL265818A (en) * 2019-04-02 2020-10-28 Ception Tech Ltd System and method for determining location and orientation of an object in a space

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8503378A (nl) 1985-12-06 1987-07-01 Theo Jogchum Poelstra Nieuwe werkwijze voor het opbouwen en bijhouden van data-bestanden voor het wegverkeer.
US5517419A (en) 1993-07-22 1996-05-14 Synectics Corporation Advanced terrain mapping system
DE69532126T2 (de) * 1994-05-19 2004-07-22 Geospan Corp., Plymouth Verfahren zum sammeln und verarbeiten visueller und räumlicher positionsinformation
US5672820A (en) * 1995-05-16 1997-09-30 Boeing North American, Inc. Object location identification system for providing location data of an object being pointed at by a pointing device
JP3658659B2 (ja) * 1995-11-15 2005-06-08 カシオ計算機株式会社 画像処理装置
JP3528548B2 (ja) * 1997-11-18 2004-05-17 トヨタ自動車株式会社 車両用動画像処理方法および車両用動画像処理装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001074090A1 (en) * 2000-03-31 2001-10-04 Olympus Optical Co., Ltd. Method for posting three-dimensional image data and system for creating three-dimensional image
JP2002209208A (ja) * 2001-01-11 2002-07-26 Mixed Reality Systems Laboratory Inc 画像処理装置及びその方法並びに記憶媒体
US6810152B2 (en) 2001-01-11 2004-10-26 Canon Kabushiki Kaisha Image processing apparatus, method of processing images, and storage medium
US7110592B2 (en) 2001-03-02 2006-09-19 Canon Kabushiki Kaisha Image recording apparatus, image reproducing apparatus and methods therefor
US7120313B2 (en) 2001-03-07 2006-10-10 Canon Kabushiki Kaisha Image processing apparatus and method for producing a virtual space for walk-through
JP2009181587A (ja) * 2001-09-28 2009-08-13 Fuji Xerox Co Ltd ビデオシステム、及びビデオシステム用プログラム
JP2003203251A (ja) * 2001-09-28 2003-07-18 Fuji Xerox Co Ltd ビデオシステム、仮想現実を生成するための方法、トランスポートプロトコル、コンピュータ読み取り可能記憶媒体、および、プログラム
US7673246B2 (en) 2001-12-12 2010-03-02 Canon Kabushiki Kaisha Image information processing apparatus and method, virtual space presentation apparatus, information administration apparatus, and control methods thereof
US7791618B2 (en) 2002-01-15 2010-09-07 Canon Kabushiki Kaisha Information processing apparatus and method
US7411594B2 (en) 2002-01-15 2008-08-12 Canon Kabushiki Kaisha Information processing apparatus and method
US7388982B2 (en) 2002-11-29 2008-06-17 Canon Kabushiki Kaisha Image processing method and apparatus for generating panoramic image
US7518636B2 (en) 2003-02-21 2009-04-14 Canon Kabushiki Kaisha Image processing apparatus and image processing method
GB2427520A (en) * 2004-01-21 2006-12-27 Campus Create Co Ltd Image generation method
WO2005071619A1 (ja) * 2004-01-21 2005-08-04 Campus Create Co., Ltd. 画像生成方法
JP2009129183A (ja) * 2007-11-22 2009-06-11 Internatl Business Mach Corp <Ibm> 仮想空間を構築するための画像処理方法、装置
US8493380B2 (en) 2007-11-22 2013-07-23 International Business Machines Corporation Method and system for constructing virtual space
US8421797B2 (en) 2008-11-28 2013-04-16 Yamaha Hatsudoki Kabushiki Kaisha Remote control system and remote control apparatus
US9403482B2 (en) 2013-11-22 2016-08-02 At&T Intellectual Property I, L.P. Enhanced view for connected cars
US9866782B2 (en) 2013-11-22 2018-01-09 At&T Intellectual Property I, L.P. Enhanced view for connected cars

Also Published As

Publication number Publication date
EP0921376B1 (en) 2006-01-04
DE69833089T2 (de) 2006-08-03
DE69833089D1 (de) 2006-03-30
EP0921376A1 (en) 1999-06-09
US6335754B1 (en) 2002-01-01
ATE315212T1 (de) 2006-02-15

Similar Documents

Publication Publication Date Title
JPH11168754A (ja) 画像の記録方法、画像データベースシステム、画像記録装置及びコンピュータプログラムの記憶媒体
JP3571893B2 (ja) 画像記録装置及び画像記録方法、画像データベース生成装置及び画像データベース生成方法
JP3290993B2 (ja) 球形画像を作成する方法および装置
US10027931B2 (en) Virtual image generating apparatus, virtual image generating method, and recording medium storing virtual image generating program
EP2583449B1 (en) Mobile and server-side computational photography
KR0184245B1 (ko) 전자식 카메라와 그 재생장치
US20170353658A1 (en) Immersive capture and review
US20110211040A1 (en) System and method for creating interactive panoramic walk-through applications
US20090073265A1 (en) Virtual observer
US20210227195A1 (en) Creating cinematic video from multi-view capture data
CN1965578A (zh) 数码3d/360度照相机系统
JP2002269591A (ja) 画像再生装置及び画像処理装置及び方法
JP2002269592A (ja) 画像処理装置及び方法
US20040021767A1 (en) Image sensing apparatus and control method thereof
US11297371B1 (en) Vehicle video system
JPH082090B2 (ja) 画像動き補正装置
JPH099197A (ja) 連続ステレオ画像データ記録装置
KR20160031464A (ko) 비디오 필름을 촬영하기 위한 촬영 카메라의 위치를 추적하는 시스템
JP2001057652A (ja) 画像入力装置および画像入力方法
JP3433882B2 (ja) 仮想空間生成装置
CN117479022A (zh) 信息处理装置、系统及方法、输入输出装置及方法
JP2001177850A (ja) 画像信号記録装置および方法、画像信号再生方法並びに記録媒体
JP3432213B2 (ja) 画像再生装置及び方法
US20040027365A1 (en) Controlling playback of a temporal stream with a user interface device
JPH09186957A (ja) 画像記録再生装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040315