JP2006054504A - 画像生成方法および装置 - Google Patents

画像生成方法および装置 Download PDF

Info

Publication number
JP2006054504A
JP2006054504A JP2004232628A JP2004232628A JP2006054504A JP 2006054504 A JP2006054504 A JP 2006054504A JP 2004232628 A JP2004232628 A JP 2004232628A JP 2004232628 A JP2004232628 A JP 2004232628A JP 2006054504 A JP2006054504 A JP 2006054504A
Authority
JP
Japan
Prior art keywords
image
auxiliary light
viewpoint
imaging
viewpoint conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004232628A
Other languages
English (en)
Inventor
Takashi Miyoshi
貴史 三由
Hidekazu Iwaki
秀和 岩城
Akio Kosaka
明生 小坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004232628A priority Critical patent/JP2006054504A/ja
Priority to US11/192,317 priority patent/US20060029256A1/en
Priority to CNA2005100877851A priority patent/CN1735217A/zh
Publication of JP2006054504A publication Critical patent/JP2006054504A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/249—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the field of view of a sensor or camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Image Input (AREA)

Abstract

【課題】 暗所の撮影や夜間撮影時に視点変換画像の合成対象撮像手段が撮像する際に効率的に必要な補助光を照射でき、認識度の高い視点変換画像を生成する。
【解決手段】 車両に配置された１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置である。前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けた。
【選択図】 図１

Description

本発明は画像生成方法および装置に係り、特に複数の撮像手段で撮像した画像を元にして、前記撮像手段とは別の視点からあたかも実際に撮影したかのように視点を変更した画像として合成表示させるための技術に関する。
一般に、監視カメラ等によって監視する場合、カメラ単位の撮像画像をモニタ上に表示するような構成が採られ、監視領域の所望の箇所に取り付けられたカメラからの撮影画像を監視室に配列された複数モニタにて表示させるようにしている。また、車両にカメラを搭載し、車両後方に向けられたカメラを利用して運転者が直接又は間接的に視認できない領域を撮影して運転席に設けたモニタに表示することにより安全運転に寄与させるようにしている。
しかし、これらの監視装置はカメラ単位の画像表示であるため、広い領域を撮影しようとすると設置台数が多くなってしまい、また、広角カメラを用いれば設置台数は減るがモニタに表示した画像精度が粗いため、表示画像が見にくく、監視機能が低下してしまう。このようなことから、複数のカメラの画像を合成して１つの画像として表示する技術が提案されている。例えば、特許文献１に示されているように、複数のカメラ画像を１つのモニタに分割表示するものや、特許文献２に示されているように、複数のカメラを撮影画像の一部が相互に重なるように配置しておき、重なり合う部分で画像を結合して１つの画像に合成するものがある。また、特許文献３に示されているように、複数のカメラによる画像を座標変換して１枚の画像に合成して、任意の視点による合成画像を表示するようにしたものである。
また、特許文献３に開示されている方法では、複数のカメラによる画像のデータを、一元的に取り込み、あらかじめレーザレーダや、ミリ波レーダ、ステレオカメラによる三角測量などにより生成した三次元の空間モデルを生成し、ここに、この取得した画像データをカメラパラメータに基づいて、カメラからの入力画像を構成する各画素の情報を対応付けてマッピングを行い、空間データを作成する。このようにして、独立したすべてのカメラからの画像を１つの三次元空間内の点として対応付けた後に、現実のカメラの視点ではなく任意の仮想の視点からみた視点変換画像を生成して表示する。このような視点変換画像表示方法によれば、画像精度を低下させることなく監視領域の全体が１つの任意の視点で表示され、監視したい領域を任意の視点で確認できる利点がある。
特開平０５−３１００７８号公報 特開平１０−１６４５６６号公報 特許３２８６３０６号公報
しかしながら、上記従来技術では、視点変換画像は標準カメラにより撮像した画像データを座標変換して視点変換画像にそのまま利用しているため、従来の視点変換画像では、暗所の撮像画像や夜間撮像画像では合成画像の一部や全部が黒色となって撮影対象物の識別ができなくなる問題があった。
本発明は、上記従来の問題点に着目し、暗所の撮影や夜間撮影時に視点変換画像の合成対象撮像手段が撮像する際に効率的に必要な補助光を照射でき、認識度の高い視点変換画像を生成することができる画像生成方法および装置を提供することを目的とする。
上記目的を達成するために、本発明に係る画像生成方法は、車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替えることを特徴とする。
前記補助光は、可視光、赤外光、パターン光から選択される補助光を適用することを特徴とする。また、前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにすればよい。
また、本発明に係る画像生成装置は、車両に配置された１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴としている。
前記補助光源は前記撮像手段に付帯させればよく、また、前記補助光源は前記撮像手段とは独立し視点変換画像単位に設けるようにすればよい。
さらに、前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成することができる。
本発明は、１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替える構成としてよい。
この場合においても、前記補助光として可視光、赤外光、パターン光から選択される補助光を適用するようにできる。また、前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにすればよい。
さらに、本発明は、１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴とする。
前記補助光源は撮像手段配置物体に所定の形態で配置されたものであればよい。
さらに、前記補助光源は前記撮像手段に付帯させればよく、前記補助光源は前記撮像手段とは独立し視点変換画像単位に設ける構成にできる。また、前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成すればよい。
本発明を上記構成としたことにより、視点変換合成画像を取得する際に、その画像合成に必要な撮像手段の照射領域に向けて補助光が照射されるため、暗所の撮影や夜間撮影時に視点変換画像の合成対象撮像手段が撮像する際に効率的に必要な補助光が照射され、認識度の高い視点変換画像を生成することができる。
以下に、本発明に係る画像生成方法および装置の具体的実施形態を、図面を参照して、詳細に説明する。
図１は実施形態に係る画像生成装置のシステム構成ブロック図である。このシステムの基本的な構成は、撮像手段として本実施形態では複数のステレオカメラユニット１０を用いている。このステレオカメラユニット１０によって取得した画像データを処理してカメラ視点とは異なる仮想の視点から見た合成画像として再生表示するための視点変換合成画像の生成／表示装置１２から構成されている。
図２はステレオカメラユニットの構成概略を示す図である。図示のように、ステレオカメラユニットはステレオアダプタを用いている。ケーシング１４の正面部左右に距離Ｌ１だけ離して各々受光レンズ群を配設した左右一対の広角コンバータレンズ１６Ｌ，１６Ｒを形成し、被写体１８をステレオ撮影できるようにしている。広角コンバータレンズ１６Ｌ，１６Ｒを通じて入力した撮像光を撮像信号として受信する撮像素子２０がケーシング１４背面の中央部に配置されており、撮像素子２０の左右領域にて、それぞれ前記左右広角コンバータレンズ１６Ｌ、１６Ｒからの被写体映像を結像させるようになっている。このため、撮像素子２０と左右広角コンバータレンズ１６Ｌ，１６Ｒの間には、偏向プリズム２２、結像レンズ系２４を含む導光用光学系が配設され、左側広角コンバータレンズ１６Ｌで捉えた被写体映像が、撮像素子２０の左側領域に、右側広角コンバータレンズ１６Ｒで捉えた被写体映像は撮像素子２０の右側領域に導かれて、それぞれ一つの撮像素子２０の受光面に左右分離された状態で同時に結像されるようになっている。
障害物の被写体１８は、左右のレンズから入射し偏向プリズム２２により折り曲げられながら、撮像素子２０に結像する。このようにしてステレオ画像が単一の撮像素子に結像する。このステレオのペア画像から所定の右画像、左画像領域を切り出し距離画像の生成を行う。
このステレオカメラユニット１０は、２つ並べてそれぞれ光軸が互いに平行となるように対に配置することができる。これにより、受光部間の距離となる基線長を、単体のステレオカメラユニット１０による短基線長とし、またはステレオカメラユニット対（１０Ｒ，１０Ｌ）による長基線長とし、基線長の長さを変えてステレオ撮像することが可能となる。
また、視点変換合成画像の生成／表示装置１２における基本的な処理は、各ステレオカメラユニット１０の視点で撮影された画像を入力し、車両などの撮像手段配置物体が置かれる三次元空間を設定し、この三次元空間を任意に設定した原点（仮想視点）によって特定し、当該特定された仮想視点から見た三次元空間内に画像データの画素を座標変換して対応させ、仮想視点からみた画像平面上に画素を再配置させる処理を行う。これにより、カメラ視点で得られた画像データの画素を、仮想視点によって規定される三次元空間内に再配置して合成した画像が得られ、カメラ視点ではない所望の視点からの合成画像を作成出力して表示させることができるのである。
このシステムは各ステレオカメラユニット１０により撮影された画像データをパケット送信するようになっており、このため、撮像手段としてのステレオカメラユニット１０にバッファ装置を付帯させておき、これに装備されているバッファメモリに一時的に撮像画像を取り込むようにしている。このバッファ装置では撮影画像データ単位にＩＤを付加し、タイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませるようにしている。これによって、各ステレオカメラユニット１０から送られる画像データにはＩＤが付され、かつタイムスタンプ、その他の撮影情報が含まれた状態でバッファ装置から視点変換合成画像生成／表示装置１２に連続的にパケット送信されるようになっている。
一方、ステレオカメラユニット１０からの画像データを受ける視点変換合成画像生成／表示装置１２には、各ステレオカメラユニット１０から画像データが送信されてくるが、各ステレオカメラユニット１０から取得すべき画像データは、設定される仮想視点によって一義的に決定するので、設定された仮想視点に対応する画像データを取得すべく画像選択装置２６を設けている。この画像選択装置２６によって任意のステレオカメラユニット１０に付帯したバッファ装置から入力してくる画像データパケットから、設定された仮想視点に対応する画像データパケットが選択され、後段の画像合成処理に利用される。
撮像画像はＩＤ付き画像データ単位でパケット通信によってカメラバッファ装置に一時的に格納されているので、ＩＤ情報を利用して同時刻の画像データを組み合わせることができる。このため、視点変換合成画像生成／表示装置１２は、複数のステレオカメラユニット１０からの撮像画像をＩＤ情報に基づいて時系列に整理して時系列に記憶する実写画像データ記憶装置３４を備えている。また、取得した画像データのパラメータの同期がとれていなければ合成画像は実態とかけ離れてしまう。そのため、前述したように、ＩＤにタイムスタンプ、撮像手段位置姿勢情報、撮像手段内部パラメータ、露出情報の少なくとも１つを含ませ、必要に応じて三次元空間に張り付ける画像データ相互の調整を行うようにすればよい。
また、測距装置６４は、本実施形態ではステレオ撮像による測距を行なっている。あるいはレーザレーダやミリ波レーダなどのレーダによる測距を併用しても良い。
ステレオ撮像による測距は複数の異なる視点から同一の被写体を撮影し、これらの画像中における被写体の同一点の対応を求め、三角測量の原理によって被写体までの距離を算出している。より具体的にはステレオ撮像手段によって撮像された画像の右画像全体を小領域に分割してステレオ測距計算を行う範囲を決定して、ついで左画像の同一画像とされる画像の位置を検出して、それらの画像の位置差を算出して、左右カメラの取り付け位置の関係から対象物までの距離を演算するようにすればよい。このステレオカメラにより撮像された２またはそれ以上の画像間のステレオ測距で得られた距離情報により、距離画像が生成される。
キャリブレーション装置６６は三次元の実世界に配置された撮像手段についての、その三次元実世界における、撮像手段の取付位置、取付角度、レンズ歪み補正値、レンズの焦点距離等のカメラ特性を表すカメラパラメータを決定し、特定する。キャリブレーションによって得られたカメラパラメータはキャリブレーションデータとしてキャリブレーションデータ記憶装置７０に一時格納される。
空間モデル更新手段となる空間モデル生成装置６８ではステレオカメラユニット１０の画像データと、測距装置６４による距離画像データが距離画像データ記憶装置６５から入力される。ステレオカメラユニット１０毎の画像データと、測距装置の距離画像データとを用いて空間モデルを生成し、空間モデル記憶装置７２に一時保管している。これらを選択的に用いることにより、それぞれ良好な距離分解能を持ち、障害物などの被写体の形状まで取れた距離データを備えているので空間モデルの距離分解能および被写体形状の再現性が向上する。
このようにして選択的に取り込まれた画像データの各画素は、空間再構成装置３６にて、三次元空間の点に対応付けられ、空間データとして再構成される。これは、選択された画像を構成する各物体が三次元空間のどこに存在するかを計算し、計算結果としての空間データを空間データ記憶装置３８に一旦記憶するようにしている。
視点変換装置４０は、空間再構成装置３６によって作成された空間データを記憶装置３８から読み出し、指定された仮想視点から見た画像を再構成するのである。これは前記空間再構成装置３６にて行った処理の逆変換処理となる。これによって、新たな変換視点から見た画像が空間データ記憶装置３８から読み出されたデータによって生成され、一旦、視点変換画像データ記憶装置４２に格納した後、表示装置４４にて視点変換画像として表示されることになる。
なお、視点変換画像生成／表示装置１２には、自車モデル等の撮像装置配置物体モデルを記憶格納している撮像装置配置物体モデル記憶装置７４が設けられ、空間再構成する場合に撮像装置配置物体モデルを同時に表示できるようにしている。また、視点選択装置７６が設けられており、予め規定されている設定仮想視点に対応する画像データを仮想視点データ記憶装置７８に格納しておき、視点選択処理が行われたときに即時に対応画像を用いて視点変換装置４０に送信し、選択された仮想視点に対応する変換画像を表示させるようにしている。
この実施形態では、前記視点変換画像における仮想視点の移動に応じて必要な撮像手段からの画像データパケットがカメラバッファ装置から優先取得されるので、余分なデータ処理がなくなって画像合成処理速度が速くなり、即時性が要求される車両のような移動体への適用に高い効果がある。
ところで、本発明では、前記撮像手段としてのステレオカメラユニット１０による撮像領域を照射する補助光源となる投光装置５０を各ステレオカメラユニット１０に付帯させている。また、ステレオカメラユニット１０とは独立して生成する視点変換画像単位に独立投光装置５４を設置している。この投光装置５０あるいは独立投光装置５４には、視点変換画像毎に切り替えて選択させる制御手段を設けている。制御手段は実施形態では投光選択装置５２として構成している。
図４は補助光がパターン光の場合における照射のための投光装置の概略構成を示す図である。光源８４の発光によりリフレクタ８６、コンデンサレンズ８８で成形され熱線カットガラス９０で熱線をカットされた光線がパターンフィルタ９２を照射し、その像を投影レンズ９４により、障害物などの被写体に照射する。フィルタ切替装置９６を用いることにより、パターン光だけでなく照明光も照射可能となる。また、熱線カットガラス９０を取り除き、パターンフィルタ９２の代わりに赤外透過可視光カットフィルタ９８を装着すれば、赤外照明と可視光照明を切り替える照明装置とすることができる。
したがって、本実施形態では、仮想視点の選択において、画像選択装置２６で仮想視点に応じたステレオカメラユニット１０を選択するとともに、投光選択装置５２にそのステレオカメラユニット１０に対応する投光装置としての投光装置５０を選択させ、その投光装置５０のみを作動させるようにしている。これにより、仮想視点画像の生成に必要な画像を撮像するステレオカメラユニット１０の撮影領域部分のみに投光が行われ、投光エネルギーの節約、不必要な投光による他車両などのセンサ幻惑の可能性を減らすなどの効果を得ることができる。
なお、前記投光装置５０から照射される補助光には、可視光、赤外光、パターン光のいずれか１つ、もしくは、時系列の切り替えにより複数が採用されている。可視光を照射するようにすれば暗所や逆光時に撮像対象物を詳細に写しこむことができる。赤外光を用いれば暗所部分や夜間撮影時に詳細画像を取得することができる。また、パターン光を用いることにより、撮像装置により、ステレオ測距処理を行う場合において、特徴点の少ない、単色の平面などの形状測定を良好に行うことができ、空間モデルの生成を有利に実施することが可能となる。図５に実施形態に係るパターン光を示す。図示のように、パターン光としては、基線方向（同図に示す矢印）に対してカラーなどでコード化された縞パターン（同図（１））、あるいはステレオ測距時のたとえばテンプレートマッチングのウィンドサイズでの切り出しにおいて、ある点を特定できるランダムドットパターン（同図（２））を用いることができる。色の違いを示すために、同図において、網掛けを変えることで表現している。また、実際にはより細かいパターンであり、パターンの一部を切り出したものである。同図中Ａはステレオマッチング処理のウィンドサイズを示す。
図３は実施形態に係る画像生成装置を車両に搭載して、車両運転時の補助のために周辺状況を監視できるように構成した場合の構成ブロック図である。図示のように、撮像手段配置物体としての車両６０の前後部には、撮像手段としてのステレオカメラユニット１０が複数装備されている。この図示の例では、車両６０の前部左右に前方カメラ群１０Ｆ（１０ＦＲ、１０ＦＬ）が、車両６０の後部左右にも後方カメラ群１０Ｒ（１０ＲＲ、１０ＲＬ）が装備されている。
車両６０には、前記ステレオカメラユニット１０による撮影画像を、当該ステレオカメラユニット１０による視点とは別の任意の視点から撮影したように画像を合成する視点変換合成画像の生成／表示装置１２が装備されている。この画像生成／表示装置１２と各ステレオカメラユニット１０とは画像選択装置２６（２６ａ，２６ｂ）を介してＬＡＮ回線により接続され、画像データをカメラバッファ経由によりパケット送信させるようにしている。これにより、設定される仮想視点ごとに一義的に決まる必要画像データをバッファ装置から取捨選択してパケット送信により迅速に取り込み、画像合成して表示するようにしているため、画像表示速度が速くなり、合成画像の迅速な表示ができるようになっている。
また、各ステレオカメラユニット１０には投光装置５０を付帯させている。さらに、視点変換画像単位に独立した独立投光装置５４も設置している。投光装置５０および独立投光装置５４は投光選択装置５２を介して画像生成／表示装置１２に接続している。これにより、仮想視点によって投光装置を任意に選択することが可能となる。
なお、本実施形態では、車両６０のような移動体では、移動障害物がある場合、これを運転席の表示装置４４に迅速に表示させて回避動作をさせるよう促す必要が生じてしまうことが多い。車両６０に付帯させた測距装置６４あるいはカメラに搭載した距離センサ機能を利用して障害物が認識された場合、本実施形態では、視点変換画像において認識された障害物を表示可能な撮像手段としてのステレオカメラユニット１０を特定し、当該カメラの画像データを優先的に読み出して、表示装置４４への出力をなすようにしている。
上記構成による画像生成装置の視点変換画像の生成方法について説明する。まず、ステレオアダプタ型のステレオカメラユニットを用いた場合の距離画像生成のフローチャートを図６に示す。これは、実写画像データとキャリブレーションデータが入力された測距装置６４内での処理である。
以下、左ステレオカメラユニット１０Ｌと、右ステレオカメラユニット１０Ｒから入力された画像のうち、ステレオペアを形成する右側（１０ＲＲ−１０ＬＲ）の視野画像を用いる例を示す。
それぞれのステレオカメラユニット１０Ｒ，１０Ｌの撮像画像の右側視野部分を右側視野切り出し処理により、所定の大きさに切り出し（Ｓ２００），（Ｓ２０４）、ステレオ左画像と、ステレオ右画像を生成する。
（Ｓ２０２）得られたステレオ左画像。
（Ｓ２０６）得られたステレオ右画像。
（Ｓ２０８）得られたレクティフィケーション・キャリブレーションデータ。あらかじめキャリブレーション装置１８によってレクティフィケーションに用いるキャリブレーションを実施し、選択したステレオカメラユニットの右側カメラあるいは左側カメラに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２１０）次に、左右それぞれのステレオ画像をレクティフィケーション用のキャリブレーションデータに基づいて、ステレオの左右画像の歪曲収差の補正を行い、エピポーラ線上に左右画像の対応点が同一線上に来るように画像を幾何変換するレクティフィケーション処理を行う。
（Ｓ２１２）得られたレクティフィケーション後のステレオ左画像。
（Ｓ２１４）得られたレクティフィケーション後のステレオ右画像。
（Ｓ２１６）このレクティフィケーション後の左右画像をステレオマッチング処理し、対応点検索を行い、視差を算出する。これにより、画像上の各点の視差量のマップが生成され、これが視差データとなる。
（Ｓ２１８）得られた視差データ。
（Ｓ２２０）得られたステレオ距離キャリブレーションデータ。あらかじめキャリブレーション装置６６によってステレオ測距に用いるキャリブレーションを実施し、選択したステレオカメラユニットに応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成する。
（Ｓ２２２）ステレオ距離キャリブレーションにより、視差量は基準点からの距離に変換され、距離画像データが生成される。
（Ｓ２２４）得られた距離画像データ。
以上のような処理を行うことにより、複数のステレオカメラユニット１０の画像から距離画像データを算出することができる。得られた距離画像データは後述の空間モデル生成に用いている。なお、ステレオペアを形成する左側（１０ＲＬ−１０ＬＬ）の視野画像についても同様の処理を行うことで距離画像データを取得することができる。
実施形態に係る画像生成方法の処理フローを図７に示す。表示する任意の仮想視点を視点選択装置７６で選択する（ステップ１０２）。複数のステレオカメラユニット１０による、短基線あるいは長基線のステレオ撮像を選択する。（ステップ１０４）、選択したステレオカメラユニット１０による撮像を行う（ステップ１０６）。例えば、長基線長側の空間モデルの生成において、ステレオアダプタを用いた左右画像が結像した画像中の分割された視野で同じ側の片側画像を切り出して、空間モデルを生成するためのステレオペア画像として用いる。
また、あらかじめキャリブレーション装置１８によってステレオマッチングに用いるキャリブレーションを実施し、選択したステレオカメラユニット１０に応じた基線長、内部、外部のカメラパラメータ等のキャリブレーションデータを生成して選択する（ステップ１０８）。
得られたキャリブレーションデータをもとに選択した撮像画像のステレオマッチングを行う。すなわち、図６で示したようにステレオ視した左右の画像から所定のウィンドを切り出し、エピポーラ線上をスキャンしながら、ウィンド画像の正規化相関値などを算出することにより、対応点を検索し、左右画像の画素間の視差を算出する。上記視差から、キャリブレーションデータを基に距離を算出し、得られた距離データを距離画像データとする（ステップ１１０）。
空間モデル更新手段となる空間再構成装置３６には、ステレオ撮像の画像情報と距離画像データが入力される。これらを所望の距離で選択的に用いることにより、より詳細な空間モデルが生成される（ステップ１１２）。この空間モデルに対応する実写画像データをキャリブレーションデータに従って撮像手段からの入力画像を三次元空間の空間モデルにマッピングする。テクスチャマッピングがなされた空間データが生成される（ステップ１１４）。空間再構成装置３６によって作成された空間データを参照して、所望の仮想視点から見た視点変換画像を視点変換装置４０で生成する（ステップ１１６）。生成した視点変換画像データを表示装置４４で表示する（ステップ１１８）。
この過程での仮想視点の選択において、画像選択装置２６で仮想視点に応じたステレオカメラユニット１０を選択するとともに、投光選択装置５２にそのステレオカメラユニット１０に対応する投光装置５０を選択させ（ステップ１２０）、その投光装置５０のみを作動させる（ステップ１２２）。これにより、仮想視点に応じた部分のみに、投光が行われ、領域外に対応する補助光の照射を停止するようにしているので、投光エネルギーの節約、不必要な投光による他の車両などからのセンサ幻惑の可能性を減らすなどの効果を得ることができるのである。
なお、ステレオカメラユニット１０などの撮像手段を設置する対象物は車両６０に装着した例を示しているが、撮像装置配置物体として、例えば、歩行者、街路、店舗や住居、オフィスなどの屋内などに取り付けた場合でも同様の画像生成の実施が可能である。このように構成することで、監視カメラや人に取り付けた、映像ベースの情報取得を実施するウェアラブルコンピュータなどへの適用が可能となる。
次に実施形態に係る画像生成装置を室内に適用したシステムブロック図を図８に示す。なお、図１と同一構成については同一の作用効果を成し、同一符号を付してその説明を省略する。図１の構成と同様に、ステレオカメラユニット１０に付帯する投光装置５０とは別に独立した投光装置を設けている。仮想視点、三次元再構成による空間モデルの生成において、移動障害物である人物や部屋のインテリアなどの測距に適した独立投光装置５４が投光選択装置５２に接続してある。
視点選択装置７６には物体認識装置７９が接続してある。物体認識装置７９は、赤外センサ等によって監視領域の移動障害物を認識するものであり、障害物を認識すると視点選択装置７６に認識結果を送信して仮想視点を選択させるように構成している。
図１０は実施形態に係る画像生成装置を室内に配置した処理フローチャートを示す図である。図７と同一の処理については同一の符号を付してその説明を省略する。物体認識装置７９による障害物の検出、認識により、障害物を撮像領域に含む仮想視点を選択する（ステップ１００）。ついで、表示する任意の仮想視点を視点選択装置７６で選択し（ステップ１０２）、以下図７と同様の動作を行う。すなわち、物体認識装置７９による認識結果により、仮想視点が選択され投光装置５０とステレオカメラユニット１０を選択する。投光装置５０は、ステレオ測距用の画像を撮影するときには投光を実施する。そして、投影時に撮像した画像を用いてステレオマッチングを実施し、三次元形状を再構成し、視点変換画像生成のための空間モデル生成に用いている。これにマッピング用画像をマッピングし、空間データとした後、視点変換画像を生成して表示する。
図９は本実施形態に係る画像生成装置の室内の配置構成を示す図である。図９は、屋内監視装置に適用した他の実施形態の例であり、仮想視点を、移動する人物にあわせて切り替えていく場合に、人物に対しての投影の切替をなすように構成している。すなわち、監視対象室８０の壁面部などに撮像手段としてのステレオカメラユニット１０を設置し、このステレオカメラユニット１０に付帯して投光装置５０を設け、撮像領域に補助光を照射するようにしている。カメラ付帯の投光装置５０とは別に例えば監視対象室８０のコーナ部分に独立投光装置５４を設置する。ステレオカメラユニット１０からの取得画像によって室内全体を見渡せる仮想視点を設定し、視点変換画像を図８に示したシステム構成によって生成する。
物体認識装置７９によって室内を移動する人物などが認識された場合、視点変換画像において認識された移動人物を表示可能な撮像手段としてのステレオカメラユニット１０を特定し、当該カメラの画像データを優先的に読み出して、視点変換を行って合成画像を生成して表示装置４４への出力をなすと同時に、移動人物を追尾して特定されたステレオカメラユニット１０に付帯する投光装置５０並びに、その特定カメラ認識領域を照射可能な独立投光装置５４を作動させて補助光を照射するようにしている。独立投光装置５４は視点変換画像単位に最適な位置に設置するようにすればよい。
このような動作をすることで、適切な位置に照明もしくはパターン投光を照射しつつ移動障害物、例えば、室内に侵入した人物などを追跡表示することが可能となる。もちろん、物体認識装置による障害物に応じた仮想視点の移動を前記車両に搭載した場合において実施することもできるし、車両搭載の実施形態の処理方法を室内の監視等に用いることもできる。
上述した各例において、複数のステレオカメラユニットは、二眼のみならず、一眼のステレオアダプタ形式、レール上等を移動する一眼カメラによるステレオ視をするように構成しても良い。また、それらによって、いわゆる三眼ステレオカメラを構成するように用いても、あるいは四眼ステレオカメラを構成するように用いてもよい。このように三眼あるいは四眼ステレオカメラを用いると、三次元再構成処理などにおいて、より信頼度が高く、安定した処理結果が得られることが知られている（富田文明：情報処理学会発行「情報処理」第４２巻第４号の「高機能三次元視覚システム」等）。特に複数カメラを２方向の基線長を持つように配置すると、より複雑なシーンで三次元再構成が可能になることが知られている。また１つの基線長方向にカメラを複数台配置するといわゆるマルチベースライン方式のステレオカメラを実現することが可能となり、より高精度のステレオ計測が可能となる。
本発明に係る画像生成方法および装置は、車両の運転席に装備した表示装置に車両外部の周辺情報をカメラ視点とは異なった仮想の視点から見た画像として表示させることができ、また安全警備のための建物や室内外の監視装置として利用することができる。
本発明の実施形態に係る画像生成装置のシステムブロック図である。 ステレオカメラユニットの構成概略を示す図である。 実施形態に係る画像生成装置を車両に装備した場合の構成ブロック図である。 補助光がパターン光の場合における照射のための投光装置の概略構成を示す。 実施形態に係るパターン光を示す図である。 ステレオアダプタ型のステレオカメラユニットを用いた場合の距離画像生成のフローチャート示す図である。 実施形態に係る画像生成方法の処理フローを示す図である。 本発明の実施形態に係る画像生成装置を室内に配置したシステムブロック図である。 室内監視装置に適用した場合の画像生成装置のカメラ並びに投光装置の配置形態図であり、追尾前後の投光状態の変化を示した説明図である。 実施形態に係る画像生成装置を室内に配置した処理フローチャートである。
符号の説明
１０………ステレオカメラユニット、１２………視点変換合成画像生成／表示装置、１４………ケーシング、１６………広角コンバータレンズ、１８………被写体、２０………撮像素子、２２………偏向プリズム、２４………結像レンズ系、２６………画像選択装置、３４………実写画像データ記憶装置、３６………空間再構成装置、３８………空間データ記憶装置、４０………視点変換装置、４２………視点変換画像データ記憶装置、４４………表示装置、５０………投光装置（補助光源）、５２………投光選択装置、６０………車両、６２………ＬＡＮ回線、６４………測距装置、６５………距離画像データ記憶装置、６６………キャリブレーション装置、６８………空間モデル生成装置、７０………キャリブレーション記憶装置、７２………空間モデル記憶装置、７４………撮像装置配置物体モデル記憶装置、７６………視点選択装置、７８………仮想視点データ記憶装置、７９………物体認識装置、８０………監視対象室、８４………光源、８６………リフレクタ、８８………コンデンサレンズ、９０………熱線カットガラス、９２………パターンフィルタ、９４………投影レンズ、９６………フィルタ切替装置、９８………赤外透過可視光カットフィルタ。

Claims (15)

  1. 車両に配置された１又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、
    視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替えることを特徴とする画像生成方法。
  2. 前記補助光は、可視光、赤外光、パターン光から選択される補助光を適用することを特徴とする請求項１に記載の画像生成方法。
  3. 前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにしたことを特徴とする請求項１に記載の画像生成方法。
  4. 車両に配置された１又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、
    前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴とする画像生成装置。
  5. 前記補助光源は前記撮像手段に付帯してなることを特徴とする請求項４に記載の画像生成装置。
  6. 前記補助光源は前記撮像手段とは独立し視点変換画像単位に設けてなることを特徴とする請求項４に記載の画像生成装置。
  7. 前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成されていることを特徴とする請求項４に記載の画像生成装置。
  8. １又は複数の撮像手段による画像情報に基づいて視点変換画像を生成する方法であって、
    視点変換の切替に応じて撮像に必要な補助光の照射方向を切り替えることを特徴とする画像生成方法。
  9. 前記補助光として可視光、赤外光、パターン光から選択される補助光を適用することを特徴とする請求項８に記載の画像生成方法。
  10. 前記補助光は、前記視点変換画像の生成に利用する少なくとも一部の撮像画像領域を照射し、当該領域外に対応する補助光の照射を停止するようにしたことを特徴とする請求項８に記載の画像生成方法。
  11. １又は複数の撮像手段から供給される画像情報に基づいて視点変換画像を生成する画像生成装置であって、
    前記撮像手段による撮像領域を照射する補助光源を備え、この補助光源を視点変換画像毎に切り替えて使用する補助光源を選択する制御手段を設けたことを特徴とする画像生成装置。
  12. 前記補助光源は撮像手段配置物体に所定の形態で配置されたものであることを特徴とする請求項７に記載の画像生成装置。
  13. 前記補助光源は前記撮像手段に付帯してなることを特徴とする請求項１１に記載の画像生成装置。
  14. 前記補助光源は前記撮像手段とは独立し視点変換画像単位に設けてなることを特徴とする請求項１１に記載の画像生成装置。
  15. 前記補助光源は可視光、赤外光、パターン光のいずれか１つの光照射をなすように形成されていることを特徴とする請求項１１に記載の画像生成装置。

JP2004232628A 2004-08-09 2004-08-09 画像生成方法および装置 Pending JP2006054504A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004232628A JP2006054504A (ja) 2004-08-09 2004-08-09 画像生成方法および装置
US11/192,317 US20060029256A1 (en) 2004-08-09 2005-07-28 Method of generating image and device
CNA2005100877851A CN1735217A (zh) 2004-08-09 2005-08-08 生成图像的方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004232628A JP2006054504A (ja) 2004-08-09 2004-08-09 画像生成方法および装置

Publications (1)

Publication Number Publication Date
JP2006054504A true JP2006054504A (ja) 2006-02-23

Family

ID=35757443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004232628A Pending JP2006054504A (ja) 2004-08-09 2004-08-09 画像生成方法および装置

Country Status (3)

Country Link
US (1) US20060029256A1 (ja)
JP (1) JP2006054504A (ja)
CN (1) CN1735217A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009977B2 (en) 2009-05-14 2011-08-30 Fujitsu Ten Limited On-vehicle lighting apparatus
US8779667B2 (en) 2011-06-22 2014-07-15 Panasonic Corporation Illumination apparatus
JP2014232293A (ja) * 2013-05-01 2014-12-11 日東光学株式会社 撮像システムおよび撮像システムを有する運転支援システム
JP2016169001A (ja) * 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP2016225805A (ja) * 2015-05-29 2016-12-28 富士通テン株式会社 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
CN108437891A (zh) * 2018-03-10 2018-08-24 佛山杰致信息科技有限公司 一种适用于夜间环境的智能驾驶系统及方法
JP2020012735A (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置
JP2021507205A (ja) * 2017-12-14 2021-02-22 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ プロジェクタとカメラモジュールを用いた３ｄ−周辺把握
JP2021515918A (ja) * 2018-03-01 2021-06-24 ４ディ・ビュー・ソリューションズ４Ｄ Ｖｉｅｗ Ｓｏｌｕｔｉｏｎｓ 多視点フォトグラメトリによる３ｄシーンモデリングシステム
CN114821017A (zh) * 2022-04-08 2022-07-29 辽宁警察学院 一种车辆隔热防爆膜自适应补光图像采集方法

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7567844B2 (en) * 2006-03-17 2009-07-28 Honeywell International Inc. Building management system
JP4812510B2 (ja) * 2006-05-17 2011-11-09 アルパイン株式会社 車両周辺画像生成装置および撮像装置の測光調整方法
JP4707034B2 (ja) * 2006-07-07 2011-06-22 株式会社ソニー・コンピュータエンタテインメント 画像処理方法、入力インタフェース装置
BRPI0716814A2 (pt) * 2006-09-20 2013-11-05 Nippon Telegraph & Telephone Método de codificação de imagem, e método de decodificação, aparelhos para isso, aparelho de decodificação de imagem, programas para isso, e mídias de armazenamento para armazenar os programas
WO2008053649A1 (en) * 2006-11-02 2008-05-08 Konica Minolta Holdings, Inc. Wide angle image acquiring method and wide angle streo camera device
EP2084491A2 (en) 2006-11-21 2009-08-05 Mantisvision Ltd. 3d geometric modeling and 3d video content creation
US8090194B2 (en) * 2006-11-21 2012-01-03 Mantis Vision Ltd. 3D geometric modeling and motion capture using both single and dual imaging
DE102009000550B4 (de) * 2009-02-02 2018-10-04 Ford Global Technologies, Llc Weitwinkelbildgebungssystem für die Bereitstellung eines Bildes der Umgebung eines Fahrzeugs, insbesondere eines Kraftfahrzeugs
EP2302470A3 (en) 2009-09-29 2014-06-11 Honeywell International Inc. Systems and methods for configuring a building management system
US8584030B2 (en) * 2009-09-29 2013-11-12 Honeywell International Inc. Systems and methods for displaying HVAC information
US8339470B2 (en) * 2009-11-30 2012-12-25 Indian Institute Of Technology Madras Method and system for generating a high resolution image
US8532962B2 (en) * 2009-12-23 2013-09-10 Honeywell International Inc. Approach for planning, designing and observing building systems
US8577505B2 (en) * 2010-01-27 2013-11-05 Honeywell International Inc. Energy-related information presentation system
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
US8990049B2 (en) 2010-05-03 2015-03-24 Honeywell International Inc. Building structure discovery and display from various data artifacts at scene
US8538687B2 (en) 2010-05-04 2013-09-17 Honeywell International Inc. System for guidance and navigation in a building
US8773946B2 (en) 2010-12-30 2014-07-08 Honeywell International Inc. Portable housings for generation of building maps
JP2012244196A (ja) * 2011-05-13 2012-12-10 Sony Corp 画像処理装置及び方法
US9342928B2 (en) 2011-06-29 2016-05-17 Honeywell International Inc. Systems and methods for presenting building information
WO2013006649A2 (en) * 2011-07-05 2013-01-10 Omron Corporation A method and apparatus for projective volume monitoring
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
US8947437B2 (en) 2012-09-15 2015-02-03 Honeywell International Inc. Interactive navigation environment for building performance visualization
US9609305B1 (en) * 2013-03-13 2017-03-28 Amazon Technologies, Inc. Feature-based rectification of stereo cameras
US9915545B2 (en) 2014-01-14 2018-03-13 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9578307B2 (en) * 2014-01-14 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10360907B2 (en) 2014-01-14 2019-07-23 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US9629774B2 (en) 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024679B2 (en) 2014-01-14 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10248856B2 (en) 2014-01-14 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10024667B2 (en) 2014-08-01 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable earpiece for providing social and environmental awareness
US9922236B2 (en) 2014-09-17 2018-03-20 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable eyeglasses for providing social and environmental awareness
US10024678B2 (en) 2014-09-17 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable clip for providing social and environmental awareness
USD768024S1 (en) 2014-09-22 2016-10-04 Toyota Motor Engineering & Manufacturing North America, Inc. Necklace with a built in guidance device
US9576460B2 (en) 2015-01-21 2017-02-21 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device for hazard detection and warning based on image and audio data
US10490102B2 (en) 2015-02-10 2019-11-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for braille assistance
US9586318B2 (en) 2015-02-27 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Modular robot with smart device
US9811752B2 (en) 2015-03-10 2017-11-07 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable smart device and method for redundant object identification
US9677901B2 (en) 2015-03-10 2017-06-13 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing navigation instructions at optimal times
US9972216B2 (en) 2015-03-20 2018-05-15 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for storing and playback of information for blind users
US9898039B2 (en) 2015-08-03 2018-02-20 Toyota Motor Engineering & Manufacturing North America, Inc. Modular smart necklace
US20170094249A1 (en) * 2015-09-24 2017-03-30 Qualcomm Incorporated Optics architecture for 3-d image reconstruction
US10024680B2 (en) 2016-03-11 2018-07-17 Toyota Motor Engineering & Manufacturing North America, Inc. Step based guidance system
US9958275B2 (en) 2016-05-31 2018-05-01 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for wearable smart device communications
US10561519B2 (en) 2016-07-20 2020-02-18 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device having a curved back to reduce pressure on vertebrae
US10432851B2 (en) 2016-10-28 2019-10-01 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable computing device for detecting photography
US10012505B2 (en) 2016-11-11 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Wearable system for providing walking directions
US10521669B2 (en) 2016-11-14 2019-12-31 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for providing guidance or feedback to a user
US10692262B2 (en) * 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras
US10172760B2 (en) 2017-01-19 2019-01-08 Jennifer Hendrix Responsive route guidance and identification system
JP6658642B2 (ja) * 2017-03-24 2020-03-04 トヨタ自動車株式会社 車両用視認装置
WO2018183710A1 (en) 2017-03-31 2018-10-04 Honeywell International Inc. Providing a comfort dashboard
EP3621050B1 (en) 2018-09-05 2022-01-26 Honeywell International Inc. Method and system for improving infection control in a facility
CN109360295A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于像差分析的里程测量系统及方法
US10978199B2 (en) 2019-01-11 2021-04-13 Honeywell International Inc. Methods and systems for improving infection control in a building
US11620594B2 (en) 2020-06-12 2023-04-04 Honeywell International Inc. Space utilization patterns for building optimization
US11783658B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Methods and systems for maintaining a healthy building
US20210390474A1 (en) 2020-06-15 2021-12-16 Honeywell International Inc. Dashboard for multi site management system
US11914336B2 (en) 2020-06-15 2024-02-27 Honeywell International Inc. Platform agnostic systems and methods for building management systems
US11783652B2 (en) 2020-06-15 2023-10-10 Honeywell International Inc. Occupant health monitoring for buildings
US11823295B2 (en) 2020-06-19 2023-11-21 Honeywell International, Inc. Systems and methods for reducing risk of pathogen exposure within a space
US11184739B1 (en) 2020-06-19 2021-11-23 Honeywel International Inc. Using smart occupancy detection and control in buildings to reduce disease transmission
US12131828B2 (en) 2020-06-22 2024-10-29 Honeywell Internationa Inc. Devices, systems, and methods for assessing facility compliance with infectious disease guidance
US12142385B2 (en) 2020-06-22 2024-11-12 Honeywell International Inc. Methods and systems for reducing a risk of spread of disease among people in a space
US11619414B2 (en) 2020-07-07 2023-04-04 Honeywell International Inc. System to profile, measure, enable and monitor building air quality
US12524786B2 (en) 2020-08-04 2026-01-13 Honeywell International Inc. Methods and systems for determining guest satisfaction including guest sleep quality in hotels
US11402113B2 (en) 2020-08-04 2022-08-02 Honeywell International Inc. Methods and systems for evaluating energy conservation and guest satisfaction in hotels
US11894145B2 (en) 2020-09-30 2024-02-06 Honeywell International Inc. Dashboard for tracking healthy building performance
US11662115B2 (en) 2021-02-26 2023-05-30 Honeywell International Inc. Hierarchy model builder for building a hierarchical model of control assets
US11372383B1 (en) 2021-02-26 2022-06-28 Honeywell International Inc. Healthy building dashboard facilitated by hierarchical model of building control assets
US12142382B2 (en) 2021-03-01 2024-11-12 Honeywell International Inc. Airborne infection early warning system
US11474489B1 (en) 2021-03-29 2022-10-18 Honeywell International Inc. Methods and systems for improving building performance
US12038187B2 (en) 2021-09-28 2024-07-16 Honeywell International Inc. Multi-sensor platform for a building
DE102022103940A1 (de) * 2022-02-18 2023-08-24 Dspace Gmbh Prüfaufbau und Verfahren zum Testen einer Stereokamera
US12261448B2 (en) 2022-06-07 2025-03-25 Honeywell International Inc. Low power sensor with energy harvesting
US12431621B2 (en) 2023-01-26 2025-09-30 Honeywell International Inc. Compact dual band antenna
US12687314B2 (en) 2023-05-17 2026-07-21 Honeywell International Inc. Method and system for controlling a fresh air intake of an air handling unit of an HVAC system
US12695189B2 (en) 2024-01-11 2026-07-28 Honeywell International Inc. Printed circuit board implemented multiband antenna

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3798668A (en) * 1972-10-05 1974-03-19 Bell & Howell Co Camera light
JPH0666023B2 (ja) * 1987-09-14 1994-08-24 旭光学工業株式会社 ズームレンズおよび照射角可変ストロボ装置を備えたカメラ
EP0971261B1 (en) * 1998-07-09 2004-10-20 Matsushita Electric Industrial Co., Ltd. Stereoscopic picture obtaining device
US7085409B2 (en) * 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
JP3645196B2 (ja) * 2001-02-09 2005-05-11 松下電器産業株式会社 画像合成装置
US6831641B2 (en) * 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8009977B2 (en) 2009-05-14 2011-08-30 Fujitsu Ten Limited On-vehicle lighting apparatus
US8779667B2 (en) 2011-06-22 2014-07-15 Panasonic Corporation Illumination apparatus
JP2014232293A (ja) * 2013-05-01 2014-12-11 日東光学株式会社 撮像システムおよび撮像システムを有する運転支援システム
JP2016169001A (ja) * 2015-03-11 2016-09-23 株式会社リコー 撮像システム、画像処理システム、移動体制御システム、移動体装置、投光装置、物体検出方法、物体検出プログラム
JP2016225805A (ja) * 2015-05-29 2016-12-28 富士通テン株式会社 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP2021507205A (ja) * 2017-12-14 2021-02-22 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングＣｏｎｔｉ Ｔｅｍｉｃ ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃ ＧｍｂＨ プロジェクタとカメラモジュールを用いた３ｄ−周辺把握
JP2021515918A (ja) * 2018-03-01 2021-06-24 ４ディ・ビュー・ソリューションズ４Ｄ Ｖｉｅｗ Ｓｏｌｕｔｉｏｎｓ 多視点フォトグラメトリによる３ｄシーンモデリングシステム
JP6997347B2 (ja) 2018-03-01 2022-01-17 ４ディ・ビュー・ソリューションズ 多視点フォトグラメトリによる３ｄシーンモデリングシステム
CN108437891A (zh) * 2018-03-10 2018-08-24 佛山杰致信息科技有限公司 一种适用于夜间环境的智能驾驶系统及方法
JP2020012735A (ja) * 2018-07-18 2020-01-23 日立オートモティブシステムズ株式会社 車載環境認識装置
CN112424565A (zh) * 2018-07-18 2021-02-26 日立汽车系统株式会社 车载环境识别装置
CN112424565B (zh) * 2018-07-18 2023-01-03 日立安斯泰莫株式会社 车载环境识别装置
JP7219561B2 (ja) 2018-07-18 2023-02-08 日立Astemo株式会社 車載環境認識装置
CN114821017A (zh) * 2022-04-08 2022-07-29 辽宁警察学院 一种车辆隔热防爆膜自适应补光图像采集方法

Also Published As

Publication number Publication date
US20060029256A1 (en) 2006-02-09
CN1735217A (zh) 2006-02-15

Similar Documents

Publication Publication Date Title
US12178403B2 (en) Light field capture and rendering for head-mounted displays
US20060029256A1 (en) Method of generating image and device
TWI287402B (en) Panoramic vision system and method
JP4969269B2 (ja) 画像処理装置
CN108027511B (zh) 信息显示装置、信息提供系统、运动对象设备、信息显示方法和记录介质
JP2006033570A (ja) 画像生成装置
US10632899B2 (en) Illumination device for a motor vehicle for increasing the perceptibility of an obstacle
US8284234B2 (en) Endoscopic imaging using reflection holographic optical element for autostereoscopic 3-D viewing
US20160098815A1 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP2002213931A (ja) ３次元形状計測装置および３次元形状計測方法
CN112351242B (zh) 图像处理装置以及图像处理方法
JP2006060425A (ja) 画像生成方法および装置
JP2005350010A (ja) ステレオ式車外監視装置
US20200348127A1 (en) 3-d environment sensing by means of projector and camera modules
JP2000152285A (ja) 立体画像表示装置
JP4545503B2 (ja) 画像生成装置およびその方法
CN100554878C (zh) 立体光学模块和立体摄像机
JP2006031101A (ja) 画像生成方法およびその装置
JP2006054503A (ja) 画像生成方法および装置
JP4339749B2 (ja) 画像生成方法および画像生成装置
JP4493434B2 (ja) 画像生成方法および装置
JP2000059822A (ja) 立体映像表示装置
JP7146658B2 (ja) 電子サイドミラーシステム
JP4105146B2 (ja) エイミング装置
JP4125280B2 (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070723

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090727

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091117