JPH1042314A - 視差画像入力装置 - Google Patents

視差画像入力装置

Info

Publication number
JPH1042314A
JPH1042314A JP19185396A JP19185396A JPH1042314A JP H1042314 A JPH1042314 A JP H1042314A JP 19185396 A JP19185396 A JP 19185396A JP 19185396 A JP19185396 A JP 19185396A JP H1042314 A JPH1042314 A JP H1042314A
Authority
JP
Japan
Prior art keywords
image
parallax
imaging
input device
parallax image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19185396A
Other languages
English (en)
Other versions
JP3753201B2 (ja
Inventor
Shuji Ono
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP19185396A priority Critical patent/JP3753201B2/ja
Priority to DE69717733T priority patent/DE69717733T2/de
Priority to EP19970112471 priority patent/EP0821532B1/en
Priority to US08/898,659 priority patent/US6233003B1/en
Publication of JPH1042314A publication Critical patent/JPH1042314A/ja
Application granted granted Critical
Publication of JP3753201B2 publication Critical patent/JP3753201B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/225—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/211—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using temporal multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single two-dimensional [2D] image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two two-dimensional [2D] image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more two-dimensional [2D] image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

(57)【要約】 【課題】 視差画像入力装置において、簡便な構成で容
易に視差画像を得る。 【解決手段】 結像レンズ14は、光シャッター15によっ
て定められた瞳の開口を透過した画像情報のみを撮像体
16上に結像する。光シャッター15を駆動させてこの瞳の
開口位置を順次移動させてそれぞれの開口位置における
画像を得、撮像体16が、画像情報を画像データ列に変換
し、画像記録装置17によってその画像データ列を記録す
る。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、視差画像入力装
置、詳しくは、視差のある複数の画像を入力する新規な
装置に関するものである。
【０００２】
【従来の技術】視差画像を用いて、物体の奥行き方向の
情報を抽出・復元する手法は、画像処理研究の世界にお
いては「コンピュータビジョン」あるいは「画像理解」
と呼ばれる分野に属し、人工視覚機能実現のための重要
な技術の１つとして位置づけられている。
【０００３】視差画像入力のための装置として、人間の
両眼視を模倣してカメラを２台並べるものが数多く提案
されている（出口光一郎「コンピュータビジョン」丸善
p.83-88，尾上守夫「画像処理ハンドブック」昭晃堂
p.395-397）。またそのほかに３つ以上のカメラを配
置するものもいくつか提案されている（大森・森下「多
眼視ステレオ画像を用いた物体検出」SICE論文集,Vol.1
8,7,pp.716-722(昭57-07)，谷内田正彦「多重画像を用
いて３次元物体を認識」日経メカニカル,Vol.157,pp.82
-91(昭59-01)，伊藤・石井「３眼画像による立体視対応
点処理」情報処理学会第29回全国大会,2M-3(昭59-09)，
大田・池田「３眼ステレオについて」,ibid,2M-4）。こ
れらの方式は複眼ステレオ法と呼ばれる。
【０００４】しかし複数のカメラを使用するために、こ
れらの方式には、大きさ・コストなどが多大になるこ
と、各カメラそれぞれの向きやピントその他の調整も非
常に複雑になることなどの実用上の欠点があった。
【０００５】また別の視差画像入力のための装置とし
て、１台のカメラを順次移動しながら視差画像を獲得す
る方式も提案されている（山本「連続ステレオ画像から
の３次元情報の抽出」電子情報学会論文誌,Vol.J69-D,N
o11,1631，R. Navatia:"Depthmeasurement from motion
stereo",Comput. Graphics Image Process.,Vil.9,pp.
203-214(1976)，T. D. Williams:"Depth from camera m
otion in a real worldscene", IEEE Trans. Pattern A
nal. Mach. Intell., PAMI-2,pp.511-516(1980) ）。こ
の方式では、視差画像は時系列の連続画像として得られ
る。この方式はモーションステレオ法と呼ばれる。モー
ションステレオ法では、上記複眼方式よりもはるかに多
くの視点からの視差画像が得られる。これら多くの視差
画像が互いにわずかずつの視差しか持たないような高い
密度でサンプリングされたものを連続視差画像と呼ぶ。
この方式ではカメラは１台で済むので、上記複眼方式の
ような各カメラ間の調整・位置合わせなどの問題は回避
できる。
【０００６】
【発明が解決しようとする課題】しかし、カメラをあら
かじめ設定された位置に順次移動しなくてはならないの
で、その移動機構が非常に大がかりなものになる。一般
には、レールのような軌道を敷設したり、精密な移動ス
テージを設け、さらにカメラを移動するための駆動装置
が使われる。これもまた、非常に複雑な機構を必要とす
るので実用的とは言えないものであった。
【０００７】本発明は、上記事情に鑑みてなされたもの
であって、物体の奥行き方向の情報を抽出・復元し、奥
行き情報を持つ立体画像データを再構成するための、多
くの視点からの視差画像を得るための非常に簡便な視差
画像入力装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】本発明の視差画像入力装
置は、異なる視点からの複数の画像を獲得するための視
差画像入力装置であって、外界の映像を結像する画像結
像手段と、前記画像結像手段における異なる位置を通過
した画像情報を選択的に撮像し画像データ列に変換する
視差画像撮像手段と、前記撮像手段によって変換された
前記画像データ列を記録する画像記録手段とから構成さ
れることを特徴とするものである。
【０００９】前記画像結像手段が、光学像を結像する光
学レンズであってもよい。
【００１０】さらに、前記視差画像撮像手段が、前記光
学レンズの瞳面における光透過範囲を定める光量制御手
段と、前記光量制御手段の光透過範囲を前記光学レンズ
の瞳面に平行な方向へ移動させ、前記画像結合手段の特
定の位置を通過する画像情報だけを選択的に伝達する光
量制御手段の光透過範囲制御手段と、前記光量制御手段
によって伝達された前記画像情報を撮像し画像データ列
に変換する撮像手段とからなるものであってもよい。光
量制御手段とは、例えば光シャッターであり、その場合
の光量透過範囲制御手段とは、光シャッターの駆動回路
である。
【００１１】また、前記視差画像撮像手段が、前記画像
結像手段によって第一の像面上に結像された像の各部を
さらに各別に第二の像面上に結像する複数の結像素子か
らなる結像素子群と、前記第二の像面上に前記複数の結
像素子に対応して配された複数の微小領域を有する撮像
手段とからなり、該撮像手段の前記微小領域はそれぞれ
１つまたは複数の画素域を有し、結像された画像情報を
画像データ列に変換するものであることを特徴とするも
のであってもよい。なおこのとき、前記撮像手段が、複
数の撮像素子からなり、該各撮像素子がそれぞれ前記微
小領域に対応する撮像面を有するものとすることができ
る。
【００１２】また、前記結像素子群を、二次元方向に屈
折力を有するレンズアレイあるいは一次元方向にのみ屈
折率を有するシリンドリカルレンズアレイとしてもよ
い。
【００１３】前記撮像手段は、前記画像結像手段におけ
る異なる位置を通過した複数の画像情報を同時に撮像す
るものであっても、順次に撮像するものであってもよ
い。
【００１４】なお、前記撮像手段は、ＣＣＤ等の光電変
換撮像手段あるいは銀塩感光フイルム等の光化学反応撮
像手段であってもよい。
【００１５】
【発明の原理および作用】本発明の視差画像入力装置の
作用を説明する。
【００１６】まず、連続視差画像獲得の原理について説
明する。図１は単一の結像レンズ光学系によって、映像
を撮像体に結像させている様子を示している。図１で
は、結合レンズ14の開口すなわち光学的にいうところの
「瞳」は広く開かれている。このとき、撮像体16の上に
は３つの物体１，２，３の像1a, 2a, 3aがそれぞれ結像
される。しかし、撮像体16の上で焦点があうのは、撮像
体合焦面Ｄにある物体２の像2aだけである。
【００１７】物体１のレンズ14からの距離は撮像体合焦
面Ｄよりも遠いので、物体１の合焦像1dは撮像体16より
もレンズ14に近いところに形成される。その結果、撮像
体１６上の物体１の像１ａは拡散しつつある状態にあ
り、ぼけた像となる。
【００１８】一方、物体３のレンズ14からの距離は撮像
体合焦面Ｄよりも近いので、物体３の合焦像3dは撮像体
16よりもレンズ14から遠いところに形成される。その結
果、撮像体16上の物体３の像3aは収斂しつつある状態に
あり、これもまた、ぼけた像となる。
【００１９】図２も図１と同様に、レンズ光学系によっ
て映像を撮像体16に結像させている様子を示している。
図２の図１との違いは、レンズ14の瞳がレンズ瞳開口位
置制御手段（光シャッター）15によってレンズ14上方の
一部のみに制限されており、図１の瞳よりもずっと小さ
いことである。このとき、合焦面Ｄ上にある物体２の像
2aは、図１と同様に焦点の合ったものである。
【００２０】一方、焦点の合っていない物体１、物体３
の合焦像1d, 3dと撮像体16との位置ずれ量は図１のそれ
ぞれと変わらない。しかしこれらの像の、撮像体16の上
での像のぼけ量と位置は図１のそれらとは異なったもの
となる。物体１の像1bは撮像体16上で拡散しつつある状
態にあり、ぼけた像となるが、そのぼけ量は瞳が全開の
場合に比べはるかに少ない。さらに重要なことは、撮像
体16上の像1bが、瞳が全開の場合のぼけた像1aの下部に
位置していることである。これは、瞳位置がレンズ14の
上方にあり、かつ撮像体16位置よりも物体１の像1bの焦
点位置がレンズ14の近くにあるために必然的に生じる現
象である。また、物体３については逆の現象が生じる。
物体３の像3bは撮像体16上で収斂しつつある状態にあ
り、ぼけた像3bとなるが、やはりそのぼけ量は瞳が全開
の場合に比べはるかに少ない。さらに、撮像体16上の像
3bは、瞳が全開の場合のぼけた像3aの上部に位置してい
る。これは、瞳位置がレンズ14の上方にあり、かつ撮像
体16位置よりも物体３の像の焦点位置がレンズ14から遠
くにあるために生じる現象である。
【００２１】さらに、次に示す図３においては、レンズ
の瞳の大きさは同様に制限したままで、瞳の位置だけを
図２のレンズの上方にある状態から、レンズの下方に下
げている。このとき、撮像体16の上の３つの物体の像1
c, 2c, 3cのぼける量は図２のそれぞれと変わらない。
しかし、物体１、物体３の撮像体16上の像1c, 3cの位置
は、図２の場合とは逆になる。すなわち、物体１の像1c
は瞳が全開の場合のぼけた像1aの上部に位置し、物体３
の像3cは瞳が全開の場合のぼけた像3aの下部に位置す
る。この現象も、合焦点の位置と光路との関係から必然
的に生じるものである。
【００２２】これらの現象をまとめると、レンズ14の瞳
の開口の大きさを制限したままで、瞳の開口位置だけを
レンズ14の上方から下方に下げていくと、焦点位置と撮
像体位置が一致する物体２については、その像はなんら
変化することがないが、物体１、物体３の撮像体上の像
の位置はそれぞれ変化するということになる。しかも、
その位置変化の量と方向は、各物体１, ２, ３と焦点面
との位置関係によって決まってくるのである。
【００２３】ここで、撮像体16上に得られる画像という
観点からこの現象を考えてみる。すなわち、上記、図
１、図２ならびに図３の状態で撮像体16が受光する光の
パターン（＝受光像）について考える。
【００２４】まず、図１の瞳が広く開かれている状態で
は、受光像は図４（ａ）のようになる。この時、物体１
と物体３の像1a, 3aが強くぼけている。
【００２５】次に図２の状態、すなわち瞳が結像レンズ
14の上方で開いているときの受光像は図４（ｂ）のよう
になる。この時、物体１と物体３の像1b, 3bが少しぼ
け、その位置は瞳が広く開かれている時のぼけの範囲の
一方に偏っている。
【００２６】次に図３の状態、すなわち瞳が結像レンズ
14の下方で開いているときの受光像は図４（ｃ）のよう
になる。この時、物体１と物体３の像1c, 3cが少しぼ
け、その位置は瞳が広く開かれている時のぼけの範囲の
一方に偏っている。しかも、偏りの方向は瞳が結像レン
ズ14の上方で開いているときとは逆の方向になる。
【００２７】ここで、これらの受光像がどのようにして
得られているかを定性的に考えてみる。
【００２８】図４（ｂ）の状態、すなわち瞳が結像レン
ズの上方に開いているときの受光像は、レンズの上方の
瞳を通過してくる光だけから作られている。すなわち、
この受光像はレンズ上方の瞳の位置から３つの物体を眺
めたときに得られる像にほぼ等しい。
【００２９】一方、図４（ｃ）の状態、すなわち瞳が結
像レンズの下方に開いているときの受光像は、レンズの
下方の瞳を通過してくる光だけから作られている。すな
わち、この受光像はレンズ下方の瞳の位置から３つの物
体を眺めたときに得られる像にほぼ等しい。この考え方
を概念的に示したのが図５である。
【００３０】また、図４（ａ）の状態、すなわち瞳が結
像レンズ全体にわたって開いているときの受光像は、レ
ンズのあらゆる部分を通過してくる光から作られてい
る。すなわち、この受光像はレンズのあらゆる位置から
３つの物体を眺めたときに得られる像を総て重ね合わせ
たものと考えることができる。
【００３１】以上のように、レンズの瞳の大きさを制限
し、その瞳を移動させながら撮影すれば、撮像体上の像
はそのときどきの瞳の位置から３つの物体を眺めたとき
に得られる像にほぼ等しい。したがって、これらの画像
ははわずかずつ異なる視差を持つことになる。すなわ
ち、これらの受光像群は物体の奥行き方向の情報を抽出
・復元するのにきわめて有用な情報を持つ多数の視差画
像（＝連続視差画像）にほかならない。これが本発明の
視差画像入力装置の動作原理である。
【００３２】この原理によって得られた連続視差画像で
は、焦点面にある物体２の像の位置が変化しないという
特徴がある。この特徴があると、少ないサンプル画像数
であっても連続視差画像間で物体像の移動に飛びが生じ
ないので、簡便な奥行き計算アルゴリズムを利用するこ
とができる。これと同様の効果を前述のモーションステ
レオ法で得ようとすると、非常に高精度で複雑なカメラ
光軸制御が必要になるが、本発明の視差画像入力装置で
は、原理的に焦点面にある目標物体の像位置の変化がほ
とんどないために、非常に簡単かつ自然にこの特徴を得
ることができる。
【００３３】以下、本発明の簡便さを明確にするため
に、モーションステレオ法でこの特徴を得るために必要
な構成について説明する。
【００３４】モーションステレオ法では、撮影カメラを
移動させながら視差画像の撮影を行う。その際のカメラ
の光軸の制御方法には、図６、図７に示すように大きく
分けて２種類の方法がある。１つはカメラ12の光軸を平
行移動させる方式（図６（ａ））、もう１つはカメラ12
の光軸が常にある地点を向くように制御する方式（図７
（ａ））である。（なお、前者の制御法も、カメラの光
軸が「常に無限遠点を向くように制御している」と解釈
することもできる。） カメラの光軸を平行移動させる方式の利点は、制御の簡
便さである。しかし、この系で得られる像を示す図６
（ｂ）から明らかであるように、平行移動方式（図６
（ａ））ではカメラ12のある移動量に対して、近くにあ
る物体ほど大きな視差が生じてしまう。ところが、連続
視差画像のメリットは、視差画像間において視差による
物体像の移動に飛びが生じないということであり、これ
が奥行き情報復元のアルゴリズムを簡便なものにするた
めに重要な条件である。したがって、この条件を維持す
る、すなわち近い物体に対しても視差画像間の連続性を
確保するためには、十分に高密度のサンプリングをしな
くてはならない。その一方で、遠くの物体に対しては十
分な視差が得られるだけの移動量を稼がねばならないた
め、結局、高密度かつ大きな移動量が必要になり、非常
に多くの画像サンプリングを行わなくてはならない。こ
れでは、画像データも計算量も膨大なものになってしま
う。このようにカメラ12の光軸を平行移動させるタイプ
のモーションステレオ法には、膨大なサンプリング密度
（画像枚数）が必要という欠点がある。
【００３５】これに対し、対象とする物体の周辺で必要
最低限の連続視差画像を得るだけで済む手段が、前述の
モーションステレオ法の後者の光軸回転方式（図７
（ａ））である。この方式は、カメラ12の光軸が常にあ
る所定の地点を向くようにカメラ12の向きを制御しなが
らカメラ12を移動するので、カメラ12の移動制御機構が
大がかりになるという欠点がある。しかし、この系で得
られる像を示す図７（ｂ）からもわかるように、得られ
る視差画像では、カメラの光軸回転の中心点にある物体
２の像2aはほとんど動かず、その前後に存在する物体
１,３の像1a，3aにのみ変化が現れる。この特徴によっ
て、カメラを移動していった際に、対象とする物体周辺
像の視差による移動に連続性を保つことが容易になる。
【００３６】さらに光軸回転方式では、カメラの光軸回
転の中心点の前にある物体と後ろにある物体とでは視差
発生の方向が逆になる。具体的には、画像上での移動
は、手前にある物体ではカメラ移動方向と逆相に、遠方
にある物体ではカメラ移動方向と同相になる。したがっ
て画像上での移動が同相か逆相かを検出するだけで、あ
る物体が光軸回転の中心点の手前にいるか奥側にいるか
を直ちに知ることができる。
【００３７】以上のように、カメラの光軸が常にある地
点を向くようにカメラの向きを制御しながらカメラを移
動するタイプのモーションステレオ法には、光軸固定式
に対して、後段の画像処理に適した連続視差画像を得や
すいという利点がある。しかし、上述したようにカメラ
の光軸の向きを制御しながらカメラを移動する機構が大
がかりになるという欠点があり、実用的ではない。
【００３８】また、連続視差画像入力のための装置とし
て、より一般的な複眼ステレオ法で多数のカメラを用い
る方法もあり得ないことではないが、図８のように、何
台ものカメラ12’をその光軸が常にある地点（ここでは
物体２の位置）を向くようにして設置することは非常に
困難で実用的ではない。さらに、注目する地点を任意に
設定・変更し、必要に応じて方向制御することなどはほ
とんど不可能に近い。
【００３９】２つの眼球を持つ人間においては、両眼の
それぞれが同じ対象を視野の中心にとらえるように制御
する機構（輻輳と呼ばれる（鶴田「光の鉛筆」新技術コ
ミュニケーションズ pp.31-33，大頭仁「２眼式立体視
技術と視覚機能」精密工学会誌,Vol.54,5-11,1988））
が存在する。すなわち人間は、注目しようとする物体に
意識を向けるだけで、自然に物体に焦点を合わせ、また
両目の光軸を注目物体に向けることが出来る。その結
果、視差画像上で注目物体が静止し、しかもその像にピ
ントが合っている、という立体視にとって理想的な入力
視差画像を獲得している。これは脳内で奥行き情報を抽
出処理する際に、大きな助けになっていると推察され
る。
【００４０】人間は、この制御を特別な訓練をすること
なく身につけ、いともたやすく実現しているが、それは
生物の進化や遺伝、そして学習などの高度なメカニズム
の働きに依存するところが大きい。これと同等の制御を
実現することは、非常に難易度の高いものであり、実用
的な理論やメカニズムは未だに開発されていない。
【００４１】
【発明の効果】本発明の視差画像入力装置で得られる連
続視差画像は、画像結像手段における異なる位置に通過
した画像情報を選択的に撮像し画像データに変換する視
差画像撮像手段を備えるので、カメラの光軸が常にある
地点を向くようにカメラの向きを制御しながらカメラを
移動する上述の方式のモーションステレオ法で得られる
画像と同じ特徴を持っている。それは、(1) 対象とする
物体の周辺にある物はほとんど動かず、その前後に存在
する物体にのみ変化が現れること、(2) 視差発生の方向
は、カメラの光軸回転の中心点の前にある物体と後ろに
ある物体とでは逆になること、の２点である。この結
果、光軸回転方式のモーションステレオ法と同様に十分
な視差画像間の連続性を確保しながらも、実用的なサン
プリング密度（画像枚数）の連続視差画像を得ることが
できる。
【００４２】さらに、本発明の視差画像入力装置が光軸
回転方式のモーションステレオ法よりも優れている点と
して、画像結像手段として結像レンズを用いた場合、結
像レンズの焦点面にある物体が撮像面上で自動的に静止
するという特徴があげられる。この特徴のおかげで、モ
ーションステレオ法のように大がかりな方向制御機構は
いっさい必要ない。しかも、結像レンズの焦点面にある
物体を中心にした連続視差画像を得るので、光学的結像
原理からも、もっとも良好な合焦画像を得ることができ
る。
【００４３】本発明の視差画像入力装置は、２つの眼球
の運動を巧妙に制御する人間の光軸制御方式とは全く異
なる原理ではある。しかし、注目しようとする物体に焦
点を合わせるだけで、自然にその物体が視差画像上で静
止するという点で、達成されている効果は人間の優れた
視覚機能によって得られるものと同等である。この効果
は、立体視のための入力視差画像としては理想的なもの
であり、その後段で行われる奥行き情報の抽出処理にと
って、大きな助けになることは疑いようがない。
【００４４】さらに、本発明の視差画像装置では、単一
の画像結像手段および単一の撮像手段を用いて連続視差
画像を得ることができるため、従来のように複数の撮影
カメラを用いたり、撮影カメラを移動させるという必要
がなく、従来の視差画像撮影の手法に比べはるかに簡便
な構成で実用的なものである。
【００４５】
【発明の実施の形態】まず、本発明の視差画像入力装置
の構成について述べる。
【００４６】図９は、本発明の視差画像入力装置の基本
構成を機能の面からまとめたものである。本発明の視差
画像入力装置10は、外界の映像を結像する画像結像手段
４と、該画像結像手段４における画像の入力位置を制御
して、この画像結合手段４によって結合された画像を撮
像し画像データ列に変換する視差画像撮像手段５と、該
視差画像撮像手段５によって変換された画像データ列を
記録する画像記録手段７と、視差画像撮像手段５と画像
記録手段７それぞれの動作を全体として制御する全体制
御手段８とから構成される。
【００４７】以下、本発明の視差画像入力装置の具体的
な実施の形態を説明する。
【００４８】＜第一の実施の形態＞図１０に第一の実施
の形態に係る視差画像入力装置10を示す。本視差画像入
力装置10は、外界の映像を結像する結像レンズ14、該結
像レンズ14の瞳面の近傍に置かれ開口位置の制御ができ
る光シャッター15、結像レンズ14および光シャッター15
によって獲得された画像情報を撮像し画像データ列に変
換する撮像体（CCDなど）16、該撮像体16によって変換
された画像データ列を記録する画像記録装置17およびそ
れらを連携させて制御する全体制御装置18から構成され
る。
【００４９】図９に示した本発明の視差画像入力装置の
基本構成と、図１０に示した第１の実施の形態の構成要
素との対応はそれぞれ、「画像結像手段４」は「結像レ
ンズ14」、「視差画像撮像手段５」は「光シャッター1
5」および「撮像体（CCD など）16」、「画像記録手段
７」は「画像記録装置17」、「全体制御手段８」は「全
体制御装置18」である。
【００５０】結像レンズ14の焦点は対象とする物体１,
２, ３のうち、もっとも中心的なもの（ここでは物体
２）に合致するように調整される(Ａは焦点面であ
る）。連続視差画像の獲得動作は、光シャッター15の開
口位置をわずかずつ変化（走査）させながら、撮像体16
によって像を獲得し、そのデータを順次画像記録装置17
に記録することで達成される。開口位置を15a から15b
へと矢印方向へ変化させるとき、撮像体16に結像される
物体１，３の像はそれぞれ1aから1b、3aから3bへと変化
する（物体２の像2aは移動しない）。開口の走査は、１
次元方向のみに走査しても良いし、２次元方向に走査し
ても良い。さらに、記録された画像とそのときの開口位
置の関係が明らかになるようなシステム構成とすれば、
走査パターンは任意でよい。
【００５１】＜第二の実施の形態＞本発明による視差画
像入力装置の第２の実施の形態を図１１に示す。
【００５２】第２の実施の形態による視差画像入力装置
10’は、外界の映像を結像する結像レンズ14、該結像レ
ンズ14における画像の入力位置を制御するマイクロレン
ズアレイ25、結像レンズ14ならびにマイクロレンズアレ
イ25によって獲得された画像情報を撮像し画像データ列
に変換する撮像体（CCD など）26、撮像体26によって変
換された画像データ列を記録する画像記録装置27および
撮像体26と画像記録装置17とのそれぞれの動作を全体と
して制御する全体制御装置18から構成される。
【００５３】図９に示した本発明の視差画像入力装置の
基本構成と、第二の実施の形態の構成要素との対応はそ
れぞれ、「画像結像手段４」は「結像レンズ14」、「視
差画像撮像手段５」は、「マイクロレンズアレイ25」お
よび「撮像体（CCD など）26」、「画像記録手段７」は
「画像記録装置17」、「全体制御手段８」は「全体制
御装置18」である。
【００５４】結像レンズの焦点は対象とする物体のう
ち、もっとも中心的なものの合焦像がマイクロレンズア
レイの上にくるように調整される。すなわち、図１１に
示すように物体２をもっとも中心的な物体と見なしてい
る場合、物体２は結像レンズ14左方の結像レンズ焦点面
Ａ上に存在し、物体２の合焦像2dは結像レンズ14右方の
結像レンズ焦点面Ａ’上に得られるとき、マイクロレン
ズアレイ25は結像レンズ焦点面Ａ’上に設置される。さ
らに、マイクロレンズアレイ25の焦点位置との関係にお
いては、結像レンズ14の瞳位置がマイクロレンズ25左方
のマイクロレンズ焦点面Ｂに一致し、一方、マイクロレ
ンズ25右方のマイクロレンズ焦点面Ｂ’上に撮像体26が
くるように設定される。
【００５５】なお、撮像体26はマイクロレンズアレイ25
の個々のレンズと１対１に対応するような微小領域のア
レイとして扱う。
【００５６】このとき得られる視差画像の画素数は、マ
イクロレンズアレイ25の素子数ならびに撮像体26の微小
領域の数に一致する。
【００５７】次に、第２の実施の形態の作用を説明す
る。本視差画像入力装置10’の連続視差画像の獲得動作
は、マイクロレンズアレイ25による結像レンズ14瞳像の
空間分離機能によって達成される。結像レンズ14とマイ
クロレンズアレイ25が上述の位置の関係２ある場合、マ
イクロレンズアレイ25中のある１つのマイクロレンズ25
a （図中、下から４番目のレンズ）に到達する光は、図
１２に網掛け領域として示す結像レンズ14の瞳面と結像
レンズ焦点面Ａ上のマイクロレンズ25の実像との間に張
られる円錐台形の空間内に存在する光点（点光源）から
のものだけである。
【００５８】まず、結像レンズ焦点面Ａ上のマイクロレ
ンズの実像25a'位置に点光源31がある場合を考える。こ
こでは図中下から４番目のマイクロレンズ25a を例とす
る。この場合図１３のように、点光源31からの光は広が
りながら結像レンズ14の瞳面に入射し、該レンズ14の作
用によって光路が曲げられ、マイクロレンズ25a に向か
って集まる。結像レンズ焦点面Ａと結像レンズ焦点面
Ａ’は合焦関係にあるので、ちょうど下から４番目のマ
イクロレンズ25a の位置で点光源像は結像する。すなわ
ち、レンズ14のあらゆる場所を通過した光が下から４番
目のマイクロレンズ25a に到達する。従って、もし下か
ら４番目のマイクロレンズ25a の位置から結像レンズ14
を覗いたとすると、図１４（ａ）に示すように点光源31
が結像レンズ14の瞳面一杯に広がっている様子を見るこ
とができる。一方、その他のマイクロレンズにはこの点
光源31からの光は一切入射しない。従って、その他のマ
イクロレンズの位置から結像レンズ14を覗いた場合に
は、図１４（ｂ）に示すように瞳面内に光は見えずそれ
らに対応する各撮像体上には真っ暗な像しか得られな
い。
【００５９】次に、点光源31が結像レンズ焦点面Ａ上の
マイクロレンズの実像位置に無い場合を考える（図１
５，１６）。この場合、マイクロレンズ25の各レンズに
入射することができるのは、点光源31から出た光のう
ち、その光路が結像レンズ焦点面Ａ上のマイクロレンズ
の各レンズの実像の範囲を通過する成分だけである。例
えば、図１５はマイクロレンズ25b へ到達することがで
きる点光源31からの放射光成分を太い斜線の領域で示し
ている。このとき、結像レンズ焦点面Ａ’上のマイクロ
レンズ25b の位置から瞳面を観察すると、図１７（ｂ）
のように瞳面の上部にのみ「ぼけた」点光源像31b が見
える。
【００６０】また、マイクロレンズ25a からは、図１７
（ａ）のようにより中央よりに「ぼけた」点光源像31a
を見ることができる。しかし、マイクロレンズ25c の場
合は図１６のように、点光源31が、マイクロレンズ25c
にその光が到達可能な円錐台形領域の外にあるため、点
光源31から出た光のうち、その光路がマイクロレンズア
レイ25c の像を通過する成分（太い斜線で示す領域）は
結像レンズ14の瞳の外に向かってしまう。そのために、
レンズ14を透過することはできず、マイクロレンズ25c
の位置から結像レンズ14を覗いたとしても、図１７
（ｃ）のように瞳面内に光は見えずマイクロレンズ25c
に対応する撮像体上には真っ暗な像しか得られない。
【００６１】さてここで、レンズアレイ25の個々のマイ
クロレンズによって撮像体26上に形成される像がどんな
情報を持っているのかを考えてみる（図１８）。撮像体
26上に形成される像は、結像レンズ14の瞳面の像であ
る。従って、その像の各画素位置に到達可能な光の光路
は、幾何光学の原理にのっとり、自然と決まる。例え
ば、図１８に示すように結像レンズ14にとって光の入射
側すなわち結像レンズ14左方の空間に存在する光の出射
点のうち、ある撮像微小領域の下方のある画素へ到達す
ることが可能なのは、図中結像レンズ14左方の網掛け領
域に存在するものに限定される。しかもさらに重要なこ
とは、その出射光成分のうち、実際にその画素に到達し
うるのは、網掛け領域を伝播してくる成分のみだという
ことである。
【００６２】したがって、例えば、レンズアレイの個々
のレンズによって撮像体上に形成される像の中央部の画
素は結像レンズの中央部を透過してきた光の成分から構
成される画素であり、また、撮像体上の像の周辺部の画
素は結像レンズの周辺部を透過してきた成分から構成さ
れる画素である。このように、レンズアレイにより形成
される個々の画像とは、各マイクロレンズへと集まって
くる光信号を、結像レンズ瞳面の透過位置に応じて空間
的に分離したものにほかならない。
【００６３】すなわち、マイクロレンズによって撮像体
上に形成される瞳面の像群から、特定位置のデータだけ
をサンプリングし像として再構成すれば、レンズ瞳面の
透過位置ごとの信号だけからなる像を得ることが可能で
ある。
【００６４】例えば、各マイクロレンズによる像群の各
中央部のデータだけを拾い集めて１枚の画像を構成すれ
ば、それは結像レンズの瞳面の中央を透過した光だけか
ら造られる像である。また、各マイクロレンズによる像
群の下部のデータだけを拾い集めて１枚の画像を構成す
れば、それは結像レンズの瞳面の下部を透過した光だけ
から造られる像である。このように、マイクロレンズと
その微小像の特定位置データのみをサンプリングし、像
として再構成することができる。
【００６５】例えば、図１９は各マイクロレンズ25によ
る像群14’の下端部のデータを構成する光源点の存在領
域を示している。各マイクロレンズ25による像群14' の
下端部のデータは、結像レンズ14の瞳面の上端部を透過
した光だけによるものである。さらにその先の光路をた
どれば、結像レンズ14上端部に視点を置き、結像レンズ
14による各マイクロレンズ25の各像25’を透過してくる
外界各方向からの光信号成分を受け取っていることが理
解できよう。したがって、それらを順番に並べて得られ
るデータの分布は、結像レンズ上端部に視点を置いた時
に得られる外界の光強度分布すなわち「画像」に等価で
あるといえる。
【００６６】さて、ここまでの議論で、撮像体上の各像
内の同じ位置のデータをサンプリングし再構成された画
像のおのおのは、サンプリング位置に対応する結像レン
ズ上の各位置に視点を置いた時に得られる外界の「画
像」に等価であることがわかった。すなわち、異なるサ
ンプリング位置成分から構成された各画像は、互いに視
差を持つということになる。撮像体上の各像について十
分な密度でサンプリングを施し、それらを用いて像を再
構成すれば、各画像間の視差はわずかずつ変化したもの
になる。すなわち、「連続的な視差画像」を得ることが
できる。
【００６７】しかも、本視差画像入力装置においては、
上述してきたように、各視点位置画像を構成するのに必
要なデータは空間的に独立であるので、各画像のための
サンプリング手段として、図２０のように複数の信号経
路を持つ信号分配手段40を用いることができ、その場
合、複数枚の画像を同時に獲得することができる。
【００６８】複数の視差画像を並列すなわち同時に撮影
できる能力の特長は、画像獲得に要する時間を短縮する
ことができるだけでなく、各視差画像間のサンプリング
時刻のずれが生じないので高速に移動する対象物に対し
てもぶれが生じない、また走査機構がいらないので構成
が簡単になる、などのメリットを生み出している。ただ
し本第二の実施の形態では、結像レンズ像面を再度マイ
クロレンズアレイによって分割するので空間分解能の面
では、第一の実施の形態のような全像情報を１枚の視差
画像に取り込む方式に比較して劣る。
【００６９】なお、撮像体上の各像のサンプリング方法
としては、上述した複数枚の画像を同時に獲得する方法
のほかに、受光素子26の移動（図２１）や光シャッター
15’の移動（図２２）等によって、ある瞳位置を透過し
た成分だけをサンプリングしながら順次視差画像を得る
方法も可能である。
【００７０】また、マイクロレンズアレイやピンホール
アレイは、１次元方向に並んで分布する１次元アレイ状
のものであってもよいし、２次元方向に並んで分布する
２次元アレイ状のものであってもよい。なお、「画像情
報入力位置制御手段」が１次元アレイ状のものである場
合には、シリンドリカルレンズアレイのように１次元方
向のみにレンズパワーを持つものであってもよいし、球
面レンズアレイのように２次元方向にレンズパワーを持
つものであってもよい。
【００７１】さらに、第一および第二の実施の形態にお
ける撮像手段はＣＣＤのような光電変換撮像手段のほか
にも、銀塩感光フイルムのような光化学反応撮像手段で
あってもよい。
【図面の簡単な説明】
【図１】瞳を全開にした場合における単一の結像レンズ
光学系での結像状態を示す図
【図２】瞳を小さくした場合（上部の一部のみを通過）
における単一の結像レンズ光学系での結像状態を示す図
【図３】瞳位置を変化させた場合（下部の一部のみを通
過）の光路図と図２の状態からの変化を示す図
【図４】瞳が広く開かれている状態（ａ）、瞳が結像レ
ンズの上方で開いている状態（ｂ）、瞳が結像レンズの
下方で開いている状態（ｃ）における受光像を示す図
【図５】レンズの瞳の大きさを制限し、その開口位置を
移動させて撮像する効果の概念図
【図６】モーションステレオ撮影法（平行移動）
（ａ），（ａ）の系で得られる像（ｂ）を示す図
【図７】モーションステレオ撮影法（光軸回転）
（ａ），（ａ）の系で得られる像（ｂ）を示す図
【図８】複眼ステレオ法〜光軸が常にある地点を向くよ
うにカメラを設置した状態図
【図９】視差画像入力装置の機能構成図
【図１０】本発明の第１実施の形態に係る視差画像入力
装置の概略構成図
【図１１】本発明の第２実施の形態に係る視差画像入力
装置の概略構成図
【図１２】結像レンズの瞳面とマイクロレンズの像の間
に張られる円錐台形の空間を示す図
【図１３】焦点面上の実像位置ぴったりに点光源がある
場合、点光源からの光は下から４番目のマイクロレンズ
の位置で結像する様子を示す図
【図１４】図１３に示す下から４番目のマイクロレンズ
25a の位置から結像レンズを覗いた場合の点光源が結像
レンズの瞳面一杯に広がっている様子（ａ）、およびそ
の他のマイクロレンズから結像レンズを覗いた場合の瞳
面内に光が見えない様子（ｂ）を示す図
【図１５】マイクロレンズＢへ到達できる点光源の放射
光成分を示す図
【図１６】光路がマイクロレンズアレイＣの像を通過す
る点光源からの成分は結像レンズの瞳の外に向かう
【図１７】マイクロレンズＡ、Ｂ、Ｃそれぞれから点光
源を見たときの図
【図１８】撮像微小領域のある画素へ到達可能な光の出
射点の存在範囲を示す図
【図１９】各マイクロレンズによる像群の下端部のデー
タを構成する光源点の存在領域を示す図
【図２０】第二の実施の形態におけるサンプリング方法
の一形態である信号分配手段を用いたサンプリングを説
明する図
【図２１】第二の実施の形態におけるサンプリング方法
の一形態である受光素子の移動によるサンプリングを説
明する図
【図２２】第二の実施の形態におけるサンプリング方法
の一形態である光シャッターによるサンプリングを説明
する図
【符号の説明】
１，２，３ 物体 ４ 画像結像手段 ５ 視差画像撮像手段 ７ 画像記録手段 ８ 全体制御手段 10，10’ 視差画像入力装置 12 撮影カメラ 14 結像レンズ 15 光シャッター 16 撮像体 17 画像記録装置 18 全体制御装置 25 レンズアレイ 26 微小領域を有する撮像体 31 点光源

Claims (11)

    【特許請求の範囲】
  1. 【請求項１】 異なる視点からの複数の画像を獲得する
    ための視差画像入力装置であって、 外界の映像を結像する画像結像手段と、 前記画像結像手段における異なる位置を通過した画像情
    報を選択的に撮像し画像データ列に変換する視差画像撮
    像手段と、 前記撮像手段によって変換された前記画像データ列を記
    録する画像記録手段とから構成されることを特徴とする
    視差画像入力装置。
  2. 【請求項２】 前記画像結像手段が、光学像を結像する
    光学レンズであることを特徴とする請求項１記載の視差
    画像入力装置。
  3. 【請求項３】 前記視差画像撮像手段が、前記光学レン
    ズの瞳面における光透過範囲を定める光量制御手段と、 前記光量制御手段の光透過範囲を前記光学レンズの瞳面
    に平行な方向へ移動させ、前記画像結合手段の特定の位
    置を通過する画像情報だけを選択的に伝達する光量制御
    手段の光透過範囲制御手段と、 前記光量制御手段によって伝達された前記画像情報を撮
    像し画像データ列に変換する撮像手段とからなることを
    特徴とする請求項２記載の視差画像入力装置。
  4. 【請求項４】 前記視差画像撮像手段が、前記画像結像
    手段によって第一の像面上に結像された像の各部をさら
    に各別に第二の像面上に結像する複数の結像素子からな
    る結像素子群と、 前記第二の像面上に前記複数の結像素子に対応して配さ
    れた複数の微小領域を有する撮像手段とからなり、 該撮像手段の前記微小領域はそれぞれ１つまたは複数の
    画素域を有し、結像された画像情報を画像データ列に変
    換するものであることを特徴とする請求項１または２記
    載の視差画像入力装置。
  5. 【請求項５】 前記撮像手段が、複数の撮像素子からな
    り、該各撮像素子がそれぞれ前記微小領域に対応する撮
    像面を有することを特徴とする請求項４記載の視差画像
    入力装置。
  6. 【請求項６】 前記結像素子群が、二次元方向に屈折力
    を有するレンズアレイであることを特徴とする請求項４
    または５いずれか記載の視差画像入力装置。
  7. 【請求項７】 前記結像素子群が、一次元方向にのみ屈
    折力を有するシリンドリカルレンズアレイであることを
    特徴とする請求項４または５いずれか記載の視差画像入
    力装置。
  8. 【請求項８】 前記撮像手段が、前記画像結像手段にお
    ける異なる位置を通過した複数の画像情報を同時に撮像
    することを特徴とする請求項４から７いずれか記載の視
    差画像入力装置。
  9. 【請求項９】 前記撮像手段が、前記画像結像手段にお
    ける異なる位置を通過した複数の画像情報を順次に撮像
    することを特徴とする請求項３から７いずれか記載の視
    差画像入力装置。
  10. 【請求項１０】 前記撮像手段が、光電変換撮像手段で
    あることを特徴とする請求項３から９いずれか記載の視
    差画像入力装置。
  11. 【請求項１１】 前記撮像手段が、光化学反応撮像手段
    であることを特徴とする請求項３から９いずれか記載の
    視差画像入力装置。
JP19185396A 1996-07-22 1996-07-22 視差画像入力装置 Expired - Lifetime JP3753201B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP19185396A JP3753201B2 (ja) 1996-07-22 1996-07-22 視差画像入力装置
DE69717733T DE69717733T2 (de) 1996-07-22 1997-07-21 Kamera für dreidimensionale Bildaufnahme
EP19970112471 EP0821532B1 (en) 1996-07-22 1997-07-21 Three-dimensional imaging apparatus
US08/898,659 US6233003B1 (en) 1996-07-22 1997-07-22 Parallax image input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19185396A JP3753201B2 (ja) 1996-07-22 1996-07-22 視差画像入力装置

Publications (2)

Publication Number Publication Date
JPH1042314A true JPH1042314A (ja) 1998-02-13
JP3753201B2 JP3753201B2 (ja) 2006-03-08

Family

ID=16281604

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19185396A Expired - Lifetime JP3753201B2 (ja) 1996-07-22 1996-07-22 視差画像入力装置

Country Status (4)

Country Link
US (1) US6233003B1 (ja)
EP (1) EP0821532B1 (ja)
JP (1) JP3753201B2 (ja)
DE (1) DE69717733T2 (ja)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
US6977674B2 (en) 2001-05-21 2005-12-20 Pentax Corporation Stereo-image capturing device
JP2009288042A (ja) * 2008-05-29 2009-12-10 Nikon Corp 距離測定装置
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
JP2011511532A (ja) * 2008-01-29 2011-04-07 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
JP2011095027A (ja) * 2009-10-28 2011-05-12 Kyocera Corp 撮像装置
JP2011182041A (ja) * 2010-02-26 2011-09-15 Nippon Hoso Kyokai <Nhk> 撮像装置
WO2012002297A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
WO2012002298A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
WO2012002307A1 (ja) 2010-06-29 2012-01-05 富士フイルム株式会社 単眼立体撮像装置
WO2012002071A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置、画像処理装置および画像処理方法
WO2012108099A1 (ja) * 2011-02-09 2012-08-16 富士フイルム株式会社 撮像装置および撮像方法
WO2012132123A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 立体撮像装置および立体撮像方法
JP2012215785A (ja) * 2011-04-01 2012-11-08 Canon Inc 固体撮像素子及び撮像装置
WO2013027513A1 (ja) 2011-08-19 2013-02-28 富士フイルム株式会社 撮像装置及びシェーディング補正方法
JP2013150362A (ja) * 2010-06-29 2013-08-01 Fujifilm Corp 単眼立体撮像装置及びその制御方法
JP2013167746A (ja) * 2012-02-15 2013-08-29 Nikon Corp 撮像装置
US8593509B2 (en) 2010-03-24 2013-11-26 Fujifilm Corporation Three-dimensional imaging device and viewpoint image restoration method
US8743185B2 (en) 2010-11-04 2014-06-03 Panasonic Corporation Stereoscopic imaging optical system, imaging device, and camera
CN104954645A (zh) * 2014-03-24 2015-09-30 佳能株式会社 摄像元件、摄像设备和图像处理方法
JP2015215264A (ja) * 2014-05-12 2015-12-03 日本電信電話株式会社 位置関係検出装置及び位置関係検出方法
JP2020085968A (ja) * 2018-11-16 2020-06-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535249B1 (en) * 1998-11-03 2003-03-18 Hewlett-Packard Development Company, L.P. Digital camera optical system with field lens
US6850210B1 (en) * 1998-11-12 2005-02-01 Stereographics Corporation Parallax panoramagram having improved depth and sharpness
EP1083755A3 (en) * 1999-09-07 2003-11-12 Canon Kabushiki Kaisha Image input apparatus and image display apparatus
JP4534337B2 (ja) * 2000-10-19 2010-09-01 ソニー株式会社 撮影装置及び撮影方法、並びに、画像生成装置及び画像生成方法
US7001019B2 (en) * 2000-10-26 2006-02-21 Canon Kabushiki Kaisha Image observation apparatus and system
US7265775B2 (en) * 2002-03-28 2007-09-04 Kabushiki Kaisha Toshiba Three-dimensional display apparatus
GB0322681D0 (en) 2003-09-27 2003-10-29 Koninkl Philips Electronics Nv Multi-view display
US7671916B2 (en) * 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
WO2006039486A2 (en) * 2004-10-01 2006-04-13 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
US8358354B2 (en) 2009-01-26 2013-01-22 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical abberations
FR2924235B1 (fr) * 2007-11-27 2010-08-20 Commissariat Energie Atomique Dispositif d'imagerie visible a filtre colore
US8242427B2 (en) * 2008-08-12 2012-08-14 Digital Fusion, Inc. System and method for optically co-registering pixels
KR101692397B1 (ko) * 2010-05-28 2017-01-03 삼성전자주식회사 광량 조절장치, 촬영장치 및 촬영방법
WO2012043211A1 (ja) 2010-10-01 2012-04-05 富士フイルム株式会社 撮像装置
EP2624541B1 (en) 2010-10-01 2016-11-30 FUJIFILM Corporation Imaging device
EP3267677B1 (en) * 2011-08-24 2019-08-28 Fujifilm Corporation Imaging device
JP5611469B2 (ja) * 2011-09-09 2014-10-22 富士フイルム株式会社 立体撮像装置および方法
JP6042096B2 (ja) * 2012-05-09 2016-12-14 東芝メディカルシステムズ株式会社 Ｘ線撮影装置及び医用画像処理装置
JP6253380B2 (ja) * 2013-12-11 2017-12-27 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
KR102198852B1 (ko) * 2014-03-24 2021-01-05 삼성전자 주식회사 홍채 인식 장치 및 이를 포함하는 모바일 장치
US11453513B2 (en) * 2018-04-26 2022-09-27 Skydio, Inc. Autonomous aerial vehicle hardware configuration
MX2024004577A (es) * 2021-10-15 2024-07-10 Real Time Robotics Inc Un multicoptero.
US12030399B2 (en) 2022-04-27 2024-07-09 Skydio, Inc. Base stations for unmanned aerial vehicles (UAVs)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3677317A (en) * 1970-11-12 1972-07-18 Enger Kress Co Ladies clutch bag with coin purse
US4677468A (en) * 1984-08-13 1987-06-30 Nec Home Electronics Ltd. Stereoscopic television image-pickup device display device
SE461619B (sv) * 1988-07-06 1990-03-05 Hasselblad Ab Victor Anordning vid kameror utgoerande en sammansaettning av en fotokemisk och en elektronisk kamera
JPH06500445A (ja) * 1991-06-12 1994-01-13 リー、スン ３次元イメージの記録および再生
ES2165644T3 (es) * 1993-05-05 2002-03-16 Pierre Allio Dispositivo de video autoestereoscopico.
US5475513A (en) * 1993-06-02 1995-12-12 Sharp Kabushiki Kaisha Projection type image display device maintaining resolution of an image unaffected by parallax
GB2282505A (en) * 1993-09-23 1995-04-05 Sharp Kk Three dimensional imaging apparatus
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
JPH0822091A (ja) * 1994-07-05 1996-01-23 Canon Inc 立体画像記録方法および装置ならびに立体画像形成体
US5717453A (en) * 1995-06-07 1998-02-10 Meso Scale Technology, Inc. Three dimensional imaging system

Cited By (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003523646A (ja) * 1999-02-25 2003-08-05 ヴィジョンセンス リミテッド 光学装置
US6977674B2 (en) 2001-05-21 2005-12-20 Pentax Corporation Stereo-image capturing device
JP2011511532A (ja) * 2008-01-29 2011-04-07 トムソン ライセンシング ２ｄ画像データを立体画像データに変換する方法およびシステム
US9137518B2 (en) 2008-01-29 2015-09-15 Thomson Licensing Method and system for converting 2D image data to stereoscopic image data
JP2009290268A (ja) * 2008-05-27 2009-12-10 Sony Corp 撮像装置
JP2009288042A (ja) * 2008-05-29 2009-12-10 Nikon Corp 距離測定装置
JP2011095027A (ja) * 2009-10-28 2011-05-12 Kyocera Corp 撮像装置
JP2011182041A (ja) * 2010-02-26 2011-09-15 Nippon Hoso Kyokai <Nhk> 撮像装置
US8593509B2 (en) 2010-03-24 2013-11-26 Fujifilm Corporation Three-dimensional imaging device and viewpoint image restoration method
CN102959969B (zh) * 2010-06-29 2015-07-15 富士胶片株式会社 单眼立体摄像装置
JP5595499B2 (ja) * 2010-06-29 2014-09-24 富士フイルム株式会社 単眼立体撮像装置
US9077976B2 (en) 2010-06-29 2015-07-07 Fujifilm Corporation Single-eye stereoscopic image capturing device
US8878907B2 (en) 2010-06-29 2014-11-04 Fujifilm Corporation Monocular stereoscopic imaging device
WO2012002307A1 (ja) 2010-06-29 2012-01-05 富士フイルム株式会社 単眼立体撮像装置
JP2013150362A (ja) * 2010-06-29 2013-08-01 Fujifilm Corp 単眼立体撮像装置及びその制御方法
CN102959969A (zh) * 2010-06-29 2013-03-06 富士胶片株式会社 单眼立体摄像装置
WO2012002071A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置、画像処理装置および画像処理方法
US8902294B2 (en) 2010-06-30 2014-12-02 Fujifilm Corporation Image capturing device and image capturing method
JPWO2012002071A1 (ja) * 2010-06-30 2013-08-22 富士フイルム株式会社 撮像装置、画像処理装置および画像処理方法
US9319659B2 (en) 2010-06-30 2016-04-19 Fujifilm Corporation Image capturing device and image capturing method
CN103039066B (zh) * 2010-06-30 2016-01-27 富士胶片株式会社 成像装置、图像处理装置以及图像处理方法
WO2012002297A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
WO2012002298A1 (ja) 2010-06-30 2012-01-05 富士フイルム株式会社 撮像装置および撮像方法
CN103039066A (zh) * 2010-06-30 2013-04-10 富士胶片株式会社 成像装置、图像处理装置以及图像处理方法
CN104977777A (zh) * 2010-06-30 2015-10-14 富士胶片株式会社 摄像装置及摄像方法
US8933995B2 (en) 2010-06-30 2015-01-13 Fujifilm Corporation Image capturing device and image capturing method
US8743185B2 (en) 2010-11-04 2014-06-03 Panasonic Corporation Stereoscopic imaging optical system, imaging device, and camera
JPWO2012108099A1 (ja) * 2011-02-09 2014-07-03 富士フイルム株式会社 撮像装置および撮像方法
US8823778B2 (en) 2011-02-09 2014-09-02 Fujifilm Corporation Imaging device and imaging method
WO2012108099A1 (ja) * 2011-02-09 2012-08-16 富士フイルム株式会社 撮像装置および撮像方法
WO2012132123A1 (ja) * 2011-03-31 2012-10-04 富士フイルム株式会社 立体撮像装置および立体撮像方法
US9648305B2 (en) 2011-03-31 2017-05-09 Fujifilm Corporation Stereoscopic imaging apparatus and stereoscopic imaging method
US9025060B2 (en) 2011-04-01 2015-05-05 Canon Kabushiki Kaisha Solid-state image sensor having a shielding unit for shielding some of photo-electric converters and image capturing apparatus including the solid-state image sensor
JP2012215785A (ja) * 2011-04-01 2012-11-08 Canon Inc 固体撮像素子及び撮像装置
US9549166B2 (en) 2011-08-19 2017-01-17 Fujifilm Corporation Imaging device and shading correction method
WO2013027513A1 (ja) 2011-08-19 2013-02-28 富士フイルム株式会社 撮像装置及びシェーディング補正方法
JP2013167746A (ja) * 2012-02-15 2013-08-29 Nikon Corp 撮像装置
CN104954645A (zh) * 2014-03-24 2015-09-30 佳能株式会社 摄像元件、摄像设备和图像处理方法
CN104954645B (zh) * 2014-03-24 2017-12-19 佳能株式会社 摄像元件、摄像设备和图像处理方法
JP2015215264A (ja) * 2014-05-12 2015-12-03 日本電信電話株式会社 位置関係検出装置及び位置関係検出方法
JP2020085968A (ja) * 2018-11-16 2020-06-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体

Also Published As

Publication number Publication date
DE69717733D1 (de) 2003-01-23
EP0821532A1 (en) 1998-01-28
DE69717733T2 (de) 2003-05-28
JP3753201B2 (ja) 2006-03-08
EP0821532B1 (en) 2002-12-11
US6233003B1 (en) 2001-05-15

Similar Documents

Publication Publication Date Title
JP3753201B2 (ja) 視差画像入力装置
US8265478B1 (en) Plenoptic camera with large depth of field
Okano et al. Real-time integral imaging based on extremely high resolution video system
US8380060B2 (en) Methods and apparatus for full-resolution light-field capture and rendering
CN103167239B (zh) 图像处理装置、图像处理方法、摄像装置及显示设备
Dansereau et al. A wide-field-of-view monocentric light field camera
JP2003143459A (ja) 複眼撮像系およびこれを備えた装置
US6233035B1 (en) Image recording apparatus and image reproducing apparatus
CN111108742A (zh) 信息处理装置、信息处理方法、程序以及可互换透镜
CN111080774A (zh) 一种应用深度采样进行光场重构的方法及系统
Neumann et al. Eyes from eyes: New cameras for structure from motion
JP2002191060A (ja) ３次元撮像装量
US12253689B2 (en) Multiperspective photography camera device
JPH1198532A (ja) 立体撮像装置および立体表示装置
JP4981359B2 (ja) 要素画像群撮像装置及び立体像表示装置
KR101608753B1 (ko) 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
KR102241060B1 (ko) 미소거울배열을 이용하는 무안경 집적 영상 디스플레이 방법
KR20190112407A (ko) 홀로포테이션 컨텐츠 운용 방법
WO1994006049A1 (fr) Dispositif d&#39;affichage d&#39;images tridimensionnelles
KR20190026014A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
JPH118863A (ja) ３次元カメラ
JP2002148732A (ja) ３次元動画入力装置
RU2379726C1 (ru) Способ получения и восстановления объемного изображения
CN116819879A (zh) 光场采集结构、方法及设备
CN111164970B (zh) 一种光场采集方法及采集装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051207

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111222

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121222

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131222

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term