JP5531483B2 - 撮像装置および映像記録再生システム - Google Patents

Description

本発明は、撮像装置に関し、特に被写体を立体画像として撮像する撮像装置、および、映像記録再生システムに関する。

従来、共通の被写体を左右２台のビデオカメラによって同時に撮像しておいて、その左右の映像を同時に出力することにより立体画像を表示するシステムが提案されている。しかしながら、このような２台のビデオカメラを用いた場合には、装置として大型化してしまい、実用的ではない。また、２台のビデオカメラの間の基線長（ベースライン）、すなわち立体カメラとしての両眼間距離が、レンズのズーム比に関わらず、人間の両眼の距離に相当する６５ｍｍ程度とされることが多い。この場合、ズームアップされた映像において視差が大きくなってしまい、視覚系に日常と異なる情報処理を強制することになり、視覚疲労の要因となる。また、左右の映像をそのまま重ねて眺めた際に二重に写り、不自然な映像になってしまう。なお、両眼位置をＬ、Ｒとし、被写体上の点をＡ、Ｂとした場合、角ＬＡＲおよび角ＬＢＲをそれぞれ絶対視差と定義し、（角ＬＡＲ−角ＬＢＲ）をＡ点のＢ点に対する相対視差と定義する。以下、相対視差を単に視差と呼称する。

そこで、１台のビデオカメラにより得られる被写体からの光を、プリズムを用いて左右に分光するプリズム式立体カメラが提案されている（例えば、特許文献１参照。）。

特開平５−７３７４号公報（図１）

上述の従来技術では、１台のビデオカメラのレンズの前側にプリズムを設けて、光軸に対して２つの左右方向の視差を有する光に分離している。しかしながら、プリズム式立体カメラでは、左右の光学画像における重なり部分を排除するために、プリズムに遮光マスクを形成する必要があり、これにより立体画像撮像時の制御が複雑になってしまう。また、プリズムは光軸の屈折を利用したものであり、光の波長毎に屈折率が異なるため、色収差が発生してしまうという問題がある。さらに、上述の従来技術では、光学系から撮像素子に至る経路において、光が平行光となる領域以外の場所で光路を曲げているため、撮影レンズのズーム操作の際、ズーム比に連動して光軸が変化して、２つの撮像素子上の像の位置が相互に動いてしまうという問題がある。

本発明はこのような状況に鑑みてなされたものであり、視差の大きさが適正で色収差の小さい立体画像を撮像することを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送するリレーレンズと、上記被写体の１点から拡散する光が平行光となる領域において上記伝送された光の光量を調整する絞りと、上記被写体の１点から拡散する光が平行光となる領域において上記光量が調整された光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる２つの結像レンズと、上記結像された光をそれぞれ電子信号による画像に変換する２つの撮像素子とを具備する撮像装置である。これにより、一つの撮影レンズによって集光された光をミラーによって分光して、視差の大きさが適正で色収差の小さい立体画像を撮像させるという作用をもたらす。また、光軸が撮影レンズのズーム比によって実用上変化しないという作用をもたらす。したがって、像の位置をズーム比によって移動させる等の画像処理等を必要とせず、容易に高精度なズーム効果を実現する。

また、この第１の側面において、上記絞りは、上記２つに分光された光の光軸間の距離を変化させるように、上記伝送された光の光量を調整するようにしてもよい。すなわち、絞りにより光量を調整することにより、分光された光の光軸間の距離を変化させるという作用をもたらす。

また、この第１の側面において、上記絞りは、上記２つに分光された光の光軸間の距離がおよそ７乃至６５ミリメートルになるように、上記伝送された光の光量を調整するようにしてもよい。すなわち、絞りにより光量を調整することにより、分光された光の光軸間の距離がおよそ７乃至６５ミリメートルになるように変化させるという作用をもたらす。

また、この第１の側面において、前記撮影レンズは、前記被写体からの光を拡大するズームレンズを含み、前記撮像素子により変換された前記画像間の相対視差を前記ズームレンズによって制御するようにしてもよい。これにより、画像間の相対視差をズームレンズにより制御させるという作用をもたらす。

また、この第１の側面において、上記複数の撮像素子の各々は、毎秒６０フレーム以上のレートで上記電子信号から撮像画像を生成してもよく、毎秒２３０乃至２５０フレームのレートで上記電子信号から撮像画像を生成することが望ましい。これにより、動きによるボケやジャーキネスを解消させるという作用をもたらす。また、動きのある被写体については、十分な時間分解能を有し、かつ正確な輪郭情報が撮影できるという作用をもたらす。

また、本発明の第２の側面は、被写体からの光を集光する撮影レンズと、上記集光された光を伝送するリレーレンズと、上記被写体の１点から拡散する光が平行光となる領域において上記伝送された光の光量を調整する絞りと、上記被写体の１点から拡散する光が平行光となる領域において上記光量が調整された光を左右２つに分光するミラーと、上記分光された光をそれぞれ結像させる２つの結像レンズと、上記２つの結像レンズによって結像された光をそれぞれ電子信号による画像に変換する２つの撮像素子と、上記２つの撮像素子によって変換された上記画像をそれぞれ左右の映像データのフレームとして記憶部に記録させる映像記録部と、上記記憶部に記録された上記左右の映像データを同時に再生表示させる映像再生部とを具備する映像記録再生システムである。これにより、一つの撮影レンズによって集光された光をミラーによって分光して、視差の大きさが適正で色収差の小さい立体画像を記録再生させるという作用をもたらす。

本発明によれば、視差の大きさが適正で色収差の小さい立体画像を撮像することができるという優れた効果を奏し得る。

本発明の実施の形態における撮像装置の一例の上面断面図である。 本発明の実施の形態における撮像装置の一例の要部を示す図である。 本発明の実施の形態による撮像装置における瞳１１５のイメージ図である。 重心間距離と基線長（ベースライン）との関係を示す図である。 ズームによる拡大と視差の関係を示す図である。 本発明の実施の形態における映像記録再生システムの一構成例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（撮像装置の例）
２．第２の実施の形態（映像記録再生システムの例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、本発明の実施の形態における撮像装置の一例の上面断面図である。この撮像装置は、被写体からの入射光１０１を受けて左右の撮像素子１７１および１７２に結像させ、左右の映像データを生成するものである。図面における上部が被写体に向かって右方向（Ｒ）であり、下部が被写体に向かって左方向（Ｌ）である。

撮像装置本体には、レンズマウント１２０を介して交換レンズ１１０が取り付けられるようになっている。この交換レンズ１１０は、被写体からの入射光１０１を集光するレンズ群であり、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等のレンズ群の他、交換レンズ１１０としての絞り１１３を備えている。なお、交換レンズ１１０は、特許請求の範囲に記載の撮影レンズの一例である。

レンズマウント１２０は、交換レンズ１１０を撮像装置本体に取り付けるものである。このレンズマウント１２０の内部においては、集光された光は一旦結像されており、左右が反転した倒立像になる。

レンズマウント１２０の次段にはリレーレンズ部１３０が配置される。リレーレンズ部１３０は、レンズマウント１２０までに集光された光を絞り１４９の位置まで伝送するリレーレンズを備える。このリレーレンズにより、対物焦点位置の点光源からの拡散光は、絞り１４９の位置において平行光となる。なお、リレーレンズ部１３０は、特許請求の範囲に記載のリレーレンズの一例である。

リレーレンズ部１３０の次段にはミラー１４１乃至１４４が配置される。これらミラー１４１乃至１４４は、絞り１４９の位置に配置され、集光された光を左右に分光する分光鏡である。すなわち、被写体に向かって左側から見た際の光は左右反転してミラー１４１および１４２に反射され、被写体に向かって右側から見た際の光は左右反転してミラー１４３および１４４に反射され、これにより、左右に分光される。このミラー１４１乃至１４４が配置される位置は、レンズマウント１２０の対物焦点位置（被写体の位置）における点光源からの拡散光が平行光となる領域となっており、これにより適切な分光が行われるようになっている。なお、絞り１４９は、特許請求の範囲に記載の絞りの一例である。

ミラー１４１乃至１４４によって分光された光は、結像レンズ１５１および１５２に入光される。すなわち、ミラー１４１および１４２によって分光された左側から見た際の光は結像レンズ１５１に入光され、ミラー１４３および１４４によって分光された右側から見た際の光は結像レンズ１５２に入光される。結像レンズ１５１および１５２は、それぞれ入光された光を、撮像素子１７１および１７２の受光面に対して結像させる。この撮像素子１７１および１７２に入光された光は、それぞれ正立像となる。

撮像素子１７１および１７２は、それぞれ結像レンズ１５１および１５２から入光された光を電子信号に変換する光電変換素子である。この撮像素子１７１および１７２は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等により実現される。

このように、本発明の実施の形態における撮像装置は、被写体からの入射光１０１を受けて、ミラー１４１乃至１４４により左右に分光することにより、左右の撮像素子１７１および１７２に左右の映像データを結像させる。

図２は、本発明の実施の形態における撮像装置の一例の要部を示す図である。リレーレンズ部１３０によって伝送された光は、ミラー１４１および１４３によって左右に分光される。被写体に向かって左側から見た際の光はミラー１４１に反射して、さらにミラー１４２に反射する。被写体に向かって右側から見た際の光はミラー１４３に反射して、さらにミラー１４４に反射する。これらミラー１４１乃至１４４は絞り１４９の位置に配置されており、入光される光は平行光となる。

ミラー１４２に反射した左側の光は、結像レンズ１５１に入光する。結像レンズ１５１に入光された光は、撮像素子１７１の受光面に対して結像される。ミラー１４４に反射した右側の光は、結像レンズ１５２に入光する。結像レンズ１５２に入光された光は、撮像素子１７２の受光面に対して結像される。

［瞳の分割］
図３は、本発明の実施の形態による撮像装置における瞳１１５のイメージ図である。瞳（pupil）とは、レンズを被写体側から見たときの開口絞りの像である。本発明の実施の形態による撮像装置では、絞り１４９の像が交換レンズ１１０内の位置に瞳１１５として存在する。ここで、瞳１１５に相当する円の半径をｒとすると、次式が成り立つ。
２ｒ＝ｆ／Ｆ （式１）
ただし、ｆは焦点距離であり、ＦはＦ値である。したがって、焦点距離を固定した場合、瞳１１５の直径２ｒとＦ値は反比例の関係にあることがわかる。

本発明の実施の形態では、集光された光を絞り１４９の位置で左右に分光するため、瞳１１５の円を左右に分割した左半円および右半円について考察する。上述のとおり、立体感は、両眼間の視差（相対視差）に基づいて得られる。このとき、視差を決定する光軸は左半円および右半円のそれぞれの重心を通るものと考えられる。半径ｒの半円の重心は、幾何学的に求めることができ、円の中心から４ｒ／３πの距離に位置する。したがって、左半円の重心５０１と右半円の重心５０２との距離（重心間距離Ｄ）は、次式のようになることがわかる。
Ｄ＝８ｒ／３π （式２）
すなわち、重心間距離Ｄは絞り１４９を絞ると、それに比例して小さくなることがわかる。換言すれば、絞り１４９の口径を変化させることにより、得られる立体感を調整することができることになる。このような前提を確認するために行った実験の結果を以下に示す。

［重心間距離と基線長（ベースライン）との関係］
図４は、重心間距離Ｄと基線長（ベースライン）との関係を示す図である。ここでは、交換レンズ１１０として＃Ａおよび＃Ｂの２種類のレンズについて、重心間距離の理論値と基線長の実験値とを示している。

レンズ＃Ａは、開放Ｆ値が１．８で、焦点距離が１０乃至１００［ｍｍ（ミリメートル）］のズームレンズである。このレンズ＃Ａのズーム比は１０倍であり、ワイド端における焦点距離は１０［ｍｍ］である。レンズ＃Ｂは、開放Ｆ値が２．８で、焦点距離が１３．５乃至５７０［ｍｍ］のズームレンズである。このレンズ＃Ｂのズーム比は４２倍であり、ワイド端における焦点距離は１３．５［ｍｍ］である。両者ともに、撮影距離は６．５［ｍ（メートル）］を想定している。

上述の式１および式２より、レンズ＃Ａおよび＃Ｂの重心間距離Ｄはそれぞれ２３．６［ｍｍ］および１５．２［ｍｍ］であると計算される。一方、実装置において実験により求められた基線長は、レンズ＃Ａおよび＃Ｂについてそれぞれ２０．０［ｍｍ］および１２．０［ｍｍ］となった。この実験結果から、回折効果によると推測される理論値からの減少が見られるものの、絞り１４９の像である瞳１１５の半円の重心間距離Ｄがほぼ基線長に匹敵するものであることがわかる。また、上述の式２より、重心間距離Ｄは絞り１４９の口径によって変化させることが可能であり、したがって、基線長も絞り１４９の口径によって制御可能であることが示された。

本発明の実施の形態における構成例によれば、重心間距離Ｄの最小値としておよそ７［ｍｍ］程度を想定することができる。基線長としてもこの程度の値であれば立体感を感じさせることができると考えられる。特に、撮影距離が長い場合、基線長がある程度ないと立体感が出せなくなると考えられる。基線長を増していくと、およそ３２［ｍｍ］程度になると立体感はより明確になり、その反面、背景のぼやけ具合は大きくなっていく。そして、基線長が６５［ｍｍ］を超える領域になると、箱庭効果が生じて不自然な画作りになってしまうと考えられる。したがって、立体映像として自然に見える範囲としては、基線長が７乃至６５［ｍｍ］程度であると考えられる。

［ズームによる拡大と視差との関係］
図５は、ズームによる拡大と視差との関係を示す図である。図５（ａ）では、左眼位置をＬ、右眼位置をＲとし、被写体上の点をＡおよびＢとしている。Ａ点を見込んだ角ＬＡＲをＡ点の輻輳角θ_Ａとし、Ｂ点を見込んだ角ＬＢＲをＢ点の輻輳角θ_Ｂとすると、Ａ点とＢ点の視差（相対視差）ｄは、次式により与えられる。
ｄ＝θ_Ｂ−θ_Ａ
ここで、角ＡＬＢをｈ、角ＡＲＢをｇとすると、輻輳角θ_Ａはほぼｈと等しく、輻輳角θ_Ｂはほぼｇと等しい。したがって、次式が成り立つ。
ｄ＝ｇ−ｈ

また、両眼間距離をＤ、両眼からＡ点までの距離をＤ_Ａ、両眼からＢ点までの距離をＤ_Ｂとし、両眼から見たＡ点とＢ点との距離をδとすると、
ｄ≒Ｄδ／（Ｄ_Ａ ^２−δＤ_Ａ）
ここで、Ｄ_Ａ，ＤＢ＞＞Ｄより、
ｄ≒Ｄδ／Ｄ_Ａ ^２
が成り立つ。

図５（ｂ）は、図５（ａ）に比べてｎ倍の拡大を行った場合の位置関係を示す図である。ここでは、ズーム後に変化した角度や位置および距離にはそれぞれの記号の最後にダッシュを付加している。ｎ倍の拡大であるから、
ｇ'＝ｎｇ
ｈ'＝ｎｈ
となる。このとき、視差ｄ'は、次式のように表される。
ｄ'＝Ｄ_Ｂ'−Ｄ_Ａ'
＝ｇ'−ｈ'
＝ｎ（ｇ−ｈ）
＝ｎｄ
すなわち、ｎ倍の拡大によりｎ倍の視差が生じることになる。これは、テレ端側へズームしていくと立体感が増すことを意味する。換言すれば、ズーム撮影においては、短い基線長でも適正な視差を得ることができることになる。

このように、本発明の第１の実施の形態によれば、一つの交換レンズ１１０によって集光された光をミラー１４１乃至１４４によって左右に分光することにより、両眼に提示される画像の視差を適正に小さくすることができる。本発明の実施の形態において得られる視差は、絞り１４９の口径およびズーム撮影におけるズーム比（拡大率）によって制御可能である。一般に、視差に対する眼の感度は高く、通常視力が視角で分オーダであるのに対し、視差については１オーダ高い分解能があるとされている（Howard I. P., Rogers B. J.: Stereo Acuity (Chap.5), Binocular Vision and Stereopsis, P.162, Oxford University Press, Oxford (1995).）。したがって、視差を適正に小さくすることは、上記の例よりも小さな視差の条件下であっても、自然に立体感を知覚させ、視覚疲労を軽減するためにも重要である。

＜２．第２の実施の形態＞
［映像記録再生システムの構成例］
図６は、本発明の実施の形態における映像記録再生システムの一構成例を示す図である。この映像記録再生システムは、撮像部１００と、映像記録部２００と、映像記憶部３００と、映像再生部４００と、表示部５００とを備えている。

撮像部１００は、上述の撮像装置に相当するものであり、被写体からの入射光を受けて左右の撮像素子１７１および１７２によって左右の映像データを生成する。

映像記録部２００は、撮像部１００から出力された左右の映像データを映像記憶部３００に記録するものである。この映像記録部２００は、左右の映像データに対応して、信号処理部２１１および２１２と、画像メモリ２２１および２２２と、符号化部２３１および２３２とを備えている。信号処理部２１１および２１２は、撮像部１００から出力された左右の映像データをそれぞれ受け取り、所定の信号処理を施すものである。この信号処理部２１１および２１２は、撮像データをＡ／Ｄ（Analog to Digital）変換し、ホワイトバランス修正などを施す。画像メモリ２２１および２２２は、信号処理部２１１および２１２によって処理された映像データを一時的に保持するメモリである。符号化部２３１および２３２は、画像メモリ２２１および２２２に保持された映像データを符号化して映像記憶部３００に出力するものである。

映像記憶部３００は、映像記録部２００から出力された左右の映像データを記憶するものである。この映像記憶部３００に記憶された映像データは、映像再生部４００から読み出される。

映像再生部４００は、映像記憶部３００に記憶された映像データを読み出して、再生するものである。この映像再生部４００は、左右の映像データに対応して、復号部４１１および４１２と、表示制御部４２１および４２２とを備えている。復号部４１１および４１２は、映像記憶部３００から読み出された左右の映像データを復号するものである。表示制御部４２１および４２２は、復号部４１１および４１２によって復号された左右の映像データを表示部５００に表示させるように制御するものである。

表示部５００は、映像再生部４００から出力された左右の映像データを表示するものである。この表示部５００としては、例えば、２台のプロジェクタに円偏光または直線偏光フィルターを取り付けて左右眼用の画像をそれぞれ提示し、表示に対応した円偏光または直線偏光眼鏡で観視するような態様が考えられる。また、フィルター付きフラットパネルディスプレイにおいて、同様に左右眼用画像を同時に提示し、レンチキュラーレンズ、パララックスバリア方式等の眼鏡なし立体表示装置等を利用してもよい。このように、本発明の実施の形態では、左右画像を交互に提示するのではなく、同時に提示することにより、視覚疲労を軽減している。

また、本発明の実施の形態では、撮像部１００における映像データの生成から、表示部５００における映像データの表示までを、高フレームレート化することにより、動きによるボケ（Blur）やジャーキネス（Jerkiness）の解消を図る。動きによるボケは、撮影時のＭＴＦ（Modulation Transfer Function）の低下に加えて、特に、ホールド型表示において移動する被写体を追従して見る際（追従視）、映像の網膜上のスリップにより多く発生する。ここで、ホールド型表示は、フレーム期間中、フィルムや液晶プロジェクタ等に映像が継続して表示されることを意味する。また、ジャーキネスは、映像の滑らかさを失われて、動きがギクシャクすることをいう。このジャーキネスは、高速シャッターを用いて撮影された映像を、視線を固定して見る際（固定視）に多く発生する。こうした動画質劣化には、撮影と表示のフレームレートやカメラの撮影の開口率（開口時間／フレーム時間）、視覚特性等が関与する。

映画では毎秒２４フレーム（２４Ｈｚ）、テレビでは毎秒６０フィールド（６０Ｈｚ）のフレームレートが標準的に用いられている。本発明の実施の形態では、動きによるボケやジャーキネスを考慮して、毎秒６０フレーム（６０Ｈｚ）以上のレート、好ましくは毎秒２３０乃至２５０フレーム（２４０Ｈｚ±１０Ｈｚ）のレートで電子信号から撮像画像を生成する。これにより、時間方向の分解能の不足を解消している。

このように、本発明の第２の実施の形態によれば、両眼に提示される画像の視差を適正な大きさとし、さらに高フレームレート化することにより、人が自然界を見ているときに近い、見易く収差の小さい高品質な立体画像を撮像することができる。また、光軸が交換レンズ１１０のズーム比によって実用上変化せず、像の位置をズーム比によって移動させる等の画像処理等を必要としないため、容易に高精度なズーム効果を実現することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

１００ 撮像部
１０１ 入射光
１１０ 交換レンズ
１２０ レンズマウント
１３０ リレーレンズ部
１４１〜１４４ ミラー
１５１、１５２ 結像レンズ
１７１、１７２ 撮像素子
２００ 映像記録部
２１１、２１２ 信号処理部
２２１、２２２ 画像メモリ
２３１、２３２ 符号化部
３００ 映像記憶部
４００ 映像再生部
４１１、４１２ 復号部
４２１、４２２ 表示制御部
５００ 表示部

Claims (6)

1. 被写体からの光を集光する撮影レンズと、
   前記集光された光を伝送するリレーレンズと、
   前記被写体の１点から拡散する光が平行光となる領域において前記伝送された光の光量を調整する絞りと、
   前記被写体の１点から拡散する光が平行光となる領域において前記光量が調整された光を左右２つに分光するミラーと、
   前記分光された光をそれぞれ結像させる２つの結像レンズと、
   前記結像された光をそれぞれ電子信号による画像に変換する２つの撮像素子と
   を具備し、
   前記絞りは、前記２つに分光された光の光軸間の距離がおよそ７乃至６５ミリメートルになるように、前記伝送された光の光量を調整する
   撮像装置。
2. 前記撮影レンズは、前記被写体からの光を拡大するズームレンズを含み、前記撮像素子により変換された前記画像間の相対視差を前記ズームレンズによって制御する請求項１記載の撮像装置。
3. 前記複数の撮像素子の各々は、毎秒６０フレーム以上のレートで前記電子信号から撮像画像を生成する請求項１記載の撮像装置。
4. 前記複数の撮像素子の各々は、毎秒２３０乃至２５０フレームのレートで前記電子信号から撮像画像を生成する請求項１記載の撮像装置。
5. 被写体からの光を集光する撮影レンズと、
   前記集光された光を伝送するリレーレンズと、
   前記被写体の１点から拡散する光が平行光となる領域において前記伝送された光の光量を調整する絞りと、
   前記被写体の１点から拡散する光が平行光となる領域において前記光量が調整された光を左右２つに分光するミラーと、
   前記分光された光をそれぞれ結像させる２つの結像レンズと、
   前記２つの結像レンズによって結像された光をそれぞれ電子信号による画像に変換する２つの撮像素子と、
   前記２つの撮像素子によって変換された前記画像をそれぞれ左右の映像データのフレームとして記憶部に記録させる映像記録部と、
   前記記憶部に記録された前記左右の映像データを同時に再生表示させる映像再生部と
   を具備し、
   前記絞りは、前記２つに分光された光の光軸間の距離がおよそ７乃至６５ミリメートルになるように、前記伝送された光の光量を調整する
   映像記録再生システム。
6. 前記撮影レンズは、前記被写体からの光を拡大するズームレンズを含み、前記撮像素子により変換された前記画像間の相対視差を前記ズームレンズによって制御する請求項５記載の映像記録再生システム。