WO2012124331A1

WO2012124331A1 - ３ｄ撮像装置

Info

Publication number: WO2012124331A1
Application number: PCT/JP2012/001798
Authority: WO
Inventors: 東郷　仁麿; 孝幸有馬; 井村　康治; 和之田中; 中村　剛; 郁雄渕上; 山口　徹
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2011-03-17
Filing date: 2012-03-14
Publication date: 2012-09-20
Anticipated expiration: 2013-09-17

Abstract

　３Ｄ撮像装置は、異なる光軸を持つ２つのカメラと、各カメラが撮像した２つのカメラ画像の視差から被写体までの距離を測定する距離測定部と、２つのカメラ画像から３Ｄ画像を生成する第一３Ｄ画像生成部と、被写体までの距離と２つのカメラの一方が撮像したカメラ画像とに基づいて、３Ｄ画像を生成する第二３Ｄ画像生成部とを備え、被写体に対する２つのカメラの位置に基づく撮影状態に応じて、第一３Ｄ画像生成部による３Ｄ画像の生成又は第二３Ｄ画像生成部による３Ｄ画像の生成に切り替える。

Description

３Ｄ撮像装置

　本発明は、３Ｄ撮影が可能な３Ｄカメラを有する携帯電話やデジタルスチルカメラなどのカメラ付き携帯型電子機器に関するものである。

　３Ｄ（立体）撮影方式として、人間の目の間隔である約６ｃｍ～８ｃｍ程度離れた光軸を持つ２個のカメラ（２眼カメラ）で、左目視線の左画像と右目視線の右画像をそれぞれ撮影する方法がある。

（第一の従来例）
　図２４（ａ），（ｂ），（ｃ）は２つのカメラからなる３Ｄカメラの従来構造例を示す。例えば、特許文献１に詳細が記載されている。

　図２４（ａ），（ｂ）のように撮像装置の筐体１１の表示素子１５の裏面に２個の光学ズーム付きカメラ１２，１３が離れて配置されている。

　図２４（ｃ）は撮像装置のブロック構成図を示す。光学ズーム付きの第一カメラ１２と第二カメラ１３はカメラ制御手段１８で制御される。ズーム時には、第一カメラ１２および第二カメラ１３のレンズ１６の位置をルックアップテーブルの調整値に基づいて調整し、第一カメラ１２と第二カメラ１３の光学ズーム倍率が一致するようにする。

（第二の従来例）
　次に、３Ｄカメラの第二の従来例について説明する。例えば、特許文献２に詳細が記載されている。図２５に撮像装置のブロック構成図を示す。

　筐体の表示素子の裏面に２個のカメラ２２，２３が離れて配置されている。第一カメラ２２は光学ズーム付きで、第二カメラ２３は光学ズーム無しの単焦点カメラとする。また、第一カメラ２２の画素数は第二カメラ２３の画素数より大きい。

　光学ズーム付き第一カメラ２２と単焦点型の第二カメラ２３はカメラ制御手段２８で制御される。ズーム時には、第一カメラ２２と第二カメラ２３のズーム倍率が一致するように第一カメラ２２の光学ズーム倍率と第二カメラ２３の電子ズーム倍率を調整する。

　第二カメラ２３の解像度は第一カメラ２２の解像度に比べて低いため、以下のように第二カメラ画像の高解像度化を行う。

　第二カメラ画像の一部（これをブロックと呼ぶ）に対応する第一カメラ画像の領域（対応ブロックと呼ぶ）を画像処理により探し出し、第二カメラ画像のブロックを第一カメラ画像の対応ブロックに置き換える。

　以上により、第二カメラ画像が高解像度化することができ、第一カメラ画像と第二カメラ画像の解像度差を小さくすることができる。

（第三の従来例）
　図２６（ａ），（ｂ），（ｃ）は２つのカメラからなる３Ｄカメラの従来構造例を示す。例えば、特許文献３に詳細が記載されている。

　図２６（ａ）のように撮像装置の筐体３１に２個のカメラ３２，３３が離れて配置されている。図２６（ｂ）に示すようにカメラの光軸間距離（基線長）を機構的に変えることと、カメラ光軸の角度を変えることが可能である。

　図２６（ｃ）はブロック構成図を示す。第一カメラ３２と第二カメラ３３はカメラ制御手段３８で制御される。３Ｄ撮影時には、第一カメラ３２および第二カメラ３３の水平方向の位置調整（視差調整）なども行う。

　ここで、視差とは、ある被写体に対する、左右画像の水平方向の位置の差を意味する。左右視差の大小を制御することによって、被写体を３Ｄディスプレイ画面から手前または奥に自由に配置することができる。

　図２７は、３Ｄカメラの光軸が平行のときに、３Ｄカメラから被写体までの被写体距離と左右画像の視差角（輻輳角）の関係を示す。

　被写体距離が短くなると、視差角が急激に大きくなる。また、２つのカメラの光軸間距離（基線長）が長くなるほど視差角が大きくなり、３Ｄ効果（奥行き感）が増す一方、３Ｄディスプレイ画面に対して飛び出し感が強すぎて、立体視できなくなるという課題も有する。

　３Ｄディスプレイで再現する立体像はディスプレイ画面に対して手前過ぎても奥過ぎてもよくない。ディスプレイ画面における輻輳角に対するずれ量が、ある値以上になると快適な立体視が困難になる。さらに、このずれ量が大きくなると立体視自体ができなくなる。

　一般に、視差角がディスプレイ画面上に対しておよそ±１度以下の差であれば、快適な立体視が可能であると言われている。

　例えば、基線長が６．５ｃｍの場合、被写体距離が約１ｍ以上から無限遠であれば、図２７に示すように、視差角が２度以下（±１度以下）に収まるので問題ないが、１ｍ未満の近距離被写体になると快適な立体視ができない。

　そこで、特許文献３には、３Ｄカメラの基線長や左右カメラの光軸角すなわち輻輳角を３Ｄ撮影画像に応じて変化させることで、３Ｄ効果（＝奥行き感）と見やすさを両立する方法について記載されている。

　近距離と遠距離の被写体が混在しているときにはカメラの基線長を短くすることで、左右視差が小さくなり見やすい３Ｄ画像が得られる。但し、３Ｄ効果は小さくなる方向である。

　例えば、基線長を６．５ｃｍから３ｃｍに小さくすると、図２７に示すように視差角が小さくなるため、約５０ｃｍの近距離被写体であっても、視差角を２度以下にすることができる。

　また、２つのカメラの光軸が平行のまま、被写体がカメラに近づくと輻輳角が大きくなり、ディスプレイ画面から飛び出すため、立体視しにくくなる。

　そこで被写体が近いときには、図２６（ｂ）に示すように２つのカメラの光軸をカメラから近いところで交差するように斜めにすると、３Ｄ表示時の視差を小さくすることができ、近くでも見やすい３Ｄ画像が得られる。

　上述のように、機構的に２つのカメラの輻輳角を変化させる機能を追加すると、カメラが大型で重くなるため、電子的に輻輳角を変化させる方法が、特許文献４に記載されている。

　左右画像の切り出し水平位置を調整することで輻輳角を変化させることができる。

　但し、この電子的方法では一部の被写体の視差は調整できるが、近距離から遠距離の被写体全ての視差を同時に小さくすることはできない。

　特許文献５には、３Ｄの表現空間上にある被写体（オブジェクト）の中の特定のオブジェクトが推奨の視差範囲内に収まるように、視差画像を生成する方法が記載されている。

　例えば、指定されたオブジェクトが表示画面の表面付近に表示されるように視差調整を行う。

（第四の従来例）
　図２８（ａ），（ｂ）は２眼カメラからなる３Ｄカメラの従来構造例を示す。

　撮像装置の筐体４１に第一カメラ４２と第二カメラ４３が離れて配置されている。筐体４１裏面には、３Ｄ撮影画像を表示するための表示素子４５が配置されている。表示素子４５は例えば、視差バリア方式の裸眼３Ｄ液晶などが用いられている。

　図２９は、筐体４１を９０度回転して、表示画面を縦長にしたときの様子を示す。被写体が縦長である場合には、このような形態で撮影することが多い。

　このとき、第一カメラ４２と第二カメラ４３が上下に配置されるため、左右画像の被写体には上下方向の視差が発生する。このため、図２８（ａ），（ｂ）に示した従来の２眼型３Ｄカメラでは３Ｄの縦撮影ができない。また、その画像の３Ｄ表示もできない。

　そこで、縦撮影の場合には２眼カメラ配置の物理的な変更による解決方法が、例えば特許文献６に提案されている。

　図３０（ａ），（ｂ）に特許文献６の３Ｄカメラ構造を示す。図３０（ａ）は横長撮影、図３０（ｂ）は縦長撮影を示す。

　横長撮影のときは従来と同様で表示素子５５の長辺方向に離れて配置された２つのカメラ５２，５３で撮影する。なお、左右カメラのカメラセンサ５７はともに横長に配置されている。

　一方、縦撮影時は、第一カメラ５２と第二カメラ５３がそれぞれカメラ光軸に対して９０度回転する機構により、カメラセンサ５７の配置を横長から縦長に変更する。

　表示素子５５も上記のカメラの回転方向と同じ方向に９０度回転することで縦長の３Ｄ画像の表示が可能となる。

　表示素子５５は、縦表示と横表示が可能な３Ｄ表示素子が必要である。

　例えば、バリア液晶を有する裸眼３Ｄ液晶を用いて、バリアの方向を縦と横に切り替えることにより、３Ｄ画像の横長表示と縦長表示が可能である。

　なお、表示素子５５自体を回転する代わりに、表示画像だけを回転させても構わない。

　上記説明した第一の従来例～第四の従来例の他にも、例えば特許文献７に記載されているように、３Ｄカメラから３Ｄ画像を生成する他の方法として、視差情報（または距離情報）を用いる方法がある。空間的に離れて配置された主撮像素子と従撮像素子からなる２眼カメラの主画像と従画像から視差を測定したのち、視差情報と主画像から３Ｄ画像を生成することができる。

日本国特許第３３０３２５４号公報日本国特開２００５－２１０２１７号公報日本国特開平０７－１６７６３３号公報日本国特開平０８－２５１６２５号公報日本国特開２００４－２２０１２７号公報日本国特開平１０－２２４８２０号公報日本国特開２００５－２０６０６号公報

　上記第一の従来例で説明した特許文献１に記載された３Ｄの光学ズームカメラは、高価で大きい光学ズームカメラを２個必要とするため、携帯端末が高価で大型化するという課題があった。

　一方、上記第二の従来例で説明した特許文献２に記載された３Ｄ光学ズームカメラは、片側が単焦点方カメラであるため、安価で小型化が可能であるが、単焦点カメラ画像の高解像度化のソフト処理に時間がかかり動画撮影が困難であった。また、光学ズームカメラ画像と単焦点カメラ画像の対応ブロック（または対応画素）が見つからない場合があり、このときには、単焦点カメラ画像が部分的に低解像度の劣化した画像となっていた。

　なお、特許文献７に記載された３Ｄカメラによる３Ｄ画像生成方法は、３Ｄ画像生成の処理時間がかかるため、動画撮影が困難であった。

　上記第一の従来例及び第二の従来例では第一カメラ１２，２２が光学ズーム機能付きの場合を想定したが、単に、高解像度の第三カメラと低解像度の第四カメラからなる３Ｄカメラの場合も、同様の課題が発生する。以下にその課題について説明する。

　最大画素数がＡＬの第三カメラから切り取った画像を第三カメラ生成画像とし、画素数をＢＬ（ＢＬ≦ＡＬ）とする。一方、最大画素数がＡＲの第四カメラ（ＡＲ＜ＡＬ）から切り取った画像を第四カメラ生成画像とし、画素数をＢＲ（ＢＲ≦ＡＲ）とする。ここでは簡単のため、画像の縦横比は一定と仮定する。

　画素数ＢＬに対する画素数ＢＲの比（ＢＲ／ＢＬ）が小さくなると、第三カメラ生成画像と第四カメラ生成画像を左右画像とする３Ｄ画像は、解像度差が大きくなり見にくい３Ｄ画像となってしまう。このように、左右画像の解像度が異なると３Ｄ画像の画質劣化の要因となる。

　上記第三の従来例で説明した特許文献３に記載された３Ｄカメラは、カメラの相対配置を変化させることで、３Ｄ効果と見やすさを両立できたが、２個のカメラを連続的に動く機能が必要なため、高価で大型のカメラとなってしまう課題があった。

　一方、特許文献４に記載された３Ｄカメラは、左右画像の被写体の水平距離（視差）を画像切り出し位置によって変えることができるので、特許文献３のような複雑な機構的構造が不要であるが、水平方向の視差の調整のみが可能であり、被写体間の奥行き感（３Ｄ感）の高低を調整することはできない。従って、近距離被写体と遠距離被写体が写っている３Ｄ画像では、全ての被写体で快適な視差になるように調整することができなかった。

　特に、近距離被写体の距離が例えば１ｍ未満で非常に近い場合には、ディスプレイ画面に対する飛び出し感が強すぎて見にくくなる。そこで飛び出し感を弱めるために近距離被写体の視差を小さくすると、遠方の被写体が奥に配置され見にくくなるか、発散して立体視できなくなることがあった。

　また、特許文献５に記載された方法では、被写体（オブジェクト）の位置に応じて、奥行き感と視差角（輻輳角）を調整することができるが、３Ｄ画像生成にソフト処理時間がかかるという課題があった。

　上記第四の従来例で説明した２眼カメラによる３Ｄ撮影では、表示画面を縦長になるように筐体を回転した状態で、縦撮影することができなかった。

　一方、特許文献６には、３Ｄの縦撮影を実現できる方法が提案されているが、縦長の３Ｄ撮影を行うために、２つカメラがカメラ光軸に対して物理的に回転する機構や、表示素子の回転機構が必要であり、撮像装置が大型化するという課題があった。

　このように、３Ｄ撮像装置に設けられた２眼カメラの種類若しくは画素数、被写体との距離、又は被写体に対する２眼カメラの配置状態などの撮影状態によって、３Ｄ画像を生成する適当な手法はそれぞれ異なる。しかし、従来の技術では、撮影状態に応じて適当な手法で３Ｄ画像を生成可能な、簡易な構成の３Ｄ撮像装置が実現されていない。

　本発明の目的は、撮影状態に応じて適した手法で３Ｄ画像を生成可能な、簡易な構成の３Ｄ撮像装置を提供することである。

　次に、上記の課題を解決するための手段について述べる。

　本発明の３Ｄ撮像装置は、異なる光軸を持つ２つのカメラと、前記２つのカメラの各々が撮像した２つのカメラ画像の視差から被写体までの距離を測定する距離測定部と、前記２つのカメラ画像から３Ｄ画像を生成する第一３Ｄ画像生成部と、前記距離測定部が測定した被写体までの距離と、前記２つのカメラの一方が撮像したカメラ画像とに基づいて、３Ｄ画像を生成する第二３Ｄ画像生成部と、を備え、前記被写体に対する前記２つのカメラの位置に基づく撮影状態に応じて、前記第一３Ｄ画像生成部による３Ｄ画像の生成及び前記第二３Ｄ画像生成部による３Ｄ画像の生成のいずれかに切り替える。

　また、本発明の３Ｄ撮像装置では、前記２つのカメラは、光学ズーム機能付きの第一カメラと、単焦点型の第二カメラとであり、前記第一カメラによるズーム倍率が所定の倍率より小さいときには、前記第一３Ｄ画像生成部が、前記第一カメラの光学ズーム画像と前記第二カメラの電子ズーム画像から３Ｄ画像を生成し、前記ズーム倍率が前記所定の倍率より大きいときには、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記第一カメラが撮像したカメラ画像とに基づいて、３Ｄ画像を生成する。

　この構成により、低倍率では、第一カメラと第二カメラの画像から３Ｄ画像を生成することで短時間の３Ｄ画像生成が可能となる。また、高倍率では光学ズーム画像から３Ｄ画像を生成することで、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ撮影を実現することが出来る。

　また、本発明の３Ｄ撮像装置では、前記２つのカメラは、第三カメラと、前記第三カメラよりも画素数が小さい第四カメラとであり、生成する３Ｄ画像の画素数が所定の画素数よりも小さいときには、前記第一３Ｄ画像生成部が、前記第三カメラが撮像したカメラ画像と前記第四カメラが撮像したカメラ画像から３Ｄ画像を生成し、前記生成する３Ｄ画像の画素数が前記所定の画素数よりも大きいときには、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記第三カメラが撮像したカメラ画像とに基づいて、３Ｄ画像を生成する。

　この構成により、低倍率では、第三カメラと第四カメラの画像から３Ｄ画像を生成することで短時間の３Ｄ画像生成が可能となる。また、高倍率では第三カメラ画像から３Ｄ画像を生成することで、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ撮影を実現することが出来る。また、左右画像の解像度差が大きい３Ｄ画像の画質劣化を抑制する。

　また、本発明の３Ｄ撮像装置では、前記２つのカメラは、第三カメラと、前記第三カメラよりも画素数が小さい第四カメラとであり、３Ｄ動画撮影のときには、前記第一３Ｄ画像生成部が、前記第三カメラが撮像したカメラ画像と前記第四カメラが撮像したカメラ画像から３Ｄ画像を生成し、３Ｄ静止画撮影のときには、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記第三カメラが撮像したカメラ画像とに基づいて、３Ｄ画像を生成する。

　この構成により、動画撮影時は、第三カメラと第四カメラの画像から３Ｄ画像を生成することで短時間の３Ｄ動画生成が可能となる。また、静止画撮影時は、第三カメラ画像から３Ｄ画像を生成することで、安価なカメラ構成で高解像度を維持したまま、ズーム倍率が高い３Ｄ静止画撮影を実現することが出来る。また、左右画像の解像度差が大きい３Ｄ画像の画質劣化を抑制する。

　また、本発明の３Ｄ撮像装置では、前記距離測定部が測定した被写体までの距離が所定値以上である遠距離撮影モードでは、前記第一３Ｄ画像生成部が、前記２つのカメラの一方が撮像したカメラ画像と前記２つのカメラの他方が撮像したカメラ画像から第一３Ｄ画像を生成し、前記距離測定部が測定した被写体までの距離が前記所定値未満である近距離撮影モードでは、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記２つのカメラのいずれか一方が撮像したカメラ画像とに基づいて、第二３Ｄ画像を生成し、前記第二３Ｄ画像において視差角が異なる第一被写体と第二被写体の視差角差が、前記第一３Ｄ画像における前記第一被写体と前記第二被写体の視差角差よりも小さい。

　また、本発明の３Ｄ撮像装置は、前記第一３Ｄ画像及び／又は前記第二３Ｄ画像を出力する表示部を備える。

　この構成により、近距離撮影モードにおいて距離測定部を用いることで、安価なカメラ構成で遠距離と近距離撮影の両方が可能で、３Ｄ効果と見やすさを両立する３Ｄ撮影を実現することが出来る。

　また、本発明の３Ｄ撮像装置では、前記距離測定部は、前記３Ｄ撮像装置から最も近い第三被写体の最近接距離を算出し、前記最近接距離が前記所定値以上の場合は、前記遠距離撮影モードとし、前記最近接距離が前記所定値未満の場合は、前記近距離撮影モードとする。

　この構成により、距離測定部により最近接の被写体距離を測定することで、近距離撮影モードと遠距離撮影モードをユーザが切り替えることが不要となる。

　また、本発明の３Ｄ撮像装置は、筐体と、前記筐体に配置された長方形の表示素子と、を備え、前記２つのカメラは、前記表示素子の長辺方向に並んで配置され、前記表示素子の長辺を垂直にした縦３Ｄ撮影モードでは、前記距離測定部が、前記２つのカメラの各々が撮像した２つのカメラ画像の前記表示素子の短辺方向の視差から被写体までの距離を測定し、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記２つのカメラの一方が撮像したカメラ画像とに基づいて、３Ｄ画像を生成する。

　この構成により、被写体までの距離から３Ｄ画像を生成することで、カメラの配置を物理的に変更することなく、小型で安価に縦３Ｄ撮影と横３Ｄ撮影を両立できる。

　また、本発明の３Ｄ撮像装置では、前記表示素子の長辺を水平にした横３Ｄ撮影モードでは、前記第一３Ｄ画像生成部が、前記２つのカメラの各々が撮像したカメラ画像から３Ｄ画像を生成する。

　この構成により、横３Ｄ撮影モードのときには３Ｄ画像の生成時間を短縮することが出来る。

　また、本発明の３Ｄ撮像装置は、前記表示素子の長辺が水平か垂直かを検出する姿勢センサを有し、前記姿勢センサの検出結果に応じて、前記縦３Ｄ撮影モード又は前記横３Ｄ撮影モードに切り替える。

　この構成により、姿勢センサの出力結果に応じて縦３Ｄ撮影モードへ自動切換えすることで、ユーザによる切り替えが不要となる。

　また、本発明の３Ｄ撮像装置では、前記表示素子は、３Ｄ表示機能を有し、前記横３Ｄ撮影モードでは３Ｄプレビュー表示し、前記縦３Ｄ撮影モードでは、前記２つのカメラのいずれか一方のカメラ画像を用いた２Ｄ画像で前記表示素子によるプレビュー表示を行う。

　この構成により、縦３Ｄ撮影モード時においても３Ｄ画像の生成時間に依存せず、プレビュー表示が可能となる。

　また、本発明の３Ｄ撮像装置では、前記表示素子は、前記縦３Ｄ撮影モードでは、前記２つのカメラのいずれか一方のカメラ画像から前記表示素子の短辺方向に視差を追加した擬似３Ｄ画像で前記プレビュー表示を行う。

　この構成により、縦３Ｄ撮影モード時のプレビューを擬似的に３Ｄ表示でき、２Ｄ撮影時との差が認識しやすくなる。

　また、本発明の３Ｄ撮像装置では、前記横３Ｄ撮影モードと前記縦３Ｄ撮影モードの左右画像の視差設定が独立にそれぞれ設定できる。

　この構成により、縦撮影と横撮影にそれぞれ最適な視差を設定することが出来る。

　また、本発明の３Ｄ撮像装置では、前記横３Ｄ撮影モードよりも前記縦３Ｄ撮影モードの前記視差設定値が近距離用である。

　この構成により、縦撮影時に近距離撮影がしやすくなる。

　また、本発明の３Ｄ撮像装置は、第一カメラと、前記第一カメラの光軸と異なる光軸を有し、前記第一カメラよりも画角が大きな第二カメラと、前記第一カメラの画角に等しい撮影範囲のカメラ画像を前記第一カメラの撮像時間に同期して撮像するよう前記第二カメラを制御するカメラ制御部と、前記第一カメラのカメラ画像と前記第二カメラのカメラ画像とから３Ｄ画像を生成する３Ｄ画像生成部と、を備える。

　この構成により、カメラに対して画角を変更するための操作を行わずして、３Ｄ画像のための左右画像を電気的に取得することができる。このため、動く被写体の３Ｄ映像も得ることができる。

　また、本発明の３Ｄ撮像装置では前記カメラ制御部は、前記第二カメラに入力するクロック信号の周波数を変更することで、前記第二カメラのカメラ画像の撮像時間が前記第一カメラの撮像時間に同期させる。

　この構成により、カメラのブランク期間等の設定を変えることなく、画角の変更に対応することができる。

　本発明によれば、撮影状態に応じて適した手法で３Ｄ画像を生成可能な、簡易な構成の３Ｄ撮像装置を提供できる。

（ａ），（ｂ），（ｃ）本発明の実施の形態１の３Ｄ撮像装置の概略構造図本発明の実施の形態１のズーム時の３Ｄ画像の生成方法を示す図非対称な３Ｄ画像の主観評価結果を示す図本発明の実施の形態１の３Ｄ撮影のフローチャート本発明の実施の形態１の第二の３Ｄ撮影のフローチャート（ａ），（ｂ），（ｃ）本発明の実施の形態２の３Ｄ画像の生成方法を示す図第一３Ｄ画像生成方法における画素数と解像度比の関係を示す図本発明の実施の形態２の３Ｄ撮影のフローチャート（ａ），（ｂ），（ｃ）本発明の実施の形態３の３Ｄ撮像装置の概略構造図（ａ），（ｂ）一般的な３Ｄ画像撮影方法を示す図本発明の実施の形態３の３Ｄ画像生成方法を示す図（ａ），（ｂ）本発明の実施の形態３の３Ｄ画像生成方法の詳細を示す図本発明の実施の形態３の３Ｄ撮影フローチャート（ａ），（ｂ），（ｃ）本発明の実施の形態４の３Ｄ撮像装置の概略構造図（ａ），（ｂ）本発明の実施の形態４の横撮影モードと縦撮影モードの概略図本発明の実施の形態４の３Ｄ画像生成方法を示す図本発明の実施の形態４の３Ｄ撮影フローチャート本発明の実施の形態５の３Ｄ撮影フローチャート本発明の実施の形態５の第二の３Ｄ撮影フローチャート本発明の実施の形態５の第二の３Ｄ撮影フローチャートのプレビュー表示画像を示す図（ａ），（ｂ）本発明の実施の形態６の３Ｄ画像生成方法を示す図（ａ），（ｂ），（ｃ）本発明の実施の形態７の３Ｄ撮像装置の概略構造図本発明の実施の形態７の各カメラのセンサが取得したイメージを示す図（ａ），（ｂ），（ｃ）従来の３Ｄ撮像装置の概略構造図従来の３Ｄ撮像装置の概略構造図（ａ），（ｂ），（ｃ）従来の３Ｄ撮像装置の概略構造図被写体距離と視差角の関係を示すグラフの図（ａ），（ｂ）従来の３Ｄ撮像装置の概略構造図筐体４１を９０度回転して、表示画面を縦長にしたときの様子を示す図（ａ），（ｂ）従来の３Ｄ撮像装置の概略構造図

　以下、本発明の実施の形態について、図面を用いて説明する。

　（実施の形態１）
　図１（ａ），（ｂ），（ｃ）は、本実施の形態の３Ｄ撮像装置の概略構造図である。

　以下、本実施の形態１では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。

　図１（ａ），（ｂ）に示すように、携帯端末装置の長方形の筐体１０１の表示素子１０５の裏面に第一カメラ１０２と第二カメラ１０３からなる３Ｄカメラ１０４が配置されている。第一カメラ１０２は光学ズーム機能がついたカメラであり、第二カメラ１０３は光学ズーム機能がついていない単焦点カメラである。第二カメラ１０３は第一カメラ１０２に比べて安価で小型であるため、図２４（ａ）の光学ズーム付きカメラ２個を用いたときよりも、携帯端末の小型化または薄型化が可能となる。

　なお、図１（ａ）は光学ズーム機能付き第一カメラ１０２が左画像用カメラであるが、右画像用カメラとしても構わない。

　図１（ｃ）は携帯端末装置のブロック構成図を示す。第一カメラ１０２と第二カメラ１０３はカメラ制御手段１０８で制御され、撮影画像を記憶手段１１０に保存したり、表示素子１０５を用いて表示する。

　第一カメラ１０２はセンサ１０７とレンズ１０６からなり、光学ズーム機能が付いていて、レンズ１０６の位置をズーム制御信号１０９により制御することで所望のズーム倍率を得る。

　図２にズーム時の３Ｄ画像生成方法を示す。

　まず、ズーム倍率Ｎが切り換え倍率Ｎ０より小さいときの３Ｄ画像生成方法について説明する。これを第一３Ｄ画像生成方法と呼ぶことにする。

　第一カメラ１０２（左カメラ）はズーム倍率Ｎに応じて、光学ズーム画像を取得する。また、第二カメラ１０３（右カメラ）の画像から、光学ズーム画像と同じ画角の画像を切り出したのち、光学ズーム画像と同じ画素数に画素調整（＝リサイズ）した電子ズーム画像を作成する。光学ズーム画像［１］を左画像、電子ズーム画像［２］を右画像とすることで、３Ｄ画像を生成する。

　なお、電子ズーム画像は、光学ズーム画像に比べて倍率Ｎが大きくなるにつれて、相対的に解像度が低下するため、第一３Ｄ画像生成方法は、ズーム倍率ＮがＮ０よりも小さいときのみとする。

　右画像と左画像の解像度を示す元画像の縦画素数をＹＬ、ＹＲ、横画素数をＸＬ、ＸＲとすると、ズーム倍率が大きくなると、ＹＬ（またはＸＬ）に比べてＹＲ（またはＸＲ）が小さくなる。

　３Ｄの左右画像の解像度が異なるときに、３Ｄ画像として違和感なく見えるかどうかを本発明者らが主観評価を実施した結果を図３に示す。

　左画像がフルＨＤ（画素数１９２０×１０８０ドット）の画像に対して、右画像の画素数をフルＨＤよりも小さくしたときに、３Ｄ画像として違和感がないかどうかを、４種類の３Ｄ画像について評価した結果を示している。

　縦画素数比は、左画像の縦画素ＹＬ（＝フルＨＤの１０８０ドット）に対する、右画像の縦画素数ＹＲの比を表していて、小さいほど左右の画像の解像度差が大きいことを意味する。

　発明者の主観評価結果から、ＹＲ／ＹＬがおよそ０．４以上であれば、右画像の解像度の低下は気にならず、３Ｄ画像としてそれほど違和感のない画像が得られることがわかった。

　従って、ＹＲ／ＹＬが例えば０．４以上となるときのあるズーム倍率をＮ０とすれば、Ｎ＜Ｎ０のときには、上記の第一３Ｄ画像生成方法で３Ｄ画像の生成が可能であることがわかった。

　なお、Ｎ＞Ｎ０の場合には、右画像の解像度が低下するため良好な３Ｄ画像が得られない。

　そこで次に、ズーム倍率がＮ０より大きいときの３Ｄ画像生成方法について説明する。これを第二３Ｄ画像生成方法と呼ぶことにする。

　第二３Ｄ画像生成方法は、各画素または微小領域ごとの距離情報（デプス情報）を算出または推定し、その距離情報から３Ｄ画像を生成する方法である。

　デプス情報の算出方法として、画素の明るさから推定する方法なども存在するが、より正確な測定方法は、２眼カメラの左右画像から各画素または微小領域ごとの視差情報（＝距離情報）を得る方法であり、例えば特許文献７に記載されている。

　ここでは、２眼カメラの左右画像から各画素または微小領域ごとの視差情報（＝距離情報）を得る方法を採用する。

　図２の左右画像［３］と［４］から、各画素（または微小領域）に対して、画像処理の相関演算などを用いて対応関係をつけることで、各画素の視差情報（距離情報）［５］が算出できる。

　第一カメラ左画像［３］と視差情報［５］から、左右画像［６］と［７］を得る。

　３Ｄ画像生成には、解像度の高い第一カメラ画像［３］を用いているため、左右画像ともに高解像度画像にすることができる。

　したがって、高倍率（Ｎ＞Ｎ０）のときには第二３Ｄ画像生成方法を用いることで高解像度の３Ｄ画像が得られる。

　図４には、本発明の実施の形態１のズーム時の３Ｄ撮影フローチャートを示す。

　以上のように、第一の３Ｄ画像生成方法と第二の３Ｄ画像生成方法を組み合わせることで、広いズーム倍率範囲において高解像度の３Ｄ撮影が可能となる。

　低倍率（Ｎ＜Ｎ０）の場合にも、第二３Ｄ画像生成方法を用いることが可能だが、第二３Ｄ画像生成方法は処理時間がかかるため、第二カメラ画像の解像度低下が許容される程度であれば、第二３Ｄ画像生成方法よりも第一３Ｄ画像生成方法のほうが望ましい。

　また、３Ｄ動画撮影の場合も、第二３Ｄ画像生成方法は処理時間がかかり、動画のフレームレートが小さくなってしまうため、第二３Ｄ画像生成方法よりも第一３Ｄ画像生成方法のほうが望ましい。

　そこで、第一３Ｄ画像生成方法と第二３Ｄ画像生成方法を、ズーム倍率に応じて切り換える代わりに、動画と静止画で切り換える方法も有効である。

　図５には、このときの３Ｄ撮影フローチャートを示す。動画撮影の場合には、処理速度の早い第一３Ｄ画像生成方法を採用し、静止画撮影の場合には、高解像度の第二３Ｄ画像生成方法を採用する。

　これにより、３Ｄ動画のフレームレートを低下することなく３Ｄ画像を生成することができる。

　（実施の形態２）
　本実施の形態２では、生成する３Ｄ画像の画素数に応じて、３Ｄ画像生成方法を変える方法について説明する。

　本実施の形態２では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。

　図６（ａ）は、本実施の形態２の３Ｄ撮像装置のブロック構成図である。

　ここでは、第三カメラ１１１と第四カメラ１１２ともに光学ズーム機能は無しとするが、光学ズーム機能があっても構わない。

　図６（ｂ）に示す３Ｄ画像生成方法は、実施の形態１の第一３Ｄ画像生成方法と同様である。

　以下、画素数とは縦画素数×横画素数を指し、解像度とは、元画像における画素数を意味する。また、ここでは簡単のため画像の縦横比は一定と仮定する。

　最大画素数がＡＬ（［６］）の第三カメラ１１１から生成した画像を第三カメラ生成画像（［８］）とし、画素数をＢＬ（ＢＬ≦ＡＬ）とする。一方、最大画素数がＡＲ（ＡＲ＜ＡＬとする）（［７］）の第四カメラ１１２から生成した画像を第四カメラ生成画像（［９］）とし、画素数をＢＲ（ＢＲ≦ＡＲ）とする。

　［８］画像を画素数Ｃの画像にリサイズしたものを［１０］画像とし、［９］画像を画素数Ｃの画像にリサイズしたものを［１１］画像とし、［１０］と［１１］から３Ｄ画像を得る。

　図７に３Ｄ画像の画素数Ｃに対する解像度比Ｐ（（右解像度）／（左解像度））のグラフの一例を示す。

　画素数ＣがＢＲよりも小さいときには、［１０］の解像度はＢＬからＣに減少し、［１１］の解像度もＢＲからＣに減少する。従って、左右解像度の比は、（左解像度）／（右解像度）＝Ｃ／Ｃ＝１となる。

　一方、画素数ＣがＢＲよりも大きく、ＢＬよりも小さいときには、［１０］の解像度（画素数）はＢＬからＣに減少し、［１１］の解像度はＢＲのままである。従って、左右解像度の比は、（右解像度）／（左解像度）＝ＢＲ／Ｃ＞ＢＲ／ＢＬとなる。

　一方、画素数ＣがＢＬよりも大きいときには、［１０］の解像度はＢＬのままで、［１１］の解像度もＢＲのままである。従って、左右解像度の比Ｐは、（左解像度）／（右解像度）＝ＢＬ／ＢＲとなる。

　ここで解像度比Ｐが、例えば０．３×０．３＝０．０９以上となるある解像度をＰ０と設定し、このときの３Ｄ画像の解像度ＣをＣ０とすると、実施の形態１の図３の結果からわかるように、Ｃ＜Ｃ０であれば、解像度比ＰがＰ０より大きいため、第一３Ｄ画像生成方法を用いた３Ｄ画像で問題ない。

　一方、Ｃ＞Ｃ０のときには解像度比Ｐ０以下で解像度差が大きいため、第一３Ｄ画像生成方法は適さない。そこで、Ｃ＞Ｃ０のときには第二３Ｄ画像生成方法を用いて３Ｄ画像を生成する。

　図６（ｃ）に第二３Ｄ画像生成方法を示す。また、図８には、本発明の実施の形態２の３Ｄ撮影のフローチャートを示す。

　Ｃ＞Ｃ０のときには、第三カメラ画像［１０］と第四カメラ画像［１１］から距離情報［１２］を算出し、高解像で画素数Ｃの第三カメラ画像［１０］と距離情報［１２］から３Ｄ画像を得る。生成方法は実施の形態１の第二３Ｄ画像生成方法と同様である。これにより、左右画像の解像度が同じ３Ｄ画像が得られる。

　以上のように、生成する３Ｄ画像の画素数Ｃに応じて、３Ｄ画像生成方法を変えることによって、左右画像の解像度差が小さく見やすい３Ｄ画像が得られる。

　（実施の形態３）
　図９（ａ），（ｂ），（ｃ）は、本実施の形態の３Ｄ撮像装置の概略構造図である。

　以下、本実施の形態３では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。

　図９（ａ），（ｂ）に示すように、携帯端末装置の長方形の筐体２０１の表示素子２０５の裏面に第一カメラ２０２と第二カメラ２０３からなる３Ｄカメラ２０４が配置されている。

　図９（ｃ）は携帯端末装置のブロック構成図を示す。第一カメラ２０２と第二カメラ２０３はカメラ制御手段２０８で制御され、撮影画像を記憶手段２０９に保存したり、表示素子２０５を用いて表示する。

　距離情報測定手段２１０は、第一カメラ２０２と第二カメラ２０３の画像から被写体の距離情報を測定するものである。

　図１０（ａ），（ｂ）に、遠距離被写体２１１と近距離被写体２１２がある場合の一般的な３Ｄ画像撮影方法を示す。図１０（ａ）は遠距離被写体２１１と近距離被写体２１２ともに、仮想投影面（または３Ｄディスプレイ画面）より奥にある場合を示す。一方、図１０（ｂ）は近距離被写体２１２が３Ｄカメラ２０４の近くにあり、遠距離被写体２１１が仮想投影面より奥にあって、近距離被写体２１２が手前にある場合を示す。図１０（ｂ）の被写体の視差角範囲Ｄ２は図１０（ａ）の被写体の視差角範囲Ｄ１よりも広い。

　図１０（ｂ）のように近距離被写体２１２が非常に近くに存在するときには、視差はＣ２Ｌ－Ｃ２Ｒで非常に大きいため、この状態では３Ｄディスプレイ画面に対して手前に飛び出しすぎて立体視しにくい。

　例えば特許文献４のように左右画像の水平位置をずらすことで、近距離被写体２１２の視差（Ｃ２Ｌ－Ｃ２Ｒ）を小さくすることはできるが、このとき遠距離被写体２１１の視差（Ｃ１Ｌ－Ｃ１Ｒ）がマイナス方向に大きくなり、立体視不可能になることがある。

　これは、近距離被写体２１２と遠距離被写体２１１の視差の差（ΔＣＬ－ΔＣＲ）が大きいことが原因である。

　そこで、以下のような３Ｄ画像生成方法を採用する。

　カメラから最も近い近距離被写体２１２の距離がある値以上の場合は、第一カメラ画像と第二カメラ画像を左右画像とした３Ｄ画像を得る。これを遠距離撮影モードと呼ぶことにする。

　図１０（ａ）に示すように、２つの被写体の視差の差｜ΔＢＬ－ΔＢＲ｜が小さく、視差角範囲Ｄ１が狭いため、遠距離被写体２１１も近距離被写体２１２も快適に立体視することができる。

　例えば、カメラの基線長が６．５ｃｍのときに、最も近い近距離被写体の距離が１ｍ以上であれば、視差角が±１度の範囲内に収めることができ、快適な３Ｄ画像が得られる。

　次に、カメラから最も近い近距離被写体２１２の距離がある値（例えば１ｍ）未満の場合は、近距離撮影モードと呼び、以下の３Ｄ画像生成方法を採用する。

　第一カメラ画像と第二カメラ画像から、各画素または微小領域ごとの距離情報（デプス情報）を算出または推定し、その距離情報から３Ｄ画像を生成する方法であり、例えば特許文献７に記載されている。

　図１１に近距離撮影モードと遠距離撮影モードの３Ｄ画像生成方法を示す。また、図１３には３Ｄ撮影のフローチャートを示す。

　最も近い近距離被写体距離ＬがＬ０よりも大きいときには遠距離撮影モードとし、左右画像［１］と［２］から３Ｄ画像を得る。

　一方、近距離被写体距離ＬがＬ０よりも小さいときには近距離撮影モードとし、左右画像［３］と［４］から、各画素（または微小ブロック）に対して、画像処理の相関演算などを用いて対応関係をつけることで、各画素の視差情報（距離情報）［５］を算出する。この視差情報（距離情報）の測定は、距離情報測定手段２１０で実施する。さらに、第一カメラ画像［３］（または第二カメラ画像［４］）と視差情報［５］から、左右画像［６］と［７］を得る。

　近距離撮影モードでは、視差角範囲を実際より狭くするために、算出した距離情報に１より小さいある一定値（ａ）を掛け合わせることにより、実際よりも奥行き感を小さくすることができる。

　例えば、図１２（ｂ）のように、［３］と［４］から算出される各画素（ｘ、ｙ）の距離情報［５］から得られる視差角をA（ｘ，ｙ）とすると、A’（ｘ、ｙ）＝A（ｘ、ｙ）×ａ　（０＜ａ＜１）とすれば、視差角範囲を実際より狭くすることができる。

　すなわち、図１２（ａ）の近距離撮影モードにおける視差角差｜ΔＣＬ‘－ΔＣＲ’｜が、遠距離撮影モードの画像［１］と［２］における、図１０（ｂ）の近距離被写体と遠距離被写体の視差角の差｜ΔＣＬ－ΔＣＲ｜よりも小さくすることができる。

　これにより、視差角範囲Ｄ３が視差角範囲Ｄ２よりも狭くなり、近距離被写体が非常に近い場合でも視差角の変動が大きすぎず、快適な立体視が可能となる。

　次に、最も近い近距離被写体の距離の測定方法について述べる。

　遠距離撮影モードと近距離撮影モードの切り換えはユーザ自身が行っても構わないが、自動的に切り換えるためには、本３Ｄ撮像装置が最も近い被写体の距離を測定する手段を有していることが必要である。

　近距離被写体の距離の測定方法として、レーダーの反射時間や赤外線などを用いた一般的な距離測定器を用いても構わないが、携帯端末装置が高価で大型化するため、ここでは、第一カメラ２０２と第二カメラ２０３の画像から推定する方法を採用する。これにより、距離測定手段のための追加部品が不要となる。

　例えば、距離情報測定手段２１０において、左右カメラ画像の対応画素（またはブロック）がわかれば、その画素（ブロック）の距離が推定できる。その画素の中で最も近くにあるものが近距離被写体であると推定できる。

　なお、左右画像全ての対応画素を算出するには処理時間がかかるため、撮影画像の中で数ポイントの画素（またはブロック）について距離情報を算出しても構わない。

　また、一般に被写体は画像中心部分に集中していると考えられるので、中心付近の画素（またはブロック）の距離情報から最近接被写体の距離を推定しても構わない。

　以上のように、従来の遠距離３Ｄ撮影モードに加え、距離情報測定手段により視差角が調整された近距離３Ｄ撮影モードを組み合わせることで、安価で小型なカメラ構成で３Ｄ効果と見やすさを両立する３Ｄ撮影が可能となる。

　（実施の形態４）
　図１４（ａ），（ｂ），（ｃ）は、本実施の形態の３Ｄ撮像装置の概略構造図である。

　以下、本実施の形態４では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。

　図１４（ａ），（ｂ）に示すように、携帯端末装置の長方形の筐体３０１の表示素子３０５の裏面に第一カメラ３０２と第二カメラ３０３からなる２眼の３Ｄカメラ３０４が配置されている。

　第一カメラ３０２と第二カメラ３０３は、カメラセンサ３０７とレンズ３０６からなる。

　図１４（ｃ）は携帯端末装置のブロック構成図を示す。第一カメラ３０２と第二カメラ３０３はカメラ制御手段３０８で制御され、撮影画像を記憶手段３０９に保存し、表示素子３０５を用いて撮像画像を表示する。

　表示素子３０５は、例えばバリア液晶を有する裸眼３Ｄ液晶であり、バリアの方向を縦と横に切り替えることにより、３Ｄ画像の横長表示と縦長表示が可能である。

　また、電子シャッタ式眼鏡を用いた３Ｄ表示素子であっても、３Ｄ画像の横長表示と縦長表示が可能である。

　なお、３Ｄ画像を表示素子で表示する必要性がなければ、縦長３Ｄ表示ができなくてもよい。または、３Ｄ表示自体ができなくても構わない。

　距離情報抽出部３１０は、第一カメラ３０２と第二カメラ３０３の画像から被写体の距離情報を抽出する機能を有する。

　さらに、この携帯端末は、加速度センサや方位センサなどからなる姿勢センサ３１１を内蔵し、端末の姿勢を検出することができる。

　表示素子の長辺を水平にした撮影を横３Ｄ撮影モード、表示素子の長辺を垂直にした撮影を縦３Ｄ撮影モードと呼ぶことにする。

　表示素子の長辺が水平か垂直かは姿勢センサ３１１が検出し、横３Ｄ撮影モードにするか縦３Ｄ撮影モードにするかを自動的に決定する。

　なお、姿勢センサ３１１がない場合には、ユーザ自身が横３Ｄ撮影モードか縦３Ｄ撮影モードかを選択すればよいため、姿勢センサ３１１がなくても構わない。

　図１５（ａ）に横３Ｄ撮影モード、図１５（ｂ）に縦３Ｄ撮影モードの概要を示す。

　なお、第一カメラ３０２および第二カメラ３０３の各カメラセンサ３０７の長辺は表示素子の長辺と平行とする。

　横撮影モードでは、従来通り第一カメラ画像と第二カメラ画像を左右画像にすることで３Ｄ画像を得る。

　図１５（ａ）に示すように、３Ｄ画像の再生表示または、プレビュー表示では、水平方向すなわち表示素子の長辺方向に左右視差を有する３Ｄ画像となる。

　一方、縦撮影モードでは、左右画像が表示素子の短辺方向に左右視差を有する３Ｄ画像とする。

　この短辺方向に左右視差を有する縦３Ｄ画像は、第一カメラ画像と第二カメラ画像を左右画像としただけでは得ることができない。次に、縦３Ｄ画像の生成方法について説明する。

　図１６は横３Ｄ画像と縦３Ｄ画像の生成手順を示す。

　横３Ｄ撮影モードでは、左右画像［１］と［２］から３Ｄ画像を得る。

　一方、縦３Ｄ撮影モードでは、縦長の左右画像［３］と［４］から、各画素（または微小ブロック）に対して、画像処理の相関演算などを用いて対応関係をつけることで、各画素（または微小ブロック）の視差情報（＝距離情報）［５］を算出する。さらに、第一カメラ画像［３］（または第二カメラ画像［４］）と視差情報［５］から、カメラ画像の短辺方向に左右視差（ＢＬ－ＢＲ）を有する左右画像［６］と［７］を得る。

　２眼カメラ画像から距離情報を算出したのち３Ｄ画像を生成する方法は、例えば特許文献６に記載されているが、表示素子の長辺方向に配置された２眼カメラから、表示素子の短辺方向の視差（ＢＬ－ＢＲ）を有する３Ｄ画像を生成するところが、本発明と従来例の異なる点である。

　なお、横３Ｄ撮影モードにおいても、縦３Ｄ撮影モードと同様に距離情報による３Ｄ画像生成方法を用いても構わない。

　但し、距離情報による３Ｄ画像生成方法は処理時間がかかるため、横３Ｄ撮影モードでは従来の２眼カメラ画像で３Ｄ画像を生成したほうが望ましい。

　図１７には３Ｄ撮影フローチャートの一例を示す。姿勢センサ３１１の検出結果が縦置きの場合は縦３Ｄ撮影モード、横置きの場合は横３Ｄ撮影モードに切り替える。

　横置きの場合は、３Ｄプレビュー表示画像は第一カメラ画像と第二カメラ画像を用いる。

　一方、縦置きの場合は、３Ｄプレビュー表示画像としては、ステップＳ３０２とＳ３０３で生成された３Ｄ画像を用いる。なお、このときには、視差バリア液晶のバリア液晶を縦表示のモードに切り換える必要がある。

　以上のように、通常の２眼カメラによる３Ｄ画像生成方法と、距離情報と片側のカメラ画像から３Ｄ画像生成する方法を組み合わせることで、カメラの配置を物理的に変更することなく、小型で安価に、縦３Ｄ撮影と横３Ｄ撮影を両立させることができる。

　（実施の形態５）
　次に、本実施の形態５の３Ｄ撮像におけるプレビュー表示方法ついて説明する。

　なお、本実施の形態５の３Ｄ画像生成方法の基本的部分に関しては実施の形態４と同様であるため、説明は省略する。

　図１８には本実施の形態５の３Ｄ撮影フローチャートの一例を示す。

　姿勢センサ３１１の検出結果が縦置きの場合は縦３Ｄ撮影モード、横置きの場合は横３Ｄ撮影モードに切り替える。

　実施の形態４の図１７との違いは、ステップＳ３１２の縦３Ｄ撮影モードの場合のプレビュー表示の方法である。

　実施の形態４では、縦３Ｄ撮影時のプレビュー表示は、第一または第二カメラ画像と距離情報から生成した３Ｄ画像から生成したプレビュー画像を用いていたが、距離情報による３Ｄ画像生成に時間がかかるため、プレビュー表示の開始時間が遅れたり、表示フレームレートが遅いといった課題があった。

　そこで、ここでは、第一または第二カメラ画像の２Ｄ画像を用いてプレビュー表示するものとする。なお、３Ｄバリア液晶は３Ｄ表示モードではなく２Ｄ表示モードとする。

　これにより、上記の縦３Ｄ撮影時のプレビュー表示の遅れの問題が解消できる。

　なお、単なる縦長の２Ｄ撮影と縦３Ｄ撮影モードを、ユーザが明確に区別できるように、２Ｄ表示画面の中に３Ｄ表示プレビュー中であることがわかる文字表示またはマーク表示等を追加することが望ましい。

　図１９には、もう一つのプレビュー表示を用いた３Ｄ撮影フローチャートの一例を示す。

　図１９と図１８の差は、ステップＳ３２１の縦３Ｄ撮影モードのプレビュー表示の方法である。

　ステップＳ３２１では、第一カメラ画像または第二カメラ画像から擬似３Ｄ画像をプレビュー表示する。ここで、擬似３Ｄ画像とは以下の画像を指す。

　図２０に示すように、第一カメラ画像または第二カメラ画像の２Ｄ画像（［３］）の水平方向のずれ量（Ｃ）が異なる２つの画像を左右画像（［８］と［９］）とする。これを擬似３Ｄ画像と呼ぶ。

　これにより、視差のある画像が生成でき、２Ｄ撮影時のプレビューとは異なるプレビュー画像表示が可能になるため、ユーザが３Ｄ撮影か２Ｄ撮影かの認識が容易となり、２Ｄ撮影と３Ｄ撮影を区別するための表示等が不要となる。

　以上により、上記の縦撮影時のプレビュー表示方法は３Ｄ画像の生成が不要なため、短時間でプレビュー表示が可能となる。２Ｄ表示画面の中に２Ｄ表示プレビューと区別するための文字表示またはマーク表示等は不要である。

　（実施の形態６）
　次に、本実施の形態６の３Ｄ撮像における視差調整方法ついて説明する。

　なお、本実施の形態６の３Ｄ画像生成方法の基本的部分に関しては実施の形態４、５と同様であるため、説明は省略する。

　図２１（ａ），（ｂ）は本実施の形態６の３Ｄ画像生成方法を示す図である。

　図２１（ａ）は横撮影時の３Ｄ画像、（ｂ）は縦撮影時の３Ｄ画像を示す。

　横撮影のときと縦撮影のときに、左右画像の視差が独立に設定できるようにする。横撮影のときに比べて縦撮影のときには被写体が人物などの近距離被写体を撮影する頻度が多いことを想定する。

　縦撮影のときには、近距離の被写体の視差角（または視差Ｃ２）が大きくなり過ぎないように、左右画像の相対的水平距離を予め所定の値に調整する。すなわち、視差設定値が近距離用となるようにする。これにより、縦撮影の近距離撮影でも快適な視差の３Ｄ画像が得られる。

　一方、横撮影のときには、遠距離被写体が多いことを想定し、視差角（または視差Ｃ１）が小さくなりすぎないように、視差設定値を遠距離用とする。

　以上により、縦撮影と横撮影の最適な視差の３Ｄ画像が得られる。

　（実施の形態７）
　図２２（ａ），（ｂ），（ｃ）は、本実施の形態の３Ｄ撮像装置の概略構造図である。

　以下、本実施の形態７では、１個の筐体からなる携帯端末装置を想定して説明するが、その他、折畳み型の携帯端末やデジタルスチルカメラ（ＤＳＣ）など、小型カメラを有する電子機器に装着した場合も同様である。

　図２２（ａ），（ｂ）に示すように、携帯端末装置の長方形の筐体４０１の表示素子４０５の裏面に第一カメラ４０２と第二カメラ４０３からなる３Ｄカメラ４０４が配置されている。

　図２２（ｃ）は携帯端末装置のブロック構成図を示す。第一カメラ４０２と第二カメラ４０３はカメラ制御手段４０８で制御され、撮影画像を記憶手段４０９に保存したり、表示素子４０５を用いて表示する。

　第一カメラ４０２と第二カメラ４０３はセンサ４０７とレンズ４０６からなる。但し、第二カメラ４０３の画角は、第一カメラ４０２の画角よりも大きい。カメラ制御手段４０８は、第二カメラ４０３のセンサ４０７が取得したイメージに対するスキャン範囲とスキャン速度を調整することで、第一カメラ画像と第二カメラ画像の撮像範囲と撮像時間の同期を行う。また、カメラ制御手段４０８は、第一カメラ画像と第二カメラ画像を左右画像とした３Ｄ画像を得る。

　以下、図２３を参照して、カメラ制御手段４０８によるスキャン範囲の調整について説明する。カメラ制御手段４０８は、第二カメラ４０３が第一カメラ４０２の画角と同じ画角の範囲のみをスキャンするよう、垂直方向のスキャン範囲を図２３の位置Ａ１から位置Ａ２の間に限定する。すなわち、カメラ制御手段４０８は、第二カメラ４０３のセンサ４０７が取得したイメージのうち、第一カメラ４０２には写っていない範囲はスキャンしない。

　次に、図２３を参照して、カメラ制御手段４０８によるスキャン速度の調整について説明する。カメラ制御手段４０８は、第二カメラ４０３に対して調整した範囲をスキャンする時間が、第一カメラ４０２のセンサ４０７のイメージの全てをスキャンする時間Ｔ１と同じ時間Ｔ２になるよう、第二カメラ４０３のセンサ４０７が取得したイメージのうち上記限定した範囲をスキャンする速度を調整する。スキャン速度の調整は、第二カメラ４０３の画素のサンプリング周期、ブランキング期間、又は第二カメラ４０３に入力するクロック信号の周波数を変更することによって行われる。

　このように、カメラ制御手段４０８は、画角が異なる第一カメラ４０２と第二カメラ４０３が同じ時間に取得した２つのイメージに対して、スキャン開始から終了までの垂直方向の画角を一致させ、同じ画角のイメージを同じ速度でスキャンする。したがって、第一カメラ４０２の第一カメラ画像と、第一カメラ画像の画角及び撮像時間に同期した第二カメラ４０３の第二カメラ画像とが得られる。

　なお、図２３を参照した上記説明では、画角の大きい第二カメラ４０３におけるスキャン速度を遅くすることで、第一カメラ４０２と第二カメラ４０３の撮像時間を合わせた。しかし、この方法に限らず、画角の小さい第一カメラ４０２におけるスキャン速度を速くすることで、２つのカメラ画像の同じ画角に対する撮像時間を同期させてもよい。

　また、本実施の形態では、片方のカメラのみが光学ズーム機能を有していても、同様に撮像時間を合わせることができる。例えば、第一カメラ４０２が光学ズームを行えば、第一カメラ４０２の画角は小さくなる。このとき、カメラ制御手段４０８は、第一カメラ４０２における光学ズーム倍率の変化に応じて、第二カメラ４０３におけるスキャン範囲とスキャン速度を調整することで、２つのカメラ画像の撮像範囲と撮像時間の同期を行うことができる。

　例えば、第一カメラ４０２の光学ズーム倍率が１倍の状態で第一カメラ４０２の画角に合わせて第二カメラ４０３におけるスキャン範囲とスキャン速度を調整した後、第一カメラ４０２の光学ズーム倍率がｎ倍となった場合、カメラ制御手段４０８は、第二カメラ４０３に入力するクロック信号の周波数を１／ｎ倍に変更する。この場合、カメラ制御手段４０８は、第二カメラ４０３におけるスキャン範囲のみを倍率に合わせて１／ｎに調整するだけで、２つのカメラ画像の撮像範囲と撮像時間の同期をとることができる。

　なお、第一カメラ４０２と第二カメラ４０３は、外部で同期する仕組みを持ち、撮像開始の時間を合わせる構成としてもよい。

　以上説明したように、本実施形態によれば、３Ｄ画像を得るための第一カメラ画像と第二カメラ画像を撮像する際に、第一カメラの画角と第二カメラの画角とが異なれば、第一カメラ画像と第二カメラ画像の撮像範囲と撮像時間が同期するよう、画角が大きい方のカメラのセンサが取得したイメージに対するスキャン範囲とスキャン速度を調整する。したがって、カメラに対して画角を変更するための操作を行わずして、３Ｄ画像のための左右画像を電気的に取得することができる。このため、動く被写体の３Ｄ映像も得ることができる。

　また、いずれか一方のカメラの画角が変更されても、第一カメラ画像と第二カメラ画像の撮像時間の同期はクロック信号の周波数を変更すればよい。したがって、カメラのブランク期間等の設定を変えることなく、画角の変更に対応することができる。

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

　本出願は、2011年3月17日出願の日本特許出願（特願2011-058826）、2011年3月17日出願の日本特許出願（特願2011-058827）及び2011年3月17日出願の日本特許出願（特願2011-058832）に基づくものであり、その内容はここに参照として取り込まれる。

　本発明は３Ｄカメラとして有用であり、携帯電話、携帯端末、デジタルスチルカメラ、等々のカメラを有する様々な電子機器に利用可能である。

　１０１　　筐体
　１０２　　第一カメラ
　１０３　　第二カメラ
　１０４　　３Ｄカメラ
　１０５　　表示素子
　１０６　　レンズ
　１０７　　センサ
　１０８　　カメラ制御手段
　１０９　　ズーム制御信号
　１１０　　記憶手段
　１１１　　第三カメラ
　１１２　　第四カメラ
　２０１　　筐体
　２０２　　第一カメラ
　２０３　　第二カメラ
　２０４　　３Ｄカメラ
　２０５　　表示素子（表示部）
　２０６　　レンズ
　２０７　　センサ
　２０８　　カメラ制御手段
　２０９　　記憶手段
　２１０　　距離情報測定手段
　２１１　　遠距離被写体
　２１２　　近距離被写体
　３０１　　筐体
　３０２　　第一カメラ
　３０３　　第二カメラ
　３０４　　３Ｄカメラ
　３０５　　表示素子
　３０６　　レンズ
　３０７　　カメラセンサ
　３０８　　カメラ制御手段
　３０９　　記憶手段
　３１０　　距離情報抽出部
　３１１　　姿勢センサ

Claims

　異なる光軸を持つ２つのカメラと、
　前記２つのカメラの各々が撮像した２つのカメラ画像の視差から被写体までの距離を測定する距離測定部と、
　前記２つのカメラ画像から３Ｄ画像を生成する第一３Ｄ画像生成部と、
　前記距離測定部が測定した被写体までの距離と、前記２つのカメラの一方が撮像したカメラ画像とに基づいて、３Ｄ画像を生成する第二３Ｄ画像生成部と、を備え、
　前記被写体に対する前記２つのカメラの位置に基づく撮影状態に応じて、前記第一３Ｄ画像生成部による３Ｄ画像の生成及び前記第二３Ｄ画像生成部による３Ｄ画像の生成のいずれかに切り替える３Ｄ撮像装置。
　請求項１に記載の３Ｄ撮像装置であって、
　前記２つのカメラは、光学ズーム機能付きの第一カメラと、単焦点型の第二カメラとであり、
　前記第一カメラによるズーム倍率が所定の倍率より小さいときには、前記第一３Ｄ画像生成部が、前記第一カメラの光学ズーム画像と前記第二カメラの電子ズーム画像から３Ｄ画像を生成し、
　前記ズーム倍率が前記所定の倍率より大きいときには、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記第一カメラが撮像したカメラ画像とに基づいて、３Ｄ画像を生成する３Ｄ撮像装置。
　請求項１に記載の３Ｄ撮像装置であって、
　前記２つのカメラは、第三カメラと、前記第三カメラよりも画素数が小さい第四カメラとであり、
　生成する３Ｄ画像の画素数が所定の画素数よりも小さいときには、前記第一３Ｄ画像生成部が、前記第三カメラが撮像したカメラ画像と前記第四カメラが撮像したカメラ画像から３Ｄ画像を生成し、
　前記生成する３Ｄ画像の画素数が前記所定の画素数よりも大きいときには、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記第三カメラが撮像したカメラ画像とに基づいて、３Ｄ画像を生成する３Ｄ撮像装置。
　請求項１に記載の３Ｄ撮像装置であって、
　前記２つのカメラは、第三カメラと、前記第三カメラよりも画素数が小さい第四カメラとであり、
　３Ｄ動画撮影のときには、前記第一３Ｄ画像生成部が、前記第三カメラが撮像したカメラ画像と前記第四カメラが撮像したカメラ画像から３Ｄ画像を生成し、
　３Ｄ静止画撮影のときには、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記第三カメラが撮像したカメラ画像とに基づいて、３Ｄ画像を生成する３Ｄ撮像装置。
　請求項１に記載の３Ｄ撮像装置であって、
　前記距離測定部が測定した被写体までの距離が所定値以上である遠距離撮影モードでは、前記第一３Ｄ画像生成部が、前記２つのカメラの一方が撮像したカメラ画像と前記２つのカメラの他方が撮像したカメラ画像から第一３Ｄ画像を生成し、
　前記距離測定部が測定した被写体までの距離が前記所定値未満である近距離撮影モードでは、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記２つのカメラのいずれか一方が撮像したカメラ画像とに基づいて、第二３Ｄ画像を生成し、
　前記第二３Ｄ画像において視差角が異なる第一被写体と第二被写体の視差角差が、前記第一３Ｄ画像における前記第一被写体と前記第二被写体の視差角差よりも小さい３Ｄ撮像装置。
　請求項５に記載の３Ｄ撮像装置であって
　前記第一３Ｄ画像及び／又は前記第二３Ｄ画像を出力する表示部を備える３Ｄ撮像装置。
　請求項５又は請求項６に記載の３Ｄ撮像装置であって、
　前記距離測定部は、前記３Ｄ撮像装置から最も近い第三被写体の最近接距離を算出し、
　前記最近接距離が前記所定値以上の場合は、前記遠距離撮影モードとし、
　前記最近接距離が前記所定値未満の場合は、前記近距離撮影モードとする３Ｄ撮像装置。
　請求項１に記載の３Ｄ撮像装置であって、
　筐体と、
　前記筐体に配置された長方形の表示素子と、を備え、
　前記２つのカメラは、前記表示素子の長辺方向に並んで配置され、
　前記表示素子の長辺を垂直にした縦３Ｄ撮影モードでは、前記距離測定部が、前記２つのカメラの各々が撮像した２つのカメラ画像の前記表示素子の短辺方向の視差から被写体までの距離を測定し、前記第二３Ｄ画像生成部が、前記距離測定部が測定した被写体までの距離と、前記２つのカメラの一方が撮像したカメラ画像とに基づいて、３Ｄ画像を生成する３Ｄ撮像装置。
　請求項８に記載の３Ｄ撮像装置であって、
　前記表示素子の長辺を水平にした横３Ｄ撮影モードでは、前記第一３Ｄ画像生成部が、前記２つのカメラの各々が撮像したカメラ画像から３Ｄ画像を生成する３Ｄ撮像装置。
　請求項８又は請求項９に記載の３Ｄ撮像装置であって、
　前記表示素子の長辺が水平か垂直かを検出する姿勢センサを有し、
　前記姿勢センサの検出結果に応じて、前記縦３Ｄ撮影モード又は前記横３Ｄ撮影モードに切り替える３Ｄ撮像装置。
　請求項８から請求項１０のいずれか１項に記載の３Ｄ撮像装置であって、
　前記表示素子は、３Ｄ表示機能を有し、前記横３Ｄ撮影モードでは３Ｄプレビュー表示し、前記縦３Ｄ撮影モードでは、前記２つのカメラのいずれか一方のカメラ画像を用いた２Ｄ画像で前記表示素子によるプレビュー表示を行う３Ｄ撮像装置。
　請求項１１に記載の３Ｄ撮像装置であって、
　前記表示素子は、前記縦３Ｄ撮影モードでは、前記２つのカメラのいずれか一方のカメラ画像から前記表示素子の短辺方向に視差を追加した擬似３Ｄ画像で前記プレビュー表示を行う３Ｄ撮像装置。
　請求項８から請求項１２のいずれか１項に記載の３Ｄ撮像装置であって、
　前記横３Ｄ撮影モードと前記縦３Ｄ撮影モードの左右画像の視差設定が独立にそれぞれ設定できる３Ｄ撮像装置。
　請求項１３に記載の３Ｄ撮像装置であって、
　前記横３Ｄ撮影モードよりも前記縦３Ｄ撮影モードの前記視差設定値が近距離用である３Ｄ撮像装置。
　第一カメラと、
　前記第一カメラの光軸と異なる光軸を有し、前記第一カメラよりも画角が大きな第二カメラと、
　前記第一カメラの画角に等しい撮影範囲のカメラ画像を前記第一カメラの撮像時間に同期して撮像するよう前記第二カメラを制御するカメラ制御部と、
　前記第一カメラのカメラ画像と前記第二カメラのカメラ画像とから３Ｄ画像を生成する３Ｄ画像生成部と、
を備えた３Ｄ撮像装置。
　請求項１５に記載の３Ｄ撮像装置であって、
　前記カメラ制御部は、前記第二カメラに入力するクロック信号の周波数を変更することで、前記第二カメラのカメラ画像の撮像時間が前記第一カメラの撮像時間に同期させる３Ｄ撮像装置。