JP5223096B2 - ３ｄ映像撮影制御システム、３ｄ映像撮影制御方法、およびプログラム - Google Patents

Description

この発明は、３Ｄ映像を撮影するための撮像装置（カメラ）の位置および方向を制御するシステムに関する。

近年、３Ｄ映画や３Ｄテレビジョンに代表されるように、様々な分野で、立体的な表現が可能な３次元（３Ｄ）映像が用いられることが多くなってきている。こうした３Ｄ映像は通常、一対の３Ｄ撮影用カメラ（左目映像用のカメラと右目映像用のカメラ）によって撮影される。

一対の３Ｄ撮影用カメラは常に位置が固定され、その状態で撮影が行われる。また、このとき、箱庭効果（巨人視）等の問題が生じないように、３Ｄ撮影用カメラの間隔（基線長）は常に約６５ｍｍに保つことが普通である。さらに、３Ｄ撮影用カメラの間隔と、その画角との関係は手動（たとえば、ユーザの手作業）で調整される。

こうした、３Ｄ効果のための基線長の調整は、特許文献１の「３次元撮影装置および方法並びにプログラム」に開示があり、当該文献では、３Ｄ映像の立体効果を得るために、２台の３Ｄ撮影用カメラの基線長を調整する点が記載されている。

特開２０１０−８１０１０号公報

上記のような、２台の３Ｄ撮影用カメラによる撮影方法、すなわち、カメラの間隔が固定され、この間隔と画角との関係が手動により調整されるような撮影方法では、基本的に、近距離の３Ｄ映像しか撮影することができない。

遠距離の物体を撮影する場合は、ズームまたは望遠レンズを利用する必要があるので、このときにカメラの間隔を６５ｍｍに設定したのでは、撮影対象の立体感を得ることができない。このように、これまでの３Ｄ撮影において、カメラの間隔や画角等を含む撮影条件は、撮影者（たとえば、カメラマンや３Ｄグラファー）の経験や勘によって設定されているのが現状である。

たとえば、従来の３Ｄ撮影方法では、近いシーンと遠いシーンの３Ｄ撮影では立体感が異なるものとなってしまう。特に近距離撮影の難しいスポーツなどの３Ｄ撮影は非常に困難である。

しかしながら、これまで、カメラの画角や基線長、輻輳角、対象物までの距離といった撮影条件の好適な関係を表す関係式は提供されておらず、また撮影条件や鑑賞条件を総合的に考慮した３Ｄ撮影システムの理論的体系も確立されていない。さらに、安全視差（たとえば、視差は５０ｍｍ以内）と３Ｄ効果の両方を考慮した撮影条件の明確な関係式が存在しないため、この場合も、カメラの基線長や画角などをどのように設定するかは、撮影者の経験や勘に頼ることになる。

このように、上記特許文献１を含む従来の技術において、３Ｄ撮影における好適な撮影条件を求める関係式や好適な制御方法を具体的に示したものはない。上記特許文献１には、ズーム操作がされた場合に、撮影された映像での立体視ができなくなるという不具合を解消すべく、２台の３Ｄ撮影用カメラの基線長を変更する旨の記載があるが、変更後の基線長を、どのような情報に基づいて決定するのかは具体的にされていない。

したがって、本発明の目的は、撮影条件および鑑賞条件を総合的に考慮し、好適な３Ｄ効果を得るため、または安全性を維持するために、一対のカメラの位置および方向の少なくとも一方を制御する３Ｄ映像撮影制御システムを提供することにある。

上記課題を解決するために、まず、理論的に２台の３Ｄ撮影用カメラに関し、３Ｄ効果および安全視差に関連するすべてのパラメータを抽出し、それらの関係を数式により表現する。次に、撮影者の立場から、実際に撮影する場合に調節が必要なパラメータ（たとえば、被写体視差、画角（ズーム）、輻輳角等）を決定し、それに基づいて他のパラメータを、関係式により算出する。その後、求められたパラメータに基づいて、３Ｄ撮影用カメラをそれぞれ制御する。

本発明の第１の実施態様は、３Ｄ映像の撮影制御を行うための３Ｄ映像撮影制御システムである。この３Ｄ映像撮影制御システムは、被写体を撮影する一対の撮像装置から得られた映像から、被写体に関する視差を算出する視差算出手段と、一対の撮像装置の基線長を決定する基線長決定手段と、決定された基線長となるよう一対の撮像装置を移動させるよう制御する基線長制御手段とを有する。ここで、基線長決定手段は、一対の撮像装置の基線長と人間両眼の基線長との比率と、撮影時における一対の撮像装置の基線から被写体までの距離（実際距離）と３Ｄ映像の鑑賞時における人間両眼の基線から被写体までの距離（感知距離）との比率（引込率）が、所定関数により対応付けられる関係であることに基づいて、一対の撮像装置の基線長を決定し、感知距離を、視差に基づいて求めるように構成される。

このような本発明の第１の実施態様に係る３Ｄ映像撮影制御システムによって、好適な３Ｄ効果の得られる基線長が、「一対の撮像装置の基線長と人間両眼の基線長との比率と引込率が、所定関数により対応付けられる関係」に基づいて求められ、一対の撮像装置（カメラ）が、その決定された基線長に調整される。なお、人間両眼の基線長は、ユーザ等により指定されたもののほか、事前に設定された定数であってもよい。

本発明の第２の実施態様は、第１の実施態様において、指定された視差を受信する視差受信手段と、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有する３Ｄ映像撮影制御システムである。ここで、輻輳角制御手段は、指定された視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、感知距離を、指定された視差に基づいて求めるように構成される。

このような本発明の第２の実施態様に係る３Ｄ映像撮影制御システムによって、ユーザ等によって視差が指定された場合に、この視差に基づいて、好適な３Ｄ効果の得られる輻輳角と基線長が決定され、一対の撮像装置（カメラ）が、当該基線長および輻輳角に調整される。

本発明の第３の実施態様は、第１の実施態様において、指定された引込率を受信する引込率受信手段と、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有する３Ｄ映像撮影制御システムである。ここで、輻輳角制御手段は、指定された引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、指定された引込率に基づいて一対の撮像装置の基線長を決定するように構成される。

このような本発明の第３の実施態様に係る３Ｄ映像撮影制御システムによって、ユーザ等によって引込率が指定された場合に、この引込率に基づいて、好適な３Ｄ効果の得られる輻輳角と基線長が決定され、一対の撮像装置（カメラ）が、当該基線長および輻輳角に調整される。

本発明の第４の実施態様は、第１の実施態様において、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段をさらに有する３Ｄ映像撮影制御システムである。ここで、引込率は、引込率と一対の撮像装置の画角との掛け算が定数となる関係に基づいて、画角から求められ、輻輳角制御手段は、求められた引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、 基線長決定手段は、求められた引込率に基づいて一対の撮像装置の基線長を決定するように構成される。

このような本発明の第４の実施態様に係る３Ｄ映像撮影制御システムによって、引込率は、「引込率と一対の撮像装置の画角との掛け算が定数となる関係」に基づいて求められ、基線長と輻輳角は、この関係とは異なる関係（すなわち、「一対の撮像装置の基線長と人間両眼の基線長との比率と引込率が、所定関数により対応付けられる関係」）に基づいて求められる。こうして求められた輻輳角と基線長により、好適な３Ｄ効果が得られ、一対の撮像装置（カメラ）が、当該基線長および輻輳角に調整される。

本発明の第５の実施態様は、第４の実施態様において、画角が、画角を計測する画角計測手段によって計測され、または一対の撮像装置における焦点距離および撮像素子幅によって算出されるように構成される。

本発明の第６の実施態様は、第４または第５の実施態様において、指定された横幅拡大倍率を受信する横幅拡大倍率受信手段をさらに有する３Ｄ映像撮影制御システムである。ここで、引込率は、引込率、一対の撮像装置の画角、および指定された横幅拡大倍率の掛け算が定数となる関係に基づいて、画角および横幅拡大倍率から求められるように構成される。

本発明の第７の実施態様は、第１ないし第６の実施態様において、指定された奥行横幅比率を受信する奥行横幅比率受信手段をさらに有する３Ｄ映像撮影制御システムである。ここで、基線長決定手段は、一対の撮像装置の基線長と人間両眼の基線長との比率が、引込率と奥行横幅比率との掛け算に比例する関係に基づいて、一対の撮像装置の基線長を決定するように構成される。

本発明の第８の実施態様は、第２ないし第７の実施態様において、指定された許容視差範囲を受信する許容視差範囲受信手段と、視差が許容視差範囲になるよう各種パラメータを調整する撮影条件調整手段とをさらに有する３Ｄ映像撮影制御システムである。ここで、視差算出手段は、一対の撮像装置から得られた映像における画像全体の視差範囲を算出し、撮影条件調整手段は、算出された画像全体の視差範囲と許容視差範囲とから、一対の撮像装置の基線長についての許容範囲および輻輳角についての許容範囲の少なくとも一方を決定し、当該決定された許容範囲に一対の撮像装置の基線長または輻輳角を調整するように構成される。

このような本発明の第８の実施態様に係る３Ｄ映像撮影制御システムによって、カメラの基線長および輻輳角が、安全な視差範囲で３Ｄ映像の撮影がされるように制御される。

本発明の第９の実施態様は、第１ないし第８の実施態様において、基線長決定手段が、前記感知距離を、視差および鑑賞条件に基づいて求め、鑑賞条件が、人間両眼の基線長、スクリーンの幅、および人間両眼の基線とスクリーンとの距離を含むように構成される。

本発明の第１０の実施態様は、第１ないし第９の実施態様において、実際距離が、実際距離を計測する実際距離計測手段によって計測され、または視差、一対の撮像装置の基線長、輻輳角、および画角によって求められるように構成される。

本発明の第１１の実施態様は、第１ないし第１０の実施態様において、被写体を撮影する３台以上の撮像装置で構成される２対以上の撮像装置についてそれぞれ、３Ｄ映像の撮影制御を行うように構成される。

本発明の第１２の実施態様は、３Ｄ映像の撮影制御を行うための３Ｄ映像撮影制御方法である。この３Ｄ映像撮影制御方法は、被写体を撮影する一対の撮像装置から得られた映像から、被写体に関する視差を算出する視差算出ステップと、一対の撮像装置の基線長を決定する基線長決定ステップと、決定された基線長となるよう一対の撮像装置を移動させるよう制御する基線長制御ステップとを有する。ここで、基線長決定ステップは、一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における一対の撮像装置の基線から被写体までの距離（実際距離）と３Ｄ映像の鑑賞時における人間両眼の基線から被写体までの距離（感知距離）との比率（引込率）が、所定関数により対応付けられる関係であることに基づいて、一対の撮像装置の基線長を決定し、感知距離を、視差に基づいて求めるように構成される。

本発明の第１３の実施態様は、第１２の実施態様において、指定された視差を受信する視差受信ステップと、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有する３Ｄ映像撮影制御方法である。ここで、輻輳角制御ステップは、指定された視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定ステップは、感知距離を、指定された視差に基づいて求めるように構成される。

本発明の第１４の実施態様は、第１２の実施態様において、指定された引込率を受信する引込率受信ステップと、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有する３Ｄ映像撮影制御方法である。ここで、輻輳角制御ステップは、指定された引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定ステップは、指定された引込率に基づいて一対の撮像装置の基線長を決定するように構成される。

本発明の第１５の実施態様は、第１２の実施態様において、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御方法をさらに有する３Ｄ映像撮影制御方法である。ここで、引込率は、引込率と一対の撮像装置の画角との掛け算が定数となる関係に基づいて、画角から求められ、輻輳角制御ステップは、求められた引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定ステップは、求められた引込率に基づいて一対の撮像装置の基線長を決定するように構成される。

本発明の第１６の実施態様は、コンピュータに、被写体を撮影する一対の撮像装置から得られた映像から、被写体に関する視差を算出する視差算出手段、一対の撮像装置の基線長を決定する基線長決定手段、および、決定された基線長となるよう一対の撮像装置を移動させるよう制御する基線長制御手段として機能させる、３Ｄ映像の撮影制御を行うための３Ｄ映像撮影制御を行うプログラムである。ここで、基線長決定手段は、一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における一対の撮像装置の基線から被写体までの距離（実際距離）と３Ｄ映像の鑑賞時における人間両眼の基線から被写体までの距離（感知距離）との比率（引込率）が、所定関数により対応付けられる関係であることに基づいて、一対の撮像装置の基線長を決定し、感知距離を、視差に基づいて求めるように構成される。

本発明の第１７の実施態様は、第１６の実施態様において、指定された視差を受信する視差受信手段、および、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含むプログラムである。ここで、輻輳角制御手段は、指定された視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、感知距離を、指定された視差に基づいて求めるように構成される。

本発明の第１８の実施態様は、第１６の実施態様において、指定された引込率を受信する引込率受信手段、および、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含むプログラムである。ここで、輻輳角制御手段は、指定された引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、指定された引込率に基づいて一対の撮像装置の基線長を決定するように構成される。

本発明の第１９の実施態様は、第１６の実施態様において、輻輳角を調整するために一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含むプログラムである。ここで、引込率は、引込率と一対の撮像装置の画角との掛け算が定数となる関係に基づいて、画角から求められ、輻輳角制御手段は、求められた引込率に基づいて得られる視差に応じた輻輳角となるよう一対の撮像装置を移動させ、基線長決定手段は、求められた引込率に基づいて一対の撮像装置の基線長を決定するように構成される。

本発明に係る３Ｄ映像撮影制御システムによって、撮影条件および鑑賞条件を総合的に考慮したパラメータが求められ、当該パラメータによって好適な３Ｄ効果を得るため、または安全性を維持するために、一対のカメラの位置および方向の少なくとも一方が制御される。

本発明の一実施形態に係る３Ｄ映像撮影制御システムおよびこれに関連する他の装置の概略を示す略線図である。 本発明の一実施形態に係る３Ｄ映像撮影制御システムの３Ｄ撮影機構を模式的に表した略線図である。 本発明の一実施形態に係る３Ｄ映像撮影制御システムに関し、撮影条件と鑑賞条件を説明するための略線図である。 本発明の一実施形態に係る３Ｄ映像撮影制御システムに関し、実際距離と感知距離を求める式を説明するための略線図である。 本発明の一実施形態に係る３Ｄ映像撮影制御システムの３Ｄ撮影機構と制御装置に関する機能ブロック図である。 本発明の一実施形態に係る３Ｄ映像撮影制御システムの制御装置を構成するコンピュータのハードウエア構成の例を示す略線図である。

本発明の一実施形態に係る３Ｄ映像撮影制御システムは、撮影条件および鑑賞条件に基づいて、好適な３Ｄ効果が得られるように、または好適な安全視差となるように、一対の３Ｄ撮像用カメラの間隔（基線長）および方向（輻輳角）の少なくとも一方を制御する。

最初に、図１を参照して、本発明の一実施形態に係る３Ｄ映像撮影制御システム７と、３Ｄ映像撮影制御システム７によって取得された３Ｄ映像データを鑑賞者に対して表示するまでの装置について説明する。

図１の３Ｄ映像撮影制御システム７は、３Ｄ撮影機構５および制御装置６を含み、３Ｄ撮影機構５はカメラ１、アクチュエータ２、移動量計測装置３（図２参照）、およびカメラ制御雲台４を含む。カメラ１は、３Ｄ映像を撮影するための撮像装置であり、一対のカメラ、すなわち、左画像撮影用カメラ１−Ｌと右画像撮影用カメラ１−Ｒからなり、ズーム等の一部操作はこれらのカメラ１が制御装置６を介さずに直接、連動制御される。本明細書では、これらの２台のカメラを集合的に指す場合に、カメラ１と表記する。

アクチュエータ２は、制御装置６からの制御信号に応じて、カメラ１（左画像撮影用カメラ１−Ｌおよび右画像撮影用カメラ１−Ｒのそれぞれ）を移動させる。アクチュエータ２は、カメラ１の３軸方向の回転移動、基線方向の水平移動を実現する。この例では、移動手段としてアクチュエータ２が用いられているが、それ以外の既知の手段によってカメラ１を任意の位置・方向に移動させることができる。移動量計測装置３は、アクチュエータ２によって移動されたカメラ１の移動量（回転角度、移動距離）を計測し、計測結果を制御装置６に送信する。

カメラ制御雲台４の基盤４ａには、２台のカメラ１が、基本的には同じ高さに併設される。また、左画像撮影用カメラ１−Ｌは、アクチュエータ２により、３軸方向に回転移動可能かつ基線方向に水平移動可能な状態で、基盤４ａに取り付けられる。同様に、右画像撮影用カメラ１−Ｒも、アクチュエータ２により、３軸方向に回転移動可能かつ基線方向に水平移動可能な状態で、基盤４ａに取り付けられる。また、基盤４ａは、カメラ制御雲台４に対してパン回転可能な状態に取り付けられる。

制御装置６は、カメラ１から受信した３Ｄ映像データに対し所定の処理を行い、これを送信装置８に送信する。その後、３Ｄ映像データは、インターネットやＷＡＮのようなネットワークを介して（たとえば、送信装置８から遠く離れた）受信装置９に送信され、さらに映画館、放送局、中継局、家庭などに配置された３Ｄ画質調整装置１０に送られる。３Ｄ画質調整装置１０では、３Ｄ映像データの画質調整や他の映像処理が行われる。

次に、画質調整や映像処理が行われた３Ｄ映像データは、鑑賞者による鑑賞に供される。たとえば、図１に示すように、映画館では、３Ｄ映像データが３Ｄ映写機１１に送信され、３Ｄ映写機１１からスクリーン１２に対して３Ｄ映像が投射される。一方、一般的な家庭では、送信されてきた３Ｄ映像データが３Ｄテレビジョン１３のモニターに表示される。

図１の例では、３Ｄ映像撮影制御システム７は、３Ｄ撮影機構５を含むように構成されるが、カメラ１やカメラ制御雲台４等を備えず、実質的にカメラ１の制御を行うための制御装置６のみを含むように構成されてもよい。

次に、図２を参照して、３Ｄ撮影機構５におけるカメラ１の位置および方向の調整・移動について説明する。

左カメラ（左画像撮影用カメラ）１−Ｌの光軸１５Ｌと右カメラ（右画像撮影用カメラ）１−Ｒの光軸１５Ｒが、これらの光軸を含む平面上でなす角の１／２が輻輳角（図４参照）であり、左カメラ１−Ｌおよび右カメラ１−Ｒの被写体（視標）が被写体２０として図２に示されている。

左カメラ１−Ｌの光軸１５Ｌを基準とした被写体２０の角度は、パン方向の角度φ_ｌ−ｐ、チルド方向の角度φ_ｌ−ｔ、ロール方向の角度φ_ｌ−ｒでそれぞれ表される。同様に、右カメラ１−Ｒの光軸１５Ｒを基準とした被写体２０の角度は、パン方向の角度φ_ｒ−ｐ、チルド方向の角度φ_ｒ−ｔ、ロール方向の角度φ_ｒ−ｒでそれぞれ表される。

図２には、左カメラ１−Ｌと右カメラ１−Ｒの基線長ｂが示されている。ここで基線長とは、２つのカメラ（または人間の眼）の光学中心の距離であり、光学中心とは、カメラをピンホールモデルに近似した場合のピンホールの位置をいう。また、この基線長ｂは、２つのカメラのパン方向の回転軸の距離として表すこともできる。その他、２つのカメラの基線長ｂとして、上記距離を近似する他の基点を用いることもできる（ただし、この場合は、当該パラメータの誤差について考慮する必要がある）。

アクチュエータ２は、２つのカメラのそれぞれについて、たとえば、３自由度を有するように構成され、各回転軸に対してカメラを回転させるよう配置される。さらに、基線長を変化させるアクチュエータ２も備える。また、２台のカメラ１が設置されている基盤４ａは、上述のようにパン方向に回転させることができるが、この回転をアクチュエータ２で制御することができる。

図２において、アクチュエータ２−Ｌ-Ｐは、左カメラ１−Ｌのパン方向回転用アクチュエータであり、その回転角度はθ_ｌ−ｐで表され、アクチュエータ２−Ｒ-Ｐは、右カメラ１−Ｒのパン方向回転用アクチュエータであり、その回転角度はθ_ｒ−ｐで表される。アクチュエータ２−Ｌ-Ｔは、左カメラ１−Ｌのチルト方向回転用アクチュエータであり、その回転角度はθ_ｌ−ｔで表され、アクチュエータ２−Ｒ-Ｔは、右カメラ１−Ｒのチルト方向回転用アクチュエータであり、その回転角度はθ_ｒ−ｔで表される。アクチュエータ２−Ｌ-Ｒは、左カメラ１−Ｌのロール方向（視軸方向）回転用アクチュエータであり、その回転角度はθ_ｌ−ｒで表され、アクチュエータ２−Ｒ-Ｒは、右カメラ１−Ｒのロール方向（視軸方向）回転用アクチュエータであり、その回転角度はθ_ｒ−ｒで表される。

アクチュエータ２−Ｂは、２つのカメラ１の間隔を変化させる（基線長を変化させる）アクチュエータであり、カメラ１の間隔は、上述の通り基線長ｂで表される。また、アクチュエータ２−Ｎは、カメラ制御雲台４の基盤４ａをパン方向に回転させるアクチュエータであり、その回転角はθ_ｎで表される。

ここで、図１に示す制御装置６から、所定の距離に基線長ｂを変化させる制御信号が送信された場合は、アクチュエータ２−Ｂが当該所定の距離に基線長を変化させるよう動作する。同様に、制御装置６から、２つのカメラ１の輻輳角を所定の角度に変化させる制御信号が送信された場合は、アクチュエータ２−Ｌ-Ｐおよびアクチュエータ２−Ｌ-Ｒが当該所定の角度に輻輳角を変化させるよう動作する。

基線長は、図２では、１つのアクチュエータ２−Ｂにより変化させるような機構として模式的に表されているが、図１に示すように、それぞれのカメラ１を移動させる２つのアクチュエータにより制御されてもよい。また、輻輳角を変化させる２つのアクチュエータ（アクチュエータ２−Ｌ-Ｐ、アクチュエータ２−Ｌ-Ｒ）は基本的に、それぞれのカメラを同じ角度だけ回転させることによって所定の輻輳角となるよう動作する。

また、本明細書で説明する実施例では、アクチュエータ（モータ）によってカメラ１の位置および方向が調整されるが、これに限定されるものではなく、他の機構によってカメラ１を移動させてもよい。

ここで、図３を参照して、３Ｄ映像の撮影と放送についてのモデル化を説明する。図３Ａには、２台のカメラ（左カメラ１−Ｌ、右カメラ１−Ｒ）が輻輳撮影法により３Ｄ撮影を行う、３Ｄ撮影モデルが示されている。左カメラ１−Ｌと右カメラ１−Ｒは、基線長ｂの間隔で配置され、この２台のカメラの光軸がなす角の１／２が輻輳角βで表される。左カメラ１−Ｌと右カメラ１−Ｒの画角はそれぞれαであり、カメラの光学中心からの距離（２つの光学中心を結ぶ基線の中点から当該基線に対し垂直に伸ばした直線の距離）が１となる平面を正規化平面と呼び、当該正規化平面上の画角範囲を正規化画角ｒとする。

この一対のカメラの光軸交点を通り、両方のカメラの画角範囲が一致する平面が輻輳平面であり、カメラの光学中心から輻輳平面までの距離（２つの光学中心を結ぶ基線の中点から当該基線に対し垂直に伸ばした直線の距離）をｇとする。２台のカメラのパン操作によって輻輳角βと距離ｇが変化し、ズーム操作によって画角αと正規化画角ｒが変化する。また、基線長ｂと輻輳角βによって距離ｇが決定される。基線長ｂ、輻輳角β、および画角αは、撮影条件を表すパラメータである。

図３Ｂには、３Ｄ映像が放送または上映されて人間の両眼により鑑賞がされる、３Ｄ放送モデルが示されている。人間の両眼の間隔（光学中心の距離）は、基線長ｍで表され、スクリーン幅がｗで表される。人間の両眼の光学中心からスクリーンまでの距離（２つの光学中心を結ぶ基線の中点から当該基線に対し垂直に伸ばした直線の距離）はｄで表される。人間両眼の基線長ｍ、スクリーン幅ｗ、人間両眼の基線とスクリーンとの距離ｄは、鑑賞条件を表すパラメータである。

ここで、正規化画角ｒは以下の式で近似される。
ｒ＝２ｔａｎ（α／２） ・・・（式１）
また、距離ｇは、以下の式で近似される。
ｇ＝（ｂ／２）ｃｏｔ（β） ・・・（式２）

次に、図４を参照して、３Ｄ映像の撮影および放送における被写体モデルについて説明する。図４Ａは、図３Ａにおける３Ｄ撮影モデルに対応する被写体モデルを示している。ここで、３Ｄ撮影をする際の２台のカメラの光学中心を結ぶ直線（基線）の中点を原点とし、原点から右カメラ１−Ｒの光学中心に向かう軸をｘ軸とし、当該原点から２台のカメラの光軸交点に向かう軸をｙ軸とする二次元平面を撮影平面と定義する。

図４Ａの例では、被写体２０ａが、基線からの距離ｙにおいて２台のカメラに撮影されている。２台のカメラ（左カメラ１−Ｌ、右カメラ１−Ｒ）が被写体２０ａを撮影すると、撮影された画像から、この被写体における左目画像（左カメラ１−Ｌで撮影された画像）と右目画像（右カメラ１−Ｒで撮影された画像）の横軸座標の差（視差）が算出され、この視差とスクリーンの幅との比率である視差情報ｐが求められる。

被写体２０ａの撮影平面における座標を（ｘ、ｙ）とし、ｙを被写体の実際距離と定義する。被写体２０ａの実際距離ｙ、２台のカメラの基線長ｂ、カメラと輻輳平面の距離ｇ、正規化画角ｒ、および被写体の視差情報ｐの関係は、以下の式で表すことができる。
（ｇ−ｙ）／ｙ＝ｇｒｐ／ｂ ・・・（式３）
これより、実際距離は、以下のように求められる。
ｙ＝ｂｇ／（ｂ＋ｇｒｐ） ・・・（式４）

一方、図４Ｂは、図３Ｂにおける３Ｄ放送モデルに対応する被写体モデルを示している。ここで、３Ｄ映像の放送または上映を鑑賞する際の人間両眼の光学中心を結ぶ直線（基線）の中点を原点とし、原点から右眼の光学中心に向かう軸をａ軸とし、原点から人間両眼の光学中心を結ぶ基線に垂直方向（正前方）に伸びる軸をｚ軸とする二次元平面を感知平面と定義する。３Ｄ撮影モデルと３Ｄ放送モデルとで、撮影平面から感知平面への空間変換が発生する。

図４Ｂの例では、図４Ａに示す被写体２０ａに対応する被写体２０ｂが、基線からの距離ｚにおいて感知される。被写体２０ｂの感知平面における座標を（ａ、ｚ）とし、ｚを被写体の感知距離と定義する。被写体２０ｂの感知距離ｚ、人間両眼の基線長ｍ、人間両眼の基線とスクリーンとの距離ｄ、スクリーン幅ｗ、および被写体の視差情報ｐの関係は、以下の式で表すことができる。
（ｄ−ｚ）／ｚ＝ｗｐ／ｍ ・・・（式５）
これより、感知距離は、以下のように求められる。
ｚ＝ｍｄ／（ｍ＋ｗｐ） ・・・（式６）

シーンが撮影された後に放送または上映された場合、実際より被写体が近く見える程度（すなわち、被写体の実際距離と被写体の感知距離との比率）を引込率ｈと定義し、被写体の奥行きの拡大倍率を奥行拡大倍率ｔと定義する。さらに、被写体の横幅の拡大倍率を横幅拡大倍率ｓと定義し、奥行拡大倍率と横幅拡大倍率の比率を奥行横幅比率ｑと定義する。

箱庭効果（巨人視）は横幅拡大倍率が小さい時に発生する。一方、書割効果は奥行横幅比率が小さい時に発生する。

次に、上記で説明した３Ｄ撮影モデル、３Ｄ放送モデル、および被写体モデルを統合した、統合モデルについて説明する。最初に、３Ｄ撮影モデルおよび３Ｄ放送モデルに関して、撮影平面の１点（ｘ、ｙ）を感知平面の１点（ａ、ｚ）に変換する、空間変換関数を求める。

Ａ＝ｍ−（ｂｗ／ｇｒ）、Ｂ＝ｂｗ／ｒ、Ｃ＝ｌｗ／ｒ、Ｄ＝ｄｌとすると、座標ａおよび座標ｚは、それぞれ以下のように求められる。
ａ＝Ｃｘ／（Ａｙ＋Ｂ） ・・・（式７）
ｚ＝Ｄｙ／（Ａｙ＋Ｂ） ・・・（式８）

次に、上記空間変換関数を用いて、シーン中の被写体に関する引込率ｈ、奥行拡大倍率ｔ、横幅拡大倍率ｓ、および奥行横幅比率ｑをそれぞれ求める。
引込率ｈ ＝ｙ／ｚ＝（Ａｙ＋Ｂ）／Ｄ ・・・（式９）
奥行拡大倍率ｔ＝∂ｚ／∂ｙ＝ＢＤ／（Ａｙ＋Ｂ）^２ ・・・（式１０）
横幅拡大倍率ｓ＝∂ａ／∂ｘ＝Ｃ／（Ａｙ＋Ｂ） ・・・（式１１）
奥行横幅比率ｑ＝ｔ／ｓ＝ＢＤ／Ｃ（Ａｙ＋Ｂ） ・・・（式１２）

最後に、任意の３Ｄ撮影モデル、３Ｄ放送モデルで、シーン中の任意の被写体に適用可能な次の２つの方程式が得られる。
ｈｑ＝Ｂ／Ｃ＝ｂ／ｍ ・・・（式１３）
ｈｓ＝Ｃ／Ｄ＝ｗ／ｄｒ ・・・（式１４）

ここで、式１３のｂ／ｍは、２台のカメラの基線長ｂと人間両眼の基線長ｍの比率であり、これを基線長拡大倍率と定義する。そうすると、式１３は、以下の式１５（統合モデル式１）で表すことができる。
被写体の引込率×被写体の奥行横幅比率 ＝ 基線長拡大倍率 ・・・（式１５）

また、式１４のｄ／ｗは、人間両眼からスクリーンまでの距離とスクリーンの幅との比率であり、これを鑑賞距離倍率と定義する。そうすると、式１４は、以下の式１６（統合モデル式２）で表すことができる。
被写体の引込率×被写体の横幅拡大倍率×鑑賞距離倍率×正規化画角 ＝ １
・・・（式１６）

次に、図５を参照して、制御装置６の各機能について説明する。本発明の一実施形態に係る制御装置６は、図５に示すように、映像データ受信部６ａ、撮影条件受信部６ｂ、視差算出部６ｃ、撮影制御処理部６ｄ、カメラ制御部６ｅ、鑑賞条件等受信部６ｆ、設定値受信部６ｇ、エンコーダ部６ｈ、および輻輳角算出部６ｉを含むよう構成される。さらに、撮影制御処理部６ｄは、基線長決定部６ｄ−１、輻輳角制御部６ｄ−２、および撮影条件調整部６ｄ−３を含む。

映像データ受信部６ａは、２台のカメラ１（左カメラ１−Ｌおよび右カメラ１−Ｒ）にケーブル等で接続され、これらのカメラ１を用いて輻輳撮影法により３Ｄ撮影された（左右で同期のとれた）映像データを受信する。また、映像データ受信部６ａは、カメラ１においてユーザが指定した、または、被写体の追従等による自動的な指定によって生成された被写体を指すデータ等（たとえば、座標データ）も、必要に応じて受信する。

撮影条件受信部６ｂは、２台のカメラ１にケーブル等で接続され、これらのカメラ１から、撮影条件を表すパラメータを受信する。また、移動量計測装置３（画角計測装置３ａ、実際距離計測装置３ｂ）にケーブル等で接続され、これらの装置からも撮影条件を表すパラメータを受信する。また、基線長計測装置３ｃにより計測された基線長ｂや、輻輳角算出部６ｉが記憶する輻輳角βも必要に応じて受信する。

パラメータとしては、たとえば、カメラ１から焦点距離や撮像素子幅を必要に応じて受信する。焦点距離および撮像素子幅は、画角αを計算する場合に使用される。また、画角計測装置３ａからは、計測された画角αを受信し、実際距離計測装置３ｂからは、計測された（カメラ１の基線中点から）被写体までの実際距離ｙ、または実際距離ｙを求めるために使用される距離データを受信する。画角計測装置３ａおよび実際距離計測装置３ｂは、図５では、カメラ１の外部に別の装置として構成されている。たとえば、実際距離計測装置３ｂとして、アクティブ方式レーザーセンサなどのレーザー距離計を用いることができ、この場合は、近距離の被写体を計測するのに特に適している。しかしながら、画角計測装置３ａや実際距離計測装置３ｂの少なくとも一部の機能部が、カメラ１に組み込まれるように構成されてもよい。

視差算出部６ｃは、映像データ受信部６ａで受信したカメラ１の左右の映像データから、それぞれ被写体の特徴点を抽出し、これらの特徴点をマッチングすることにより横軸座標の差（視差）を算出する。被写体は、撮影された映像のなかの特定のオブジェクトであり、カメラマンや３Ｄグラファーが撮影時に（たとえば、カメラの入力手段を用いて入力することにより）選択したり、あるいは自動的に選択するなど、様々な方法で指定することができる。こうして指定された被写体に関する座標データは、映像データと同様、カメラ１から映像データ受信部６ａを経由して視差算出部６ｃに送信される。

特徴点の抽出方法としては、被写体選択位置のある半径内の特徴点、分割された特定の領域分内の特徴点、すべての特徴点（すべての視差の平均や重み付け平均値を視差とする）など、様々な方法を採用することができる。また、特徴点のマッチング方法は、ＳＩＦＴ法等の既知の様々な方法を用いて行うことができる。

ここで求められる視差は、後述する撮影制御処理部６ｄにおいて、スクリーン幅ｗとの比率（ピクセルベースまたは物理長（メートル）ベース）が求められ、求められた値が視差情報ｐとして、その後の計算に用いられる。

撮影制御処理部６ｄは、上述した統合モデル等から導かれる条件にしたがって、３Ｄ撮影に好適なカメラ１の基線長を決定し、輻輳角を制御する。また、安全な基線長および輻輳角の範囲を決定する。詳細な方法については後で説明する。

カメラ制御部６ｅは、撮影制御処理部６ｄの基線長決定部６ｄ−１によって決定された基線長を受信するとともに、移動量計測装置３（基線長計測装置３ｃ）からの計測データを受信し、カメラ１がその基線長になるよう、カメラ１の水平位置（間隔）を、カメラ１の角度を変えることなく調整する。そのために、カメラ制御部６ｅは、アクチュエータ２を動作させるための制御データをアクチュエータ２に送信する。たとえば、カメラ１の基線長ｂを調整するために、アクチュエータ２−Ｂの動作を制御する（図２参照）。

また、カメラ制御部６ｅは、撮影制御処理部６ｄの輻輳角制御部６ｄ−２によってカメラ１の輻輳角βをフィードバック制御する。輻輳角制御部６ｄ−２は、視差算出部６ｃから受信する視差に応じて、カメラ１の角度を調整する。そのために、カメラ制御部６ｅは、アクチュエータ２を動作させるための制御データをアクチュエータ２に送信する。カメラ１の輻輳角βを調整するために、アクチュエータ２−Ｌ-Ｐ、およびアクチュエータ２−Ｒ-Ｐの動作を制御する（図２参照）。

アクチュエータ（モータ）の制御は、たとえば、カメラ制御部６ｅから出力されたデジタル信号がＤ／Ａ変換され、変換後のアナログ信号がモータのドライバに入力され、そのドライバによってモータが指定された移動量だけ移動するよう駆動される。移動量計測装置３は、たとえば、モータに設置されている移動量検出センサであり、これによって検出されたモータの回転角信号がＡ／Ｄ変換され、変換後のデジタル信号がカメラ制御部６ｅに送信される。

アクチュエータ２−Ｂによる制御の結果として生じるカメラ１の基線長ｂの変化は、基線長計測装置３ｃによって計測され、計測結果がカメラ制御部６ｅに送信される。カメラ制御部６ｅは、この計測結果を用いて、アクチュエータ２−Ｂの動作について、ＰＩＤ制御のようなフィードバック制御やフィードフォワード制御等を行う。

図５では、基線長計測装置３ｃおよび回転角計測装置３ｄは、説明の便宜のため、カメラ１やアクチュエータ２の外部に別の装置として構成されているが、これらの少なくとも一部の機能部が、カメラ１やアクチュエータ２に組み込まれるように構成されてもよい（上述のように、モータに設置されている移動量検出センサのようなものであってもよい）。また、アクチュエータ２は、ここではフィードバック制御やフィードフォワード制御がされることを前提としているが、必ずしもこのような制御は必須ではない。

鑑賞条件等受信部６ｆは、人間両眼の基線長ｍ、スクリーン幅ｗ、および人間両眼の基線とスクリーンとの距離ｄといった、鑑賞者が３Ｄ映像を鑑賞する鑑賞条件に関するデータを受信する。また、カメラ１の撮像素子の幅といった、カメラ１の基線長ｂを求めるために、または輻輳角βを制御するために利用されるデータ等を受信する。これらのデータは、ユーザ等からキーボードなどの入力手段を介して入力してもよいし、任意の手段で自動的に送信されるようにしてもよい。なお、この実施例においては、人間両眼の基線長ｍを鑑賞条件等受信部６ｆで受信するように構成されるが、事前に設定した定数（たとえば、６０ｍｍ）を登録しておくことができ、この場合、人間両眼の基線長ｍとして、その定数を使用することができる。

設定値受信部６ｇは、カメラ１の基線長ｂを求めるため、または輻輳角βを制御するための前提とされる、ユーザ等により指定された指定データを受信する。たとえば、指定された視差を受信する視差受信部、指定された引込率を受信する引込率受信部を含む。さらに、指定された奥行横幅比率を受信する奥行横幅比率受信部や、指定された横幅拡大倍率を受信する横幅拡大倍率部を含む。また、安全視差の調整に利用される、許容視差範囲を受信する許容視差範囲受信手段も含む。これらの指定データは通常、ユーザ等からキーボードなどの入力手段を介して入力され登録される。

エンコーダ部６ｈは、映像データ受信部６ａで受信した映像に必要な処理を施した後に所定のデータ形式にエンコードし、これを３Ｄ映像データとして出力する。

輻輳角算出部６ｉは、回転角計測装置３ｄから回転角θを受信し、このデータに基づいてカメラ１の輻輳角βを算出し記憶する。輻輳角βの値は、カメラ制御部６ｅに送信されるとともに、撮影条件受信部６ｂに送信される。

次に、撮影制御処理部６ｄにおける制御方法について説明する。

［統合モデル式１に基づく制御］
撮影制御処理部６ｄは、上述の統合モデル式１で表される関係を用いて、いくつかのパターンの制御を行う。ここでは、代表的な４つのパターンについて説明を行う。

・第１の制御
統合モデル式１で示されるように、好適な基線長拡大率（ｂ／ｍ）は、被写体の引込率ｈ×被写体の奥行横幅比率ｑに比例する。被写体の引込率ｈは、被写体の実際距離ｙと感知距離ｚを用いて算出される。ここで、書割効果の問題を効果的に排除できるよう、統合モデル式１の被写体の奥行横幅比率ｑを既定値１に設定する。

このような場合、すなわち、被写体の奥行横幅比率ｑを定数に指定した場合、好適な基線長拡大率（ｂ／ｍ）は、被写体の引込率ｈに比例する。ただし、被写体の奥行横幅比率ｑは、他の所定関数とすることもでき（ここで、定数は一種の関数（定数関数）である）、この場合、好適な基線長拡大率（ｂ／ｍ）と被写体の引込率ｈが、この所定関数により対応付けられる関係を有する。ここで、所定関数は、たとえば、被写体とカメラ１の距離が近い場合は１で、遠い場合は０．５となるような、実際距離ｙの関数として表現することができる。また、被写体の奥行横幅比率ｑは、以下のような式（所定関数）で表すこともできる（ただし、ｋは係数）。
ｑ＝ｋ^２／３ ・・・ （式１７）
また、統合モデル式１では、被写体の奥行横幅比率ｑは、被写体の実際距離ｙ、カメラの基線長ｂ、カメラと輻輳平面の距離ｇ、正規化画角ｒの関数となる。

そうすると、統合モデル式１によって、カメラ１の基線長を求めることができる。基線長決定部６ｄ−１は、このようにしてカメラ１の基線長を決定し、決定された基線長ｂをカメラ制御部６ｅに送信し、カメラ制御部６ｅの制御によって、カメラ１の基線長が、当該決定された基線長ｂに調整される。

カメラ１の基線長ｂを求めるためには、被写体の実際距離ｙ、被写体の感知距離ｚ、および人間両眼の基線長ｍが分かればよい。被写体の実際距離ｙは、実際距離計測装置３ｂの計測結果を用いることができる。また、被写体の実際距離ｙは、被写体の視差情報ｐ、カメラ１の基線長ｂ、カメラ１の基線と輻輳平面の距離ｇ、正規化画角ｒにより算出することができるので、カメラ１の基線長ｂ以外の値を求めることによって、最終的にカメラ１の基線長ｂを求めることができる。

被写体の視差情報ｐは、視差算出部６ｃから送信された視差とスクリーン幅ｗとから求められる。カメラ１の基線と輻輳平面の距離ｇは、上述したように、カメラ１の基線長ｂと輻輳角βから求めることができる。輻輳角βは、回転角計測装置３ｄで計測される回転角に基づいて求めることができ、たとえば、輻輳角算出部６ｉにより記憶された輻輳角βが、撮影条件受信部６ｂを経由して撮影制御処理部６ｄに送信される。正規化画角ｒは、上述のように、カメラ１の画角αから求めることができ、画角αは、画角計測装置３ａで計測された画角、または、撮影条件受信部６ｂで受信したカメラ１の焦点距離およびカメラ１の撮像素子幅から求められる。カメラ１の撮像素子幅は、鑑賞条件等受信部６ｆからユーザ等によって入力された値を用いることもできる。

被写体の感知距離ｚは、被写体の視差情報ｐと鑑賞条件（すなわち、人間両眼の基線長ｍ、スクリーン幅ｗ、人間両眼の基線とスクリーンとの距離ｄ）を用いて算出される。

・第２の制御
第２の制御では、ユーザ等から視差の値が指定される。設定値受信部６ｇによって、ユーザ等から指定された視差の値が撮影制御処理部６ｄに提供されると、輻輳角制御部６ｄ−２は、カメラ１が撮影する映像データを元に視差算出部６ｃで算出された視差を受信しながら、指定された視差が維持されるようにカメラ制御部６ｅを制御し、輻輳角βを調整する（フィードバック制御（ＰＩＤ制御））。

このとき、統合モデル式１においては、視差が指定されたことによって、視差情報ｐが求まり（ｗが既知）、次いで、視差情報ｐと鑑賞条件（人間両眼の基線長ｍ、スクリーン幅ｗ、人間両眼の基線とスクリーンとの距離ｄ）とから被写体の感知距離ｚも求められる。そして、調整された輻輳角βにより変化した被写体の実際距離ｙが把握される。撮影制御処理部６ｄの基線長決定部６ｄ−１は、被写体の実際距離ｙと被写体の感知距離ｚから、変化した引込率ｈを求め、これに基づいて基線長ｂを決定し、カメラ制御部６ｅによって、カメラ１の基線長が、決定された基線長ｂに制御される。

なお、被写体の実際距離ｙは、実際距離計測装置３ｂの計測結果を用いることもできるが、上記第１の制御で説明したように、当該計測結果を用いずに最終的に基線長ｂを決定するようにもできる。

また、第２の制御においては、ユーザ等から視差の値が指定された後、輻輳角βを調整するプロセスと基線長ｂを制御するプロセスは、非同期で実行され得る。

・第３の制御
第３の制御では、ユーザ等から被写体の引込率ｈの値が指定される。設定値受信部６ｇによって、ユーザ等から指定された引込率の値が撮影制御処理部６ｄに提供される。撮影制御処理部６ｄの基線長決定部６ｄ−１は、指定された引込率ｈによって基線長ｂを決定し、カメラ制御部６ｅによって、カメラ１の基線長が、決定された基線長ｂに制御される。

また、撮影制御処理部６ｄは、指定された引込率ｈと被写体の実際距離ｙから被写体の感知距離ｚを求め、被写体の感知距離ｚと鑑賞条件（ｍ、ｗ、ｄは既知）とからさらに視差情報ｐおよび視差を求める。そうすると、輻輳角制御部６ｄ−２は、カメラ１が撮影する映像データを元に視差算出部６ｃで算出された視差を受信しながら、求められた視差が維持されるように、カメラ制御部６ｅの制御により輻輳角βをフィードバック制御（ＰＩＤ制御）する。

なお、被写体の実際距離ｙは、実際距離計測装置３ｂの計測結果を用いることもできるが、上記第１の制御で説明したように、当該計測結果を用いずに実際距離ｙを算出することもできる。

また、第３の制御においては、第２の制御と同様、ユーザ等から被写体の引込率ｈの値が指定された後、輻輳角βを調整するプロセスと基線長ｂを制御するプロセスは、非同期で実行され得る。

・第４の制御
第４の制御では、これまで既定値１または他の所定関数として扱ってきた奥行横幅比率ｑの値を、ユーザ等が指定した値とする。設定値受信部６ｇによって、ユーザ等から指定された奥行横幅比率の値が撮影制御処理部６ｄに提供される。撮影制御処理部６ｄは、上述した第１の制御から第３の制御の処理において、奥行横幅比率ｑに、ここで指定された値を（これまでの値の代わりに）用いて基線長の決定等を行う。

［統合モデル式１および統合モデル式２に基づく制御］
撮影制御処理部６ｄは、上述の統合モデル式１と統合モデル式２で表される関係を用いて、いくつかのパターンの制御を行う。ここでは、代表的な２つのパターンについて説明を行う。

・第５の制御
統合モデル式２で示されるように、被写体の引込率ｈ、被写体の横幅拡大倍率ｓ、鑑賞距離倍率（ｄ／ｗ）、および正規化画角ｒの乗算は、定数（＝１）になる。ここで、箱庭効果の問題を効果的に制御できるよう、カメラ１のズームを調整して画角αを変化させ、被写体の横幅拡大倍率ｓを１に保持する。また、鑑賞距離倍率（ｄ／ｗ）は、ユーザ等により鑑賞条件として事前に入力されるため、被写体の引込率ｈと正規化画角ｒの乗算も定数になる。

被写体の横幅拡大倍率ｓは、上述した被写体の奥行横幅比率ｑと同様、定数ではなく、所定関数とすることもできる。統合モデル式２に従えば、被写体の被写体の横幅拡大倍率ｓは、被写体の実際距離ｙ、カメラの基線長ｂ、カメラと輻輳平面の距離ｇ、正規化画角ｒの関数となる。

このとき、撮影制御処理部６ｄは、統合モデル式２に基づいて、画角計測装置３ａによって計測された、あるいは焦点距離から求められた画角αにより正規化画角ｒを求め、これによって好適な引込率ｈを算出する。

次に、基線長決定部６ｄ−１は、算出された引込率ｈから基線長ｂを決定し、カメラ制御部６ｅによって、カメラ１の基線長が、決定された基線長ｂに制御される。

また、撮影制御処理部６ｄは、統合モデル式１に基づいて、算出された引込率ｈと被写体の実際距離ｙから被写体の感知距離ｚを求め、被写体の感知距離ｚと鑑賞条件（ｍ、ｗ、ｄは既知）とからさらに視差情報ｐおよび視差を求める。ここで、輻輳角制御部６ｄ−２は、カメラ１が撮影する映像データを元に視差算出部６ｃで算出された視差を受信しながら、求められた視差が維持されるように、カメラ制御部６ｅの制御により輻輳角βをフィードバック制御（ＰＩＤ制御）する。

なお、被写体の実際距離ｙは、実際距離計測装置３ｂの計測結果を用いることもできるが、上記第１の制御で説明したように、当該計測結果を用いずに実際距離ｙを算出することもできる。

また、第５の制御においては、引込率ｈが算出された後、輻輳角βを調整するプロセスと基線長ｂを制御するプロセスは、非同期で実行され得る。

・第６の制御
第６の制御では、第５の制御において１として保持していた横幅拡大倍率ｓの値を、ユーザ等が指定した値とする。設定値受信部６ｇによって、ユーザ等から指定された横幅拡大倍率の値が撮影制御処理部６ｄに提供される。撮影制御処理部６ｄは、上述した第５の制御の処理において、横幅拡大倍率ｓに、ここで指定された値を用いて輻輳角の制御等を行う。

［安全性に基づく制御］
撮影制御処理部６ｄは、３Ｄ映像の安全性に関して、第７の制御を行うことができる。撮影制御処理部６ｄは、所定の安全ガイドライン、たとえば、３Ｄに関する安全ガイドライン（３ＤＣ安全ガイドライン（３Ｄコンソーシアム、安全ガイドライン部会））に基づいて、安全な視差範囲となるよう、基線長ｂおよび輻輳角βを制御する。

撮影制御処理部６ｄの撮影条件調整部６ｄ−３は、ユーザ等により事前に指定され設定値受信部６ｇより受信した許容視差範囲(ｐ_lower, ｐ_upper)、視差算出部６ｃにより算出された画像全体の視差の範囲（ｐ_min（ｔ）, ｐ_max（ｔ））の現在値、および基線長計測装置３ｃから受信したカメラ１の現在の基線長ｂ（ｔ）を用いて、次の時刻の基線長の許容範囲（特に最大値ｂ_upper（ｔ＋１）を指す）を、以下の式１８を用いて決定する。ここで、画像全体の視差とは、カメラ１により撮影された画像について、一部の特徴点ではなく、全部またはほとんどのピクセル（画素）における視差であり、この視差を求めることによって、画像全体の視差の範囲（ｐ_min（ｔ）, ｐ_max（ｔ））が得られる。

ｂ_upper（ｔ＋１）＝ｂ(ｔ)・（ｐ_upper−ｐ_lower）／（ｐ_max(ｔ)−ｐ_min(ｔ)）
・・・（式１８）

式１８が示すように、次の時刻（ｔ＋１）における基線長ｂの上限ｂ_upper（ｔ＋１）は、現在時刻（ｔ）の基線長ｂ（ｔ）と画像全体の視差の範囲の最大値と最小値の差、および許容視差範囲の上限と下限の差との比率に基づいて定められる。

また、撮影条件調整部６ｄ−３は、ユーザ等により事前に指定され設定値受信部６ｇより受信した許容視差範囲(ｐ_lower, ｐ_upper)、視差算出部６ｃにより算出された画像全体の視差の範囲(ｐ_min（ｔ）, ｐ_max（ｔ）)の現在値、および輻輳角算出部６ｉにより記憶されているカメラ１の現在の輻輳角β（ｔ）を用いて、次の時刻の輻輳角の許容範囲を、以下の式１９および式２０を用いて決定する。

β_upper（ｔ＋１）＝β（ｔ）＋δ （ｐ_max（ｔ）＜ｐ_upper）
＝β（ｔ）−δ （ｐ_max（ｔ）＞ｐ_upper） ・・・（式１９）
β_lower（ｔ＋１）＝β（ｔ）＋δ （ｐ_min（ｔ）＞ｐ_lower）
＝β（ｔ）−δ （ｐ_min（ｔ）＜ｐ_lower） ・・・（式２０）
ここで、δの大きさは、許容視差範囲と画像全体の視差との差や時刻（ｔ）をはじめとする様々な要素に応じて適宜調整することができ、たとえば、０．０１度といった値が用いられ得る。

式１９からわかるように、次の時刻（ｔ＋１）における輻輳角の上限β_upper（ｔ＋１）は、現在時刻（ｔ）の輻輳角β（ｔ）に基づいて求められ、画像全体の視差の最大値（ｐ_max（ｔ））が、許容視差範囲の上限（ｐ_upper）を超えると、β（ｔ）からδだけマイナスされた値がβ_upper（ｔ＋１）とされ、逆に、画像全体の視差の最大値（ｐ_max（ｔ））が、許容視差範囲の上限（ｐ_upper）より小さいと、β（ｔ）にδをプラスした値がβ_upper（ｔ＋１）とされる。同様に、式１９から、次の時刻（ｔ＋１）における輻輳角の下限β_lower（ｔ＋１）は、画像全体の視差の最小値（ｐ_min（ｔ））が、許容視差範囲の下限（ｐ_lower）より小さいと、β（ｔ）からδだけマイナスされた値がβ_lower（ｔ＋１）とされ、逆に、画像全体の視差の最小値（ｐ_min（ｔ））が、許容視差範囲の下限（ｐ_lower）を超えると、β（ｔ）にδをプラスした値がβ_lower（ｔ＋１）とされる。

またここで、画像全体の視差の最大値（ｐ_max（ｔ））が、許容視差範囲の上限（ｐ_upper）を超えるとともに、画像全体の視差の最小値（ｐ_min（ｔ））が、許容視差範囲の下限（ｐ_lower）より小さくなる場合は、式１８に基づいて、ｂ_upper（ｔ＋１）が、ｂ(ｔ)よりも小さい値となって基線長ｂが小さく調整されるので、時間が経過すると、画像全体の視差が許容範囲内に収まるようになる。

撮影条件調整部６ｄ−３は、基線長決定部６ｄ−１または輻輳角制御部６ｄ−２の決定内容や制御内容をチェックして、基線長ｂが、上述の基線長ｂの上限ｂ_upper（ｔ＋１）を超える場合や、輻輳角βが、輻輳角の範囲（β_lower（ｔ＋１）〜β_upper（ｔ＋１））を超える場合、基線長ｂおよび輻輳角βを当該範囲内になるよう調整する。また、本発明の一実施形態に係る３Ｄ映像撮影制御システム７では、このような撮影条件調整部６ｄ−３による、基線長ｂおよび輻輳角βの調整機能は必須ではなく、必要に応じて適宜組み込むことができる。

ここまで、図１から図５を参照して説明してきた本発明の一実施形態に係る３Ｄ映像撮影制御システム７は、一対のカメラからなる構成のカメラ１を備えるものであったが、複数の鑑賞条件に対応して、一度に複数パターンの３Ｄ撮影ができるように、複数のカメラセット（カメラの対）を使用することができ、制御装置６は、それぞれのカメラセットに対して、好ましい基線長および輻輳角を決定し、対応するカメラセットの位置および方向を制御するようにできる。

たとえば、３Ｄ映像撮影制御システム７が、４台のカメラ（カメラＡ、カメラＢ、カメラＣ、カメラＤ）を備えるものとすると、複数のカメラセット（カメラＡ＋カメラＢ）（カメラＣ＋カメラＤ）や、（カメラＡ＋カメラＢ）（カメラＡ＋カメラＣ）（カメラＡ＋カメラＤ）等を構成することができる。

次に、図６を参照して、本発明の一実施形態に係る３Ｄ映像撮影制御システム７の制御装置６を構成するコンピュータの構成例について説明する。ただし、図６のコンピュータ１００は、制御装置６の各機能を実現するコンピュータの代表的な構成を例示したにすぎない。

コンピュータ１００は、ＣＰＵ（Central
Processing Unit）１０１、メモリ１０２、撮像装置インタフェース１０３、アクチュエータインタフェース１０４、移動量計測装置インタフェース１０５、ディスプレイコントローラ１０６、ディスプレイ１０７、入力機器インタフェース１０８、キーボード１０９、マウス１１０、外部記録媒体インタフェース１１１、外部記憶装置１１２、ネットワークインタフェース１１３、およびこれらの構成要素を互いに接続するバス１１４を含んでいる。

ＣＰＵ１０１は、コンピュータ１００の各構成要素の動作を制御し、ＯＳの制御下で、各機能を実行する。たとえば、図５に示す視差算出部６ｃや撮影制御処理部６ｄ等の処理についての制御を行う。

メモリ１０２は、通常ＲＡＭ（Random Access Memory）により構成される。メモリ１０２には、ＣＰＵ１０１で実行される各機能（視差算出部６ｃや撮影制御処理部６ｄ等の機能）を実現するためのプログラムがロードされ、当該プログラムに必要なデータ等（たとえば、現在の輻輳角βや画角α）が一時的に記憶される。

撮像装置インタフェース１０３は、カメラ１（左画像撮影用カメラ１−Ｌ、右画像撮影用カメラ１−Ｒのそれぞれ）に接続され、カメラ１とのデータ送受信を制御してカメラ１から映像データ等を受信する。

アクチュエータインタフェース１０４は、アクチュエータ２に接続され、アクチュエータ２に対して、アクチュエータの動作を制御するための制御データを送信する。また、移動量計測装置インタフェース１０５は、移動量計測装置３から角度や距離などの計測データを受信する。

ディスプレイコントローラ１０６は、ＣＰＵ１０１等から送信される描画データを処理して、ＬＣＤ（Liquid Crystal
Display）で構成される表示装置やタッチスクリーンなどを含むディスプレイ１０７に画面を表示する。たとえば、制御装置６に対してユーザ等から設定値が入力される場合、ディスプレイ１０７には設定値入力画面が表示される。

入力機器インタフェース１０８は、ユーザが制御装置６に対して入力を行うために操作するキーボード１０９、マウス１１０、タッチスクリーンなどの入力装置から信号を受け取り、ＣＰＵ１０１に送信する。また、入力データ等はメモリ１０２等に記憶される。

外部記録媒体インタフェース１１１は、外部記録媒体１２０にアクセスしてデータの送受信を制御する。たとえば、光ディスク１２１を駆動して記録面にアクセスし、記録されているデータを読み取り、または外部記憶装置１１２に記憶されたデータを光ディスク１２１に書き出す。また、可搬型のフラッシュメモリ１２２にアクセスし、コンピュータ１００との間でデータをやりとりする。

外部記憶装置１１２は、一般的には、ハードディスクのような記憶装置である。外部記憶装置１１２は、ＣＰＵ１０１で実行される各機能を実現するためのプログラムを記憶するほか、当該プログラムが利用するデータなどが格納される。

ネットワークインタフェース１１３は、ＬＡＮやインターネットを含むネットワーク１３０との接続を実現し、コンピュータ１００とネットワーク１３０との間のデータの送受信を制御する。ネットワークインタフェース１１３により、コンピュータ１００は、ＬＡＮやインターネットと接続してデータの送受信を行うことができる。ＣＰＵ１０１で実行され、本発明の各機能を実現するためのプログラムは、このネットワークインタフェース１１３や、上述の外部記録媒体インタフェース１１１を経由して、外部からコンピュータ１００に提供されうる。

また、本発明の各機能を実現するためのプログラムのすべて、または一部は、チップ化されて市場に流通する場合もある。

１・・・カメラ、２・・・アクチュエータ、３・・・移動量計測装置、４・・・カメラ制御雲台、５・・・３Ｄ撮影機構、６・・・制御装置、７・・・３Ｄ映像撮影制御システム、８・・・送信装置、９・・・受信装置、１０・・・３Ｄ画質調整装置、１１・・・３Ｄ映写機、１２・・・スクリーン、１３・・・３Ｄテレビジョン

Claims (19)

1. ３Ｄ映像の撮影制御を行うための３Ｄ映像撮影制御システムであって、前記３Ｄ映像撮影制御システムは、
   被写体を撮影する一対の撮像装置から得られた映像から、前記被写体に関する視差を算出する視差算出手段と、
   前記一対の撮像装置の基線長を決定する基線長決定手段と、
   前記決定された基線長となるよう前記一対の撮像装置を移動させるよう制御する基線長制御手段とを有し、
   前記基線長決定手段は、前記一対の撮像装置の基線長と人間両眼の基線長との比率と、撮影時における前記一対の撮像装置の基線から被写体までの距離（実際距離）と前記３Ｄ映像の鑑賞時における人間両眼の基線から被写体までの距離（感知距離）との比率（引込率）が、所定関数により対応付けられる関係であることに基づいて、前記一対の撮像装置の基線長を決定し、前記感知距離を、前記視差に基づいて求めることを特徴とする３Ｄ映像撮影制御システム。
2. 請求項１に記載の３Ｄ映像撮影制御システムにおいて、
   指定された視差を受信する視差受信手段と、
   輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有し、
   前記輻輳角制御手段は、前記指定された視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
   前記基線長決定手段は、前記感知距離を、前記指定された視差に基づいて求めることを特徴とする３Ｄ映像撮影制御システム。
3. 請求項１に記載の３Ｄ映像撮影制御システムにおいて、
   指定された引込率を受信する引込率受信手段と、
   輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段とをさらに有し、
   前記輻輳角制御手段は、前記指定された引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
   前記基線長決定手段は、前記指定された引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする３Ｄ映像撮影制御システム。
4. 請求項１に記載の３Ｄ映像撮影制御システムにおいて、
   輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段をさらに有し、
   前記引込率と前記一対の撮像装置の画角との掛け算が定数となる関係に基づいて、前記画角から前記引込率を求め、
   前記輻輳角制御手段は、前記求められた引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
   前記基線長決定手段は、前記求められた引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする３Ｄ映像撮影制御システム。
5. 請求項４に記載の３Ｄ映像撮影制御システムにおいて、
   前記画角は、画角を計測する画角計測手段によって計測され、または前記一対の撮像装置における焦点距離および撮像素子幅によって算出されることを特徴とする３Ｄ映像撮影制御システム。
6. 請求項４または請求項５に記載の３Ｄ映像撮影制御システムにおいて、
   指定された横幅拡大倍率を受信する横幅拡大倍率受信手段をさらに有し、
   前記引込率、前記一対の撮像装置の画角、および前記指定された横幅拡大倍率の掛け算が定数となる関係に基づいて、前記画角および前記横幅拡大倍率から前記引込率を求めることを特徴とする３Ｄ映像撮影制御システム。
7. 請求項１ないし請求項６のいずれかに記載の３Ｄ映像撮影制御システムにおいて、
   指定された奥行横幅比率を受信する奥行横幅比率受信手段をさらに有し、
   前記基線長決定手段は、前記一対の撮像装置の基線長と人間両眼の基線長との比率が、前記引込率と前記奥行横幅比率との掛け算に比例する関係に基づいて、前記一対の撮像装置の基線長を決定することを特徴とする３Ｄ映像撮影制御システム。
8. 請求項２ないし請求項７のいずれかに記載の３Ｄ映像撮影制御システムにおいて、
   指定された許容視差範囲を受信する許容視差範囲受信手段と、
   視差が許容視差範囲になるよう各種パラメータを調整する撮影条件調整手段とをさらに有し、
   前記視差算出手段は、前記一対の撮像装置から得られた映像における画像全体の視差範囲を算出し、
   前記撮影条件調整手段は、前記算出された画像全体の視差範囲と前記許容視差範囲とから、前記一対の撮像装置の基線長についての許容範囲および前記輻輳角についての許容範囲の少なくとも一方を決定し、当該決定された許容範囲に前記一対の撮像装置の基線長または前記輻輳角を調整することを特徴とする３Ｄ映像撮影制御システム。
9. 請求項１ないし請求項８のいずれかに記載の３Ｄ映像撮影制御システムにおいて、
   前記基線長決定手段は、前記感知距離を、前記視差および鑑賞条件に基づいて求め、
   前記鑑賞条件は、人間両眼の基線長、スクリーンの幅、および前記人間両眼の基線と前記スクリーンとの距離を含むことを特徴とする３Ｄ映像撮影制御システム。
10. 請求項１ないし請求項９のいずれかに記載の３Ｄ映像撮影制御システムにおいて、
    前記実際距離は、実際距離を計測する実際距離計測手段によって計測され、または前記視差、前記一対の撮像装置の基線長、輻輳角、および画角によって求められることを特徴とする３Ｄ映像撮影制御システム。
11. 請求項１ないし請求項１０のいずれかに記載の３Ｄ映像撮影制御システムにおいて、
    前記被写体を撮影する３台以上の撮像装置で構成される２対以上の撮像装置についてそれぞれ、前記３Ｄ映像の撮影制御を行うことを特徴とする３Ｄ映像撮影制御システム。
12. ３Ｄ映像の撮影制御を行うための３Ｄ映像撮影制御方法であって、前記３Ｄ映像撮影制御方法は、
    被写体を撮影する一対の撮像装置から得られた映像から、前記被写体に関する視差を算出する視差算出ステップと、
    前記一対の撮像装置の基線長を決定する基線長決定ステップと、
    前記決定された基線長となるよう前記一対の撮像装置を移動させるよう制御する基線長制御ステップとを有し、
    前記基線長決定ステップは、前記一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における前記一対の撮像装置の基線から被写体までの距離（実際距離）と前記３Ｄ映像の鑑賞時における人間両眼の基線から被写体までの距離（感知距離）との比率（引込率）が、所定関数により対応付けられる関係であることに基づいて、前記一対の撮像装置の基線長を決定し、前記感知距離を、前記視差に基づいて求めることを特徴とする３Ｄ映像撮影制御方法。
13. 請求項１２に記載の３Ｄ映像撮影制御方法において、
    指定された視差を受信する視差受信ステップと、
    輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有し、
    前記輻輳角制御ステップは、前記指定された視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
    前記基線長決定ステップは、前記感知距離を、前記指定された視差に基づいて求めることを特徴とする３Ｄ映像撮影制御方法。
14. 請求項１２に記載の３Ｄ映像撮影制御方法において、
    指定された引込率を受信する引込率受信ステップと、
    輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御ステップとをさらに有し、
    前記輻輳角制御ステップは、前記指定された引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
    前記基線長決定ステップは、前記指定された引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする３Ｄ映像撮影制御方法。
15. 請求項１２に記載の３Ｄ映像撮影制御方法において、
    輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御方法をさらに有し、
    前記引込率と前記一対の撮像装置の画角との掛け算が定数となる関係に基づいて、前記画角から前記引込率を求め、
    前記輻輳角制御ステップは、前記求められた引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
    前記基線長決定ステップは、前記求められた引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とする３Ｄ映像撮影制御方法。
16. コンピュータに、
    被写体を撮影する一対の撮像装置から得られた映像から、前記被写体に関する視差を算出する視差算出手段、
    前記一対の撮像装置の基線長を決定する基線長決定手段、および、
    前記決定された基線長となるよう前記一対の撮像装置を移動させるよう制御する基線長制御手段として機能させる、３Ｄ映像の撮影制御を行うための３Ｄ映像撮影制御を行うプログラムであって、
    前記基線長決定手段は、前記一対の撮像装置の基線長と人間両眼の基線長との比率が、撮影時における前記一対の撮像装置の基線から被写体までの距離（実際距離）と前記３Ｄ映像の鑑賞時における人間両眼の基線から被写体までの距離（感知距離）との比率（引込率）が、所定関数により対応付けられる関係であることに基づいて、前記一対の撮像装置の基線長を決定し、前記感知距離を、前記視差に基づいて求めることを特徴とするプログラム。
17. 請求項１６に記載のプログラムにおいて、コンピュータに、
    指定された視差を受信する視差受信手段、および、
    輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含み、
    前記輻輳角制御手段は、前記指定された視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
    前記基線長決定手段は、前記感知距離を、前記指定された視差に基づいて求めることを特徴とするプログラム。
18. 請求項１６に記載のプログラムにおいて、コンピュータに、
    指定された引込率を受信する引込率受信手段、および、
    輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含み、
    前記輻輳角制御手段は、前記指定された引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
    前記基線長決定手段は、前記指定された引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とするプログラム。
19. 請求項１６に記載のプログラムにおいて、コンピュータに、
    輻輳角を調整するために前記一対の撮像装置を移動させるよう制御する輻輳角制御手段として機能させるプログラムをさらに含み、
    前記引込率と前記一対の撮像装置の画角との掛け算が定数となる関係に基づいて、前記画角から前記引込率を求め、
    前記輻輳角制御手段は、前記求められた引込率に基づいて得られる視差に応じた輻輳角となるよう前記一対の撮像装置を移動させ、
    前記基線長決定手段は、前記求められた引込率に基づいて前記一対の撮像装置の基線長を決定することを特徴とするプログラム。