JP6752425B2

JP6752425B2 - 撮影装置

Info

Publication number: JP6752425B2
Application number: JP2018558646A
Authority: JP
Inventors: 池井寧; 田代研人
Original assignee: Tokyo Metropolitan Public University Corp
Current assignee: Tokyo Metropolitan Public University Corp
Priority date: 2016-12-27
Filing date: 2017-02-13
Publication date: 2020-09-09
Anticipated expiration: 2037-02-13
Also published as: US20200128160A1; WO2018123074A1; JPWO2018123074A1; US11006028B2

Description

本発明は、カメラ回転による運動ボケ（motion blur）が低減され、両眼視差映像の品質が高く、映像酔いの抑制された撮影装置である。

安価な全天球カメラの市販により、３６０度映像（全天周映像）が一般的に利用されるようになっている。
また、HMD (Head Mounted Display) の普及により、頭部連動で見る全天周映像の需要が高まっている。HMDによる遠隔臨場感（テレプレゼンス）システムは、種々開発されている（たとえば非特許文献１）。テレイグジスタンスについても種々提案されている（非特許文献２）。

柳田康幸等、HMD型テレイグジスタンスシステムの頭部運動時における視野角不整合の影響，日本バーチャルリアリティ学会論文誌 Vol.7, No.1, 2002 柳田康幸，テレイグジスタンス視覚系の最近の研究動向Recent Progress in Telexistence Visual Systems，システム/制御/情報 : システム制御情報学会誌 46(12), 745-750, 2002-12-15

しかし、従来提案されている全天球カメラやＨＭＤによれば両眼立体視が可能だが、カメラを２台用いて撮影する場合に、ＨＭＤ装着者の視線方向（頭部方向）にカメラを向ける必要がある。ＶＲ空間を見るＶＲカメラでは可能だが、実空間のテレプレゼンスのための実際のカメラでは、カメラを回転させる駆動系の遅延と通信による遅延が、映像品質を低下させ、映像酔いを発生させるため、短時間の使用にも支障を生じ、長時間の作業は非常に困難であった。
従って本発明の目的は、カメラ回転による運動ボケ（motion blur）が低減され、両眼視差映像の品質が高く、映像酔いの抑制された撮影装置を提供することを目的とする。

本発明者らは上記課題を解消すべく鋭意検討した結果、カメラの位置が移動するに際してカメラの向きを補正することで上記目的を達成し得ることを知見し、本発明を完成するに至った。
すなわち、本発明は以下の装置を提供するものである。
１．全周囲画像を形成可能な撮影部を複数個備えた撮影装置であって、
上記撮影部が設置された撮影部設置部と、
上記撮影部設置部を回転可能に軸支する回転駆動軸と、
上記回転駆動軸に回転力を付与する駆動部と、
複数の撮影部をそれぞれ所定位置において回転自在に軸支するために上記撮影部設置部に設けられた、撮影部軸とを具備し、
更に、上記回転駆動軸の回転に上記撮影部軸の回転が追随しないようにそれぞれの回転を調節する回転調整機構を具備し、上記撮影部設置部を回転させた場合に、上記撮影部が上記撮影部設置部の回転に追随せずに所定方向を向いた状態を保持できるようになされている
撮影装置。
２．上記回転調整機構が、上記駆動部の回転駆動力が上記回転駆動軸を介して上記撮影部軸のそれぞれに伝達されるように、上記回転駆動軸及び上記撮影部軸に設けられた駆動力伝達手段である、１記載の撮影装置。
３．上記撮影部は２つであり、２つの撮影部は所定間隔を空けて且つそれぞれ任意に設定された視点に向けて設置されており、
上記駆動力伝達手段は、上記回転駆動軸に設けられた中央歯車と、上記撮影部軸に設けられた中央歯車に噛み合う支点歯車とからなる、２記載の撮影装置。
４．観察者の任意の映像表示要望に応じて映像を表示する映像表示システムであって、
映像を取得するための請求項１記載の撮影装置と、
観察者の視線方向の変化を取得する視線方向認識部と
上記視線方向認識部により取得した視線方向の変化に応じて上記撮影装置に所定方向への回転を指示する回転指示部と
上記撮影装置により得られた映像表示部に表示する映像表示部とを具備する映像表示システム。

本発明の撮影装置は、カメラ回転による運動ボケ（motion blur）が低減され、両眼視差映像の品質が高く、映像酔いの抑制されたものである。

本発明の撮影装置の１実施形態を示す斜視図である。図１に示す撮影装置における撮影部を除去した状態を示す側面図である。本発明の映像表示システムを示す概略図である。本発明の撮影装置の効果を示す図であり、（ａ）は本発明の撮影装置を用いた試験の概略を示す模式図であり、（ｂ）は比較対象の撮影装置を用いた試験の概略を示す模式図であり、（ｃ）はコントラストの計測結果を示すチャートである。本発明の撮影装置の奥行き知覚精度の計測結果を示すチャートである。本発明の撮影装置の映像酔いの程度の計測結果を示すチャートである。

１：撮影装置、１０：撮影部、２０：撮影部設置部、３０：回転駆動軸、４０：駆動部、５０：撮影部軸、６０：駆動力伝達手段

以下、本発明を、図面を参照して詳細に説明するが、本発明はこれらに制限されるものではない。

本実施形態の撮影装置１は、図１及び２に示すように、全周囲画像を形成可能な撮影部１０を複数個備えている。
本実施形態の撮影装置１は、更に、撮影部１０が設置された撮影部設置部２０と、撮影部設置部２０を、撮影部設置部２０が回転可能に軸支する回転駆動軸３０と、回転駆動軸３０に回転力を付与する駆動部（モーター）４０と、複数の撮影部１０をそれぞれ所定位置において回転自在に軸支するために撮影部設置部２０に設けられた、撮影部軸５０とを具備する。更に、回転駆動軸３０の回転に撮影部軸５０の回転が追随しないようにそれぞれの回転を調節する回転調整機構としての駆動力伝達手段６０を具備し、撮影部設置部２０を回転させた場合に、撮影部１０が撮影部設置部２０の回転に追随せずに所定方向を向いた状態を保持できるようになされている。
また、本実施形態においては、基台７２上に駆動部４０が載置固定されており、駆動部４０の駆動軸が直接撮影部設置部２０に連結されるのではなく、上方に設けられた４つの歯車８２，８４，８６，８８を介して回転駆動軸３０に連結されている。これにより回転駆動軸を短く設定することが可能となり、軸がぶれることなく安定して撮影部設置部を回転させることができる。
歯車８６，８８が設けられている駆動力伝達軸７４には、Ｓ字状の固定用治具７６が設けられている。また駆動部４０の駆動軸と回転駆動軸３０との連設部分には両者を同軸に且つ非干渉に固定するＳ字状の連結治具７８が設けられている。これらの固定用治具７６及び連結治具７８を設けることにより、各軸を安定して回転させることが可能となり、安定して所望の映像を得ることができる。また、これらの治具は基台７２上に設けられた治具設置台７３に固定されている。

（撮影部）
撮影部１０は、本実施形態においては、それぞれ長方形状の本体１２の上方にレンズ１４が設けられた、上下左右全方位の３６０度パノラマ画像を撮影することのできる、いわゆる全天球カメラである。このような全天球カメラとしては、撮影した画像データを即時に有線又は無線で移送することのできるものであれば、市販品を特に制限なく用いることができる。
２つの撮影部１０，１０は所定間隔を空けて且つそれぞれ任意に設定された視点にレンズを向けて設置されている。ここで、「視点」とは、撮影部のレンズの向いている向きのことであり、図１に示す例では２つの撮影部１０はそれぞれ同じ方向を向いているがこのレンズの向いている向きが「視点」である。

（撮影部設置部）
撮影部設置部２０は、円盤状であり、その中心下面に回転駆動軸３０が固定されている。また２つの撮影部軸５０が回転可能に貫通しており、撮影部軸を支える治具２２が撮影部軸５０の貫通する部分に設けられている。

（回転駆動軸）
回転駆動軸３０は撮影部設置部２０の下面において、先端に円盤状の固定面を有する固定部材３２を介して連結されており、駆動力伝達手段６０を設けるための載置台９２を貫通して下方に延びて、回転可能に設けられている。その下方先端部には駆動力を回転駆動軸に伝達するための歯車８４が設けられている。

（駆動部）
駆動部４０は載置台の下方に設けられており、その上方先端には歯車８２が設けられており、２つの歯車８６，８８が設けられた駆動力伝達軸７４により回転駆動軸３０の歯車８４に駆動力を伝達するように、下方の歯車８６が駆動部４０の歯車８２に、上方の歯車８８が回転駆動軸３０の歯車８４に、噛合して連結されている。

（撮影部軸）
撮影部軸５０は、撮影部１０を載置するように、撮影固定部２０の中心点をもって対向する位置において撮影固定部２０を貫通して、且つ回転自在に載置台９２に固定されて設けられている。

（回転調整機構）
本実施形態において、回転駆動軸３０の回転駆動力が伝達されるように回転駆動軸３０及び撮影部軸５０のそれぞれに設けられた駆動力伝達手段６０により形成されている。
また、駆動力伝達手段６０は、回転駆動軸３０の載置台近傍に設けられた中央歯車６４と、撮影部軸５０の載置台近傍に設けられた中央歯車６４に噛合する支点歯車６２，６６とからなる。中央歯車６４は、回転駆動軸３０の下方に設けられており、支点歯車６２，６６はそれぞれ撮影部軸５０の下方に設けられている。そして回転駆動軸３０の回転駆動力を支点歯車を通じて撮影部軸５０に伝達するように構成されている。

（作用効果）
本実施形態の撮影装置は、撮影部１０を回転させるべく、駆動部４０の駆動軸を回転させることにより、各歯車８２，８４，８６，８８を介して回転駆動軸３０に回転力が伝達される。これにより回転駆動軸３０が回転して撮影部設置部２０が図１の矢印方向に回転する。
また、この際、回転駆動軸３０の回転に伴い中央歯車６４が回転し、この中央歯車６４に噛合する支点歯車６２，６４がそれぞれ中央歯車６４とは逆方向に回転するため、撮影部１０を支える撮影部軸５０が図１の矢印方向に回転することになり、歯車の速度伝達率を適宜調整することで撮影部１０のレンズの向きが絶えず設定した視点を向くように設定でき、本実施形態ではそのように設定されているので、撮影部１０は絶えず同じ視点を向く。
即ち、視差距離を保って並んだ２台の撮影部（全天球カメラ）１０が絶えず同じ方向を向きながら、撮影固定部２０の回転に追従して、撮影部１０の位置のみが回転するように撮影固定部２０（雲台）が構成されている。このように構成されていることにより、後述する映像表示システム、特にヘッドマウントディスプレイ（ＨＭＤ）を用いた映像表示システムにおいて撮影部１０の回転に遅れて遠隔地の回転された映像が提示される事が無くなり、遅延は２台の撮影部（カメラ）の視差情報のみとなる。映像酔いを起こしやすい撮影部設置部２０の回転と撮影部１０による映像の回転間の遅延を最小限まで抑えることができるため、映像酔いの防止効果が得られる。
また、２台の撮影部１０が、一方向を向いたまま位置が回転するための駆動部を１つのモータで実現できる。このため、２台の撮影部（全天球カメラ）の映像をライブストリーミング（ｌｉｖｅｓｔｒｅａｍｉｎｇ）でコンピュータグラフィックス（ＣＧ）空間上の2つ球状スクリーンに投影し、球状スクリーンの中央にあるバーチャルリアリティ（ＶＲ）カメラから得られる映像をそれぞれＨＭＤ内の左眼・右眼用ディスプレイへ独立して提示させるなどして楽しむことができる。
これらのことから本実施形態の撮影装置によると以下の効果が期待できる。
・感覚矛盾の解消によるVR酔いの抑制・身体感覚の生成。
・運動成分を含む実写映像と前提感覚刺激の統合的提示（受動/能動）による、VR酔いの抑制と運動感覚生成の両立
・立体視テレプレゼンスシステムにおけるVR酔いの抑制
・VRによる身体的追体験の実現
・リアルタイム追体験（旅行）の実現
特に従来全天球カメラを多数放射状に並べた状態のものが用いられているが、このように放射状に並べただけでは視差をとることはできるものの、所望の複数のカメラによる遅延の生じていない映像が得られているわけではない。また、カメラの解像度によって映像がぼけること等により得られた情報をそのまま流すことはできないので処理に時間を要するという問題もある。そのため時間が少しずれてしまい、リアルタイム性に欠けるという問題もあるが、本実施形態の撮影装置ではこのような問題点も解消される。
さらに、撮影した画像や動画の再生に際しては、等距離射影を展開するシェーダー（shader）のコードを使用したり、ＵＳＢＶｉｄｅｏＣｌａｓｓ（ＵＶＣ） Blender等を用いることができる。領域で展開した上で，リアルタイムにスティッチング処理をするなどして滑らかな画像・映像を得ることができる。
また、得られた映像を球へマッピングする、コンピュータから出力する等して利用できる。
また、得られた画像・映像は、ヘッドマウントディスプレイ(ＨＭＤ)を用い，両眼立体視が可能な装置を用いて再生する等して利用することができる。

＜映像表示システム＞
上述した本発明の撮影装置の１使用態様としての本発明の映像表示システム（以下単に「システム」という場合がある）について説明する。
本実施形態の映像表示システム１００は、観察者の任意の映像表示要望に応じて映像を表示する映像表示システムであって、図３に示すように、映像を取得するための上述の撮影装置１と、
観察者の視線方向の変化を取得する視線方向認識部Ｓ１と
視線方向認識部Ｓ１により取得した視線方向の変化に応じて撮影装置１に所定方向への回転を指示する回転指示部Ｓ２とを備えたコンピュータ１１０と、
上記撮影装置により得られた映像表示部に表示する映像表示部としてのＨＭＤ１２０とを具備する。
本実施形態においては、撮影装置１の各撮影部１０としてのカメラが配線（図示せず）を介して又は無線でコンピュータ１１０に連結されており、コンピュータ１１０は配線を介して又は無線でＨＭＤに連結されている。ここで、無線で連結する手段としては、ＷＩＦＩ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）等公知の通信手段を特に制限なく用いることができる。
また、特に図示しないが、回転指示部からの回転の指示を実行するための駆動部４０の駆動力をオン−オフするスイッチ機構も設けられている。このようなスイッチ機構は公知のものを特に制限なくことができる。

（コンピュータ）
本システムにおいてコンピュータ１１０は、特図示しないが、中央演算処理装置（ＣＰＵ）とメモリーと記録媒体（バードディスク又はソリッドステートドライブ）とからなり、各種アプリケーションが記録媒体に格納されているものである。
そして、コンピュータ１１０に格納された各アプリケーションの作用によりコンピュータ１１０が視線方向認識部Ｓ１及び回転指示部Ｓ２として動作する。
（視線方向認識部）
視線方向認識部Ｓ１は、撮影部１０におけるレンズ１２の向いている方向の情報を撮影部１０から取得する取得ステップ、取得した撮影部の向きの方向を認識し、取得した画像と関連付けを行う関連付けステップとを行うアプリケーションを実装することで、コンピュータが作用する部位である。
取得ステップは、撮影部１０の撮影した画像を基にして設定してもいいし、初期状態における撮影部１０の向きから視線の方向を認識してもよい。
また、関連付けステップは、取得した画像と視線方向とを関連付けると共に、後述する回転指示部により指示されて回転した装置の回転方向とを関連付けて、撮影装置１の初期状態からの回転度数と撮影部の視線方向とを同時に画像と関連付けを行い、映像を表示するように指示を出す。
（回転指示部）
回転指示部は、利用者の指示に従い撮影装置１における撮影部設置部１０を回転させるように駆動部４０へ指示を出す指示ステップを行うアプリケーションを実装することで、コンピュータが作用する部位である。
利用者からの指示は、コンピュータ１１０の備えるマウスやキーボード、コンロ−ラ−などの入力装置によりコンピュータ１１０に入力される。本実施形態ではＨＭＤを用いているがＨＭＤには加速度センサーと３次元センサーとが装備されているので、映像を表示する映像表示部であるＨＭＤそのものを入力装置として利用している。

（作用効果）
本実形態の映像表示システムは、パーソナルな設計が可能であり、利用者（観察者）の視線方向を担保した撮影を行うことができ、映像もそのまま遅れることなく映像として表示できる。
即ち、利用者がＨＭＤを装着し、映し出されている映像を見ながら任意の方向に頭を向けることにより、撮影装置の撮影部設置部が利用者の向いた方向に（水平角度で同じ角度を好ましくは同じ速度で）回転する。また、撮影部が全天球カメラからなるので３６０度全方向の撮影ができているので、本実施形態においては利用者の向きの上下方向の変化は取得した画像を公知の手段により処理することで補正している。これにより、利用者の動きと同じに撮影装置の視点が回転するので、利用者が撮影装置の存在する場所の景色を疑似体験することができる。
このような構成であるため、観察者Ａが撮影装置を装着して使い、他の人Ｂに観察者Ａの見ている景色を疑似体験してもらう使用形態、観察者ＡとＡのいる場所とは異なる場所に撮影装置を設置し、観察者Ａのいない場所における景色を疑似体験する形態等種々の使用形態で使用することが可能である。

以上本発明の撮影装置及び映像表示システムについて説明したが、本発明はこれらの実施形態に何ら制限されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形可能である。
撮影部軸に駆動部とは異なる駆動力を付与する別の駆動部を設けて、撮影部自体も独自に回転するように構成してもよい。
また、撮影部設置部は水平方向のみではなく上下方向にも回動可能にしてもよい。
ＨＭＤではなく、センサーを観察者に付けて、モニターに表示する形態でもいい。

以下、本発明について実施例比較例を示してより具体的に説明するが、本発明はこれらに何ら制限されるものではない。
〔実施例１〕
図４に示すように本発明の撮影装置１を用いた映像表示システム（コンピュータは省略して示す）を用いて、撮影装置の操作による画像のブレを検証した。操作は図４（ａ）に示すように１（０°方向、即ち撮影部であるカメラのレンズの向きであるカメラ正面方向を向いた状態）から、２（４５°方向、即ち撮影部であるカメラのレンズの向きであるカメラ正面方向から４５°左へと回転させた状態）、３（９０°方向、即ち撮影部であるカメラのレンズの向きであるカメラ正面方向から９０°左へと回転させた状態）へとＨＭＤ１２０を装着した利用者の頭２００の向きを回転させてもらい、その際の画像のブレを測定した。画像のブレは撮影装置から１ｍ離れたところに置いた白と黒とのストライプ画像を撮影し、その結果をＭｉｃｈｅｌｓｏｎコントラストの式によりコントラストを求めることで行った。
また、比較対象として、図４（ｂ）に示すように本発明の撮影装置ではなく、通常のテーブル２０’上にカメラ１０を置いただけの公知の撮影装置で全く同じ実験を行い、コントラストを確認した。
これらの結果を図４（ｃ）に示す。図４（ｃ）に示す結果から明らかなように、本発明の撮影装置１を用いることで、撮影装置の回転によるコントラスト低下はなく、ストライプ画像をブレやボケが発生することなく認識することができた。また、このことは目視でも確認でき、本発明の撮影装置ではストライプがはっきりと認識できていたのに対して従来の装置ではストライプがぼけてしまった。

次に、本発明の撮影装置から１ｍ離れたところと１ｍ２０ｃｍ離れたところに２つのサンプルを、３０ｃｍ間隔をおいて並べて、これら２つの画像を撮影することで２つの画像の奥行の差に対してどの程度のずれが生じるかを確認したその結果を図５に示す。また、比較対象として、一つのカメラで撮影した場合のずれを計測した。その結果を図５に示す。
図５に示す結果から明らかなように、本発明の撮影装置ではほとんど奥行において誤差が生じなかった。

さらに、６０秒間にわたって、図4に示すように設定した本発明の撮影装置及び比較対象の撮影装置を用いて、ＨＭＤを左右に動かした場合の映像酔いの程度を，ＳＳＱ（ｓｉｍｕｌａｔｏｒＳｉｃｋｎｅｓｓＱｕｅｓｔｉｏｎａｉｒｅ )で評価した。左右への動作は、演習場の7か所（２７０°範囲内）に載置したターゲットをランダムに見る（待ち時間を図６に記載の通りに変えて、見る方向を毎回ランダムに変えて、２秒間隔で３０回見る）ように指示されたとおりに動かすことで行った。その結果を図６に示す。
図６に示す結果から明らかなように、本発明品は映像酔いを起こしにくいものであることがわかる。

Claims

全周囲画像を形成可能な撮影部を複数個備えた撮影装置であって、
上記撮影部が設置された撮影部設置部と、
上記撮影部設置部を回転可能に軸支する回転駆動軸と、
上記回転駆動軸に回転力を付与する駆動部と、
複数の撮影部をそれぞれ所定位置において回転自在に軸支するために上記撮影部設置部に設けられた、撮影部軸とを具備し、
更に、上記回転駆動軸の回転に上記撮影部軸の回転が追随しないようにそれぞれの回転を調節する回転調整機構を具備し、上記撮影部設置部を回転させた場合に、上記撮影部が上記撮影部設置部の回転に追随せずに所定方向を向いた状態を保持できるようになされている
撮影装置。
上記回転調整機構が、上記駆動部の回転駆動力が上記回転駆動軸を介して上記撮影部軸のそれぞれに伝達されるように、上記回転駆動軸及び上記撮影部軸に設けられた駆動力伝達手段である、請求項１記載の撮影装置。
上記撮影部は２つであり、２つの撮影部は所定間隔を空けて且つそれぞれ任意に設定された視点に向けて設置されており、
上記駆動力伝達手段は、上記回転駆動軸に設けられた中央歯車と、上記撮影部軸に設けられた中央歯車に噛み合う支点歯車とからなる、
請求項２記載の撮影装置。
観察者の任意の映像表示要望に応じて映像を表示する映像表示システムであって、
映像を取得するための請求項１記載の撮影装置と、
観察者の視線方向の変化を取得する視線方向認識部と
上記視線方向認識部により取得した視線方向の変化に応じて上記撮影装置に所定方向への回転を指示する回転指示部と
上記撮影装置により得られた映像表示部に表示する映像表示部とを具備する映像表示システム。