JP2016201742A - 立体視用動画データ生成装置、それにより実行される方法、及び立体視用動画表示装置 - Google Patents
立体視用動画データ生成装置、それにより実行される方法、及び立体視用動画表示装置 Download PDFInfo
- Publication number
- JP2016201742A JP2016201742A JP2015081942A JP2015081942A JP2016201742A JP 2016201742 A JP2016201742 A JP 2016201742A JP 2015081942 A JP2015081942 A JP 2015081942A JP 2015081942 A JP2015081942 A JP 2015081942A JP 2016201742 A JP2016201742 A JP 2016201742A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- eye
- moving image
- image light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
右目用動画と左目用動画とをユーザの右目と左目に導く場合には、それらを表示するための少なくとも1つのディスプレイが必要となる。ディスプレイは、1つの場合と2つの場合がある。
ディスプレイが1つの場合には一般に、ディスプレイに右目用動画を構成するフレームと、左目用動画を構成するフレームとを交互に写す。そして、右目用動画を構成するフレームからの光を右目に、左目用動画を構成するフレームからの光を左目に、時分割、或いは視差分割で、ユーザの目にそれぞれ導くことにより、ユーザの右目に右目用動画を、ユーザの左目に左目用動画を、それぞれ見せることになる。時分割の場合には、ディスプレイには、1フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが表示される。ユーザは、1フレーム毎に交互に表示される右目用動画のフレームと左目用動画のフレームとを、ディスプレイに表示されるフレームの切替タイミングに同期して交互に開閉する液晶シャッタを左右の両目の前にそれぞれ位置させられる特殊な眼鏡等を用いて見ることにより、立体視を行うことができる。他方、視差分割の場合には、ディスプレイに表示されるすべてのフレームの中に、右目用動画を構成する部分と、左目用動画を構成する部分とが表示される。1つのフレームの中に映しだされる右目用動画を構成する部分と、左目用動画を構成する部分とから出た光は、例えば、視野バリア又はレンチキュラーレンズを用いて右目と左目のそれぞれに、分離して導かれる。それにより、ユーザは立体視を行うことができる。
他方、ディスプレイが2つの場合には、右目用動画を表示する右ディスプレイと、左目用動画を表示する左ディスプレイとを準備し、当初から別の物となっている2つのディスプレイそれぞれからの像光を、例えばレンズを含む適当な光学系でユーザの右目と左目とに導くことにより、ユーザは立体視を行う。
一般に、右目用動画と左目用動画は、2つの撮像素子と、それら撮像素子のそれぞれ用の適当な光学系を有するカメラを用いて撮像される。しかしながら、右目用動画と左目用動画は、それらにそれぞれ含まれている多数のフレームについて、より具体的に言えば、例えば、それらフレームの切り替えのタイミングについて、極めて高い精度で同期が取られていることが必要であるが、かかる同期を実現することが難しい。また、右目用動画と左目用動画との間では、色と明るさの一致が必要なところ、撮像素子を2つ用いた場合には、同一の撮像素子を用いたとしても製造誤差に基づく個体差が撮像素子間にあるため、それらを用いて作られる右目用動画と左目用動画との間で色と明るさの一致させるための何らかの処理が必要となるが、その処理は比較的面倒であり、且つコストも嵩む。
本願発明は、そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている1つの撮像素子と、前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、を備えてなるとともに、前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっており、前記撮像素子は、前記右像光と、前記左像光とによる動画データを出力するようになっている、立体視用動画データ生成装置である。
この立体視用動画データ生成装置は、右目用の画像である右目用動画の像光である右像光を撮像素子の撮像面に導く右撮像光学系と、左目用の画像である左目用動画の像光である左像光を撮像素子の撮像面に導く左撮像光学系とを備えている。右撮像光学系により導かれる右像光と、左撮像光学系により導かれる左像光とは、いずれも1つの撮像素子に導かれ、撮像素子の撮像面の異なる部位に結像させられる。本願発明では、右像光と左像光とを1つの撮像素子に導き、1つの撮像素子から一列で出力されるデータにより、立体視用の動画データを生成する。この発明では、2つの撮像素子を用いずに、1つの撮像素子から一列で出力されるデータから、右目用動画のデータと、左目用動画のデータとを作ることができるから、2つの撮像素子の同期、及び色と明るさの一致を得るための複雑な処理を省略することができる。加えて、撮像素子の数を減らせるから、この立体視用動画データ生成装置は、安価にし易くもなる。
1つの撮像素子から一列で出力されるデータから右目用動画のデータと左目用動画のデータを生成するには、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータをそれぞれ取出し、前者を、右目画像用のフレームデータである右フレームデータとし、後者を、左目画像用のフレームデータである左フレームデータとにすれば良い。つまり、一列で出力されるデータを2つに分けることにより、一列で出力されるデータから、右目用動画のデータと、左目用動画のデータを生成することができる。
例えば、右目用動画のデータと左目用動画のデータが存在しているとする。右目用動画のデータと左目用動画のデータは、それらに基づく動画を2つのディスプレイにそれぞれ表示し、2つのディスプレイからの光をそれぞれ別の光学系でユーザの右目と左目に個別に導いたときに、ユーザが立体視を行えるようなものである。つまり、2つのディスプレイを使用する立体視用動画表示装置でユーザが立体視を行う場合には、1つの撮像素子から一列で出力されるデータから右目用動画のデータと、左目用動画のデータとを生成する処理を実行した段階で、既に立体視用動画表示装置で必要となる動画のデータは完成している。
他方、立体視用動画表示装置が1つのディスプレイで立体視用の動画を表示するものであるとする。その場合には、右目用動画のデータと左目用動画のデータを用いて、1つのディスプレイで表示される1つの立体視用の動画のデータを生成する必要がある。立体視用動画表示装置が1つのディスプレイで、時分割される立体視用の動画を表示する場合には、立体視用の動画のデータは、1フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが連続していくものとなる。この場合には、右目用動画のデータの1フレーム目、左目用動画のデータの2フレーム目、右目用動画のデータの3フレーム目、左目用動画のデータの4フレーム目…、というように、右目用動画に連続して含まれるフレームと、左目用動画に連続して含まれるフレームとを、それぞれのフレームからフレームを一つ飛ばしに落として行きつつ、交互に連続させたものが立体視用の動画のデータとなる。立体視用動画表示装置が1つのディスプレイで視差分割される立体視用の動画を表示する場合には、立体視用の動画のデータにおける各フレームは、各フレームの視差によって分割される右目で見るべき範囲に右目用動画の画像が、左目で見るべき範囲に左目用動画の画像が、それぞれ配置されたものとなる。右目用動画と左目用動画のデータがそれぞれ存在しているのであれば、同じ順番のフレームの画像同士を適切に混合することによって、立体視用の動画のデータを得ることができることになる。
上述したように、以上のような画像処理は、立体視用動画データ生成装置内で行われるようになっていても良いが、そうでなくても良い。
これには限られないが、前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域と、左側の領域とにそれぞれ結像するようになっていてもよい。この場合には、右目用動画のデータと、左目用動画のデータとを、1つの撮像素子から一列で出力されるデータから生成するために行われる処理、つまり、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータとをそれぞれ取出す処理は、極めて簡単に実行できる。フレームデータの連続であるその一列で出力されるデータにおける各フレームデータは、撮像面に設けられた略水平な走査線(フィールド)上の素子から出力されたデータを含んでいるが、各フィールドのデータを前後に分けるだけで、右目用動画のデータと左目用動画のデータを得ることができる。
前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域の中央と、左側の領域の中央とにそれぞれ結像するようになっていてもよい。この場合には、フレームデータの連続であるその一列で出力されるデータにおける各フレームデータの中から、右像光によって生成されたデータと、左像光によって生成されたデータとをそれぞれ取出す処理は、更に簡単に実行できる。この場合、各フレームデータに対して、フレームデータを構成する各フィールドのデータを前後に、半分に分けるだけで、右目用動画のデータと左目用動画のデータを得ることができる。
立体視用動画データ生成装置が画像処理手段を備えている場合には、画像処理手段は、右目用動画のデータと、左目用動画のデータとを、1つの撮像素子から一列で出力されるデータから生成するために行われる処理を、上述のようにして実行するようになっていてもよい。
例えば、前記画像処理手段は、前記フレームデータのそれぞれに含まれる各走査線のうち、撮像面の右側の領域にある画素で生成された部分の走査線を特定するデータを集めて、右フレームデータを、各フレームデータに含まれる各走査線のうち、撮像面の左側の領域にある画素で生成された部分の走査線を特定するデータを集めて、左フレームデータを、それぞれ生成するようになっていてもよい。
かかる立体視用動画表示装置は、前記画像処理手段から順次出力される前記右フレームデータからなる前記右目用動画のデータを受取り、ユーザの右目に前記右目用動画のデータに基づく動画である右目用動画の像光を出力する右ディスプレイと、前記画像処理手段から順次出力される前記左フレームデータからなる前記左目用動画のデータを受取り、ユーザの左目に前記左目用動画のデータに基づく動画である左目用動画の像光を出力する左ディスプレイと、を有することにより、前記撮像素子で撮像された前記右像光に基づく右目用動画と、前記撮像素子で撮像された前記左像光に基づく左目用動画とを、略実時間でユーザの右目と左目に導くことができるようになっている。
かかる立体視用動画表示装置を用いれば、ユーザは、略実時間で、立体視を行えるようになる。ユーザに立体視用動画表示装置で見せる立体視用動画を何らかの対象物の拡大像とすれば、ユーザはその拡大像を立体視により見ることができるようになる。
これには限られないが、立体視用動画表示装置は、前記立体視用動画データ生成装置、前記右ディスプレイ、及び前記左ディスプレイを含む本体部と、前記本体部をユーザの頭部に対して着脱自在に固定する固定手段と、を含んでなり、ヘッドマウントディスプレイとされていても良い。
こうすることで、ユーザは、自分の視野内にあるものを、ヘッドマウントディスプレイである立体視用動画表示装置を通して、立体視をしつつ見ることができるようになる。立体視用動画表示装置で表示される動画が拡大像その他の肉眼では見ることのできないものであれば、ユーザは肉眼で物を見るよりも多くの情報、或いは肉眼で物を見るのとは異なる情報を、その動画から得られることになる。
その方法の一例は、そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている1つの撮像素子と、前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている、画像処理手段と、を備えており、前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっている、立体視用動画データ生成装置にて実行される方法である。
この方法は、前記画像処理手段が、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出す過程、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力する過程、を含む。
図1に、この実施形態におけるヘッドマウントディスプレイ(以下、「HMD」と称する。)の概観を示す。
HMDは、本体100と、本体100に接続された固定部材200とを備えている。固定部材200は、HMDをユーザの頭部に着脱自在に固定するためのものである。この実施形態における固定部材200は、HMDをユーザの頭部に固定するに際してユーザの頭部の周囲を囲む輪状部210と、HMDをユーザの頭部に固定するに際してユーザの頭部の上半分を頭頂部を通過しつつ左右にまたぐU字部220とを備えているが、HMDをユーザの頭部に着脱自在に固定することが可能であれば、固定部材200の構成はこの限りではない。例えば、固定部材200は、本体100の幅方向の両端の背面付近にその両端を接続された伸縮性を与えられたベルトとすることができる。
本体100と固定部材200とは、その両端で本体100及び固定部材200とヒンジ接続された板状の接続部材300で接続されている。接続部材300の存在により、固定部材200でHMDがユーザの頭部に固定された状態で、本体100をユーザの目の前方に位置させた状態と、ユーザの額の前に位置させた状態の2つの状態を採らせることができるようになる。ユーザの目の前方に本体100が位置した状態で、ユーザは後述する立体視用動画を見ることができる。また、ユーザは、立体視用動画を見る必要がない場合、或いは肉眼での視界を確保したい場合には、固定部材200を頭部に固定したまま、本体100を額の前に跳ね上げれば良い。
ケース110の前面には、筒状の左右2つの鏡筒120R、120Lが取付けられている。鏡筒120Rは、本体100がユーザの目の前方に位置しているときに、略ユーザの右目の前に位置し、鏡筒120Lは、本体100がユーザの目の前方に位置しているときに、略ユーザの左目の前に位置するようになっている。両鏡筒120R、120Lは、後述する右目用動画と左目用動画とに適切な視差を与えるために図2に示したように、内側にやや傾けられている。
鏡筒120R、120Lの基端側には、第1レンズ131R、131Lを通過した像光をケース110の幅方向の内側に向かって反射させる鏡である第1ミラー132R、132Lが設けられている。また、これには限られないが、ケース110の幅方向の略中央には、第1ミラー132R、132Lで反射された像光を、後述する撮像素子の撮像面に向けて反射させるための鏡である第2ミラー133R、133Lが設けられている。
第1レンズ131R、第1ミラー132R、第2ミラー133Rは、鏡筒120Rを通過した像光L1Rを、撮像素子の撮像面の所定の部分に結像させるためのものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、鏡筒120Rを通過した像光L1Rの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。同様に、第1レンズ131L、第1ミラー132L、第2ミラー133Lは、鏡筒120Lを通過した像光L1Lを、撮像素子の撮像面の所定の部分に結像させるためのものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、鏡筒120Lを通過した像光L1Lの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。なお、像光L1Rと、像光L1Lの結像する位置は、異なる位置となるようになっている。
より具体的には、像光L1Rは、撮像素子140の撮像面141の右半分(撮像素子を背後から(図2の下側から)見た場合の右半分。本願では撮像素子の左右の概念はすべてこれに倣っている。)のどこかに、像光L1Lは、撮像素子140の撮像面141の左半分のどこかに、それぞれ結像させられるようになっている。
撮像面141の大きさ形状は適宜選択可能であるが、この実施形態では、その縦横比が、9:16となるようになっている。
撮像面141は、物理的、構造的に分かれているわけではないが、右側の範囲である右撮像面141Rと、左側の範囲である左撮像面141Lとに、概念上分かれている。上述したように、像光L1Rと、像光L1Lとはそれぞれ、右撮像面141Rと、左撮像面141Lとに結像させられるようになっている。より詳細には、像光L1Rと、像光L1Lとはそれぞれ、右撮像面141Rの中心(CR)と、左撮像面141Lの中心(CL)に結像されるようになっている。
撮像面141に導かれた像光L1Rと、像光L1Lはともに、共に矩形である右撮像面141Rと、左撮像面141Lに略一致するようになっている(完全に一致するようになっていても勿論よい。)。これにより像光L1Rと、像光L1Lとはともに、右撮像面141Rと、左撮像面141Lの略全体(或いは全体)をカバーするようになっている。撮像面141に導かれた像光L1R及び像光L1Lの断面を共に矩形とするには、像光L1Rについては、第1ミラー132R、第2ミラー133Rの少なくとも一方において像光L1Rの周縁部の光を反射しないことにより、それを実現することができる。例えば、第2ミラー133Rの中心を像光L1Rの光軸と一致させるとともに、第2ミラー133Rの大きさを、撮像面141に導かれる像光L1Rが右撮像面141Rに略一致する程度に、第2ミラー133Rに至った像光L1Rの断面よりも予め小さくしておけば、撮像面141に導かれた像光L1Rの断面を矩形にするとともに、撮像面141に導かれる像光L1Rが右撮像面141Rに略一致するようにすることができる。像光L1Lにおいても同様である。
画像処理回路156は、右信号線152Rと、左信号線152Lとそれらの一端で接続されている。右フレームデータの連続である右目用動画のデータは右信号線152Rを介して、右信号線152Rの他端に接続されている右ディスプレイ160Rに出力されるようになっている。他方、左フレームデータの連続である左目用動画のデータは左信号線152Lを介して、左信号線152Lの他端に接続されている左ディスプレイ160Lに出力されるようになっている。右ディスプレイ160Rは、右目用動画のデータに基づいて右目用動画を表示するようになっている。左ディスプレイ160Lは、左目用動画のデータに基づいて左目用動画を表示するようになっている。右ディスプレイ160Rと、左ディスプレイ160Lとは、これには限られないが、この出願では同じディスプレイである。右ディスプレイ160Rと、左ディスプレイ160Lは、いずれも公知或いは周知のもので良く、例えば液晶ディスプレイであり、或いは有機ELディスプレイである。
なお、右ディスプレイ160Rと、左ディスプレイ160Lの画像が表示される面は、図2における下方である。
第2レンズ170Rは、右ディスプレイ160Rの背後にあり、本体100がユーザの眼前に位置している場合に、右ディスプレイ160Rからの像光L2Rをユーザの右目に導くようになっている。第2レンズ170Lは、左ディスプレイ160Lの背後にあり、本体100がユーザの眼前に位置している場合に、左ディスプレイ160Lからの像光L2Lをユーザの左目に導くようになっている。
第2レンズ170Rは、右ディスプレイ160Rに表示されている動画をユーザが見ることができるようにして、右ディスプレイ160Rからの像光L2Rをユーザの右目に導くものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、像光L2Rの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。
第2レンズ170Lは、左ディスプレイ160Lに表示されている動画をユーザが見ることができるようにして、左ディスプレイ160Lからの像光L2Lをユーザの左目に導くものである。それが可能な限りにおいて、或いはそれを可能とするために必要なのであれば、像光L2Lの光路上に、レンズ、鏡、プリズム等の他の光学要素が存在していても構わない。
このHMDを使用するには、ユーザは固定部材200を頭部に装着する。そして本体100を、ユーザの目の前方に位置させる。
ユーザの鏡筒120Rと、鏡筒120Lの前方にあるその「物」からの像光L1R、及び像光L1Lは、図2に示したように、鏡筒120Rと、鏡筒120Lに向かい、第1レンズ131R、131Lを通過する。
像光L1R、及び像光L1Lは、第1レンズ131R、131Lを通過するときに拡大され、そして次に第1ミラー132R、132Lに向かう。像光L1R、及び像光L1Lは、第1ミラー132R、132Lでケース110の幅方向の内側に向かって反射させられ、第2ミラー133R、133Lに向かう。
第2ミラー133R、133Lで反射させられた像光L1R、及び像光L1Lは、撮像素子140の撮像面141に向かう。これには限られないが、上述したように、像光L1R、及び像光L1Lは、撮像面141上の右撮像面141Rの中心と、左撮像面141との中心とにそれぞれ結像させられるようになっている。
撮像面141が像光L1R、及び像光L1Lを捉えると、撮像素子140からはフレームデータが連続して出力される。よく知られているように、撮像面141には、図4に示したように、多数の走査線(フィールド)F1〜Fnが存在する。フレームデータは、1フレーム分のデータであるがそれは、走査線F1〜Fnからそれぞれ出力されたデータであるフィールドデータD1〜Dnの集合である。各フィールドデータD1〜Dnの終わりにはよく知られているように水平同期信号が追加され、各フレームデータの終わりにはよく知られているように垂直同期信号が追加される。これには限られないが、そのような極一般的なフレームデータが次々に、撮像素子140から出力される。なお、各走査線F1〜Fnは、右撮像面141Rと左撮像面141Lとで物理的に分断されているわけではなく、各走査線F1〜Fnからそれぞれ出力されたデータであるフィールドデータD1〜Dnも右撮像面141Rと、左撮像面141Lとの境界部分で分断されてはいない。
各フレームデータの中から、像光L1Rによって生成されたデータと、像光L1Lによって生成されたデータをそれぞれ取出すには、各フレームデータを構成するフィールドデータD1〜Dnを前後半に二等分し、前半部分を右フレームデータを構成する右フィールドデータDR1〜DRnと、後半部分を左フレームデータを構成する左フィールドデータDL1〜DLnとすればよい。上述したように、各走査線F1〜Fnは、右撮像面141Rと左撮像面141Lとで物理的に分断されているわけではないが、それらのうち右撮像面141Rに位置するものが出力するデータは、フィールドデータD1〜Dnのうちの前半部分に対応し、それらのうち左撮像面141Lに位置するものが出力するデータは、フィールドデータD1〜Dnのうちの後半部分に対応するから、各フレームデータを構成するフィールドデータD1〜Dnを単に前後に二等分するだけで、各フレームデータを、像光L1Rによって生成されたデータと、像光L1Lによって生成されたデータとに分離したことになるのである。なお、各フィールドデータD1〜Dnを前後半に分けるには、例えば、各フィールドデータの中に含まれる、各素子が生成した信号の数を画像処理回路156で計数し、前後の信号の数が等しくなるようにすれば良い。
なお、像光L1Rと、像光L1Lが、右撮像面141Rと、左撮像面141Lの中心にそれぞれ結像しない場合、或いは、右撮像面141Rと、左撮像面141Lとが撮像面141を左右に二等分したものでない場合においても、各フィールドデータD1〜Dnを適当に分割することにより(フィールドデータによっては、0%と100%に分割され、事実上分割されないこともある。)、各フレームデータを、像光L1Rによって生成されたデータと、像光L1Lによって生成されたデータとに分離することができる。
そして、フィールドデータD1〜Dnの前半から得られた右フィールドデータDR1〜DRnを図5に示したように一纏めにして右フレームデータとし、フィールドデータD1〜Dnの後半から得られた左フィールドデータDL1〜DLnを図5に示したように一纏めにすると左フレームデータとなる。画像処理回路156は、これらにも、通常のビデオ信号と同様に、公知の水平同期信号と垂直同期信号を追加する。それにより、右フレームデータも、左フレームデータも、公知或いは周知のディスプレイにより普通に扱えるものとなる。
第2レンズ170Rは、右ディスプレイ160Rに表示されている動画をユーザが見ることができるようにして、右ディスプレイ160Rからの像光L2Rをユーザの右目に導く。
同時に、第2レンズ170Lは、左ディスプレイ160Lに表示されている動画をユーザが見ることができるようにして、左ディスプレイ160Lからの像光L2Lをユーザの左目に導く。
右目で像光L2Rを、左目で像光L2Lを見たユーザは、立体視を行うことができる。ユーザは、かかる立体視を、略実時間で行うことができる。ユーザが立体視で見ることのできる動画は、この実施形態の場合であれば、第1レンズ131R、131Lの存在により、ユーザが肉眼で物を見た場合とは異なるものとなる。
次に、本願発明の第2実施形態について説明する。
第2実施形態は、カメラである。このカメラは、立体視用の動画データを生成する装置である。
そして、このカメラの構成は、第1実施形態のHMDの構成を、右目用動画のデータと左目用動画のデータの生成を行うまでの機構を撮像側の機構と呼び、右目用動画と左目用動画とを右ディスプレイ160Rと、左ディスプレイ160Lに表示してユーザの目に見せるための機構を表示側の機構と呼ぶのであれば、第1実施形態のHMDの撮像側の機構と概ね同一の構成を有している。
ケース110には2つの鏡筒120R、120Lが設けられており、それらには、第1レンズ131R、131Lが取付けられている。もっとも、第1レンズ131R、131Lは、像光L1R、及び像光L1Lを拡大するものでなくても良い。ケース110の内部には、第1ミラー132R、132Lと、第2ミラー133R、133Lがあり、また、撮像素子140が存在している。撮像素子140は、右撮像面と左撮像面とに概念的に分割された撮像面141を備えている。
ここまでは、特に断りのない点については、それらの機能を含めて、第1実施形態の場合と変わりがない。
第2画像処理回路180は、右信号線152Rと左信号線152Lを介して、画像処理回路156と接続されている。画像処理回路156は、第1実施形態の場合と同様に、右フレームデータの連続である右目用動画のデータを右信号線152Rを介して出力し、左フレームデータの連続である左目用動画のデータを、左信号線152Lを介して出力するようになっている。右目用動画のデータと、左目用動画のデータとは、それらがそれぞれ右ディスプレイ160Rと、左ディスプレイ160Lで受け取られた第1実施形態の場合と異なり、第2画像処理回路180に受け取られるようになっている。
第2画像処理回路180は、右目用動画のデータ及び左目用動画のデータに対して、必要に応じて画像処理を行うようになっている。必要がなければ第2画像処理回路180は、右目用動画のデータ及び左目用動画のデータをそのまま通過させる。
例えば、立体視用動画表示装置が1つのディスプレイで、時分割される立体視用の動画を表示する場合には、立体視用の動画のデータは、1フレーム毎に交互に右目用動画を構成するフレームと左目用動画を構成するフレームが連続していくものとなる。この場合には、第2画像処理回路180は、右目用動画のデータの1フレーム目、左目用動画のデータの2フレーム目、右目用動画のデータの3フレーム目、左目用動画のデータの4フレーム目…、というように、右目用動画に連続して含まれるフレームと、左目用動画に連続して含まれるフレームとを、それぞれのフレームからフレームを一つ飛ばしに落として行きつつ、交互に連続させて、立体視用の動画のデータを生成する。
また、立体視用動画表示装置が1つのディスプレイで視差分割される立体視用の動画を表示する場合には、立体視用の動画のデータにおける各フレームは、各フレームの視差によって分割される右目で見るべき範囲に右目用動画の画像が、左目で見るべき範囲に左目用動画の画像が、それぞれ配置されたものとなる。この場合には、第2画像処理回路180は、右目用動画のデータと左目用動画のデータから、同じ順番のフレームの画像同士を適切に混合して新たなフレームデータを順に生成することにより立体視用の動画のデータを生成する。
第2画像処理回路180が右目用動画のデータと左目用動画のデータに対して何らの処理も行わなかった場合には、それらデータはそのまま右出力線181Rと、左出力線181Lから外部に出力されるか、或いは右接続線182Rと、左接続線182Lから記録媒体190に送られる。記録媒体190に送られた右目用動画のデータと左目用動画のデータは、記録媒体190に記録される。右出力線181Rと、左出力線181Lから外部に出力された右目用動画のデータと左目用動画のデータは、外部の装置に送られて、例えば、第2画像処理回路180で行われたのと同じように、1つのディスプレイでの立体視を実現するための立体視用の動画データを生成するために用いられる。記録媒体190に記録された右目用動画のデータと左目用動画のデータは、必要なときに、第2画像処理回路180と、右出力線181R及び左出力線181Lと、を介して外部に出力され、上述の場合と同様に利用される。また、記録媒体190がカメラに対して着脱自在になっているのであれば、カメラから取外した記録媒体190に記録されたデータを他の装置に読み込ませることによって、そのデータを上述の場合と同様に利用することができる。
他方、第2画像処理回路180で上述のような処理を行った場合においては、処理されたデータは、例えば右出力線181Rを介して外部の装置に出力され、或いは右接続線182Rを介して記録媒体190に送られ、記録媒体190に記録される。第2画像処理回路180で生成されたデータは一列のデータである場合には、右出力線181Rと左出力線181Lという2本の出力線は不要であり、また右接続線182Rと、左接続線182Lという2本の接続線は不要である。
第2画像処理回路180で画像処理を行うか否か、また画像処理が行われた、或いは行われなかったデータの出力先をどこにするのか、或いは記録媒体190に記録されたデータをいつ出力するのかは、例えば、カメラのケース110に設けた、テンキーその他の図示を省略の入力装置からの入力によって決定可能とすることができる。
110 ケース
120 鏡筒
131R 第1レンズ
131L 第1レンズ
132R 第1ミラー
132L 第1ミラー
133R 第2ミラー
133L 第2ミラー
140 撮像素子
141 撮像面
141R 右撮像面
141L 左撮像面
156 画像処理回路
160R 右ディスプレイ
160L 左ディスプレイ
170R 第2レンズ
170L 第2レンズ
180 第2画像処理回路
190 記録媒体
200 固定部材
300 接続部材
L1R 像光
L1L 像光
L2R 像光
L2L 像光
Claims (8)
- そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている1つの撮像素子と、
前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、
前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、
を備えてなるとともに、
前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっており、前記撮像素子は、前記右像光と、前記左像光とによる動画データを出力するようになっている、
立体視用動画データ生成装置。 - 前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている画像処理手段を備えており、
前記画像処理手段は、各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出し、右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力できるようになっている、
請求項1記載の立体視用動画データ生成装置。 - 前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域と、左側の領域とにそれぞれ結像するようになっている、
請求項1又は2記載の立体視用動画データ生成装置。 - 前記右像光と、前記左像光とはそれぞれ、前記撮像面を左右に二分した場合における右側の領域の中央と、左側の領域の中央とにそれぞれ結像するようになっている、
請求項3記載の立体視用動画データ生成装置。 - 前記画像処理手段は、前記フレームデータのそれぞれに含まれる各走査線のうち、撮像面の右側の領域にある画素で生成された部分の走査線を特定するデータを集めて、右フレームデータを、各フレームデータに含まれる各走査線のうち、撮像面の左側の領域にある画素で生成された部分の走査線を特定するデータを集めて、左フレームデータを、それぞれ生成するようになっている、
請求項4記載の立体視用動画データ生成装置。 - 請求項1〜5のいずれかに記載の立体視用動画データ生成装置を含んでなる立体視用動画表示装置であって、
前記画像処理手段から順次出力される前記右フレームデータからなる前記右目用動画のデータを受取り、ユーザの右目に前記右目用動画のデータに基づく動画である右目用動画の像光を出力する右ディスプレイと、
前記画像処理手段から順次出力される前記左フレームデータからなる前記左目用動画のデータを受取り、ユーザの左目に前記左目用動画のデータに基づく動画である左目用動画の像光を出力する左ディスプレイと、
を有することにより、前記撮像素子で撮像された前記右像光に基づく右目用動画と、前記撮像素子で撮像された前記左像光に基づく左目用動画とを、略実時間でユーザの右目と左目に導くことができるようになっている、
立体視用動画表示装置。 - 前記立体視用動画データ生成装置、前記右ディスプレイ、及び前記左ディスプレイを含む本体部と、前記本体部をユーザの頭部に対して着脱自在に固定する固定手段と、を含んでなり、
ヘッドマウントディスプレイとされた、
請求項6記載の立体視用動画表示装置。 - そこに結像させられた像光の撮像を行う撮像面を有し、且つ前記撮像面に結像させられた像光に基づく静止画像についてのデータであるフレームデータを連続して出力することにより、動画の撮像を行うことができるようになっている1つの撮像素子と、
前記撮像素子に右目用の画像である右目用動画の像光である右像光を導く右撮像光学系と、
前記撮像素子に左目用の画像である左目用動画の像光である左像光を導く左撮像光学系と、
前記撮像素子によって出力されたフレームデータに対して画像処理を行うことができるようになっている、画像処理手段と、
を備えており、
前記右像光と、前記左像光とは、前記撮像素子の前記撮像面の異なる部位に結像させられるようになっている、
立体視用動画データ生成装置にて実行される方法であって、
前記画像処理手段が、
各フレームデータの中から、前記右像光によって生成されたデータと、前記左像光によって生成されたデータをそれぞれ取出す過程、
右目画像用のフレームデータである右フレームデータと、左目画像用のフレームデータである左フレームデータとを生成することにより、立体視における右目用動画のデータと、左目用動画のデータとを別々に出力する過程、
を含む方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015081942A JP2016201742A (ja) | 2015-04-13 | 2015-04-13 | 立体視用動画データ生成装置、それにより実行される方法、及び立体視用動画表示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015081942A JP2016201742A (ja) | 2015-04-13 | 2015-04-13 | 立体視用動画データ生成装置、それにより実行される方法、及び立体視用動画表示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016201742A true JP2016201742A (ja) | 2016-12-01 |
Family
ID=57424730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015081942A Pending JP2016201742A (ja) | 2015-04-13 | 2015-04-13 | 立体視用動画データ生成装置、それにより実行される方法、及び立体視用動画表示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016201742A (ja) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6170839U (ja) * | 1984-10-17 | 1986-05-14 | ||
| JPH0870474A (ja) * | 1994-08-29 | 1996-03-12 | Sanyo Electric Co Ltd | 立体撮像装置及び立体画像記録再生装置 |
| JPH08149515A (ja) * | 1994-11-18 | 1996-06-07 | Sanyo Electric Co Ltd | 立体撮像装置 |
| JP2004260787A (ja) * | 2002-09-09 | 2004-09-16 | Rohm Co Ltd | イメージセンサモジュール |
| JP2011247966A (ja) * | 2010-05-24 | 2011-12-08 | Olympus Imaging Corp | 撮像装置 |
| JP2013132026A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 情報処理装置 |
| JP2013222177A (ja) * | 2012-04-19 | 2013-10-28 | Canon Inc | 立体映像撮影光学系および立体映像撮影装置 |
-
2015
- 2015-04-13 JP JP2015081942A patent/JP2016201742A/ja active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6170839U (ja) * | 1984-10-17 | 1986-05-14 | ||
| JPH0870474A (ja) * | 1994-08-29 | 1996-03-12 | Sanyo Electric Co Ltd | 立体撮像装置及び立体画像記録再生装置 |
| JPH08149515A (ja) * | 1994-11-18 | 1996-06-07 | Sanyo Electric Co Ltd | 立体撮像装置 |
| JP2004260787A (ja) * | 2002-09-09 | 2004-09-16 | Rohm Co Ltd | イメージセンサモジュール |
| JP2011247966A (ja) * | 2010-05-24 | 2011-12-08 | Olympus Imaging Corp | 撮像装置 |
| JP2013132026A (ja) * | 2011-12-22 | 2013-07-04 | Canon Inc | 情報処理装置 |
| JP2013222177A (ja) * | 2012-04-19 | 2013-10-28 | Canon Inc | 立体映像撮影光学系および立体映像撮影装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPS59500298A (ja) | 立体画像テレビジョンシステム | |
| CN101588512A (zh) | 一种立体摄像装置及方法 | |
| JP2006033228A (ja) | 画像撮像装置 | |
| JP2020043467A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP7202449B2 (ja) | 仮想現実立体映像を生成するための光学配置 | |
| JP2018152748A (ja) | 立体画像の撮像・表示兼用装置及びヘッドマウント装置 | |
| CN105493504A (zh) | 立体图片生成设备以及立体图片生成方法 | |
| JP2011112808A (ja) | 撮像装置 | |
| KR101391951B1 (ko) | 사이드 바이 사이드 스테레오 영상 촬영 방법 및 이를 위한 단안식 카메라 | |
| JPS63244011A (ja) | 電子内視鏡 | |
| JP2011053564A (ja) | 表示装置および撮像装置 | |
| JPH11187425A (ja) | 立体映像装置及び方法 | |
| JP2004144873A (ja) | 画像表示装置及び画像表示方法 | |
| JP4353001B2 (ja) | 3次元画像撮像アダプター | |
| JP2016201742A (ja) | 立体視用動画データ生成装置、それにより実行される方法、及び立体視用動画表示装置 | |
| TWI222318B (en) | 3-dimensional video recording/reproduction device | |
| JP5627930B2 (ja) | 3次元画像データ生成方法 | |
| JP2006129225A (ja) | 立体映像表示装置及び立体映像表示方法 | |
| KR100401703B1 (ko) | 입체영상 촬영장치 | |
| JP3235441U (ja) | 1枚の撮像素子の1台のカメラの映像を既存のすべての3d形式にエンコードする | |
| US20150035988A1 (en) | Video imaging system including a plurality of cameras and a plurality of beamsplitters | |
| US20230379596A1 (en) | Light field endoscope with look around capability | |
| CN102710947A (zh) | 视频信号处理装置和视频信号处理方法 | |
| KR20060090650A (ko) | 입체영상 촬영장치 | |
| JP2002341289A (ja) | 立体映像観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180413 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190606 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190910 |