JP5963006B2 - 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 - Google Patents

画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP5963006B2
JP5963006B2 JP2013525563A JP2013525563A JP5963006B2 JP 5963006 B2 JP5963006 B2 JP 5963006B2 JP 2013525563 A JP2013525563 A JP 2013525563A JP 2013525563 A JP2013525563 A JP 2013525563A JP 5963006 B2 JP5963006 B2 JP 5963006B2
Authority
JP
Japan
Prior art keywords
image
unit
image conversion
line
conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013525563A
Other languages
English (en)
Other versions
JPWO2013014872A1 (ja
Inventor
森村 淳
森村  淳
親和 王
親和 王
森岡 幹夫
幹夫 森岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2013014872A1 publication Critical patent/JPWO2013014872A1/ja
Application granted granted Critical
Publication of JP5963006B2 publication Critical patent/JP5963006B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • G06T15/205Image-based rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

この発明は、視線方向が変更されたように画像を変換する画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体に関する。
以前より、カメラで撮影された画像を、撮影視点と異なる仮想的な視点から投影した画像に変換する技術が知られている。
また、特許文献1には、この画像変換技術を利用して、複数のカメラで撮影された複数の画像から、広い範囲を俯瞰したような画像を作成する技術が開示されている。この技術では、設置位置の異なる複数のカメラによって撮影した複数の画像を、同一視点から撮影したような画像にそれぞれ変更し、かつ、これらの複数の画像を1つに合成することで、上記の広い範囲を俯瞰した画像を作成している。
また、特許文献2には、メインカメラにより撮影された画像に死角部分が含まれる場合に、上記の画像変換技術を利用して、死角部分の画像を埋め合わせる技術が開示されている。この技術では、他のサブカメラによって死角部分を埋める範囲の撮影を行わせるとともに、この撮影画像の視点をメインカメラの視点と同一になるように変換して、死角部分と重なる範囲の画像を切り抜いて合成している。
特開2005−333565号公報 特許第4364471号公報
例えば、テーブルの三方に参加者を配置させ、残りの一方からカメラで撮影して、この画像を他会場で表示出力させてテレビ会議を行う場合を考察する。この場合、カメラの正面に配置された参加者は、画像内で正面を向いた適切な表示状態となる。一方、カメラの左方と右方に配置された参加者は、画像内で横を向いてテレビ会議にやや不適切な表示状態となる。この場合、画像の左の領域は左へ向きを変え、画像の右の領域は右へ向きを変えたように表示ができれば、参加者全体の画像を適切に表示できると考えられる。
しかしながら、従来の視点を変更する画像変換技術は、1つの画像全体を1つの仮想的な視点から見たように変換するものであった。そのため、この画像変換技術では、例えば、画像の右側は30°向きを変え、画像の左側は20°向きを変えたいといったような場合に、柔軟に対応することができなかった。
この発明の目的は、1つの画像の中に、異なる方向に向きを変更したい複数の領域がある場合でも、柔軟に対応して所望の画像変換を行うことのできる画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体を提供することにある。
本発明に係る画像変換装置は、1つの入力画像を複数の領域に分ける領域分割部と、前記領域分割部により分けられた複数の領域のうち少なくとも1つの領域の画像について、前記入力画像の撮影視点と異なる仮想視点から撮影した画像に画像変換を行う画像変換部とを具備する構成を採る。
本発明に従うと、1つの入力画像を複数の領域に分けて、領域ごとに視線を変更する画像変換を行うことができる。したがって、1つの画像の中に、異なる方向に向きを変更したい複数の領域がある場合に柔軟に対応することができる。
本発明の第1実施形態のカメラ装置とディスプレイとからなるテレビ会議システムを示すブロック図 実施形態のカメラ装置を用いた撮影状況の一例を表わした平面図 図2の撮影により得られる撮影画像を表わした画像図 視線設定部により設定された視線方向を表わした平面図 画像変換および画像合成の処理後の撮影画像を表わした画像図 ディスプレイの配置例を示す平面図 ディスプレイ配置の変形例を示す平面図 ディスプレイ構成の変形例を示す平面図 本発明の第2実施形態のカメラ装置とディスプレイとからなるテレビ会議システムを示すブロック図 顔向き検出部の処理手順を示すフローチャート 顔検出が行われている状態を表わした画像図 各顔の方向検出の結果の一例を示す説明図 領域設定と視線設定の結果の一例を示す説明図
以下、本発明の実施の形態を図面に基づいて説明する。
[第1実施形態]
図1は、本発明の第1実施形態のカメラ装置1とディスプレイ21とからなるテレビ会議システム(映像システム)を示すブロック図である。
この実施形態のカメラ装置1は、カメラレンズと撮像素子とを有し撮影画像の画像データを取り込む画像入力部12と、撮影画像を複数の領域に分割する領域分割部13と、分割された各領域の画像に対して画像変換を行う画像変換部14とを備えている。また、このカメラ装置1は、画像合成および出力を行う合成部15と、人物の顔の3次元形状モデルまたは部屋の壁や机などの形状モデルが格納された形状モデルデータベース16とを備えている。さらに、このカメラ装置1は、分割する領域を設定する領域設定部17と、画像変換に関する設定を行う視線設定部18等を備えている。
領域設定部17は、複数の操作ボタンを有し、ユーザの操作入力を受けて撮影画像中に複数の領域を設定する。例えば、領域設定部17は、ユーザの操作入力によって撮影画像中に任意の線分を表示出力させ、これらの線分あるいは撮影画像の外枠線によって囲まれた範囲を1つの領域として設定する。あるいは、領域設定部17は、ユーザの操作入力によって、撮影画像中に複数の点を入力させ、入力された複数の点を頂点とした折れ線により分割される領域、または、入力された複数の点を母点とするボロノイ領域を求める。そして、領域設定部17は、このボロノイ領域を複数の領域として設定するようにしてもよい。設定された領域の情報は、領域分割部13と視線設定部18へ送られる。
領域分割部13は、領域設定部17から設定された領域の情報を受けて、撮影画像が設定された領域で分割されるように、画像入力部12から供給される画像データの分割処理を行う。そして、領域分割部13は、領域ごとの画像データを生成して画像変換部14へ送る。
視線設定部18は、複数の操作ボタンを有し、ユーザの操作入力を受けて撮影画像中の複数の領域に対して変換先の視線方向(画像変換後の視線となる方向)を設定する。例えば、視線設定部18は、撮影画像の設定領域ごとに矢印を表示させるとともに、ユーザの操作入力によりこの矢印の向きを3次元的に変更可能にする。そして、視線設定部18は、最終的に決定された矢印の向きを変換先の視線方向として設定する。領域ごとの視線方向の設定情報は、画像変換部14へ送られる。
画像変換部14は、カメラレンズの光軸を視線方向とした画像を、領域ごとに設定された視線方向で眺めた画像になるように、各領域の画像データに対して画像変換処理を行う。なお、広角撮影の場合には、視野角に応じて画像の左右の領域の視線方向は、カメラレンズの光軸から少し変化する。そのため、上記の視線方向を変更する画像変換を正確に行うには、変換前の画像が3次元的にどのような形状でどのように配置されているかという情報が必要となる。画像変換部14は、正確さが要求される人物の顔の部分のみ顔の3次元モデルを用い、その他の部分は一様な平面に沿って配置されたモデルとして扱って、簡易的な画像変換を行うようになっている。上記一様な平面の向きは、例えば、画像解析により各領域の画像内で向きを特定できる線分または多角形を抽出し、これらから平均的な向きを推測して求めることができる。また、画像変換部14は、ユーザにこの平面の向きを入力させるように構成してもよい。
画像変換部14は、各領域の画像内で人物の顔部分をマッチング処理等により検索し、人物の顔部分が有ればさらに目鼻口および輪郭等から顔の向きを特定する。そして、画像変換部14は、形状モデルデータベース16の3次元形状データを用いて顔の画像を3次元形状に対応づける。また、その他の部分は、上述のように向きを推定した平面に対応づける。これらの処理により、画像変換部14は、画像データの各画素を仮想的な3次元マッピング空間の座標点に対応づけることができる。続いて、画像変換部14は、視線設定部18から供給された設定情報に基づいて、仮想的な3次元空間にマッピングされた画像を新たに設定された視線方向から撮影された画像に変換する処理を行って、変換後の画像データを生成する。このような画像処理により、画像変換部14は、人物の顔の部分は比較的に正確に、その他の部分は大まかに(平面モデルとして変換されるように)、各領域の画像を撮影時のカメラの視線方向からの新たに設定された視線方向で眺めたような画像に変換することができる。
合成部15は、画像変換部14から供給される複数領域の画像データを、分割されたときの配列と同じになるように並べて1つの画像データに合成し、この画像データを表示出力用の表示データに変換して出力する。なお、分割された複数領域の画像データを複数のディスプレイでそれぞれ個別に表示出力させる場合には、合成部15は、分割された複数領域の画像データを、個別のディスプレイに適する表示データに変換して出力する構成とすればよい。
図1のテレビ会議システムは、上述のカメラ装置1と、ネットワークを介して表示データを入力して画像の表示出力を行う1つ又は複数のディスプレイ21等から構成される。例えば、3台のディスプレイ21を備えるシステムでは、これら複数のディスプレイ21が画像の分割領域に対応して、表示画像の複数の領域部分を主に表示出力するように設定される。
次に、上記テレビ会議システムの動作について説明する。
図2には、カメラ装置1を用いた撮影状況の一例を表わした平面図を、図3には、図2の撮影によって得られる撮影画像を表わした画像図を示す。図2の例は、テーブル51の三方に人物P1〜P6が配置され、テーブル51の残りの一方から広角のカメラレンズ11を介して広い視野角θ1で人物P1〜P6を撮影している状況を表わしている。このような撮影により図3のような画像が得られている。
最初に、ユーザは、領域設定部17を介して領域の設定を行う。ここでは、ユーザが、図3に示すように、領域設定部17により分断線L1,L2を指定して、テーブル51の左辺の範囲、対面の範囲、右辺の範囲を各領域とする設定を行ったとする。
図4には、視線設定部により設定された視線方向を表わした平面図を、図5には、画像変換および画像合成の処理後の撮影画像を表わした画像図を示す。
次に、ユーザは、視線設定部18を介して変換する視線方向の設定を行う。例えば、ユーザは、図4に示すように、左の領域に対して実カメラの視線方向VA1に対する新たな視線方向VA2を、視線設定部18を介して設定する。さらに、ユーザは、中央の領域に対して元から変更のない視線方向VB2を、視線設定部18を介して設定し、右の領域に対して実カメラの視線方向VC1に対して新たな視線方向VC2を、視線設定部18を介して設定する。
続いて、画像変換部14は、左の領域の画像データに対して、A面S1の画像と人物P1,P2の3次元形状の顔部分とその背景の壁の画像を回転角“−θA”で回転させる画像変換処理を行う。また、画像変換部14は、右の領域の画像データに対して、C面S3の画像と人物P5,P6の3次元形状の顔部分とその背景の壁の画像を回転角“θC”で回転させる画像変換処理を行う。画像変換部14は、視線方向に変更のない中央の領域の画像データについてはそのまま合成部15へ送る。
そして、このような複数の領域の変換後の画像データが合成部15で合成されて、図5のような画像が生成される。図5の画像では、テーブル51の左に配置された人物P1,P2と右に配置された人物P5,P6とが、正面に近い向きに変換され、遠近感も変換前に比較してほぼ同等に変換されるなど、テレビ会議用に見やすい画像に変換されている。
なお、上記の合成の際、合成部15は、各領域の画像の境目を滑らかにするスムージング処理、または、特徴的な物体の位置を合わせる処理を行っても良い。例えば、図5の場合、合成部15は、テーブル51が特徴的な物体であるとして端の位置を合わせるために、例えばA面の画像全体を上下に移動させてもよい。また、合成部15は、移動させることによって空いた領域をユーザにより見えないようにするため、画面全体の上下領域を消去して、画像全体が長方形になるように合成すればよい。
なお、合成部15は、画像変換部14が変換した各領域の画像データを、変換前の画像データと同じ領域サイズ(形状)にして合成するため、変換後の画像データ中、使用する領域を選択したうえで合成する。変換後の画像データではサイズが不足する部分が生じる場合には、合成部15は、不足部分の画素データとして近くの画像を左右反転(鏡像を作成)して利用する構成としてもよい。
図6には、複数のディスプレイ21の配置例を表わした平面図を示す。図中、52はテレビ会議の会場のテーブル、P7〜P10は会場の人物である。また、点線より下側が接続元(現在の会場)での視聴空間を、点線より上側が画像から想像される接続先の会場の空間イメージを表わしている。
カメラ装置1から送られてくる画像を視聴する側では、図6に示すように、画像の分割領域の個数と同数のディスプレイ21が、分割領域と同じ配置に並べられる。その際、各ディスプレイ21の向きVA,VB,VCは、各領域の画像の変換後の視線方向VA2,VB2,VC2に対応するように並べられる。或いは、ディスプレイ21の向きの情報がカメラ装置1へ送られ、カメラ装置1では、この情報に対応させて新たな変換先の視線方向VA2,VB2,VC2が設定される構成としてもよい。
そして、各ディスプレイ21には、対応する各領域の画像が主に含まれるように表示出力が行われる。合成部15が、表示出力先のディスプレイ21を決定する際には、合成部15は、各ディスプレイ21の配置情報と画像中の各分割領域の位置情報とを参照すればよい。そして、合成部15は、該当するディスプレイ21の配置情報に対応する分割領域を含んだ画像データを各ディスプレイ21へ送信する。
このような複数のディスプレイ21の画像出力によって、図6に示すように、画像から想像されるテレビ会議の相手の人物P1〜P6とテーブル51の配置および向きが、適宜広がる(側面方向から正面方向に向きを変えて見た)ように変換される。これにより、テレビ会議の相手が見やすくなる。
図7と図8には、ディスプレイ21の個数と配置の変形例を表わした平面図を示す。図7に示される複数のディスプレイ21は、角度を変えずに平面上に並べて配置されたものである。このような配置のときには、ディスプレイ21の画面平面の垂線と、見やすい向きVA,VB,VCに応じた変換後の視線方向との角度差を、視線方向の変換角θA、θBに付加するとよい。こうすることで、ディスプレイ21を平面的に配置した場合でも、図6の場合とほぼ同様に、テレビ会議の相手を見やすく表示出力することができる。また、図8に示すように、1台のディスプレイ21により全分割領域の画像を一括して表示させるようにしてもよく、このようにしても、図6の場合とほぼ同様に、テレビ会議の相手を見やすく表示出力することができる。
[第2実施形態]
図9は、第2実施形態のカメラ装置1Aとディスプレイ21とからなるテレビ会議システムを示すブロック図である。第2実施形態のカメラ装置1Aは、領域設定部17による画像中の領域の設定と、視線設定部18による新たな視線方向の設定とを、顔向き検出部19の処理によって自動的に遂行されるようにしたものである。
図10は、顔向き検出部19の処理手順を示すフローチャート、図11は顔検出を説明する画像図、図12は、各顔の方向検出の結果の一例を示す説明図、図13は領域設定と視線設定の結果の一例を示す説明図である。
顔向き検出部19は、例えばユーザからの設定開始の指示操作に基づいて図10に示すフローチャートの処理を開始する。ユーザは、人物配置を済ませ撮影フレームを決めた状態で設定開始の指示操作を行う。
処理が開始されると、先ず、顔向き検出部19は、この時点の撮影画像を画像入力部12から取得して、この撮影画像の中から人物の顔部分をマッチング処理により検出する(ステップJ1:画像検索処理)。図11に示すように、テーブル51と人物P1〜P6が撮影された画像G1であれば、ここで、人物P1〜P6の顔部分の検出枠f1〜f6が抽出される。
次に、顔向き検出部19は、検出された顔部分の輪郭、目鼻口の配置を分析して各顔の向きを検出する(ステップJ2:向き検出処理)。図12に示すように、画像G1の各人物P1〜P6の顔向きが検出されて、カメラレンズの位置と各自の顔向きの関係からそれぞれ数値化される。
続いて、顔向き検出部19は、検出された顔の画像中の位置および顔の向きに基づいて、複数の顔をグループ分けする(ステップJ3)。具体的には、顔向き検出部19は、検出された顔の向きの差が所定角度以内(例えば30°以内)であり、かつ、検出された顔の位置が順番になっている複数の顔を、1つのグループとしてまとめる。画像G1の場合、顔向き検出部19は、左から連続する2人の人物P1,P2の顔の向きの差が30°以内であり、次の3人目の人物P3の顔の向きの差が30°を超えるので、検出枠f1,f2の顔を第1グループとする。同様の処理の繰り返しにより、顔向き検出部19は、検出枠f3,f4の顔を第2グループ、検出枠f5,f6の顔を第3グループとする。
グループ分けを行った後、顔向き検出部19は、各グループに対応させて画像の領域を分割する(ステップJ4:領域設定処理)。領域の分割は、例えば、ボロノイ分割のアルゴリズムを利用して行うことができる。すなわち、顔向き検出部19は、検出された各顔の中心を母点とし、画像上の各点が、一番近い母点に属するように各顔ごとの領域分けを行う。さらに、顔向き検出部19は、同一グループに属する複数の顔の領域を合わせて、当該グループの領域R1〜R3(図13参照)とする。グループごとの領域R1〜R3が決定したら、顔向き検出部19は、この領域R1〜R3の情報を領域設定部17へ送って領域設定が行われる。
領域分割の後、顔向き検出部19は、グループごとに変換先の視線方向を決定する処理を行う(ステップJ5:視線設定処理)。視線方向は、図13に示すように、同一グループに含まれる複数の顔の向きを平均した方向として求める。求められた視線方向は、グループごとの領域R1〜R3に対応づけられて、視線設定部18へ送られる。それにより、視線設定部18において各領域R1〜R3の変換先の視線方向が設定される。なお、視線方向が、各領域R1〜R3の中央点とカメラとを結ぶ視線方向を基準に、小さな角度(例えば±5°)しか変化がない場合には、画像変換を省略するため変換先の視線方向の設定が行われない構成としてもよい。
第2実施形態において、画像の領域設定と新たな視線方向の設定の他は、第1実施形態と同様である。この第2実施形態では、領域設定と新たな視線方向の設定に必要なユーザの操作入力を大幅に削減することができる。
以上のように、上記第1および第2実施形態のカメラ装置1,1A、および、テレビ会議システムによれば、1つの入力画像に対して、画像を複数の領域に分割し、領域ごとに異なる視線方向の画像に変換する画像変換処理を行うことができる。したがって、このシステムによれば、1つの入力画像中に様々な方向を向いた複数の被写体が含まれている場合に、これらの被写体の配置または向きに柔軟に対応して、全体的に見やすい画像に変換することができる。或いは、様々な態様で所望の変形を及ぼした画像に変換することができる。
なお、上記実施形態では、本発明の映像システムを、テレビ会議システムに応用した例を示したが、これらの構成を、1台のデジタルスチルカメラまたは1台のデジタルビデオカメラ内で実現させてもよい。すなわち、画像の取り込み、画像の領域分割、視線方向を変更する画像変換、および、画像の表示出力が1台の装置で行われる構成としてもよい。また、実施形態のカメラ装置1,1Aから画像入力部12を切り離した部分が画像変換装置として別体に設けられてよい。
また、上記第2実施形態では、複数の顔をグループ分けしてグループごとの各領域で視線方向を変更する画像変換を行う例を示した。しかしながら、画像変換部としては、顔の検出枠f1〜f6の各々を個別の領域として設定し、顔の部分のみを個別に画像変換(視線方向の変更)する構成を採用してもよい。
また、背景部分も顔の角度に応じて視線方向の変換を行ってもよい。なお、視線方向の変換は、入力がカメラ画像であり、CGのように横および後ろの画像データがないので、控えめ(想定される変換よりも小さめ)の変換が良い場合もある。特に変換角度が30°を超える場合は控えめな変換を行うようにするとよい。
また、視線設定部18は、必ずしも全ての視線を変更する必要はなく、1つの領域の視点変換を行い、他の領域は視点変換を行わず元の視線のままとし、結果として2つの視線が相対的に変化した視線設定を行うようにしてもよい。
また、領域設定部17、視線設定部18、顔向き検出部19は、カメラ装置1(又はカメラ装置1A)に必ずしも含まれる必要はなく、ネットワーク経由でこのような機能が提供される構成としてもよい。例えば、テレビ会議システムの接続先のテレビ会議装置が画像入力部、領域分割部、画像変換部、形状モデルDB、合成部を具備する。また、接続元のテレビ会議装置が領域設定部、視線設定部、顔向き検出部を具備する。そして、接続元のテレビ会議装置が、接続先のテレビ会議装置からネットワーク経由で画像を受け取り、領域設定、視線設定、顔向き検出を行い、その結果を接続先のテレビ会議システムに送ることで所望の画像を得るように構成してもよい。
また、上記実施形態で示した、領域分割部13、画像変換部14、合成部15、領域設定部17、視線設定部18、顔向き検出部19の各構成は、ハードウェアにより構成しても良いし、コンピュータがプログラムを実行することで実現されるソフトウェアとして構成しても良い。プログラムは、コンピュータが読み取り可能な記録媒体に記録されていても良い。記録媒体は、フラッシュメモリなどの非一過性の記録媒体であっても良い。
2011年7月25日出願の特願2011−161910の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、デジタルスチルカメラ、デジタルビデオカメラ、映像を異なる場所へ送信または放送して視聴させる映像システムに適用できる。
1,1A カメラ装置
12 画像入力部
13 領域分割部
14 画像変換部
15 合成部
16 形状モデルデータベース
17 領域設定部
18 視線設定部
21 ディスプレイ
VA1〜VC1 実カメラの視線方向
VA2〜VC2 変換先の視線方向

Claims (9)

  1. 1つの入力画像を複数の領域に分ける領域分割部と、
    前記領域分割部により分けられた複数の領域のうち少なくとも1つの領域の画像について、前記入力画像の撮影視点と異なる仮想視点から撮影した画像に画像変換を行う画像変換部と、
    前記入力画像の中から所定の対象物を検索する画像検索部と、
    この画像検索部により検索された前記対象物の位置に基づいて前記領域分割部により分割される前記複数の領域を決定する領域設定部と、
    を具備する画像変換装置。
  2. 前記画像変換部が画像変換を行う際に用いる前記仮想視点は、前記複数の領域のうち少なくとも1つの他の領域の画像の視点と異なる視点である、
    請求項1記載の画像変換装置。
  3. 前記画像変換部により変換された前記複数の領域の画像を、前記複数の領域の位置関係を保ったまま画像データとして出力する出力部、
    をさらに具備する請求項1に記載の画像変換装置。
  4. 前記画像検索部により検索された前記対象物の向きを検出する向き検出部と、
    前記向き検出部により検出された前記対象物の向きに基づいて前記各領域の画像の変換先の視線を決定する視線設定手段と、
    をさらに具備し、
    前記画像変換部は、前記視線設定手段により決定された視線に応じて前記各領域の画像を変換する、
    請求項1に記載の画像変換装置。
  5. 前記対象物は人物の顔部分である、
    請求項に記載の画像変換装置。
  6. 被写体を結像するレンズおよび当該レンズにより結像された光学像を電気信号に変換する撮像素子を有し、撮影画像を得る撮影部と、
    前記撮影画像を前記入力画像とする請求項1に記載の画像変換装置と、
    を具備するカメラ。
  7. 請求項に記載のカメラと、
    前記画像変換部により変換された前記複数の領域の画像をそれぞれ個別に表示出力する複数の表示部と、
    を具備する映像システム。
  8. 1つの入力画像を複数の領域に分ける領域分割ステップと、
    前記領域分割ステップにより分けられた複数の領域のうち少なくとも1つの領域の画像について、前記入力画像の撮影視点と異なる仮想視点から撮影した画像に画像変換を行う画像変換ステップと、
    前記入力画像の中から所定の対象物を検索する画像検索ステップと、
    この画像検索ステップにより検索された前記対象物の位置に基づいて前記領域分割ステップにより分割される前記複数の領域を決定する領域設定ステップと、
    を含む画像変換方法。
  9. コンピュータが読み取り可能にプログラムが記録された記録媒体であって、
    前記プログラムは、
    前記コンピュータに、
    1つの入力画像を複数の領域に分ける領域分割機能と、
    前記領域分割機能により分けられた複数の領域のうち少なくとも1つの領域の画像について、前記入力画像の撮影視点と異なる仮想視点から撮影した画像に画像変換を行う画像変換機能と、
    前記入力画像の中から所定の対象物を検索する画像検索機能と、
    この画像検索機能により検索された前記対象物の位置に基づいて前記領域分割機能により分割される前記複数の領域を決定する領域設定機能と、
    を実現させる記録媒体。
JP2013525563A 2011-07-25 2012-07-12 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 Expired - Fee Related JP5963006B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011161910 2011-07-25
JP2011161910 2011-07-25
PCT/JP2012/004504 WO2013014872A1 (ja) 2011-07-25 2012-07-12 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPWO2013014872A1 JPWO2013014872A1 (ja) 2015-02-23
JP5963006B2 true JP5963006B2 (ja) 2016-08-03

Family

ID=47600750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013525563A Expired - Fee Related JP5963006B2 (ja) 2011-07-25 2012-07-12 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体

Country Status (3)

Country Link
US (1) US20140168375A1 (ja)
JP (1) JP5963006B2 (ja)
WO (1) WO2013014872A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140090538A (ko) * 2013-01-09 2014-07-17 삼성전자주식회사 디스플레이 장치 및 제어 방법
JP6499583B2 (ja) * 2013-09-24 2019-04-10 シャープ株式会社 画像処理装置及び画像表示装置
JP2015186177A (ja) * 2014-03-26 2015-10-22 Necネッツエスアイ株式会社 映像配信システム及び映像配信方法
US10701318B2 (en) * 2015-08-14 2020-06-30 Pcms Holdings, Inc. System and method for augmented reality multi-view telepresence
KR102422929B1 (ko) * 2017-08-16 2022-07-20 삼성전자 주식회사 디스플레이장치, 서버 및 그 제어방법
US10935878B2 (en) * 2018-02-20 2021-03-02 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and program
JP7182920B2 (ja) * 2018-07-02 2022-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP2023056245A (ja) * 2021-10-07 2023-04-19 株式会社イトーキ オンライン会議スペース構築システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000165831A (ja) * 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
US6894714B2 (en) * 2000-12-05 2005-05-17 Koninklijke Philips Electronics N.V. Method and apparatus for predicting events in video conferencing and other applications
US7034848B2 (en) * 2001-01-05 2006-04-25 Hewlett-Packard Development Company, L.P. System and method for automatically cropping graphical images
JP4786076B2 (ja) * 2001-08-09 2011-10-05 パナソニック株式会社 運転支援表示装置
JP4195966B2 (ja) * 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
US6753900B2 (en) * 2002-05-07 2004-06-22 Avaya Techology Corp. Method and apparatus for overcoming the limitations of camera angle in video conferencing applications
JP2005311868A (ja) * 2004-04-23 2005-11-04 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
JP4770178B2 (ja) * 2005-01-17 2011-09-14 ソニー株式会社 カメラ制御装置、カメラシステム、電子会議システムおよびカメラ制御方法
JP4707109B2 (ja) * 2006-03-02 2011-06-22 アルパイン株式会社 複数カメラ撮影画像処理方法及び装置
US8072481B1 (en) * 2006-03-18 2011-12-06 Videotronic Systems Telepresence communication system
US8223186B2 (en) * 2006-05-31 2012-07-17 Hewlett-Packard Development Company, L.P. User interface for a video teleconference
JP4683339B2 (ja) * 2006-07-25 2011-05-18 富士フイルム株式会社 画像トリミング装置
ES2556678T3 (es) * 2006-07-28 2016-01-19 Koninklijke Philips N.V. Distribución automática de vitrinas privadas a lo largo de un escaparate
US20080206720A1 (en) * 2007-02-28 2008-08-28 Nelson Stephen E Immersive video projection system and associated video image rendering system for a virtual reality simulator
JP4396720B2 (ja) * 2007-03-26 2010-01-13 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2009021922A (ja) * 2007-07-13 2009-01-29 Yamaha Corp テレビ会議装置
JP2009089324A (ja) * 2007-10-03 2009-04-23 Nippon Telegr & Teleph Corp <Ntt> テレビ会議システムおよびプログラム、記録媒体
US8391642B1 (en) * 2008-05-12 2013-03-05 Hewlett-Packard Development Company, L.P. Method and system for creating a custom image
JP4466770B2 (ja) * 2008-06-26 2010-05-26 カシオ計算機株式会社 撮像装置、撮像方法および撮像プログラム
US9204108B2 (en) * 2009-12-07 2015-12-01 Clarion Co., Ltd. Vehicle periphery monitoring system
JP2012114816A (ja) * 2010-11-26 2012-06-14 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
US8675067B2 (en) * 2011-05-04 2014-03-18 Microsoft Corporation Immersive remote conferencing
EP2719172A4 (en) * 2011-06-06 2014-12-10 Array Telepresence Inc TWO-AXIS PICTURE EQUIVALENT AT VIDEO CONFERENCES
US20130321564A1 (en) * 2012-05-31 2013-12-05 Microsoft Corporation Perspective-correct communication window with motion parallax
US8976224B2 (en) * 2012-10-10 2015-03-10 Microsoft Technology Licensing, Llc Controlled three-dimensional communication endpoint

Also Published As

Publication number Publication date
JPWO2013014872A1 (ja) 2015-02-23
WO2013014872A1 (ja) 2013-01-31
US20140168375A1 (en) 2014-06-19

Similar Documents

Publication Publication Date Title
JP5963006B2 (ja) 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体
KR102351542B1 (ko) 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치
JP7051457B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2023541551A (ja) 複数のカメラからのウェブカム信号のマージ
JP5233926B2 (ja) 魚眼監視システム
JP2016062486A (ja) 画像生成装置および画像生成方法
US20080158340A1 (en) Video chat apparatus and method
JP4539015B2 (ja) 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム
CN107079141A (zh) 用于三维视频的图像拼接
JP2012089954A (ja) 会議システム、監視システム、画像処理装置、画像処理方法及び画像処理プログラム等
JP2011035638A (ja) 仮想現実空間映像制作システム
CN104094318A (zh) 适用于拍摄视频电影的系统
JP2019201325A (ja) 撮像装置、その制御方法、および、プログラム
JP2013070368A (ja) テレビ対話システム、端末および方法
TWI615808B (zh) 全景即時影像處理方法
WO2021079636A1 (ja) 表示制御装置、表示制御方法及び記録媒体
US20220408069A1 (en) Information processing apparatus, information processing method, and storage medium
JP2011188258A (ja) カメラシステム
JP6004978B2 (ja) 被写体画像抽出装置および被写体画像抽出・合成装置
JP5509986B2 (ja) 画像処理装置、画像処理システム、及び画像処理プログラム
CN119071651B (zh) 用于显示和捕获图像的技术
US20240119676A1 (en) Image generation method, apparatus, and system, and computer-readable storage medium
JP2022012398A (ja) 情報処理装置、情報処理方法、及びプログラム
CN117499795A (zh) 信息处理方法以及信息处理装置
JP2019096926A (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160607

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160615

R151 Written notification of patent or utility model registration

Ref document number: 5963006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees