JP5541384B1 - 画像処理装置、プログラムおよび画像処理システム - Google Patents

Abstract

【課題】異なる拠点間で画像を相互通信するシステムにおいて画像拡大を同一空間における接近に模して表現する。
【解決手段】第１の撮像画像の閲覧者が利用する閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する被閲覧者側装置に送信する送信部と、を備える、画像処理装置。
【選択図】図６

Description

本発明は、画像処理装置、プログラムおよび画像処理システムに関する。

近年、ブロードバンドやクラウド環境の普及、および、情報通信技術の発達に伴うコミュニケーションツールの発達により、場所や時間に制約されないワーキングスタイル（働き方）が広がりつつある。これにより、集団での協働（ｃｏｌｌａｂｏｒａｔｉｏｎ）作業の主な形態も、一般的な一極集中・同一空間型から、遠隔分散協働型へ移り変わっていくことが予測される。この実現のために、音声通話、ＦＡＸ、電子メール、インスタントメッセンジャー、およびＶｏＩＰなどを統合したユニファイドコミュニケーション（登録商標）技術・システムが注目を集めている。

ユニファイドコミュニケーションシステムが伝達するリッチな情報としては、映像や音情報が重要な位置を占め、例えば従来のＴＶ会議システムを基礎とするツールが多くのユニファイドコミュニケーションシステムの一機能として搭載される。

ところで、いわゆるＴＶ会議システムは、議題が決まった上での話し合いなど、意図的、かつ、正式・公式的なフォーマル・コミュニケーションを主に想定したコミュニケーションツールである。これに対し、近年、チームでの協働作業を円滑に進めるためには組織の一体感や人間関係の醸成が重要であること、また、組織の一体感や人間関係の醸成を高めるためには非計画的で偶然性を持ったインフォーマル・コミュニケーションが大切であることが指摘されている。

このようなインフォーマル・コミュニケーションを支援するためのユニファイドコミュニケーションシステムのツールとしては、ＴＶ会議のように「誰が何時から何時までＡ会議室で」というような計画的な形態ではなく、非計画的なオフィスの日常風景を共有すること、すなわち、オフィス内の環境的な映像と音情報を常に遠隔オフィス間で相互通信、提示しあうものが考えられる。

なお、上述したユニファイドコミュニケーションシステムに関し、例えば特許文献１には、撮像装置によって撮像した映像をそのまま送受信するのでなく、動きの小さな映像部分を送信しないことにより、背景画像が送信されないようにする技術が開示されている。また、特許文献２には、一部の映像領域については正当なアクセス権限を有することが確認された者にのみ提供されるようにする技術が開示されている。

特開平５−９１４０７号公報 特開２００１−１８６５０１号公報

ところで、同一空間における普遍的な行動である、興味対象のより詳細な情報を得たいと考え興味対象に接近するという行為を、映像音声常時共有環境にある遠隔地間でも行いたい、という欲求が発生すると考えられる。このため、ユニファイドコミュニケーションシステム上では、同一空間における「接近して詳細に見る」という行為を、システム内の撮像装置のズーム機能（映像内の一部領域を拡大表示する機能）によって代替的に実現することが簡便で効率的な方法である。なお、以下では、遠隔地のリアルタイム映像に対する拡大機能の実行を、「仮想接近」とも称する。

ここで、ユニファイドコミュニケーションシステムにおいては、遠隔地に存在する人物同士が、あたかも同一空間に存在するようなインタフェースを実現することが重要である。例えば、ユニファイドコミュニケーションシステムにおいて仮想接近の対象となった人物には、仮想接近が行われていることを通知することが望まれる。なぜならば、同一空間において、自分に対し接近してくる人物に気づくということは、接近される側の人間にとっては「自分に対し興味を持っている人間が存在し、場合によってはその後その接近してきている人物と会話などのコミュニケーション行動が発生するかもしれない」という予期やコミュニケーション発生への準備行動を行うための重要な合図となるからである。

一方、遠隔地の撮像画像内に２名の人物が映っており、その内の１名に対して閲覧者が仮想接近した際、他の１名も自動的に拡大表示されてしまうことが起こり得る。しかし、閲覧者が興味を持って近づきコミュニケーションに至る可能性があるのは仮想接近の対象とした方の被閲覧者であるので、当該被閲覧者に対する通知と同一の通知を他の被閲覧者に対して行うと、実際には発生しないコミュニケーションへの余計な準備行動を他の被閲覧者にとらせることとなる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異なる拠点間で画像を相互通信するシステムにおいて画像拡大を同一空間における接近に模して表現することが可能な、新規かつ改良された画像処理装置、プログラムおよび画像処理システムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、第１の撮像画像の閲覧者が利用する閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する被閲覧者側装置に送信する送信部と、を備える、画像処理装置が提供される。

前記受信部は、前記第１の撮像画像をさらに受信し、前記送信部は、前記指定情報により指定された拡大中心を基準に拡大された前記第１の撮像画像を前記閲覧者側装置に送信してもよい。

前記画像処理部は、前記受信部により受信された前記第１の撮像画像に対し、前記指定情報により指定された拡大中心を基準とする拡大処理を段階的に施してもよい。

前記画像処理装置は、前記第１の撮像画像を得る際の実空間における実視点位置、および前記拡大中心に対応する実空間上の対象の位置を結ぶ方向線と、拡大された第１の撮像画像を得る際の実空間における仮想視点位置、および前記第１の撮像画像に含まれる人物の実空間上の位置を結ぶ方向線とが成す傾き角を推定する傾き角推定部をさらに備え、前記画像処理部は、前記傾き角推定部により推定された前記傾き角に応じて前記第２の撮像画像を処理してもよい。

前記傾き角推定部は、第１の撮像画像の水平幅に対する、前記拡大中心と前記第１の撮像画像に含まれる人物の位置との前記第１の撮像画像上での距離の大きさに基づいて前記傾き角を推定してもよい。

前記拡大中心に対応する実空間上の対象は人物であり、前記傾き角推定部は、前記拡大中心に対応する人物の実空間上の推定位置、前記第１の撮像画像に含まれる人物の実空間上の推定位置、および前記仮想視点位置に基づいて前記傾き角を推定してもよい。

前記画像処理部は、前記第２の撮像画像を平面に見立てた場合にヨー角方向に前記傾き角の大きさ回転された前記第２の撮像画像が得られるような画像処理を行ってもよい。

前記ヨー角方向に回転される前記傾き角の最大値は２／πであってもよい。

前記画像処理部は、前記被閲覧者側装置において表示される前記閲覧者の画像の位置が、前記第１の撮像画像に含まれる人物の位置と前記拡大中心との関係に応じて変化するように画像処理を行ってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、第１の撮像画像の閲覧者が利用する閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する被閲覧者側装置に送信する送信部と、として機能させるための、プログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、閲覧者側装置、被閲覧者側装置および画像処理装置からなる画像処理システムであって、前記閲覧者側装置は、第１の撮像画像を表示する第１の表示部を備え、前記画像処理装置は、前記閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する前記被閲覧者側装置に送信する送信部と、を備え、前記被閲覧者側装置は、前記画像処理装置の前記送信部から受信した前記第２の撮像画像を表示する第２の表示部を備える、画像処理システムが提供される。

以上説明したように本発明によれば、異なる拠点間で画像を相互通信するシステムにおいて画像拡大を同一空間における接近に模して表現することが可能である。

本発明の実施形態による画像通信システムの構成を示した説明図である。 第１の実施形態による閲覧者側装置の構成を示した機能ブロック図である。 表示部の視野角と撮像部の画角の関係を示した平面図である。 拠点Ｂの撮像装置および被閲覧者側装置の構成を示した機能ブロック図である。 表示部に表示される閲覧者画像の具体例を示した説明図である。 画像処理装置の構成を示した機能ブロック図である。 拠点Ｂにおける被閲覧者の配置例を示した説明図である。 閲覧者画像の表示例を示した説明図である。 拠点Ｂの撮像画像の具体例を示した説明図である。 第１の実施形態による画像通信システムの動作を示すシーケンス図である。 画像処理装置による画像処理に関する動作を示したフローチャートである。 第２の実施形態による画像処理システムの構成を示した説明図である。 撮像装置および被閲覧者の位置関係の具体例を示した説明図である。 仮想接近時の撮像装置および被閲覧者の位置関係の具体例を示した説明図である。 閲覧者画像の表示の変形例を示した説明図である。

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じて被閲覧者側装置２００Ａおよび２００Ｂのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、被閲覧者側装置２００Ａおよび２００Ｂを特に区別する必要が無い場合には、単に被閲覧者側装置２００と称する。

＜＜１．画像処理システムの基本構成＞＞
まず、図１を参照し、本発明の各実施形態で共通する画像通信システムの基本構成を説明する。

図１は、本発明の実施形態による画像通信システムの構成を示した説明図である。図１に示したように、本発明の実施形態による画像通信システムは、閲覧者側装置１００と、撮像装置３００と、画像処理装置４００と、を備える。なお、図１には、複数の遠隔空間として拠点Ａおよび拠点Ｂを示しており、拠点Ａに閲覧者側装置１００が存在し、拠点Ｂに撮像装置３００が存在する。

撮像装置３００は、拠点Ｂを撮像し、拠点Ｂの撮像画像を取得する。そして、撮像装置３００によって取得された拠点Ｂの撮像画像は、例えば拠点Ａからの要求に応じ、画像処理装置４００を介して閲覧者側装置１００に送信される。なお、拠点Ｂの撮像画像は、遠隔空間で閲覧され得る画像であるので、以下では、拠点Ｂの撮像画像に含まれる人物（被写体）を「被閲覧者」と称する。例えば、図１に示した例では、被閲覧者Ａ、被閲覧者Ｂおよび被閲覧者Ｃが拠点Ｂの撮像画像に含まれる。

閲覧者側装置１００は、図１に示したように、撮像部１０１および表示部１０３を有する。撮像部１０１は、閲覧者側装置１００の利用者を撮像する。表示部１０３は、画像処理装置４００を介して撮像装置３００から受信される拠点Ｂの撮像画像を表示する。また、閲覧者側装置１００は、操作入力に基づいて拡大処理や画角変更処理を画像処理装置４００に要求することが可能である。なお、閲覧者側装置１００の利用者は、閲覧者側装置１００の表示部１０３を見るという行為により拠点Ｂの撮像画像を閲覧できるので、以下では、拠点Ａに存在する閲覧者側装置１００の利用者を「閲覧者」と称する。

画像処理装置４００は、拠点Ｂの撮像画像の閲覧者が存在する場合、閲覧者情報として、例えば閲覧者の撮像画像を被閲覧者が利用する被閲覧者側装置２００（図２、図４など参照のこと。）に送信する。そして、被閲覧者側装置２００は、画像処理装置４００から受信した閲覧者画像を表示する。このように、本実施形態によれば、被閲覧者側に閲覧者情報を通知するので、被閲覧者は、自分が今見られているのか、誰が見ているのかを判別することが可能となる。これにより、プライバシー問題につながる密かな一方的遠隔閲覧行為を抑止することができる。さらに、本実施形態による画像処理装置４００は、閲覧者が拠点Ｂの撮像画像の拡大処理を要求した場合、拡大処理が行われている事を同一空間における接近に模した表現で被閲覧者に通知することができる。この点については詳細に後述する。

なお、図１においては、１人の閲覧者が１台の閲覧者側装置１００を所有する利用形態を示しているが、１台の閲覧者側装置１００を複数の利用者が共有する利用形態にも本実施形態は適用可能である。

また、図１においては、閲覧者側装置１００により撮像される閲覧者が１人である例を示しているが、閲覧者側装置１００により撮像される閲覧者、すなわち、拠点Ａに存在する人物は複数名であってもよい。

同様に、図１においては、撮像装置３００により撮像される被閲覧者が３人である例を示しているが、撮像装置３００により撮像される被閲覧者、すなわち、拠点Ｂに存在する人物は１名であってもよいし、複数名であってもよい。

上記のように、本発明は拠点Ａの閲覧者および拠点Ｂの被閲覧者がそれぞれ複数名である利用形態にも適用可能であるが、以下では、閲覧者が１名であり、被閲覧者が複数名である利用形態に重きを置いて説明を進める。

以上、本発明の各実施形態で共通する画像通信システムの基本構成を説明した。続いて、本発明の各実施形態および変形例について順次詳細に説明する。

＜＜２．第１の実施形態＞＞
本発明の第１の実施形態によれば、閲覧者が拠点Ｂの撮像画像の拡大中心を指定した場合に、閲覧者が拡大中心に向かって接近しているかの如く表現で各被閲覧者に閲覧者の仮想接近を通知することが可能である。すなわち、本発明の第１の実施形態によれば、「誰が仮想接近を行っているか」だけでなく、「誰に向かってどの程度の仮想接近を行っているか」までを被閲覧者が直感的に知ることができるので、より優れた遠隔コミュニケーションを支援することが可能となる。以下、このような本発明の第１の実施形態を実現する各装置の構成および動作を説明する。

＜２−１．各装置の構成＞
（閲覧者側装置）
図２は、第１の実施形態による閲覧者側装置１００の構成を示した機能ブロック図である。閲覧者側装置１００は、図２に示したように、撮像部１０１、顔検出部１０２、表示部１０３、入力部１０４および通信部１０５を備える。なお、図２においては撮像部１０１、顔検出部１０２、表示部１０３、入力部１０４および通信部１０５の各構成が１つの閲覧者側装置１００に実装される例を示しているが、これら各構成は複数の装置に分散的に実装されてもよい。

撮像部１０１は、撮像範囲に含まれる閲覧者を撮像して閲覧者画像を取得し、閲覧者画像を顔検出部１０２に出力する。なお、撮像部１０１は、デジタルカメラやＷｅｂカメラのように、撮像光学系および撮像素子を含む一般的な撮像装置であってもよい。

顔検出部１０２は、撮像部１０１によって取得された閲覧者画像から閲覧者の顔領域を検出し、閲覧者の顔領域を示す顔領域情報および閲覧者画像を通信部１０５に出力する。この顔領域情報は、例えば、閲覧者画像内の顔領域と顔以外の領域とが２値で表現されたデータであり、閲覧者画像における顔領域の位置、大きさおよび形状を示す。顔領域の検出のための画像処理方法としては、肌色情報を用いた方法や、顔の部品に注目する方法など、既存の複数の方法が存在し、本実施形態においては、これらの方法のいずれを利用してもよい。なお、閲覧者側装置１００では人物特定、すなわち、閲覧者と顔画像データベースとの照合機能は必須でないので、顔検出部１０２は、閲覧者の顔の特徴を認識する機能は備えていなくてもよい。

表示部１０３は、被閲覧者側の撮像装置３００によって取得された拠点Ｂの撮像画像を表示する。拠点Ｂの撮像画像は、画像処理装置４００およびネットワーク１２を介して入力される。なお、ネットワーク１２は、ネットワーク１２に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク１２は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

また、表示部１０３は、液晶ディスプレイや有機ＥＬディスプレイのような一般的な表示装置であってもよい。ただし、表示部１０３は、表示部１０３を視認可能な位置が撮像部１０１の撮像範囲に含まれるような位置に配置されることが望ましい。以下、この点について図３を参照して具体的に説明する。

図３は、表示部１０３の視野角と撮像部１０１の画角の関係を示した平面図である。なお、図３においては、表示部１０３の視野角（表示部１０３を視認可能な範囲）を破線で、撮像部１０１の画角（撮像範囲）を一点鎖線で示している。本実施形態の効果実現のためには、閲覧者の閲覧行為が生じたことを精度良く検出することが重要である。このため、図３に示したように、閲覧者が表示部１０３を閲覧する場合には閲覧者の顔が基本的に撮像部１０１の画角に収まることが望ましい。

さらに、表示部１０３の視野角が撮像部１０１の画角内に収まるように表示部１０３および撮像部１０１を配置すれば、閲覧者が表示部１０３、すなわち拠点Ｂの撮像画像を見る際に、閲覧者の顔を含む閲覧者画像が必ず得られ、閲覧者画像から顔領域を検出することが可能となる。なお、このような配置関係は、液晶ディスプレイの上部のフレームにＷｅｂカメラが埋め込まれている、一般的なＷｅｂカメラ内蔵液晶ディスプレイを用いることによっても実現される。

入力部１０４は、閲覧者による各種指示および入力のための操作を受け付ける。例えば、入力部１０４は、被閲覧者側の撮像装置３００により撮影された拠点Ｂの撮像画像内の任意の一部領域を拡大するための拡大指示を受け付ける。当該拡大指示は、拠点Ｂの撮像画像に含まれるいずれかの被閲覧者（拡大中心）の選択、および拡大倍率の指定であってもよい。入力部１０４は、閲覧者により操作入力された拡大指示の内容を示す拡大指示情報を通信部１０５に出力する。なお、このような操作入力を受け付ける入力部１０４は、マウス、キーボード、またはタッチパネルなどの一般的な入力デバイスであってもよい。

通信部１０５は、画像処理装置４００とのインタフェースである。通信部１０５は、例えば、画像処理装置４００から拠点Ｂの撮像画像を受信する受信部、および、顔検出部１０２から入力される閲覧者画像および入力部１０４から入力される拡大指示情報を画像処理装置４００に送信する送信部として機能する。

（撮像装置および被閲覧者側装置）
図４は、拠点Ｂの撮像装置３００および被閲覧者側装置２００の構成を示した機能ブロック図である。図４に示したように、被閲覧者側装置２００は、表示部２０３、および通信部２０５を備える。なお、被閲覧者側装置２００は、スマートフォン、携帯電話、携帯型ゲーム機、携帯型映像処理装置などの情報端末であってもよい。

通信部２０５は、画像処理装置４００とのインタフェースであり、例えば、画像処理装置４００からネットワーク１２を介して閲覧者画像を受信する受信部として機能する。

表示部２０３は、閲覧者側装置１００によって取得された閲覧者画像を表示する。以下、図５を参照し、表示部２０３に表示される閲覧者画像についてより具体的に説明する。

図５は、表示部２０３に表示される閲覧者画像の具体例を示した説明図である。図５に示したように、表示部２０３は、コンテンツ表示エリア２１０および閲覧者画像表示エリア２２０を含む。

コンテンツ表示エリア２１０には、被閲覧者側装置２００の通常の用途のためのコンテンツが表示される。コンテンツは、写真、動画、ゲーム、カレンダー、または各種操作画面などであってもよい。

また、閲覧者画像表示エリア２２０には、閲覧者画像２２２が表示される。この閲覧者画像は、詳細については後述するように、被閲覧者が、自身が仮想接近の対象者であるかそうでないか、加えて、閲覧者の仮想接近の程度を直感的に知ることができるような仮想接近の方向を示す表現方法を用いて表示される。

このような構成により、被閲覧者側装置２００が本実施形態の用途のためだけの端末でなく、汎用的に使用される情報端末である場合、コンテンツ表示エリア２１０に本来の用途のためのコンテンツを表示しつつ、閲覧者画像を閲覧者画像表示エリア２２０に表示することができる。

なお、表示部２０３は、閲覧者側装置１００の表示部１０３と同様に、液晶ディスプレイや有機ＥＬディスプレイのような一般的な表示装置であってもよい。

（撮像装置）
撮像装置３００は、図４に示したように、撮像部３０１、顔検出部３０２、顔認識部３０３、および通信部３０５を備える。なお、図４においては撮像装置３００と被閲覧者側装置２００を別個の装置として記載されているが、撮像装置３００の機能と被閲覧者側装置２００の機能は同一装置に実装されてもよい。さらに、図４においては撮像部３０１、顔検出部３０２、顔認識部３０３、および通信部３０５の各構成が１つの撮像装置３００に実装される例を示しているが、これら各構成は複数の装置に分散的に実装されてもよい。

撮像部３０１は、撮像範囲に含まれる被写体を撮像して拠点Ｂの撮像画像を取得し、拠点Ｂの撮像画像を顔検出部３０２に出力する。なお、撮像部３０１は、デジタルカメラやＷｅｂカメラのように、撮像光学系および撮像素子を含む一般的な撮像装置であってもよい。また、撮像部３０１は、画角変更機能や光学ズーム機能を備え、画像処理装置４００からの指示に従って光学ズームを行ってもよい。

顔検出部３０２は、撮像部３０１によって取得された拠点Ｂの撮像画像から被閲覧者の顔領域を検出し、被閲覧者の顔画像の特徴情報を取得する。そして、顔検出部３０２は、被閲覧者の顔領域を示す顔領域情報、顔画像の特徴情報、および拠点Ｂの撮像画像を顔認識部３０３に出力する。

なお、顔画像の特徴情報は、顔の各部分の相対位置、大きさ、および形状などに基づく特徴量・パターンのデータである。特徴量としては、Ｈａａｒウェーブレット特徴量などの既存の多様な特徴量が存在するが、本実施形態においては、これらのいずれの特徴量を利用してもよい。

顔認識部３０３は、顔検出部３０２で得られた顔画像の特徴情報から、被閲覧者の人物特定を行い、拠点Ｂの撮像画像、顔領域情報および人物特定情報を通信部３０５に出力する。なお、人物特定のための顔画像の特徴情報は事前に登録済み、すなわち、照合のための顔画像データベースが事前に用意されていてもよい。また、顔認識および人物特定に用いるアルゴリズム、データ処理の方法は特に限定されない。

通信部３０５は、画像処理装置４００とのインタフェースである。通信部３０５は、例えば、画像処理装置４００に拠点Ｂの撮像画像、顔領域情報および人物特定情報を送信する送信部、および、画像処理装置４００から閲覧者による操作入力に基づく指示情報を受信する受信部として機能する。

（画像処理装置）
図６は、画像処理装置４００の構成を示した機能ブロック図である。画像処理装置４００は、図６に示したように、記憶部４０２、画像処理部４０３、傾き角推定部４０４および通信部４０５を備える。

通信部４０５は、閲覧者側装置１００、撮像装置３００および被閲覧者側装置２００とのインタフェースであり、各種情報を受信する受信部および各種情報を送信する送信部として機能する。通信部４０５は、例えば、閲覧者側装置１００から閲覧者画像および拡大指示情報を受信し、撮像装置３００から拠点Ｂの撮像画像および人物特定情報などを受信する。

また、通信部４０５は、閲覧者側装置１００から受信した閲覧者画像を、撮像装置３００から受信される人物特定情報の示す被閲覧者が個人所有する被閲覧者側装置２００に送信する。特に、通信部４０５は、閲覧者側装置１００から拡大指示情報を受信した場合、後述する画像処理部４０３により処理された閲覧者画像を被閲覧者側装置２００に送信する。

さらに、通信部４０５は、拠点Ｂの撮像画像を閲覧者側装置１００に送信する。特に、通信部４０５は、閲覧者側装置１００から拡大指示情報を受信した場合、画像処理部４０３により拡大指示情報に従って拡大された拠点Ｂの撮像画像を閲覧者側装置１００に送信する。

記憶部４０２は、通信部４０５により受信された閲覧者画像、閲覧者の顔領域情報、拠点Ｂの撮像画像、被閲覧者の顔領域情報、および被閲覧者の人物特定情報を記憶する。また、記憶部４０２は、通信部により閲覧者側装置１００から受信された拡大指示情報（拡大中心である人物を示す情報、および拡大率）、および後述する画像処理部４０３により処理された閲覧者画像および拠点Ｂの撮像画像を記憶する。

画像処理部４０３は、通信部４０５により閲覧者側装置１００から受信された拡大指示情報に応じて、拠点Ｂの撮像画像、および閲覧者画像の各々を処理する。

まず、拠点Ｂの撮像画像の処理について具体的に説明すると、画像処理部４０３は、拡大指示情報により拡大中心として指定された被閲覧者を中心に、指定された拡大倍率まで拠点Ｂの撮像画像を例えばデジタルズームにより拡大する。このとき、画像処理部４０３は、拠点Ｂの撮像画像を指定された拡大倍率に瞬間的に変換するのでなく、段階的な拡大により例えば数秒間程度の時間で拠点Ｂの撮像画像を指定された拡大倍率に変換することが有効である。なぜならば、本実施形態のようなユニファイドコミュニケーションシステムにおいては、遠隔地に存在する人物同士があたかも同一空間に存在するようなインタフェースを実現することが重要であるところ、遠隔地の画像拡大は同一空間における徒歩での接近行為に対応すると捉えられ、同一空間における徒歩での接近行為では接近対象が徐々に大きく知覚されるからである。

続いて、閲覧者画像の処理について説明する。画像処理部４０３は、拠点Ｂの撮像画像に含まれる各被閲覧者に送信するための閲覧者画像の各々に対して、閲覧者が誰に向かってどの程度の仮想接近（拡大）を行っているかを示す処理を施す。

具体例として、図７に示したように撮像装置３００の画角に被閲覧者Ａ〜Ｃが含まれ、閲覧者が被閲覧者Ａを拡大中心に指定した場合の閲覧者画像の処理を説明する。この場合、拠点Ｂの撮像画像を得る際の視点位置は、図７において矢印で示したように、撮像装置３００の実際の位置である実視点位置Ｗから、指定された拡大倍率に対応する仮想視点位置Ｗ’に段階的に移動する。

同一空間内で同様の接近行動が起こった場合、接近する者は通常は進行方向を向いて移動行為を行うため、被閲覧者Ａには接近する者の正面の顔が見え、接近する者が近づくにつれ正面の顔が大きく見えていく。これに対し、被閲覧者Ｂには、被閲覧者Ａに対して接近する者の顔の側面が、接近の度合いに応じて少しずつ角度を変えながら大きく見えていくことになる。

そこで、画像処理部４０３は、被閲覧者に対して上記の同一空間内での接近行為に模して仮想接近を表現できるように、各被閲覧者に送信するための閲覧者画像を処理する。例えば、後述する傾き角推定部４０４が、各被閲覧者の位置および仮想視点位置Ｗｎを結ぶ直線と仮想接近の方向とが成す傾き角θを推定し、画像処理部４０３は、各被閲覧者に送信するための閲覧者画像を、閲覧者画像を平面に見立てた場合のヨー角方向に、傾き角推定部４０４により推定された傾き角θの大きさ回転させてもよい。これにより、図８に示すように、拡大中心である被閲覧者Ａが所有する被閲覧者側装置２００Ａには正面を向くように閲覧者画像２２２Ａが表示され、仮想接近の方向上に存在しない被閲覧者Ｂおよび被閲覧者Ｃが所有する被閲覧者側装置２００Ｂおよび２００Ｃにはヨー角方向回転された閲覧者画像２２２Ｂおよび２２２Ｃが表示される。

その結果、被閲覧者Ａは自分が仮想接近の対象者であることを理解し、被閲覧者ＢおよびＣは被閲覧者Ａの方向に対して仮想接近が行われていることを把握することが可能となる。以下では、このような仮想接近の方向に応じた回転処理を、仮想接近の方向を示す画像処理とも称する。

なお、被閲覧者Ｃは被閲覧者ＡおよびＢよりも仮想視点位置から遠くに位置するので、仮想視点位置に実際に閲覧者が存在したと仮定した場合、被閲覧者Ｃが知覚する閲覧者の大きさは被閲覧者ＡおよびＢが知覚する閲覧者の大きさよりも小さくなる。このため、画像処理部４０３は、図８に示したように、被閲覧者Ｃに対して送信するための閲覧者画像２２２Ｃの解像度（画素数）を、被閲覧者ＡおよびＢに対して送信するための閲覧者画像２２２Ａおよび２２２Ｂよりも小さくしてもよい。これは、閲覧者に送信される拠点Ｂの撮像画像における各被閲覧者画像の詳細度（画素数）に各被閲覧者に送信する閲覧者画像の詳細度を画像処理部４０３が揃えることにより実現可能である。

続いて、図６に示した画像処理装置４００の傾き角推定部４０４の機能を説明する。傾き角推定部４０４は、上述したように、各被閲覧者の位置および仮想視点位置を結ぶ直線と仮想接近の方向とが成す傾き角θを推定する。この傾き角θの推定方法について、図９を参照して具体的に説明する。

図９は、拠点Ｂの撮像画像の具体例を示した説明図である。傾き角推定部４０４は、図９に示したＷｔａｒおよびＷｎｔａに従い、下記数式１に従って傾き角θを近似的に推定することが可能である。
傾き角θ＝（π／２）＊（Ｗｎｔａ／Ｗｔａｒ）
（数式１）

上記数式１において、Ｗｔａｒは、閲覧者側装置１００の表示部１０３に表示される拠点Ｂの撮像画像内における拡大中心と指定された被閲覧者Ａの重心点と、傾き角算出対象の被閲覧者が存在する側の画面端間の水平画素数（水平幅）である。また、Ｗｎｔａは、閲覧者側装置１００の表示部１０３に表示される画像内における拡大中心として指定された被閲覧者Ａの重心点と傾き角算出対象の被閲覧者の重心点間の水平画素数である。

上記数式１によれば、傾き角θは、−π／２≦θ≦＋π／２、の範囲内で、被閲覧者間の位置関係に応じて変化する。特に、仮想接近の対象ではないが自動的に拡大表示されてしまう他の被閲覧者が拠点Ｂの撮像画像拡大処理に伴い画面からフレームアウトする瞬間の傾き角θは、最大値のπ／２と算出される。また、仮想接近の対象である被閲覧者の傾き角θは常に０となる。

ここで、傾き角の最大値をπ／２に設定する理由について補足する。同一空間において正面方向から接近し自分の真横を通り過ぎていく人が自分の視界から消えるときに見えるのは、通り過ぎていく人の横顔である。この同一空間における感覚は、拠点Ｂの撮像画像拡大処理に伴い画面から被閲覧者がフレームアウトするときに閲覧者画像が真横を向くことで再現されると考えられる。そこで、同一空間において正面方向から接近し自分の真横を通り過ぎていく人が自分の視界から消えるときの感覚をより臨場的に表現するために、傾き角の最大値はπ／２に設定される。

かかる構成によれば、仮想接近の対象ではないが自動的に拡大表示されてしまう他の被閲覧者は、被閲覧者側装置２００に配信される閲覧者画像の傾き角がπ／２に近いほど、閲覧者側装置１００に表示される画像内で自身が端の方に位置して表示されており、また、自身が仮想接近の方向とは大きく異なる方向に位置していて閲覧者の興味対象ではない、ということを直感的に理解できる。

なお、図９においては画像に向かって右側が正、左側が負に設定される例を示しているが、正負は逆側であってもよい。ただし、閲覧者側装置１００の表示部１０３に表示される画像における拡大中心として指定された被閲覧者および傾き角算出対象の被閲覧者の左右関係と、傾き角θの左右回転関係の対応は、図８の正面図および図９に示す方向の関係性に揃えるものとする。

＜２−２．画像処理システムの動作＞
以上、第１の実施形態による画像処理システムが有する各装置の構成を説明した。続いて、図１０および図１１を参照し、第１の実施形態による画像処理システムの動作を整理する。

（全体フロー）
図１０は、本実施形態による画像通信システムの動作を示すシーケンス図である。図１０に示したように、まず、被閲覧者側に設置された撮像装置３００の撮像部３０１が拠点Ｂの撮像を開始する（Ｓ１１０）。なお、撮像部３０１は、拠点Ｂの俯瞰的な風景を撮像するライブカメラの役割を担うので、基本的には常時撮像を行う利用形態が想定される。

続いて、撮像装置３００の顔検出部３０２は、撮像部３０１によって取得された拠点Ｂの撮像画像から被閲覧者の顔領域を検出し、被閲覧者の顔画像の特徴情報を取得する。そして、顔検出部３０２は、被閲覧者の顔領域を示す顔領域情報、顔画像の特徴情報、および拠点Ｂの撮像画像を顔認識部３０３に出力する（Ｓ１１２）。

ここで、顔領域が検出されなかった場合、すなわち、撮像部３０１の画角内に被写体となる被閲覧者が存在しないか、被閲覧者は存在するが顔は映っていない場合、顔検出部３０２は、顔領域が検出されなかった旨の情報を領域情報の代わりに出力してもよい。この点について補足すると、本実施形態が解決しようとするプライバシー問題において最も考慮すべき被写体部位は顔であると考えられる。このため、被閲覧者は存在するが顔は映っていないと考えられる場合、例えば、撮像部３０１に対して被閲覧者が後ろ向きに映っている場合などは一方的閲覧行為の問題外として扱うことが適切である。遠隔でない同一空間内の閲覧行為でも、背後から見られた場合には被閲覧者は気付かないので、遠隔空間のコミュニケーションで特有の一方的閲覧行為の問題とは性質が異なるためである。

そして、撮像装置３００の顔認識部３０３は、顔検出部３０２で得られた顔画像の特徴情報から、被閲覧者の人物特定を行い、拠点Ｂの撮像画像、顔領域情報および人物特定情報を通信部３０５に出力する（Ｓ１１４）。次いで、撮像装置３００の通信部３０５が、拠点Ｂの撮像画像、顔領域情報および人物特定情報の画像処理装置４００への送信を開始する（Ｓ１１６）。

一方、閲覧者側装置１００の撮像部１０１は、撮像範囲に含まれる閲覧者の撮像を開始して、閲覧者画像を取得する（Ｓ１１８）。そして、閲覧者側装置１００の顔検出部１０２は、撮像部１０１によって取得された閲覧者画像から閲覧者の顔領域を検出し、閲覧者の顔領域を示す顔領域情報および閲覧者画像を通信部１０５に出力する（Ｓ１２０）。

ここで、顔領域が検出されなかった場合、すなわち、表示部１０３の閲覧者が存在しない、または、閲覧者が画面方向を見ていない場合、顔検出部１０２は、顔領域が検出されなかった旨の情報を領域情報の代わりに出力してもよい。なお、顔検出部１０２が上記のように明示的に顔領域が検出されなかった旨の情報を出力しなくても、顔領域情報が顔でない画像範囲を示す１値のみからなることにより顔領域が検出されなかったことを認識することが可能である。

その後、閲覧者側装置１００の通信部１０５が、拠点Ｂの撮像画像の要求と共に、閲覧者画像および顔領域情報の画像処理装置４００への送信を開始する（Ｓ１２２）。

画像処理装置４００は、閲覧者側装置１００からの要求を受け、被閲覧者側装置２００への閲覧者画像の送信を開始し（Ｓ１４６）、閲覧者側装置１００への拠点Ｂの撮像画像の送信を開始する（Ｓ１４８）。これにより、被閲覧者側装置２００の表示部２０３が閲覧者画像を表示し（Ｓ１５０）、閲覧者側装置１００の表示部１０３が拠点Ｂの撮像画像を表示することが可能となる（Ｓ１５２）。なお、閲覧者の一方的閲覧行為を防ぐために、拠点Ｂの撮像画像の送信開始タイミングと閲覧者画像の送信開始タイミングは同期していることが望ましい。

その後、閲覧者が閲覧者側装置１００の入力部１０４を用いて拠点Ｂの撮像画像中のいずれかの被閲覧者の画像に対し画像拡大処理の指示を行うと（Ｓ１５２）、閲覧者側装置１００の通信部１０５は、入力部１０４から入力された拡大指示情報を画像処理装置４００に送信する（Ｓ１５６）。

画像処理装置４００の画像処理部４０３は、閲覧者側装置１００から受信された閲覧者画像および拡大指示情報と、撮像装置３００から受信された拠点Ｂの撮像画像などに基づき、拠点Ｂの撮像画像に対しては拡大処理を施し、閲覧者画像に対しては仮想接近の方向を示す画像処理を施す（Ｓ１６０）。これらの画像処理部４０３による画像処理の動作フローについては図１１を参照して後述する。

その後、画像処理装置４００は、拡大処理された拠点Ｂの撮像画像の閲覧者側装置１００への送信を開始し（Ｓ１７６）、仮想接近の方向を示す画像処理が施された閲覧者画像の被閲覧者側装置２００への送信を開始する（Ｓ１７８）。これにより、被閲覧者側装置２００の表示部２０３が仮想接近の方向を示す画像処理が施された閲覧者画像を表示し（Ｓ１８０）、閲覧者側装置１００の表示部１０３が拡大処理された拠点Ｂの撮像画像を表示することが可能となる（Ｓ１８２）。なお、前記Ｓ１４６およびＳ１４８と同様、閲覧者の一方的閲覧行為を防ぐために、拡大処理された拠点Ｂの撮像画像の送信開始タイミングと仮想接近の方向を示す画像処理が施された閲覧者画像の送信開始タイミングは同期していることが望ましい。

（画像処理の動作フロー）
図１１は、画像処理装置４００による画像処理に関する動作を示したフローチャートである。図１１に示したように、まず、画像処理装置４００の通信部４０５が、閲覧者側装置１００から閲覧者画像および顔領域情報を受信し、撮像装置３００から拠点Ｂの撮像画像、顔領域情報および人物特定情報を受信する（Ｓ１６１）。

続いて、閲覧者により拡大中心となる被閲覧者が選択された場合、すなわち、閲覧者により拡大指示情報が入力された場合（Ｓ１６２）、記憶部４０２は、拠点Ａの閲覧者画像、閲覧者の顔領域情報、拠点Ｂの撮像画像、被閲覧者の顔領域情報および人物特定情報を、本フローチャートに示す処理の完了まで記憶する（Ｓ１６３）一方、閲覧者により拡大指示情報が入力されない場合、本フローチャートの動作は終了する。

Ｓ１６３の後、画像処理部４０３は、拡大指示情報に従い、拡大中心として指定された被閲覧者の画像の重心点を中心として、拠点Ｂの撮像画像を（指定倍率−１）／ｎが加算された倍率になるように拡大する（Ｓ１６４）。ここで、「ｎ」は、指定倍率に至るまで段階的に倍率を増加させるための分割数である。例えば、指定倍率が「４」であり、「ｎ」が「６」である場合、画像処理部４０３は、第１段階として拠点Ｂの撮像画像を１．５倍に拡大する。そして、画像処理部４０３は、Ｓ１６８からＳ１６４に戻って再度拡大処理を行う場合、拠点Ｂの撮像画像を当初の２倍に拡大する。

また、画像処理部４０３は、傾き角推定部４０４により推定される各被閲覧者に関する傾き角θに応じ、各被閲覧者の被閲覧者側装置２００に送信するための閲覧者画像に仮想接近の方向を示す画像処理を施す（Ｓ１６５）。ここで、仮想接近は「ｎ」回に分割して段階的に行われるので、仮想接近の進捗に応じて各被閲覧者に関する傾き角θも段階的に変化する。

その後、画像処理装置４００の通信部４０５は、拡大処理された拠点Ｂの撮像画像を閲覧者側装置１００へ送信し（Ｓ１７６）、仮想接近の方向を示す画像処理が施された閲覧者画像を被閲覧者側装置２００へ送信する（Ｓ１７８）。

画像処理装置４００は、上述したＳ１６４〜Ｓ１７８の処理がｎ回繰り返されるまで、Ｓ１６４〜Ｓ１７８の処理を繰り返すことにより、仮想接近に伴う画像処理を終了する（Ｓ１６８）。

以上の一連の動作により、閲覧者には興味対象の被閲覧者を中心に拡大された拠点Ｂの撮像画像が、被閲覧者には仮想接近の方向を示す画像処理が施された閲覧者画像が、動的なズーム表現もしくは顔画像の回転表現として双方に提供される。

＜＜３．第２の実施形態＞＞
以上、本発明の第１の実施形態を説明した。続いて、本発明の第２の実施形態を説明する。第２の実施形態によれば、被閲覧者の実空間上の位置を用いて傾き角θを推定することにより、傾き角θの精度を向上することが可能である

＜３−１．第２の実施形態の構成＞
図１２は、第２の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、第２の実施形態による画像通信システムは、閲覧者側装置１００と、被閲覧者側装置２００と、電子タグ２０７と、撮像装置３００−２と、画像処理装置４００−２と、複数の電波受信機７と、を備える。閲覧者側装置１００および被閲覧者側装置２００の構成は第１の実施形態において説明した通りであるので、ここでの詳細な説明を省略する。

撮像装置３００−２は、電子タグ２０７を備える点で第１の実施形態による撮像装置３００と相違する。また、電子タグ２０７は、図１２に示したように被閲覧者によっても携帯される。この電子タグ２０７は、電子タグ２０７を識別するためのＩＤ情報などを発信する電波発信装置である。

なお、複数の遠隔拠点に複数のメンバが分散するような環境下における遠隔コミュニケーション支援システムにおいては、複数のメンバの空間内位置情報が有用なコミュニケーション情報として映像や音情報と共に遠隔で相互提供される可能性が高い。この位置情報を検出するためにメンバやシステム機材が電子タグ２０７を日常的に備える状況が、遠隔コミュニケーション支援システムの普及と共に一般化する可能性が高いため、電子タグ関連機材のシステムへの導入障壁は比較的低いと考えられる。

複数の電波受信機７の各々は、電子タグ２０７が発信した電波を受信し、電波の受信強度を測定する。例えば、電波受信機７Ａおよび７Ｂは、被閲覧者が携帯する電子タグ２０７が発信した電波を受信し、電波の受信強度を測定する。そして、複数の電波受信機７の各々は、電波送信元の電子タグ２０７のＩＤ情報および受信強度情報が関連付けられた測定結果情報を画像処理装置４００−２に送信する。なお、電波受信機７は、無線ＬＡＮのアクセスポイントであってもよい。

第２の実施形態による画像処理装置４００−２は、図１２に示したように、記憶部４０２、画像処理部４０３、通信部４０５、位置推定部４０６および傾き角推定部４０８を備える。主に、位置推定部４０６および傾き角推定部４０８が第１の実施形態による画像処理装置４００と異なる機能である。

位置推定部４０６は、複数の電波受信機７から受信される測定結果情報に基づき、電子タグ２０７が設けられた撮像装置３００−２、および電子タグ２０７を携帯する各被閲覧者の位置を推定する。例えば、位置推定部４０６は、同一の電子タグ２０７の送信電波を受信した複数の電波受信機７における受信強度および複数の電波受信機７の既知の位置に基づき、三角測量の原理に従って当該電子タグ２０７の位置を推定してもよい。

なお、被閲覧者によって携帯される電子タグ２０７のＩＤ情報は、撮像装置３００−２が用いる被閲覧者の人物特定情報と事前に紐付けられている。このため、画像処理装置４００−２は、拠点Ｂの撮像画像に含まれる被閲覧者の人物特定が行われると、当該被閲覧者の位置も特定することが可能である。

傾き角推定部４０８は、位置推定部４０６により推定された撮像装置３００−２の位置および被閲覧者の位置に基づき、各被閲覧者の位置および仮想視点位置を結ぶ直線と仮想接近の方向とが成す傾き角θを推定する。以下、傾き角推定部４０８による傾き角の推定方法について具体的に説明する。

＜３−２．第２の実施形態による傾き角の推定方法＞
図１３は、撮像装置３００−２および被閲覧者の位置関係の具体例を示した説明図である。傾き角推定部４０８は、位置推定部４０６により推定された撮像装置３００−２の実際の位置および被閲覧者ＤおよびＥの位置に基づき、被閲覧者ＥおよびＤ間の距離ＤＥ、撮像装置３００−２および被閲覧者Ｄ間の距離ＷＤ、撮像装置３００−２および被閲覧者Ｅ間の距離ＷＥを算出する。ここで、拡大中心が被閲覧者Ｅである場合の被閲覧者Ｄに関する傾き角θＶ１、および距離ＤＥ、ＷＤ、ＷＥは、余弦定理に従う下記数式２を満たす。
ｃｏｓθＶ１＝（ＷＤ＾２＋ＷＥ＾２−ＤＥ＾２）／（２＊ＷＤ＊ＷＥ）
（数式２）

傾き角推定部４０８は、上記の数式２から、傾き角θＶ１を推定することが可能である。このため、被閲覧者Ｅへの仮想接近が行われる際、被閲覧者Ｄには、最初の画像（拡大開始前に送信される画像）として、ヨー角方向に傾き角θＶ１の大きさ回転された閲覧者画像が送信される。

また、傾き角推定部４０８は、位置推定部４０６により推定された被閲覧者の位置などに基づき、画像の拡大に伴う変化後の傾き角θも推定する。

図１４は、仮想接近時の撮像装置３００−２および被閲覧者の位置関係の具体例を示した説明図である。上述したように、仮想接近を撮像装置３００−２による被閲覧者への仮想的な距離接近と考えると、仮想接近後の撮像装置３００−２の仮想的な位置を図１４の仮想視点位置Ｗ’のように設定できる。傾き角推定部４０８は、この仮想視点位置Ｗ’および被閲覧者Ｅ間の距離Ｗ’Ｅを、距離ＷＥに拡大倍率の逆数を乗じることで算出する。例えば、拡大倍率が「３」である場合、距離Ｗ’Ｅ＝ＷＥ／３が成り立つ。また、角度Ｗ’ＥＤは、図１３に示した仮想接近前の角度ＷＥＤと等しいので、傾き角推定部４０８は、図１３に示した距離ＤＥ、ＷＤ、およびＷＥから余弦定理に従い角度Ｗ’ＥＤ（角度ＷＥＤ）を算出できる。

さらに、傾き角推定部４０８は、上記で算出した距離Ｗ’Ｅ、角度Ｗ’ＥＤ、および距離ＤＥから余弦定理に従い、仮想接近時の傾き角θＶ２を推定することが可能である。

画像処理装置４００が、上述した方法により推定された傾き角θＶ２だけ回転された閲覧者画像を、画像拡大処理された拠点Ｂの撮像画像から被閲覧者Ｄがフレームアウトもしくは顔検出されなくなるまで被閲覧者Ｄに段階的に配信することにより、本発明の第１の実施形態よりも精度の高い仮想接近の方向を示す画像処理が施された閲覧者画像の配信を実現できる。

＜３−３．第２の実施形態の補足＞
なお、第２の実施形態の構成では、上記検出位置情報と余弦定理を用いた方法に加え、第１の実施形態の方法、すなわち、被閲覧者画像の顔領域画面からフレームアウトする瞬間の傾き角θを最大値のπ／２とみなして画面内表示位置に応じて傾き角θを求める方法を実施することも可能である。第１の実施形態の方法では、配信された閲覧者画像の傾き角θがπ／２に近いほど被閲覧者画像の拠点Ｂ画像内表示位置が画面端であり自身が興味対称でないことが被閲覧者にわかりやすいというメリットがあり、第２の実施例の方法では、高精度の傾き角θが求められることにより閲覧者の仮想接近位置との関係性を被閲覧者がより正確に把握できるというメリットがある。

また、第２の実施形態における画像通信システムの動作は、傾き角θの算出方法に電子タグ２０７の位置情報と余弦定理を用いること以外は基本的に第１の実施形態の動作と同一である。具体的には、第２の実施形態では、図１４のＳ２３１において、「画像処理装置４００の通信部４０５が、閲覧者側装置１００から拠点Ａの閲覧者画像および顔領域情報を受信し、撮像装置３００から拠点Ｂの撮像画像、顔領域情報および人物特定情報を受信する」ことに加えて、「画像処理装置４００の通信部４０５が、電波受信機７から測定結果情報を受信し、位置推定部が被閲覧者の位置を推定する」処理が追加される。

＜＜４．変形例＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、以下に列挙するような各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

（変形例１）
上記では、閲覧者画像から顔領域が検出されなかった場合、すなわち、拠点Ｂの撮像画像の閲覧行為がないと考えられる場合でも、拠点Ｂの撮像画像が閲覧者側装置１００に送信される例を説明した。これは、本実施形態による画像通信システムがインフォーマルな遠隔コミュニケーションを支援するシステムであり、基本的に、閲覧行為があるか否かに関わらず常時遠隔拠点の画像を流し続けることがシステムの目的に対して効果的であるという考えによる仕様である。しかし、消費電力の節約や、通信データ量の削減の観点を重視する場合、閲覧者の顔領域が検出された場合にのみ拠点Ｂの撮像画像を閲覧者側装置１００に送信するように画像処理装置４００を設計してもよい。

（変形例２）
上記では、被閲覧者を含む拠点Ｂの撮像画像を閲覧者が閲覧している場合に閲覧者情報を被閲覧者の被閲覧者側装置２００に通知する例を説明したが、本実施形態はかかる例に限定されない。例えば、拠点Ｂの撮像画像に人物画像が含まれていても、当該人物画像の情報量が少ない場合（人物画像が小さい場合）、閲覧者は当該人物画像を意図して見ているわけでない、すなわち、その人物は閲覧者の関心対象の被閲覧者でないと捉えられる。そこで、画像処理装置４００は、拠点Ｂの撮像画像に含まれる人物画像（あるいは、顔領域）の情報量が閾値を下回る場合には当該人物の被閲覧者側装置２００に閲覧者情報を通知せず、情報量が閾値を上回る場合に当該人物の被閲覧者側装置２００に閲覧者情報を通知してもよい。

（変形例３）
上記では、仮想接近の方向を示す画像処理として、二次元の閲覧者画像を奥行きの無い一枚の平面に見たて、閲覧者画像をヨー角（ｙａｗ ａｎｇｌｅ）方向に傾き角θ分回転させる画像処理を行う例を説明したが、仮想接近の方向を示す他の画像処理も考えられる。例えば、画像処理部４０３は、図１５に示すように、被閲覧者側装置２００の閲覧者画像表示エリア２２０における閲覧者画像２２２の表示位置を、拠点Ｂの撮像画像における被閲覧者の位置に応じて変化させてもよい。より具体的には、画像処理部４０３は、図９を参照して説明した（Ｗｎｔａ／Ｗｔａｒ）の値が１に近いほど、すなわち、被閲覧者の位置が拡大された拠点Ｂの撮像画像の画面端に近くなるほど、閲覧者画像２２２の表示位置を閲覧者画像表示エリア２２０の端に寄せてもよい。

第２の実施形態における傾き角θを求める方法では、正確性の高い傾き角θが表現できる代わりに、拡大処理された拠点Ｂの撮像画像内における被閲覧者画像表示位置に関する情報は第１の実施例の方法よりも分かり難くなってしまう場合も想定される。しかし、変形例３による上記表現方法を併用すると、正確性の高い傾き角θの表現と拠点Ｂの撮像画像における被閲覧者の位置情報の提供という、第１と第２の実施形態の双方のメリットを併せ持つ情報提示が可能となる。

（変形例４）
上記では、閲覧者画像が二次元画像である例を説明したが、閲覧者画像として三次元の立体画像を用いることも可能である。この場合、画像処理部４０３は、三次元の閲覧者画像をヨー角（ｙａｗ ａｎｇｌｅ）方向に傾き角θの大きさ回転させたように見えるような画像処理を行ってもよい。なお、閲覧者側装置１００における撮像部１０１を複数台にして多眼ステレオ法を用いる、または、画像処理部４０３に二次元顔画像から三次元頭部形状を推定し生成する演算機能を実装するなどの方法により、三次元の閲覧者画像を得ることが可能である。

（変形例５）
上記では閲覧者が１名の被閲覧者を拡大中心に指定する例を説明したが、複数名の被閲覧者が集まって会話を行っているなど、近距離に複数名が固まって存在している場合、閲覧者は複数名の被閲覧者を拡大中心に指定してもよい。この場合、画像処理装置４００は、例えば、複数名の画像内存在位置の平均的な重心点を画像拡大処理の中心点とし、選択した複数名の被閲覧者には同様に傾き角＝０の閲覧者画像を配信してもよい。

（変形例６）
さらに、閲覧者は、被閲覧者を拡大中心に指定せずに拡大指示を入力することも可能である。例えば、閲覧者は、拠点Ｂの撮像画像内の任意の一点を指定し、画像処理装置４００は、指定された画像上の一点を中心に拠点Ｂの撮像画像を拡大してもよい。この場合、画像処理装置４００は、指定された画像上の一点に最も近い位置に映っている被閲覧者一名を仮想接近の対象となる被閲覧者とみなし、閲覧者画像に上述した仮想接近の方向を示す画像処理を施してもよい。または、画像処理装置４００は、仮想接近の対象となる被閲覧者を特に設定せず、拠点Ｂの撮像画像内に映り存在がシステムに認識されたすべて被閲覧者の被閲覧者側装置２００に対し、上述した仮想接近の方向を示す画像処理を施した閲覧者画像を配信してもよい。

（変形例７）
また、第２の実施形態においては、各被閲覧者が電子タグ２０７を携帯する例を説明したが、電子タグ２０７は、被閲覧者側装置２００に設けられてもよい。この場合、画像処理装置４００−２の位置推定部４０６が、被閲覧者側装置２００の位置を、被閲覧者側装置２００を所有する被閲覧者の位置として推定することにより、上述した第２の実施形態と同様の運用を実現することが可能である。

（変形例８）
また、第２の実施形態においては、画像処理装置４００−２側で被閲覧者の位置を推定する例を説明したが、第２の実施形態はかかる例に限定されない。例えば、被閲覧者により携帯される端末が無線電波の受信強度に基づいて現在位置を推定し、位置推定の結果を画像処理装置４００−２に報告してもよい。

（その他）
本明細書の画像処理システムの処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、画像処理システムの処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、画像処理装置４００などの各装置に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアに、上述した画像処理装置４００などの各装置の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

７ 電波受信機
１２ ネットワーク
１００ 閲覧者側装置
１０１ 撮像部
１０２ 顔検出部
１０３ 表示部
１０４ 入力部
１０５ 通信部
２００ 被閲覧者側装置
２０３ 表示部
２０５ 通信部
２０７ 電子タグ
３００ 撮像装置
３０１ 撮像部
３０２ 顔検出部
３０３ 顔認識部
３０５ 通信部
４００ 画像処理装置
４０２ 記憶部
４０３ 画像処理部
４０４、４０８ 傾き角推定部
４０５ 通信部
４０６ 位置推定部

Claims (11)

1. 第１の撮像画像の閲覧者が利用する閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、
   前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、
   前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する被閲覧者側装置に送信する送信部と、
   を備える、画像処理装置。
2. 前記受信部は、前記第１の撮像画像をさらに受信し、
   前記送信部は、前記指定情報により指定された拡大中心を基準に拡大された前記第１の撮像画像を前記閲覧者側装置に送信する、請求項１に記載の画像処理装置。
3. 前記画像処理部は、前記受信部により受信された前記第１の撮像画像に対し、前記指定情報により指定された拡大中心を基準とする拡大処理を段階的に施す、請求項２に記載の画像処理装置。
4. 前記画像処理装置は、
   前記第１の撮像画像を得る際の実空間における実視点位置、および前記拡大中心に対応する実空間上の対象の位置を結ぶ方向線と、拡大された第１の撮像画像を得る際の実空間における仮想視点位置、および前記第１の撮像画像に含まれる人物の実空間上の位置を結ぶ方向線とが成す傾き角を推定する傾き角推定部をさらに備え、
   前記画像処理部は、前記傾き角推定部により推定された前記傾き角に応じて前記第２の撮像画像を処理する、請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記傾き角推定部は、第１の撮像画像の水平幅に対する、前記拡大中心と前記第１の撮像画像に含まれる人物の位置との前記第１の撮像画像上での距離の大きさに基づいて前記傾き角を推定する、請求項４に記載の画像処理装置。
6. 前記拡大中心に対応する実空間上の対象は人物であり、
   前記傾き角推定部は、前記拡大中心に対応する人物の実空間上の推定位置、前記第１の撮像画像に含まれる人物の実空間上の推定位置、および前記仮想視点位置に基づいて前記傾き角を推定する、請求項４に記載の画像処理装置。
7. 前記画像処理部は、前記第２の撮像画像を平面に見立てた場合にヨー角方向に前記傾き角の大きさ回転された前記第２の撮像画像が得られるような画像処理を行う、請求項４〜６のいずれか一項に記載の画像処理装置。
8. 前記ヨー角方向に回転される前記傾き角の最大値は２／πである、請求項７に記載の画像処理装置。
9. 前記画像処理部は、前記被閲覧者側装置において表示される前記閲覧者の画像の位置が、前記第１の撮像画像に含まれる人物の位置と前記拡大中心との関係に応じて変化するように画像処理を行う、請求項１〜８のいずれか一項に記載の画像処理装置。
10. コンピュータを、
    第１の撮像画像の閲覧者が利用する閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、
    前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、
    前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する被閲覧者側装置に送信する送信部と、
    として機能させるための、プログラム。
11. 閲覧者側装置、被閲覧者側装置および画像処理装置からなる画像処理システムであって、
    前記閲覧者側装置は、
    第１の撮像画像を表示する第１の表示部を備え、
    前記画像処理装置は、
    前記閲覧者側装置から、前記第１の撮像画像における拡大中心を指定する指定情報、および前記閲覧者の画像を含む第２の撮像画像を受信する受信部と、
    前記第２の撮像画像を、前記第１の撮像画像に含まれる人物の位置と、前記指定情報により指定される拡大中心との関係に応じて処理する画像処理部と、
    前記画像処理部により処理された前記第２の撮像画像を、前記第１の撮像画像に含まれる人物が利用する前記被閲覧者側装置に送信する送信部と、
    を備え、
    前記被閲覧者側装置は、前記画像処理装置の前記送信部から受信した前記第２の撮像画像を表示する第２の表示部を備える、画像処理システム。
    
    
    
    
    
    
    

Images