JP4973908B2 - 通信端末およびその表示方法 - Google Patents

Description

本発明は、携帯電話機等の通信端末およびその表示方法に係り、特に、多地点通信可能な通信端末およびその表示方法に関するものである。

多地点通信としての代表としては、テレビ会議システムがある。テレビ会議システムでは、ＭＣＵ（Multi-point Control Unit）を介して複数の端末が接続する。ＭＣＵは、多数の端末から送られてきた画像データを１つの画面上に分割合成し、音声データとともに、各々の端末に送信することにより、多地点をつないだテレビ会議を実現する。

基本的に、各拠点の画像を１つの画像に分割合成する場合、
（１）１つの画像を等分割する場合（たとえば４分割、９分割）と、
（２）１つ大きな画像領域を取り、残りの領域を等分割に分割して合成する場合と、
がある（たとえば６分割）。

（１）の場合、ＭＣＵで結んでいる拠点からの画像が同じ面積を使って合成される。
（２）の場合、話している拠点を大きな面積を割り当て、残りの拠点からの画像を残りの等分割された領域に割り当てて、合成する。

いずれの場合でも、テレビ会議システムでは、大画面のモニタを用いて行うために、複数の拠点の画像を１つの画像に分割合成しても、個々の拠点を映す画像のサイズは充分な大きさを有し、一人で映っている分には、その人の顔が認識困難になるということはない。テレビ会議システムとしては、たとえば特許文献１，２等に開示されている。

図１（Ａ）〜（Ｅ）は、一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。
図１の例においては、画面１を先に決められた枠（四角形）のウィンドゥに分割する。
たとえば、画面１は１つの大きなウィンドゥ（四角形）２と複数の小さなウィンドゥ（四角形）３−１〜３−５から形成され、話し手を大きなウィンドゥ２に表示する。
この場合、ウィンドゥのサイズ、および分割数は固定的であり、撮像された画像をそのまま表示しているため、撮影の状態に応じて、顔の大きさが変動する。

一般的なＰＣのウィンドゥ制御の場合、マウスでウィンドゥをドラッグすることにより、ウィンドゥのサイズの変更、ウィンドゥの選択を自由に行うことが可能である。

ところで、携帯電話機等の携帯通信端末は、音声通話だけでなく、メール、Webアクセス、ゲーム、カメラ、テレビ電話、メディアプレィア、ラジオ、テレビなど年々高機能化されている。
現行、携帯通信端末でのテレビ電話は、発呼時に、テレビ電話で接続することを選択するものである。

しかしながら、パケット通信への対応が進むことにより、音声通話自体がパケット通信に対応したVoIPが使用され、通話中にカメラを起動し、音声および映像での通話に切り替えたり、また逆に、カメラを停止し、音声通話のみにしたりといった使い方が主要となる。さらに、通話中の相手に、自端末に保存している文書（ex. メール）、住所データ、画像（静止画像、動画像）、音声などを送って、（通話相手にて自動的に再生され、）同時に観たり、Webサイトを同時に観たりすることが可能となる。

このように、高機能化により携帯通信端末がIP化された場合、同時に複数の相手（サーバを含む）と通信を行うことが可能となる。
この場合、一つの端末で複数のスクリーンを取り扱う必要がある。複数のスクリーンを取り扱う方法としては、（ＰＤＡなどで）ページめくり的に取り扱う方法がある。
特開平０６−１４１３１０号公報 特開平０６−１４１３１１号公報

今後想定される携帯通信端末の利用シーンのひとつとして、複数の人とＴＶ通話しながら、web、ファイル、動画像、音楽の共有化がある。
しかしながら、携帯通信端末の画面は非常に小さく、前述したページめくり的な扱い方法では、実現はできない。
テレビ会議システムの画面設定は、前もって設定しておく必要がある。このため、取り扱い画面数が想定数を越えた場合、表示することはできなくなる。
パーソナルコンピュータ（PC）におけるスクリーンの場合に対して、携帯通信端末では、操作キーの数に限界がある。いくつかのキーにて操作を可能としても、実際に画面上でスクリーンを最適に移動すること、サイズ変更することは困難である。

本発明の目的は、ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる通信端末およびその表示方法を提供することにある。

本発明の第１の観点の携帯通信端末は、受信した画像、音声を再生する通信端末であって、前記画像から顔以外の部分を最小として顔のエリアを抽出する抽出手段と、前記音声の大きさに応じて、前記抽出した画像のサイズを変動するように制御する制御手段と、前記サイズを制御した画像を表示する表示手段と、を含む。

好適には、前記制御手段は、前記表示手段の表示範囲と前記画像との重なり度合いに基づき、前記画像の配置を制御する。

好適には、前記表示する画像が複数ある場合であって、前記制御手段は、前記画像同士の重なりの度合いに基づき、前記画像の配置を制御する。

好適には、前記制御手段は、前記抽出手段にて顔のエリアを抽出した場合、サイズが制御された表示すべき画像を含む画像表示エリアの形状として、当該顔のエリアを包含し、顔のエリア以外の部分を最小とする円形を選択する。

好適には、前記制御手段は、前記抽出手段にて、顔のエリアが抽出されなかった場合、画像を風景と判定し、画像表示エリアの形状として、円形以外を選択する。

好適には、前記制御手段は、前記抽出手段にて抽出された顔のエリアの数が一定値以上の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する。

好適には、前記制御手段は、前記抽出手段にて抽出された顔のエリアの数が一定値以下の場合、顔のエリアの面積が最も大きい顔のエリアに合わせて、画像表示エリアの形状を選択する。

好適には、前記制御手段は、前記抽出手段にて抽出された顔のエリアの形が、推定される顔のエリアの面積に対して一定値以下の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する。

好適には、前記制御手段は、受信画像と同送信元からの要求形状に応じて、表示画像の形状を選択する。

好適には、前記制御手段は、自端末の操作手段からの要求に応じて、画像表示エリアの形状を選択する。

好適には、画像表示エリアには、他の表示エリアとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さい表示エリアが、前記許容エリアまで重なることを許容する重なり許容エリアを有する。

好適には、画像表示エリアは、画面上を移動し、他の表示エリアと衝突した場合、衝突した表示エリアの大きさに応じて、移動方向を変える。

好適には、画像表示エリアは、画面上を移動し、画面枠に衝突した場合、自画像表示エリアの大きさに応じて、移動方向を変える。

好適には、前記制御手段は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、画像表示エリアのサイズを算出する。

好適には、サイズが制御された画像をマッピングするマッピング手段を有し、前記マッピング処理手段は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする。

好適には、画像補正手段を有し、前記マッピング手段にて、同一画像上に形成された表示エリアの群を包含する四角形のサイズが、前記表示手段の画面サイズを越える場合、前記画像補正手段は、表示エリア群のサイズが、画面サイズ以下になるように規格化する。

好適には、画像補正手段を有し、前記マッピング手段によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、前記表示手段の画面の縦、横のサイズを越える場合、前記画像補正手段は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、表示エリア群の位置を衝突による再配置処理を施す。

好適には、受信した画像に関連付けられて受信した天地情報に基づいて、受信した画像の天地を端末画面の天地と一致するように補正する天地補正手段を有する。

好適には、前記制御手段は、送信元の指示情報に基づいて表示に関する制御を行い、前記送信元の指示情報は、指示された画像の送信元の識別する情報（たとえば.IPアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。

好適には、送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する。

本発明の第２の観点は、受信した画像、音声を再生する通信端末の表示方法であって、前記画像から顔以外の部分を最小として顔のエリアを抽出し、前記音声の大きさに応じて、前記抽出した画像のサイズを変動するように制御し、前記サイズを制御した画像を表示する。

本発明によれば、ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図２および図３は、本発明の実施形態に係る携帯通信端末の構成例を示す図であって、図２はエンコード装置を示すブロック図であり、図３はデコード装置を示すブロック図である。

本携帯通信端末１０は、送信元となるエンコード装置２０と、受信側とあるデコード装置３０とを有し、多地点通信可能に構成される。

エンコード装置２０は、符号化した音声データ、画像データを、受信側端末に対する指示情報や画像の天地情報等を付加してパケットとしてネットワークに送信する機能を有する。
音声データおよび画像データに付加される送信元の指示情報は、指示された画像の送信元の識別する情報(たとえ、ＩＰアドレス、MACアドレス）と、受信した画像上の位置を示す位置情報とを含む。
送信元となるエンコード装置２０は、送信元は、画面上、指示した位置にスクリーン(スクリーンについては後で詳述する)が存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する機能を有する。

図２のエンコード装置２０は、マイクロフォン等からなる音声入力部２０１、デジタルカメラ等の画像入力部２０２、キー入力等が可能な操作部２０３、音声入力部２０１により入力される音声データを符号化する音声符号化処理部２０４、画像入力部２０２から入力される画像データを符号化する画像符号化処理部２０５、操作部２０３の入力情報に基づいて端末を制御する端末制御部２０６、画像・映像を記憶する記憶部２０７、端末制御部２０６の指示に基づいて指示情報や天地情報等の制御情報を生成する制御情報生成部２０８、符号化された音声データおよび画像データ、制御情報、端末制御部２０６の指示に基づいて記憶部２０７から読み出された画像・映像データを送信パケットとして生成する送信パケット生成部２０９、およびネットワークと無線通信可能で生成された送信パケットをネットワークを介して通信相手の端末やサーバに送信するネットワークインタフェース（Ｉ／Ｆ）２１０を有する。

デコード装置３０は、通信相手（送信元）のエンコード装置２０から送信されネットワークを介して受信した音声データ、画像データを再生する機能を有する。
デコード装置３０は、たとえば多地点通信を行っている場合に、受信画像の特定エリアである顔を抽出(検出)し、この抽出した顔エリアに基づいて使用するスクリーン（サイズが制御された表示エリア）を選択して表示する機能を有する。
デコード装置３０は、このスクリーンの表示に際し、デッドゾーンをなくした円形（楕円形を含む概念である）ウィンドゥにて分割する機能を有する。
円形(楕円形)ウィンドウに分割するように構成したのは、以下の理由による。
一般的に、画面の分割は、長方形で行っていた。人間の顔は基本的に楕円形であり、長方形の四隅はデットゾーンとなる。このデッドゾーンが、顔を表示するエリアを結果的に狭く（小さく）している。
よって、本実施形態においては、このデッドゾーンをなくした円形（楕円形）ウィンドゥにて分割するように構成している。具体的な処理については、後で図面に関連付けて詳述する。

デコード装置３０は、送信元のアドレスに基づいて、各々のパケットを関連付けて処理をする。デコード装置３０は、同送信元アドレスからの音声情報（VoIP）の音圧（音量）に基づいて、同送信元アドレスからの映像情報のパケットのマッピングするスクリーンサイズを算出する。また、デコード装置３０は、同送信元アドレスからの制御情報のパケットに記載された天地情報、指示情報などに基づいて、同スクリーンの天地補正を行ったり、指示キャラクタを表示したりする機能を有する。
デコード装置３０は、各スクリーンの表示位置を算出し、受信した画像と、スクリーン情報（形状）、サイズ情報に基づいて、仮想の画面上にスクリーンを配置する。配置した全てのスクリーンを包含する四角形について、面積が画面の面積を越える場合、仮配置の面積が画面の面積と同等になるように、相似変換する。
相似変換した際の変換率は、次の時刻におけるサイズ補正に用いる。
また、デコード装置３０は、仮配置の面積が画面の面積と同等以下の場合で、仮配置の縦、横の長さが、画面の縦、横の長さより大きい場合、圧縮して長さを同等にする機能を有する。
なお、本実施形態においては、配置された個々のスクリーンに外圧が加わった場合、各々のスクリーンは外圧の大きさに依存して移動するものとする。

図３のデコード装置３０は、ネットワークと無線通信可能で送信元から送信された音声データ、画像(映像)データ、制御情報や指示情報を含むパケットを受信するネットワークインタフェース（Ｉ／Ｆ）３０１、キー入力等が可能な操作部３０２、ネットワークインタフェース３０１で受信されたパケットを解析し、音声データ、画像データ、送信元アドレス、制御情報(天地情報や指示情報)を抽出する受信パケット解析部３０３、受信パケット解析部３０３により抽出された音声データを復号する音声復号処理部３０４、受信パケット解析部３０３により抽出された映像データを復号する映像復号処理部３０５、映像復号処理部３０５により復号された映像データ、送信元アドレス、制御情報、および／または音声復号処理部３０４により復号された音声データに基づいて表示すべきスクリーン(表示ウィンドウ)のサイズや表示形態を制御する表示画像制御部３０６、音声復号処理部３０４により復号された音声の音量を修正する音量修正部３０７、音量修正部３０７で修正された音量で発音するスピーカ等の音声出力部３０８、表示画像制御部３０６によりサイズや表示形態が制御された画像を補正する画像補正部３０９、画像補正部３０９を介した画像を表示するＬＣＤ等の表示部（画像出力部）３１０、および操作部３０２からの入力情報に基づいて表示画像制御部３０６に制御情報(天地情報)を与える自端末制御部３１１を有する。

なお、エンコード装置２０とデコード装置３０は、操作部２０３と３０２、ネットワークインタフェース２１０と３０１、端末制御部２０６と自端末制御部３１１は共用することが可能である。

以下に、本実施形態の特徴部分である表示画像制御部３０６のより具体的な構成および機能、並びにスクリーンの具体的な表示形態例について順を追って説明する。

表示画像制御部３０６は、基本的に、画像データから特定（顔）のエリアを抽出(検出)する抽出機能（検出機能）と、画像データと同送信元から送られた音声データの大きさ（音量）情報に基づいて、抽出した画像のサイズを制御する制御機能と、を有している。
制御機能は、表示部３１０の表示範囲と表示すべき画像との重なり度合いに基づき、表示すべき画像の配置を制御する機能を含む。
さらに、制御機能は、表示すべき画像が複数ある場合は、表示すべき画像同士の重なりの度合いに基づき、表示すべき画像の配置を制御する機能を含む。

図２の表示画像制御部３０６は、受信した画像に関連付けられた天地情報に基づいて、受信した画像の天地を表示部３１０の画面（端末画面）の天地と一致するように補正する天地補正部３０６１、受信画像から顔のエリアを検出、抽出する顔エリア検出部３０６２、顔エリア検出部３０６２にて検出された顔エリアに基づいて使用するスクリーンを判別するスクリーン判別部３０６３、スクリーン判別部３０６３の判定に基づいて受信画像から該当するエリアを切り出す切り出し部３０６４、受信画像と同送信元から送られた受信音声の音量に応じてスクリーンのサイズを算出するサイズ算出部３０６５、サイズ算出部３０６５の算出結果に基づいて切り出し部３０６４にて切り出した画像を縮小・拡大する縮小・拡大処理部３０６６、表示位置を算出する表示位置算出部３０６７、および表示位置算出部３０６７にて得られた表示部３１０上の位置に縮小・拡大処理部３０６６にて得られた画像をマッピングするマッピング処理部３０６８を有する。

スクリーン判定部３０６３は、顔エリア検出部３０６２にて特定(顔)エリアを検出した場合、スクリーン形状としてこの顔(特定)エリアを包含し、顔エリア以外の部分を最小とする円形(楕円)を選択する。
スクリーン判定部３０６３は、顔エリア検出部３０６２にて、顔（特定）エリアが検出されなかった場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
また、スクリーン判定部３０６３は、顔エリア検出部３０６２にて、抽出された顔(特定)エリアの数が一定値以上の場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。
スクリーン判定部３０６３は、顔エリア検出部３０６２にて、抽出された顔（特定）エリアの数が一定値以下の場合、顔エリアの面積がもっとも大きい顔エリアに合わせて、スクリーンを選択する。
スクリーン判定部３０６３は、顔エリア検出部３０６２にて、抽出された顔エリアの面形が、推定される顔エリアの面積に対して一定値以下の場合、画像を風景と判定し、スクリーン形状として円形以外の形状、たとえば四角形を選択する。

また、スクリーン判定部３０６３は、受信画像と同送信元からの要求形状に応じて、スクリーンの形状を選択する。
また、スクリーン判定部３０６３は、自端末制御部３１１により与えられる操作部３０２からの要求情報(制御情報)に応じて、スクリーン形状を選択する機能を有している。

サイズ算出部３０６５は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、スクリーンのサイズを算出する。

マッピング処理部３０６８は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする。
マッピング処理部３０６８にて、同一画像上に形成されたスクリーンの群を包含する四角形のサイズが、画像出力部とし手の表示部３１０の画面サイズを越える場合、画像補正部３０９は、スクリーン群のサイズが、画面サイズ以下になるように規格化する機能を有している。
また、マッピング処理部３０６８によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、画像出力部としての表示部３１０の画面の縦、横のサイズを越える場合、画像補正部３０９は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、スクリーン群の位置を衝突による再配置処理を施す機能を有している。

次に、本実施形態に係る表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンについてより具体的に説明する。

基本的に、本実施形態におけるスクリーンには、他のスクリーンとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さいスクリーンが、許容エリアまで重なることを許容する重なり許容エリアを有する。
また、スクリーンは、表示部３１０の画面上を移動し、他のスクリーンと衝突した場合、衝突したスクリーンの大きさに応じた力を受け、移動方向を変えるように制御される。
また、スクリーンは、表示部３１０の画面上を移動し、画面枠に衝突した場合、自スクリーンの大きさに応じた力を受け、移動方向を変えるように制御される。

本実施形態の表示画像制御部３０６によりサイズおよび表示形態が制御されるスクリーンは、１つの画面上に複数のスクリーンを表示するマルチ・スクリーンとして表示される。
スクリーンは、各々の独立に画面上を移動し、他のスクリーンと重なり合う、もしくは画面枠と重なり合うと判断された場合、重なりを回避するように、移動方向、移動速度を変化させ、さらに、スクリーンは、各々の表示内容の送信元の状況、および受信状況に応じて、スクリーンのサイズを変化するように制御される。
各々のスクリーンは、スクリーンの代表位置、移動速度、実サイズ、要求サイズ、収縮速度を有し、スクリーン表示の情報元からの要求サイズの更新がない場合、収縮速度に応じて、先の要求サイズを収縮するように制御される。
さらに、各々のスクリーンの要求サイズの総和が、画面のサイズを越える場合、画面のサイズにて、要求サイズを規格化することにより、全スクリーンを画面内に納まるように制御される。

より具体的には、スクリーンは、各々代表位置座標（Ｐ）、移動速度（Ｖ）、実サイズ（Ｒ）、要求サイズ（ｒ）の情報を有する。
スクリーンは、微小時間ΔＴに、移動速度（Ｖ）にて、画面上を移動する。代表位置座標Ｐは次式で与えられる。

(数１)
Ｐ（Ｔ＋ΔＴ）＝Ｐ（Ｔ）＋Ｖ（Ｔ）

表示画像制御部３０６は、画面上は有限空間であり、スクリーンが、画面の境界線と重なると判断した場合、スクリーンの移動方向を変える。移動速度Ｖは次式で与えられる。

(数２)
Ｖ（Ｔ＋ΔＴ）＝Ｖ（Ｔ）×Ｈ（鏡面反射）

移動方向と画面の境界線の鉛直、画面内側方向のベクトルである。
表示画像表示部３０６は、他のスクリーンと重なると判断した場合、双方の移動速度（Ｖ）、および要求サイズ（ｒ）に応じて、移動速度を変化する。変化する移動速度は次式で与えられる。

（数３）
Ｖ0（Ｔ＋ΔＴ）＝Ｖ0（Ｔ）＋（Ｖ1（Ｔ）×ｒ1（Ｔ）＋Ｖ0（Ｔ）×ｒ0（Ｔ））／ｒ0（Ｔ）

スクリーンは、次式に従って微小時間ΔＴに、サイズを要求サイズに変更される。
(数４)
Ｒ（Ｔ＋ΔＴ）＝ｒ（Ｔ）

ただし、表示画像制御部３０６は、サイズ変更した際に、スクリーンが画面の境界線と重なった場合、重ならない最大サイズに変更する。
また、他のスクリーンと重なった場合、重ならない最大サイズに変更する。

本実施形態において、アプリケーションの起動、テレビ（ＴＶ）通話における接続、Webサイトなどからのダウンロードファイルの再生などの開始に伴い、スクリーンを新たに画面上に生成する場合、このスクリーンの要求サイズは、最大とする。
アプリケーション毎（ＴＶ通話、Webサイトなどからのダウンロードファイルの再生なども含む）に、スクリーンのサイズの収縮速度（Ｓ（＜１））を有する。情報の提供元、アプリケーション、ないしユーザからの要求サイズの更新がない場合、次式のように、その更新がない時間間隔（Ｄ）に応じて、スクリーンサイズを収縮する。

(数５)
Ｒ´（Ｔ）＝Ｒ（Ｔ）×Ｓ×Ｄ

たとえば、ＴＶ電話による通話先から、何の変化もない映像、音声が送信されてきている場合、５分で１／２のサイズになる程度の収縮速度（Ｓ）を設定する。一方、Webサイトから映画などのストリーミングを受信している場合、より長い時間、例えば、３０分で１／２のサイズになる程度の収縮速度を設定する。

情報の提供元、アプリケーションからの要求サイズの更新の例を以下に示す。
ＴＶ通話の場合、送信元の音声の音量に応じて、要求サイズを算出する。
テキスト・エディタに分類されるアプリケーションの場合、要求サイズは一定サイズとする。
音楽録画、再生に分類されるアプリケーションの場合、要求サイズは一定サイズ（最小）とする。
映画などの再生に分類されるアプリケーションの場合、要求サイズは一定サイズ（最大）とする。
スクリーン全ての要求サイズの総和が、画面サイズ（Ａ）を越える場合、次式に基づき、要求サイズを画面サイズで規格化する。

(数６)
ｒ（Ｔ）＝ｒ（Ｔ）×Ａ／Σ（ｒ（Ｔ））

複数のスクリーンの要求サイズが最大となり、かち合う場合、ΔＴを微小時間として、移動計算、収縮計算を繰り返すことにより、要求サイズに応じた画面上、最大サイズのスクリーンとなるとともに、前記サイズにて全スクリーンが画面上に収まるように、各々のスクリーンが衝突を繰り返し移動することにより、最適な配置に収まることとなる。
また、スクリーンに表示されている内容の重要性に応じて、スクリーン同士が重なりあい、スクリーンの表示内容を隠すことをなく、スクリーンのサイズの更新、および再配置を自動的に適応的に行う。
また、表示スクリーンそのもののサイズを大小変更していくため、何のスクリーンが拡大されたのか容易に判断することが可能となる。

次に、上述したようサイズおよび表示形態が制御される表示部３１０におけるスクリーン表示制御について、図４から図１５に関連付けて説明する。

本実施形態においては、前述したように、デッドゾーンをなくした円形（楕円形）ウィンドゥにて分割する。
図４に示すように、円形ウィンドウ１００は、図４に示すように、外円１０１の内側に少し狭い円形エリア１０２を有し、受信画像から顔エリアを抽出し、狭い円形エリア１０１(重なり境界線内)に収まるように、画像全体を拡大・縮小し、マッピングする。

本実施形態においては、図５に示すように、円形ウィンドウ１００の外円１０１と、重なり許容線の間(重なり許容エリア)には、同サイズ以下の円形ウィンドウが重なることが可能となっている。
重なり許容エリアは、表示部３１０の表示枠３１０１の外にはみ出すことが可能である。

また、図６に示すように、円形ウィンドウ１００のサイズがあらかじめ設定した一定サイズ以下の場合、そのウィンドウの当事者に対応するキャラクタや電話帳等で保存してある画像等を顔の代わりに表示してもよい。

図７に示すように、話者の音圧、および／または、話している時間に応じて、次式に従い円形ウィンドウの大きさを変動させてもよい。

(数７)
Ｖ（ｔ）＝ｆ（ｖ（ｔ））＋β・ｖ（ｔ−１）

ただし、Ｖ（ｔ）は時間ｔのウィンドウのサイズを、ｖ（ｔ）は時間ｔの音圧を、ｆ（＊）は音圧からサイズを算出する関数を、βは係数（＜１）をそれぞれ示している。

図８に示すように、円形ウィンドウ１００の外線１０１、または重なり許容線にウィンドウが衝突すると、その大きさに応じた力で押す。また、押され、移動する。
画面枠線３１０１に許容線が衝突すると、大きさに応じた力で押し返される。

図９および図１０に示すように、受信画像から、顔の特徴点１１１を検索し、輪郭抽出を行って顔を抽出する。そして、一度、顔エリアを抽出した場合、動きベクトルに応じて顔エリアの追従を行って、切り出しを行う。

図１１に示すように、切り出しエリアが、受信画像から、顔が出て行った場合(はみ出し場合)、動きベクトルから切り出し可能なエリアを推定し、円形スクリーン(ウィンドウ)を見えている部分だけにする。
推定された顔エリアのサイズに対する画面上に残っている顔画像の比が一定値以下になった場合、その顔を対象外とする。

図１２に示すように、顔エリアの面積が一定値以上の場合、受信画像を「人物画像」と判別する。顔エリアの面積が一定値以下の場合、受信画像を「非人物画像」と判別する。
「人物画像」と判別した場合、円形スクリーンとする。「非人物画像」と判別した場合、四角形スクリーンとする。「非人物画像」であっても、同送信元からの音圧に応じて、表示サイズを変動させる。

図１３に示すように、顔として判定されたエリアが複数ある場合であって、個数が一定値以下の場合、面積の大きいほうを優先し、個数が一定値以上の場合、非人物と同様、四角形スクリーンで表示する。

図１４に示すように、通信相手の端末が横になった場合、相手端末からの天地情報に基づいて、画像を回転し、顔エリアの切り出し、マッピングを行う。
図１５に示すように、自端末が横になった場合、自端末からの天地情報に基づいて、画像を回転し、顔エリアの切り出し、マッピングを行う。

各スクリーンの表示位置を算出し、受信した画像と、スクリーン情報（形状）、サイズ情報に基づいて、図１６に示すように、仮想の画面上にスクリーンを配置する。配置した全てのスクリーンを包含する四角形について、面積が画面の面積を越える場合、仮配置の面積が画面の面積と同等になるように、相似変換する。
相似変換した際の変換率は、次の時刻におけるサイズ補正に用いる。
また、仮配置の面積が画面の面積と同等以下の場合で、仮配置の縦、横の長さが、画面の縦、横の長さより大きい場合、圧縮して長さを同等にする。なお、配置された個々のスクリーンに外圧が加わった場合、各々のスクリーンは外圧の大きさに依存して移動するものとする。

以上説明したように、本実施形態によれば、表示画像制御部３０６の制御の下、送信元のアドレスに基づいて、各々のパケットを関連付けて処理をする。同送信元アドレスからの音声情報（VoIP）の音圧（音量）に基づいて、同送信元アドレスからの映像情報のパケットのマッピングするスクリーンサイズを算出し、また、同送信元アドレスからの制御情報のパケットに記載された天地情報、指示情報などに基づいて、同スクリーンの天地補正を行ったり、指示キャラクタを表示したりすることが可能であるので、ユーザが操作することなく、状況に応じて適応的に、最適にスクリーンのサイズ、位置を更新することができる。
その結果、複数端末の接続時であっても、通話中の相手を確認しやすく、また、画像(スクリーン)は重ならないように制御されることから、会話している全員の状態が一目で確認することができる。また、新たな参加人にも容易に対応することができる。

一般的なテレビ会議システムにおける多値点通信時のパーソナルコンピュータ（ＰＣ）等の端末の表示画面例を示す図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、エンコード装置を示すブロック図である。 本発明の実施形態に係る携帯通信端末の構成例を示す図であって、デコード装置を示すブロック図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウの説明図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウの表示枠との重なり、ウィンドウ同士の重なりに対応処理の説明図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウのサイズが一定サイズ以下の場合にキャラクタを表示する処理の説明図である。 スクリーン表示制御について説明するための図であって、音圧や会話時間に応じて円形ウィンドウの大きさ変える場合の説明図である。 スクリーン表示制御について説明するための図であって、円形ウィンドウが衝突する場合の処理の説明図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理の説明図である。 スクリーン表示制御について説明するための図であって、受信画像から顔エリアの抽出処理後の切り出し処理の説明図である。 スクリーン表示制御について説明するための図であって、切り出しエリアが受信画像からはみ出した場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、顔エリアの面積に応じた処理の説明図である。 スクリーン表示制御について説明するための図であって、顔判定されたエリアが複数ある場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、通信相手が横になった場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、自端末が横になった場合の対応処理の説明図である。 スクリーン表示制御について説明するための図であって、仮想画像上への仮配置処理の説明図である。

符号の説明

１０・・・携帯通信端末、２０・・・エンコード装置、２０１・・・音声入力部、２０２・・・画像入力部、２０３・・・操作部、２０４・・・音声符号化処理部、２０５・・・画像符号化処理部、２０６・・・端末制御部、２０７・・・記憶部、２０８・・・制御情報生成部、２０９・・・送信パケット生成部、２１０・・・ネットワークインタフェース（Ｉ／Ｆ）、３０・・・デコード装置、３０１・・・ネットワークインタフェース（Ｉ／Ｆ）、３０２・・・操作部、３０３・・・受信パケット解析部、３０４・・・音声復号処理部、３０５・・・映像復号処理部、３０６・・・表示画像制御部、３０７・・・音量修正部、３０８・・音声出力部、３０９・・・画像補正部、３１０・・・表示部（画像出力部）、３１１・・・自端末制御部、３０６１・・・天地補正部、３０６２・・・顔エリア検出部、３０６３・・・スクリーン判別部、３０６４・・・切り出し部、３０６５・・・サイズ算出部、３０６６・・・縮小・拡大処理部、３０６７・・・表示位置算出部、３０６８・・・マッピング処理部。

Claims (21)

1. 受信した画像、音声を再生する通信端末であって、
   前記画像から顔以外の部分を最小として顔のエリアを抽出する抽出手段と、
   前記音声の大きさに応じて、前記抽出した画像のサイズを変動するように制御する制御手段と、
   前記サイズを制御した画像を表示する表示手段と、
   を含むことを特徴とする通信端末。
2. 前記制御手段は、前記表示手段の表示範囲と前記画像との重なり度合いに基づき、前記画像の配置を制御する
   ことを特徴とする請求項１に記載の通信端末。
3. 前記表示する画像が複数ある場合であって、
   前記制御手段は、前記画像同士の重なりの度合いに基づき、前記画像の配置を制御する
   ことを特徴とする請求項１または２に記載の通信端末。
4. 前記制御手段は、前記抽出手段にて顔のエリアを抽出した場合、サイズが制御された表示すべき画像を含む画像表示エリアの形状として、当該顔のエリアを包含し、顔のエリア以外の部分を最小とする円形を選択する
   ことを特徴とする請求項１から３のいずれか一に記載の通信端末。
5. 前記制御手段は、前記抽出手段にて、顔のエリアが抽出されなかった場合、画像を風景と判定し、画像表示エリアの形状として、円形以外を選択する
   ことを特徴とする請求項１から４のいずれか一に記載の通信端末。
6. 前記制御手段は、前記抽出手段にて抽出された顔のエリアの数が一定値以上の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する
   ことを特徴とする請求項１から５のいずれか一に記載の通信端末。
7. 前記制御手段は、前記抽出手段にて抽出された顔のエリアの数が一定値以下の場合、顔のエリアの面積が最も大きい顔のエリアに合わせて、画像表示エリアの形状を選択する
   ことを特徴とする請求項１から６のいずれか一に記載の通信端末。
8. 前記制御手段は、前記抽出手段にて抽出された顔のエリアの形が、推定される顔のエリアの面積に対して一定値以下の場合、画像を風景と判定し、画像表示エリアの形状として円形以外を選択する
   ことを特徴とする請求項１から７のいずれか一に記載の通信端末。
9. 前記制御手段は、受信画像と同送信元からの要求形状に応じて、表示画像の形状を選択する
   ことを特徴とする請求項３から８のいずれか一に記載の通信端末。
10. 前記制御手段は、自端末の操作手段からの要求に応じて、画像表示エリアの形状を選択する
    ことを特徴とする請求項３から９のいずれか一に記載の通信端末。
11. 画像表示エリアには、他の表示エリアとの重なりを許容するエリアを有し、サイズが大きい方の上に、サイズの小さい表示エリアが、前記許容エリアまで重なることを許容する重なり許容エリアを有する
    ことを特徴とする請求項３から１０のいずれか一に記載の通信端末。
12. 画像表示エリアは、画面上を移動し、他の表示エリアと衝突した場合、衝突した表示エリアの大きさに応じて、移動方向を変える
    ことを特徴とする請求項３から１１のいずれか一に記載の通信端末。
13. 画像表示エリアは、画面上を移動し、画面枠に衝突した場合、自画像表示エリアの大きさに応じて、移動方向を変える
    ことを特徴とする請求項３から１２のいずれか一に記載の通信端末。
14. 前記制御手段は、同送信元から受信した現在の音声の音量、および過去に受信した音声の音量に基づいて、画像表示エリアのサイズを算出する
    ことを特徴とする請求項３から１３のいずれか一に記載の通信端末。
15. サイズが制御された画像をマッピングするマッピング手段を有し、
    前記マッピング手段は、マッピングするエリアが一定サイズ以下になった場合、受信画像の変わりに、送信元に関連付けられたキャラクタをマッピングする
    ことを特徴とする請求項３から１４のいずれか一に記載の通信端末。
16. 画像補正手段を有し、
    前記マッピング手段にて、同一画像上に形成された表示エリアの群を包含する四角形のサイズが、前記表示手段の画面サイズを越える場合、前記画像補正手段は、表示エリア群のサイズが、画面サイズ以下になるように規格化する
    ことを特徴とする請求項１５に記載の通信端末。
17. 画像補正手段を有し、
    前記マッピング手段によるマッピング処理にて、同一画像上に形成されたスクリーンの群を包含する四角形の縦、横のサイズが、前記表示手段の画面の縦、横のサイズを越える場合、前記画像補正手段は、スクリーン群の四角形の枠を、画面に合わせ圧縮し、表示エリア群の位置を衝突による再配置処理を施す
    ことを特徴とする請求項１５に記載の通信端末。
18. 受信した画像を関連付けられて受信した天地情報に基づいて、受信した画像の天地を端末画面の天地と一致するように補正する天地補正手段を有する
    ことを特徴とする請求項１から１７のいずれか一に記載の通信端末。
19. 前記制御手段は、送信元の指示情報に基づいて表示に関する制御を行い、
    前記送信元の指示情報は、指示された画像の送信元の識別する情報と、受信した画像上の位置を示す位置情報とを含む
    ことを特徴とする請求項１から１８のいずれか一に記載の通信端末。
20. 送信元は、画面上、指示した位置にスクリーンが存在する場合、対応する指示情報を生成し、同通信中の相手に対して送出する
    ことを特徴とする請求項１９に記載の通信端末。
21. 受信した画像、音声を再生する通信端末の表示方法であって、
    前記画像から顔以外の部分を最小として顔のエリアを抽出し、
    前記音声の大きさに応じて、前記抽出した画像のサイズを変動するように制御し、
    前記サイズを制御した画像を表示する
    ことを特徴とする通信端末の表示方法。

Images