JP2014007441A

JP2014007441A - 画面送信装置及び画面伝送システム

Info

Publication number: JP2014007441A
Application number: JP2012139578A
Authority: JP
Inventors: Naoyuki Tsushima; 尚之対馬; Shinji Akatsu; 慎二赤津
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-06-21
Filing date: 2012-06-21
Publication date: 2014-01-16

Abstract

【課題】ユーザの負担を軽減し、かつ、注目すべき情報を確実に伝送することのできる画面送信装置を得る。
【解決手段】アプリケーション部１１０は、表示する内容に基づいて画面中の注目領域を決定し、注目領域情報１１１と描画データ１１２とを出力する。送信画面抽出部１３０は、送信画面バッファ部１２０に保持されている画面データ１２１に対し、注目領域情報１１１に基づいて、注目領域の部分画面データ１３１を非注目領域の部分画面データ１３１に比べて優先的に送信する。
【選択図】図１

Description

この発明は、離れた場所に位置する端末に対し、アプリケーションソフトウェアが描画する画面データを伝送する際に、伝送対象とするデータを適切に選択することで伝送するデータ量を削減することを可能にするための、画面送信装置及び画面伝送システムに関するものである。

近年、ネットワークとそのネットワークに接続するための通信機能を持つ端末の普及に伴い、ネットワークに接続された端末間での遠隔操作等を目的とした画面共有が普及しつつある。この画面共有は、例えばＲＤＰ（Remote Desktop Protocol）を用いるリモートデスクトップ技術や、ＲＦＢ（Remote Frame Buffer）プロトコルを用いるＶＮＣ（Virtual Network Computing）等の技術によって実現されている。

画面に表示されている内容をすべて伝送すると多くのネットワーク帯域を必要とするため、これらの技術では、画面の内容が変化した領域のみを伝送するようにしている。さらに、帯域を削減するために、画面を構成する各ピクセルに割り当てるビット数を削減する、画面データを圧縮するといった方法も用いられている。

しかしながら、これらの技術は伝送するデータのみに注目したものであり内容に注目したものではない。つまり、画面に表示されている内容について、受信する側にとって重要度が低い領域も、重要度が高い領域も等しく伝送しているため、データ量の削減が完全ではないという問題があった。

そこで、このような問題を解決する一つの方法として、画面内で特に注目する領域を予め定めておき、画像を圧縮する際にその注目領域により多くの符号化情報量を割り当て、それ以外の領域には割り当てないことで伝送するデータ量を削減する画面伝送システムがあった（例えば、特許文献１参照）。

特開２００５−３４１０７６号公報

しかしながら、上記従来の画面伝送システムでは、注目する領域を予め定めておくことから、伝送する内容が変わった場合にはユーザが注目領域を変更する必要があった。例えば、画面を描画するアプリケーションソフトウェアが複数存在している場合、それぞれのアプリケーション毎に領域を設定する必要があり、このような場合は、特にユーザの負担が大きいという問題があった。

この発明は上記のような課題を解決するためになされたもので、ユーザの負担を軽減し、かつ、注目すべき情報を確実に伝送することのできる画面送信装置及び画面伝送システムを得ることを目的とする。

この発明に係る画面送信装置は、表示する内容に基づいて画面中の注目領域を決定し、画面データと決定した注目領域を示す注目領域情報とを出力するアプリケーション部と、注目領域情報に基づいて、画面データにおける注目領域の部分画面データを非注目領域の部分画面データに比べて優先的に送信する送信画面抽出部とを備えたものである。

この発明の画面送信装置は、アプリケーション部が表示する内容に基づいて画面中の注目領域を決定し、注目領域の部分画面データを優先的に送信するようにしたので、ユーザの負担を軽減し、かつ、注目すべき情報を確実に伝送することができる。

この発明の実施の形態１の画面伝送システムを示す構成図である。この発明の実施の形態１の画面伝送システムにおける注目領域情報を示す説明図である。この発明の実施の形態２の画面伝送システムにおける注目領域情報を示す説明図である。この発明の実施の形態３の画面伝送システムにおける注目領域情報を示す説明図である。この発明の実施の形態４の画面伝送システムにおける注目領域情報を示す説明図である。

実施の形態１．
図１は、この発明の実施の形態１による画面伝送システムを示す構成図である。
本実施の形態では、画面を送信する側のアプリケーションソフトウェアが、車などのナビゲーションを行うソフトウェアであり、かつ、ナビゲーションソフトウェア特有の経路情報を表示する領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とする経路情報の領域の表示される領域を素早く表示するデータ伝送システムに関するものである。

図１に示す画面伝送システムは、画面送信装置１００と画面受信装置２００とネットワーク３００からなる。画面送信装置１００は、画面データを生成し、その画面データをネットワーク３００を介して画面受信装置２００に送信する装置である。また、画面受信装置２００は、画面送信装置１００で生成された画面データを受信し、その画面データを表示する装置である。さらに、ネットワーク３００は、画面送信装置１００と画面受信装置２００とを通信接続するための通信回線である。

画面送信装置１００は、コンピュータを用いて構成され、アプリケーション部１１０、送信画面バッファ部１２０、送信画面抽出部１３０を備えている。アプリケーション部１１０は、アプリケーションソフトウェアとこれを実行するためのＣＰＵやメモリといったハードウェアから構成され、そのアプリケーションソフトウェアが描画する描画データ１１２を送信画面バッファ部１２０に書き込む。これにより、送信画面バッファ部１２０にはアプリケーション部１１０による全画面データが保持されることになる。さらに、アプリケーション部１１０は、そのアプリケーションが注目する領域の情報である注目領域情報１１１を送信画面抽出部１３０に渡すよう構成されている。この注目領域情報１１１は、１つあるいは複数個の領域情報で構成される。例えば、各領域情報は、画面内における矩形領域の左上、右上、右下、左下の４つの座標、あるいは、円形領域の中心座標と半径、あるいは、２値の数値で表現されたマスクパターン等である。

送信画面バッファ部１２０は、アプリケーション部１１０から送出された描画データ１１２を保持するための記憶部であり、保持した画面データ１２１を送信画面抽出部１３０に送出する。送信画面抽出部１３０は、注目領域情報１１１に基づいて、画面データ１２１における注目領域の部分画面データを非注目領域の部分画面データに比べて優先的に送信するよう構成され、その機能に対応したソフトウェアとこれを実行するハードウェアから実現されている。即ち、送信画面抽出部１３０は、送信画面バッファ部１２０からアプリケーションが描画した領域の画面データ１２１を受け取る。そして、アプリケーション部１１０からの注目領域情報１１１に基づいて、画面データ１２１を、１つあるいは複数個の部分画面データ１３１に分割する。ここでの分割は、注目領域とそれ以外に領域を分割する。そして、部分画面データ１３１をネットワーク３００を介して画像受信装置２００に送信する。この送信の際、注目領域が含まれる部分画面データ１３１を優先的に送信する。一方、注目領域が含まれない領域（非注目領域）は優先的に送信しない。具体的には、アプリケーション部１１０のアプリケーションが描画する度に注目領域が含まれる部分画面データ１３１は送信されるが、注目領域が含まれない部分画面データ１３１はある定められた頻度で送信されることなく、内部で廃棄されるよう構成されている。

次に画面受信装置２００について説明する。画像受信装置２００は、受信画面バッファ部２１０と表示部２２０から構成される。受信画面バッファ部２１０は、画像送信装置１００から送信された部分画面データ１３１を受信し、すでに受信済みの部分画面データ１３１にそれらを加えて重畳することで全画面データ２１１を再構成する。そして、再構成された全画面データ２１１を表示部２２０に渡す。表示部２２０では、受信画面バッファ部２１０から渡された全画面データ２１１をユーザに見える形で表示する。

次に、アプリケーション部１１０が生成する注目領域情報１１１の詳細について説明する。
図２に本実施の形態における、注目領域情報１１１を示す。本実施の形態では、画像送信装置１００におけるアプリケーションソフトウェアを、車などのナビゲーションを行うナビゲーションソフトウェアとしている。ナビゲーションソフトウェアは、ユーザ指示によって探索した経路結果を画面に表示する。この場合、ユーザが画面内において注目するのはこれから自車がどのようなルートを進むべきか地図上に示された経路情報が示された線である。そこで、図２の画面データ１２１中の破線枠で囲まれた部分に示すように、ナビゲーションソフトウェアによる経路の線が最大限含まれ、それ以外の領域が最小限含まれるような領域を注目領域とする注目領域情報１１１を生成する。そして、その領域の部分画面データ１３１は、送信画面抽出部１３０によって優先的に画像受信装置２００に送信される。

画面受信装置２００における受信画面バッファ部２１０では、注目領域の部分画面データ１３１と、非注目領域の部分画面データ１３１とが保持される。受信画面バッファ部２１０では、注目領域の部分画面データ１３１を受信する毎に、既に保持している非注目領域の部分画面データ１３１に注目領域の部分画面データ１３１を重畳し、全画面データ２１１として表示部２２０に送出する。表示部２２０ではこれを表示することで、注目領域の更新頻度が高い画面を表示することができる。

このように、実施の形態１では、ナビゲーションソフトウェア特有の経路情報を表示する領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とする経路情報の領域の表示される領域を素早く表示することができる。

以上説明したように、実施の形態１の画面送信装置によれば、表示する内容に基づいて画面中の注目領域を決定し、画面データと前記決定した注目領域を示す注目領域情報とを出力するアプリケーション部と、注目領域情報に基づいて、画面データにおける注目領域の部分画面データを非注目領域の部分画面データに比べて優先的に送信する送信画面抽出部とを備えたので、ユーザの負担を軽減し、かつ、注目すべき情報を確実に伝送することができる。

また、実施の形態１の画面送信装置によれば、注目領域の部分画面データの送信頻度を非注目領域の部分画面データの送信頻度よりも高くするようにしたので、注目すべき情報を確実に伝送することができる。

また、実施の形態１の画面送信装置によれば、注目領域情報は、１つまたは複数個の領域を表す座標情報であるようにしたので、注目すべき情報を確実に伝送することができる。

また、実施の形態１の画面送信装置によれば、アプリケーション部は、ナビゲーションを行う処理部であり、注目領域はナビゲーションの経路情報が表示されている領域であるようにしたので、ナビゲーションにおいてユーザが必要とする情報を的確に得ることができる。

また、実施の形態１の画面伝送システムによれば、実施の形態１の画面送信装置と、画面送信装置からの画面データを受信する画面受信装置とからなる画面伝送システムであって、画面受信装置は、注目領域の部分画面データと非注目領域の部分画面データとを蓄積すると共に、既に受信している部分画面データに対して、注目領域のデータを重畳し、全画面データを生成する受信画面バッファ部と、受信画面バッファ部からの全画面データを表示する表示部とを備えたので、ユーザの負担を軽減し、かつ、注目すべき情報を確実に伝送することができる画面伝送システムを実現することができる。

実施の形態２．
実施の形態２では、画面を送信する側のアプリケーションソフトウェアが、車などのナビゲーションを行うソフトウェアであり、かつ、ナビゲーションソフトウェア特有のＰＯＩ（Point Of Interest）アイコンを表示する領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とするＰＯＩアイコンを受信側で素早く表示するデータ伝送システムに関するものである。

実施の形態２の画面伝送システムにおける図面上の構成は図１に示した実施の形態１と同様であるため、図１を用いて説明する。
本実施の形態の画面送信装置１００におけるアプリケーション部１１０は、車などのナビゲーションを行うナビゲーションソフトウェアを用いて構成されている。また、実施の形態２における注目領域情報１１１は、注目領域としてＰＯＩアイコンの領域を示すデータである。これ以外の構成は実施の形態１と同様であるため、ここでの説明は省略する。以下、実施の形態１とは異なる点であるアプリケーション部１１０が生成する注目領域情報１１１について説明する。

図３に本実施の形態における注目領域情報１１１を示す。
ナビゲーションソフトウェアは、ユーザが興味のある施設や場所を地図上にアイコンの画像を表示する。このことを一般的にＰＯＩと呼ぶ。この場合、ユーザが画面内において注目するのはその表示されたアイコンそのものである。そこで、図３に示すように、ＰＯＩアイコンが最大限含まれ、それ以外の領域が最小限含まれるような領域を注目領域情報１１１として生成する（画面データ１２１における破線枠部分参照）。そして、その領域の部分画面データ１３１は、送信画面抽出部１３０によって優先的に画像受信装置２００に送信される。画面受信装置２００側の動作は実施の形態１と同様であるため、ここでの説明は省略する。

以上説明したように、実施の形態２の画面伝送システムによれば、ナビゲーションソフトウェア特有のＰＯＩアイコンを表示する領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とするＰＯＩアイコンを受信側で素早く表示することができる。

実施の形態３．
実施の形態３では、画面を送信する側のアプリケーションソフトウェアが、車などのナビゲーションを行うソフトウェアであり、かつ、ナビゲーションソフトウェア特有のユーザへの情報提示ウィンドウを表示する領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とする情報提示ウィンドウを受信側で素早く表示するデータ伝送システムに関するものである。

実施の形態３の画面伝送システムにおける図面上の構成は図１に示した実施の形態１と同様であるため、図１を用いて説明する。
本実施の形態の画面送信装置１００におけるアプリケーション部１１０は、車などのナビゲーションを行うナビゲーションソフトウェアを用いて構成されている。また、実施の形態３における注目領域情報１１１は、ユーザへの情報提示ウィンドウの領域を示すデータである。これ以外の構成は実施の形態１と同様であるため、ここでの説明は省略する。以下、実施の形態１とは異なる点であるアプリケーション部１１０が生成する注目領域情報１１１について説明する。

図４に本実施の形態における注目領域情報１１１を示す。本実施の形態では、画像送信装置１００におけるアプリケーション部１１０のナビゲーションソフトウェアは、ユーザへの情報提示ウィンドウを表示する。この情報提示ウィンドウとは、図４の破線枠内に示すように、例えば経路案内中に、次に曲がるべき交差点までの距離や方向といった情報を提示するウィンドウである。この場合、ユーザが画面内において注目するのはユーザへの情報提示ウィンドウである。そこで、図４に示すように、ユーザへの情報提示ウィンドウが最大限含まれ、それ以外の領域が最小限含まれるような領域（画面データ１２１中の破線枠で囲まれた部分）の情報を注目領域情報１１１として生成する。そして、その領域の部分画面データ１３１は、送信画面抽出部１３０によって優先的に画像受信装置２００に送信される。画面受信装置２００側の動作は実施の形態１と同様であるため、ここでの説明は省略する。

以上説明したように、実施の形態３の画面伝送システムによれば、ナビゲーションソフトウェア特有のユーザへの情報提示ウィンドウを表示する領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とするユーザへの情報提示ウィンドウを受信側で素早く表示することができる。

実施の形態４．
実施の形態４では、画面を送信する側のアプリケーションソフトウェアが、動画像あるいは静止画像を表示するソフトウェアであった場合に、そこに表示される人物の顔の領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とする人物の顔の領域を受信側で素早く表示するデータ伝送システムに関するものである。

実施の形態４の画面伝送システムにおける図面上の構成は図１に示した実施の形態１と同様であるため、図１を用いて説明する。
本実施の形態の画面送信装置１００におけるアプリケーション部１１０は、動画像あるいは静止画像を表示するソフトウェアを用いて構成されている。また、実施の形態４における注目領域情報１１１は、注目領域として人物の顔が表示されている領域を示すデータである。これ以外の構成は実施の形態１と同様であるため、ここでの説明は省略する。以下、実施の形態１とは異なる点であるアプリケーション部１１０が生成する注目領域情報１１１について説明する。

図５に本実施の形態における注目領域情報１１１を示す。
本実施の形態のアプリケーション部１１０におけるソフトウェアは、様々な動画や静止画を表示するが、その中には例えば人物が写っているものも存在する。この場合、ユーザが画面内において注目するのはその人物の顔の領域である。そこで、図５の画面データ１２１における破線枠内に示すように、人物の顔が最大限含まれ、それ以外の領域が最小限含まれるような領域を注目領域情報１１１として生成する（画面中、破線枠部分参照）。そして、その領域の画面データは、送信画面抽出部１３０によって優先的に画像受信装置２００に送信される。画面受信装置２００側の動作は実施の形態１と同様であるため、ここでの説明は省略する。

以上説明したように、実施の形態４の画面伝送システムによれば、動画像あるいは静止画像を表示するソフトウェアにおいて、人物の顔の領域をユーザの操作無しに自動的に決定し、優先的に伝送することで、ユーザが必要とする人物の顔を受信側で素早く表示することができる。

なお、上記実施の形態４では人物の顔を注目領域としたが、これは人物の身体全体などであっても同様に適用可能である。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１００画面送信装置、１１０アプリケーション部、１１１注目領域情報、１１２描画データ、１２０送信画面バッファ部、１２１画面データ、１３０送信画面抽出部、１３１部分画面データ、２００画面受信装置、２１０受信画面バッファ部、２１１全画面データ、２２０表示部。

Claims

表示する内容に基づいて画面中の注目領域を決定し、画面データと前記決定した注目領域を示す注目領域情報とを出力するアプリケーション部と、
前記注目領域情報に基づいて、前記画面データにおける前記注目領域の部分画面データを非注目領域の部分画面データに比べて優先的に送信する送信画面抽出部とを備えた画面送信装置。
注目領域の部分画面データの送信頻度を非注目領域の部分画面データの送信頻度よりも高くすることを特徴とする請求項１記載の画面送信装置。
注目領域情報は、１つまたは複数個の領域を表す座標情報であることを特徴とする請求項１または請求項２記載の画面送信装置。
アプリケーション部は、ナビゲーションを行う処理部であり、注目領域は当該ナビゲーションの経路情報が表示されている領域であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画面送信装置。
アプリケーション部は、ナビゲーションを行う処理部であり、注目領域は当該ナビゲーションにおけるＰＯＩアイコンが表示されている領域であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画面送信装置。
アプリケーション部は、ナビゲーションを行う処理部であり、注目領域は当該ナビゲーションにおける情報提示ウィンドウが表示されている領域であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画面送信装置。
注目領域は人物の顔が表示されている領域であることを特徴とする請求項１から請求項３のうちのいずれか１項記載の画面送信装置。
請求項１から請求項７のうちのいずれか１項記載の画面送信装置と、当該画面送信装置からの画面データを受信する画面受信装置とからなる画面伝送システムであって、
前記画面受信装置は、
注目領域の部分画面データと非注目領域の部分画面データとを蓄積すると共に、既に受信している部分画面データに対して、前記注目領域のデータを重畳し、全画面データを生成する受信画面バッファ部と、
前記受信画面バッファ部からの全画面データを表示する表示部とを備えたことを特徴とする画面伝送システム。