JP4634499B2 - 画像表示方法及び画像表示プログラム - Google Patents

Description

本発明は、画像表示方法及び画像表示プログラムに関する。

コンピュータの処理性能が格段に進歩したことに伴い、その利用はより広範囲になりつつある。例えば、個人ユーザが複数のコンピュータを所有し、各コンピュータ毎に異なる作業環境でコンピュータを利用する機会も増えている。この場合は、通常、キーボード、ディスプレイ、マウスなどの入出力装置を、切替器を介して複数のコンピュータに接続し、省スペース化と低コスト化を図っている。

このような切替器はＫＶＭ（K：Keyboard、Ｖ：Video、Ｍ：Mouse）スイッチと一般に呼ばれている。切替器は、入出力装置と複数のコンピュータとの間に接続され、入出力装置と複数のコンピュータのいずれか１つのみとの間の接続をアクティブにするものである。ユーザは切替器を用いて、複数のコンピュータの中から入出力装置に接続すべきコンピュータを選択して利用することができる。

しかし、このような従来の切替器では、切替器に接続されたマウス、キーボードから操作を行うことが必要であり、その場にいなければ操作できないという問題があった。このような問題点を解決する切替器として、遠隔操作可能な切替器が提案されている。

遠隔操作可能な切替器によれば、切替器に接続されたマウス、キーボードから操作を行う場合のみならず、ネットワークを介して遠隔地に設置されたＰＣからも切替器に接続されたコンピュータにアクセスすることができる。このような従来の切替器について特許文献１記載の技術が提案されている。特許文献１記載の切替器によれば、複数のコンピュータを、入力装置を備えた他のコンピュータから遠隔的に切り替えることができるというものである。

また、切替器に関する画面表示技術に関し、特許文献２記載の技術が提案されている。特許文献２記載の中央監視制御システムによれば、ホストコンピュータとネットワークで接続したパーソナルコンピュータをリモート端末とし、コンピュータのディスプレイへの画面表示情報はＸウインドウシステムにより伝送し、リモート端末の操作はマウスで行い、画面切り替えはキーボードによりホストコンピュータに通知することにより、コンピュータのディスプレイにはホストコンピュータの監視制御用ディスプレイと同等の画面表示と操作機能を得ることができるというものである。

また、切替器に関するものではないが、カーソルの制御に関する技術として特許文献３記載の技術が提案されている。特許文献３記載のポインティングカーソル予測移動装置は、マウスカーソルの移動経過を検出して、最終目的物を予測し、目的物のアイコンにカーソルをスキップすることで、カーソルの移動時間を減少させるというものである。
特開２００１−３４４１８９号公報 特開平９−６９０１０号公報 特開平３−４８９２２号公報

しかしながら、従来の切替器では、画像出力を走査線毎にアナログからデジタルにＡ／Ｄ変換し、ネットワークを介して接続された遠隔操作コンピュータへ送信するようにしていたため、送信する画面が広くなるにつれＡ／Ｄ変換に時間もかかってしまい、フレームレートが低下してしまっていた。このフレームレートは、変換処理速度に依存する。マウスカーソルのようなポインティングのための表示は、フレームレートが低下してしまうと、ポインティング精度が落ちてしまうという問題があった。

また、従来の切替器では、選択しているコンピュータから入力される画像データを、走査周波数Ｆの１／ｎで取得し（１≦ｎ＜走査周波数）、取得した画像と、前回取得画像とを比較し、比較の結果、相違点を含むラインあるいはブロックを抽出し、この抽出したラインあるいはブロックを遠隔操作コンピュータへ送信するものも提案されているが、この方法の場合、画面全体に対して相違点のチェックを行うため、画面サイズが大きくなるに従い、フレームレートが低下してしまう。また、画面変化が大きい場合にも、フレームレートが低下してしまう。このため、マウスカーソル表示更新頻度も、フレームレートと共に低下してしまい、ポインティングに支障をきたすという問題がある。

特許文献３記載のポインティングカーソル予測移動装置では、カーソルの移動時間を早めることができるものの、この装置では、フレームレートの低下に基づく、ポインティング精度の低下を解消することはできない。

そこで、本発明は、これらの問題を解決するためになされたもので、画面のフレームレートが低い場合でも、ポインティング精度を確保できる画像表示方法及び画像表示プログラムを提供することを目的とする。

請求項１記載の画像表示方法は、所定のネットワークに接続された切替器から送信される画像を表示するコンピュータの画像表示方法において、前記コンピュータに接続されたポインティングデバイスが操作されたときに、当該ポインティングデバイスのカーソルの位置情報を取得する第１の段階と、前記第１の段階により取得したカーソルの位置情報を前記切替器に送信する第２の段階と、前記切替器から取得した、前記カーソルの移動前の第１の画像、及び前記切替器から取得した、前記第２の段階により送信したカーソルの位置情報に応じた第２の画像を前記コンピュータに接続された表示手段に現在表示されている画像に合成して、合成された画像を前記表示手段に表示する第３の段階とを有することを特徴とする。
請求項２記載の画像表示方法は、請求項１の画像表示方法において、前記第１の画像は移動前のカーソルを含むブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロックの画像である、又は前記第１の画像は移動前のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であることを特徴とする。
請求項３記載の画像表示方法は、請求項１又は２に記載の画像表示方法において、前記第１の画像及び前記第２の画像は、前記切替器から前記コンピュータに同時に送信されることを特徴とする。

請求項１記載の発明によれば、コンピュータに接続されたポインティングデバイスが操作されたときに、当該ポインティングデバイスのカーソルの位置情報を取得し、取得したカーソルの位置情報を切替器に送信し、切替器から取得した、カーソルの移動前の第１の画像、及び切替器から取得した、カーソルの位置情報に応じた第２の画像をコンピュータに接続された表示手段に現在表示されている画像に合成して、合成された画像を表示手段に表示するようにしたので、全体画面のフレームレートが低い場合でも、ポインティング精度を確保することができる。

また、請求項４記載の画像表示プログラムは、所定のネットワークに接続された切替器から送信される画像を表示するためにコンピュータを、前記コンピュータに接続されたポインティングデバイスが操作されたときに、当該ポインティングデバイスのカーソルの位置情報を取得する第１の手段、前記第１の手段により取得した前記カーソルの位置情報を前記切替器に送信する第２の手段、及び前記切替器から取得した、前記カーソルの移動前の第１の画像、及び前記切替器から取得した、前記第２の手段により送信したカーソルの位置情報に応じた第２の画像を前記コンピュータに接続された表示手段に現在表示されている画像に合成して、合成された画像を前記表示手段に出力する第３の手段として機能させる。
請求項５記載の画像表示プログラムは、請求項４の画像表示プログラムにおいて、前記第１の画像は移動前のカーソルを含むブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロックの画像である、又は前記第１の画像は移動前のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であることを特徴とする。
請求項６記載の画像表示プログラムは、請求項４又は５に記載の画像表示プログラムにおいて、前記第１の画像及び前記第２の画像は、前記切替器から前記コンピュータに同時に送信されることを特徴とする。

請求項４記載の発明によれば、コンピュータに接続されたポインティングデバイスが操作されたときに、当該ポインティングデバイスのカーソルの位置情報を取得し、取得したカーソルの位置情報を切替器に送信し、切替器から取得した、カーソルの移動前の第１の画像、及び切替器から取得した、カーソルの位置情報に応じた第２の画像をコンピュータに接続された表示手段に現在表示されている画像に合成して、合成された画像を表示手段に表示するようにしたので、全体画面のフレームレートが低い場合でも、ポインティング精度を確保することができる。

以上説明したように、本発明によれば、画面のフレームレートが低い場合でも、ポインティング精度を確保できる画像表示方法及び画像表示プログラムを提供することができる。

以下、本発明を適用した一実施形態について説明する。図１は本実施の形態に係る切替器を説明するためのブロック図である。図１に示すように、切替器１０には、複数のサーバＳ１〜サーバＳｎ、近接箇所からサーバＳ１〜Ｓｎを操作するためのマウス２０、キーボード２１、ディスプレイ２２が接続されている。

また、切替器１０には、各サーバＳ１〜Ｓｎを遠隔地から操作する遠隔操作コンピュータ３１、３２がネットワーク３０を介して接続されている。本実施の形態では、ネットワーク３０は、バス型のＬＡＮ（ローカルエリアネットワーク）であるＥｔｈｅｒｎｅｔ（登録商標）を用いて説明する。

切替器１０は、画像処理部１１と、ネットワーク変換回路１３と、パケットフィルタリング回路１４と、コントローラ１５と、アナログＳＷ２と、キーボード・マウス（ＫＢＭＳ）制御マイコン１６と、ＫＢＭＳエミュレーションコントローラＫＣ１〜ＫＣｎを有する。なお、切替器１０は情報処理装置及び画像送信装置に相当する。

画像処理部１１は、サーバＳ１〜サーバＳｎからのアナログＲＧＢ信号をネットワーク３０上の遠隔操作コンピュータ３１、３２に送るために所定の処理を行うためのものである。画像処理部１１は、コントローラ１１０と、Ａ／Ｄ変換回路１１１と、メモリ１１２と、画像圧縮回路１１３と、アナログＳＷ１とを有する。

アナログＳＷ１は、遠隔操作コンピュータ３１、３２がアクセスするサーバＳ１〜Ｓｎを切り替えるものである。アナログＳＷ１は、切替器１０に設けられたスイッチ（図示せず）を操作することによって切り替えることができる。このアナログＳＷ１は、遠隔操作コンピュータ３１、３２からも接続先を切り替えることができるようになっている。

コントローラ１１０は、画像処理部１１全体を制御する。コントローラ１１０は、所定のプログラムに基づき、遠隔操作コンピュータ３１、３２からカーソルの位置情報を取得する取得手段、取得手段により取得したカーソルの位置情報に基づいて、サーバＳ１〜Ｓｎ（コンピュータ）から得られる画像を記憶するメモリ１１２（画像記憶手段）からカーソル周辺画像を抽出する画像抽出手段、画像抽出手段により抽出したカーソル周辺画像を遠隔操作コンピュータ３１、３２に送信するカーソル画像送信手段として機能する。

このとき、コントローラ１１０は、カーソル周辺画像を抽出する際に、サーバＳ１〜Ｓｎから取得した第１の画像と該第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、前記第１の画像に対する前記第２の画像の変化分を含む所定の領域だけを抽出するようにしてもよい。

また、コントローラ１１０は、所定のプログラムに基づき、遠隔操作コンピュータ３１、３２に全体画像を送信する画像送信手段として機能する。この画像送信手段は、遠隔操作コンピュータ３１、３２からカーソルの位置情報を取得した際に、遠隔操作コンピュータ３１、３２への全体画像の送信を停止し、カーソル画像送信手段によりカーソル周辺画像の送信した後に、遠隔操作コンピュータ３１、３２への全体画像の送信を再開する。

また、コントローラ１１０は、所定のプログラムに基づき、遠隔操作コンピュータ３１、３２に送信する全体画像の画像処理を行うように画像処理手段に指示を出す。この画像処理手段は、遠隔操作コンピュータ３１、３２からカーソルの位置情報を取得した際に、全体画像の画像処理を停止し、カーソル画像送信手段によりカーソル周辺画像を送信した後に、全体画像の画像処理を再開する。この画像処理は、例えば、Ａ／Ｄ変換回路１１１が行うＡ／Ｄ変換である。

また、コントローラ１１０は、所定のプログラムに基づき、全体画像を送信する際に、サーバＳ１〜Ｓｎから取得した第１の画像と該第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、第１の画像に対する第２の画像の変化分を含む所定の領域を遠隔操作コンピュータに送信する。

また、上記画像抽出手段は、所定間隔毎にカーソル周辺画像を抽出するようにしてもよい。この所定間隔は、遠隔操作コンピュータ３１、３２からの設定値に基づいて、変更できるようにしてもよい。また、所定間隔は、ネットワークの混雑状況に応じて、変更できるようにいてもよい。

Ａ／Ｄ変換回路１１１は、サーバＳ１〜サーバＳｎからのアナログＲＧＢ信号をネットワーク上に送るためにデジタル信号に変換する。メモリ１１２は、サーバ側からの画像データを記憶する。このメモリ１１２が画像記憶手段に相当する。

画像圧縮回路１１３は、所定の圧縮方式又は圧縮率に基づいて、遠隔操作コンピュータに送信する画像を圧縮する。画像圧縮回路１１３では、ネットワーク３０の混雑状況に応じて、圧縮方式又は圧縮率を変更するようにしてもよい。この画像圧縮回路１１３が画像圧縮手段に相当する。図１に示す例では、ハードウエアにより画像圧縮手段を実現しているが、ソフトウエアによっても画像圧縮手段を実現できる。ソフトウエアにより実現する場合は、所定のプログラムをロードして、コントローラ１１０により実行される。

上記所定の圧縮方式又は圧縮率は、コントローラ１５の制御のもと、ネットワークの混雑状況に応じて適宜変更することができる。また、遠隔操作コンピュータ３１、３２で所定操作を行うことにより、画像圧縮回路１１３での圧縮方式又は圧縮率を変更することもできる。圧縮方式としては、例えば、ＪＰＥＧ、ＭＰＥＧなどの方式がある。

図１では、画像処理部１１を一つで構成する例にとって説明しているが、この画像処理部１１を複数設けるようにしてもよい。画像処理部１１を複数設けることにより、同時に複数の遠隔操作コンピュータ３１、３２等からサーバＳ１〜Ｓｎにアクセスすることができる。なお、画像処理部１１はボードによって構成することができ、このボード数を増やすことによりサーバＳ１〜Ｓｎにアクセスできるユーザ数を増やすことができる。

ネットワーク変換回路１３は、切替器１０をＬＡＮに接続するためのものである。このネットワーク変換回路１３は、画像処理部１１からのデジタル信号や、キーボード・マウス制御マイコン１６からのデジタル信号をパケットに変換してネットワーク上に出力する。パケットフィルタリング回路１４は、ネットワーク変換回路１３が受信したパケットデータ量を加算する。

コントローラ１５は、切替器１０全体を制御する。このコントローラ１５は、遠隔操作コンピュータ３１、３２から受け取ったマウスの絶対座標値をＫＢＭＳ制御マイコン１６に送るとともに、画像処理部１１にも送る。コントローラ１５は、画像圧縮回路１１３での圧縮方式又は圧縮率を制御する。

キーボード・マウス制御マイコン１６は、マウス２０、キーボード２１、遠隔操作コンピュータ３１、３２に接続されたマウス、キーボードをサーバＳ１〜サーバＳｎごとに制御する。

次に、遠隔操作コンピュータについて説明する。この遠隔操作コンピュータ３１、３２は情報処理装置に相当する。図２は、遠隔操作コンピュータ３２の構成を示すブロック図である。図２に示すように、遠隔操作コンピュータ３２は、中央処理装置（ＣＰＵ）３３、ＣＰＵバス３４、主記憶装置３５、システムバス３６、バスブリッジ３７、拡張スロット３８、ディスプレイボード３９、キーボードコントローラ４０、マウスＩ／Ｆ４１、ネットワーク制御部４２とを有する。

ＣＰＵ３３は、情報処理装置としての制御を司るプロセッサであり、ＣＰＵバス３４を介して主記憶装置３５と接続されている。また、バスブリッジ３７は、ＣＰＵバス３４とシステムバス３６とを接続するためのブリッジである。拡張スロット３８は、遠隔操作コンピュータ３２に対して種々の周辺装置を接続するためのスロットであり、この例では、ディスプレイボード３９、キーボードコントローラ４０、マウスＩ／Ｆ４１、ネットワーク制御部４２を接続している。

また、上記ディスプレイボード３９、キーボードコントローラ４０、マウスＩ／Ｆ４１には、それぞれケーブル４３〜４５を介して、表示デバイス４６、キーボード４７、ポインティングデバイス（マウス）４８が接続されている。図３は、図２におけるディスプレイボード３９および表示デバイス４６の詳細を示す構成図である。ディスプレイボード３９は、ディスプレイコントローラ３９ａとグラフィックメモリ３９ｂを備えている。

ディスプレイコントローラ３９ａは、システムバス３６を介してＣＰＵ３３より与えられたコマンドに基づきグラフィックメモリ３９ｂへの表示データの書込、読出を行い、表示デバイス４６への表示データを生成する機能を備えている。

このように構成された遠隔操作コンピュータ３２と表示デバイス４６において、その表示動作は次のように行われる。即ち、ＣＰＵ３３からの制御コマンドは、ＣＰＵバス３４、バスブリッジ３７、システムバス３６、拡張スロット３８の経路でディスプレイボード３９のディスプレイコントローラ３９ａに書き込まれ、更に、ディスプレイコントローラ３９ａによって制御されるグラフィックメモリ３９ｂに書き込まれる。

また、ディスプレイコントローラ３９ａは、グラフィックメモリ３９ｂの内容を参照し、その内容を表示デバイス４６に表示可能なＩ／Ｆ信号に変換する。このＩ／Ｆ信号はケーブル４３を介して表示デバイス４６に転送され、表示が行われる。

ＣＰＵ３３は、所定のプログラムに基づき、カーソルの位置情報を取得する第１の手段、第１の手段により取得したカーソルの位置情報を切替器１０（情報処理装置）に送信する第２の手段、切替器１０から取得した第１の画像に、切替器１０から取得した第２の手段により送信したカーソルの位置情報に応じた第２の画像を合成するように、ディスプレイコントローラ３９ａに指示を出す。ディスプレイコントローラ３９ａは合成した画像を表示デバイス４６に出力する。

図４は、遠隔操作コントローラ３２におけるソフトウェアとハードウェアの階層構造を示す説明図である。図４において、２０１はアプリケーション、２０２はＯＳ（オペレーティングシステム）、２０３はディスプレイドライバ、２０４はキーボードドライバ、２０５はポインティングドライバであり、これらはソフトウェア階層である。

このような階層構造において、アプリケーション２０１は、ＯＳ２０２が規定するＡＰＩ（Ａｐｐｒｉｃａｔｉｏｎ Ｐｒｏｇｒａｍｍｉｎｇ Ｉｎｔｅｒｆａｃｅ）によって、ＯＳ２０２に通知する。そして、ＯＳ２０２は、ＯＳ２０２で規定されたＧＤＩ（Ｇｒａｐｈｉｃｓ Ｄｅｖｉｃｅ Ｉｎｔｅｒｆａｃｅ）によってディスプレイドライバ２０３に通知する。ディスプレイドライバ２０３は、上述した経路によって、ディスプレイボード７を直接制御する。

このようなプロセスによってアプリケーション２０１の要求した表示内容が表示デバイス４６で表示される。また、キーボード４７からの入力は、ケーブル４４を通り、キーボードコントローラ４０によってキーボードドライバ２０４に通知される。そして、その内容はキーボードドライバ２０４によってＯＳ２０２に格納され、この格納された内容はアプリケーション２０１からのキー入力要求ＡＰＩによって読み出され、アプリケーション２０１に渡される。

ポインティングデバイス（マウス）４８からの入力は、ケーブル４５を通り、マウスＩ／Ｆ４１によってポインティングデバイスドライバ２０５に通知される。ポインティングデバイスドライバ２０５は、その内容をカーソル座標、ボタン押下等の情報に変換し、ＯＳ２０２に通知する。ＯＳ２０２はその情報をアプリケーション２０１に通知し、アプリケーション２０１はＯＳ２０２からの通知内容によって、ポインティングデバイス４８の状態を判断し、対応した処理を行う。

所定の遠隔操作アプリケーションは、ＯＳ２０２から取得したマウスの相対座標値と、切替器１０から事前に取得しターゲットコンピュータの解像度に基づいて、取得したマウスの相対座標値から絶対座標を算出する。遠隔操作アプリケーションは、絶対座標に変換されたマウスデータを切替器１０に送信する。

次に、切替器１０の画像処理部について説明する。図５は、画像処理部１１を説明するための図である。画像取得ステップＳ１１において、切替器１０の画像処理部１１は、選択されているサーバＳ１〜Ｓｎから入力される画像データを、走査周波数Ｆの１／ｎで取得する。ここで、ｎは１≦ｎ＜走査周波数とする。

Ａ／Ｄ変換ステップＳ１２において、Ａ／Ｄ変換回路１１１は、サーバＳ1〜Ｓｎから取得した全体画像データを、走査線毎にアナログからデジタルに変換する。フレーム間引ステップＳ１３において、コントローラ１１０は、フレーム間引きを行う。サーバＳ１〜Ｓｎから入力される画像は、６０Ｈｚ程度であり、後述する変化領域抽出ステップでの変化領域抽出は、１／６０秒以内に終わらないこともあるため、フレーム間引きを行う必要がある。フレーム間引きが行われた画面データは、メモリ１１２に保存される。

変化領域抽出ステップＳ１４において、コントローラ１１０は、サーバＳ１〜Ｓｎから得た第１の画像と第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、変化がある場合に、第１の画像に対する第２の画像の変化分を含む所定の領域を抽出する。

ネットワーク送信ステップＳ１５において、コントローラ１１０は、第１の画面に対する第２の画面の変化分を含む所定領域をネットワーク変換回路１３を介して、遠隔操作コンピュータ３２に送信する。なお、コントローラ１１０から出力される画像は必要に応じて画像圧縮回路１１３により圧縮される。

次に、画像処理部１１の他の動作例について説明する。図６は、画像処理部１１０が行う他の動作例であって、マウスの座標の入力をトリガとして、マウスカーソル周辺画像を送信する処理フローを示す図である。画像取得ステップＳ２１において、画像処理部１１は、選択されているサーバＳ１〜Ｓｎからの画像データを走査周波数Ｆの１／ｎで取得する。

Ａ／Ｄ変換ステップＳ２２において、Ａ／Ｄ変換回路１１１は、取得した全体画像データを、アナログからデジタルに変換する。なお、Ａ／Ｄ変換回路１１１は、遠隔操作コンピュータ３２からのマウス座標の入力をトリガとして、全体画像データのＡ／Ｄ変換を一時停止し、マウスの絶対座標より算出されるマウスカーソル周辺画像を抽出した後、全体画像のＡ／Ｄ変換を再開するようにしてもよい。フレーム間引ステップＳ２３において、デジタルに変換された画像に対して１／ｎのフレーム間引きを行う。

変化領域抽出ステップＳ２４において、コントローラ１１０は、サーバＳ１〜Ｓｎから得た第１の画像と第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、変化がある場合に、第１の画像に対する第２の画像の変化分を含む所定の領域を抽出する。コントローラ１１０は、抽出した領域をネットワーク送信ステップＳ２８において、遠隔操作コンピュータへ送信する。

また、コントローラ１１０は、変化領域抽出ステップＳ２４において、遠隔操作コンピュータ３２からマウスの絶対座標の取得すると、フレームデータ取得ステップＳ２５に進む。フレームデータ取得ステップＳ２５において、コントローラ１１０は、最新のフレームデータをメモリ１１２から取得する。

次に、マウスカーソル領域抽出ステップＳ２６において、コントローラ１１０は、マウスカーソル周辺画像を抽出する。つまり、コントローラ１１０は、遠隔操作コンピュータから取得したマウスの絶対座標に基づいて、サーバＳ１〜Ｓｎから出力される画像上のマウスカーソル位置を算出する。コントローラ１１０は、算出したマウスカーソル位置に基づき、メモリ１１２に格納された画像から該当ブロック及び近傍ブロックの画像データを抽出する。これにより、マウスカーソル周辺画像が抽出される。

この時、コントローラ１１０は、前回算出したマウスカーソル位置をメモリ１１２に保持しておき、前回算出したマウスカーソル位置に対応する該当ブロック及び近傍ブロックの画像データも抽出する。ここで、前回算出したマウスカーソル位置に対応する該当ブロック及び近傍ブロックも算出するのは、表示する際に移動もとの位置のマウスカーソルを消すためである。

また、コントローラ１１０は、マウスカーソル領域抽出ステップＳ２６において、算出したマウスカーソル位置に基づき、メモリ１１２に格納された画像から該当ブロック及び近傍ブロックの画像データを抽出する際に、メモリ１１２に格納されたサーバＳ１〜Ｓｎから取得した第１の画像と該第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、前記第１の画像に対する前記第２の画像の変化分を含む所定の領域だけを抽出するようにしてもよい。

図７は、コントローラ１１０が抽出する該当ブロック及び近傍ブロックを説明するための図である。図７（ａ）に示すように、最初、マウスカーソルは、表示デバイス上でＸ１の位置にあったとする。次に、図７（ｂ）に示すように、マウスカーソルは、表示デバイス上でＸ２の位置に移動したとする。

コントローラ１１０は、図７（ｃ）に示すように、算出したマウスカーソル位置に基づいて、メモリ１１２に格納された現在画像から該当ブロックＸ２及び該当ブロックＸ２を除いた近傍ブロックＸ２０の画像データを抽出する。同様に、コントローラ１１０は、前回算出したマウスカーソル位置に基づき、メモリ１１２に格納された現在画像から該当ブロックＸ１及び該当ブロックＸ１を除いた近傍ブロックＸ１０の画像データを抽出する。該当ブロックの画像又は近傍ブロックの画像をマウスカーソル周辺画像という。なお、本実施の形態では、コントローラ１１０は、該当ブロック及び近傍ブロックの両方を抽出するようにしているが、該当ブロックだけを抽出するようにしてもよい。

ネットワーク送信ステップＳ２７において、コントローラ１１０は、抽出したマウスカーソル周辺画像に位置情報を付加して、遠隔操作コンピュータ３２に送信する。

変化領域抽出ステップＳ２４に戻って、コントローラ１１０は、サーバＳ１〜Ｓｎから得た第１の画像と第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、変化がある場合に、第１の画像に対する第２の画像の変化分を含む所定の領域を抽出する。コントローラ１１０は、抽出した領域をネットワーク送信ステップＳ２８において、遠隔操作コンピュータ３２へ送信する。

このように、コントローラ１１０は、マウスカーソル領域抽出ステップＳ２６において、前回と現在のマウスカーソル周辺画像を切り出して遠隔操作コンピュータ３２に送ることにより、遠隔操作コンピュータ側では、受信したマウスカーソル周辺画像及び位置情報に基づき、表示デバイスに表示することにより、マウスカーソルは前回の位置で消え、現在の位置で表示される。すなわち、マウスカーソルの周辺画像を優先的に送信し、その後に、順次、残った画像を検出して送信するようにしたので、遠隔操作コンピュータの表示デバイス上では、マウスカーソルだけが先に動くように表示される。

次に、画像処理部の更に別の動作例について説明する。図８は、画像処理部が所定の期間毎にマウスカーソルの領域抽出処理を行う処理フローを示した図である。画像取得ステップＳ３１において、画像処理部１０は、選択されているサーバＳ１〜Ｓｎからの画像データを走査周波数Ｆの１／ｎで取得する。Ａ／Ｄ変換ステップＳ３２において、Ａ／Ｄ変換回路１１１は、取得した全体画像データを、アナログからデジタルに変換する。

フレーム間引ステップＳ３３において、デジタルに変換した画像に対して１／ｎのフレーム間引きを行う。変化領域抽出ステップＳ３４において、コントローラ１１０は、サーバＳ１〜Ｓｎから得た第１の画像と第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、変化がある場合に、第１の画像に対する第２の画像の変化分を含む所定の領域を抽出する。

コントローラ１１０は、抽出した領域をネットワーク送信ステップＳ３８において、遠隔操作コンピュータ３２へ送信する。また、コントローラ１１０は、変化領域抽出ステップＳ３４において、所定間隔毎に、マウスカーソル周辺画像を抽出するために、フレームデータ取得ステップＳ３５に進む。ここで、所定間隔は、１／ｍとする。

遠隔操作コンピュータ３２でのマウス座標値の抽出間隔は、一般に５ｍｓ、８ｍｓ、１０ｍｓ等であるため、ｍをこれらのマウス座標の抽出間隔で一番長い期間にあわせることにより、ポインティング精度を確保しつつ、データ処理量、データ送信量を抑えることができる。なお、遠隔操作コンピュータ３２は、図１３に示すようなカーソル周辺画像の抽出間隔を設定するためのダイアログを表示デバイス４６に表示して、ユーザが設定値を変更できるようにしてもよい。

図１３は、カーソル周辺画像の抽出間隔を設定するためのダイアログの表示例を示す図である。図１３において、５０は表示デバイス４６に表示されるカーソル周辺画像の抽出間隔設定画面、５１はカーソル周辺画像の抽出間隔の入力フィールド、５２は設定可能なカーソル周辺画像の抽出間隔の最大値を表す領域、５３はＯＫボタン、５４キャンセルボタンである。ユーザにより入力されたカーソル周辺画像の抽出間隔は、遠隔操作コンピュータ３２から切替器１０のコントローラ１１０に送信される。

フレームデータ取得ステップＳ３５において、コントローラ１１０は、最新のフレームデータをメモリ１１２から取得する。次に、マウスカーソル領域抽出ステップＳ３６において、コントローラ１１０は、マウスカーソル周辺画像を抽出する。つまり、コントローラ１１０は、遠隔操作コンピュータから取得したマウスの絶対座標に基づいて、サーバＳ１〜Ｓｎから出力される画像上のマウスカーソル位置を算出する。コントローラ１１０は、算出したマウスカーソル位置に基づき、メモリ１１２に格納された画像から該当ブロック及び近傍ブロックの画像データを抽出する。これにより、マウスカーソル周辺画像が抽出される。

この時、コントローラ１１０は、前回算出したマウスカーソル位置をメモリ１１２に保持しておき、前回算出したマウスカーソル位置に対応する該当ブロック及び近傍ブロックの画像データも抽出する。ネットワーク送信ステップＳ３７において、コントローラ１１０は、抽出したマウスカーソル周辺画像に位置情報を付加して、遠隔操作コンピュータ３２に送信する。

変化領域抽出ステップＳ３４に戻って、コントローラ１１０は、サーバＳ１〜Ｓｎから得た第１の画像と第１の画像の次に取得した第２の画像との差分をとって画像の変化の有無を検知し、変化がある場合に、第１の画像に対する第２の画像の変化分を含む所定の領域を抽出する。コントローラ１１０は、抽出した領域をネットワーク送信ステップＳ３８において、遠隔操作コンピュータ３２へ送信する。

このように、コントローラ１１０は、所定間隔毎にマウスカーソルの領域を抽出して、前回と現在のマウスカーソル周辺画像を切り出して遠隔操作コンピュータ３２に送るようにしたので、マウスの座標情報を一定期間取得できないような場合でも、マウスカーソルの周辺画像を遠隔操作コンピュータ３２へ送信することができる。

次に、遠隔操作コンピュータの処理について説明する。図９は、遠隔操作コンピュータでの処理フローチャートである。ステップ１０１において、遠隔操作コンピュータ３２は、アプリケーションを起動したときに切替器１０と通信を確立する。ステップ１０２において、遠隔操作コンピュータ３２は、切替器１０にサーバ側で表示している画面の解像度を要求する。

ステップ１０３において、遠隔操作コンピュータ３２は、切替器１０からサーバＳ１〜Ｓｎ側が表示している画面の解像度を受信する。ステップ１０４において、遠隔操作コンピュータ３２は、切替器１０からサーバＳ１〜Ｓｎの解像度を受信すると、画像受信スレッドを作成する。ステップ１０５において、遠隔操作コンピュータ３２は、マウス（ＭＳ）、キーボード（ＫＢ）取得・送信スレッドを作成する。これにより、遠隔操作コンピュータ２１は、処理ループに入り、マウス、キーボードが操作されたときには、所定のデータを切替器１０に送信する。

ステップ１０６において、遠隔操作コンピュータ３２は、ユーザによって遠隔操作が終了したか、管理者等によって終了させられたかどうかを判定する。ステップ１０６において、遠隔操作コンピュータ３２は、遠隔操作が終了したと判定した場合には、ステップ１０７において、ＭＳ／ＫＢ取得・送信を終了する。ステップＳ１０８において、遠隔操作コンピュータ３２は、切替器１０から画像受信を終了する。

次に、遠隔操作コンピュータにおけるマウスデータ取得・送信処理と、切替器におけるマウスデータ受信処理について説明する。図１０は、遠隔操作コンピュータにおけるマウスデータ取得・送信処理と、切替器におけるマウスデータ受信処理について説明するための図である。

遠隔操作コンピュータ３２上で動作する遠隔操作アプリケーションは、切替器１０によって選択したターゲットコンピュータの画面をウインドウに表示する。ステップ２０１において、遠隔操作コンピュータ３２は、遠隔操作する際に、マウス操作によって生じたマウスデータを取得する。

ステップ２０２において、遠隔操作コンピュータ３２は、取得したマウスデータの相対座標から絶対座標を算出する。具体的には、遠隔操作アプリケーションのウィンドウ上におけるマウスカーソル位置と、切替器１０から事前に取得しターゲットコンピュータの解像度に基づいて、取得したマウスデータの相対座標から絶対座標を算出する。遠隔操作コンピュータ３２は、マウス操作が行われたときに、マウス操作に応じた絶対座標の算出を行う。

ステップ２０３において、遠隔操作コンピュータ３２は、絶対座標に変換されたマウスデータを切替器１０に送信する。ステップ２０４において、遠隔操作コンピュータ３２は、マウスデータ取得・送信処理が終了したかどうかを判定し、終了していなければ、ステップ２０１に戻り、上記ループを繰り返し、マウスデータ取得・送信処理が終了したと判定した場合には、処理を終了する。

ステップ３０１において、切替器１０のネットワークインターフェース回路１３は、遠隔操作コンピュータ３２からマウスの絶対座標データを受信する。ステップ３０２において、コントローラ１５は、ＫＢＭＳ制御マイコン１６へマウスの絶対座標データを送信する。

ステップ３０３において、コントローラ１５は、画像処理部１１へマウスの絶対座標データを送信する。なお、ステップ３０２、ステップ３０３では、コントローラ１５がマウスの絶対座標データをＫＢＭＳ制御マイコン１６、画像処理部１１へそれぞれ送信するようにしているが、ＫＢＭＳ制御マイコン１６、画像処理部１１がコントローラ１５にアクセスして、マウスの絶対座標データを参照するようにしてもよい。ステップ４０１において、画像処理部１１は、画面変化抽出・送信処理でチェックを行う。

次に、画像処理部における画面変化抽出・送信処理について説明する。図１１は、画面変化抽出・送信処理フローチャートである。ステップ５０１において、コントローラ１１０は、コントローラ１５から取得した遠隔操作コンピュータにおけるマウスの絶対座標値からマウスカーソルが存在するブロックを算出する。つまり、コントローラ１５は、メモリ１２における画像の位置を算出する。

ステップ５０２において、コントローラ１１０は、メモリ１１２から現在画像を取得する。ステップ５０３において、コントローラ１１０は、メモリ１１２上のアドレスに対してポインタを一つ作り、画面がブロック化されているので、それに合うポインタにし、ブロックポインタを初期化する。

ステップ５０４において、コントローラ１１０は、遠隔操作コンピュータ３２からマウスの絶対座標値を受信したかどうかを判定する。ステップ５０４において、コントローラ１１０は、遠隔操作コンピュータ３２からマウスの絶対座標値を受信していない場合には、ステップ５０６に進む。

一方、ステップ５０４において、コントローラ１１０は、遠隔操作コンピュータ３２からマウスの絶対座標値を受信したと判定した場合には、ステップ５０５において、カーソル移動処理を行う。なお、カーソル移動処理については後述する。

ステップ５０６において、コントローラ１１０は、ブロック内の画像変化をチェックする。ステップ５０７において、コントローラ１１０は、ブロックポインタを移動する。ステップ５０８において、コントローラ１１０は、ブロック内の画像に変化があるかどうかを判定する。ステップ５０８において、コントローラ１１０は、ブロック内の画像に変化が無いと判定した場合には、ステップ５０４に戻る。

一方、ステップ５０８において、コントローラ１１０は、ブロック内の画像に変化が有ると判定した場合には、ステップ５０９に進み、該当するブロック画像を遠隔操作コンピュータ３２に送信する。

ステップ５１０において、コントローラ１１０は、ブロックポインタを移動させ、ブロックが終了したかどうか判定する。例えば、画面における左上から始まったとしたら、最後に右下までチェックを行うように、ブロックポインタを移動して行き、ブロックポインタが右下まできたらブロックが終了する。ステップ５１０において、コントローラ１１０は、ブロックが終了していないと判定した場合には、ステップ５０４に戻る。

一方、ステップ５１０において、コントローラ１１０は、全ブロックが終了したと判定した場合には、ステップ５１１に進み、現在画像データをメモリ１１２に保存し、画像変化抽出・送信処理を終了する。

次に、カーソル移動処理について説明する。図１２は、上記図１１のステップ５０５におけるカーソル移動処理を説明するための図である。ステップ６０１〜ステップ６０６において、コントローラ１１０は、直前（前回）のマウスカーソル周辺のブロックをチェックする。ステップ６０７〜ステップ６１２において、コントローラ１１０は、現在のマウスカーソル周辺のブロックをチェックする。

ステップ６０１において、コントローラ１１０は、ブロックポインタ１を初期化する。ステップ６０２において、コントローラ１１０は、前カーソル周辺ブロックの変化をチェックする。ステップ６０３において、コントローラ１１０は、ブロックポインタ１を移動する。

ステップ６０４において、コントローラ１１０は、前カーソル周辺ブロックに変化が有るかどうかを判定する。ステップ６０４において、コントローラ１１０は、前カーソル周辺ブロックに変化が無いと判定した場合には、ステップ６０２に戻る。一方、ステップ６０４において、コントローラ１１０は、前カーソル周辺ブロックに変化が有ると判定した場合には、ステップ６０５に進み、ブロック画像を遠隔操作コンピュータ３２に送信する。

つまり、画像処理部１１のコントローラ１１０は、メモリ１１２から取得した直前（前回）画像から該当ブロック及びカーソル周辺のブロック画像を抽出する。画像処理部１１のコントローラ１１０は、抽出した直前（前回）カーソル周辺のブロック画像に変化があった場合にだけ、変化分を含む領域に位置情報を付加し、ネットワークインターフェース回路１３経由で遠隔操作コンピュータ３２へ送信する。

ステップ６０６において、コントローラ１１０は、ブロックのチェックが終了したかどうかを判定する。ステップ６０６において、コントローラ１１０は、ブロックのチェックが終了していないと判定した場合には、ステップ６０２に戻る。一方、ステップ６０６において、コントローラ１１０は、ブロックのチェックが終了していると判定した場合には、ステップ６０７に進み、ブロックポインタ２の初期化を行う。

ステップ６０８において、コントローラ１１０は、現在カーソルの周辺ブロックの変化をチェックする。ステップ６０９において、コントローラ１１０は、ブロックポインタ２を移動する。ステップ６１０において、コントローラ１１０は、現在カーソルの周辺ブロックの変化が有るかどうか判定する。ステップ６１０において、コントローラ１１０は、現在カーソルの周辺ブロックの変化が無いと判定した場合には、ステップ６０８に戻る。

一方、ステップ６１０において、コントローラ１１０は、現在カーソルの周辺ブロックの変化が有ると判定した場合には、ステップ６１１に進み、抽出したブロック画像を遠隔操作コンピュータ３２に出力する。

つまり、画像処理部１１のコントローラ１１０は、メモリ１１２から取得した現在画像から該当ブロック及びカーソル周辺のブロック画像を抽出する。画像処理部１１のコントローラ１１０は、抽出した現在カーソル周辺のブロック画像に変化があった場合にだけ、変化分を含む領域に位置情報を付加し、ネットワークインターフェース回路１３経由で遠隔操作コンピュータ３２へ送信する。なお、画像処理部１１コントローラ１１０は、上記直前のマウスカーソル周辺ブロック画像と、現在マウスカーソル周辺ブロック画像を同時に送る。

ステップ６１２において、コントローラ１１０は、ブロックのチェックが終了したかどうかを判定し、ブロックのチェックが終了していないと判定した場合には、ステップ６０８に戻る。一方、ステップ６１２において、コントローラ１１０は、ブロックのチェックが終了したと判定した場合には、カーソル移動処理を終了する。

遠隔操作コンピュータ３２では、ネットワーク制御部４２が上記直前のマウスカーソル周辺ブロック画像と、現在マウスカーソル周辺ブロック画像の変化を含む領域を受信する。
受信した直前マウスカーソル周辺ブロック画像及び現在マウスカーソル周辺ブロック画像は、システムバス３６を介して、ＣＰＵ３３より与えられたコマンドに基づき、グラフィックメモリ３９ｂへ書き込まれる。

ディスプレイコントローラ３９ａは、ＣＰＵ３３からの制御コマンドに基づき、グラフィックメモリ３９ｂの内容を参照し、現在表示デバイス４６に表示している画像に、取得した直前マウスカーソル周辺ブロック画像及び現在マウスカーソル周辺ブロック画像を合成して、その内容を表示デバイス４６に表示可能なＩ／Ｆ信号に変換する。このＩ／Ｆ信号はケーブル４３を介して表示デバイス４６に転送され、表示が行われる。これにより、変化前の箇所ではマウスカーソルが消え、変化後（現在）の箇所ではマウスカーソルが表示され、カーソルが動くように表現される。

次に、ネットワークの混雑状況に算出方法について説明する。切替器１０は以下のようにしてネットワークの混雑状況を算出する。図１４は、切替器におけるパケットフィルタリングを説明するためのフローチャートである。切替器１０に、パケットフィルタリング機能を実装し、測定時間内のパケットデータ量を算出し、ネットワーク混雑状況を測定する。ネットワーク変換回路１３は、プロミスキャスモードで動作し、受信した全てのパケットをパケットフィルタリング回路１４に送る。

ステップ７０１において、コントローラ１５は、パケットフィルタリング機能の動作時間のコントロールを行うために、パケットデータ量を取得した開始時間を取得する。ステップ７０２において、コントローラ１５は、パケットフィルタリング回路１４からパケットデータ量を取得する。ステップ７０３において、パケットフィルタリング回路１４は、パケットデータ量を加算する。

ステップ７０４において、コントローラ１５は、経過時間を取得する。ステップ７０５において、コントローラ１５は、測定時間が経過しているか否かを判断し、測定時間が経過していると判断した場合には、ステップ７０６に進み、パケットフィルタリング回路１４からパケットデータ量を読み出し、ステップ７０７において、時間当たりのデータ流量（ＢＰＳ:Ｂｉｔ Ｐｅｒ Ｓｅｃｏｎｄ）を算出し、ネットワークの混雑状況を算出する。一方、ステップ７０５において、コントローラ１５は、測定時間が経過していると判断した場合には、ステップ７０２に戻る。

コントローラ１５は、算出したネットワークの混雑状況に応じて画像圧縮回路１１３での画像の圧縮方式、圧縮率を決定し、画像圧縮回路１１３での画像の圧縮方式、圧縮率を自動的に変更するようにしてもよい。また、コントローラ１５は、算出したネットワークの混雑状況を画像処理部１１のコントローラ１１０に出力する。コントローラ１１０は、ネットワークの混雑状況基づいて、カーソル周辺画像を抽出する所定間隔を変更するようにしてもよい。

また、本実施の形態では、図１に示すように、切替器を例にとって説明しているが、これに限定されることなく、画像送信装置によっても実現できる。画像送信装置は、情報処理装置からカーソルの位置情報を取得する取得する取得手段と、取得手段により取得したカーソルの位置情報に基づいて、情報処理装置に送信する画像を記憶する画像記憶手段からカーソル周辺画像を抽出する画像抽出手段と、画像抽出手段により抽出したカーソル周辺画像を前記情報処理装置に送信するカーソル画像送信手段と必要とする。

上記本実施の形態によれば、遠隔操作コンピュータから取得したカーソルの位置情報に基づいて、画像記憶手段からカーソル周辺画像を抽出し、抽出したカーソル周辺画像を遠隔操作コンピュータに送信するようにしたので、カーソルのフレームレートを向上させることができる。これにより、ポインティング精度を確保することができる。

以上本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

本実施の形態に係る切替器を説明するためのブロック図である。 遠隔操作コンピュータの構成を示すブロック図である。 ディスプレイボードおよび表示デバイスの詳細を示す構成図である。 遠隔操作コントローラにおけるソフトウエアとハードウエアの階層構造を示す説明図である。 画像処理部を説明するための図である。 画像処理部がマウスの座標の入力をトリガとして、マウスカーソル周辺画像を送信する処理フローを示す図である。 コントローラが抽出する該当ブロック及び近傍ブロックを説明するための図である。 画像処理部が所定の期間毎にマウスカーソルの領域抽出処理を行う処理フローを示した図である。 遠隔操作コンピュータでの処理フローチャートである。 遠隔操作コンピュータにおけるマウスデータ取得・送信処理と、切替器におけるマウスデータ受信処理を説明するための図である。 画面変化抽出・送信処理フローチャートである。 カーソル移動処理を説明するための図である。 カーソル周辺画像の抽出間隔を設定するためのダイアログの表示例を示す図である。 切替器におけるパケットフィルタリングの動作フローチャートである。

符号の説明

１０ 切替器
１１ 画像処理部
１３ ネットワーク変換回路
１４ パケットフィルタリング回路
１５ コントローラ
３１、３２ 遠隔操作コンピュータ
１１０ コントローラ
１１１ Ａ／Ｄ変換回路
１１２ メモリ
１１３ 画像圧縮回路
Ｓ１〜Ｓｎ サーバ

Claims (6)

1. 所定のネットワークに接続された切替器から送信される画像を表示するコンピュータの画像表示方法において、
   前記コンピュータに接続されたポインティングデバイスが操作されたときに、当該ポインティングデバイスのカーソルの位置情報を取得する第１の段階と、
   前記第１の段階により取得したカーソルの位置情報を前記切替器に送信する第２の段階と、
   前記切替器から取得した、前記カーソルの移動前の第１の画像、及び前記切替器から取得した、前記第２の段階により送信したカーソルの位置情報に応じた第２の画像を前記コンピュータに接続された表示手段に現在表示されている画像に合成して、合成された画像を前記表示手段に表示する第３の段階とを有することを特徴とする画像表示方法。
2. 前記第１の画像は移動前のカーソルを含むブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロックの画像である、又は前記第１の画像は移動前のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であることを特徴とする請求項１の画像表示方法。
3. 前記第１の画像及び前記第２の画像は、前記切替器から前記コンピュータに同時に送信されることを特徴とする請求項１又は２に記載の画像表示方法。
4. 所定のネットワークに接続された切替器から送信される画像を表示するためにコンピュータを、
   前記コンピュータに接続されたポインティングデバイスが操作されたときに、当該ポインティングデバイスのカーソルの位置情報を取得する第１の手段、
   前記第１の手段により取得した前記カーソルの位置情報を前記切替器に送信する第２の手段、及び
   前記切替器から取得した、前記カーソルの移動前の第１の画像、及び前記切替器から取得した、前記第２の手段により送信したカーソルの位置情報に応じた第２の画像を前記コンピュータに接続された表示手段に現在表示されている画像に合成して、合成された画像を前記表示手段に出力する第３の手段として機能させるための画像表示プログラム。
5. 前記第１の画像は移動前のカーソルを含むブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロックの画像である、又は前記第１の画像は移動前のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であり、且つ前記第２の画像は移動後のカーソルを含むブロック及び当該ブロックの近傍のブロックの画像であることを特徴とする請求項４の画像表示プログラム。
6. 前記第１の画像及び前記第２の画像は、前記切替器から前記コンピュータに同時に送信されることを特徴とする請求項４又は５に記載の画像表示プログラム。

Images