JP2017194922A

JP2017194922A - ミラーリングシステム及び操作検出方法

Info

Publication number: JP2017194922A
Application number: JP2016086319A
Authority: JP
Inventors: 大秋三浦; Hiroaki Miura
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2016-04-22
Filing date: 2016-04-22
Publication date: 2017-10-26

Abstract

【課題】操作の検出精度を高くすることができるミラーリングシステム及び操作検出方法を提供すること。【解決手段】１つの態様において、第１通信機器と、第２通信機器と、を含み、第２通信部は、前記第１通信部に第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、第１制御部は、第１通信部で受信した、第２タッチスクリーンディスプレイに表示させる画像を第１タッチスクリーンディスプレイに表示させ、第２制御部は、連続的な接触操作であると判定する基準となる遅延時間に基づいて第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、第２タッチスクリーンディスプレイの表示を制御し、かつ、第２タッチスクリーンディスプレイに画像情報を表示させる処理の開始時に取得した第１操作情報の遅延時間に基づいて、遅延時間を設定する。【選択図】図１

Description

本出願は、２つの携帯通信機器で画面を共有するミラーリングシステム及び操作検出方法に関する。

複数の携帯通信機器で画面を共有するミラーリング技術には、双方向で操作を入力可能なミラーリングシステムがある（特許文献１参照）。

特表２０１４−５０９４７６号公報

双方向で操作を検出する場合、入力された操作に基づいた画面制御をそれぞれの携帯通信機器で行う場合がある。この場合、１つの操作がそれぞれの携帯通信機器で異なる操作と判定されてしまうことがあり、ミラーリングシステムとして問題が生じる。操作の検出精度を高くすることができるミラーリングシステム及び操作検出方法に対するニーズがある。

１つの態様に係るミラーリングシステムは、第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含み、前記第２通信部は、前記第１通信部に前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、前記第１制御部は、前記第１通信部で受信した、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させ、前記第２制御部は、連続的な接触操作であると判定する基準となる遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御し、かつ、前記第２タッチスクリーンディスプレイに前記画像情報を表示させる処理の開始時に取得した前記第１操作情報の遅延時間に基づいて、前記遅延時間を設定する。

１つの態様に係る操作検出方法は、第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含むミラーリングシステムの操作検出方法であって、前記第２制御部が、前記第２タッチスクリーンディスプレイに前記画像情報を表示させる処理の開始時に取得した前記第１操作情報の遅延時間に基づいて、連続的な接触操作であると判定する基準となる遅延時間を設定するステップと、前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させるステップと、前記第２制御部が、前記遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御するステップと、を含む。

図１は、ミラーリングシステムの概略構成を示す図である。図２は、携帯通信機器のブロック図である。図３は、他方の携帯通信機器のブロック図である。図４は、ミラーシングシステムの動作を示すシーケンス図である。図５は、操作を検出する携帯通信機器の画面に表示する画像の一例を示す図である。図６は、操作を検出する携帯通信機器の処理の一例を示すフローチャートである。図７は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。図８は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。図９は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。

本出願に係るミラーリングシステム及び操作検出方法を実施するための実施形態を、図面を参照しつつ詳細に説明する。

（実施形態）
図１から図３を参照しながら、実施形態に係るミラーリングシステムについて説明する。図１は、ミラーリングシステムの概略構成を示す図である。図２は、携帯通信機器のブロック図である。図３は、他方の携帯通信機器のブロック図である。

ミラーリングシステム１００は、第１携帯通信機器２０と第２携帯通信機器３０と、を有する。第１携帯通信機器２０と第２携帯通信機器３０は、通信部を用いた通信４２で画面の情報（データ）の送受信を行い、それぞれの表示部の少なくとも一部に同一の画像を表示するミラーリング機能を有する。ミラーリング機能は、例えば、Ｍｉｒａｃａｓｔ（登録商標）又はＡｉｒＰｌａｙ（登録商標）と称する技術を使用する。Ｍｉｒａｃａｓｔは、Ｗｉ−ＦｉＡｌｌｉａｎｃｅによって策定された機器間の画像の無線伝送技術である。本実施形態において、第１携帯通信機器２０と第２携帯通信機器３０とは、Ｍｉｒａｃａｓｔを使用してミラーリング機能を実現するものとして説明する。本実施形態のミラーリングシステム１００は、第１携帯通信機器２０と第２携帯通信機器３０との両方で共有している画面を操作することができる。本実施形態では、第１携帯通信機器２０に入力した操作を第２携帯通信機器３０に送信し、第２携帯通信機器３０が第１携帯通信機器２０に入力した操作に基づいて処理を実行する場合として説明する。

また、ミラーリングシステム１００の第１携帯通信機器２０と第２携帯通信機器３０は、第１携帯通信機器２０と第２携帯通信機器３０との間で実行する通信４２と並行して、他の通信機器４０と通信４４を実行することができる。ここで、本実施形態の通信４２、４４は、近距離無線通信を行う。

次に、図２及び図３を参照しながら、第１携帯通信機器２０及び第２携帯通信機器３０の構成について説明する。以下の説明においては、同様の構成要素に同一の符号を付すことがある。さらに、重複する説明は省略することがある。

図２は、第１携帯通信機器２０のブロック図である。図２に示すように、第１携帯通信機器２０は、タッチパネル２と、操作部３と、通信部６ａと、通信部６ｂと、レシーバ７と、マイク８と、記憶部９と、制御部１０と、スピーカ１１と、を有する。

タッチパネル２は、表示部２Ａと、タッチセンサ２Ｂとを有する。図２の例では、表示部２Ａ及びタッチセンサ２Ｂはそれぞれ略長方形状であるが、表示部２Ａ及びタッチセンサ２Ｂの形状はこれに限定されない。表示部２Ａ及びタッチセンサ２Ｂは、それぞれが多角形又は円形等のどのような形状もとりうる。図３の例では、表示部２Ａ及びタッチセンサ２Ｂは重ねて配置されているが、表示部２Ａ及びタッチセンサ２Ｂの配置はこれに限定されない。表示部２Ａ及びタッチセンサ２Ｂは、例えば、並べて配置されてもよいし、離して配置されてもよい。図３の例では、表示部２Ａの長辺はタッチセンサ２Ｂの長辺に沿っており、表示部２Ａの短辺はタッチセンサ２Ｂの短辺に沿っているが、表示部２Ａ及びタッチセンサ２Ｂの重ね方はこれに限定されない。表示部２Ａとタッチセンサ２Ｂとが重ねて配置される場合、例えば、表示部２Ａの１ないし複数の辺がタッチセンサ２Ｂのいずれの辺とも沿っていなくてもよい。

表示部２Ａは、液晶ディスプレイ（ＬＣＤ：ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）、有機ＥＬディスプレイ（ＯＥＬＤ：ＯｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）、又は無機ＥＬディスプレイ（ＩＥＬＤ：ＩｎｏｒｇａｎｉｃＥｌｅｃｔｒｏ−ＬｕｍｉｎｅｓｃｅｎｃｅＤｉｓｐｌａｙ）等の画面を有する表示デバイスを備える。表示部２Ａは、制御部１０からの画像情報に基づいて、文字、画像、記号、及び図形等を表示する。

タッチセンサ２Ｂは、表示部２Ａに表示された画像に対する操作を検出する。タッチセンサ２Ｂは、タッチセンサ２Ｂに対する、例えば、指Ｆ、ペン、又はスタイラスペン等の接触を検出する。タッチセンサ２Ｂは、複数の指Ｆ、ペン、又はスタイラスペン等がタッチセンサ２Ｂに接触した位置を検出することができる。タッチセンサ２Ｂの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式（又は超音波方式）、赤外線方式、電磁誘導方式、及び荷重検出方式等の任意の方式でよい。

タッチセンサ２Ｂは、表示部２Ａに対する接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、及び接触が検出された回数の少なくとも一つを検出してタッチセンサ接触情報を制御部１０に出力する。

本実施形態において、タッチセンサ２Ｂには、操作者によって、例えば、「タッチ」、「ロングタッチ」、「リリース」、「スワイプ」、「タップ」、「ダブルタップ」、「ロングタップ」、「ドラッグ」、「フリック」、「ピンチイン」、及び「ピンチアウト」の少なくとも一つが操作として入力され得る。

タッチセンサ２Ｂは、接触の検出開始、検出停止が、制御部１０で制御される。より詳しくは、タッチセンサ２Ｂは、第１携帯通信機器２０の通常の使用時は、制御部１０で、タッチセンサ２Ｂでの接触の検出が有効とされる。具体的には、タッチセンサ２Ｂは、第１携帯通信機器２０の通常の使用時は、制御部１０で、タッチセンサ２Ｂに対する接触が検出開始されている。このとき、タッチセンサ２Ｂは、タッチセンサ２Ｂに対する接触を検出して第一接触情報を制御部１０に出力する。

操作部３は、利用者の操作を受け付けるための１ないし複数のデバイスを有する。利用者の操作を受け付けるためのデバイスは、例えば、キー、ボタン等を含む。操作部３は、受け付けた操作に応じた信号を制御部１０へ入力する。

通信部６ａは、第１の通信方式で通信を行う通信部である。本実施形態において、第１の通信方式は、公衆回線ネットワーク９０を介して通信を行うための２Ｇ、３Ｇ、４Ｇ等の通信方式である。公衆回線ネットワーク９０を介して通信を行うための通信規格には、例えば、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、Ｗ−ＣＤＭＡ（ＷｉｄｅｂａｎｄＣｏｄｅＤｉｖｉｓｉｏｎＭｕｌｔｉｐｌｅＡｃｃｅｓｓ）、ＣＤＭＡ２０００、ＰＤＣ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＣｅｌｌｕｌａｒ）、ＧＳＭ（登録商標）（ＧｌｏｂａｌＳｙｓｔｅｍｆｏｒＭｏｂｉｌｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ）、ＰＨＳ（ＰｅｒｓｏｎａｌＨａｎｄｙ−ｐｈｏｎｅＳｙｓｔｅｍ）等が含まれる。第１の通信方式は、ＷｉＭＡＸ（ＷｏｒｌｄｗｉｄｅＩｎｔｅｒｏｐｅｒａｂｉｌｉｔｙｆｏｒＭｉｃｒｏｗａｖｅＡｃｃｅｓｓ）のように公衆回線ネットワーク９０を介してデータ通信を行うための通信方式であってもよい。第１の通信方式がデータ通信を行うための通信方式である場合、通話は、データ伝送の技術と、ＶｏＩＰ（ＶｏｉｃｅｏｖｅｒＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）等の音声をデータとして伝送する技術とを組み合わせることによって実現される。通信部６ａは、公衆回線ネットワーク９０を介して通信を行うための複数の通信方式をサポートしてもよい。

通信部（第１通信部）６ｂは、第２の通信方式で通信を行う通信部である。本実施形態において、第２の通信方式は、近距離無線通信方式である。近距離無線通信方式には、ＷｉＦｉ（登録商標）、ＩＥＥＥ８０２．１１（ＩＥＥＥは、ＴｈｅＩｎｓｔｉｔｕｔｅｏｆＥｌｅｃｔｒｉｃａｌａｎｄＥｌｅｃｔｒｏｎｉｃｓＥｎｇｉｎｅｅｒｓ，Ｉｎｃ．の略称である）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）、ＤＥＣＴ（ＤｉｇｉｔａｌＥｎｈａｎｃｅｄＣｏｒｄｌｅｓｓＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、Ｚ−Ｗａｖｅ、Ｗｉ−Ｓｕｎ（ＷｉｒｅｌｅｓｓＳｍａｒｔＵｔｉｌｉｔｙＮｅｔｗｏｒｋ）等が含まれる。通信部６ｂは、複数の近距離無線通信方式をサポートしてもよい。

レシーバ７及びスピーカ１１は、音出力部である。レシーバ７及びスピーカ１１は、制御部１０から入力される音信号を音として出力する。レシーバ７は、例えば、通話時に相手の声を出力するために用いられる。スピーカ１１は、例えば、着信音及び音楽を出力するために用いられる。レシーバ７及びスピーカ１１の一方が、他方の機能を兼ねてもよい。マイク８は、音入力部である。マイク８は、利用者の音声等を音信号へ変換して制御部１０へ入力する。

記憶部９は、プログラム及びデータを記憶する。記憶部９は、制御部１０の処理結果を一時的に記憶する作業領域としても利用される。記憶部９は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ）な記憶媒体を含んでよい。記憶部９は、複数の種類の記憶媒体を含んでよい。記憶部９は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部９は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の一時的な記憶領域として利用される記憶デバイスを含んでよい。

記憶部９は、例えば、通信制御プログラム９ａ及び接続関連データ９ｂを記憶する。通信制御プログラム９ａは、通信部６ａを介した公衆無線通信網を用いた通信や、通信部６ｂを介した近距離無線通信による通信を実行する機能を提供する。接続関連データ９ｂは、他の携帯通信機器との接続に関する情報を含む。

通信制御プログラム９ａは、近距離無線通信による通信を確立する機能、近距離無線通信を用いたミラーリング機能を提供する。本実施形態の通信制御プログラム９ａは、ミラーリング時に一方の携帯通信機器から他方の携帯通信機器に送信する操作情報の検出に関する設定を調整する機能を提供する。具体的には、通信制御プログラム９ａは、操作情報を受信した場合に受信した操作情報が連続操作の情報であるか、つまり前に受信した操作情報と連続する操作の情報であるか否かを判定する時間の基準である遅延時間を調整する機能を提供する。

接続関連データ９ｂには、近距離無線通信を確立するための情報、ミラーリングを許可する通信機器の情報及び遅延時間を設定する基準の条件の情報を含む。遅延時間を設定する基準の情報としては、操作情報の間隔の情報に基づいて遅延時間を決定する基準、例えば、複数の操作情報の間隔のうち最も長い間隔を用いるか、平均を用いるか等である。また、遅延時間を設定する基準の情報としては、遅延時間を調整するタイミングの情報も記憶している。

制御部１０は、演算処理装置である。演算処理装置は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、ＭＣＵ（ＭｉｃｒｏＣｏｎｔｒｏｌＵｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）、およびコプロセッサを含むが、これらに限定されない。制御部１０は、第１携帯通信機器２０の動作を統括的に制御して各種の機能を実現する。

具体的には、制御部１０は、記憶部９に記憶されているデータを必要に応じて参照しつつ、記憶部９に記憶されているプログラムに含まれる命令を実行する。そして、制御部１０は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、タッチパネル２、操作部、通信部６ａ及び６ｂ、レシーバ７、スピーカ１１を含むが、これらに限定されない。制御部１０は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、操作部３、通信部６ａ及び６ｂ及びマイク８を含むが、これらに限定されない。制御部１０は、通信制御プログラム９ａを実行することにより、操作検出方法における第１携帯通信機器２０の動作を実行する。

図２に示した第１携帯通信機器２０の機能的な構成は、例であり、本発明の要旨を損なわない範囲において適宜変更してよい。

図３は、他方の第２携帯通信機器３０のブロック図である。図３に示すように、第２携帯通信機器３０は、タッチパネル２と、操作部３と、通信部６ａと、通信部（第２通信部）６ｂと、レシーバ７と、マイク８と、記憶部９と、制御部１０と、スピーカ１１と、を有する。

記憶部９は、例えば、通信制御プログラム９ｅ、接続関連データ９ｆを記憶する。通信制御プログラム９ｅは、通信制御プログラム９ａと同様のプログラムである。接続関連データ９ｆは、第１携帯通信機器２０の接続関連データ９ｂと同様の構成になっている。

制御部１０は、通信制御プログラム９ｅを実行することにより、図１及び図２に示した通信制御方法における第２携帯通信機器３０の動作を実行する。

次に、図４及び図５を用いて、ミラーリングシステム１００の動作について説明する。図４は、ミラーシングシステムの動作を示すシーケンス図である。図５は、操作を検出する携帯通信機器の画面に表示する画像の一例を示す図である。図４に示す処理は、第１携帯通信機器２０の通信部６ｂと、第２携帯通信機器３０の通信部６ｂとで近距離無線通信を用いてデータ（情報）の送受信を行い、画面の共有、つまりミラーリングを行う処理の一例を示している。図４に示す処理は、第１携帯通信機器２０から第２携帯通信機器２０に向けてミラーリングの要求を行い、かつ、第１携帯通信機器２０から第２携帯通信機器３０に操作の情報を送信し、第２携帯通信機器３０で画面の表示制御を実行する場合の処理を示している。

まず、ミラーリングシステム１００は、第１携帯通信機器２０から第２携帯通信機器３０に向けて、近距離無線通信の確立を要求する接続要求を送信する（ステップＳ１２）。第２携帯通信機器３０は、接続要求を受信した場合、通信の確立に必要な情報を含む接続応答を第１携帯通信機器２０に出力する（ステップＳ１４）。第１携帯通信機器２０は、第２携帯通信機器３０からの接続応答を受信した場合、通信の確立に必要な情報を含む接続応報を行い、接続を完了する（ステップＳ１６）。これにより、第１携帯通信機器２０と第２携帯通信機器３０とで、通信部（第１通信部、第２通信部）６ｂを用いた近距離無線通信の回線が確立され、データの送受信が可能な状態となる。

次に、第１携帯通信機器２０は、第２携帯通信機器３０にミラーリング要求を送信する（ステップＳ１８）。ミラーリング要求は、画面の同期を要求する情報である。第２携帯通信機器３０は、ミラーリング要求を受信した場合、第１携帯通信機器２０にミラーリング許可を送信する。ミラーリング許可は、画面の同期を許可する情報である。

次に、第１携帯通信機器２０は、第２携帯通信機器３０に遅延時間調整開始要求を送信する（ステップＳ２２）。第２携帯通信機器３０は、遅延時間調整開始要求を受信した場合、第１携帯通信機器２０に遅延時間調整開始要求を送信する（ステップＳ２４）。これにより、ミラーリングシステム１００は、遅延時間の調整処理を開始する。具体的には、操作情報を送信する第１携帯通信機器２０は、遅延時間の同期処理入力画面を表示する（ステップＳ２６）。具体的には、第１携帯通信機器２０は、図５に示すように、遅延時間の検出に必要な操作を入力させる画面を示させる。図５に示す画面は、操作の起点となるマーク６０と、終点となるマーク６２と、起点と終点を結び、接触点を移動させる軌跡に対応する線６３と、「ＡからＢまでスワイプしてください」というメッセージ６４を表示させている。なお、画面に表示させる画像はこれに限定されず、使用者に操作を入力させることができる画像であればよい。操作情報を受信する第２携帯通信機器３０は、遅延時間の同期処理中画面を表示する（ステップＳ２８）。具体的には、第２携帯通信機器３０は、第１携帯通信機器２０とのミラーリングに必要な処理を実行していることを示す画面を表示させる。

ミラーリングシステム１００は、第１携帯通信機器２０と第２携帯通信機器３０のそれぞれの表示部２Ａに画面を表示させている状態で、第１携帯通信機器２０のタッチセンサ２Ｂで操作を検出し、通信部６ｂを用いた通信で検出した操作の座標情報を第２携帯通信機器３０に送信する（ステップＳ３０、Ｓ３２）。なお、図４では、２つのステップとして示しているが、検出した操作情報は、第１携帯通信機器２０から第２携帯通信機器３０に複数回送信される。

第２携帯通信機器３０は、第１携帯通信機器２０から送信された操作情報を複数回受信した後、遅延時間の設定を行う（ステップＳ３４）。具体的には、複数回送信された操作情報の受信間隔を検出し、検出した間隔に基づいて遅延時間を決定する。なお、遅延時間は、受信間隔の平均に基づいて決定しても、最も長い間隔に基づいて決定してもよい。遅延時間は、操作を検出する間隔よりも長い間隔となる。

第２携帯通信機器３０は、遅延時間を設定した場合、遅延時間調整完了の情報を第１携帯通信機器２０に送信する（ステップＳ３６）。ミラーリングシステム１００は、遅延時間調整完了の情報を送信した場合、第１携帯通信機器２０と第２携帯通信機器３０とでのミラーリングを実行する（ステップＳ３８）。具体的には、第１携帯通信機器２０と第２携帯通信機器３０のそれぞれの表示部２Ａの少なくとも一部に同じ画面（画像）を表示する。また、ミラーリングシステム１００は、第１携帯通信機器２０のタッチセンサ２Ｂで操作を検出した場合、操作情報を通信部６ｂで第２携帯通信機器３０に送信する。第２携帯通信機器３０は、遅延時間を加味して受信した操作情報を連続操作であるかを判定し、判定した結果に基づいて、処理を実行し、表示部２Ａに表示する画面を制御する。

本実施形態のミラーリングシステム１００は、ミラーリング開始時に遅延時間を調整する処理を実行することで、通信部６ｂを用いた近距離無線通信の状態に基づいた遅延時間を設定することができる。これにより、操作情報の送信間隔が長くなる近距離無線通信の状態の場合に連続操作を連続していない操作と判定することを抑制することができる。例えば、通信部６ｂが、複数の通信機器と近距離無線通信を実行するマルチチャネルコンカレンシーで処理を実行している場合、シングルチャネルコンカレンシーで１つの通信機器と通信を行っている場合よりも、操作情報の受信間隔が長くなる。本実施形態のミラーリングシステム１００は、ミラーリング開始時に遅延時間を調整する処理を実行することで、マルチチャネルコンカレンシーで処理を実行しており、操作情報の受信間隔が長くなる場合も、遅延時間調整処理で受信間隔を算出し、算出した間隔に基づいて遅延時間を設定することで、連続操作を連続操作として検出することができる。

ここで、ミラーリングシステム１００は、ミラーリング処理の実行時にも遅延時間を変更することができる。以下、図６から図９を用いて、処理の一例を説明する。まず、図６を用いて、使用者が操作を入力する携帯通信機器の動作について説明する。図６は、操作を検出する携帯通信機器の処理の一例を示すフローチャートである。以下、第１携帯通信機器２０が操作を検出した場合として説明する。図６に示す処理は、第１携帯通信機器２０の制御部１０が各部の動作を実行することで実現することができる。第１携帯通信機器２０は、操作を検出する（ステップＳ５２）。具体的には、タッチセンサ２Ｂで使用者による操作を検出する。第１携帯通信機器２０は、操作を検出した場合、検出した操作をミラーリングしている通信機器、本実施形態では第２携帯通信機器３０に送信する（ステップＳ５４）。第１携帯通信機器２０は、通信部６ｂで第２携帯通信機器３０の通信部６と近距離無線通信を行い、操作情報を第２携帯通信機器３０に送信する。

次に、図７から図９を用いて、通信で操作情報を取得した携帯通信機器で実行する処理について説明する。以下、第２携帯通信機器３０が第１携帯通信機器２０の通信部６ｂから送信された操作情報を検出した場合として説明する。図７から図９に示す処理は、第２携帯通信機器３０の制御部１０が各部の動作を実行することで実現することができる。図７は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。本実施形態では、第２携帯通信機器３０が通信部６ｂの近距離無線通信で第１携帯通信機器２０から操作情報を受信した場合として説明する。第２携帯通信機器３０は、操作を検出する（ステップＳ６２）。具体的には、第２携帯通信機器３０は、通信部６ｂで第１携帯通信機器２０から送信された操作情報を受信する。

第２携帯通信機器３０は、検出した操作が不完全操作であるかを判定する（ステップＳ６４）。不完全操作とは、表示部２Ａに画面を表示させている機能（アプリケーション）に入力される操作として、処理が対応付けられている操作であるかを判定する。処理が対応付けられている操作とは、入力されることで、表示部２Ａに画面を表示させている機能で処理が実行できる操作である。第２携帯通信機器３０は、検出した操作が、処理が対応付けられている操作ではない場合、不完全操作と判定する。

第２携帯通信機器３０は、不完全操作ではない（ステップＳ６４でＮｏ）と判定した場合、本処理を終了する。第２携帯通信機器３０は、入力された操作に基づいた処理は、アプリケーションの処理として実行する。第２携帯通信機器３０は、不完全操作である（ステップＳ６４でＹｅｓ）と判定した場合、遅延時間を遅延時間＋αに変更（ステップＳ６６）し、処理を終了する。ここで、αは、正の数である。つまり、第２携帯通信機器３０は、不完全操作を検出した場合、遅延時間をより長い時間に変更する。

第２携帯通信機器３０は、ミラーリング処理中に不完全操作を検出した場合、遅延時間を長くすることで、ミラーリング中に他の携帯通信機器から送信される操作情報に含まれる連続操作をより確実に検出することができ、操作の検出精度をより高くすることができる。

図８は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。第２携帯通信機器３０は、操作を検出する（ステップＳ７２）。具体的には、第２携帯通信機器３０は、通信部６ｂで第１携帯通信機器２０から送信された操作情報を受信する。第２携帯通信機器３０は、検出した操作が不完全操作であるかを判定する（ステップＳ７４）。第２携帯通信機器３０は、不完全操作ではない（ステップＳ７４でＮｏ）と判定した場合、ステップＳ７８に進む。

第２携帯通信機器３０は、不完全操作である（ステップＳ７４でＹｅｓ）と判定した場合、所定時間以内に連続操作と判定できる操作があるかを判定する（ステップＳ７６）。具体的には、不完全操作となる操作情報を検出し、遅延時間を経過した後、予め設定した所定時間以内に、第１携帯通信機器２０から送信された操作情報を受信し、かつ、受信した操作情報が不完全操作と繋がる連続操作と判定できる操作であるかを判定する。

第２携帯通信機器３０は、所定時間以内に連続操作と判定できる操作がある（ステップＳ７６でＹｅｓ）と判定した場合、ステップＳ７８に進む。第２携帯通信機器３０は、ステップＳ７４でＮｏ、またはステップＳ７６でＹｅｓと判定した場合、検出した操作に基づいて処理を実行する（ステップＳ７８）。第２携帯通信機器３０は、所定時間以内に連続操作と判定できる操作がない（ステップＳ７６でＮｏ）と判定した場合、不完全操作として、処理を実行する（ステップＳ７９）。不完全操作に対して設定されている操作としては、不完全操作を無効とする処理や、不完全操作に基づいて機能の処理に対応しない処理、例えば、スワイプ処理の場合、本来移動しない位置へのポインタの移動を実行する。

第２携帯通信機器３０は、不完全操作を検出した場合、所定時間の間、連続処理に対応する処理が検出されたかを検出することで、不完全操作と一度判定した操作を連続操作として補完することができる。これにより、使用者が操作を再入力する必要が無くなり、操作性を向上させることができる。

図９は、通信で操作情報を取得した携帯通信機器の処理の一例を示すフローチャートである。第２携帯通信機器３０は、連続操作を検出する（ステップＳ８２）。具体的には、第２携帯通信機器３０は、通信部６ｂで第１携帯通信機器２０から送信された複数の操作情報を受信する。第２携帯通信機器３０は、受信した操作情報の受信間隔が遅延時間以内であり、かつ、複数の操作情報が連続していると判定できる操作である場合、連続操作を検出したと判定する。

第２携帯通信機器３０は、検出した操作情報の取得間隔＜遅延時間−βであるかを判定する（ステップＳ８４）。つまり、第２携帯通信機器３０は、第１携帯通信機器２０から送信された操作情報の受信間隔が、遅延時間に対して一定時間β以上の余裕があるかを判定する。

第２携帯通信機器３０は、検出した操作情報の取得間隔＜遅延時間−βである（ステップＳ８４でＹｅｓ）と判定した場合、遅延時間を遅延時間−βとする（ステップＳ８６）。第２携帯通信機器３０は、検出した操作情報の取得間隔＜遅延時間−βではない（ステップＳ８４でＮｏ）と判定した場合、本処理を終了する。

第２携帯通信機器３０は、ミラーリング処理中に操作情報の取得間隔が遅延時間に対して一定の余裕がある場合、遅延時間を短くすることで、操作をより効率よく取得することができる。また、遅延時間に対して一定の余裕がある場合に実行することで、ミラーリング中に他の携帯通信機器から送信される操作情報に含まれる連続操作の検出精度の低下を抑制しつつ、処理を効率よく実行することができる。また、遅延時間が長くなり、連続しない操作を連続操作として検出することを抑制できる。例えば、ダブルタップをロングタップと検出することを抑制できる。

本実施形態のミラーリングシステム１００は、２つの携帯通信機器のそれぞれで操作に基づいた処理を実行したが、これに限定されない。本実施形態のミラーリングシステム１００は、２つの携帯通信機器のそれぞれで操作可能とし、２つの携帯通信機器のうち一方で操作に基づいた処理（画面等の表示処理）を行ってもよい。この場合も、操作に基づいた処理を行わない、携帯通信機器から送信される操作情報の検出に本実施形態の処理を実行することで、上記効果を得ることができる。また、本実施形態のミラーリングシステム１００は、一方の携帯通信機器で操作を検出し、他方の携帯通信機器で操作に基づいた処理を実行するようにしてもよい。この場合も、上記効果を得ることができる。本実施形態のミラーリングシステム１００は、２つの携帯通信機器で通信を行ったが、３つ以上の携帯通信機器で通信を行ってもよい。また本実施形態は、近距離無線通信を用いた場合として説明しているが公衆無線通信を使用している場合も同様に通信の状況によって、遅延時間が変化する。ミラーリングシステム１００は、近距離無線通信と、公衆無線通信の両方を使用している場合、公衆無線通信を使用している場合も同様にミラーリングの開始時に本処理を実行することで、本処理の効果を得ることができる。

添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成により具現化されるべきである。

２タッチパネル
３操作部
６ａ、６ｂ通信部
７レシーバ
８マイク
９記憶部
９ａ、９ｅ通信制御プログラム
９ｂ、９ｆ接続関連データ
１０制御部
１１スピーカ
２０第１携帯通信機器
３０第２携帯通信機器
４０通信機器
１００ミラーリングシステム

Claims

第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、
前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含み、
前記第２通信部は、前記第１通信部に前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、
前記第１制御部は、前記第１通信部で受信した、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させ、
前記第２制御部は、連続的な接触操作であると判定する基準となる遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御し、
かつ、前記第２タッチスクリーンディスプレイに前記画像情報を表示させる処理の開始時に取得した前記第１操作情報の遅延時間に基づいて、前記遅延時間を設定するミラーリングシステム。
前記第２タッチスクリーンディスプレイに前記画像情報を表示させる処理の開始時に取得した前記第１操作情報は、前記第１タッチスクリーンディスプレイが、予め設定された連続操作の入力を指示する画像を表示させた状態で、検出した操作である請求項１に記載のミラーリングシステム。
前記第２制御部は、前記第２タッチスクリーンディスプレイに表示している画像の機能に基づいて、前記第１操作情報が画像の機能のいずれとも一致しない不完全操作であるかを判定し、
不完全操作であると判定した場合、前記遅延時間をより長い時間に変更する請求項１または２に記載のミラーリングシステム。
前記第２制御部は、前記第２タッチスクリーンディスプレイに表示している画像の機能に基づいて、前記第１操作情報が画像の機能のいずれとも一致しない不完全操作であるかを判定し、
不完全操作であると判定した場合、設定された時間、前記第１操作情報の検出を行い、新たに検出した前記第１操作情報が前記不完全操作を補完する操作である場合、連蔵した操作として検出する請求項１から３のいずれか一項に記載のミラーリングシステム。
前記第２制御部は、前記第２タッチスクリーンディスプレイに表示している画像の機能に基づいて、前記第１操作情報で動作終了を検出した場合に、操作の検出間隔が前記遅延時間に対して所定時間以上短い場合、前記遅延時間をより短い時間に変更する請求項１から４のいずれか一項に記載のミラーリングシステム。
第１タッチスクリーンディスプレイと、前記第１タッチスクリーンディスプレイの表示を制御する第１制御部と、前記第１タッチスクリーンディスプレイで検出した第１操作情報を出力する第１通信部と、を備える第１通信機器と、前記第１通信部とデータを送受信する第２通信部と、画像を表示させる第２タッチスクリーンディスプレイと、前記第１操作情報に基づいて、前記第２タッチスクリーンディスプレイの表示を制御する第２制御部と、を備える第２通信機器と、を含むミラーリングシステムの操作検出方法であって、
前記第２制御部が、前記第２タッチスクリーンディスプレイに前記画像情報を表示させる処理の開始時に取得した前記第１操作情報の遅延時間に基づいて、連続的な接触操作であると判定する基準となる遅延時間を設定するステップと、
前記第２タッチスクリーンディスプレイに表示させる画像の情報を送信し、前記第２タッチスクリーンディスプレイに表示させる画像を前記第１タッチスクリーンディスプレイに表示させるステップと、
前記第２制御部が、前記遅延時間に基づいて前記第１操作情報に含まれる操作を判定し、判定結果の操作に基づいて、前記第２タッチスクリーンディスプレイの表示を制御するステップと、を含む操作検出方法。