JP2012133586A - 表示装置、画面画像転送方法、及びプログラム - Google Patents

表示装置、画面画像転送方法、及びプログラム Download PDF

Info

Publication number
JP2012133586A
JP2012133586A JP2010285048A JP2010285048A JP2012133586A JP 2012133586 A JP2012133586 A JP 2012133586A JP 2010285048 A JP2010285048 A JP 2010285048A JP 2010285048 A JP2010285048 A JP 2010285048A JP 2012133586 A JP2012133586 A JP 2012133586A
Authority
JP
Japan
Prior art keywords
image
screen
display
compression
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010285048A
Other languages
English (en)
Inventor
Masanori Ishida
正徳 石田
Manabu Ota
学 太田
Kensuke Ono
健介 大野
Takashi Suzuki
喬 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2010285048A priority Critical patent/JP2012133586A/ja
Publication of JP2012133586A publication Critical patent/JP2012133586A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Digital Computer Display Output (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】第1の表示装置に表示される表示画面を第2の表示装置に表示させることにより画面共有を行う技術において、第1の表示装置に表示される表示画面を、少ない遅延で第2の表示装置に表示させる。
【解決手段】表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置において、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えて構成する。
【選択図】図2

Description

本発明は、ある表示装置に表示される表示画面を他の表示装置に表示させることにより画面共有を行う技術に関連するものである。
従来から、複数の装置間で、表示画面を共有する技術がある。例えば、特許文献1には、モニタされる側の表示装置が、ユーザ操作に応じて表示する画面の情報を採取し、画面情報を他の表示装置に送信し、他の表示装置が画面情報に基づいて表示画面を再現してモニタする技術が記載されている。
また、特許文献2には、複数の端末装置間で画面の表示内容を共有し端末から画面への書込み等の操作も共有する技術が記載されている。また、特許文献3には、複数のユーザのそれぞれが有する表示装置の画面に、複数のユーザ間で、共通の画面を表示し、その画面表示を通じて行う共同作業を支援する共同作業支援システムに関する技術が記載されている。その他、本願に関連する先行技術文献として、特許文献4,5がある。
特開2010−55153号公報 特開2006−323607号公報 特開平11−65975号公報 特開2001−57637号公報 特開2005−323607号公報
上記のように、複数の表示装置間で表示画面を共有する技術を用いることにより、例えば、表示装置の操作に不慣れなユーザ(被アシスト側)が使用する表示装置(第1の表示装置)に表示される表示画面を、当該操作をアシストするユーザ(アシスト側)の表示装置(第2の表示装置)に表示させることにより、アシスト側のユーザが、表示画面を見ながら被アシスト側のユーザに対して第1の表示装置の操作方法を遠隔で丁寧に教えるといったことが可能になる。
表示画面を共有して操作のアシストを行う技術においては、適確なアシストを行うために、被アシスト側の表示装置に表示された表示画面が、アシスト側の表示装置に素早く表示されることが求められる。
例えば、アシスト側で順次操作指示を行い、被アシスト側にて指示に従って操作を行うことにより被アシスト側の表示装置に順次表示画面が表示される状況で、表示画面情報の転送に時間がかかる場合、アシスト側の表示装置には各操作から相当に遅れて各表示画面が表示されることになる。このような状況では、アシスト側は、どの指示に対応した表示画面かが分からなくなる可能性があるとともに、被アシスト側は、アシスト側からのガイダンスに遅れを感じ、スムーズなアシスト/被アシストを行うにあたって支障をきたす可能性がある。
本発明は上記の点に鑑みてなされたものであり、第1の表示装置に表示される表示画面を第2の表示装置に表示させることにより画面共有を行う技術において、第1の表示装置に表示される表示画面を、少ない遅延で第2の表示装置に表示させるための技術を提供することを目的とする。
上記の課題を解決するために、本発明は、表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、前記キャプチャ画像の内容に適した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段とを備えることを特徴とする表示装置として構成される。
前記画像圧縮手段は、例えば、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する。また、前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定するように構成してもよい。
また、前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する。
前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備えてもよく、その場合、前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する。
また、本発明は、上記表示装置が実行する画面画像転送方法、及び、コンピュータを、上記表示装置における各手段として機能させるためのプログラムとして構成することもできる。
本発明によれば、第1の表示装置に表示される表示画面を第2の表示装置に表示させることにより画面共有を行う技術において、第1の表示装置に表示される表示画面を、少ない遅延で第2の表示装置に表示させるための技術を提供することが可能となる。
本発明の実施の形態に係るシステム構成図である。 表示装置1の機能構成図である。 圧縮方式管理情報格納部155に格納されている管理テーブルの一例を示す図である。 表示装置2の機能構成図である。 システムの動作概要を説明するための図である。 基本処理を説明するためのシーケンス図である。 操作(スクロール)を行う場合の処理を説明するためのシーケンス図である。 表示装置1に表示される画面画像の例を示す図である。 表示装置2に表示される画面画像の例を示す図である。
以下、図面を参照して本発明の実施の形態を説明する。
(システム構成)
図1に、本発明の実施の形態に係るシステム構成を示す。図1に示すように、本実施の形態に係るシステムは、表示装置1と表示装置2が、通信ネットワーク3を介して接続された構成を有する。
本実施の形態では、表示装置1、2は、それぞれPC等であってもよいし、携帯電話機等の携帯端末でもよい。通信ネットワーク3は、画像データ等を送受信可能なネットワークである。
本実施の形態では、表示装置1に表示される画面を表示装置2に表示させることを想定している。つまり、表示装置1に表示される画面情報等が表示装置2に送信され、表示装置2が当該画面情報等に基づいて画面表示を行う。
図2に、本実施の形態に係る表示装置1の機能構成図を示す。図2に示すように、表示装置1は、通信部11、表示部12、操作部13、表示情報生成部14、転送表示制御部15を備えている。
通信部11は、通信ネットーク3を介して他の装置とデータ等の通信を行うための機能部である。表示部12は、いわゆるディスプレイであり、画像を表示する機能部である。操作部13は、ユーザが表示装置1に対して情報入力や各種指示を行うためのボタンやキーボード等である。操作部13は、表示部12と一体に構成されるタッチスクリーンでもよい。
表示情報生成部14は、表示部12に表示するための表示情報を生成する機能部であり、各種アプリケーションや処理プログラムに対応する機能を含む。表示情報生成部14に含まれるアプリケーションとしては、一例として、Webブラウザ、カメラアプリケーション、メールアプリケーション等がある。
また、例えば、表示装置1が、携帯電話機である場合、表示情報生成部14は、表示部12に操作画面を表示し、電話番号入力を受け付けて発信処理を行う等の処理を行う電話機能、電話帳の表示や管理を行う電話帳アプリケーション等、一般的な携帯電話機に備えられ、画面表示を行う各種機能を含む。
表示情報は、例えば、テキスト情報、画像情報、テキストと画像が混在した情報等であり、更に、表示部12に表示される画面内の表示位置情報を含む。また、本実施の形態では、表示情報は、その種別を示す識別情報を含むものとする。例えば、表示情報を構成するファイルのファイル名(拡張子を除くファイル名)や、その拡張子は識別情報の一種である。
転送表示制御部15は、表示情報を表示部12に表示するための処理を行うとともに、画面共有のために、表示装置2へ転送する転送用画面情報等を作成し、当該転送用画面情報等を、通信部11を介して表示装置2に転送する機能部である。
より詳細には、転送表示制御部15は、表示処理部151、キャプチャ部152、キャプチャ画像格納部153、転送用画面情報生成転送部154、圧縮方式管理情報格納部155、操作情報取得転送部156を含む。
表示処理部151は、表示情報生成部14から表示情報を受け取り、表示部12に対して表示する機能部であり、表示情報(例えば、テキスト+画像)を一時的に格納する記憶領域や、グラフィック用記憶領域(グラフィックメモリ等)を含み、表示のためのグラフィック処理を行う。また、表示処理部151は、操作部13を介して表示情報生成部14に対してなされるスクロール等の画面表示に関する操作情報を表示情報生成部14から受け取り、当該操作情報に基づいてスクロール等に対応した画面表示を行う機能も有する。
キャプチャ部152は、表示処理部151により表示部12に表示される画面画像を表示処理部151から取得(キャプチャ)し、キャプチャ画像格納部153に格納する機能部である。
転送用画面情報生成部154は、圧縮方式管理情報格納部155を参照し、キャプチャ部152により取得されたキャプチャ画像に対して、適切な圧縮方式で圧縮処理を施すことにより圧縮画像を生成し、これを転送用画面情報として表示装置2に転送する機能部である。
図3に、圧縮方式管理情報格納部155に格納されている管理テーブルの一例を示す。本実施の形態では、一例として、転送用画面情報生成部154は、圧縮を行おうとするキャプチャ画像に対応する表示情報の識別情報(種別)を表示処理部151から取得し、当該表示情報の識別情報を用いて管理テーブルを参照することにより、キャプチャ画像に施す圧縮処理の圧縮方式を決定している。
例えば、管理テーブルに従って、キャプチャ画像に対応する表示情報がメールや電話帳情報であれば、圧縮方式として可逆圧縮(例えば、GIF、PNG等)を行うと決定し、キャプチャ画像に対応する表示情報がカメラ取得画像(例えば、写真、写真を設定した待ち受け画面、写真一覧画面等)であれば非可逆圧縮(例えば、JPEG等)を行うと決定する。このように圧縮方式を設定するのは、メール画面や電話帳画面のように色数の少ない画面では可逆圧縮の方が圧縮率を高くすることができ、カメラ画像等では非可逆圧縮の方が圧縮率を高くできるためである。画像の種別毎に圧縮率を高める圧縮方式を用いることにより、転送用画面情報のデータ量を減少させることができ、転送用画面情報を表示装置2に転送するのにかかる時間を短縮できる。
また、上記のように、管理テーブルを参照することなく、表示情報を構成しているファイル形式(拡張子で判別可能)を調べ、そのファイル形式と同じ圧縮方式で圧縮を行ってもよい。例えば、圧縮対象のキャプチャ画像の元の画像ファイルがJPEGファイルであった場合、当該キャプチャ画像をJPEG(非可逆圧縮方式)で圧縮する。
なお、圧縮方式の決定方法は、上記の方法に限られるわけでなく、適切な圧縮方式を決定できるのであればどのような方法を用いてもよい。例えば、キャプチャ画像の画像解析を行って、非可逆圧縮に適した画像の面積の割合を算出して圧縮方式を決定してもよい。このような方法を含む他の方法の詳細については、後述する動作説明のところで説明する。また、圧縮方式の区分は、非可逆圧縮と圧縮方式の2区分に限られるわけでなく、例えば、非可逆圧縮の圧縮率を複数種類設定し、各々の圧縮率に対応する非可逆圧縮をそれぞれ異なる圧縮方式として設定してもよい。
操作情報取得転送部156は、表示情報生成部14からスクロール等の画面表示に関わる操作情報を取得し、当該操作情報を表示装置2に転送するとともに、転送用画面情報生成転送部154に渡す。
本実施の形態では、操作の例としてスクロールを取り上げ、操作情報はスクロール情報(画面画像を移動する方向(上、下、左、右、等)、及び、移動量(ピクセル数等)を含む)であるものとする。転送用画面情報生成転送部154は、操作情報取得転送部156からスクロール情報を受け取ると、スクロール前には画面内になかったがスクロールにより画面内に出現した部分の画像を判別し、当該画像のみに対して前述した圧縮を行って、転送する制御を行う。より詳細な処理内容については後に動作説明のところで説明する。
図4に、表示装置2の機能構成図を示す。なお、図4は、表示装置2において、表示装置1から受信した情報を用いて表示を行うことに関する機能をメインに示すものであり、図示はしていないが他の機能も含むものである。例えば、表示装置2が携帯電話機であれば、携帯電話機能や種々のアプリケーション等を含む。
図4に示すように、表示装置2は、通信部21、表示部22、表示制御部23を備えている。
通信部21は、通信ネットーク3を介して他の装置とデータ等の通信を行うための機能部である。表示部22は、いわゆるディスプレイであり、画像を表示する機能部である。
表示制御部23は、表示処理部231と操作情報提供部232を含む。表示処理部231は、表示装置1から受信する転送用画面情報(圧縮画像等)をデコードし、表示部22に表示する機能を有する。操作情報提供部232は、表示装置1から受信する操作情報(スクロール情報)を表示処理部231に提供する機能を備える。表示処理部231がスクロール情報を受け取った場合、表示している画面画像をスクロール情報に従って移動させるとともに、すぐ後に表示装置1から受信する転送用画面情報(圧縮画像)をデコードして、スクロール移動により画面内で空欄となった部分にデコード画像を挿入して表示する機能も有する。
表示装置1における転送表示制御部15は、CPU、メモリ、通信インターフェース等を備えたコンピュータ(表示情報生成部14に相当する機能を含む)に、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。当該プログラムは、可搬メモリ等の記録媒体に記録して配布することが可能である。また、当該プログラムをネットワーク上のサーバからダウンロードしてインストールすることも可能である。また、上記の「コンピュータ」は、「コンピュータ」の機能を備える携帯電話機等であってもよい。また、表示装置2の表示制御部23も、CPU、メモリ、通信インターフェース等を備えたコンピュータに、当該機能部に対応する処理を記述したプログラムを実行させることにより実現可能である。
(システムの動作)
次に、本実施の形態におけるシステムの動作を説明する。まず、図5のシーケンスチャートを参照して、システムの動作概要を説明する。
まず、表示装置2が、画面共有要求を表示装置1に送信し(ステップ1)、表示装置1が、画面共有許可を表示装置2に送信することにより、画面共有が開始される。これ以降、表示装置1に表示される画面画像がキャプチャされ、圧縮処理がなされ(ステップ3)、圧縮画像である転送用画面情報が表示装置2に転送され(ステップ4)、表示装置2で画面画像の表示が行われる(ステップ5)ことにより、画面共有が実現される。画面画像のキャプチャ・転送は、一定時間間隔で行うこととしてもよいし、表示装置1において表示する画面画像内容に変更がある度に行うこととしてもよい。また、表示装置1のユーザにより所定の操作がなされたことを契機にして行うこととしてもよい。
図5では、表示装置2から画面共有要求を送信し、表示装置1が画面共有許可を表示装置2に送る例を示したが、表示装置1から画面共有要求を送信し、表示装置2が画面共有許可を表示装置2に送るようにしてもよい。また、画面共有要求と画面共有許可を送受信することにより画面共有処理を開始させることは一例に過ぎず、他の手順により画面共有を開始することとしてもよい。
<基本処理>
以下ではまず、ある一の画面の表示情報が生成され、圧縮処理が施されて転送用画面情報が生成され、表示装置2に転送され、表示装置2に表示されるまでの基本処理を、図6を参照して説明する。
なお、キャプチャ画像の転送にあたっては、キャプチャ部152でキャプチャされた表示画面全体のキャプチャ画像を圧縮して転送してもよいし、処理対象の表示画面全体キャプチャ画像と1つ前の表示画面全体キャプチャ画像とを比較し、処理対象の表示画面全体キャプチャ画像における、両者間で差分のある部分の画像を圧縮して転送してもよい。以下で説明する圧縮方式の決定方法は、表示画面全体のキャプチャ画像そのものを圧縮・転送する場合でも、差分のある部分のキャプチャ画像を圧縮・転送する場合でも同様に適用できるものである。
表示情報生成部14が、表示部12に表示するための表示情報を生成する(ステップ11)。表示情報は、例えば、Webサーバから取得した画像入りのテキスト情報や、表示のために記憶手段から読み出した写真画像等である。表示情報は、表示処理部151に渡され、表示処理部151が表示部12への表示を行う(ステップ12)。ここまでは、表示装置1における通常の画面表示処理である。
続いて、キャプチャ部152が、表示部12に表示されている画面画像を表示処理部151からキャプチャし、キャプチャ画像としてキャプチャ画像格納部153に格納する(ステップ13)。
次に、転送用画面情報生成転送部154は、ステップ13で取得したキャプチャ画像に対する圧縮方式を決定する処理を行う(ステップ14)。より詳細には、本例では、転送用画面情報生成転送部154は、キャプチャ画像に対応する表示情報の識別情報を表示処理部151から取得し、圧縮方式管理情報格納部155に格納された管理テーブルを参照することにより、当該識別情報(種別)に対応する圧縮方式を決定する。また、前述したように、表示情報である画像ファイルの形式(拡張子で判別)を把握し、当該画像ファイルと同じ圧縮方式を、キャプチャ画像圧縮のための圧縮方式として決定してもよい。
そして、決定された圧縮方式が非可逆圧縮であれば非可逆圧縮方式でキャプチャ画像の圧縮を行い、決定された圧縮方式が可逆圧縮であれば可逆圧縮方式でキャプチャ画像の圧縮を行うことにより圧縮画像を生成し(ステップ15)、これを転送用画面情報として表示装置2に転送する(ステップ16)。
転送用画面情報(圧縮画像)を受信した表示装置2では、表示処理部231が圧縮画像のデコードを行い(ステップ17)、デコードした画面画像を表示部12に表示する(ステップ18)。
上記の例では、表示情報の識別情報を用いることにより圧縮方式を決定したが、表示情報の識別情報を用いずに圧縮方式の決定を行う構成を採用してもよい。
この場合、例えば、転送用画面情報生成転送部154は、圧縮対象のキャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域(第1の領域とする)と、それ以外の画像(可逆圧縮に適した画像)の領域(例えば、テキストの領域)(第2の領域とする)に分類し、第1の領域の面積が、キャプチャ画像全体の面積のうちの予め定めた割合以上であれば、圧縮対象のキャプチャ画像全体を非可逆圧縮すると決定し、予め定めた割合未満であればキャプチャ画像全体を可逆圧縮すると決定する。上記の「割合」は、例えば、実験等により、圧縮後のデータ量が最も少なくなる割合として予め決定しておけばよい。
また、非可逆圧縮を行う場合において、圧縮率を固定とせずに、圧縮率を画像の内容に応じて切替えてもよい。例えば、上記第1の領域のキャプチャ画像全体の面積に対する割合に応じて、非可逆圧縮の圧縮率を決定してもよい。この場合、例えば、上記割合が高ければ、すなわち、写真等の画像領域が大きければ、圧縮率を大きくし(強く圧縮する)、上記の割合が低ければ、すなわち、テキスト等の画像領域が大きければ、圧縮率を小さくする(弱く圧縮する)。
このように、圧縮率を切り替える制御は、表示情報の識別情報を用いることにより圧縮方式を決定する前述した方法にも適用できる。この場合、例えば、非可逆圧縮で圧縮を行うと決定したキャプチャ画像について、上記と同様にして、第1の領域のキャプチャ画像全体の面積に対する割合を算出し、当該割合に応じて圧縮率を決定する。
また、以下のような処理を行うように構成してもよい。
この例では、転送用画面情報生成転送部154は、キャプチャ画像を解析することにより、写真画像等の非可逆圧縮に適した画像として予め定めた種別の画像を識別し、当該画像の領域(第1の領域とする)と、それ以外の画像(可逆圧縮に適した画像)の領域(例えば、テキストの領域)(第2の領域とする)に分類し、それぞれの領域の画面内での位置情報を、当該位置情報に対応する領域が第1の領域に該当するのかそれとも第2の領域に該当するのかを示す情報とともにメモリ等の記憶手段に保持する。そして、転送用画面情報生成転送部154は、記憶手段に保持した情報に基づき、キャプチャ画像を各領域に分割し、各領域の画像を各領域に対応する圧縮方式で圧縮し、各圧縮画像を、それに対応する位置情報とともに表示装置2に転送する。
そして、表示装置2では、各圧縮画像をデコードし、対応する位置情報を用いて、デコードした各画像を画面内の適切な位置に表示することにより、結果として、表示装置1に表示された画面画像と同じ画面画像を表示する。
<操作情報を用いる場合の処理>
次に、操作情報(スクロール情報)を用いる場合の処理例を図7の流れに沿って説明する。以下の処理では、上記の基本処理により、表示装置1と表示装置2に同じ画面画像が表示されているものとし、その状態で、表示装置1においてスクロール操作が行われるものとする。
表示装置1において、操作部13からスクロール操作が行われると(ステップ21)、表示処理部151は、スクロール後の画面画像を表示部12に表示する(ステップ22)。このスクロール表示処理は、表示装置1における通常の表示処理である。ここでの処理では、例えば、図8(a)に示す画面画像がスクロールされて、図8(b)に示すような画面画像になる。なお、本例において、図8(a)に示す画面画像は表示装置2にも表示されている画面画像である。
一方、例えば、連続するスクロール操作が終わったところで、もしくは、一定間隔でキャプチャを行っている場合におけるキャプチャタイミングで、キャプチャ部152は、スクロール後の画面画像をキャプチャし、キャプチャ画像としてキャプチャ画像格納部153に格納する(ステップ23)。
転送用画面情報生成転送部154は、スクロール操作の情報を表示情報生成部14から取得しており、取得した情報に基づいて、画像のキャプチャを行った時点でのスクロール方向(画面画像の移動方向)、及び、移動量(ピクセル数等)を決定し、これらの情報をスクロール情報としてメモリ等の記憶手段に保持する(ステップ24)。ここでの移動量は、1つ前のキャプチャタイミングから、今回のキャプチャタイミングまでの移動量となる。
そして、転送用画面情報生成転送部154は、スクロール情報を表示装置2に転送する(ステップ25)。スクロール情報を受信した表示装置2の操作情報提供部232は、スクロール情報を表示処理部231に渡し、表示処理部231は、スクロール情報に含まれる移動方向及び移動量にて、表示画面画像のスクロールを行い、スクロール後の画面画像を表示部22に表示する(ステップ26)。
例えば、図9(a)に示す画面画像がスクロールされて、図9(b)のような画面が表示される。この時点では、スクロールにより出現する画面画像は未だ表示装置1から転送されていないので、図9(b)に示すように、スクロールした部分は空白の画像となっている。なお、この部分を空白にせず、予め定めた画像を表示装置2で用意しておき、それを表示することとしてもよい。
図7のステップ27では、転送用画面情報生成転送部154は、キャプチャ画像格納部153に格納されているスクロール後のキャプチャ画像から、スクロール前にはなかったスクロールにより出現した画面画像(部分画像と呼ぶ)を、ステップ24で取得・保持しておいたスクロール情報を用いて取得する(ステップ27)。
その後、部分画像に対して、圧縮方式を決定し(ステップ28)、決定した圧縮方式で圧縮を行い(ステップ29)、圧縮画像を表示装置2に転送する(ステップ30)。ステップ28における圧縮方式の決定にあたっては、「基本処理」のところで説明した方法のうちどの方法を用いてもよい。なお、図7に示す処理の順番は一例であり、これに限られるわけではない。例えば、スクロール情報の転送(ステップ25)と、圧縮画像の転送(ステップ30)を同時に行うようにしてもよい。
部分画像が圧縮された圧縮画像を受信した表示装置2では、表示処理部231が圧縮画像をデコードし(ステップ31)、スクロール情報を用いて、デコードした画像を、図9(b)に示す空白の部分に表示する(ステップ32)。結果として、表示装置2において、表示装置1でのスクロール後の画面画像(図8(b))と同じ画面画像が表示される。
このように、スクロールにより出現した部分の画像だけを圧縮して転送できる構成としたことにより、転送する情報の量を減少させることができ、スクロール等の操作を行う場合でも、迅速に画面共有を行うことが可能となる。
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
1、2 表示装置
3 通信ネットワーク
11 通信部
12 表示部
13 操作部
14 表示情報生成部
15 転送表示制御部
151 表示処理部
152 キャプチャ部
153 キャプチャ画像格納部
154 転送用画面情報生成転送部
155 圧縮方式管理情報格納部
156 操作情報取得転送部
21 通信部
22 表示部
23 表示制御部
231 表示処理部
232 操作情報提供部

Claims (7)

  1. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置であって、
    前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段と、
    前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段と、
    前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段と
    を備えることを特徴とする表示装置。
  2. 前記画像圧縮手段は、前記画面画像の元になった表示情報の種別に基づいて、前記圧縮方式を決定する
    ことを特徴とする請求項1に記載の表示装置。
  3. 前記画像圧縮手段は、前記キャプチャ画像を解析し、非可逆圧縮に適する画像の種別として予め定めた種別の画像が前記画面画像の中で占める割合に応じて前記圧縮方式を決定する
    ことを特徴とする請求項1に記載の表示装置。
  4. 前記画像圧縮手段は、前記キャプチャ画像の圧縮率がより高くなるように、前記キャプチャ画像に対応した圧縮方式として、非可逆圧縮方式か可逆圧縮方式のうちのいずれかを決定する
    ことを特徴とする請求項1ないし3のうちいずれか1項に記載の表示装置。
  5. 前記表示装置は、前記表示部に表示された画面画像に対してなされた操作の内容を示す操作情報を取得し、当該操作情報を前記他の装置に転送する操作情報取得転送手段を更に備え、
    前記キャプチャ手段は、前記操作がなされた後の画面のキャプチャ画像を取得し、
    前記画像圧縮手段は、当該キャプチャ画像から、前記操作がなされる前には表示されておらず前記操作後に表示された部分画像を取得し、当該部分画像に対する圧縮方式を決定し、決定された圧縮方式を用いて前記部分画像を圧縮して、圧縮部分画像を生成し、
    前記転送手段は、前記操作情報取得転送手段により前記操作情報が前記他の装置に転送された後または同時に、前記圧縮部分画像を前記他の装置に転送する
    ことを特徴とする請求項1ないし4のうちいずれか1項に記載の表示装置。
  6. 表示部を備え、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置が実行する画面画像転送方法であって、
    前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャステップと、
    前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮ステップと、
    前記画像圧縮ステップにより生成された圧縮画像を前記他の装置に転送する転送ステップと
    を備えることを特徴とする画面画像転送方法。
  7. 表示部を備えるコンピュータを、当該表示部に表示される画面画像を他の装置に表示させることにより画面共有を行う表示装置として機能させるためのプログラムであって、前記コンピュータを、
    前記表示部に表示される画面画像をキャプチャし、キャプチャ画像を取得するキャプチャ手段、
    前記キャプチャ画像に対応した圧縮方式を決定し、決定された圧縮方式を用いて前記キャプチャ画像を圧縮し、圧縮画像を生成する画像圧縮手段、
    前記画像圧縮手段により生成された圧縮画像を前記他の装置に転送する転送手段、
    として機能させるためのプログラム。
JP2010285048A 2010-12-21 2010-12-21 表示装置、画面画像転送方法、及びプログラム Pending JP2012133586A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010285048A JP2012133586A (ja) 2010-12-21 2010-12-21 表示装置、画面画像転送方法、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285048A JP2012133586A (ja) 2010-12-21 2010-12-21 表示装置、画面画像転送方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2012133586A true JP2012133586A (ja) 2012-07-12

Family

ID=46649113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285048A Pending JP2012133586A (ja) 2010-12-21 2010-12-21 表示装置、画面画像転送方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2012133586A (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133210A (ja) * 2010-12-22 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2015041822A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像通信装置およびその制御方法
JP2015172894A (ja) * 2014-03-12 2015-10-01 富士通株式会社 表示処理装置、表示処理方法、及び表示処理プログラム
JP2016071636A (ja) * 2014-09-30 2016-05-09 Kddi株式会社 ミラーリングシステム及びミラーリング方法
JP2016091425A (ja) * 2014-11-07 2016-05-23 セイコーエプソン株式会社 画像供給装置、画像供給方法およびプログラム
JP2016144026A (ja) * 2015-02-02 2016-08-08 コニカミノルタ株式会社 画像形成遠隔操作システム、画像形成装置および遠隔操作における画像転送方法
JP2017135500A (ja) * 2016-01-26 2017-08-03 Kddi株式会社 端末装置、通信方法、及びプログラム
JP2018124684A (ja) * 2017-01-30 2018-08-09 サイレックス・テクノロジー株式会社 画像生成送信装置、画像生成送信方法およびプログラム
CN110505471A (zh) * 2019-07-29 2019-11-26 青岛小鸟看看科技有限公司 一种头戴显示设备及其屏幕采集方法、装置
JP2021081943A (ja) * 2019-11-19 2021-05-27 株式会社桑山瓦 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム
JP2021131412A (ja) * 2020-02-18 2021-09-09 株式会社島津製作所 表示システム、分析装置、制御方法、および制御プログラム
US11186303B2 (en) 2017-06-16 2021-11-30 Mitsubishi Electric Corporation Train control and management system, central command device, screen information transmission system and screen information transmission method

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139938A (ja) * 1994-11-15 1996-05-31 Canon Inc 画像処理装置
JPH09198227A (ja) * 1996-01-17 1997-07-31 Canon Inc 情報処理システム及びその方法及び装置
JP2000029448A (ja) * 1998-07-13 2000-01-28 Toshiba Corp 画像情報提供システム、画像情報表示端末およびサーバ装置
JP2004259163A (ja) * 2003-02-27 2004-09-16 Sony Corp 表示画面共有システム,送信側端末装置,受信側端末装置,プログラム,表示画面共有方法
JP2007235758A (ja) * 2006-03-02 2007-09-13 Canon Inc 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2008193603A (ja) * 2007-02-07 2008-08-21 Toshiba Corp 通信装置、通信方法、通信システム及びプログラム
JP2009123032A (ja) * 2007-11-15 2009-06-04 Sharp Corp 携帯端末、および携帯端末の制御方法
JP2009230579A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体
JP2010055280A (ja) * 2008-08-27 2010-03-11 Toshiba Corp サーバ、画面送信方法およびコンピュータプログラム
JP2010157005A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 画面共有システム、設定変更方法、クライアント装置、およびプログラム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08139938A (ja) * 1994-11-15 1996-05-31 Canon Inc 画像処理装置
JPH09198227A (ja) * 1996-01-17 1997-07-31 Canon Inc 情報処理システム及びその方法及び装置
JP2000029448A (ja) * 1998-07-13 2000-01-28 Toshiba Corp 画像情報提供システム、画像情報表示端末およびサーバ装置
JP2004259163A (ja) * 2003-02-27 2004-09-16 Sony Corp 表示画面共有システム,送信側端末装置,受信側端末装置,プログラム,表示画面共有方法
JP2007235758A (ja) * 2006-03-02 2007-09-13 Canon Inc 画像符号化装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP2008193603A (ja) * 2007-02-07 2008-08-21 Toshiba Corp 通信装置、通信方法、通信システム及びプログラム
JP2009123032A (ja) * 2007-11-15 2009-06-04 Sharp Corp 携帯端末、および携帯端末の制御方法
JP2009230579A (ja) * 2008-03-24 2009-10-08 Pioneer Electronic Corp 画面共有システム、画面共有方法、サーバ端末制御プログラム、クライアント端末制御プログラムおよび記録媒体
JP2010055280A (ja) * 2008-08-27 2010-03-11 Toshiba Corp サーバ、画面送信方法およびコンピュータプログラム
JP2010157005A (ja) * 2008-12-26 2010-07-15 Toshiba Corp 画面共有システム、設定変更方法、クライアント装置、およびプログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012133210A (ja) * 2010-12-22 2012-07-12 Ntt Docomo Inc 表示装置、画面画像転送方法、及びプログラム
JP2015041822A (ja) * 2013-08-20 2015-03-02 キヤノン株式会社 画像通信装置およびその制御方法
JP2015172894A (ja) * 2014-03-12 2015-10-01 富士通株式会社 表示処理装置、表示処理方法、及び表示処理プログラム
JP2016071636A (ja) * 2014-09-30 2016-05-09 Kddi株式会社 ミラーリングシステム及びミラーリング方法
JP2016091425A (ja) * 2014-11-07 2016-05-23 セイコーエプソン株式会社 画像供給装置、画像供給方法およびプログラム
JP2016144026A (ja) * 2015-02-02 2016-08-08 コニカミノルタ株式会社 画像形成遠隔操作システム、画像形成装置および遠隔操作における画像転送方法
JP2017135500A (ja) * 2016-01-26 2017-08-03 Kddi株式会社 端末装置、通信方法、及びプログラム
JP2018124684A (ja) * 2017-01-30 2018-08-09 サイレックス・テクノロジー株式会社 画像生成送信装置、画像生成送信方法およびプログラム
US11186303B2 (en) 2017-06-16 2021-11-30 Mitsubishi Electric Corporation Train control and management system, central command device, screen information transmission system and screen information transmission method
CN110505471A (zh) * 2019-07-29 2019-11-26 青岛小鸟看看科技有限公司 一种头戴显示设备及其屏幕采集方法、装置
JP2021081943A (ja) * 2019-11-19 2021-05-27 株式会社桑山瓦 仮想現実(vr)と拡張現実(ar)の画像情報を共有する画像共有システム
JP2021131412A (ja) * 2020-02-18 2021-09-09 株式会社島津製作所 表示システム、分析装置、制御方法、および制御プログラム
JP7650130B2 (ja) 2020-02-18 2025-03-24 株式会社島津製作所 表示システム、分析装置、制御方法、および制御プログラム

Similar Documents

Publication Publication Date Title
JP2012133586A (ja) 表示装置、画面画像転送方法、及びプログラム
JP6239715B2 (ja) イメージコードを用いて情報を伝達するシステムおよび方法
US20120042265A1 (en) Information Processing Device, Information Processing Method, Computer Program, and Content Display System
JP2006505862A (ja) 移動クライアント装置から画像処理を行う方法及びシステム
JP2015532473A (ja) 情報処理方法、装置、端末、およびサーバ
US20110287750A1 (en) Link server and program thereof, website browsing system, website browsing method, and website browsing program
WO2010081374A1 (zh) 屏幕截图方法和屏幕截图装置
US20150149586A1 (en) Information processing apparatus, information processing method, and information processing system
CN113741765A (zh) 页面跳转方法、装置、设备、存储介质和程序产品
CN112764857A (zh) 信息处理方法、装置及电子设备
CN104410768A (zh) 信息传输方法和装置
JP2026506691A (ja) メディアコンテンツ送信方法、装置、機器及び記憶媒体
JP5632733B2 (ja) 表示装置、画面画像転送方法、及びプログラム
US20140181709A1 (en) Apparatus and method for using interaction history to manipulate content
US8395669B2 (en) Image data transmission apparatus and method, remote display control apparatus and control method thereof, program, and storage medium
CN110727485A (zh) 一种屏幕界面可选择性共享方法及系统
CN105677851A (zh) 一种界面截图方法及用户设备
CN112799621A (zh) 批注显示方法和系统
JP2013182450A (ja) 所在管理プログラム及び所在管理装置
EP2816493A1 (en) Contents sharing service
JP6213041B2 (ja) Webページ引き継ぎシステム、Webページ引き継ぎ方法、通信端末、Webページ表示方法およびプログラム
JP2003323381A (ja) マルチメディアコンテンツ作成装置およびマルチメディアコンテンツ作成方法
CN104220999B (zh) 便携式终端装置、终端通信系统、终端通信方法以及记录介质
JP2004078837A (ja) 情報処理装置およびその制御方法、ならびにプログラム
TWI501146B (zh) 用以執行資訊監控控制之方法、裝置以及監控系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140314

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140408

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140609

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111