JP2016004375A - 表示制御装置、表示制御方法及びコンピュータプログラム - Google Patents

表示制御装置、表示制御方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2016004375A
JP2016004375A JP2014123566A JP2014123566A JP2016004375A JP 2016004375 A JP2016004375 A JP 2016004375A JP 2014123566 A JP2014123566 A JP 2014123566A JP 2014123566 A JP2014123566 A JP 2014123566A JP 2016004375 A JP2016004375 A JP 2016004375A
Authority
JP
Japan
Prior art keywords
display
item
display control
displayed
control apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014123566A
Other languages
English (en)
Inventor
淳己 大村
Junki Omura
淳己 大村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014123566A priority Critical patent/JP2016004375A/ja
Priority to US15/314,581 priority patent/US10444942B2/en
Priority to PCT/JP2015/066267 priority patent/WO2015194386A1/ja
Publication of JP2016004375A publication Critical patent/JP2016004375A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04803Split screen, i.e. subdividing the display area or the window area into separate subareas
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能な表示制御装置を提供する。【解決手段】表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、を備える、表示制御装置が提供される。【選択図】図1

Description

本開示は、表示制御装置、表示制御方法及びコンピュータプログラムに関する。
例えば特許文献1で開示された技術のように、レイアウトの自由度が高いシステムにおいて、自動的に画面レイアウトを決定して、コンテンツやアイテム等のオブジェクトを、決定した画面レイアウトに沿って表示できるシステムが提案されている。
特開2010−102053号公報
レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを表示する際に、表示する位置や大きさを柔軟に設定することで自動的に最適化して表示することが望まれる。
そこで本開示では、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びコンピュータプログラムを提案する。
本開示によれば、表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、を備える、表示制御装置が提供される。
また本開示によれば、表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、を含む、表示制御方法が提供される。
また本開示によれば、コンピュータに、表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、を実行させる、コンピュータプログラムが提供される。
以上説明したように本開示によれば、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能な、新規かつ改良された表示制御装置、表示制御方法及びコンピュータプログラムを提供することが出来る。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る表示システム1の構成例を示す説明図である。 本開示の一実施形態に係る表示制御装置100の機能構成例を示す説明図である。 表示制御装置100に含まれる制御部130の機能構成例を示す説明図である。 表示装置10へのアイテムの表示に用いられるレイアウトパターン200の例を示す説明図である。 表示装置10へのアイテムの表示に用いられるレイアウトパターン200の例を示す説明図である。 表示装置10へのアイテムの表示に用いられるレイアウトパターン200の例を示す説明図である。 本開示の一実施形態に係る表示システム1を構成する表示制御装置100の動作例を示す流れ図である。 レイアウトパターンにアイテムが当てはめられて表示されている状態を示す説明図である。 レイアウトパターンにアイテムが当てはめられて表示されている状態を示す説明図である。 表示制御装置100がアイテムの優先度を考慮してアイテムの表示を決定する場合の例を示す説明図である。 旧アイテムの再レイアウト処理を例示する説明図である。 旧アイテムの再レイアウト処理を例示する説明図である。 レイアウトパターンを例示する説明図である。 レイアウトパターンを例示する説明図である。 レイアウトパターンを例示する説明図である。 アイテムの表示形態の例を示す説明図である。 表示制御装置100によるアニメーション表示の制御例を示す説明図である。 表示制御装置100によるアニメーション表示の制御例を示す説明図である。 表示制御装置100によるアニメーション表示の制御例を示す説明図である。 表示制御装置100によるアイテムの追加表示の制御例を示す説明図である。 表示制御装置100によるアイテムの追加表示の制御例を示す説明図である。 表示制御装置100によって表示装置10に表示されるアイテムの一例を示す説明図である。 表示制御装置100によって図19に示した2つのアイテムが表示装置10に表示されるパターンを示す説明図である。 アイテムの追加表示に伴うレイアウトパターンの変化のバリエーションを示す説明図である。 ハードウェア構成例を示す説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.本開示の一実施形態
1.1.システム構成例
1.2.機能構成例
1.3.動作例
2.まとめ
<1.本開示の一実施形態>
[1.1.システム構成例]
まず、図面を参照しながら本開示の一実施形態に係る表示システムの構成例について説明する。図1は、本開示の一実施形態に係る表示システム1の構成例を示す説明図である。以下、図1を用いて本開示の一実施形態に係る表示システム1の構成例について説明する。
図1に示したように、本開示の一実施形態に係る表示システム1は、表示装置10と、入力装置20と、サーバ装置30と、表示制御装置100と、を含んで構成される。本開示の一実施形態に係る表示システム1は、後述するように、レイアウトの自由度が高いシステムである。そして本開示の一実施形態に係る表示システム1は、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能なように構成されている。
表示装置10は、表示制御装置100の制御によって文字、画像その他のあらゆる情報を表示する装置である。表示装置10は、自ら情報を表示するものであってもよく、他の物体(例えば壁面、机上、人体等)に映像を投影することで情報を表示するものであってもよい。表示装置10は、例えば液晶ディスプレイ、有機ELディスプレイ、プロジェクタ、ヘッドマウントディスプレイ(HMD)、ウェアラブルデバイス、自動車に搭載されるナビゲーションシステムで使用される表示デバイス、外科手術用の表示デバイスその他の、情報を表示することが可能な装置であり得る。表示装置10がプロジェクタである場合は、表示装置10は、例えば部屋の壁面や、部屋の中に設置されたスクリーンに情報を投影する位置に設けられる。表示装置10がウェアラブルデバイスである場合は、表示装置10は、例えばユーザの頭部や腕部等に装着され得る。
本実施形態では、表示制御装置100の制御によって表示装置10に表示される、文字、画像その他の情報のそれぞれを「アイテム」と称する。ここで、アイテムは本開示のオブジェクトの一例であり、各アイテムは、表示制御装置100の制御によって表示位置及び表示形態が決定される。表示制御装置100の制御によって決定される表示形態として、アイテムの大きさやアイテムの情報量が決定され得る。表示制御装置100の制御によってアイテムの大きさやアイテムの情報量が決定される例については後に詳述する。
入力装置20は、例えばタッチパネル、キーボード、マウス、カメラ、マイク、センサ等の、ユーザからのあらゆる情報や命令が入力可能な装置で構成され得る。入力装置20で入力された情報は表示制御装置100に送られる。表示制御装置100は、入力装置20で入力された情報に基づいて表示装置10の表示を制御し得る。
サーバ装置30は、表示システム1に関する様々な情報を格納し、必要に応じて表示制御装置100に提供する装置である。サーバ装置30は、表示制御装置100との間で、インターネットその他のネットワーク(図示せず)を介して接続されている。サーバ装置30が格納する情報は、例えば、表示装置10に表示させるための、表示システム1を使用するユーザに関する各種情報が含まれ得る。表示システム1を使用するユーザに関する各種情報としては、例えば、当該ユーザや当該ユーザの家族のスケジュール、当該ユーザに対して送信されたメールその他のメッセージ、当該ユーザの居住地や行き先の天気予報等が含まれ得る。スケジュールには、単にそのユーザの予定だけでなく、そのユーザが設定したイベントの予定なども含まれ得る。
またサーバ装置30は、表示システム1を使用するユーザに対して様々なサービスを提供しうる。サーバ装置30が提供するサービスとしては、例えばメールサービス、ソーシャル・ネットワーキング・サービス(SNS)等がある。
もちろん、ここに挙げた情報やサービスは、サーバ装置30が格納する情報や、サーバ装置30が提供するサービスの一例に過ぎないことは言うまでもない。またサーバ装置30は、1台であっても、複数台であってもよい。
表示制御装置100は、表示装置10の情報の表示を制御する装置である。表示制御装置100は、例えば、パーソナルコンピュータ(PC)のような汎用的な装置であってもよく、表示装置10の情報の表示の制御に特化された装置であってもよい。本実施形態では、表示制御装置100は、様々な形態をもつオブジェクトを自動的に最適化して表示装置10へ表示するような表示制御を実行する。表示制御装置100は、表示装置10の情報の表示を制御する際に、表示制御装置100の内部に保存されている情報を用いてもよく、表示制御装置100の内部に保存されている情報に加え、または表示制御装置100の内部に保存されている情報に替えて、サーバ装置30が格納する情報を用いてもよい。表示制御装置100の構成及び詳細な動作については後に詳述する。
表示制御装置100と表示装置10とは、有線で直接接続されていてもよく、ネットワークによって無線で接続されていても良い。表示制御装置100と表示装置10とが無線で接続される場合、表示制御装置100は、例えばインターネットに接続されたサーバ装置として構成されていても良い。表示制御装置100がサーバ装置として構成される場合は、図1に示したサーバ装置30と一体となって構成されてもよく、図1に示したサーバ装置30とは別体として構成されていてもよい。
以上、図1を用いて本開示の一実施形態に係る表示システム1の構成例について説明した。続いて、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の機能構成例について説明する。
[1.2.機能構成例]
図2は、本開示の一実施形態に係る表示制御装置100の機能構成例を示す説明図である。以下、図2を用いて、本開示の一実施形態に係る表示制御装置100の機能構成例について説明する。
図2に示したように、本開示の一実施形態に係る表示制御装置100は、通信部110と、入力部120と、制御部130と、記憶部140と、出力部150と、を含んで構成される。
通信部110は、他の装置、例えば図1に示したサーバ装置30との間でネットワークを通じた情報の通信を実行する。通信部110は、情報の通信を有線で行なうようにしてもよく、無線で行なうようにしてもよい。通信部110は、他の装置から受信した情報を制御部130に提供する。また通信部110は、制御部130から提供された情報を、その情報の送信先の他の装置へ送信する。
入力部120は、表示制御装置100に対する情報や命令の入力を受け付けるインターフェースである。入力部120は、表示制御装置100に対する情報や命令を、有線で受け付けてもよく、無線で受け付けてもよい。表示制御装置100に対する情報は、例えば入力装置20から入力され得る。表示制御装置100に対する情報は、文字情報、画像情報、音声情報が含まれ得る。また表示制御装置100に対する命令は、例えば表示装置10への情報の表示を制御する命令が含まれ得る。
制御部130は、表示制御装置100の動作を制御する。制御部130は、例えばCPU(Central Processing Unit)その他の演算ユニットとして構成され得る。制御部130が制御する表示制御装置100の動作には、例えば、表示装置10への情報(アイテム)の表示の制御、他の装置との間の通信部110を介した情報の送受信の制御、記憶部140への情報の記憶および記憶部140からの情報の読み出し、出力部150を介した情報の出力の制御等が含まれ得る。
本実施形態では、制御部130は、アイテムを表示装置10へ表示する要求を検知し、その検知に基づいて、アイテムを表示装置10へ表示する際の適切なひな型(本実施形態では、そのひな型を「レイアウトパターン」とも称する)を選択し、そのひな型を用いて、アイテムを表示装置10へ表示する制御を実行する。制御部130が、このような一連の動作を実行することにより、本開示の一実施形態に係る表示制御装置100は、図2に示したような構成を有することで、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能となる。なお、制御部130の詳細な機能構成例については、後に詳述する。
記憶部140は、種々の情報を記憶する。記憶部140は、例えばROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の様々な記憶媒体で構成され得る。記憶部140が記憶する情報には、例えば、表示装置10へ情報を表示する際の基となるレイアウトパターン、表示装置10へ情報を表示する際の設定等が含まれ得る。また記憶部140は、制御部130によって読み出されるコンピュータプログラムが格納され得る。
出力部150は、表示制御装置100から情報や命令を出力するインターフェースである。出力部150は、表示制御装置100からの情報や命令を、有線で出力してもよく、無線で出力してもよい。出力部150は、表示制御装置100から出力する情報として、例えば、表示装置10の表示を制御する情報(表示制御情報)を表示装置10へ出力する。表示装置10の表示を制御する表示制御情報には、例えば映像信号に基づく情報、HTML(HyperText Markup Language)その他のマークアップ言語に基づく情報がある。また、表示装置10の表示を制御する表示制御情報としては、サーバ装置で生成される映像ストリームに基づく情報も含まれ得る。
本開示の一実施形態に係る表示制御装置100は、図2に示したような構成を有することで、表示装置10の情報の表示を制御することができる。そして本開示の一実施形態に係る表示制御装置100は、図2に示したような構成を有することで、レイアウトの自由度が高いシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示することが可能となる。
続いて、本開示の一実施形態に係る表示制御装置100に含まれる制御部130の機能構成例について説明する。
図3は、本開示の一実施形態に係る表示制御装置100に含まれる制御部130の機能構成例を示す説明図である。以下、図3を用いて本開示の一実施形態に係る表示制御装置100に含まれる制御部130の機能構成例について説明する。
図3に示したように、本開示の一実施形態に係る表示制御装置100に含まれる制御部130は、検知部132と、ひな型選択部134と、表示形態決定部136と、を含んで構成される。
検知部132は、アイテムを表示装置10へ表示する要求を検知する。本実施形態では、アイテムを表示装置10へ表示する要求を「追加表示要求」とも称する。アイテムの追加表示要求は、様々な形式で発生し得る。例えば、表示装置10や、表示制御装置100の電源が投入されたタイミングでアイテムの追加表示要求が発生してもよく、ユーザが入力装置20を用いて明示的に追加表示要求を入力してもよく、サーバ装置30が提供するサービスにおいて所定のイベントが発生した際に、サーバ装置30から追加表示要求が送信されてきてもよく、予め定められた時間、日付、曜日になると追加表示要求が発生してもよい。
ユーザによる追加表示要求の入力は、キーボード、マウス、タッチパネル等の入力デバイスで行われてもよく、ユーザのジェスチャや音声等で行われてもよい。例えば入力装置20にユーザのジェスチャを撮像するためのカメラが備えられてもよい。そして検知部132は、入力装置20に備えられたカメラで撮像されたユーザのジェスチャの内容を解析して、どのような追加表示要求がユーザから入力されたかを判断してもよい。また例えば、入力装置20にユーザの発話内容を収音するマイクが備えられてもよい。そして検知部132は、入力装置20に備えられたマイクで収音されたユーザが発話した声の内容を解析することでどのような追加表示要求が入力されたかを判断してもよい。従って検知部132は、画像を解析する処理や、音声を解析する処理を実行してもよい。
もちろん、画像を解析する処理や、音声を解析する処理は、表示制御装置100の内部での検知部132とは異なる機能ブロックで実行されても良く、表示制御装置100とは異なる装置、例えば入力装置20において行われても良い。画像を解析する処理や、音声を解析する処理が検知部132とは異なる機能ブロックで実行される場合、検知部132は、それら解析結果を取得して、解析内容に基づいてどのような追加表示要求がユーザから入力されたかを判断してもよい。検知部132は、追加表示要求を検知すると、追加表示要求を検知した旨をひな型選択部134へ通知する。
ひな型選択部134は、アイテムを表示装置10へ表示する際に、状況に応じて適したレイアウトパターンを選択する。ひな型選択部134は、レイアウトパターンを、例えば記憶部140の中から選択してもよい。ひな型選択部134は、追加表示要求を検知した旨が検知部132から送られると、追加されるアイテムに適するレイアウトパターンを該アイテムの内容に基づいて選択する。なお、ひな型選択部134は、追加されるアイテムに適するレイアウトパターンを記憶部140の中から選択出来なかった場合にレイアウトパターンを新規に生成する機能を有していてもよい。
表示形態決定部136は、ひな型選択部134が選択したレイアウトパターンへのアイテムの配置パターンや、レイアウトパターンにアイテムを表示する際の表示形態を決定する。レイアウトパターンに従って表示装置10に表示されるアイテムは、後述するように種々の表示形態を有し得る。表示形態決定部136は、後述するような種々の指標に基づいて、ひな型選択部134が選択したレイアウトパターンへのアイテムの配置パターンや、レイアウトパターンにアイテムを表示する際の表示形態を決定する。なお本実施形態において、「表示形態」という概念には、アイテムが表示される状態だけでなく、アイテムが表示されない状態も含まれるものとする。表示形態決定部136は、アイテムの表示形態を決定すると、その表示形態に基づいてアイテムを表示装置10に表示させるための表示制御情報を生成し、その生成した表示制御情報を出力部150に出力させる。従って、出力部150は、本開示の発行部の一例として機能する。
ここで、本実施形態における、表示装置10へのアイテムの表示に用いられるレイアウトパターンについて説明する。図4A〜図4Cは、表示装置10へのアイテムの表示に用いられるレイアウトパターン200の例を示す説明図である。
本実施形態におけるレイアウトパターン200は、表示装置10の情報の表示領域に合わせて予め生成される。なおレイアウトパターン200は、表示装置10の設計時にデザインされ、表示制御装置100に格納されていてもよいが、表示装置10が出荷された後に新たにデザインされてもよい。そして図4Aに示したように、本実施形態におけるレイアウトパターン200は、主表示領域210と、副表示領域220a〜220dと、を含んで構成される。主表示領域210は、主として表示させたい情報の表示のための領域であり、例えば図4Aに示したように画面の中央部分に設けられ得る。副表示領域220a〜220dは、主として表示させるものではないが、表示させたい情報の表示のための領域である。副表示領域220a〜220dに表示される情報は、主表示領域210に表示される情報と関連していてもよく、関連していなくてもよい。
レイアウトパターン200には、要素として表示領域の数、各表示領域の座標、各表示領域へ表示させるコンテンツ種類(テキスト、リスト、イラスト、静止画像、動画像等の画像、動的なエフェクト、地図、ブラウザ、SNS、またはこれらの組み合わせ等が含まれ得る)などの情報が格納される。表示制御装置100は、レイアウトパターン200の情報と、表示装置10へ表示しようとするアイテムに関する情報と、すでに表示装置10に表示されているアイテムがあればそのアイテムに関する情報と、を用いて、アイテムの表示に適したレイアウトパターン200を選択する。そして表示制御装置100は、アイテムの表示に適したレイアウトパターン200を選択すると、そのレイアウトパターン200にアイテムを当てはめて表示するような表示装置10に信号を送出する。
レイアウトパターン200は様々なレイアウトを有し得る。図4Aは、主表示領域210を1つだけ有するレイアウトパターン200を示したが、図4Bは、3つの主表示領域210a、210b、210cと、2つの副表示領域220a、220bと、を有するレイアウトパターン200を示す。また図4Cは、画像を表示する領域を主表示領域210として有するとともに、主表示領域210の右隣に2つの副表示領域220a、220bを有するレイアウトパターン200を示す。もちろん、レイアウトパターン200は図4A〜図4Cに示したものに限られないことは言うまでもない。
本開示の一実施形態に係る表示制御装置100は、上述したような構成を有することで、レイアウトの自由度が高いシステムにおいて、レイアウトパターン200を好適に選択して、様々な表示形態をもつオブジェクト(アイテム)を自動的に最適化して表示することが可能になる。
以上、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の機能構成例について説明した。続いて、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の動作例について説明する。
[1.3.動作例]
図5は、本開示の一実施形態に係る表示システム1を構成する表示制御装置100の動作例を示す流れ図である。図5に示したのは、表示装置10に表示するアイテムの追加表示要求を検出し、その追加表示要求に応じてアイテムを表示装置10に表示させる際の、表示制御装置100の動作例である。以下、図5を用いて表示制御装置100の動作例について説明する。
表示制御装置100は、追加表示要求に応じてアイテムを表示装置10に表示させる際には、まず表示装置10に表示されようとする新規アイテムの追加を検知する(ステップS101)。新規アイテムの追加の検知は、例えば上述した検知部132が実行し得る。
アイテムは様々な方法で追加され得る。例えば、ユーザが入力装置20を用いて表示装置10にアイテムを追加して表示するための追加表示要求を入力してもよい。上述したように、追加表示要求の入力は、入力装置20として設けられるキーボード、マウス、タッチパネル等の入力デバイスで行われてもよく、ユーザのジェスチャや音声等で行われてもよい。また、追加表示要求の入力は、サーバ装置30が提供するサービスから表示制御装置100に対する、いわゆるプッシュ型通知によって行われてもよく、表示制御装置100からサーバ装置30に周期的に問い合わせて、その問い合わせに応じてサーバ装置30が提供するサービスから送信される、いわゆるポーリング型通知によって行われてもよい。例えば、サーバ装置30が提供するサービスがメールやSNSのサービスの場合、自ユーザ宛のメッセージなど追加表示要求として取得してもよい。また例えば、サーバ装置30が天気情報のような所定の間隔で変化し得る情報を提供する場合、表示制御装置100は、その情報を所定の周期でサーバ装置30から取得することで追加表示要求を取得してもよい。
また表示制御装置100は、ユーザの物理的状態、例えばユーザの位置(表示装置10による表示面とユーザとの距離)、ユーザの視線、顔の向き、表示装置10による表示面の前にいるユーザの数に応じて、追加するアイテムの配置や内容や表示形態を変更しうる。例えば、表示装置10による表示面とユーザとの距離が所定距離以下であれば、表示制御装置100は、アイテムを表示装置10に小さく表示させたり、アイテムがテキストであればフォントを小さくしたりするように制御し、距離が所定距離以上であれば、表示制御装置100は、アイテムを表示装置10に大きく表示させたり、アイテムがテキストであればフォントを大きくしたりするように制御し得る。
上記ステップS101で新規アイテムの追加を検知すると、続いて表示制御装置100は、表示装置10によって既に表示されているアイテムが有るかどうか判断する(ステップS102)。ステップS102の、表示装置10によって既に表示されているアイテムが有るかどうかの判断は、例えば表示形態決定部136が実行し得る。
ステップS102の判断の結果、表示装置10によって表示されているアイテムが存在しないと判断された場合は(ステップS102、No)、表示制御装置100は、上記ステップS101で検知した新規アイテムに最適なレイアウトパターンを取得する処理を実行する(ステップS103)。ステップS103の、新規アイテムに最適なレイアウトパターンを取得する処理は、例えばひな型選択部134が実行し得る。
上記ステップS103で、新規アイテムに最適なレイアウトパターンを取得する処理を実行すると、続いて表示制御装置100は、新規アイテムに最適なレイアウトパターンを取得出来たかどうか(レイアウトパターン==nullであるかどうか)判断する(ステップS104)。ステップS104のレイアウトパターンを取得出来たかどうかの判断は、例えばひな型選択部134が実行し得る。
ステップS104の判断の結果、新規アイテムに最適なレイアウトパターンを取得出来たと判断した場合は(ステップS104、No)、続いて表示制御装置100は、その取得できたレイアウトパターンを用いて表示形態を決定し、決定した表示形態で新規アイテムを表示するよう表示装置10へ指示する(ステップS105)。ステップS105の処理は、例えば表示形態決定部136が実行し得る。
表示装置10によって表示されているアイテムが存在しないと判断された場合、表示装置10によって表示されているアイテムが存在しないので、表示制御装置100は、例えば図4Aや図4Cに示したような、主表示領域210が1つだけ存在するレイアウトパターン200を選択し、さらにその選択したレイアウトパターン200の中から、表示するアイテムに適したレイアウトパターン200を1つ選択する。例えば表示するアイテムがアイコンであれば、表示制御装置100は、図4Aのようなレイアウトパターン200を選択してもよい。また例えば表示するアイテムが画像であれば、表示制御装置100は、図4Cのようなレイアウトパターン200を選択してもよい。表示するアイテムに適したレイアウトパターン200が表示制御装置100によって選択される場合、レイアウトパターン200は、対応するコンテンツの情報を各表示領域が有していてもよい。また例えば、追加して表示されるアイテムに表示領域の指定があれば、表示制御装置100は、該指定に従ってレイアウトパターンをひな型選択部134に選択させ、アイテムの配置を表示形態決定部136に決定させてもよい。例えば、あるアイテムは必ず画面の中央に配置するように指定されている場合、表示制御装置100は、その指定に適合するレイアウトパターンをひな型選択部134に選択させ、アイテムの配置を表示形態決定部136に決定させてもよい。
図6A、図6Bは、レイアウトパターンにアイテムが当てはめられて表示されている状態を示す説明図である。図6Aは、表示制御装置100による制御で、図4Aに示したレイアウトパターン200の主表示領域210にアイコンが表示されている様子を示した説明図であり、図6Bは、表示制御装置100による制御で、図4Cに示したレイアウトパターン200の主表示領域210に画像が表示されている様子を示した説明図である。レイアウトパターン200は、対応するコンテンツの情報を各表示領域が有することで、特定のコンテンツの表示に特化することができる。
表示装置10に新規に表示されるアイテムが、表示優先度や表示領域要求を有していてもよい。そして、レイアウトパターン200の各表示領域も、対応する優先度や表示領域を有していてもよい。そして表示制御装置100は、アイテムが有する表示優先度や表示領域要求及びレイアウトパターン200の各表示領域が有する優先度や表示領域の情報を利用して、レイアウトパターンを選択してもよい。
例えば、アイテムを1つだけ表示する場合、優先度や表示領域を考慮しなければ、その表示しようとするアイテムが(ユーザにとって)さほど重要でない情報であったとしても画面一杯に表示される可能性がある。一方、表示しようとするアイテム自体に優先度や表示領域要求を有していると、表示制御装置100は、その表示しようとするアイテムに最適な表示を行うことができる。
図7は、表示制御装置100がアイテムの優先度を考慮してアイテムの表示を決定する場合の例を示す説明図である。図7に示した例は、主表示領域としてテキストを表示する領域を1つだけ持つが、それぞれ保有する表示領域が異なるレイアウトパターン−1及びレイアウトパターン−2を持つシステムを考える。図7には、レイアウトパターン−1よりレイアウトパターン−2の方が、テキストを表示する領域が大きい例が示されている。また図7には、2つのアイテムA、Bが示されており、優先度が、例えば最大を100として、それぞれ30,85である例が示されている。新規でアイテムAを追加する場合は、(絶対的に)優先度が低いので、表示制御装置100はレイアウトパターン−1を、新規でアイテムBを追加する場合は、(絶対的に)優先度が高いので、表示制御装置100はレイアウトパターン−2を選択する。このように似たようなアイテム、レイアウトパターンであっても優先度や表示領域を利用することで柔軟な表示を行うことが可能である。もちろん表示するアイテムがテキスト以外のアイテム、例えば画像等に応用することが可能であることは言うまでもない。
表示制御装置100は、アイテムが有する優先度に応じてアイテムを出す場所を変えるようにしてもよい。表示制御装置100は、例えば、アイテムが有する優先度が所定の閾値より高ければ主表示領域に、所定の閾値以下であれば副表示領域に、それぞれアイテムを表示するよう制御してもよい。また表示制御装置100は、ユーザの視線を検出し、その視線に応じてアイテムを出す場所を変えるようにしてもよい。また表示制御装置100は、同一のレイアウトパターンであっても、アイテムを表示する領域の大きさを変化させても良い。
ステップS104の判断の結果、新規アイテムに最適なレイアウトパターンを取得出来なかったと判断した場合は(ステップS104、Yes)、続いて表示制御装置100は、新規にレイアウトパターンを作成する処理を実行する(ステップS106)。ステップS106の、レイアウトパターンを作成する処理は、例えばひな型選択部134が実行し得る。表示制御装置100は、レイアウトパターンを作成すると、作成したレイアウトパターンを例えば記憶部140に記憶させてもよい。
レイアウトパターンを見つけられない例としては、例えば、アイテムを当てはめられるレイアウトパターンが無い場合や、表示領域に当てはめられるコンテンツが無い場合等が考えられ得る。
レイアウトパターンを作成する処理について例示する。表示制御装置100は、例えばサーバ装置を検索して、適するレイアウトパターンをダウンロードしてもよい。表示制御装置100は、また例えば、他ユーザが使っているレイアウトパターンが公開され、そのレイアウトパターンがアイテムの新規表示に適している場合、そのレイアウトパターンをダウンロードして利用してもよい。
表示制御装置100は、また例えば類似するレイアウトパターンを利用してもよい。例えば、未定義の<動画>というコンテンツ種類を属性にもつアイテムを表示装置10に表示するような追加表示要求が入力された場合、表示制御装置100は、それ以外の属性(例えば表示領域)等から表示に適したレイアウトパターンを探し出してもよい。そして、表示制御装置100は、探し出したレイアウトパターンに、追加表示するアイテムを当てはめて表示するように表示装置10を制御してもよい。
例えば、定義済みの<静止画>というコンテンツ種類を許容するレイアウトパターンを既に有している場合、表示制御装置100は、未定義のコンテンツ種類である<動画>を属性にもつアイテムを表示装置10に表示する際に、静止画を許容するレイアウトパターンに動画を当てはめてもよい。そして表示制御装置100は、例えば静止画を許容するレイアウトパターンに動画を当てはめることを採用した場合は、その対応を記憶しておき、次回以降にも対応できるようにしてもよい。ただし、新たにコンテンツ種類<動画>のレイアウトパターンを何らかの方法で入手した場合は、表示制御装置100は、<動画>をコンテンツ種類の属性に持つアイテムを表示する際には、その入手したレイアウトパターンを用いるようにしてもよい。表示制御装置100は、類似するレイアウトパターンを利用する場合、追加表示するアイテムのコンテンツ種類とは無関係に、表示領域だけを見て類似するレイアウトパターンであるかどうかを判断してもよい。
表示制御装置100は、また例えば、ユーザにレイアウトパターンを作成させてもよい。ユーザにレイアウトパターンを作成させる際には、アイテムを追加表示するタイミングで動的に作成させてもよいし、アイテムを追加表示する前に予めユーザに作成させてもよい。表示制御装置100は、例えばレイアウトパターンをユーザに生成させるアプリケーションを持ち、マウス、ジェスチャ、キーボード、音声等によってユーザにレイアウトパターンをカスタマイズして生成させるようにしてもよい。ユーザにレイアウトパターンを作成させる際には、表示制御装置100は、新規でレイアウトパターンを生成させてもよいし、既存のレイアウトパターンをベースに、または既存のレイアウトパターンを複製した後に、修正を加えさせてもよい。表示制御装置100は、レイアウトパターンを生成させる際に、例えばテキストを表示する領域に対してはフォントサイズ変更や、2行目以降の表示、途中から省略するような表示のようなカスタマイズをユーザに行わせてもよく、画像を表示する領域に対しては表示可能領域の大きさを変更するようなカスタマイズをユーザに行わせてもよい。
表示制御装置100は、また例えば、レイアウトパターンを見つけられない場合に、例えばサーバ装置30に対して、レイアウトパターンの作成を要求するメッセージを通信部110から送っても良い。このメッセージは、例えばひな型選択部134が生成し得る。
ここまでは、上記ステップS102の判断の結果、表示装置10によって表示されているアイテムが存在しないと判断された場合(ステップS102、No)の処理について説明した。一方、上記ステップS102の判断の結果、表示装置10によって既に表示されているアイテムが存在すると判断された場合(ステップS102、Yes)、表示制御装置100は、既存のアイテムの存在を無視することはできず、既に表示されたアイテムとの対応関係から新しい表示状態に遷移させる。ここで既に表示されているアイテムの数は、1つだけとは限らず、複数のアイテムが既に表示装置10で表示されている場合も考えられる。以下においては、既に表示装置10で表示されているアイテムの数が1つだけの場合と、2つ以上の場合の両方が含まれているものとする。表示制御装置100は、表示装置10によって既に表示されているアイテムが存在する場合、まず表示装置10にアイテムを表示させている際に用いられている現在のレイアウトパターンを取得する(ステップS107)。現在のレイアウトパターンの取得は、例えばひな型選択部134が実行し得る。
ステップS107で現在のレイアウトパターンを取得すると、続いて表示制御装置100は、表示装置10で表示済みのアイテム及び新規に追加するアイテムが現在のレイアウトパターンに適用可能かどうか判断する(ステップS108)。ステップS108の判断は、例えば表示形態決定部136が実行し得る。
ステップS108の判断の結果、表示装置10で表示済みのアイテム及び新規に追加するアイテムが現在のレイアウトパターンに適用可能と判断した場合は、続いて表示制御装置100は、表示装置10で表示済みのアイテム(旧アイテム)を再レイアウトする(ステップS109)。ステップS109の旧アイテムの再レイアウト処理は、例えば表示形態決定部136が実行し得る。
レイアウトパターンの適用可否の判断及び旧アイテムの再レイアウト処理の例を示す。表示装置10に表示されるアイテムには、例えば「天気」、「時計」、「ニュース」等の、各アイテムが属するグループがあるケースが考えられる。アイテムが属するグループがある場合、表示制御装置100は、追加されるアイテムのグループを考慮してレイアウトパターンの適用可否の判断及び旧アイテムの再レイアウトを行なってもよい。
図8は、旧アイテムの再レイアウト処理を例示する説明図である。図8は、AグループのアイテムA−1が既に表示装置10で表示されている状態を示したものである。Aグループは例えば「天気」グループであり、アイテムA−1は例えば東京の天気予報であるとする。この状態で、例えば同じAグループのアイテムA−2が新規に追加される場合と、別のBグループのアイテムB−1が新規に追加される場合とで、図8に示したように遷移が分岐してもよい。アイテムA−2は例えばニューヨークの天気予報であり、Bグループは例えば「時計」グループであり、アイテムB−1は例えば東京の時刻であるとする。
表示制御装置100は、例えば、Bグループのアイテムが新規に追加される場合は、主表示領域が1つのレイアウトパターンの使用を継続し、それまで表示されていたアイテムA−1は副表示領域へ表示するように表示を制御するが、Aグループのアイテムが新規に追加され、主表示領域が不足している場合は、主表示領域が2つのレイアウトパターンの使用に切り替えるようにしてもよい。このレイアウトパターンの切り替えはひな型選択部134が実行し得る。表示制御装置100は、このようにアイテムのグループという属性を利用して、適用するレイアウトパターンを切り替えることができる。
表示装置10に表示される各アイテムが優先度情報を持っている場合、表示制御装置100は、例えば、既に表示装置10で表示済みのアイテムと、新規に表示するアイテムの優先度とを比較してもよい。図9は旧アイテムの再レイアウト処理を例示する説明図である。図9は、優先度P10を有するアイテムが既に表示装置10で表示されている状態を示したものである。そして図9は、優先度P10を有するアイテムが既に表示装置10で表示されている状態で、優先度P20、P10、P5を有するアイテムが追加される場合の例である。
既に表示されているアイテムの優先度より高い優先度を持つアイテムが追加される場合は、表示制御装置100は、図9に示したように、その新規アイテムが主表示領域に表示されるように、例えば表示形態決定部136で決定する。また、既に表示されているアイテムの優先度より低い優先度を持つアイテムが追加される場合は、表示制御装置100は、その新規アイテムが副表示領域に表示されるように決定する。もし同一の優先度を持つアイテムが追加される場合は、表示制御装置100は、主表示領域を2つ持つレイアウトパターンに切り替える。このレイアウトパターンの切り替えは例えばひな型選択部134が実行し得る。また表示制御装置100は、例えば、アイテムが有する優先度の和が所定の閾値を上回ったら、レイアウトパターンを変更するようにしてもよい。
同時に、または短時間の間に複数のアイテムが追加される場合も考えられる。同時に、または短時間の間に複数のアイテムが追加される場合、アイテムの追加表示がスタックされてもよい。表示制御装置100は、例えばアイテムを追加表示する際に、アニメーション表示させるように追加表示するアイテムの表示を、例えば表示形態決定部136で制御してもよい。アニメーション表示させるように追加表示するアイテムの表示を制御する場合、表示制御装置100は、最初に表示されるアイテムのアニメーションが完了してから、次のアイテムを表示させるよう、例えば表示形態決定部136で制御してもよい。表示制御装置100は、スタックする順番を、アイテムの追加表示要求が発生した時間順としてもよいし、ある時間内に到着したアイテムの追加表示要求の中で優先度などの指標に基づいて決定しても良い。
なお、表示制御装置100は、あるアイテムの追加表示要求を検知すると、所定の時間、例えば10秒間は、新たなアイテムは表示させなくてもよい。表示制御装置100は、その所定の時間内に追加表示要求を検知したアイテムについては、その所定の時間が経過した後に表示装置10に順次表示させてもよい。その表示についても、表示制御装置100は、時間順に表示装置10に順次表示させてもよく、優先度順に表示装置10に順次表示させてもよい。また表示制御装置100は、優先度が所定の閾値以下のアイテムは所定の時間が経過した後でも表示させずに破棄してもよく、所定の時間(例えば1分後など)に表示装置10に表示させてもよく、アイテムの追加表示要求を検知したことをメールなどで通知するようにしてもよい。また表示制御装置100は、優先度が極めて高いものは、所定の時間が経過する前であっても、割り込みで表示装置10に表示させてもよい。
各レイアウトパターンは許容する様々な限界値を保有してもよい。例えば、各レイアウトパターンはアイテムの表示を許容するスロット数を保有してもよく、許容する優先度の合計値を保有してもよく、許容する表示領域を保有してもよい。
図10は、レイアウトパターンを例示する説明図である。図10には、空きスロットが2つあるレイアウトパターンの例が示されている。現在のレイアウトパターンに空きスロットが2つある場合、表示制御装置100はアイテムをさらに2つまで表示装置10に表示させることが出来る。レイアウトパターンは、表示する最大のアイテム数を定義しておく。最大アイテム数を超えてしまう場合は、表示制御装置100は、適当なアイテムを非表示にする。なお、最大アイテム数を超えてしまった場合、異なるレイアウトパターンの適用が許されるのであれば、表示制御装置100は、その異なるレイアウトパターンに切り替えてアイテムを表示装置10に表示させてもよい。
図11は、レイアウトパターンを例示する説明図である。図11には、優先度P70を有するアイテムが既に表示装置10で表示されている状態が示されている。このレイアウトパターンが、優先度P100までのアイテムの表示を許容するものである場合、優先度P70を有するアイテムが既に表示装置10で表示されていれば、優先度P30までのアイテムが表示可能である。すなわち、表示制御装置100は、表示されているアイテムの優先度の合計が、レイアウトパターンに適用されている最大の優先度を超えないようにアイテムを表示する制御を行う。レイアウトパターンに許容する優先度の情報を設定しておくことで、表示制御装置100は、優先度の高い情報を優先したり、無駄な表示を少なくしたりすることで、ユーザにアイテムを気付かせやすくする効果が期待できる。
図12は、レイアウトパターンを例示する説明図である。図12には、縦300ピクセル、横400ピクセルの表示可能領域がある状態が示されている。表示制御装置100は、この表示可能領域よりも小さな領域でアイテムを表示するようにアイテムの表示を制御する。アイテムを追加する際に、この表示可能領域よりも大きな表示領域が必要である場合は、表示制御装置100は、例えば表示するアイテムの大きさの変更、別のレイアウトパターンの適用、新規アイテムの表示の破棄などの制御を実行し得る。
表示制御装置100は、表示装置10に追加表示させるアイテムの属性によって同時表示可能数を定め、その同時表示可能数に基づいてアイテムを表示装置10で表示させてもよい。例えば、アイテムとして既に表示装置10で天気予報というアイテムが2つ(例えば、東京の天気予報とニューヨークの天気予報)表示されており、さらにアイテムとして同じく天気予報(例えばロンドンの天気予報)を1つ表示しようとする場合は、表示制御装置100は、レイアウトパターンを変更して天気予報を合わせて3つ表示するようにしても良い。また例えば、アイテムとして既に天気予報が2つ(例えば、東京の天気予報とニューヨークの天気予報)表示されており、さらにアイテムとして別のグループである時計(例えば、ニューヨークの時計)を1つ表示しようとする場合は、表示制御装置100は、レイアウトパターンを変更せずに、天気予報を1つ、時計を1つ表示するようにしても良い。また例えば、アイテムとして既に天気予報が2つ(例えば、東京の天気予報とニューヨークの天気予報)表示されており、さらにアイテムとしてメールを表示しようとする場合は、レイアウトパターンを変更せずに、メールのみを表示するようにしてもよい。
表示装置10に表示される各アイテムは、表示を持続する表示持続時間(ライフタイム)を有してもよい。そして表示制御装置100は、各アイテムが有するライフタイムに応じてアイテムの表示を変化させてもよい。ライフタイムとしては、例えば下記で示すようなものが考えられる。
・一定の表示後に消去する。
・一定の表示後にサイズを小さく変形して表示が残る。表示が残る場合、主表示領域から副表示領域に移動させてもよい。
・常時表示する。
・ユーザやシステムによって強制的に消滅が指示される。
表示装置10に表示される各アイテムは、複数の表示形態を有してもよい。図13は、アイテムの表示形態の例を示す説明図である。図13には、あるアイテムについて3つの表示形態A、B、Cが示されている。表示形態Aは、例えば情報量が10、表示量が85と定められた表示形態である。表示形態Bは、例えば情報量が5、表示量が48と定められた表示形態である。表示形態Cは、例えば情報量が1、表示量が28と定められた表示形態である。表示形態決定部136は、複数の表示形態を持つアイテムを表示装置10で表示しようとする際に、選択されたレイアウトパターンと、アイテムの表示形態と、を考慮に入れてアイテムの配置及び表示形態を決定する。このように表示装置10に表示される各アイテムが複数の表示状態を持つことによって、表示制御装置100は、新規アイテムの追加表示の際に、現在のレイアウトパターンを変更せずにそのまま適用して表示する可能性が上がる効果がある。
表示装置10にアイテムをアニメーションによって追加表示する場合、アニメーションにより表示が重なってしまう場合は、表示制御装置100は、アニメーションをシーケンシャルに行うことで、表示が重ならなくしてもよい。図14〜図16は、表示制御装置100によるアニメーション表示の制御例を示す説明図である。図14は、3つのアイテムITa、ITb、ITcが表示装置10によって表示されている状態で、アイテムITa、ITb、ITcの順に、1つずつ画面の上部に向かって移動することで画面から消去するアニメーション表示の制御例を示している。図15は、1つのアイテムITaが表示装置10によって表示されている状態で、新たなアイテムITbを追加表示する際のアニメーション表示の制御例を示している。
図16は、アイテムが表示装置10によって何も表示されていない状態で、3つのアイテムを表示する際のアニメーション表示の制御例を示している。例えば図16は、ユーザが「天気とニュースと野球の結果を教えて」と発話した場合に、天気予報、ニュース、野球の結果の順にアイテムITa、ITb、ITcを表示する際の、表示制御装置100によるアニメーション表示の制御例である。従って図16に示した例では、アイテムITaは天気予報を、アイテムITbはニュースを、ITcは野球の試合結果を、それぞれ示すアイテムである。
アイテムが追加される順番によっても、様々な表示パターンが考えられ得る。図17、図18は、表示制御装置100によるアイテムの追加表示の制御例を示す説明図である。例えば現在のレイアウトパターンが、図17のように右から左の順にアイテムITa、ITb、ITcを追加表示するレイアウトパターンであったり、図18のように下から上の順にアイテムITa、ITb、ITcを追加表示するレイアウトパターンであったりする場合、表示制御装置100は、追加される順にアイテムを表示装置10に表示させる制御を実行してもよい。なお、表示制御装置100は、アイテムが追加された時間ではなく、アイテムの作成日、更新日、優先度等の情報に基づいてソートして表示装置10に表示させても良い。
追加されるアイテムのコンテンツ種類によっても様々な表示パターンが考えられ得る。例えば、コンテンツ種類が<テキスト>のアイテムと<画像>のアイテムを表示装置10で表示する場合、片方のアイテムを追加した段階で次のアイテムが表示されることが確定しているとは限らない。つまり、最初のアイテムを追加した時点では、表示制御装置100は、その時点における最適なレイアウトパターンを選択するが、2つのアイテムを表示する最終的な表示が同じであっても、違う表示形態を通過する可能性がある。もちろん追加するアイテムが予め分かっている場合は、表示制御装置100は、最終形態のレイアウトパターンを予め選択して、そのレイアウトパターンに合わせてアイテムを順次追加して表示していってもよい。
図19は、表示制御装置100によって表示装置10に表示されるアイテムの一例を示す説明図であり、図20は、表示制御装置100によって図19に示した2つのアイテムが表示装置10に表示されるパターンを示す説明図である。
図19には、画像アイテムIT1とテキストアイテムIT2の2つのアイテムが示されている。そして図20には、最初に画像アイテムのみが表示装置10に表示されている状態で、テキストアイテムが表示装置10に追加表示されるパターンが5通り示されている。以下に、表示制御装置100による5通りのテキストアイテムの追加表示パターンを図20の左から順に説明する。
(1)テキスト表示の棄却
既に表示されているアイテムより優先度が低かったり、アイテムグループが異なっていたりする等して、テキストアイテムを表示装置10に表示させないパターンである。
(2)テキスト表示
アイテムグループが同じであり、既に表示されているアイテムとの関連性が高く、また既に表示されているアイテムと優先度が同程度の場合に、テキストアイテムを画像アイテムに重畳させて表示装置10に表示させるパターンである。
(3)テキスト表示
アイテムグループが異なっており、既に表示されているアイテムとの関連性が低く、また優先度が同程度の場合に、テキストアイテムを画像アイテムに重畳させないように表示装置10に表示させるパターンである。
(4)テキスト表示
アイテムグループが異なっており、既に表示されているアイテムとの関連性が低く、また優先度が既に表示されているアイテムより高い場合に、テキストアイテムを主表示領域に、画像アイテムを副表示領域に、それぞれ表示装置10に表示させるパターンである。
(5)テキスト表示
既に表示されているアイテムと優先度が同程度の場合に、テキストアイテムを画像アイテムに主表示領域に並べて表示装置10に表示させるパターンである。この場合、新規に追加表示されるテキストアイテムは、例えば既に表示されている画像アイテムの右側に表示されてもよい。
もちろん、表示制御装置100の制御による表示パターンはこの5つのパターンに限定されるものではない。
アイテムが2個以上追加される場合に、レイアウトパターンで表示アイテム数が固定のとき、表示制御装置100は、アイテムの追加によりレイアウトパターンの表示アイテム数が上限を超える場合は、適当なアイテムを消去させて、表示スロットを開けるようにしてもよい。アイテムを消去するルールとしては、例えば優先度が最も低いアイテム、表示している時間がもっとも長いアイテム等が挙げられる。
アイテムが2個以上追加される場合に、それぞれ異なる表示スロット数を持つレイアウトパターンを有していれば、表示制御装置100は、アイテムの追加により最適な表示スロットをもつレイアウトパターンに乗り換えてもよい。表示制御装置100が有する、最大の表示スロット数を持つレイアウトパターンでも表示しきれない場合は、表示制御装置100は、上述したように適当なアイテムを消去させてもよい。表示制御装置100は、アイテムの優先度を見て、優先度が低ければその新規アイテムを表示させずに、上述したようにその新規アイテムの破棄などをしてもよい。
表示制御装置100は、新規にアイテムを追加表示させる際に、レイアウトの更新をブロックし、表示を維持するようにしてもよい。例えば表示制御装置100は、ユーザの状態を検出してレイアウトの更新をブロックしてもよい。その際にレイアウトの全体をブロックしてもよく、一部分だけをブロックしてもよい。例えば表示制御装置100は、主表示領域だけ更新をブロックしてもよい。表示制御装置100は、主表示領域だけ更新をブロックしている間に、副表示領域にアイテムを表示させることが出来る。逆に表示制御装置100は、副表示領域だけ更新をブロックしてもよい。
例えば、ユーザの顔や視線が画面の表示物に向いていて、かつ、所定時間以上ユーザが同じ場所を眺めていたり、テキストが表示されている部分をユーザの視線が追っていたりすることを検出すると、表示制御装置100は、レイアウトの更新をブロックしてもよい。また例えば、ユーザの所定のジェスチャ、音声の発話、マウス、キーボード、タッチパネルの操作といった、ユーザの意図的な操作を検出すると、表示制御装置100は、レイアウトの更新をブロックしてもよい。
優先度の高いアイテムが表示されており、その優先度が所定値以上の場合は、表示制御装置100は、レイアウトの更新をブロックし、その優先度の高いアイテムをユーザの目の付きやすいところに配置するようにしてもよい。
表示制御装置100は、レイアウトの更新のブロックを、例えばユーザの視線や体勢が画面に対して向かなくなった場合や、任意の時間の経過後に解除してもよい。また表示制御装置100は、レイアウトの更新のブロックを、優先度が高いアイテムが表示されなくなった際に解除してもよい。また表示制御装置100は、レイアウトの更新のブロックを、ユーザが意図的に新しいアイテムを所望した場合に解除してもよい。表示制御装置100は、レイアウトの更新のブロックを解除すると、ブロックしている間にスタックしていたアイテムを表示装置10に表示させても良い。
アイテムに設定される優先度は、時間経過とともに変化され得る。表示制御装置100は、アイテムの優先度を時間の経過とともに連続的に減衰(または増加)させてもよいし、ある時間内は優先度を維持し、その時間が経過した後に減衰(または増加)させてもよい。例えば、アイテムとして出勤時間を知らせるタイマーを表示させる場合には、表示制御装置100は、時間の経過に伴ってそのアイテムの優先度を増加させる。そして表示制御装置100は、アイテムに設定される優先度の変化に応じてレイアウトパターンを優先度に合ったものに動的に変化させてもよい。
表示制御装置100は、ユーザが何らかの方法、例えば視線を向ける、音声を発話する、マウス、キーボード、タッチパネルを操作する等の方法によって表示されているアイテムが既視状態になるまで優先度を維持し、アイテムが既視状態になると優先度を減衰(または増加)させてもよい。例えばアイテムとしてメールの受信通知を表示装置10に表示させる場合、ユーザがそのメールの受信通知を既視状態にすると、表示制御装置100は、そのアイテムの優先度を低下させてもよい。
アイテムとして例えばテキストアイテムを既視状態と判定するためには、表示制御装置100は、ユーザの視線を検知し、テキストを読み終わるまでそのユーザの視線をトラッキングしたり、テキスト量に応じて既視状態となるまでの時間を算出したりしてもよい。
表示制御装置100は、逆に、アイテムが既視状態になると、そのアイテムの優先度を維持したり、上げたりしてもよい。アイテムとして例えばニュースのように長い文章が表示されたり、閲覧者が同時に複数存在しているような場合は、アイテムが既視状態になると、そのアイテムの優先度を維持したり、優先度を上げたりしても良い。既視状態になった際の優先度は、コンテンツ種類(画像・テキスト等)や、サーバ装置30が提供するサービスの種類(ニュース、SNS、天気、時計等)に応じて適切に決定され得る。
表示制御装置100は、外部要因によってアイテムの優先度を変化させてもよい。例えばアイテムとして電車の遅延情報が出ていたが、既に電車が運転を再開して情報が古くなった場合に、表示制御装置100は、そのアイテムの優先度を低下させてもよい。また例えば、アイテムとして19時からのTV番組の推薦通知が表示されていたが、時間が過ぎて番組が終了した場合に、表示制御装置100は、そのアイテムの優先度を低下させてもよい。また例えば、アイテムとして大雨警報を通知する情報が表示されていたが、警報から注意報に格下げになった場合に、表示制御装置100は、そのアイテムの優先度を低下させてもよい。
アイテムの追加に伴うレイアウトパターンの変化のバリエーションを示す。表示制御装置100は、既に表示されているアイテムのアイテムグループと、追加表示しようとするアイテムのアイテムグループとを比較し、その比較結果に基づいて表示生成位置を変更してもよい。例えば同じアイテムグループの追加であれば、表示制御装置100は、アイテム間の関連性を示すために、既に表示されているアイテムグループのアイテムから表示し、他のアイテムグループであれば、外部から表示するようにしてもよい。そのため表示制御装置100は、最終的に同じレイアウトパターンに遷移する場合も、トランジションの見え方を異ならせてもよい、
図21は、アイテムの追加表示に伴うレイアウトパターンの変化のバリエーションを示す説明図である。図21には、主表示領域にアイテムを1つだけ表示できるレイアウトパターン−Aが適用され、表示装置10によってアイテムA−1が既に主表示領域に表示されている場合に、アイテムの追加表示に伴うレイアウトパターンの変化を3通り示されている。以下に、表示制御装置100による3通りのレイアウトパターンの変化を図21の左から順に説明する。
(1)既に表示されているアイテムのアイテムグループと異なるアイテムグループのアイテムを追加表示する際に、レイアウトパターンを維持する。アイテムA−1が表示されている場合に、そのアイテムA−1と異なるアイテムグループのアイテムB−1が表示される場合に、表示制御装置100は、主表示領域にアイテムを1つだけ表示できるレイアウトパターン−Aを維持した上で、アイテムA−1を副表示領域に移動させ、アイテムB−1を主表示領域に表示させる。
(2)既に表示されているアイテムのアイテムグループと同じアイテムグループのアイテムを追加表示する際に、レイアウトパターンを変更する。アイテムA−1が表示されている場合に、そのアイテムA−1と同じアイテムグループのアイテムA−2が表示される場合に、表示制御装置100は、主表示領域にアイテムを2つ表示できるレイアウトパターン−Bに変更した上で、アイテムA−1、A−2を主表示領域に表示させる。
(3)既に表示されているアイテムのアイテムグループと異なるアイテムグループのアイテムを追加表示する際に、レイアウトパターンを変更する。アイテムA−1が表示されている場合に、そのアイテムA−1と異なるアイテムグループのアイテムB−1が表示される場合に、表示制御装置100は、表示領域にアイテムを2つ表示できるレイアウトパターン−Bに変更した上で、アイテムA−1、B−1を主表示領域に表示させる。
もちろん、表示制御装置100の制御によるレイアウトパターンの変化はこの3つのパターンに限定されるものではない。
表示制御装置100は、表示装置10が表示する画面を見ているユーザの数に応じてレイアウトパターンを変更してもよい。表示装置10が表示する画面を見ているユーザが2人以上いる場合、表示制御装置100は、主表示領域や副表示領域に表示可能なアイテム数(スロット数)をユーザごとに異ならせてもよい。また表示装置10が表示する画面を見ているユーザが2人以上いる場合、表示制御装置100は、画面を分割して表示するような表示制御を行なっても良い。また表示装置10が表示する画面を見ているユーザが2人以上いる場合、表示制御装置100は、発話したユーザに応じた表示制御を行なっても良い。なお発話したユーザは、音源方向、声色などで識別することが可能である。なお、ここでの複数ユーザは、ユーザが実際に同一の画面の前にいる場合、またはネットワークで接続された遠隔地にいる場合のいずれかが含まれ得る。
<2.ハードウェア構成例>
次に、図22を参照して、本開示の一実施形態にかかる表示制御装置100のハードウェア構成について説明する。図22は、本開示の実施形態にかかる表示制御装置100のハードウェア構成例を示すブロック図である。上記の各アルゴリズムは、例えば、図22に示す情報処理装置のハードウェア構成を用いて実行することが可能である。つまり、当該各アルゴリズムの処理は、コンピュータプログラムを用いて図22に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、接触式又は非接触式のICチップ、接触式又は非接触式のICカード、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy−phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
図22に示すように、このハードウェアは、主に、CPU902と、ROM904と、RAM906と、ホストバス908と、ブリッジ910と、を有する。さらに、このハードウェアは、外部バス912と、インターフェース914と、入力部916と、出力部918と、記憶部920と、ドライブ922と、接続ポート924と、通信部926と、を有する。但し、上記のCPUは、Central Processing Unitの略である。また、上記のROMは、Read Only Memoryの略である。そして、上記のRAMは、Random Access Memoryの略である。
CPU902は、例えば、演算処理装置又は制御装置として機能し、ROM904、RAM906、記憶部920、又はリムーバブル記録媒体928に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ROM904は、CPU902に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM906には、例えば、CPU902に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス908を介して相互に接続される。一方、ホストバス908は、例えば、ブリッジ910を介して比較的データ伝送速度が低速な外部バス912に接続される。また、入力部916としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部916としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
出力部918としては、例えば、CRT、LCD、PDP、又はELD等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のCRTは、Cathode Ray Tubeの略である。また、上記のLCDは、Liquid Crystal Displayの略である。そして、上記のPDPは、Plasma DisplayPanelの略である。さらに、上記のELDは、Electro−Luminescence Displayの略である。
記憶部920は、各種のデータを格納するための装置である。記憶部920としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のHDDは、Hard Disk Driveの略である。
ドライブ922は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体928に記録された情報を読み出し、又はリムーバブル記録媒体928に情報を書き込む装置である。リムーバブル記録媒体928は、例えば、DVDメディア、Blu−rayメディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体928は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。但し、上記のICは、Integrated Circuitの略である。
接続ポート924は、例えば、USBポート、IEEE1394ポート、SCSI、RS−232Cポート、又は光オーディオ端子等のような外部接続機器930を接続するためのポートである。外部接続機器930は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。但し、上記のUSBは、Universal Serial Busの略である。また、上記のSCSIは、Small Computer System Interfaceの略である。
通信部926は、ネットワーク932に接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB用の通信カード、光通信用のルータ、ADSL用のルータ、又は接触又は非接触通信用のデバイス等である。また、通信部926に接続されるネットワーク932は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内LAN、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のLANは、Local Area Networkの略である。また、上記のWUSBは、Wireless USBの略である。そして、上記のADSLは、Asymmetric Digital Subscriber Lineの略である。
以上、表示制御装置100のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<2.まとめ>
以上説明したように本開示の一実施形態によれば、アイテムの追加表示要求に応じてアイテムが順次表示されていくシステムにおいて、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが可能な表示制御装置100が提供される。本開示の一実施形態に係る表示制御装置100は、レイアウトパターンにアイテムを当てはめることで、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが出来る。
本開示の一実施形態に係る表示制御装置100は、レイアウトパターンにアイテムを当てはめる際に、既に表示されているアイテムの内容や、これから追加表示しようとするアイテムの内容に応じて、使用するレイアウトパターンを決定する。アイテムの内容としては、アイテムのコンテンツ種類、アイテムの優先度等が含まれ得る。本開示の一実施形態に係る表示制御装置100は、アイテムの内容に応じて使用するレイアウトパターンを決定することで、様々な形態をもつオブジェクトを自動的に最適化して表示装置10に表示させることが出来る。
本明細書の各装置が実行する処理における各ステップは、必ずしもシーケンス図またはフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、各装置に内蔵されるCPU、ROMおよびRAMなどのハードウェアを、上述した各装置の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
また本開示の一実施形態に係る表示制御装置100は、表示制御装置100の処理の結果として表示される画像を表示するディスプレイを備える装置とは別の装置(たとえばインターネット等のネットワークを介してディスプレイを備える装置と接続されるサーバ装置)として実施されてもよいし、サーバ装置から情報を受ける端末装置で実施されてもよい。また本開示の一実施形態に係る表示制御装置100の構成は、単独の装置で実現されてもよく、複数の装置が連携するシステムで実現されても良い。複数の装置が連携するシステムには、例えば複数のサーバ装置の組み合わせ、サーバ装置と端末装置との組み合わせ等が含まれ得る。
なお、上記実施形態で示したユーザインタフェースやアプリケーションを実現するソフトウェアは、インターネット等のネットワークを介して使用するウェブアプリケーションとして実現されてもよい。ウェブアプリケーションは、例えば、HTML(HyperText Markup Language)、SGML(Standard Generalized Markup Language)、XML(Extensible Markup Language)などのマークアップ言語により実現されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、
前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、
を備える、表示制御装置。
(2)
前記既表示アイテムは複数であり、前記表示形態決定部は、複数の前記既表示アイテムの関連情報と前記追加表示アイテムの関連情報とに応じて前記追加表示アイテムの表示形態を決定する、前記(1)に記載の表示制御装置。
(3)
前記表示形態決定部は、複数の前記既表示アイテムのレイアウトに応じて前記追加表示アイテムの表示形態を決定する、前記(2)に記載の表示制御装置。
(4)
前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムの大きさを決定する、前記(1)〜(3)のいずれかに記載の表示制御装置。
(5)
前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムに関する情報量を決定する、前記(1)〜(4)のいずれかに記載の表示制御装置。
(6)
前記表示形態決定部は、ユーザの物理的状態に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、前記(1)〜(5)のいずれかに記載の表示制御装置。
(7)
前記表示形態決定部は、前記ユーザの物理的状態として該ユーザの位置に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、前記(6)に記載の表示制御装置。
(8)
前記表示形態決定部は、前記追加表示アイテムの優先度に応じて表示アイテムの表示サイズを決定する、前記(1)〜(7)のいずれかに記載の表示制御装置。
(9)
前記表示形態決定部は、前記既表示アイテムの優先度にも基づいて表示アイテムの配置を決定する、前記(8)に記載の表示制御装置。
(10)
前記表示形態決定部は、前記追加表示アイテムに表示領域の指定があれば、該指定に従って表示アイテムの配置を決定する、前記(1)〜(9)のいずれかに記載の表示制御装置。
(11)
前記表示形態決定部は、前記既表示アイテムの属性に基づいて表示アイテムの配置を決定する、前記(1)〜(10)のいずれかに記載の表示制御装置。
(12)
前記表示形態決定部は、各表示アイテムに設定された表示持続時間に基づいて各表示アイテムの表示を制御する、前記(1)〜(11)のいずれかに記載の表示制御装置。
(13)
表示アイテムの追加要求が発生すると、前記第1の情報及び前記第2の情報に応じて表示アイテムがレイアウトされるひな型を選択するひな型選択部をさらに備える、前記(1)〜(12)のいずれかに記載の表示制御装置。
(14)
前記ひな型は、主表示領域と、1以上の副表示領域と、を備える、前記(13)に記載の表示制御装置。
(15)
前記ひな型選択部は、前記ひな型選択部が選択可能なひな型で適するものが存在しなければ、新しいひな型を取得する、前記(13)または(14)に記載の表示制御装置。
(16)
前記ひな型選択部は、表示アイテムの追加要求に伴ってひな型の変更の有無を判断する、前記(13)〜(15)のいずれかに記載の表示制御装置。
(17)
前記ひな型選択部は、表示アイテムの追加要求により表示アイテムの数が所定の閾値を超えたらひな型を変更する、前記(13)〜(16)のいずれかに記載の表示制御装置。
(18)
前記ひな型選択部は、表示アイテムの優先度の和が所定の閾値を超えたらひな型を変更する、前記(13)〜(17)のいずれかに記載の表示制御装置。
(19)
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を含む、表示制御方法。
(20)
コンピュータに、
表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
を実行させる、コンピュータプログラム。
1 :表示システム
10 :表示装置
20 :入力装置
30 :サーバ装置
100 :表示制御装置
110 :通信部
120 :入力部
130 :制御部
132 :検知部
134 :ひな型選択部
136 :表示形態決定部
140 :記憶部
150 :出力部

Claims (20)

  1. 表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定する表示形態決定部と、
    前記表示形態決定部により決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行する発行部と、
    を備える、表示制御装置。
  2. 前記既表示アイテムは複数であり、前記表示形態決定部は、複数の前記既表示アイテムの関連情報と前記追加表示アイテムの関連情報とに応じて前記追加表示アイテムの表示形態を決定する、請求項1に記載の表示制御装置。
  3. 前記表示形態決定部は、複数の前記既表示アイテムのレイアウトに応じて前記追加表示アイテムの表示形態を決定する、請求項2に記載の表示制御装置。
  4. 前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムの大きさを決定する、請求項1に記載の表示制御装置。
  5. 前記表示形態決定部は、前記追加表示アイテムの表示形態として該追加表示アイテムに関する情報量を決定する、請求項1に記載の表示制御装置。
  6. 前記表示形態決定部は、ユーザの物理的状態に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、請求項1に記載の表示制御装置。
  7. 前記表示形態決定部は、前記ユーザの物理的状態として該ユーザの位置に応じて前記追加表示アイテムの配置及び該追加表示アイテムの表示形態を決定する、請求項6に記載の表示制御装置。
  8. 前記表示形態決定部は、前記追加表示アイテムの優先度に応じて表示アイテムの表示サイズを決定する、請求項1に記載の表示制御装置。
  9. 前記表示形態決定部は、前記既表示アイテムの優先度にも基づいて表示アイテムの配置を決定する、請求項8に記載の表示制御装置。
  10. 前記表示形態決定部は、前記追加表示アイテムに表示領域の指定があれば、該指定に従って表示アイテムの配置を決定する、請求項1に記載の表示制御装置。
  11. 前記表示形態決定部は、前記既表示アイテムの属性に基づいて表示アイテムの配置を決定する、請求項1に記載の表示制御装置。
  12. 前記表示形態決定部は、各表示アイテムに設定された表示持続時間に基づいて各表示アイテムの表示を制御する、請求項1に記載の表示制御装置。
  13. 表示アイテムの追加要求が発生すると、前記第1の情報及び前記第2の情報に応じて表示アイテムがレイアウトされるひな型を選択するひな型選択部をさらに備える、請求項1に記載の表示制御装置。
  14. 前記ひな型は、主表示領域と、1以上の副表示領域と、を備える、請求項13に記載の表示制御装置。
  15. 前記ひな型選択部は、前記ひな型選択部が選択可能なひな型で適するものが存在しなければ、新しいひな型を取得する、請求項13に記載の表示制御装置。
  16. 前記ひな型選択部は、表示アイテムの追加要求に伴ってひな型の変更の有無を判断する、請求項13に記載の表示制御装置。
  17. 前記ひな型選択部は、表示アイテムの追加要求により表示アイテムの数が所定の閾値を超えたらひな型を変更する、請求項13に記載の表示制御装置。
  18. 前記ひな型選択部は、表示アイテムの優先度の和が所定の閾値を超えたらひな型を変更する、請求項13に記載の表示制御装置。
  19. 表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
    決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
    を含む、表示制御方法。
  20. コンピュータに、
    表示アイテムの追加要求に応じて画面に追加して表示される追加表示アイテムに関する第1の情報と、前記追加表示アイテムが表示される前に前記画面に表示されている既表示アイテムに関する第2の情報とに基づいて、前記追加表示アイテムの表示形態を決定することと、
    決定される前記追加表示アイテムの表示形態に基づいて、前記画面の表示を制御する表示制御情報を発行することと、
    を実行させる、コンピュータプログラム。
JP2014123566A 2014-06-16 2014-06-16 表示制御装置、表示制御方法及びコンピュータプログラム Pending JP2016004375A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014123566A JP2016004375A (ja) 2014-06-16 2014-06-16 表示制御装置、表示制御方法及びコンピュータプログラム
US15/314,581 US10444942B2 (en) 2014-06-16 2015-06-04 Display control apparatus and display control method to optimize and display objects of various forms
PCT/JP2015/066267 WO2015194386A1 (ja) 2014-06-16 2015-06-04 表示制御装置、表示制御方法及びコンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014123566A JP2016004375A (ja) 2014-06-16 2014-06-16 表示制御装置、表示制御方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2016004375A true JP2016004375A (ja) 2016-01-12

Family

ID=54935376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014123566A Pending JP2016004375A (ja) 2014-06-16 2014-06-16 表示制御装置、表示制御方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US10444942B2 (ja)
JP (1) JP2016004375A (ja)
WO (1) WO2015194386A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503629A (ja) * 2016-12-20 2020-01-30 ワンコネクト・スマート・テクノロジー・カンパニー・リミテッド・(シェンチェン) ページ表示方法、装置、サーバー及び記憶媒体
JP7065740B2 (ja) 2018-03-26 2022-05-12 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド アプリケーション機能情報表示方法、装置、及び端末装置
US11334316B2 (en) 2018-05-23 2022-05-17 Sony Corporation Information processing apparatus and information processing method

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10915234B2 (en) * 2016-06-01 2021-02-09 Motorola Mobility Llc Responsive, visual presentation of informational briefs on user requested topics
CN109407312A (zh) * 2018-09-27 2019-03-01 深圳奇迹智慧网络有限公司 一种头戴式显示设备
WO2020198903A1 (zh) * 2019-03-29 2020-10-08 西安诺瓦电子科技有限公司 显示控制系统和节目更新系统
US11270485B2 (en) * 2019-07-22 2022-03-08 Adobe Inc. Automatic positioning of textual content within digital images
US11295495B2 (en) 2019-10-14 2022-04-05 Adobe Inc. Automatic positioning of textual content within digital images
US11877897B2 (en) 2020-10-02 2024-01-23 Cilag Gmbh International Situational awareness of instruments location and individualization of users to control displays
US12484897B2 (en) 2020-10-02 2025-12-02 Cilag Gmbh International Surgical instrument with adaptive configuration control
US12213801B2 (en) 2020-10-02 2025-02-04 Cilag Gmbh International Surgical visualization and particle trend analysis system
US12472032B2 (en) * 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
US11883022B2 (en) 2020-10-02 2024-01-30 Cilag Gmbh International Shared situational awareness of the device actuator activity to prioritize certain aspects of displayed information
US12580072B2 (en) 2020-10-02 2026-03-17 Cilag Gmbh International Cloud analytics packages
US20220108788A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Reconfiguration of display sharing
US12016566B2 (en) 2020-10-02 2024-06-25 Cilag Gmbh International Surgical instrument with adaptive function controls
US11992372B2 (en) 2020-10-02 2024-05-28 Cilag Gmbh International Cooperative surgical displays
US11963683B2 (en) 2020-10-02 2024-04-23 Cilag Gmbh International Method for operating tiered operation modes in a surgical system
US20220104694A1 (en) * 2020-10-02 2022-04-07 Ethicon Llc Control of a display outside the sterile field from a device within the sterile field
US11672534B2 (en) 2020-10-02 2023-06-13 Cilag Gmbh International Communication capability of a smart stapler
US11830602B2 (en) 2020-10-02 2023-11-28 Cilag Gmbh International Surgical hub having variable interconnectivity capabilities
US12064293B2 (en) 2020-10-02 2024-08-20 Cilag Gmbh International Field programmable surgical visualization system
US11748924B2 (en) 2020-10-02 2023-09-05 Cilag Gmbh International Tiered system display control based on capacity and user operation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7437317B1 (en) * 2000-01-12 2008-10-14 Oracle International Corporation System and method for providing a distributed marketing presentation
JP2010102053A (ja) 2008-10-23 2010-05-06 Victor Co Of Japan Ltd 映像生成装置及び映像表示装置
US20150248698A1 (en) * 2010-06-23 2015-09-03 Google Inc. Distributing content items
JP5701452B2 (ja) * 2012-06-14 2015-04-15 三菱電機株式会社 情報機器および操作画面の表示方法
WO2014127535A1 (en) * 2013-02-22 2014-08-28 Google Inc. Systems and methods for automated content generation
DE112014007077T5 (de) * 2014-10-20 2017-07-06 Google Inc. Erzeugung von inhaltselementen mit beliebiger grösse

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503629A (ja) * 2016-12-20 2020-01-30 ワンコネクト・スマート・テクノロジー・カンパニー・リミテッド・(シェンチェン) ページ表示方法、装置、サーバー及び記憶媒体
JP7065740B2 (ja) 2018-03-26 2022-05-12 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド アプリケーション機能情報表示方法、装置、及び端末装置
US11334316B2 (en) 2018-05-23 2022-05-17 Sony Corporation Information processing apparatus and information processing method

Also Published As

Publication number Publication date
US20170199632A1 (en) 2017-07-13
US10444942B2 (en) 2019-10-15
WO2015194386A1 (ja) 2015-12-23

Similar Documents

Publication Publication Date Title
JP2016004375A (ja) 表示制御装置、表示制御方法及びコンピュータプログラム
US11632591B2 (en) Recording and broadcasting application visual output
US11937021B2 (en) Camera and visitor user interfaces
US11843838B2 (en) User interfaces for accessing episodes of a content series
US10921979B2 (en) Display and processing methods and related apparatus
TWI648673B (zh) 用於在一使用者介面中進行導覽之欄介面的方法,裝置以及電腦可讀儲存媒體
US10642574B2 (en) Device, method, and graphical user interface for outputting captions
US20220365831A1 (en) Devices, Methods, and Graphical User Interfaces for Automatically Providing Shared Content to Applications
JP6543774B2 (ja) コンピューティングデバイスのプロパティに基づく情報のランク付け
US20240406290A1 (en) Techniques for connecting to external devices
EP4341812A1 (en) Devices, methods, and graphical user interfaces for automatically providing shared content to applications
US10445051B1 (en) Recording and replay of support sessions for computing devices
CN110971507B (zh) 一种信息显示方法及电子设备
JP2017084353A (ja) 情報システム、サーバ装置、端末装置、情報処理方法、およびプログラム
US20250315206A1 (en) Devices, Methods, and Graphical User Interfaces for Outputting Audio from Audio Streams
US12574442B2 (en) Techniques for managing connections between computer systems
KR102913108B1 (ko) 디지털 어시스턴트 하드웨어 추출
JP2014522068A (ja) 源からの通信およびコンテンツを制御する方法およびユーザー・インターフェース
WO2022245599A1 (en) Devices, methods, and graphical user interfaces for automatically providing shared content to applications
CN120744247A (zh) 视频推荐方法、装置、电子设备、存储介质及程序产品
JP2020201658A (ja) 情報処理装置、および情報処理方法
CN111416766A (zh) 信息发布方法及电子设备