JP2012181701A - Information display device and information display method - Google Patents
Information display device and information display method Download PDFInfo
- Publication number
- JP2012181701A JP2012181701A JP2011044429A JP2011044429A JP2012181701A JP 2012181701 A JP2012181701 A JP 2012181701A JP 2011044429 A JP2011044429 A JP 2011044429A JP 2011044429 A JP2011044429 A JP 2011044429A JP 2012181701 A JP2012181701 A JP 2012181701A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- display
- exhibit
- related information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
【課題】ユーザにとって、より利便性の高い情報表示装置及び情報表示方法を提供する。
【解決手段】推定部は、空間中でのカメラの撮影方向を推定する。第1格納部は、空間中における物体の位置を示す位置情報と、物体の属性を示す情報とを格納する。第2格納部は、物体に関連する他の物体の情報である関連情報を格納する。第1抽出部は、映像に含まれる一又は複数の物体の各々について、第1格納部から、各物体の位置情報と、属性情報とを抽出する。第2抽出部は、属性情報に基づいて、第2格納部から、各物体に関連する物体の関連情報を抽出する。第1算出部は、撮影方向と位置情報とに基づいて、各物体の表示位置を算出する。第2算出部は、各物体の表示位置に基づいて、関連情報の表示位置を算出する。第1生成部は、関連情報の表示位置に基づいて、関連情報の画像を生成する。表示部は、映像及び画像を表示する。
【選択図】図2An information display device and an information display method that are more convenient for a user are provided.
An estimation unit estimates a shooting direction of a camera in space. The first storage unit stores position information indicating the position of the object in the space and information indicating the attribute of the object. The second storage unit stores related information that is information of other objects related to the object. The first extraction unit extracts position information and attribute information of each object from the first storage unit for each of one or a plurality of objects included in the video. A 2nd extraction part extracts the relevant information of the object relevant to each object from a 2nd storage part based on attribute information. The first calculation unit calculates the display position of each object based on the shooting direction and the position information. The second calculation unit calculates the display position of the related information based on the display position of each object. The first generation unit generates an image of related information based on the display position of the related information. The display unit displays video and images.
[Selection] Figure 2
Description
本発明の実施形態は、情報表示装置及び情報表示方法に関する。 Embodiments described herein relate generally to an information display device and an information display method.
実空間において、ユーザが指示した特定の物体の名称や説明などの情報を、当該実空間を撮影した画像上に重ね合わせて表示する情報表示装置がある。 In real space, there is an information display device that displays information such as the name and description of a specific object designated by a user on an image obtained by photographing the real space.
このような情報表示装置では、ユーザにとって、より利便性の高いものが望まれている。 Such an information display device is desired to be more convenient for the user.
本発明が解決しようとする課題は、ユーザにとって、より利便性の高い情報表示装置及び情報表示方法を提供することである。 The problem to be solved by the present invention is to provide an information display device and an information display method that are more convenient for the user.
上記課題を解決するために、本発明の実施形態に係る情報表示装置は、空間中における一又は複数の物体を撮影したカメラから得られる映像に情報を付加して表示可能な情報表示装置であって、推定部と、第1格納部と、第2格納部と、第1抽出部と、第2抽出部と、第1算出部と、第2算出部と、第1生成部と、表示部とを備える。 In order to solve the above problems, an information display device according to an embodiment of the present invention is an information display device that can display information added to a video obtained from a camera that has photographed one or more objects in a space. The estimation unit, the first storage unit, the second storage unit, the first extraction unit, the second extraction unit, the first calculation unit, the second calculation unit, the first generation unit, and the display unit With.
推定部は、前記空間中での前記カメラの撮影方向を推定し、第1格納部は、前記空間中における前記物体の位置を示す位置情報と、前記物体の属性を示す情報とを格納し、第2格納部は、前記物体に関連する他の物体の情報である関連情報を格納し、第1抽出部は、前記映像に含まれる一又は複数の物体の各々について、前記第1格納部から、各物体の前記位置情報と、前記属性情報とを抽出し、第2抽出部は、前記属性情報に基づいて、前記第2格納部から、前記各物体に関連する物体の前記関連情報を抽出し、第1算出部は、前記撮影方向と前記位置情報とに基づいて、前記各物体の表示位置を算出し、第2算出部は、前記各物体の表示位置に基づいて、前記関連情報の表示位置を算出し、第1生成部は、前記関連情報の表示位置に基づいて、前記関連情報の画像を生成し、
表示部は、前記映像及び前記画像を表示する。
The estimation unit estimates a shooting direction of the camera in the space, and the first storage unit stores position information indicating a position of the object in the space and information indicating an attribute of the object, The second storage unit stores related information, which is information of other objects related to the object, and the first extraction unit receives from the first storage unit each of one or more objects included in the video. The position information and the attribute information of each object are extracted, and the second extraction unit extracts the related information of the object related to each object from the second storage unit based on the attribute information The first calculation unit calculates the display position of each object based on the shooting direction and the position information, and the second calculation unit calculates the related information based on the display position of the object. The display position is calculated, and the first generation unit is based on the display position of the related information. Te, it generates an image of the related information,
The display unit displays the video and the image.
(第1の実施の形態)
第1の実施の形態に係る情報表示装置1は、美術館や博物館等の展示室に設置された展示物(美術品等)や、店舗に陳列された展示物(商品等)に関する情報をユーザに提供し、鑑賞や閲覧の案内を行う情報端末等に好適である。当該情報端末は、携帯型又は据え付け型のどちらでもよい。
(First embodiment)
The information display device 1 according to the first embodiment provides the user with information about exhibits (arts etc.) installed in exhibition rooms such as art museums and museums, and exhibits (products etc.) displayed in stores. It is suitable for information terminals that provide viewing and browsing guidance. The information terminal may be either a portable type or a stationary type.
図1は、情報表示装置1の使用態様の一例図である。情報表示装置1は、その背面にカメラ5を有する。カメラ5は情報表示装置1の周囲に位置する物体を撮影し、その映像を表示部18に表示することができる。情報表示装置1は、ユーザがその向きを自由に変更・可変できることが好ましい。
FIG. 1 is an example of how the information display device 1 is used. The information display device 1 has a camera 5 on the back surface thereof. The camera 5 can photograph an object located around the information display device 1 and display the image on the
ユーザ100が情報表示装置1(カメラ5)を、例えば展示物501,502に向けると、カメラ5から、展示物501の映像301及び展示物502の映像302を得ることができる。表示部18には、映像301映像302を表示するとともに、展示物501及び展示物502に関連する情報(401,402,403)(関連情報と呼ぶ)を、映像301や映像302の表示位置に応じて、併せて表示する。
When the
これにより、ユーザ100は、情報表示装置1に表示された展示物に関する詳細な情報を容易に認識することができる。
Thereby, the
図2は、情報表示装置1を表すブロック図である。情報表示装置1は、推定部11と、第1抽出部12と、第1算出部13と、第2抽出部14と、第1生成部15と、第2算出部16と、第2生成部17と、表示部18と、第1格納部51と、第2格納部52とを備える。図1に示すように、カメラ5が表示部18の裏面に取り付けられているものとするが、これに限るものではない。
FIG. 2 is a block diagram showing the information display device 1. The information display device 1 includes an estimation unit 11, a first extraction unit 12, a first calculation unit 13, a second extraction unit 14, a
表示部18は、カメラ5が撮影した展示室101内の展示物を表示する。推定部11は、展示室におけるカメラ5の撮影方向を推定する。カメラ5が情報表示装置1に内蔵されている場合には、推定部11は、展示室101における情報表示装置1の位置及び向きを測定することにより、撮影方向を推定できる。これにより、表示部18に表示される展示物の表示位置が求まる。詳細は後述する。
The
第1格納部51は、展示室内に存在する一又は複数の展示物の位置を示す「位置情報」と、各展示物の名称や特徴等の属性を示す「属性情報」とを含む。
The
図3は、第1格納部51が格納している、ある展示物の「位置情報」及び「属性情報」の一例を示す。第1格納部51は、属性情報として、展示物の「タイトル」、「展示室の名称」、展示物の「解説」、「ジャンル」、展示物に関連する他の展示物のID(「関連物ID」)、展示物の「制作年代」、「製作者名」、展示物に関する「キーワード」等を格納している。関連物IDは、展示物とこれに関連する関連情報(後述)とを対応付けるための情報である。
FIG. 3 shows an example of “position information” and “attribute information” of an exhibit stored in the
なお、属性情報はこれらに限らず、例えば、情報表示装置1が店舗等で利用される場合で、展示物が市販の商品であれば、その「価格」等も属性情報に含まれてよい。本実施形態において、展示室101には、(x,y,z)の座標系80が定義されている。よって位置情報は、展示室101に定義された座標系80(x,y,z)により定められる。
The attribute information is not limited to these. For example, if the information display device 1 is used in a store or the like and the exhibit is a commercial product, the “price” or the like may be included in the attribute information. In the present embodiment, a
第2格納部52は、展示室内に存在する展示物に関連する解説情報や写真等の「関連情報」を格納する。すなわち、関連情報とは、ユーザ100が展示室内で直接的に視認できない情報を、展示物に対応付けたものである。
The second storage unit 52 stores “related information” such as commentary information and photographs related to exhibits in the exhibition room. That is, the related information is information in which information that the
例えば、展示物が美術品の場合、第2格納部52は、当該美術品の作者の写真やプロフィール、収蔵庫に保管されている同作者の作品、他の展示室や美術館に展示されている同作者の作品等を、展示物と対応付けられた関連情報として格納してよい。 For example, when the exhibit is a work of art, the second storage 52 is displayed in the photograph and profile of the author of the work, the work of the author stored in the storage, and other exhibition rooms and museums. The author's work or the like may be stored as related information associated with the exhibit.
図4は、第2格納部52が格納する「関連情報」の一例を示す図である。第2格納部52は、関連情報と、第1格納部51に格納される展示物と、の対応付けのための「関連物ID」、関連情報の「タイトル」、「解説」、「画像」、「ジャンル」、「制作年代」、「製作者名」、「収蔵場所」、「キーワード」等を格納してよい。なお、関連情報はこれらに限らず、展示物と関連する情報であれば、いかなる情報であってもよい。例えば、上述の市販の商品であれば、その「価格」等も関連情報に含まれてよい。
FIG. 4 is a diagram illustrating an example of “related information” stored in the second storage unit 52. The second storage unit 52 includes a “related object ID” for associating the related information with the exhibits stored in the
第1抽出部12は、推定部11が推定し、撮影方向(情報表示装置1の位置及び向き)に基づいて、カメラ5の撮像範囲に入るであろう展示物を特定し、その展示物の情報を検索する。具体的には、表示部18に表示する一又は複数の展示物の位置情報及び属性情報を第1格納部51から抽出する。
The first extraction unit 12 identifies an exhibit that will be in the imaging range of the camera 5 based on the shooting direction (position and orientation of the information display device 1) estimated by the estimation unit 11, and Search for information. Specifically, the position information and attribute information of one or more exhibits displayed on the
第1算出部13は、情報表示装置1の位置及び向きと、抽出された展示物の位置情報とから、カメラ5で撮影され、表示部18で表示される映像における当該展示物の表示位置を算出する。これにより、後述する第2算出部16が当該関連情報の表示位置を算出することができる。
The first calculation unit 13 determines the display position of the exhibit in the video imaged by the camera 5 and displayed on the
第2抽出部14は、抽出された展示物の属性情報(例えば、関連物IDやキーワード)に基づいて、当該展示物に関連する一又は複数の関連情報を、第2格納部52から抽出する。 The second extraction unit 14 extracts one or a plurality of related information related to the exhibit from the second storage unit 52 based on the attribute information (for example, related product ID or keyword) of the extracted exhibit. .
第2算出部16は、表示部18における抽出された展示物の映像の表示位置と、当該展示物の属性情報に基づいて、表示部18において、画像として表示する当該関連情報の表示位置を算出する。
The second calculation unit 16 calculates the display position of the related information to be displayed as an image on the
例えば、属性情報として制作年代を用いる場合、第2算出部16は、抽出された展示物の制作年代と近い関連情報は、展示物の映像の近くに配置されるように、当該関連情報の表示位置を算出する。 For example, when the production age is used as the attribute information, the second calculation unit 16 displays the related information so that the related information close to the extracted exhibition production date is arranged near the video of the exhibit. Calculate the position.
第1生成部15は、抽出された展示物の属性情報や関連情報を示す画像である第1画像を生成する。第2生成部17は、抽出された展示物間(複数の場合)、又は属性情報間、あるいは関連情報間のリンクを示す画像(例えば線分等)である第2画像を生成する。
The 1st production |
第1抽出部12と、第1算出部13と、第2抽出部14と、第1生成部15と、第2算出部16と、第2生成部17とは、中央演算処理装置(CPU)及びCPUが用いるメモリにより実現されてよい。第1格納部51、第2格納部52は、CPUが用いるメモリ、又はCPUが用いる補助記憶装置、あるいはネットワーク上のデータベース機能により実現されてよい。なお、第1格納部51と第2格納部52とは、同一のメモリ等で実現されても、異なるメモリで実現されても構わない。
The first extraction unit 12, the first calculation unit 13, the second extraction unit 14, the
以上、情報表示装置1の構成について説明した。 The configuration of the information display device 1 has been described above.
図5は、情報表示装置1の処理を表すフローチャートである。推定部11は、展示室におけるカメラ(不図示)の撮影方向を推定する(S101)。すなわち、推定部11は、情報表示装置1の位置及び向きを測定することにより撮影方向を推定する(S101)。第1抽出部12は、推定された撮影方向(情報表示装置1の位置及び向き)に基づいて、表示部18に表示される一又は複数の展示物の位置情報及び属性情報を第1格納部51から抽出する(S102)。例えば、図1の場合、第1抽出部12は、展示物501の位置情報及び属性情報と、及び展示物502の位置情報及び属性情報とを第1格納部51から抽出する。
FIG. 5 is a flowchart showing processing of the information display device 1. The estimation unit 11 estimates the shooting direction of a camera (not shown) in the exhibition room (S101). That is, the estimation unit 11 estimates the shooting direction by measuring the position and orientation of the information display device 1 (S101). The first extraction unit 12 stores the position information and attribute information of one or more exhibits displayed on the
第1算出部13は、情報表示装置1の位置及び向きと、抽出された展示物の位置情報とから、表示部18における当該展示物の映像の表示位置を算出する(S103)。例えば、図1の場合、第1算出部13は、展示物501の映像301と、展示物502の映像302と、の表示位置を算出する。
The first calculation unit 13 calculates the display position of the video of the exhibit on the
第2抽出部14は、抽出された展示物の属性情報に基づいて、当該展示物の関連情報を、第2格納部52から抽出する(S104)。例えば、図1の場合、第2抽出部14は、展示物501の関連情報と、展示物502の関連情報とを第2格納部52から抽出する。
Based on the extracted attribute information of the exhibit, the second extraction unit 14 extracts related information of the exhibit from the second storage unit 52 (S104). For example, in the case of FIG. 1, the second extraction unit 14 extracts the related information of the
第2算出部16は、表示部18における抽出された展示物の映像の表示位置と、当該展示物の関連情報とに基づいて、表示部18において、画像として表示する当該関連情報の表示位置を算出する(S105)。例えば、第2算出部16は、展示物501の関連情報の画像401,画像402の表示位置と、展示物501の関連情報の画像403の表示位置とを算出する。
The second calculation unit 16 determines the display position of the related information to be displayed as an image on the
第1生成部15は第1画像を生成する(S106)。第2生成部17は、第2画像を生成する(S107)。表示部18は、第1画像及び第2画像を表示する(S108)。
The
以上、情報表示装置1の処理について説明した。 The processing of the information display device 1 has been described above.
以下、各部について詳述する。 Hereinafter, each part is explained in full detail.
[推定部11、第1抽出部12について]
図6は、推定部11及び第1抽出部12の処理の説明図である。推定部11は、例えば、情報表示装置1や展示室101に設置されたセンサ(例えば、加速度センサ、ジャイロセンサ、電子コンパス等)を用いて、展示室101における情報表示装置1の位置Pt及び向き(情報表示装置1が向く方向Vt、及び情報表示装置1の回転角を定める方向Ut)を測定することにより、展示室におけるカメラ(不図示)の撮影方向を推定する。
[About the estimation unit 11 and the first extraction unit 12]
FIG. 6 is an explanatory diagram of processing of the estimation unit 11 and the first extraction unit 12. The estimation unit 11 uses, for example, a sensor (for example, an acceleration sensor, a gyro sensor, an electronic compass, etc.) installed in the information display device 1 or the
第1抽出部12は、情報表示装置1の当該位置及び向きに基づいて、表示部18に表示される領域102を求める。第1抽出部12は、第1格納部51から、表示部18に表示される領域102に含まれる一又は複数の展示物の位置情報及び属性情報を抽出する。このとき、展示室101には、(x,y,z)の座標系80が定義されている。
The first extraction unit 12 obtains the
よって、推定部11で得られる情報表示装置1の位置Pt及び向きVt、Utと、第1格納部51に格納されている展示物の位置Peとは、座標系80上の座標で表わされる。
Therefore, the position Pt and the orientations Vt and Ut of the information display device 1 obtained by the estimation unit 11 and the position Pe of the exhibit stored in the
なお、表示部18に表示される領域102とは、図6において破線で示される四角錐内の領域である。当該四角錐は、カメラ(不図示)の画角により定まる。
Note that the
図7は、領域102を表す概念図である。領域102に展示物が含まれるとは、第1格納部51の格納されている展示物の位置情報が、当該四角錐内に含まれるということである。図7の例では、位置Pe1及び位置Pe2にある展示物が領域102に含まれ、位置Pe3、位置Pe4、及び位置Pe5にある展示物は領域102に含まれない。
FIG. 7 is a conceptual diagram showing the
第1抽出部12は、抽出した展示物(例えば、展示物501及び展示物502)の位置情報や属性情報(例えば、関連物IDや、キーワード、解説、ジャンル等)を用いて、当該展示物に関連する他の展示物の属性情報を、第1格納部51から抽出してもよい。
The first extraction unit 12 uses the position information and attribute information (for example, related object ID, keyword, commentary, genre, etc.) of the extracted exhibits (for example, the
なお、第1抽出部12は、ユーザ100からの指定に応じて、展示物の位置情報及び属性情報を第1格納部51から抽出可能であってもよい。この場合、第1抽出部12は、タッチ入力やキーパッド入力、音声入力等により、ユーザ100が指定した検索キーワードや、ユーザ100が選択したジャンル等を用いて、第1格納部51から展示物の位置情報及び属性情報を抽出する。
Note that the first extraction unit 12 may be able to extract the location information and attribute information of the exhibit from the
[第1算出部13について]
第1算出部13は、位置Pt及び向きVt、Utと、抽出された一又は複数の展示物(例えば、展示物501及び展示物502)の位置情報とを用いて、展示物の映像(例えば、映像301及び302)の表示座標系における表示位置を算出する。
[About the first calculator 13]
The first calculation unit 13 uses the position Pt, the orientations Vt and Ut, and the position information of one or more extracted exhibits (for example, the
[第2抽出部14について]
第2抽出部14は、第1抽出部12で抽出された展示物(例えば、展示物501及び展示物502)の位置情報や属性情報(例えば、関連物IDや、キーワード、解説、ジャンル等)を用いて、当該展示物の関連情報を、第2格納部52から抽出する。
[About the second extraction unit 14]
The second extraction unit 14 includes position information and attribute information (for example, related object ID, keyword, commentary, genre, etc.) of the exhibits (for example, the
例えば、第2抽出部14は、展示物501の属性情報のうち、キーワードや、解説に含まれる固有名詞等の単語を抽出し、当該単語を用いて、第2格納部52に格納されている関連情報を抽出してよい。また、第2抽出部14は、抽出した関連情報(例えば、関連物IDや、キーワード、解説、ジャンル等)を用いて、当該関連情報に関連する他の関連情報を、第2格納部52からさらに抽出してもよい。
For example, the second extraction unit 14 extracts a keyword or a word such as a proper noun included in the explanation from the attribute information of the
[第2算出部16について]
第2算出部16は、表示部18における抽出された展示物(例えば、展示物501及び展示物502)の映像(例えば、映像301や302)の表示位置と、当該展示物の関連情報に基づいて、表示部18において映像(例えば、映像401,402,403)として表示する展示物の関連情報の表示位置を算出する。図8は、第2算出部16の処理を表すフローチャートである。
[About Second Calculation Unit 16]
The second calculation unit 16 is based on the display position of the images (for example, the
第2算出部16は、カメラ(不図示)によって撮影され、表示部18に表示されている一又は複数の展示物の中から、処理の対象となる展示物(主展示物)の映像を選択する(S201)。例えば、表示部18の中心から表示部18に表示されている複数の展示物の映像との距離を各々求め、その距離が最も短い展示物の映像(例えば、展示物501の映像301)を、主展示物の映像として選択してよい。
The second calculation unit 16 selects an image of an exhibit (main exhibit) to be processed from one or a plurality of exhibits captured by a camera (not shown) and displayed on the
第2算出部16は、主展示物以外で、表示部18に表示されている複数の展示物の映像の中から、同じく処理の対象となる展示物(副展示物)の映像を1つ選択する(S202)。例えば、表示部18の中心から表示部18に表示されている複数の展示物の映像との距離を各々求め、その距離の最も長い展示物の映像(例えば、展示物502の映像302)を、副展示物の映像として選択してよい。
The second calculation unit 16 selects one video of an exhibit (sub-exhibit) that is also the target of processing from among a plurality of exhibits displayed on the
第2算出部16は、主展示物(例えば、展示物501)と副展示物(例えば、展示物502)とについて、第1格納部51から抽出した属性情報を選択する(S203)。例えば、展示品であれば制作年代、商品であれば価格等の属性情報を選択してよい。属性情報自体は必ずしも数値である必要はない。数値でない属性情報を選択した場合、第2算出部16は、主展示物及び副展示物が属するジャンル間の関連性の程度を数値として表わした関連度を算出してよい。例えば、特許文献2記載の技術を用いて構わない。
The second calculation unit 16 selects attribute information extracted from the
第2算出部16は、主展示物の属性情報と、副展示物の属性情報とを通る属性座標軸90を定義する(S204)。図9は、属性座標軸90の一例図である。例えば、属性情報として制作年代を用いる場合、第2算出部16は、属性座標軸90を年代の軸とする。すなわち、主展示物の属性情報201と、副展示物の属性値401の間は年代を内分し、主展示物の属性値201より正側と、副展示物の属性値401より負側は年代を外分する。
The second calculation unit 16 defines an attribute coordinate
なお、表示部18に表示されている展示物が一つの場合は、当該展示物501をから予め決められた方向に属性座標軸90を定義してよい。
When there is one exhibit displayed on the
第2算出部16は、第2抽出部14で抽出された複数の関連情報(601、602)について、図9(a)に示すように、関連情報に関する同じ種類の属性情報を用いて、属性座標軸90上に配置する。
As shown in FIG. 9A, the second calculation unit 16 uses the same type of attribute information about the related information as shown in FIG. 9A for the plurality of related information (601, 602) extracted by the second extraction unit 14. Arrange on the coordinate
第2算出部16は、属性座標軸90における関連情報(601、602)から主展示物(展示物501)又は副展示物(展示物502)までの距離の比が、表示部18における関連情報から主展示物(展示物501)又は副展示物(展示物502)までの距離の比と等しくなるように、表示部18における関連情報の表示位置を算出する(S205)。
The second calculation unit 16 determines the ratio of the distance from the related information (601, 602) on the attribute coordinate
ここで、主展示物の属性情報201と、副展示物の属性情報401とが同一の場合、第2算出部16は、属性座標軸90を定めることができない。その場合、第2算出部16は、副展示物として、表示部18に表示されている異なる展示物を選択してもよい。
Here, when the
また、第2算出部16は、副展示物の属性情報401を1つのみ定めるのではなく、図9(b)に示すように、主展示物の属性情報201の負側に副展示物の属性情報401を配置し、主展示物の属性情報201の正側に副展示物の属性情報402を配置することにより属性座標軸90を定義してもよい。
Further, the second calculation unit 16 does not determine only one
このようにして定めた属性値座標系90における関連情報から主展示物及び副展示物への距離の比は、単一の属性座標軸90に限定せず、年代とジャンル、ジャンルと解説文中の共通キーワードの共起数、年代とジャンルとデータ種別のように、複数の属性座標軸を組み合わせてもよい。この場合、第2算出部16は、属性座標軸に優先順位をつけ、優先順位が高い順に、関連情報から主展示物及び副展示物への距離の比を満たすように表示部18における関連情報の表示位置を定めてよい。
The ratio of the distance from the related information in the attribute value coordinate
また、表示部18における関連情報の表示位置を算出する際、第2算出部16は、予め表示座標系を定義し、その座標系上に関連情報を配置した上で、表示部18上に射影を行ってもよい。表示座標系としては、主展示物を原点とした2次元座標系に限定せず、3次元座標系や、極座標系等を用いてよい。
Further, when calculating the display position of the related information on the
[第1生成部15、第2生成部17の処理内容]
図10は、第1生成部15及び第2生成部17の処理の説明図である。第1生成部15は、展示物の属性情報に関する第1画像を生成する。属性情報に関する第1画像とは、第1抽出部12が抽出した展示物の属性情報を画像化したものであり、例えば、図10における画像311で示される展示物のキャプションであってよい。
[Processing contents of
FIG. 10 is an explanatory diagram of processing of the
画像311の表示位置は、第1算出部13によって算出された表示位置であってよい。ここで、第1生成部15は、展示物に関する画像が展示物の映像を遮らないように表示位置を下方向に移動させてもよい。移動させる距離は展示物から情報表示装置1までの距離に応じて変化させてもよい。また、当該距離を画像サイズに反映させてもよい。例えば、当該距離が近い展示物の第1画像は大きく、当該距離が遠い展示物の第1画像は小さく表示させてもよい。
The display position of the
また、第1生成部15は、展示物の関連情報に関する第1画像を生成する。すなわち、第1生成部15は、第2抽出部14によって抽出された関連情報の画像(他の美術館等にある展示物の写真)やタイトル、ジャンル等の関連情報を、サムネイル画像(画像321、322、323)やキャプション(画像331、332,333)として画像化する。
Moreover, the 1st production |
第2生成部17は、第1抽出部12が第1格納部51から抽出した展示物と、第2抽出部14が第2格納部52から抽出した関連情報とについて、それらが関連する場合には第2画像(例えば、線分341、342、343)を表示する。
When the
第2生成部17は、線分の形状や色等を関連の状態に応じて変化させてもよい。例えば、第1格納部51や第2格納部52に明示的に関連するものとして定義されている場合と、ジャンルが一致する場合と、解説情報やキーワード中の文字列が一致する場合で色を変えてもよい。また、展示物が画面外に存在する場合には、展示物が存在する方向を案内する矢印の画像等を表示してもよい。
The
それにより、ユーザ100は、矢印を辿るように情報表示装置1の向きを変えることで、表示部18上で画面外の展示物を画面内へ表示させることができる。
Thereby, the
本実施形態のように関連情報の配置を行うことで、展示室における展示物が年代順に配置されているような状況において、展示室に配置されていない物体の情報である関連情報も、展示物の配置順序から逸脱が少ない状態で、情報表示装置1の表示部18上に、情報表示装置1のカメラで撮影された映像に重畳する形で表示することが可能となる。これにより、ユーザ100は、展示物と関連情報の違いによらず、同一画面上で、容易に年代順に配置された情報を閲覧することが可能となる。
By arranging related information as in this embodiment, in a situation where the exhibits in the exhibition room are arranged in chronological order, related information that is information on objects that are not arranged in the exhibition room is also exhibited. It is possible to display the image on the
同様に、商品販売を行う実店舗などにおいて、価格順に商品が陳列されている場合には、店舗に在庫があり設置されている商品に併せて、店舗に在庫がない商品の情報も表示し、実物と在庫のない商品の情報の違いによらず、同一画面上で、容易に価格順に情報を閲覧することが可能となる。同様に、書店などの実店舗において、販売ランキング順に配置することで、実物と在庫のない商品の情報の違いによらず、同一画面上で、容易にランキング順に情報を閲覧することが可能となる。 Similarly, if the products are displayed in order of price at the actual store where the products are sold, in addition to the products that are in stock and installed in the store, information on the products that are not in stock in the store is also displayed. Regardless of the difference between the information of the actual product and the product that is not in stock, it is possible to easily browse the information in order of price on the same screen. Similarly, in an actual store such as a bookstore, by arranging in order of sales ranking, it becomes possible to easily browse information in the order of ranking on the same screen, regardless of the difference in information between the real product and the product not in stock. .
なお、本実施形態では、情報表示装置1が、第1格納部51と、第2格納部52とを備える例について説明したが、これに限られない。例えば、第1格納部51に含まれる情報、及び第2格納部52に含まれる情報が、ネットワーク上に存在する場合がある。この場合、第1抽出部12は、位置情報及び属性情報を当該ネットワーク上から抽出し、第2抽出部12は、関連情報を当該ネットワーク上から抽出してもよい。
In the present embodiment, an example in which the information display device 1 includes the
すなわち、本実施形態により、情報表示装置1は、表示部に表示した複数の展示物について、それらの関連をユーザに分かりやすく示すことができる。また、当該展示物と関連する展示室の周囲の展示物の位置をユーザに分かりやすく示すことができる。また、当該展示物に関連する解説や、関連写真、展示室にない他の展示物についても、ユーザに分かりやすく示すことができる。 That is, according to the present embodiment, the information display device 1 can easily show the relationship between a plurality of exhibits displayed on the display unit to the user. In addition, the position of the exhibits around the exhibition room related to the exhibits can be easily shown to the user. In addition, explanations related to the exhibit, related photos, and other exhibits that are not in the exhibition room can be easily displayed to the user.
(第2の実施の形態)
第2の実施の形態に係る情報表示装置2は、ユーザ100からの入力によるポインティング操作が可能である点が、情報表示装置1の場合と異なる。ユーザ100は、ポインティングにより、表示部18に表示された展示物又は関連情報の中から、一又は複数の展示物又は関連情報を指定する。
(Second Embodiment)
The information display device 2 according to the second embodiment is different from the information display device 1 in that a pointing operation by an input from the
図11は、情報表示装置2を表すブロック図である。情報表示装置2は、第1の実施の形態における情報表示装置1に対し、入力部21と判定部22とをさらに備える。 FIG. 11 is a block diagram showing the information display device 2. The information display device 2 further includes an input unit 21 and a determination unit 22 with respect to the information display device 1 in the first embodiment.
入力部21は、ユーザ100から、ポインティングによる入力を受け付ける。例えば、入力部21は、表示部18に設けられるタッチパネル(不図示)やボタン(不図示)等であってよい。
The input unit 21 receives an input by pointing from the
判定部22は、ポインティングの位置(例えば、表示部18におけるタッチ位置等)を算出し、ポインティングの位置が表示部18に表示された展示物又は関連情報の位置と一致するか否かを判定する。
The determination unit 22 calculates a pointing position (for example, a touch position on the display unit 18), and determines whether the pointing position matches the position of the exhibit or related information displayed on the
一致する場合、表示部18は、当該展示物又は関連情報である、第1画像と第2画像を表示し、それ以外表示しない。一致しない場合は、第1の実施の形態の場合と同様である。
If they match, the
これにより、情報表示装置2は、ユーザ100が指定した展示物又は関連情報に関連する情報を選別して提示することができる。また、ユーザ100が1つ指定した展示物を、第2算出部16において主展示物として用いることや、ユーザ100が2つ指定した展示物のうち、一方を第2算出部16において主展示物として利用し、もう一方を、副展示物として用いることが可能となる。
Thereby, the information display apparatus 2 can select and present information related to the exhibit designated by the
なお、情報表示装置2は、表示部18とは別の表示部(不図示)を備えていてもよい。この場合、当該表示部(不図示)は、例えばタッチパネルにおいてタッチされた物体の詳細な情報を当該表示部(不図示)に表示してもよい。
The information display device 2 may include a display unit (not shown) different from the
上述した実施形態により、ユーザにとって、より利便性の高い情報表示装置及び情報表示方法を提供することができる。 According to the embodiment described above, an information display device and an information display method that are more convenient for the user can be provided.
これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although several embodiments of the present invention have been described so far, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.
1,2…情報表示装置
11…推定部
12…第1抽出部
13…第1算出部
14…第2抽出部
15…第1生成部
16…第2算出部
17…第2生成部
18…表示部
21…入力部
22…判定部
51…第1格納部
52…第2格納部
DESCRIPTION OF SYMBOLS 1, 2 ... Information display apparatus 11 ... Estimation part 12 ... 1st extraction part 13 ... 1st calculation part 14 ...
Claims (6)
前記空間中での前記カメラの撮影方向を推定する推定部と、
前記空間中における前記物体の位置を示す位置情報と、前記物体の属性を示す情報とを格納する第1格納部と、
前記物体に関連する他の物体の情報である関連情報を格納する第2格納部と、
前記映像に含まれる一又は複数の物体の各々について、前記第1格納部から、各物体の前記位置情報と、前記属性情報とを抽出する第1抽出部と、
前記属性情報に基づいて、前記第2格納部から、前記各物体に関連する物体の前記関連情報を抽出する第2抽出部と、
前記撮影方向と前記位置情報とに基づいて、前記各物体の表示位置を算出する第1算出部と、
前記各物体の表示位置に基づいて、前記関連情報の表示位置を算出する第2算出部と、
前記関連情報の表示位置に基づいて、前記関連情報の画像を生成する第1生成部と、
前記映像及び前記画像を表示する表示部と、
を備える、情報表示装置。 An information display device capable of displaying information by adding information to a video obtained from a camera that has photographed one or more objects in space,
An estimation unit for estimating a shooting direction of the camera in the space;
A first storage unit that stores position information indicating a position of the object in the space and information indicating an attribute of the object;
A second storage unit that stores related information that is information of other objects related to the object;
For each of one or more objects included in the video, a first extraction unit that extracts the position information and the attribute information of each object from the first storage unit;
A second extraction unit that extracts, from the second storage unit, the related information of an object related to each object based on the attribute information;
A first calculation unit that calculates a display position of each object based on the shooting direction and the position information;
A second calculation unit that calculates a display position of the related information based on a display position of each object;
A first generation unit configured to generate an image of the related information based on a display position of the related information;
A display unit for displaying the video and the image;
An information display device comprising:
一方の物体の表示位置と、他方の物体の表示位置とに基づいて、前記関連情報の表示位置を算出する、請求項1記載の情報表示装置。 When there are a plurality of objects included in the video, the second calculator is
The information display device according to claim 1, wherein the display position of the related information is calculated based on a display position of one object and a display position of the other object.
選択された一方の物体の表示位置と、他方の物体の表示位置とを結ぶ軸上に、前記関連情報が配置されるように、前記関連情報の表示位置を算出する、
請求項2記載の情報表示装置。 The second calculator is
Calculating the display position of the related information so that the related information is arranged on an axis connecting the display position of the selected one object and the display position of the other object;
The information display device according to claim 2.
請求項1から3記載の情報表示装置。 A second generation unit configured to generate an image indicating a link between the object and the related information;
The information display device according to claim 1.
請求項2から4記載の情報表示装置。 An input unit that accepts selection of one object by the user is provided.
The information display device according to claim 2.
前記空間中での前記カメラの撮影方向を推定し、
前記映像に含まれる一又は複数の物体の各々について、前記空間中における前記物体の位置を示す位置情報と、前記物体の属性を示す情報とを取得し、
前記属性情報に基づいて、前記各物体に関連する他の物体の情報である関連情報を取得し、
前記撮影方向と前記位置情報とに基づいて、前記各物体の表示位置を算出し、
前記各物体の表示位置に基づいて、前記関連情報の表示位置を算出し、
前記関連情報の表示位置に基づいて、前記関連情報の画像を生成する
前記映像及び前記画像を表示する、
情報表示方法。 An information display method capable of displaying information by adding information to a video obtained from a camera that has photographed one or more objects in space,
Estimating the shooting direction of the camera in the space;
For each of one or more objects included in the video, obtain position information indicating the position of the object in the space and information indicating the attribute of the object,
Based on the attribute information, obtain related information that is information of other objects related to each object,
Based on the shooting direction and the position information, the display position of each object is calculated,
Based on the display position of each object, the display position of the related information is calculated,
Based on the display position of the related information, the image for generating the image of the related information and the image are displayed.
Information display method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044429A JP2012181701A (en) | 2011-03-01 | 2011-03-01 | Information display device and information display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044429A JP2012181701A (en) | 2011-03-01 | 2011-03-01 | Information display device and information display method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012181701A true JP2012181701A (en) | 2012-09-20 |
Family
ID=47012845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011044429A Pending JP2012181701A (en) | 2011-03-01 | 2011-03-01 | Information display device and information display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012181701A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014164407A (en) * | 2013-02-22 | 2014-09-08 | Toyota Motor Corp | Object identification system and object identification method |
| JP2021106332A (en) * | 2019-12-26 | 2021-07-26 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP2022090849A (en) * | 2020-12-08 | 2022-06-20 | 大日本印刷株式会社 | Image output device and program |
| JP2023026894A (en) * | 2021-08-16 | 2023-03-01 | 富士フイルムビジネスイノベーション株式会社 | Information processing device, information processing system, and information processing program |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0895742A (en) * | 1994-09-27 | 1996-04-12 | Toshiba Corp | Hypermedia system and map display method in the system |
| JP2007257223A (en) * | 2006-03-23 | 2007-10-04 | Fujitsu Ltd | Financial related information integrated display program, apparatus, and method. |
| JP2010262441A (en) * | 2009-05-01 | 2010-11-18 | Sony Corp | Server apparatus, electronic device, electronic book providing system, electronic book providing method, electronic book display method, and program |
-
2011
- 2011-03-01 JP JP2011044429A patent/JP2012181701A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0895742A (en) * | 1994-09-27 | 1996-04-12 | Toshiba Corp | Hypermedia system and map display method in the system |
| JP2007257223A (en) * | 2006-03-23 | 2007-10-04 | Fujitsu Ltd | Financial related information integrated display program, apparatus, and method. |
| JP2010262441A (en) * | 2009-05-01 | 2010-11-18 | Sony Corp | Server apparatus, electronic device, electronic book providing system, electronic book providing method, electronic book display method, and program |
Non-Patent Citations (2)
| Title |
|---|
| CSNG201000475008; 杉田馨・中州俊信・山内康晋: '「展示物の関連性によりミュージアム空間を拡張する展示ガイドシステム」' 電子情報通信学会技術研究報告 第109巻,第466号, 20100305, P. 41-44, 社団法人電子情報通信学会 * |
| JPN6014020653; 杉田馨・中州俊信・山内康晋: '「展示物の関連性によりミュージアム空間を拡張する展示ガイドシステム」' 電子情報通信学会技術研究報告 第109巻,第466号, 20100305, P. 41-44, 社団法人電子情報通信学会 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014164407A (en) * | 2013-02-22 | 2014-09-08 | Toyota Motor Corp | Object identification system and object identification method |
| JP2021106332A (en) * | 2019-12-26 | 2021-07-26 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP7438752B2 (en) | 2019-12-26 | 2024-02-27 | キヤノン株式会社 | Information processing device, control method for information processing device, storage medium, and program |
| JP2022090849A (en) * | 2020-12-08 | 2022-06-20 | 大日本印刷株式会社 | Image output device and program |
| JP7585749B2 (en) | 2020-12-08 | 2024-11-19 | 大日本印刷株式会社 | Image output device and program |
| JP2023026894A (en) * | 2021-08-16 | 2023-03-01 | 富士フイルムビジネスイノベーション株式会社 | Information processing device, information processing system, and information processing program |
| JP7739831B2 (en) | 2021-08-16 | 2025-09-17 | 富士フイルムビジネスイノベーション株式会社 | Information processing device, information processing system, and information processing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5134664B2 (en) | Annotation device | |
| CN105046752B (en) | Method for describing virtual information in the view of true environment | |
| US10970932B2 (en) | Provision of virtual reality content | |
| CN202502670U (en) | Image processing apparatus | |
| JP4796435B2 (en) | Image viewer | |
| US20200342668A1 (en) | Spatial and semantic augmented reality autocompletion in an augmented reality environment | |
| US11709881B2 (en) | Visual menu | |
| TW200811699A (en) | User interface for navigating through images | |
| US20240320855A1 (en) | Use Of Image Sensors To Query Real World for Geo-Reference Information | |
| JP5467177B2 (en) | INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, INFORMATION PROVIDING PROCESSING PROGRAM, RECORDING MEDIUM CONTAINING INFORMATION PROVIDING PROCESSING PROGRAM, AND INFORMATION PROVIDING SYSTEM | |
| WO2013046768A1 (en) | Search device, search method, recording medium, and program | |
| US20150039632A1 (en) | Media Tagging | |
| JP5288445B2 (en) | PHOTO MAPPING METHOD AND SYSTEM, PROGRAM, AND STORAGE MEDIUM | |
| JP5472972B2 (en) | Object information display device, object information display method, object information display program | |
| JP2010231741A (en) | Electronic tag generating and displaying system, electronic tag generating and displaying device, and method thereof | |
| JP5886662B2 (en) | Image display device | |
| JP2012048474A (en) | Information processor, information processing method and program | |
| CN107102794B (en) | Operation processing method and device | |
| JP6564259B2 (en) | Image processing apparatus and image processing method | |
| US9524303B2 (en) | Electronic calculating apparatus for generating an interaction index map of an image, method thereof and non-transitory machine-readable medium thereof | |
| US20110119296A1 (en) | Method and apparatus for displaying data | |
| JP2019056574A (en) | Selection condition presentation system and selection condition presentation program | |
| US11256763B2 (en) | System and method for searching for object based on property thereof | |
| JP2011170778A (en) | Document search device and document search program | |
| JP2015232913A (en) | Augmented reality device, method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131025 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140523 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140926 |