JP2012181701A - Information display device and information display method - Google Patents

Information display device and information display method Download PDF

Info

Publication number
JP2012181701A
JP2012181701A JP2011044429A JP2011044429A JP2012181701A JP 2012181701 A JP2012181701 A JP 2012181701A JP 2011044429 A JP2011044429 A JP 2011044429A JP 2011044429 A JP2011044429 A JP 2011044429A JP 2012181701 A JP2012181701 A JP 2012181701A
Authority
JP
Japan
Prior art keywords
information
unit
display
exhibit
related information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011044429A
Other languages
Japanese (ja)
Inventor
Kaoru Sugita
馨 杉田
Yasuaki Yamauchi
康晋 山内
Toshinobu Nakasu
俊信 中洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011044429A priority Critical patent/JP2012181701A/en
Publication of JP2012181701A publication Critical patent/JP2012181701A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

【課題】ユーザにとって、より利便性の高い情報表示装置及び情報表示方法を提供する。
【解決手段】推定部は、空間中でのカメラの撮影方向を推定する。第1格納部は、空間中における物体の位置を示す位置情報と、物体の属性を示す情報とを格納する。第2格納部は、物体に関連する他の物体の情報である関連情報を格納する。第1抽出部は、映像に含まれる一又は複数の物体の各々について、第1格納部から、各物体の位置情報と、属性情報とを抽出する。第2抽出部は、属性情報に基づいて、第2格納部から、各物体に関連する物体の関連情報を抽出する。第1算出部は、撮影方向と位置情報とに基づいて、各物体の表示位置を算出する。第2算出部は、各物体の表示位置に基づいて、関連情報の表示位置を算出する。第1生成部は、関連情報の表示位置に基づいて、関連情報の画像を生成する。表示部は、映像及び画像を表示する。
【選択図】図2
An information display device and an information display method that are more convenient for a user are provided.
An estimation unit estimates a shooting direction of a camera in space. The first storage unit stores position information indicating the position of the object in the space and information indicating the attribute of the object. The second storage unit stores related information that is information of other objects related to the object. The first extraction unit extracts position information and attribute information of each object from the first storage unit for each of one or a plurality of objects included in the video. A 2nd extraction part extracts the relevant information of the object relevant to each object from a 2nd storage part based on attribute information. The first calculation unit calculates the display position of each object based on the shooting direction and the position information. The second calculation unit calculates the display position of the related information based on the display position of each object. The first generation unit generates an image of related information based on the display position of the related information. The display unit displays video and images.
[Selection] Figure 2

Description

本発明の実施形態は、情報表示装置及び情報表示方法に関する。   Embodiments described herein relate generally to an information display device and an information display method.

実空間において、ユーザが指示した特定の物体の名称や説明などの情報を、当該実空間を撮影した画像上に重ね合わせて表示する情報表示装置がある。   In real space, there is an information display device that displays information such as the name and description of a specific object designated by a user on an image obtained by photographing the real space.

このような情報表示装置では、ユーザにとって、より利便性の高いものが望まれている。   Such an information display device is desired to be more convenient for the user.

特表2000−512781号公報JP 2000-512781 特開2009―80580号公報JP 2009-80580 A

本発明が解決しようとする課題は、ユーザにとって、より利便性の高い情報表示装置及び情報表示方法を提供することである。   The problem to be solved by the present invention is to provide an information display device and an information display method that are more convenient for the user.

上記課題を解決するために、本発明の実施形態に係る情報表示装置は、空間中における一又は複数の物体を撮影したカメラから得られる映像に情報を付加して表示可能な情報表示装置であって、推定部と、第1格納部と、第2格納部と、第1抽出部と、第2抽出部と、第1算出部と、第2算出部と、第1生成部と、表示部とを備える。   In order to solve the above problems, an information display device according to an embodiment of the present invention is an information display device that can display information added to a video obtained from a camera that has photographed one or more objects in a space. The estimation unit, the first storage unit, the second storage unit, the first extraction unit, the second extraction unit, the first calculation unit, the second calculation unit, the first generation unit, and the display unit With.

推定部は、前記空間中での前記カメラの撮影方向を推定し、第1格納部は、前記空間中における前記物体の位置を示す位置情報と、前記物体の属性を示す情報とを格納し、第2格納部は、前記物体に関連する他の物体の情報である関連情報を格納し、第1抽出部は、前記映像に含まれる一又は複数の物体の各々について、前記第1格納部から、各物体の前記位置情報と、前記属性情報とを抽出し、第2抽出部は、前記属性情報に基づいて、前記第2格納部から、前記各物体に関連する物体の前記関連情報を抽出し、第1算出部は、前記撮影方向と前記位置情報とに基づいて、前記各物体の表示位置を算出し、第2算出部は、前記各物体の表示位置に基づいて、前記関連情報の表示位置を算出し、第1生成部は、前記関連情報の表示位置に基づいて、前記関連情報の画像を生成し、
表示部は、前記映像及び前記画像を表示する。
The estimation unit estimates a shooting direction of the camera in the space, and the first storage unit stores position information indicating a position of the object in the space and information indicating an attribute of the object, The second storage unit stores related information, which is information of other objects related to the object, and the first extraction unit receives from the first storage unit each of one or more objects included in the video. The position information and the attribute information of each object are extracted, and the second extraction unit extracts the related information of the object related to each object from the second storage unit based on the attribute information The first calculation unit calculates the display position of each object based on the shooting direction and the position information, and the second calculation unit calculates the related information based on the display position of the object. The display position is calculated, and the first generation unit is based on the display position of the related information. Te, it generates an image of the related information,
The display unit displays the video and the image.

第1の実施の形態に係る情報表示装置1の使用態様の一例図。The example figure of the usage condition of the information display apparatus 1 which concerns on 1st Embodiment. 情報表示装置1を表すブロック図。The block diagram showing the information display apparatus 1. FIG. 第1格納部51が格納する「位置情報」及び「属性情報」の一例図。FIG. 6 is an example diagram of “position information” and “attribute information” stored in the first storage unit 51. 第2格納部52が格納する「関連情報」の一例図。FIG. 10 is a diagram illustrating an example of “related information” stored in the second storage unit 52. 情報表示装置1の処理を表すフローチャート。4 is a flowchart showing processing of the information display device 1. 推定部11及び第1抽出部12の処理の説明図。Explanatory drawing of the process of the estimation part 11 and the 1st extraction part 12. FIG. 領域102を表す概念図。The conceptual diagram showing the area | region 102. FIG. 第2算出部16の処理を表すフローチャート。7 is a flowchart showing processing of the second calculation unit 16. 属性座標軸90の一例図。An example of the attribute coordinate axis 90. FIG. 第1生成部15及び第2生成部17の処理の説明図。Explanatory drawing of the process of the 1st production | generation part 15 and the 2nd production | generation part 17. FIG. 第2の実施の形態に係る情報表示装置2を表すブロック図。The block diagram showing the information display apparatus 2 which concerns on 2nd Embodiment.

(第1の実施の形態)
第1の実施の形態に係る情報表示装置1は、美術館や博物館等の展示室に設置された展示物(美術品等)や、店舗に陳列された展示物(商品等)に関する情報をユーザに提供し、鑑賞や閲覧の案内を行う情報端末等に好適である。当該情報端末は、携帯型又は据え付け型のどちらでもよい。
(First embodiment)
The information display device 1 according to the first embodiment provides the user with information about exhibits (arts etc.) installed in exhibition rooms such as art museums and museums, and exhibits (products etc.) displayed in stores. It is suitable for information terminals that provide viewing and browsing guidance. The information terminal may be either a portable type or a stationary type.

図1は、情報表示装置1の使用態様の一例図である。情報表示装置1は、その背面にカメラ5を有する。カメラ5は情報表示装置1の周囲に位置する物体を撮影し、その映像を表示部18に表示することができる。情報表示装置1は、ユーザがその向きを自由に変更・可変できることが好ましい。   FIG. 1 is an example of how the information display device 1 is used. The information display device 1 has a camera 5 on the back surface thereof. The camera 5 can photograph an object located around the information display device 1 and display the image on the display unit 18. It is preferable that the information display device 1 can be freely changed and changed by the user.

ユーザ100が情報表示装置1(カメラ5)を、例えば展示物501,502に向けると、カメラ5から、展示物501の映像301及び展示物502の映像302を得ることができる。表示部18には、映像301映像302を表示するとともに、展示物501及び展示物502に関連する情報(401,402,403)(関連情報と呼ぶ)を、映像301や映像302の表示位置に応じて、併せて表示する。   When the user 100 points the information display device 1 (camera 5) toward the exhibits 501, 502, for example, the video 301 of the exhibit 501 and the video 302 of the exhibit 502 can be obtained from the camera 5. On the display unit 18, the video 301 video 302 is displayed, and information (401, 402, 403) (referred to as related information) related to the exhibition 501 and the exhibition 502 is displayed at the display position of the video 301 and the video 302. In response, display together.

これにより、ユーザ100は、情報表示装置1に表示された展示物に関する詳細な情報を容易に認識することができる。   Thereby, the user 100 can easily recognize detailed information regarding the exhibit displayed on the information display device 1.

図2は、情報表示装置1を表すブロック図である。情報表示装置1は、推定部11と、第1抽出部12と、第1算出部13と、第2抽出部14と、第1生成部15と、第2算出部16と、第2生成部17と、表示部18と、第1格納部51と、第2格納部52とを備える。図1に示すように、カメラ5が表示部18の裏面に取り付けられているものとするが、これに限るものではない。   FIG. 2 is a block diagram showing the information display device 1. The information display device 1 includes an estimation unit 11, a first extraction unit 12, a first calculation unit 13, a second extraction unit 14, a first generation unit 15, a second calculation unit 16, and a second generation unit. 17, the display unit 18, the first storage unit 51, and the second storage unit 52. As shown in FIG. 1, the camera 5 is attached to the back surface of the display unit 18, but is not limited thereto.

表示部18は、カメラ5が撮影した展示室101内の展示物を表示する。推定部11は、展示室におけるカメラ5の撮影方向を推定する。カメラ5が情報表示装置1に内蔵されている場合には、推定部11は、展示室101における情報表示装置1の位置及び向きを測定することにより、撮影方向を推定できる。これにより、表示部18に表示される展示物の表示位置が求まる。詳細は後述する。   The display unit 18 displays exhibits in the exhibition room 101 photographed by the camera 5. The estimation unit 11 estimates the shooting direction of the camera 5 in the exhibition room. When the camera 5 is built in the information display device 1, the estimation unit 11 can estimate the shooting direction by measuring the position and orientation of the information display device 1 in the exhibition room 101. Thereby, the display position of the exhibit displayed on the display unit 18 is obtained. Details will be described later.

第1格納部51は、展示室内に存在する一又は複数の展示物の位置を示す「位置情報」と、各展示物の名称や特徴等の属性を示す「属性情報」とを含む。   The first storage unit 51 includes “position information” indicating the position of one or a plurality of exhibits existing in the exhibition room, and “attribute information” indicating attributes such as names and features of each exhibit.

図3は、第1格納部51が格納している、ある展示物の「位置情報」及び「属性情報」の一例を示す。第1格納部51は、属性情報として、展示物の「タイトル」、「展示室の名称」、展示物の「解説」、「ジャンル」、展示物に関連する他の展示物のID(「関連物ID」)、展示物の「制作年代」、「製作者名」、展示物に関する「キーワード」等を格納している。関連物IDは、展示物とこれに関連する関連情報(後述)とを対応付けるための情報である。   FIG. 3 shows an example of “position information” and “attribute information” of an exhibit stored in the first storage unit 51. The first storage unit 51 includes, as attribute information, “title” of the exhibit, “exhibition room name”, “explanation”, “genre” of the exhibit, and IDs of other exhibits related to the exhibit (“related” Product ID ”),“ production age ”of the exhibit,“ producer name ”,“ keyword ”related to the exhibit, and the like. The related object ID is information for associating the exhibit with related information (described later) related thereto.

なお、属性情報はこれらに限らず、例えば、情報表示装置1が店舗等で利用される場合で、展示物が市販の商品であれば、その「価格」等も属性情報に含まれてよい。本実施形態において、展示室101には、(x,y,z)の座標系80が定義されている。よって位置情報は、展示室101に定義された座標系80(x,y,z)により定められる。   The attribute information is not limited to these. For example, if the information display device 1 is used in a store or the like and the exhibit is a commercial product, the “price” or the like may be included in the attribute information. In the present embodiment, a coordinate system 80 of (x, y, z) is defined in the exhibition room 101. Accordingly, the position information is determined by the coordinate system 80 (x, y, z) defined in the exhibition room 101.

第2格納部52は、展示室内に存在する展示物に関連する解説情報や写真等の「関連情報」を格納する。すなわち、関連情報とは、ユーザ100が展示室内で直接的に視認できない情報を、展示物に対応付けたものである。   The second storage unit 52 stores “related information” such as commentary information and photographs related to exhibits in the exhibition room. That is, the related information is information in which information that the user 100 cannot directly visually recognize in the exhibition room is associated with the exhibit.

例えば、展示物が美術品の場合、第2格納部52は、当該美術品の作者の写真やプロフィール、収蔵庫に保管されている同作者の作品、他の展示室や美術館に展示されている同作者の作品等を、展示物と対応付けられた関連情報として格納してよい。   For example, when the exhibit is a work of art, the second storage 52 is displayed in the photograph and profile of the author of the work, the work of the author stored in the storage, and other exhibition rooms and museums. The author's work or the like may be stored as related information associated with the exhibit.

図4は、第2格納部52が格納する「関連情報」の一例を示す図である。第2格納部52は、関連情報と、第1格納部51に格納される展示物と、の対応付けのための「関連物ID」、関連情報の「タイトル」、「解説」、「画像」、「ジャンル」、「制作年代」、「製作者名」、「収蔵場所」、「キーワード」等を格納してよい。なお、関連情報はこれらに限らず、展示物と関連する情報であれば、いかなる情報であってもよい。例えば、上述の市販の商品であれば、その「価格」等も関連情報に含まれてよい。   FIG. 4 is a diagram illustrating an example of “related information” stored in the second storage unit 52. The second storage unit 52 includes a “related object ID” for associating the related information with the exhibits stored in the first storage unit 51, “title”, “commentary”, and “image” of the related information. , “Genre”, “production age”, “producer name”, “storage location”, “keyword”, and the like may be stored. The related information is not limited to these, and may be any information as long as it is information related to the exhibit. For example, in the case of the above-mentioned commercially available products, the “price” and the like may be included in the related information.

第1抽出部12は、推定部11が推定し、撮影方向(情報表示装置1の位置及び向き)に基づいて、カメラ5の撮像範囲に入るであろう展示物を特定し、その展示物の情報を検索する。具体的には、表示部18に表示する一又は複数の展示物の位置情報及び属性情報を第1格納部51から抽出する。   The first extraction unit 12 identifies an exhibit that will be in the imaging range of the camera 5 based on the shooting direction (position and orientation of the information display device 1) estimated by the estimation unit 11, and Search for information. Specifically, the position information and attribute information of one or more exhibits displayed on the display unit 18 are extracted from the first storage unit 51.

第1算出部13は、情報表示装置1の位置及び向きと、抽出された展示物の位置情報とから、カメラ5で撮影され、表示部18で表示される映像における当該展示物の表示位置を算出する。これにより、後述する第2算出部16が当該関連情報の表示位置を算出することができる。   The first calculation unit 13 determines the display position of the exhibit in the video imaged by the camera 5 and displayed on the display unit 18 from the position and orientation of the information display device 1 and the extracted location information of the exhibit. calculate. Thereby, the 2nd calculation part 16 mentioned later can compute the display position of the relevant information.

第2抽出部14は、抽出された展示物の属性情報(例えば、関連物IDやキーワード)に基づいて、当該展示物に関連する一又は複数の関連情報を、第2格納部52から抽出する。   The second extraction unit 14 extracts one or a plurality of related information related to the exhibit from the second storage unit 52 based on the attribute information (for example, related product ID or keyword) of the extracted exhibit. .

第2算出部16は、表示部18における抽出された展示物の映像の表示位置と、当該展示物の属性情報に基づいて、表示部18において、画像として表示する当該関連情報の表示位置を算出する。   The second calculation unit 16 calculates the display position of the related information to be displayed as an image on the display unit 18 based on the display position of the extracted video of the exhibit on the display unit 18 and the attribute information of the exhibit. To do.

例えば、属性情報として制作年代を用いる場合、第2算出部16は、抽出された展示物の制作年代と近い関連情報は、展示物の映像の近くに配置されるように、当該関連情報の表示位置を算出する。   For example, when the production age is used as the attribute information, the second calculation unit 16 displays the related information so that the related information close to the extracted exhibition production date is arranged near the video of the exhibit. Calculate the position.

第1生成部15は、抽出された展示物の属性情報や関連情報を示す画像である第1画像を生成する。第2生成部17は、抽出された展示物間(複数の場合)、又は属性情報間、あるいは関連情報間のリンクを示す画像(例えば線分等)である第2画像を生成する。   The 1st production | generation part 15 produces | generates the 1st image which is an image which shows the attribute information and related information of the extracted exhibit. The second generation unit 17 generates a second image that is an image (for example, a line segment or the like) showing a link between extracted exhibits (in the case of a plurality of items), attribute information, or related information.

第1抽出部12と、第1算出部13と、第2抽出部14と、第1生成部15と、第2算出部16と、第2生成部17とは、中央演算処理装置(CPU)及びCPUが用いるメモリにより実現されてよい。第1格納部51、第2格納部52は、CPUが用いるメモリ、又はCPUが用いる補助記憶装置、あるいはネットワーク上のデータベース機能により実現されてよい。なお、第1格納部51と第2格納部52とは、同一のメモリ等で実現されても、異なるメモリで実現されても構わない。   The first extraction unit 12, the first calculation unit 13, the second extraction unit 14, the first generation unit 15, the second calculation unit 16, and the second generation unit 17 are a central processing unit (CPU). And a memory used by the CPU. The first storage unit 51 and the second storage unit 52 may be realized by a memory used by the CPU, an auxiliary storage device used by the CPU, or a database function on a network. The first storage unit 51 and the second storage unit 52 may be realized by the same memory or the like, or may be realized by different memories.

以上、情報表示装置1の構成について説明した。   The configuration of the information display device 1 has been described above.

図5は、情報表示装置1の処理を表すフローチャートである。推定部11は、展示室におけるカメラ(不図示)の撮影方向を推定する(S101)。すなわち、推定部11は、情報表示装置1の位置及び向きを測定することにより撮影方向を推定する(S101)。第1抽出部12は、推定された撮影方向(情報表示装置1の位置及び向き)に基づいて、表示部18に表示される一又は複数の展示物の位置情報及び属性情報を第1格納部51から抽出する(S102)。例えば、図1の場合、第1抽出部12は、展示物501の位置情報及び属性情報と、及び展示物502の位置情報及び属性情報とを第1格納部51から抽出する。   FIG. 5 is a flowchart showing processing of the information display device 1. The estimation unit 11 estimates the shooting direction of a camera (not shown) in the exhibition room (S101). That is, the estimation unit 11 estimates the shooting direction by measuring the position and orientation of the information display device 1 (S101). The first extraction unit 12 stores the position information and attribute information of one or more exhibits displayed on the display unit 18 on the basis of the estimated shooting direction (position and orientation of the information display device 1). 51 is extracted (S102). For example, in the case of FIG. 1, the first extraction unit 12 extracts the position information and attribute information of the exhibit 501 and the position information and attribute information of the exhibit 502 from the first storage unit 51.

第1算出部13は、情報表示装置1の位置及び向きと、抽出された展示物の位置情報とから、表示部18における当該展示物の映像の表示位置を算出する(S103)。例えば、図1の場合、第1算出部13は、展示物501の映像301と、展示物502の映像302と、の表示位置を算出する。   The first calculation unit 13 calculates the display position of the video of the exhibit on the display unit 18 from the position and orientation of the information display device 1 and the extracted location information of the exhibit (S103). For example, in the case of FIG. 1, the first calculation unit 13 calculates the display positions of the video 301 of the exhibit 501 and the video 302 of the exhibit 502.

第2抽出部14は、抽出された展示物の属性情報に基づいて、当該展示物の関連情報を、第2格納部52から抽出する(S104)。例えば、図1の場合、第2抽出部14は、展示物501の関連情報と、展示物502の関連情報とを第2格納部52から抽出する。   Based on the extracted attribute information of the exhibit, the second extraction unit 14 extracts related information of the exhibit from the second storage unit 52 (S104). For example, in the case of FIG. 1, the second extraction unit 14 extracts the related information of the exhibit 501 and the related information of the exhibit 502 from the second storage unit 52.

第2算出部16は、表示部18における抽出された展示物の映像の表示位置と、当該展示物の関連情報とに基づいて、表示部18において、画像として表示する当該関連情報の表示位置を算出する(S105)。例えば、第2算出部16は、展示物501の関連情報の画像401,画像402の表示位置と、展示物501の関連情報の画像403の表示位置とを算出する。   The second calculation unit 16 determines the display position of the related information to be displayed as an image on the display unit 18 based on the display position of the extracted video of the exhibit on the display unit 18 and the related information of the exhibit. Calculate (S105). For example, the second calculation unit 16 calculates the display position of the related information images 401 and 402 of the exhibit 501 and the display position of the related information image 403 of the exhibit 501.

第1生成部15は第1画像を生成する(S106)。第2生成部17は、第2画像を生成する(S107)。表示部18は、第1画像及び第2画像を表示する(S108)。   The first generation unit 15 generates a first image (S106). The second generation unit 17 generates a second image (S107). The display unit 18 displays the first image and the second image (S108).

以上、情報表示装置1の処理について説明した。   The processing of the information display device 1 has been described above.

以下、各部について詳述する。   Hereinafter, each part is explained in full detail.

[推定部11、第1抽出部12について]
図6は、推定部11及び第1抽出部12の処理の説明図である。推定部11は、例えば、情報表示装置1や展示室101に設置されたセンサ(例えば、加速度センサ、ジャイロセンサ、電子コンパス等)を用いて、展示室101における情報表示装置1の位置Pt及び向き(情報表示装置1が向く方向Vt、及び情報表示装置1の回転角を定める方向Ut)を測定することにより、展示室におけるカメラ(不図示)の撮影方向を推定する。
[About the estimation unit 11 and the first extraction unit 12]
FIG. 6 is an explanatory diagram of processing of the estimation unit 11 and the first extraction unit 12. The estimation unit 11 uses, for example, a sensor (for example, an acceleration sensor, a gyro sensor, an electronic compass, etc.) installed in the information display device 1 or the exhibition room 101, and the position Pt and the direction of the information display device 1 in the exhibition room 101. By measuring the direction Vt in which the information display device 1 faces and the direction Ut that determines the rotation angle of the information display device 1, the shooting direction of a camera (not shown) in the exhibition room is estimated.

第1抽出部12は、情報表示装置1の当該位置及び向きに基づいて、表示部18に表示される領域102を求める。第1抽出部12は、第1格納部51から、表示部18に表示される領域102に含まれる一又は複数の展示物の位置情報及び属性情報を抽出する。このとき、展示室101には、(x,y,z)の座標系80が定義されている。   The first extraction unit 12 obtains the area 102 displayed on the display unit 18 based on the position and orientation of the information display device 1. The first extraction unit 12 extracts position information and attribute information of one or a plurality of exhibits included in the region 102 displayed on the display unit 18 from the first storage unit 51. At this time, a coordinate system 80 of (x, y, z) is defined in the exhibition room 101.

よって、推定部11で得られる情報表示装置1の位置Pt及び向きVt、Utと、第1格納部51に格納されている展示物の位置Peとは、座標系80上の座標で表わされる。   Therefore, the position Pt and the orientations Vt and Ut of the information display device 1 obtained by the estimation unit 11 and the position Pe of the exhibit stored in the first storage unit 51 are represented by coordinates on the coordinate system 80.

なお、表示部18に表示される領域102とは、図6において破線で示される四角錐内の領域である。当該四角錐は、カメラ(不図示)の画角により定まる。   Note that the area 102 displayed on the display unit 18 is an area within a quadrangular pyramid indicated by a broken line in FIG. 6. The square pyramid is determined by the angle of view of a camera (not shown).

図7は、領域102を表す概念図である。領域102に展示物が含まれるとは、第1格納部51の格納されている展示物の位置情報が、当該四角錐内に含まれるということである。図7の例では、位置Pe1及び位置Pe2にある展示物が領域102に含まれ、位置Pe3、位置Pe4、及び位置Pe5にある展示物は領域102に含まれない。   FIG. 7 is a conceptual diagram showing the region 102. The fact that an exhibit is included in the area 102 means that the position information of the exhibit stored in the first storage unit 51 is included in the square pyramid. In the example of FIG. 7, the exhibits at positions Pe <b> 1 and Pe <b> 2 are included in the area 102, and the exhibits at positions Pe <b> 3, position Pe <b> 4, and position Pe <b> 5 are not included in the area 102.

第1抽出部12は、抽出した展示物(例えば、展示物501及び展示物502)の位置情報や属性情報(例えば、関連物IDや、キーワード、解説、ジャンル等)を用いて、当該展示物に関連する他の展示物の属性情報を、第1格納部51から抽出してもよい。   The first extraction unit 12 uses the position information and attribute information (for example, related object ID, keyword, commentary, genre, etc.) of the extracted exhibits (for example, the exhibits 501 and 502) to display the exhibits. The attribute information of other exhibits related to the item may be extracted from the first storage unit 51.

なお、第1抽出部12は、ユーザ100からの指定に応じて、展示物の位置情報及び属性情報を第1格納部51から抽出可能であってもよい。この場合、第1抽出部12は、タッチ入力やキーパッド入力、音声入力等により、ユーザ100が指定した検索キーワードや、ユーザ100が選択したジャンル等を用いて、第1格納部51から展示物の位置情報及び属性情報を抽出する。   Note that the first extraction unit 12 may be able to extract the location information and attribute information of the exhibit from the first storage unit 51 in accordance with the designation from the user 100. In this case, the first extraction unit 12 uses the search keyword designated by the user 100, the genre selected by the user 100, or the like from the first storage unit 51 by touch input, keypad input, voice input, or the like. Position information and attribute information are extracted.

[第1算出部13について]
第1算出部13は、位置Pt及び向きVt、Utと、抽出された一又は複数の展示物(例えば、展示物501及び展示物502)の位置情報とを用いて、展示物の映像(例えば、映像301及び302)の表示座標系における表示位置を算出する。
[About the first calculator 13]
The first calculation unit 13 uses the position Pt, the orientations Vt and Ut, and the position information of one or more extracted exhibits (for example, the exhibits 501 and the exhibits 502) to display an image of the exhibit (for example, , The display position in the display coordinate system of the images 301 and 302) is calculated.

[第2抽出部14について]
第2抽出部14は、第1抽出部12で抽出された展示物(例えば、展示物501及び展示物502)の位置情報や属性情報(例えば、関連物IDや、キーワード、解説、ジャンル等)を用いて、当該展示物の関連情報を、第2格納部52から抽出する。
[About the second extraction unit 14]
The second extraction unit 14 includes position information and attribute information (for example, related object ID, keyword, commentary, genre, etc.) of the exhibits (for example, the exhibit 501 and the exhibit 502) extracted by the first extraction unit 12. The related information of the exhibit is extracted from the second storage unit 52 by using.

例えば、第2抽出部14は、展示物501の属性情報のうち、キーワードや、解説に含まれる固有名詞等の単語を抽出し、当該単語を用いて、第2格納部52に格納されている関連情報を抽出してよい。また、第2抽出部14は、抽出した関連情報(例えば、関連物IDや、キーワード、解説、ジャンル等)を用いて、当該関連情報に関連する他の関連情報を、第2格納部52からさらに抽出してもよい。   For example, the second extraction unit 14 extracts a keyword or a word such as a proper noun included in the explanation from the attribute information of the exhibit 501 and stores the extracted word in the second storage unit 52 using the word. Related information may be extracted. Further, the second extraction unit 14 uses the extracted related information (for example, related object ID, keyword, commentary, genre, etc.) to send other related information related to the related information from the second storage unit 52. Further extraction may be performed.

[第2算出部16について]
第2算出部16は、表示部18における抽出された展示物(例えば、展示物501及び展示物502)の映像(例えば、映像301や302)の表示位置と、当該展示物の関連情報に基づいて、表示部18において映像(例えば、映像401,402,403)として表示する展示物の関連情報の表示位置を算出する。図8は、第2算出部16の処理を表すフローチャートである。
[About Second Calculation Unit 16]
The second calculation unit 16 is based on the display position of the images (for example, the images 301 and 302) of the extracted exhibits (for example, the exhibits 501 and 502) on the display unit 18 and the related information on the exhibits. Thus, the display position of the related information of the exhibit to be displayed on the display unit 18 as a video (for example, video 401, 402, 403) is calculated. FIG. 8 is a flowchart showing the processing of the second calculation unit 16.

第2算出部16は、カメラ(不図示)によって撮影され、表示部18に表示されている一又は複数の展示物の中から、処理の対象となる展示物(主展示物)の映像を選択する(S201)。例えば、表示部18の中心から表示部18に表示されている複数の展示物の映像との距離を各々求め、その距離が最も短い展示物の映像(例えば、展示物501の映像301)を、主展示物の映像として選択してよい。   The second calculation unit 16 selects an image of an exhibit (main exhibit) to be processed from one or a plurality of exhibits captured by a camera (not shown) and displayed on the display unit 18. (S201). For example, the distance from the center of the display unit 18 to the images of the plurality of exhibits displayed on the display unit 18 is obtained, and the image of the exhibit having the shortest distance (for example, the image 301 of the exhibit 501) is obtained. It may be selected as the video of the main exhibit.

第2算出部16は、主展示物以外で、表示部18に表示されている複数の展示物の映像の中から、同じく処理の対象となる展示物(副展示物)の映像を1つ選択する(S202)。例えば、表示部18の中心から表示部18に表示されている複数の展示物の映像との距離を各々求め、その距離の最も長い展示物の映像(例えば、展示物502の映像302)を、副展示物の映像として選択してよい。   The second calculation unit 16 selects one video of an exhibit (sub-exhibit) that is also the target of processing from among a plurality of exhibits displayed on the display unit 18 other than the main exhibit. (S202). For example, the distance from the center of the display unit 18 to the images of a plurality of exhibits displayed on the display unit 18 is obtained, and the image of the exhibit having the longest distance (for example, the image 302 of the exhibit 502) is obtained. It may be selected as an image of the sub-exhibition.

第2算出部16は、主展示物(例えば、展示物501)と副展示物(例えば、展示物502)とについて、第1格納部51から抽出した属性情報を選択する(S203)。例えば、展示品であれば制作年代、商品であれば価格等の属性情報を選択してよい。属性情報自体は必ずしも数値である必要はない。数値でない属性情報を選択した場合、第2算出部16は、主展示物及び副展示物が属するジャンル間の関連性の程度を数値として表わした関連度を算出してよい。例えば、特許文献2記載の技術を用いて構わない。   The second calculation unit 16 selects attribute information extracted from the first storage unit 51 for the main exhibit (for example, the exhibit 501) and the sub-exhibit (for example, the exhibit 502) (S203). For example, attribute information such as production age may be selected for an exhibit and price may be selected for a product. The attribute information itself does not necessarily have to be a numerical value. When attribute information that is not a numerical value is selected, the second calculation unit 16 may calculate a relevance level that expresses the degree of relevance between the genres to which the main exhibit and the subexhibit belong as a numerical value. For example, the technique described in Patent Document 2 may be used.

第2算出部16は、主展示物の属性情報と、副展示物の属性情報とを通る属性座標軸90を定義する(S204)。図9は、属性座標軸90の一例図である。例えば、属性情報として制作年代を用いる場合、第2算出部16は、属性座標軸90を年代の軸とする。すなわち、主展示物の属性情報201と、副展示物の属性値401の間は年代を内分し、主展示物の属性値201より正側と、副展示物の属性値401より負側は年代を外分する。   The second calculation unit 16 defines an attribute coordinate axis 90 that passes through the attribute information of the main exhibit and the attribute information of the secondary exhibit (S204). FIG. 9 is an example of the attribute coordinate axis 90. For example, when the production age is used as the attribute information, the second calculation unit 16 sets the attribute coordinate axis 90 as the axis of the age. That is, the age is internally divided between the attribute information 201 of the main exhibit and the attribute value 401 of the sub exhibit, and the positive side of the attribute value 201 of the main exhibit and the negative side of the attribute value 401 of the sub exhibit are Divide the age.

なお、表示部18に表示されている展示物が一つの場合は、当該展示物501をから予め決められた方向に属性座標軸90を定義してよい。   When there is one exhibit displayed on the display unit 18, the attribute coordinate axis 90 may be defined in a predetermined direction from the exhibit 501.

第2算出部16は、第2抽出部14で抽出された複数の関連情報(601、602)について、図9(a)に示すように、関連情報に関する同じ種類の属性情報を用いて、属性座標軸90上に配置する。   As shown in FIG. 9A, the second calculation unit 16 uses the same type of attribute information about the related information as shown in FIG. 9A for the plurality of related information (601, 602) extracted by the second extraction unit 14. Arrange on the coordinate axis 90.

第2算出部16は、属性座標軸90における関連情報(601、602)から主展示物(展示物501)又は副展示物(展示物502)までの距離の比が、表示部18における関連情報から主展示物(展示物501)又は副展示物(展示物502)までの距離の比と等しくなるように、表示部18における関連情報の表示位置を算出する(S205)。   The second calculation unit 16 determines the ratio of the distance from the related information (601, 602) on the attribute coordinate axis 90 to the main exhibit (exhibit 501) or the subexhibit (exhibit 502) from the related information on the display unit 18. The display position of the related information on the display unit 18 is calculated so as to be equal to the ratio of the distance to the main exhibit (exhibit 501) or sub-exhibit (exhibit 502) (S205).

ここで、主展示物の属性情報201と、副展示物の属性情報401とが同一の場合、第2算出部16は、属性座標軸90を定めることができない。その場合、第2算出部16は、副展示物として、表示部18に表示されている異なる展示物を選択してもよい。   Here, when the attribute information 201 of the main exhibit and the attribute information 401 of the sub exhibit are the same, the second calculation unit 16 cannot determine the attribute coordinate axis 90. In this case, the second calculation unit 16 may select a different exhibit displayed on the display unit 18 as a sub-exhibit.

また、第2算出部16は、副展示物の属性情報401を1つのみ定めるのではなく、図9(b)に示すように、主展示物の属性情報201の負側に副展示物の属性情報401を配置し、主展示物の属性情報201の正側に副展示物の属性情報402を配置することにより属性座標軸90を定義してもよい。   Further, the second calculation unit 16 does not determine only one attribute information 401 of the sub-exhibit, but instead of the sub-exhibit on the negative side of the attribute information 201 of the main exhibit as shown in FIG. 9B. The attribute coordinate axis 90 may be defined by arranging the attribute information 401 and arranging the attribute information 402 of the subexhibit on the primary side of the attribute information 201 of the main exhibit.

このようにして定めた属性値座標系90における関連情報から主展示物及び副展示物への距離の比は、単一の属性座標軸90に限定せず、年代とジャンル、ジャンルと解説文中の共通キーワードの共起数、年代とジャンルとデータ種別のように、複数の属性座標軸を組み合わせてもよい。この場合、第2算出部16は、属性座標軸に優先順位をつけ、優先順位が高い順に、関連情報から主展示物及び副展示物への距離の比を満たすように表示部18における関連情報の表示位置を定めてよい。   The ratio of the distance from the related information in the attribute value coordinate system 90 determined in this way to the main exhibit and the subexhibit is not limited to the single attribute coordinate axis 90, but is common to the age and genre, the genre, and the commentary. A plurality of attribute coordinate axes may be combined, such as the number of keyword co-occurrence, age, genre, and data type. In this case, the second calculation unit 16 assigns priorities to the attribute coordinate axes, and the related information in the display unit 18 satisfies the ratio of the distance from the related information to the main exhibit and the sub-exhibit in descending order of priority. The display position may be determined.

また、表示部18における関連情報の表示位置を算出する際、第2算出部16は、予め表示座標系を定義し、その座標系上に関連情報を配置した上で、表示部18上に射影を行ってもよい。表示座標系としては、主展示物を原点とした2次元座標系に限定せず、3次元座標系や、極座標系等を用いてよい。   Further, when calculating the display position of the related information on the display unit 18, the second calculation unit 16 defines a display coordinate system in advance, arranges the related information on the coordinate system, and then projects it on the display unit 18. May be performed. The display coordinate system is not limited to the two-dimensional coordinate system with the main exhibit as the origin, and a three-dimensional coordinate system, a polar coordinate system, or the like may be used.

[第1生成部15、第2生成部17の処理内容]
図10は、第1生成部15及び第2生成部17の処理の説明図である。第1生成部15は、展示物の属性情報に関する第1画像を生成する。属性情報に関する第1画像とは、第1抽出部12が抽出した展示物の属性情報を画像化したものであり、例えば、図10における画像311で示される展示物のキャプションであってよい。
[Processing contents of first generation unit 15 and second generation unit 17]
FIG. 10 is an explanatory diagram of processing of the first generation unit 15 and the second generation unit 17. The 1st production | generation part 15 produces | generates the 1st image regarding the attribute information of an exhibit. The first image related to the attribute information is an image of the attribute information of the exhibit extracted by the first extraction unit 12, and may be, for example, a caption of the exhibit shown by the image 311 in FIG.

画像311の表示位置は、第1算出部13によって算出された表示位置であってよい。ここで、第1生成部15は、展示物に関する画像が展示物の映像を遮らないように表示位置を下方向に移動させてもよい。移動させる距離は展示物から情報表示装置1までの距離に応じて変化させてもよい。また、当該距離を画像サイズに反映させてもよい。例えば、当該距離が近い展示物の第1画像は大きく、当該距離が遠い展示物の第1画像は小さく表示させてもよい。   The display position of the image 311 may be the display position calculated by the first calculation unit 13. Here, the 1st production | generation part 15 may move a display position below so that the image regarding an exhibit may not interrupt | block the image | video of an exhibit. The distance to be moved may be changed according to the distance from the exhibit to the information display device 1. Further, the distance may be reflected on the image size. For example, the first image of an exhibit that is close to the distance may be large and the first image of an exhibit that is far away may be displayed small.

また、第1生成部15は、展示物の関連情報に関する第1画像を生成する。すなわち、第1生成部15は、第2抽出部14によって抽出された関連情報の画像(他の美術館等にある展示物の写真)やタイトル、ジャンル等の関連情報を、サムネイル画像(画像321、322、323)やキャプション(画像331、332,333)として画像化する。   Moreover, the 1st production | generation part 15 produces | generates the 1st image regarding the relevant information of an exhibit. That is, the first generation unit 15 displays related information images (photos of exhibits in other museums) extracted by the second extraction unit 14 and related information such as titles and genres as thumbnail images (images 321, 321). 322, 323) and captions (images 331, 332, 333).

第2生成部17は、第1抽出部12が第1格納部51から抽出した展示物と、第2抽出部14が第2格納部52から抽出した関連情報とについて、それらが関連する場合には第2画像(例えば、線分341、342、343)を表示する。   When the second generation unit 17 relates the exhibits extracted by the first extraction unit 12 from the first storage unit 51 and the related information extracted by the second extraction unit 14 from the second storage unit 52, the second generation unit 17 Displays a second image (eg, line segments 341, 342, 343).

第2生成部17は、線分の形状や色等を関連の状態に応じて変化させてもよい。例えば、第1格納部51や第2格納部52に明示的に関連するものとして定義されている場合と、ジャンルが一致する場合と、解説情報やキーワード中の文字列が一致する場合で色を変えてもよい。また、展示物が画面外に存在する場合には、展示物が存在する方向を案内する矢印の画像等を表示してもよい。   The second generation unit 17 may change the shape, color, and the like of the line segment according to the related state. For example, the color may be changed depending on whether it is defined as explicitly related to the first storage unit 51 or the second storage unit 52, when the genre matches, and when the character string in the commentary information or keyword matches. You may change it. Further, when an exhibit is present outside the screen, an arrow image or the like that guides the direction in which the exhibit exists may be displayed.

それにより、ユーザ100は、矢印を辿るように情報表示装置1の向きを変えることで、表示部18上で画面外の展示物を画面内へ表示させることができる。   Thereby, the user 100 can display the exhibits outside the screen on the display unit 18 by changing the direction of the information display device 1 so as to follow the arrow.

本実施形態のように関連情報の配置を行うことで、展示室における展示物が年代順に配置されているような状況において、展示室に配置されていない物体の情報である関連情報も、展示物の配置順序から逸脱が少ない状態で、情報表示装置1の表示部18上に、情報表示装置1のカメラで撮影された映像に重畳する形で表示することが可能となる。これにより、ユーザ100は、展示物と関連情報の違いによらず、同一画面上で、容易に年代順に配置された情報を閲覧することが可能となる。   By arranging related information as in this embodiment, in a situation where the exhibits in the exhibition room are arranged in chronological order, related information that is information on objects that are not arranged in the exhibition room is also exhibited. It is possible to display the image on the display unit 18 of the information display device 1 so as to be superimposed on the video imaged by the camera of the information display device 1 in a state where there is little deviation from the arrangement order. Thereby, the user 100 can easily browse information arranged in chronological order on the same screen regardless of the difference between the exhibit and the related information.

同様に、商品販売を行う実店舗などにおいて、価格順に商品が陳列されている場合には、店舗に在庫があり設置されている商品に併せて、店舗に在庫がない商品の情報も表示し、実物と在庫のない商品の情報の違いによらず、同一画面上で、容易に価格順に情報を閲覧することが可能となる。同様に、書店などの実店舗において、販売ランキング順に配置することで、実物と在庫のない商品の情報の違いによらず、同一画面上で、容易にランキング順に情報を閲覧することが可能となる。   Similarly, if the products are displayed in order of price at the actual store where the products are sold, in addition to the products that are in stock and installed in the store, information on the products that are not in stock in the store is also displayed. Regardless of the difference between the information of the actual product and the product that is not in stock, it is possible to easily browse the information in order of price on the same screen. Similarly, in an actual store such as a bookstore, by arranging in order of sales ranking, it becomes possible to easily browse information in the order of ranking on the same screen, regardless of the difference in information between the real product and the product not in stock. .

なお、本実施形態では、情報表示装置1が、第1格納部51と、第2格納部52とを備える例について説明したが、これに限られない。例えば、第1格納部51に含まれる情報、及び第2格納部52に含まれる情報が、ネットワーク上に存在する場合がある。この場合、第1抽出部12は、位置情報及び属性情報を当該ネットワーク上から抽出し、第2抽出部12は、関連情報を当該ネットワーク上から抽出してもよい。   In the present embodiment, an example in which the information display device 1 includes the first storage unit 51 and the second storage unit 52 has been described. However, the present invention is not limited to this. For example, information included in the first storage unit 51 and information included in the second storage unit 52 may exist on the network. In this case, the first extraction unit 12 may extract position information and attribute information from the network, and the second extraction unit 12 may extract related information from the network.

すなわち、本実施形態により、情報表示装置1は、表示部に表示した複数の展示物について、それらの関連をユーザに分かりやすく示すことができる。また、当該展示物と関連する展示室の周囲の展示物の位置をユーザに分かりやすく示すことができる。また、当該展示物に関連する解説や、関連写真、展示室にない他の展示物についても、ユーザに分かりやすく示すことができる。   That is, according to the present embodiment, the information display device 1 can easily show the relationship between a plurality of exhibits displayed on the display unit to the user. In addition, the position of the exhibits around the exhibition room related to the exhibits can be easily shown to the user. In addition, explanations related to the exhibit, related photos, and other exhibits that are not in the exhibition room can be easily displayed to the user.

(第2の実施の形態)
第2の実施の形態に係る情報表示装置2は、ユーザ100からの入力によるポインティング操作が可能である点が、情報表示装置1の場合と異なる。ユーザ100は、ポインティングにより、表示部18に表示された展示物又は関連情報の中から、一又は複数の展示物又は関連情報を指定する。
(Second Embodiment)
The information display device 2 according to the second embodiment is different from the information display device 1 in that a pointing operation by an input from the user 100 is possible. The user 100 designates one or more exhibits or related information from among the exhibits or related information displayed on the display unit 18 by pointing.

図11は、情報表示装置2を表すブロック図である。情報表示装置2は、第1の実施の形態における情報表示装置1に対し、入力部21と判定部22とをさらに備える。   FIG. 11 is a block diagram showing the information display device 2. The information display device 2 further includes an input unit 21 and a determination unit 22 with respect to the information display device 1 in the first embodiment.

入力部21は、ユーザ100から、ポインティングによる入力を受け付ける。例えば、入力部21は、表示部18に設けられるタッチパネル(不図示)やボタン(不図示)等であってよい。   The input unit 21 receives an input by pointing from the user 100. For example, the input unit 21 may be a touch panel (not shown) or a button (not shown) provided on the display unit 18.

判定部22は、ポインティングの位置(例えば、表示部18におけるタッチ位置等)を算出し、ポインティングの位置が表示部18に表示された展示物又は関連情報の位置と一致するか否かを判定する。   The determination unit 22 calculates a pointing position (for example, a touch position on the display unit 18), and determines whether the pointing position matches the position of the exhibit or related information displayed on the display unit 18. .

一致する場合、表示部18は、当該展示物又は関連情報である、第1画像と第2画像を表示し、それ以外表示しない。一致しない場合は、第1の実施の形態の場合と同様である。   If they match, the display unit 18 displays the first image and the second image, which are the exhibit or related information, and does not display the other. If they do not match, the process is the same as in the first embodiment.

これにより、情報表示装置2は、ユーザ100が指定した展示物又は関連情報に関連する情報を選別して提示することができる。また、ユーザ100が1つ指定した展示物を、第2算出部16において主展示物として用いることや、ユーザ100が2つ指定した展示物のうち、一方を第2算出部16において主展示物として利用し、もう一方を、副展示物として用いることが可能となる。   Thereby, the information display apparatus 2 can select and present information related to the exhibit designated by the user 100 or related information. In addition, the exhibit designated by the user 100 is used as the main exhibit in the second calculation unit 16, or one of the exhibits designated by the user 100 is used as the main exhibit in the second calculation unit 16. And the other can be used as a sub-exhibit.

なお、情報表示装置2は、表示部18とは別の表示部(不図示)を備えていてもよい。この場合、当該表示部(不図示)は、例えばタッチパネルにおいてタッチされた物体の詳細な情報を当該表示部(不図示)に表示してもよい。   The information display device 2 may include a display unit (not shown) different from the display unit 18. In this case, the display unit (not shown) may display detailed information of an object touched on the touch panel, for example, on the display unit (not shown).

上述した実施形態により、ユーザにとって、より利便性の高い情報表示装置及び情報表示方法を提供することができる。   According to the embodiment described above, an information display device and an information display method that are more convenient for the user can be provided.

これまで、本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described so far, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

1,2…情報表示装置
11…推定部
12…第1抽出部
13…第1算出部
14…第2抽出部
15…第1生成部
16…第2算出部
17…第2生成部
18…表示部
21…入力部
22…判定部
51…第1格納部
52…第2格納部
DESCRIPTION OF SYMBOLS 1, 2 ... Information display apparatus 11 ... Estimation part 12 ... 1st extraction part 13 ... 1st calculation part 14 ... 2nd extraction part 15 ... 1st generation part 16 ... 2nd calculation part 17 ... 2nd generation part 18 ... Display Unit 21 ... Input unit 22 ... Determination unit 51 ... First storage unit 52 ... Second storage unit

Claims (6)

空間中における一又は複数の物体を撮影したカメラから得られる映像に情報を付加して、表示可能な情報表示装置であって、
前記空間中での前記カメラの撮影方向を推定する推定部と、
前記空間中における前記物体の位置を示す位置情報と、前記物体の属性を示す情報とを格納する第1格納部と、
前記物体に関連する他の物体の情報である関連情報を格納する第2格納部と、
前記映像に含まれる一又は複数の物体の各々について、前記第1格納部から、各物体の前記位置情報と、前記属性情報とを抽出する第1抽出部と、
前記属性情報に基づいて、前記第2格納部から、前記各物体に関連する物体の前記関連情報を抽出する第2抽出部と、
前記撮影方向と前記位置情報とに基づいて、前記各物体の表示位置を算出する第1算出部と、
前記各物体の表示位置に基づいて、前記関連情報の表示位置を算出する第2算出部と、
前記関連情報の表示位置に基づいて、前記関連情報の画像を生成する第1生成部と、
前記映像及び前記画像を表示する表示部と、
を備える、情報表示装置。
An information display device capable of displaying information by adding information to a video obtained from a camera that has photographed one or more objects in space,
An estimation unit for estimating a shooting direction of the camera in the space;
A first storage unit that stores position information indicating a position of the object in the space and information indicating an attribute of the object;
A second storage unit that stores related information that is information of other objects related to the object;
For each of one or more objects included in the video, a first extraction unit that extracts the position information and the attribute information of each object from the first storage unit;
A second extraction unit that extracts, from the second storage unit, the related information of an object related to each object based on the attribute information;
A first calculation unit that calculates a display position of each object based on the shooting direction and the position information;
A second calculation unit that calculates a display position of the related information based on a display position of each object;
A first generation unit configured to generate an image of the related information based on a display position of the related information;
A display unit for displaying the video and the image;
An information display device comprising:
前記映像に含まれる物体が複数ある場合、前記第2算出部は、
一方の物体の表示位置と、他方の物体の表示位置とに基づいて、前記関連情報の表示位置を算出する、請求項1記載の情報表示装置。
When there are a plurality of objects included in the video, the second calculator is
The information display device according to claim 1, wherein the display position of the related information is calculated based on a display position of one object and a display position of the other object.
前記第2算出部は、
選択された一方の物体の表示位置と、他方の物体の表示位置とを結ぶ軸上に、前記関連情報が配置されるように、前記関連情報の表示位置を算出する、
請求項2記載の情報表示装置。
The second calculator is
Calculating the display position of the related information so that the related information is arranged on an axis connecting the display position of the selected one object and the display position of the other object;
The information display device according to claim 2.
前記物体と前記関連情報との間のリンクを示す画像を生成する第2生成部をさらに備える、
請求項1から3記載の情報表示装置。
A second generation unit configured to generate an image indicating a link between the object and the related information;
The information display device according to claim 1.
ユーザにより、一方の物体の選択を受け付ける入力部を備える、
請求項2から4記載の情報表示装置。
An input unit that accepts selection of one object by the user is provided.
The information display device according to claim 2.
空間中における一又は複数の物体を撮影したカメラから得られる映像に情報を付加して表示可能な情報表示方法であって、
前記空間中での前記カメラの撮影方向を推定し、
前記映像に含まれる一又は複数の物体の各々について、前記空間中における前記物体の位置を示す位置情報と、前記物体の属性を示す情報とを取得し、
前記属性情報に基づいて、前記各物体に関連する他の物体の情報である関連情報を取得し、
前記撮影方向と前記位置情報とに基づいて、前記各物体の表示位置を算出し、
前記各物体の表示位置に基づいて、前記関連情報の表示位置を算出し、
前記関連情報の表示位置に基づいて、前記関連情報の画像を生成する
前記映像及び前記画像を表示する、
情報表示方法。
An information display method capable of displaying information by adding information to a video obtained from a camera that has photographed one or more objects in space,
Estimating the shooting direction of the camera in the space;
For each of one or more objects included in the video, obtain position information indicating the position of the object in the space and information indicating the attribute of the object,
Based on the attribute information, obtain related information that is information of other objects related to each object,
Based on the shooting direction and the position information, the display position of each object is calculated,
Based on the display position of each object, the display position of the related information is calculated,
Based on the display position of the related information, the image for generating the image of the related information and the image are displayed.
Information display method.
JP2011044429A 2011-03-01 2011-03-01 Information display device and information display method Pending JP2012181701A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011044429A JP2012181701A (en) 2011-03-01 2011-03-01 Information display device and information display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011044429A JP2012181701A (en) 2011-03-01 2011-03-01 Information display device and information display method

Publications (1)

Publication Number Publication Date
JP2012181701A true JP2012181701A (en) 2012-09-20

Family

ID=47012845

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011044429A Pending JP2012181701A (en) 2011-03-01 2011-03-01 Information display device and information display method

Country Status (1)

Country Link
JP (1) JP2012181701A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164407A (en) * 2013-02-22 2014-09-08 Toyota Motor Corp Object identification system and object identification method
JP2021106332A (en) * 2019-12-26 2021-07-26 キヤノン株式会社 Information processing device, information processing method, and program
JP2022090849A (en) * 2020-12-08 2022-06-20 大日本印刷株式会社 Image output device and program
JP2023026894A (en) * 2021-08-16 2023-03-01 富士フイルムビジネスイノベーション株式会社 Information processing device, information processing system, and information processing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895742A (en) * 1994-09-27 1996-04-12 Toshiba Corp Hypermedia system and map display method in the system
JP2007257223A (en) * 2006-03-23 2007-10-04 Fujitsu Ltd Financial related information integrated display program, apparatus, and method.
JP2010262441A (en) * 2009-05-01 2010-11-18 Sony Corp Server apparatus, electronic device, electronic book providing system, electronic book providing method, electronic book display method, and program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895742A (en) * 1994-09-27 1996-04-12 Toshiba Corp Hypermedia system and map display method in the system
JP2007257223A (en) * 2006-03-23 2007-10-04 Fujitsu Ltd Financial related information integrated display program, apparatus, and method.
JP2010262441A (en) * 2009-05-01 2010-11-18 Sony Corp Server apparatus, electronic device, electronic book providing system, electronic book providing method, electronic book display method, and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG201000475008; 杉田馨・中州俊信・山内康晋: '「展示物の関連性によりミュージアム空間を拡張する展示ガイドシステム」' 電子情報通信学会技術研究報告 第109巻,第466号, 20100305, P. 41-44, 社団法人電子情報通信学会 *
JPN6014020653; 杉田馨・中州俊信・山内康晋: '「展示物の関連性によりミュージアム空間を拡張する展示ガイドシステム」' 電子情報通信学会技術研究報告 第109巻,第466号, 20100305, P. 41-44, 社団法人電子情報通信学会 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014164407A (en) * 2013-02-22 2014-09-08 Toyota Motor Corp Object identification system and object identification method
JP2021106332A (en) * 2019-12-26 2021-07-26 キヤノン株式会社 Information processing device, information processing method, and program
JP7438752B2 (en) 2019-12-26 2024-02-27 キヤノン株式会社 Information processing device, control method for information processing device, storage medium, and program
JP2022090849A (en) * 2020-12-08 2022-06-20 大日本印刷株式会社 Image output device and program
JP7585749B2 (en) 2020-12-08 2024-11-19 大日本印刷株式会社 Image output device and program
JP2023026894A (en) * 2021-08-16 2023-03-01 富士フイルムビジネスイノベーション株式会社 Information processing device, information processing system, and information processing program
JP7739831B2 (en) 2021-08-16 2025-09-17 富士フイルムビジネスイノベーション株式会社 Information processing device, information processing system, and information processing program

Similar Documents

Publication Publication Date Title
JP5134664B2 (en) Annotation device
CN105046752B (en) Method for describing virtual information in the view of true environment
US10970932B2 (en) Provision of virtual reality content
CN202502670U (en) Image processing apparatus
JP4796435B2 (en) Image viewer
US20200342668A1 (en) Spatial and semantic augmented reality autocompletion in an augmented reality environment
US11709881B2 (en) Visual menu
TW200811699A (en) User interface for navigating through images
US20240320855A1 (en) Use Of Image Sensors To Query Real World for Geo-Reference Information
JP5467177B2 (en) INFORMATION PROVIDING DEVICE, INFORMATION PROVIDING METHOD, INFORMATION PROVIDING PROCESSING PROGRAM, RECORDING MEDIUM CONTAINING INFORMATION PROVIDING PROCESSING PROGRAM, AND INFORMATION PROVIDING SYSTEM
WO2013046768A1 (en) Search device, search method, recording medium, and program
US20150039632A1 (en) Media Tagging
JP5288445B2 (en) PHOTO MAPPING METHOD AND SYSTEM, PROGRAM, AND STORAGE MEDIUM
JP5472972B2 (en) Object information display device, object information display method, object information display program
JP2010231741A (en) Electronic tag generating and displaying system, electronic tag generating and displaying device, and method thereof
JP5886662B2 (en) Image display device
JP2012048474A (en) Information processor, information processing method and program
CN107102794B (en) Operation processing method and device
JP6564259B2 (en) Image processing apparatus and image processing method
US9524303B2 (en) Electronic calculating apparatus for generating an interaction index map of an image, method thereof and non-transitory machine-readable medium thereof
US20110119296A1 (en) Method and apparatus for displaying data
JP2019056574A (en) Selection condition presentation system and selection condition presentation program
US11256763B2 (en) System and method for searching for object based on property thereof
JP2011170778A (en) Document search device and document search program
JP2015232913A (en) Augmented reality device, method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140430

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140523

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140926