JP2012141502A - Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device - Google Patents

Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device Download PDF

Info

Publication number
JP2012141502A
JP2012141502A JP2011000657A JP2011000657A JP2012141502A JP 2012141502 A JP2012141502 A JP 2012141502A JP 2011000657 A JP2011000657 A JP 2011000657A JP 2011000657 A JP2011000657 A JP 2011000657A JP 2012141502 A JP2012141502 A JP 2012141502A
Authority
JP
Japan
Prior art keywords
viewpoint position
image
subject
position detection
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011000657A
Other languages
Japanese (ja)
Inventor
Takeshi Kasahara
毅 笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Seiki Co Ltd
Original Assignee
Nippon Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Seiki Co Ltd filed Critical Nippon Seiki Co Ltd
Priority to JP2011000657A priority Critical patent/JP2012141502A/en
Publication of JP2012141502A publication Critical patent/JP2012141502A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Instrument Panels (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して対象者の視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供する。
【解決手段】視点位置検出装置は、１つ以上の発光マーカー１２ａを備え対象者２の頭部に装着可能であるマーカー部１２と、対象者２を撮像する撮像部１１と、撮像部１１が撮像した対象者２の画像から対象者２の視点位置を検出する視点位置検出部１４と、を備える。視点位置検出部１４は、撮像部１１が撮像した対象者２の画像上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて対象者２の視点位置を検出する。
【選択図】図１A viewpoint position detection apparatus, a viewpoint position detection method, and a three-dimensional view that are configured by image processing with low mounting cost and that can stably detect the viewpoint position of a target person even in an environment where brightness constantly fluctuates. A display device is provided.
A viewpoint position detection device includes a marker unit 12 that includes one or more light-emitting markers 12a and that can be mounted on the head of a subject 2, an imaging unit 11 that captures the subject 2, and an imaging unit 11. A viewpoint position detection unit 14 that detects the viewpoint position of the subject 2 from the captured image of the subject 2. The viewpoint position detection unit 14 detects the position of the light emitting marker 12a on the image of the subject 2 captured by the imaging unit 11, and detects the viewpoint position of the subject 2 based on the position of the light emitting marker 12a.
[Selection] Figure 1

Description

本発明は、対象者の視点位置を検出する視点位置検出装置、視点検出方法及び画像を立体的に表示可能な立体表示装置に関する。   The present invention relates to a viewpoint position detection device that detects a viewpoint position of a subject, a viewpoint detection method, and a stereoscopic display device that can stereoscopically display an image.

従来、車両のフロントガラスに立体的な画像を表示可能な車両用表示装置であるヘッドアップディスプレイ（Head-Up Display；ＨＵＤ）としては、例えば、特許文献１に開示されるものがある。この車両用表示装置は、表示画像の元となる立体データを記憶した記憶手段と、運転者の視点位置検出手段と、視点位置に基づいて立体データから表示画像を得る画像処理手段とから構成される。そして、運転者の視点位置を検出し、その位置に基づいて立体データから表示画像データを生成し、ＨＵＤに表示する。
また、立体的に画像を表示可能な車両用表示装置としては、例えば、特許文献２に開示されるように、左目用画像及び右目用画像を時分割で液晶表示パネルに表示させるとともに、運転者の視点位置を検出し、その位置に応じて液晶表示パネルを透過する照明光の光軸を変化させるものがある。 Conventionally, as a head-up display (HUD) that is a vehicle display device capable of displaying a three-dimensional image on a windshield of a vehicle, for example, there is one disclosed in Patent Document 1. The vehicle display device includes a storage unit that stores stereoscopic data that is a source of a display image, a driver's viewpoint position detection unit, and an image processing unit that obtains a display image from the stereoscopic data based on the viewpoint position. The And a driver | operator's viewpoint position is detected, display image data is produced | generated from stereo data based on the position, and it displays on HUD.
In addition, as a vehicle display device capable of displaying an image three-dimensionally, for example, as disclosed in Patent Document 2, a left-eye image and a right-eye image are displayed on a liquid crystal display panel in a time-sharing manner, and a driver There is one that detects the position of the viewpoint and changes the optical axis of the illumination light transmitted through the liquid crystal display panel according to the position.

特開２００９−６９６８号公報JP 2009-6968 A 特開２０１０−１９１４０４号公報JP 2010-191404 A

特許文献１及び２に記載の車両用表示装置において、運転者（対象者）の視点位置を検出する方法としては、運転者の顔を撮像した画像から運転者の目を割り出して視点位置を検出する処理がある。しかしながら、かかる方法は高度な画像認識処理が要求される為に処理が複雑になり、実装コストが高いという問題点があった。また、移動する車両内のように，周囲の明るさが常に変動している状況では、検出対象である運転者の画像も変化する為に安定して視点位置を検出することが困難であった。   In the vehicle display devices described in Patent Literatures 1 and 2, as a method of detecting the viewpoint position of the driver (target person), the viewpoint position is detected by determining the driver's eyes from an image obtained by capturing the driver's face. There is a process to do. However, this method has a problem in that the processing is complicated because high image recognition processing is required, and the mounting cost is high. Also, in situations where the ambient brightness constantly fluctuates, such as in a moving vehicle, it is difficult to stably detect the viewpoint position because the image of the driver as the detection target also changes. .

そこで、本発明は、実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して対象者の視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供することを目的とする。   Therefore, the present invention is composed of image processing with low mounting cost, and a viewpoint position detection device and viewpoint position detection capable of stably detecting the viewpoint position of the subject even in an environment where the brightness constantly fluctuates. It is an object to provide a method and a stereoscopic display device.

上記目的を達成するため、本発明の視点位置検出装置は、
１つ以上の発光マーカーを備え対象者の頭部に装着可能であるマーカー部と、前記対象者を撮像する撮像部と、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置検出部と、を備える視点位置検出装置であって、
前記視点位置検出部は、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする。 In order to achieve the above object, the viewpoint position detection device of the present invention provides:
A marker unit that includes one or more light-emitting markers and that can be mounted on the head of the subject; an imaging unit that images the subject; and a viewpoint position of the subject from the image of the subject captured by the imaging unit A viewpoint position detecting unit for detecting
The viewpoint position detection unit detects the position of the light emitting marker on the image of the subject captured by the imaging unit, and detects the viewpoint position of the subject based on the position of the light emitting marker. To do.

上記目的を達成するため、本発明の視点位置検出方法は、
対象者を撮像部で撮像し、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置方法であって、
前記撮像者は１つ以上の発光マーカーを備えるマーカー部を頭部に装着し、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする。 In order to achieve the above object, the viewpoint position detection method of the present invention includes:
A viewpoint position method of capturing an image of a target person with an imaging unit, and detecting the viewpoint position of the target person from the image of the target person captured by the imaging unit,
The imager wears a marker unit including one or more light emitting markers on the head, detects the position of the light emitting marker on the image of the subject imaged by the image capturing unit, and based on the position of the light emitting marker The viewpoint position of the subject is detected.

上記目的を達成するため、本発明の立体表示装置は、
立体的に視認可能な立体画像を表示する画像表示部を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記立体画像を生成する画像表示制御部と、を備えてなることを特徴とする。 In order to achieve the above object, the stereoscopic display device of the present invention provides:
A stereoscopic display device including an image display unit that displays a stereoscopically viewable stereoscopic image,
The viewpoint position detection device according to claim 1, and an image display control unit that generates the stereoscopic image based on the viewpoint position of the subject detected by the viewpoint position detection device. And

上記目的を達成するため、本発明の立体表示装置は、
表示パネルに右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより立体的に視認可能な立体画像をミラーに反射させて表示するヘッドアップディスプレイ（ＨＵＤ）を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記ヘッドアップディスプレイを制御するＨＵＤ制御部と、を備え、
前記ＨＵＤ制御部は、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記右目用画像及び前記左目用画像を生成する及び／あるいは前記対象者の視点位置に対応するように前記ミラーの回転角を制御することを特徴とする。 In order to achieve the above object, the stereoscopic display device of the present invention provides:
A stereoscopic display device including a head-up display (HUD) that displays a stereoscopically visible stereoscopic image by reflecting it on a mirror by alternately displaying a right-eye image and a left-eye image on a display panel at predetermined time intervals. There,
The viewpoint position detection device according to claim 1, and a HUD control unit that controls the head-up display based on the viewpoint position of the subject detected by the viewpoint position detection device,
The HUD control unit generates the right-eye image and the left-eye image based on the viewpoint position of the subject detected by the viewpoint position detection device and / or corresponds to the viewpoint position of the subject. The rotation angle of the mirror is controlled.

本発明によれば、実装コストの低い画像処理から構成され、また、明るさが常に変動する環境下でも安定して視点位置を検出することが可能な視点位置検出装置、視点位置検出方法及び立体表示装置を提供できる。   According to the present invention, a viewpoint position detection device, a viewpoint position detection method, and a three-dimensional view that are configured by image processing with low mounting cost and can stably detect a viewpoint position even in an environment in which brightness constantly fluctuates. A display device can be provided.

本発明の第１実施形態の全体構成を示す全体概略図である。1 is an overall schematic diagram showing the overall configuration of a first embodiment of the present invention. 同上実施形態のＨＵＤ制御部のハードウェア構成図である。It is a hardware block diagram of the HUD control part of embodiment same as the above. 同上実施形態の表示内容制御処理を示すフローチャートである。It is a flowchart which shows the display content control process of embodiment same as the above. 同上実施形態の表示例である。It is a display example of embodiment same as the above. 同上実施形態の表示例である。It is a display example of embodiment same as the above. 同上実施形態の表示タイミング制御処理を示すフローチャートである。It is a flowchart which shows the display timing control process of embodiment same as the above. 同上実施形態の視点位置検出処理を示すフローチャートである。It is a flowchart which shows the viewpoint position detection process of embodiment same as the above. 同上実施形態の視点位置検出処理の説明図である。It is explanatory drawing of the viewpoint position detection process of embodiment same as the above. 同上実施形態の視点位置検出処理における、画像上の視点位置のｘ座標とミラー角度の対応関係を示すテーブルを説明するための図である。It is a figure for demonstrating the table which shows the correspondence of the x coordinate of the viewpoint position on an image, and a mirror angle in the viewpoint position detection process of embodiment same as the above. 同上実施形態の設定画面の説明図である。It is explanatory drawing of the setting screen of embodiment same as the above. 本発明の第２実施形態の全体構成を示す全体構成図である。It is a whole block diagram which shows the whole structure of 2nd Embodiment of this invention. 同上実施形態のマーカー制御部のハードウェア構成図である。It is a hardware block diagram of the marker control part of embodiment same as the above. 同上実施形態のマーカー点滅制御処理のフローチャートである。It is a flowchart of the marker blink control process of the embodiment. 同上実施形態のマーカー点滅制御処理のタイミングチャートである。It is a timing chart of marker blink control processing of an embodiment same as the above. 同上実施形態の視点位置検出処理のフローチャートである。It is a flowchart of the viewpoint position detection process of embodiment same as the above. 同上実施形態の視点位置検出処理の説明図である。It is explanatory drawing of the viewpoint position detection process of embodiment same as the above. 本発明に適用される発光マーカー付きイヤホンマイクの例を示す図である。It is a figure which shows the example of the earphone microphone with a light emission marker applied to this invention.

以下に、本発明の実施形態を図を参照して説明する。   Embodiments of the present invention will be described below with reference to the drawings.

（第１実施形態）
図１（ａ）及び（ｂ）は、本発明の第１実施形態に係る車載立体表示装置１の概略構成を示す図である。本実施形態に係る車載立体表示装置１は、撮像部１１と、マーカー付き眼鏡１２と、ヘッドアップディスプレイ（ＨＵＤ）１３と、ＨＵＤ制御部１４と、から構成され、視点位置検出装置を含むものである。 (First embodiment)
1A and 1B are diagrams showing a schematic configuration of an in-vehicle stereoscopic display device 1 according to the first embodiment of the present invention. The in-vehicle stereoscopic display device 1 according to this embodiment includes an imaging unit 11, glasses 12 with markers, a head-up display (HUD) 13, and a HUD control unit 14, and includes a viewpoint position detection device.

撮像部１１は、運転者（対象者）２の顔を撮像するものであり、ＣＣＤ（Charged Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の周知の撮像素子と、それを制御する周辺回路やレンズ等から構成される。撮像部１１は、マーカー付き眼鏡１２を頭部に装着した運転者２の正面に設置される。撮像部１１は、撮像した運転者２の顔の画像を、奇数フィールドと偶数フィールドからなる所謂インターレース方式でビデオ信号（出力映像信号）に変換し、出力する。インターレース方式のビデオ信号の規格としては、例えばＮＴＳＣ（National Television System Committee）方式がある。   The imaging unit 11 captures the face of the driver (subject) 2 and includes a well-known imaging device such as a CCD (Charged Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor) and a peripheral circuit for controlling the imaging device. Consists of lenses and the like. The imaging unit 11 is installed in front of the driver 2 who wears the glasses 12 with markers on the head. The imaging unit 11 converts the captured image of the face of the driver 2 into a video signal (output video signal) by a so-called interlace method including an odd field and an even field, and outputs the video signal. As an interlaced video signal standard, for example, there is an NTSC (National Television System Committee) system.

マーカー付き眼鏡１２（マーカー部の一例）は、運転者２が頭部に装着可能なものである。マーカー付き眼鏡１２は、撮像部１１が運転者２の顔を撮像した際に、運転者の顔と共に撮像可能な位置に少なくとも１つ以上（本実施形態においては４つ）の発光マーカー１２ａを備える。発光マーカー１２ａは例えばＬＥＤ等の発光素子からなり、本実施形態においては電源が投入されると常時点灯するものである。なお、発光マーカー１２ａは、運転者２からは発光が認識されない赤外線ＬＥＤ等を用いても良く、また、照明光を反射する反射シールからなるものであっても良い。   The eyeglasses 12 with a marker (an example of a marker part) can be worn on the head of the driver 2. When the imaging unit 11 images the face of the driver 2, the marker-equipped spectacles 12 include at least one (four in the present embodiment) light emitting markers 12 a at positions that can be imaged together with the driver's face. . The light emitting marker 12a is formed of a light emitting element such as an LED, for example. In the present embodiment, the light emitting marker 12a is always lit when the power is turned on. The light emitting marker 12a may be an infrared LED or the like whose light emission is not recognized by the driver 2, or may be a reflective sticker that reflects illumination light.

ＨＵＤ１３は、ＨＵＤ制御部１４からの制御信号に基づいて、運転者２の左右の目にそれぞれ別々の画像をフロントガラス３に反射させて交互に投影することで、立体感のある表示を実現するものである。ＨＵＤ１３は、光源１３ａと、表示パネル１３ｂと、結像レンズ１３ｃと、ミラー１３ｄと、ミラー駆動部１３ｅとから構成される。   Based on the control signal from the HUD control unit 14, the HUD 13 reflects a separate image on the windshield 3 and projects it alternately on the left and right eyes of the driver 2, thereby realizing a stereoscopic display. Is. The HUD 13 includes a light source 13a, a display panel 13b, an imaging lens 13c, a mirror 13d, and a mirror driving unit 13e.

光源１３ａは、２つの光源から構成され、それぞれ運転者２の左右の目に対応して、独
立して発光可能なものである。光源１２ａは、ＨＵＤ制御部１４からの光源制御信号に基
づいて、交互に点灯する。 The light source 13a is composed of two light sources and can emit light independently of the left and right eyes of the driver 2, respectively. The light sources 12 a are alternately turned on based on the light source control signal from the HUD control unit 14.

表示パネル１３ｂは、ＨＵＤ制御部１４が出力する画像情報を表示するものである。表
示パネル１３ｂは、例えばＬＣＤ（Liquid Crystal Display）から構成され、ＨＵＤ制御
部１４からの表示制御信号に基づいて、交互に左右の目に対応する画像情報を切換表示す
る。 The display panel 13b displays image information output from the HUD control unit 14. The display panel 13b is configured by, for example, an LCD (Liquid Crystal Display), and switches and displays image information corresponding to the left and right eyes based on a display control signal from the HUD control unit 14.

結像レンズ１３ｃは、表示パネル１３ｂを通った光源１２ａからの光（画像）が運転者２の左右の目に対して結像するように投影するものである。   The imaging lens 13c projects light (image) from the light source 12a that has passed through the display panel 13b so as to form an image on the left and right eyes of the driver 2.

ミラー１３ｄは、画像の投影方向を制御するものである。ミラー１３ｄは、水平面内で回転可能である。ミラー１３ｄに反射した画像は、さらにフロントガラス３に反射し、最終的に運転者２の目に到達する。   The mirror 13d controls the projection direction of the image. The mirror 13d is rotatable in a horizontal plane. The image reflected by the mirror 13d is further reflected by the windshield 3, and finally reaches the eyes of the driver 2.

ミラー駆動部１３ｅは、例えばステッピングモータから構成され、ミラー１３ｄの回転角を、ＨＵＤ制御部１４から送信される回転角制御信号に基づいて制御する。   The mirror drive unit 13e is composed of, for example, a stepping motor, and controls the rotation angle of the mirror 13d based on a rotation angle control signal transmitted from the HUD control unit 14.

ＨＵＤ制御部１４（視点位置検出部に相当する）は、図１（ｂ）に示すように、後述する視点位置検出処理にて検出される運転者２の視点位置に基づいて、画像が運転者２の目に到達するようにＨＵＤ１３のミラー１３ｄの回転を制御するものである。これにより、より広範囲で立体感のある表示が可能となる。また、ＨＵＤ制御部１４は、運転者２の視点位置に基づいて、画像のＨＵＤ１３の表示パネル１３ｂへの表示を制御するものである。図２に、ＨＵＤ制御部１４のハードウェア構成の一例を示す。ＨＵＤ制御部１４は、いわゆるマイクロコンピュータから構成され、図２に示すように、ＣＰＵ（Central Processing Unit）１４ａと、ＲＯＭ（Read-Only Memory)１４ｂと、汎用メモリ１４ｃと、ビデオメモリ１４ｄと、外部デバイスインターフェイス（Ｉ／Ｆ）１４ｅと、を備える。ＣＰＵ１４ａは、ＲＯＭ１４ｂ内に予め記憶された後述する表示制御処理のための所定プログラムを読み出し、及び実行する。そしてＣＰＵ１４ａは、撮像部１１からの入力画像情報、処理画像情報及び演算結果等を汎用メモリ１４ｃに一時的に記憶させる。また、ＣＰＵ１４ａは、ＲＯＭ１４ｂ内に予め記憶された例えば道路データ、標識、案内表示板といった道路情報等の３次元データから表示パネル１２ｂに表示するための２次元データである画像情報を生成し、汎用メモリ１４ｃに一時的に記憶させる。また、ＣＰＵ１４ａは、汎用メモリ１４ｃに記憶された画像情報をビデオメモリ１４ｄに転送し、表示パネル１３ｂに出力する。また、撮像部１１及びＨＵＤ１３は、外部デバイスＩ／Ｆ１４ｅを介して、ＨＵＤ制御部１４の各部と接続されている。   As shown in FIG. 1B, the HUD control unit 14 (corresponding to the viewpoint position detection unit) displays an image based on the viewpoint position of the driver 2 detected in the viewpoint position detection process described later. The rotation of the mirror 13d of the HUD 13 is controlled so as to reach the second eye. As a result, a wider range of stereoscopic display is possible. The HUD control unit 14 controls the display of the image on the display panel 13b of the HUD 13 based on the viewpoint position of the driver 2. FIG. 2 shows an example of the hardware configuration of the HUD control unit 14. The HUD control unit 14 includes a so-called microcomputer, and as shown in FIG. 2, a CPU (Central Processing Unit) 14a, a ROM (Read-Only Memory) 14b, a general-purpose memory 14c, a video memory 14d, and an external A device interface (I / F) 14e. The CPU 14a reads and executes a predetermined program for display control processing described later, which is stored in advance in the ROM 14b. The CPU 14a temporarily stores the input image information from the imaging unit 11, processed image information, calculation results, and the like in the general-purpose memory 14c. Further, the CPU 14a generates image information which is two-dimensional data to be displayed on the display panel 12b from three-dimensional data such as road information such as road data, signs, and guidance display boards stored in advance in the ROM 14b. It is temporarily stored in the memory 14c. Further, the CPU 14a transfers the image information stored in the general-purpose memory 14c to the video memory 14d and outputs it to the display panel 13b. The imaging unit 11 and the HUD 13 are connected to each unit of the HUD control unit 14 via the external device I / F 14e.

車両制御システム部１５は、車両を制御するコンピュータであり、後述する表示内容制御処理において参照される設定モード信号をＨＵＤ制御部１４に出力する。車両制御システム部１５は、外部デバイスＩ／Ｆ１４ｅを介して、ＨＵＤ制御部１４の各部と接続されている。   The vehicle control system unit 15 is a computer that controls the vehicle, and outputs a setting mode signal referred to in a display content control process described later to the HUD control unit 14. The vehicle control system unit 15 is connected to each unit of the HUD control unit 14 via the external device I / F 14e.

次に、ＨＵＤ制御部１４のＣＰＵ１４ａが実行する表示内容制御処理について図３を用いて説明する。表示内容制御処理は、例えばエンジンキーを差し込んで回すといった車両の始動動作によってバッテリーからＣＰＵ１４ａに電源が供給されることで開始する。   Next, display content control processing executed by the CPU 14a of the HUD control unit 14 will be described with reference to FIG. The display content control process starts when power is supplied from the battery to the CPU 14a by a vehicle start operation such as inserting and turning an engine key, for example.

ＨＵＤ制御部１４は、最初に、表示タイミングを初期化する（ステップＳ１１）。例えば、表示タイミングを右目に初期化する。そして、後述する表示タイミング制御処理の周期的な呼び出しを開始する（ステップＳ１２）。次に、撮像部１１の出力画像を取り込む撮像処理を実行する（ステップＳ１３）。その後、取り込んだ画像に対して後述の視点位置検出処理を実行することにより、運転者２の視点位置と、それに対して最適なミラー１３ｄの駆動角度を得る（ステップＳ１４）。さらに、運転者２の視点位置に基づいて右目用と左目用の画像を生成する（ステップＳ１５）。図４は、右目用画像と左目用画像の一例を示すものであり、図４においては前方の道路や標識、案内板などの道路情報と車速情報とを含む。ＨＵＤ制御部１４は、ＲＯＭ１４ｂ内に予め記憶された例えば道路データ、標識、案内表示板といった道路情報等の３次元データから、運転者２の視点位置に基づいて運転者２の右目から見た場合の２次元データである右目用画像と、左目からみた場合の２次元データである左目用画像とを生成する。これにより、画像として道路情報などの運転者２の視点位置によって見え方が変化する情報を表示する場合に背景と表示画像とのズレによって生じる運転者２の違和感を低減することができ、運転者２に伝えたい情報を正確に伝達することが可能となる。次の条件分岐において、設定モードであるか否かの情報を車両制御システム部１５から取得し（ステップＳ１６）、設定モードである場合は（ステップＳ１６；Ｙｅｓ）、後述の設定情報を描画する（ステップＳ１７）。図５は設定情報を含む右目用画像と左目用画像の一例を示すものであり、設定情報として視点位置検出処理における２値化閾値が表示される。最後に、運転者２の視点位置に対する最適なミラー１３ｄの駆動角度に基づいて、ミラー駆動部１３ｅに対して制御信号を出力する（ステップＳ１８）。その後は、ステップＳ１３に戻り、以降電源がオフになるまで前述の処理を反復実行する。   First, the HUD control unit 14 initializes the display timing (step S11). For example, the display timing is initialized to the right eye. Then, periodic calling of a display timing control process described later is started (step S12). Next, an imaging process for capturing an output image of the imaging unit 11 is executed (step S13). Thereafter, a viewpoint position detection process described later is performed on the captured image, thereby obtaining the viewpoint position of the driver 2 and the optimum driving angle of the mirror 13d (step S14). Furthermore, images for the right eye and the left eye are generated based on the viewpoint position of the driver 2 (step S15). FIG. 4 shows an example of a right-eye image and a left-eye image. FIG. 4 includes road information such as a road ahead, a sign, and a guide plate, and vehicle speed information. When the HUD control unit 14 is viewed from the right eye of the driver 2 based on the viewpoint position of the driver 2 from three-dimensional data such as road data such as road data, signs, and a guidance display board stored in advance in the ROM 14b. The right-eye image, which is the two-dimensional data, and the left-eye image, which is the two-dimensional data when viewed from the left eye, are generated. As a result, when displaying information such as road information that changes in appearance depending on the viewpoint position of the driver 2 as an image, it is possible to reduce the uncomfortable feeling of the driver 2 caused by a difference between the background and the display image. It is possible to accurately transmit the information to be transmitted to 2. In the next conditional branch, information on whether or not the setting mode is set is acquired from the vehicle control system unit 15 (step S16). If the setting mode is set (step S16; Yes), setting information to be described later is drawn (step S16). Step S17). FIG. 5 shows an example of a right-eye image and a left-eye image including setting information, and a binarization threshold value in the viewpoint position detection process is displayed as setting information. Finally, a control signal is output to the mirror driving unit 13e based on the optimum driving angle of the mirror 13d with respect to the viewpoint position of the driver 2 (step S18). Thereafter, the process returns to step S13, and the above processing is repeatedly executed until the power is turned off.

次に、ＨＵＤ制御部１４のＣＰＵ１４ａが実行する表示タイミング制御処理について図６を用いて説明する。表示タイミング制御処理は、右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより運転者２に画像を立体的に視認させる処理であり、前述の表示内容制御処理においてＴｄミリ秒の時間間隔で周期的に呼び出される（例えばＴｄ＝３３）。 Next, display timing control processing executed by the CPU 14a of the HUD control unit 14 will be described with reference to FIG. Display timing control processing is processing for stereoscopically view an image to the driver 2 by alternately displaying right-eye and left-eye images at a predetermined time interval, T d millimeter in display content control process of the above It is called periodically at time intervals of seconds (eg T d = 33).

ＨＵＤ制御部１４は、最初に、表示タイミングの判定を行う（ステップＳ２１）。表示タイミングが右目である場合（ステップＳ２１；右目）、表示パネル１３ｂに対する右目用画像の表示更新を行う（ステップＳ２２）。ここで表示される表示パネル１３ｂに表示される画像はステップＳ１５で生成された右目用画像である。次に、右目用の光源３ａが点灯するように点灯させる光源３ａを切換える（ステップＳ２３）。そして、次回の表示タイミングを左目に切換え（ステップＳ２４）、処理を終了する。また、表示タイミングが左目である場合（ステップＳ２１；左目）、表示パネル１３ｂに対する左目用画像の表示更新を行う（ステップＳ２５）。ここで表示される表示パネル１３ｂに表示される画像はステップＳ１５で生成された左目用画像である。次に、左目用の光源３ａが点灯するように点灯させる光源３ａの切換えを行う（ステップＳ２６）。そして、次回の表示タイミングを右目に切換え（ステップＳ２７）、処理を終了する。   First, the HUD control unit 14 determines display timing (step S21). When the display timing is the right eye (step S21; right eye), the display update of the right eye image on the display panel 13b is performed (step S22). The image displayed on the display panel 13b displayed here is the right-eye image generated in step S15. Next, the light source 3a to be turned on is switched so that the light source 3a for the right eye is turned on (step S23). Then, the next display timing is switched to the left eye (step S24), and the process ends. If the display timing is the left eye (step S21; left eye), the display update of the left eye image on the display panel 13b is performed (step S25). The image displayed on the display panel 13b displayed here is the left-eye image generated in step S15. Next, the light source 3a to be turned on is switched so that the light source 3a for the left eye is turned on (step S26). Then, the next display timing is switched to the right eye (step S27), and the process ends.

次に、ＨＵＤ制御部１４のＣＰＵ１４ａが前述の表示内容制御処理において実行する視点位置検出処理について図７及び図８を用いて説明する。   Next, viewpoint position detection processing executed by the CPU 14a of the HUD control unit 14 in the above-described display content control processing will be described with reference to FIGS.

ＨＵＤ制御部１４は、最初に、撮像部１１にて撮像したマーカー付き眼鏡１２を装着した運転者２の画像Ｂ（図８（ａ）参照）に対して、公知の画像処理技術である２値化処理を行う（ステップＳ３１）。この処理によって、発光マーカー１２ａを示す２値画像Ｃが得られる（図８（ｂ）参照）。次に、２値画像Ｃ中の各発光マーカー１２ａの位置を、これもまた公知の画像処理技術であるラベリング処理により検出する（ステップＳ３２、図８（ｃ）参照）。次に、これら発光マーカー１２ａの位置の重心を求め（図８（ｄ）参照）、この重心を画像Ｂ上の視点位置（ｘｉ，ｙｉ）とする（ステップＳ３３）。最後に、視点位置のｘ座標ｘｉに基づいて、図９示す画像Ｂ上の視点位置のｘ座標ｘｉとミラー１３ｄの駆動角度θｉの対応関係を記述したテーブルを参照して、ミラー１３ｄの駆動角度θｉを得る（ステップＳ３４）。ＨＵＤ制御部１４は、前記表示内容制御処理において、この視点位置(ｘｉ，ｙｉ)に基づき右目用画像及び左目用画像を生成して描画処理を行い、また、ミラー１３ｄの駆動角度θｉに基づき前記投影方向制御処理でミラー１３ｄの角度制御を行う。 First, the HUD control unit 14 performs binary processing, which is a well-known image processing technique, on the image B (see FIG. 8A) of the driver 2 wearing the spectacles 12 with markers imaged by the imaging unit 11. (Step S31). By this processing, a binary image C showing the luminescent marker 12a is obtained (see FIG. 8B). Next, the position of each light emitting marker 12a in the binary image C is detected by a labeling process which is also a known image processing technique (see step S32, FIG. 8C). Next, the center of gravity of the positions of the light emitting markers 12a is obtained (see FIG. 8D), and this center of gravity is set as the viewpoint position (x i , y i ) on the image B (step S33). Finally, based on the x coordinate x i of the viewpoint position, by referring to the table describing the correspondence between the drive angle theta i of x coordinate x i and mirror 13d viewpoint position on the image B shown FIG 9, a mirror 13d obtaining a driving angle theta i (step S34). In the display content control process, the HUD control unit 14 generates a right-eye image and a left-eye image based on the viewpoint position (x i , y i ), performs a drawing process, and drives the mirror 13d at a driving angle θ i. Then, the angle control of the mirror 13d is performed by the projection direction control process.

なお、前記視点位置検出処理において、図１０（ａ）〜（ｃ）に示すような設定表示をＨＵＤ１３に表示させてもよい。図１０（ａ）は、運転者２の視点位置を＋印で運転者２の顔を撮像した画像Ｂに描画した設定表示の例である。かかる表示によれば、検出可能領域を確認することができる。図１０（ｂ）は、視点位置検出結果を画像Ｂに描画した設定表示の例である。かかる表示によっても、前述の設定表示例と同様に検出可能領域を確認することができる。図１０（ｃ）は、設定情報（図中では２値化閾値）を画像Ｂに描画した設定表示の例である。かかる表示によれば、前記視点位置検出処理における２値化閾値を始めとするパラメータを調整することができる。   In the viewpoint position detection process, a setting display as shown in FIGS. 10A to 10C may be displayed on the HUD 13. FIG. 10A is an example of the setting display drawn on the image B obtained by capturing the face of the driver 2 with the + sign of the viewpoint position of the driver 2. According to such display, the detectable region can be confirmed. FIG. 10B is an example of a setting display in which the viewpoint position detection result is drawn on the image B. With this display as well, the detectable area can be confirmed in the same manner as the setting display example described above. FIG. 10C is an example of a setting display in which setting information (binarization threshold in the figure) is drawn on the image B. According to this display, it is possible to adjust parameters such as the binarization threshold in the viewpoint position detection process.

以上のように、本実施形態に係る車載立体表示装置１は、１つ以上の発光マーカー１２ａを備え運転者２の頭部に装着可能であるマーカー付き眼鏡１２と、運転者２を撮像する撮像部１１と、撮像部１１が撮像した運転者２の画像から運転者２の視点位置を検出するＨＵＤ制御部１４と、を備え、ＨＵＤ制御部１４は、撮像部１１が撮像した運転者２の画像Ｂ上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて運転者２の視点位置を検出する。そして、検出された視点位置に基づいて右目用画像及び左目用画像を生成し、また、運転者２の視点位置に対応するようにミラー１３ｄの回転角を制御する。このように運転者２の視点位置を検出する視点位置検出方法により、ＨＵＤ制御部１４は画像上で他の部分と輝度の差が大きい発光マーカー１２ａを割り出すことができれば良いため、運転者の顔から目を割り出す場合と比較して実装コストの低い画像処理で視点位置を検出することができ、また、明るさが常に変動する環境下でも安定して運転者２の視点位置を検出することが可能となる。   As described above, the in-vehicle stereoscopic display device 1 according to the present embodiment includes the marker-equipped eyeglasses 12 that are equipped with one or more light-emitting markers 12a and can be mounted on the head of the driver 2, and the imaging that images the driver 2. Unit 11 and a HUD control unit 14 that detects the viewpoint position of the driver 2 from the image of the driver 2 captured by the imaging unit 11, and the HUD control unit 14 includes the driver 2 captured by the imaging unit 11. The position of the light emitting marker 12a on the image B is detected, and the viewpoint position of the driver 2 is detected based on the position of the light emitting marker 12a. Then, a right-eye image and a left-eye image are generated based on the detected viewpoint position, and the rotation angle of the mirror 13d is controlled so as to correspond to the viewpoint position of the driver 2. In this way, the viewpoint position detection method for detecting the viewpoint position of the driver 2 suffices that the HUD control unit 14 can determine the light emitting marker 12a having a large luminance difference from other parts on the image. It is possible to detect the viewpoint position with image processing that is low in mounting cost compared to the case where the eye is determined from the eye, and to detect the viewpoint position of the driver 2 stably even in an environment where the brightness constantly fluctuates. It becomes possible.

（第２実施形態）
図１１は、本発明の第２実施形態に係る車載立体表示装置１の概略構成を示す図である。第２実施形態に係る車載立体表示装置１の構成は、発光マーカー制御部１６を付加し、発光マーカー制御部１６の出力信号に従ってマーカー付き眼鏡１２の発光マーカー１２ａを点滅させる点を除いては第１実施形態と同様である。 (Second Embodiment)
FIG. 11 is a diagram showing a schematic configuration of the in-vehicle stereoscopic display device 1 according to the second embodiment of the present invention. The configuration of the in-vehicle stereoscopic display device 1 according to the second embodiment is the same except that a light emitting marker control unit 16 is added and the light emitting marker 12a of the eyeglasses with marker 12 blinks according to the output signal of the light emitting marker control unit 16. This is the same as in the first embodiment.

図１２に、発光マーカー制御部１６のハードウェア構成の一例を示す。発光マーカー制御部１６は、いわゆるマイクロコンピュータから構成され、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、汎用メモリ１６ｃと、外部デバイスＩ／Ｆ１６ｄと、同期信号検出手段１６ｅと、を備える。ＣＰＵ１６ａは、ＲＯＭ１６ｂに予め記憶された前述した処理の所定プログラムを読み出し及び実行し、演算結果等を汎用メモリ１６ｃ内に一時的に記憶させるものである。また、同期信号検出手段１６ｅは、撮像部１１と外部デバイスＩ／Ｆ１６ｄを介して接続され、撮像部１１が出力する公知のインターレース方式のビデオ信号に含まれる垂直同期信号と画像信号である奇数／偶数フィールド信号とを検出する。また、発光マーカー１２ａは、外部デバイスＩ／Ｆ１６ｄ介して発光マーカー制御部１６の各部に接続されている。   FIG. 12 shows an example of the hardware configuration of the light emitting marker control unit 16. The light emission marker control unit 16 includes a so-called microcomputer, and includes a CPU 16a, a ROM 16b, a general-purpose memory 16c, an external device I / F 16d, and a synchronization signal detection unit 16e. The CPU 16a reads and executes a predetermined program of the above-described processing stored in advance in the ROM 16b, and temporarily stores a calculation result or the like in the general-purpose memory 16c. The synchronization signal detection unit 16e is connected to the imaging unit 11 via the external device I / F 16d, and is a vertical synchronization signal and an odd number / image signal included in a known interlace video signal output from the imaging unit 11. An even field signal is detected. Moreover, the light emission marker 12a is connected to each part of the light emission marker control part 16 via external device I / F16d.

次に、発光マーカー制御部１６のＣＰＵ１６ａが実行するマーカー点滅制御処理について図１３及び図１４を用いて説明する。マーカー点滅制御処理は、例えばエンジンキーを差し込んで回すといった車両の始動動作によってバッテリーからＣＰＵ１６ａに電源が供給されることで開始する。   Next, the marker blinking control process executed by the CPU 16a of the light emitting marker control unit 16 will be described with reference to FIGS. The marker blinking control process is started when power is supplied from the battery to the CPU 16a by a vehicle starting operation such as inserting and turning an engine key, for example.

発光マーカー制御部１６は、最初に、同期信号検出手段１６ｅによって垂直同期信号（図１４（ａ））の波形の立下りを検出する（ステップＳ４１）。それと同時に、奇数／偶数フィールド信号（図１４（ｂ））が奇数フィールドであることを示した場合（ステップＳ４１；Ｙｅｓ）、タイマを初期化し時刻を０にリセットしてからリスタートする。次に、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦである場合（ステップＳ４２；Ｙｅｓ）は、マーカー点滅制御信号としてマーカーＯＮ信号（図１４（ｃ））を出力して発光マーカー１２ａを点灯させる。また、時刻ｔがＴＯＮ≦ｔ≦ＴＯＦＦでない場合は（ステップＳ４２；Ｎｏ）、マーカー点滅制御信号としてマーカーＯＦＦ信号（図１４（ｃ））を出力して発光マーカー１２ａを消灯する。したがって、発光マーカー１２ａ、前述のマーカーＯＮ信号とマーカーＯＦＦ信号を一定間隔で交互に入力することによって点灯と非点灯を繰り返す。すなわち、ＴＯＮとＴＯＦＦとを制御することによって、撮像部１１が奇数フィールドを撮像している期間のみ発光マーカー１２ａを点灯させる。 First, the light emission marker control unit 16 detects the falling edge of the waveform of the vertical synchronization signal (FIG. 14A) by the synchronization signal detection means 16e (step S41). At the same time, if the odd / even field signal (FIG. 14 (b)) indicates that it is an odd field (step S41; Yes), the timer is initialized, the time is reset to 0, and then restarted. Next, when the time t is T ON ≦ t ≦ T OFF (step S42; Yes), the marker ON signal (FIG. 14C) is output as the marker blinking control signal to light the light emitting marker 12a. When the time t is not T ON ≦ t ≦ T OFF (step S42; No), the marker OFF signal (FIG. 14C) is output as the marker blinking control signal, and the light emitting marker 12a is turned off. Therefore, lighting and non-lighting are repeated by alternately inputting the light emitting marker 12a and the aforementioned marker ON signal and marker OFF signal at regular intervals. That is, by controlling T ON and T OFF , the light emitting marker 12a is lit only during a period in which the imaging unit 11 is imaging an odd field.

次に、ＨＵＤ制御部１４のＣＰＵ１４ａが表示内容制御処理で実行する視点位置検出処理について図１５を用いて説明する。なお、本実施形態における表示内容制御処理は、視点位置検出処理を除いては前述の第1実施形態と同様である。   Next, viewpoint position detection processing executed by the CPU 14a of the HUD control unit 14 in display content control processing will be described with reference to FIG. The display content control process in the present embodiment is the same as that in the first embodiment except for the viewpoint position detection process.

ＨＵＤ制御部１４は、撮像部１１が出力するビデオ信号に含まれる奇数／偶数フィールド信号からインターレース方式の画像Ｄ（図１６（ａ））を入力すると、最初に、奇数フィールドと偶数フィールドの分離を行い、奇数フィールドの画像Ｅ１と偶数フィールドの画像Ｅ２と（図１６（ｂ））を得る（ステップＳ５１）。なお、奇数フィールドの画像Ｅ１は奇数フィールドの各ラインの間に新たなラインを補間した画像であり、偶数フィールドの画像Ｅ２は偶数フィールドの各ラインの間に新たなラインを補間した画像である。次に、奇数フィールドの画像Ｅ１と偶数フィールドの画像Ｅ２について、公知の画像処理技術である絶対値差分を取り、差分画像Ｆ（図１６（ｃ））を得る（ステップＳ５２）。その後、差分画像Ｆを公知の画像処理技術である２値化処理によって２値画像Ｇ（図１６（ｄ））に変換する（ステップＳ５３）。そして、前述の第１実施形態のステップＳ３２とステップＳ３３と同様に発光マーカー１２ａの位置を検出し（ステップＳ５４）、発光マーカー１２ａの位置の重心を求めて、この重心を画像Ｄ上の運転者２の視点位置（ｘｉ，ｙｉ）とする（ステップＳ５５）。そして、前述の第１実施形態のステップＳ３４と同様にして画像Ｄ上の視点位置のｘ座標ｘｉとミラー１３ｄの駆動角度θｉの対応関係を記述したテーブルを参照して、ミラー１３ｄの駆動角度θｉを得る（ステップＳ５６）。 When the interlaced image D (FIG. 16 (a)) is input from the odd / even field signal included in the video signal output from the imaging unit 11, the HUD control unit 14 first separates the odd field and the even field. Then, an odd field image E1 and an even field image E2 (FIG. 16B) are obtained (step S51). The odd-field image E1 is an image obtained by interpolating new lines between the odd-numbered field lines, and the even-field image E2 is an image obtained by interpolating new lines between the even-numbered field lines. Next, with respect to the odd-field image E1 and the even-field image E2, an absolute value difference, which is a known image processing technique, is taken to obtain a difference image F (FIG. 16C) (step S52). Thereafter, the difference image F is converted into a binary image G (FIG. 16D) by a binarization process which is a known image processing technique (step S53). Then, the position of the light emitting marker 12a is detected in the same manner as in Steps S32 and S33 of the first embodiment described above (Step S54), the center of gravity of the position of the light emitting marker 12a is obtained, and this center of gravity is determined by the driver on the image D The second viewpoint position (x i , y i ) is set (step S55). Then, by referring to the table describing the correspondence between the drive angle theta i of x coordinate x i and mirror 13d viewpoint position of the image D in the same manner as in step S34 in the first embodiment described above, the driving of the mirror 13d An angle θ i is obtained (step S56).

以上のように、本実施形態に係る車載立体表示装置１は、撮像部１１から垂直同期信号と垂直同期信号に同期する奇数／偶数フィールド信号とを含むビデオ信号を入力し、垂直同期信号に基づいて発光マーカー１２ａを点滅させる発光マーカー制御部１６を備えるものである。ＨＵＤ制御部１４は、撮像部１１が撮像した運転者２の画像Ｄ上の発光マーカー１２ａの位置を検出し、発光マーカー１２ａの位置に基づいて運転者２の視点位置を検出する。そして、検出された視点位置に基づいて右目用画像及び左目用画像を生成し、また、運転者２の視点位置に対応するようにミラー１３ｄの回転角を制御する。このように運転者２の視点位置を検出する視点位置検出方法により、ＨＵＤ制御部１４は奇数フィールドと偶数フィールドとにおける発光マーカー１２ａの画素の輝度が異なることを利用して発光マーカー１２ａを割り出すことができるため、運転者の顔から目を割り出す場合と比較して実装コストの低い画像処理で視点位置を検出することができ、また、明るさが常に変動する環境下でも安定して運転者２の視点位置を検出することが可能となる。   As described above, the in-vehicle stereoscopic display device 1 according to the present embodiment receives the video signal including the vertical synchronization signal and the odd / even field signal synchronized with the vertical synchronization signal from the imaging unit 11, and based on the vertical synchronization signal. And a light emitting marker control unit 16 for blinking the light emitting marker 12a. The HUD control unit 14 detects the position of the light emitting marker 12a on the image D of the driver 2 imaged by the imaging unit 11, and detects the viewpoint position of the driver 2 based on the position of the light emitting marker 12a. Then, a right-eye image and a left-eye image are generated based on the detected viewpoint position, and the rotation angle of the mirror 13d is controlled so as to correspond to the viewpoint position of the driver 2. Thus, by the viewpoint position detection method for detecting the viewpoint position of the driver 2, the HUD control unit 14 determines the light emitting marker 12a by utilizing the luminance of the pixels of the light emitting marker 12a in the odd field and the even field. Therefore, the viewpoint position can be detected by image processing with low mounting cost compared to the case where the eyes are determined from the driver's face, and the driver 2 can stably operate even in an environment where the brightness constantly fluctuates. It is possible to detect the viewpoint position.

なお、本発明は、上記の実施形態に限定されず、種々の変形及び応用が可能である。本発明の視点位置検出装置及び視点位置検出方法は、車載立体表示装置に限らず他の立体表示装置に適用してもよい。また、立体表示装置は、右目用の画像と左目用の画像を交互に表示させる方式に限定されず、立体的に視認可能な立体画像を表示する画像表示部と、検出された対象者の視点位置に基づいて立体画像を生成する画像表示制御部と、を備える立体表示装置であれば本発明の視点位置検出装置及び視点位置検出方法を適用して同様の効果を得ることができる。また、第１及び第２実施形態では、発光マーカー１２ａはマーカー付き眼鏡１２に備えられていたが、本発明のマーカー部は対象者の頭部に装着可能な形態であれば眼鏡に限定されない。図１７に、イヤホンにマイクが一体化されたヘッドセット１７をマーカー部とした例を示す。ヘッドセット１７は，発光マーカー１７ａを備えるものである。発光マーカー１７ａは第１実施形態に適用して常時点灯させてもよく、第２実施形態に適用して点滅させてもよい。   In addition, this invention is not limited to said embodiment, A various deformation | transformation and application are possible. The viewpoint position detection apparatus and viewpoint position detection method of the present invention may be applied not only to the in-vehicle stereoscopic display apparatus but also to other stereoscopic display apparatuses. The stereoscopic display device is not limited to a method of alternately displaying a right-eye image and a left-eye image, and an image display unit that displays a stereoscopically viewable stereoscopic image, and the detected viewpoint of the target person If the stereoscopic display device includes an image display control unit that generates a stereoscopic image based on the position, the same effect can be obtained by applying the viewpoint position detection device and viewpoint position detection method of the present invention. Moreover, in 1st and 2nd embodiment, although the light emission marker 12a was provided in the spectacles 12 with a marker, the marker part of this invention will not be limited to spectacles, if it is a form with which a subject's head can be mounted | worn. FIG. 17 shows an example in which a headset 17 in which a microphone is integrated with an earphone is used as a marker portion. The headset 17 includes a light emitting marker 17a. The light emitting marker 17a may be applied constantly in the first embodiment, or may be blinked in the second embodiment.

１ 車載立体表示装置
１１ 撮像部
１２ マーカー付き眼鏡
１２ａ 発光マーカー
１３ ヘッドアップディスプレイ（ＨＵＤ）
１３ａ 光源
１３ｂ 表示パネル
１３ｃ 結像レンズ
１３ｄ ミラー
１３ｅ ミラー駆動部
１４ ＨＵＤ制御部
１５ 車両制御システム部
１６ 発光マーカー制御部
１７ ヘッドセット
１７ａ 発光マーカー
２ 運転者
３ フロントガラス DESCRIPTION OF SYMBOLS 1 In-vehicle three-dimensional display device 11 Image pick-up part 12 Glasses 12a with a marker Light emission marker 13 Head-up display (HUD)
13a Light source 13b Display panel 13c Imaging lens 13d Mirror 13e Mirror drive unit 14 HUD control unit 15 Vehicle control system unit 16 Light emission marker control unit 17 Headset 17a Light emission marker 2 Driver 3 Windshield

Claims (8)

１つ以上の発光マーカーを備え対象者の頭部に装着可能であるマーカー部と、前記対象者を撮像する撮像部と、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置検出部と、を備え、
前記視点位置検出部は、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする視点位置検出装置。 A marker unit that includes one or more light-emitting markers and that can be mounted on the head of the subject; an imaging unit that images the subject; and a viewpoint position of the subject from the image of the subject captured by the imaging unit A viewpoint position detecting unit for detecting
The viewpoint position detection unit detects the position of the light emitting marker on the image of the subject captured by the imaging unit, and detects the viewpoint position of the subject based on the position of the light emitting marker. Viewpoint position detecting device. 前記撮像部から垂直同期信号と前記垂直同期信号に同期する画像信号とを含む出力映像信号を入力し、前記垂直同期信号に基づいて前記発光マーカーを点滅させる発光マーカー制御部を備えてなることを特徴とする請求項１に記載の視点位置検出装置。 An output video signal including a vertical synchronization signal and an image signal synchronized with the vertical synchronization signal is input from the imaging unit, and a light emission marker control unit that blinks the light emission marker based on the vertical synchronization signal is provided. The viewpoint position detection apparatus according to claim 1, wherein 対象者を撮像部で撮像し、前記撮像部が撮像した前記対象者の画像から前記対象者の視点位置を検出する視点位置方法であって、
前記撮像者は１つ以上の発光マーカーを備えるマーカー部を頭部に装着し、前記撮像部が撮像した前記対象者の画像上の前記発光マーカーの位置を検出し、前記発光マーカーの位置に基づいて前記対象者の視点位置を検出することを特徴とする視点位置検出方法。 A viewpoint position method of capturing an image of a target person with an imaging unit, and detecting the viewpoint position of the target person from the image of the target person captured by the imaging unit,
The imager wears a marker unit including one or more light emitting markers on the head, detects the position of the light emitting marker on the image of the subject imaged by the image capturing unit, and based on the position of the light emitting marker And a viewpoint position detection method, wherein the viewpoint position of the subject is detected. 前記撮像部から垂直同期信号と前記垂直同期信号に同期する画像信号とを含む出力映像信号を入力し、前記垂直同期信号に基づいて前記発光マーカーを点滅させることを特徴とする請求項３に記載の視点位置検出方法。 4. The output video signal including a vertical synchronization signal and an image signal synchronized with the vertical synchronization signal is input from the imaging unit, and the light emitting marker is blinked based on the vertical synchronization signal. Viewpoint position detection method. 立体的に視認可能な立体画像を表示する画像表示部を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記立体画像を生成する画像表示制御部と、を備えてなることを特徴とする立体表示装置。 A stereoscopic display device including an image display unit that displays a stereoscopically viewable stereoscopic image,
The viewpoint position detection device according to claim 1, and an image display control unit that generates the stereoscopic image based on the viewpoint position of the subject detected by the viewpoint position detection device. 3D display device. 前記画像表示部は、前記撮像部に撮像された前記対象者の画像または前記対象者の視点位置の検出結果の少なくとも一方を表示可能であることを特徴とする請求項５に記載の立体表示装置。 The stereoscopic display device according to claim 5, wherein the image display unit is capable of displaying at least one of the target person's image captured by the imaging unit or the target person's viewpoint position detection result. . 表示パネルに右目用画像と左目用画像を所定の時間間隔で交互に表示させることにより立体的に視認可能な立体画像をミラーに反射させて表示するヘッドアップディスプレイ（ＨＵＤ）を備える立体表示装置であって、
請求項１または２に記載の視点位置検出装置と、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記ヘッドアップディスプレイを制御するＨＵＤ制御部と、を備え、
前記ＨＵＤ制御部は、前記視点位置検出装置によって検出された対象者の視点位置に基づいて前記右目用画像及び前記左目用画像を生成する及び／あるいは前記対象者の視点位置に対応するように前記ミラーの回転角を制御することを特徴とする立体表示装置。 A stereoscopic display device including a head-up display (HUD) that displays a stereoscopically visible stereoscopic image by reflecting it on a mirror by alternately displaying a right-eye image and a left-eye image on a display panel at predetermined time intervals. There,
The viewpoint position detection device according to claim 1, and a HUD control unit that controls the head-up display based on the viewpoint position of the subject detected by the viewpoint position detection device,
The HUD control unit generates the right-eye image and the left-eye image based on the viewpoint position of the subject detected by the viewpoint position detection device and / or corresponds to the viewpoint position of the subject. A stereoscopic display device characterized by controlling a rotation angle of a mirror. 前記ヘッドアップディスプレイは、前記撮像部に撮像された前記対象者の画像または前記対象者の視点位置の検出結果の少なくとも一方を表示可能であることを特徴とする請求項７に記載の立体表示装置。 The stereoscopic display device according to claim 7, wherein the head-up display is capable of displaying at least one of the target person's image captured by the imaging unit or the target person's viewpoint position detection result. .
JP2011000657A 2011-01-05 2011-01-05 Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device Pending JP2012141502A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011000657A JP2012141502A (en) 2011-01-05 2011-01-05 Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011000657A JP2012141502A (en) 2011-01-05 2011-01-05 Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device

Publications (1)

Publication Number Publication Date
JP2012141502A true JP2012141502A (en) 2012-07-26

Family

ID=46677837

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011000657A Pending JP2012141502A (en) 2011-01-05 2011-01-05 Viewpoint position detecting device, method for detecting viewpoint position, and stereographic display device

Country Status (1)

Country Link
JP (1) JP2012141502A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014039234A (en) * 2012-08-20 2014-02-27 Au Optronics Corp Entertainment display system and interactive stereoscopic display method of the same
JP2015184671A (en) * 2014-03-20 2015-10-22 トロンクシズ テクノロジー カンパニー リミテッド amplification display device and amplification display system
WO2016067729A1 (en) * 2014-10-31 2016-05-06 株式会社ソニー・コンピュータエンタテインメント Image generation device, image generation method and calibration method
JP2018092085A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Light source device, display device, and moving body
WO2018105533A1 (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and moving body
JP2018092108A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and moving body
WO2018105534A1 (en) * 2016-12-07 2018-06-14 京セラ株式会社 Light source device, display device, moving body, three-dimensional projection device, three-dimensional projection system, image projection device, and image display device
JP2018092107A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and movable body
WO2019021340A1 (en) * 2017-07-24 2019-01-31 三菱電機株式会社 Display control device, display system, and display control method
JP2019015823A (en) * 2017-07-05 2019-01-31 京セラ株式会社 Three-dimensional projector, three-dimensional projection system, and movable body
WO2019102731A1 (en) * 2017-11-24 2019-05-31 マクセル株式会社 Head-up display device
JP2022173686A (en) * 2021-05-10 2022-11-22 トヨタ自動車株式会社 Display control device, display device, vehicle, display control method and display control program

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI458530B (en) * 2012-08-20 2014-11-01 Au Optronics Corp Entertainment display system and interactive stereoscopic displaying method of same
US9300950B2 (en) 2012-08-20 2016-03-29 Au Optronics Corporation Entertainment displaying system and interactive stereoscopic displaying method of the same
JP2014039234A (en) * 2012-08-20 2014-02-27 Au Optronics Corp Entertainment display system and interactive stereoscopic display method of the same
JP2015184671A (en) * 2014-03-20 2015-10-22 トロンクシズ テクノロジー カンパニー リミテッド amplification display device and amplification display system
US10362297B2 (en) 2014-10-31 2019-07-23 Sony Interactive Entertainment Inc. Image generation apparatus, image generation method, and calibration method
WO2016067729A1 (en) * 2014-10-31 2016-05-06 株式会社ソニー・コンピュータエンタテインメント Image generation device, image generation method and calibration method
JP2018092085A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Light source device, display device, and moving body
WO2018105533A1 (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and moving body
JP2018092108A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and moving body
WO2018105534A1 (en) * 2016-12-07 2018-06-14 京セラ株式会社 Light source device, display device, moving body, three-dimensional projection device, three-dimensional projection system, image projection device, and image display device
JP2018092107A (en) * 2016-12-07 2018-06-14 京セラ株式会社 Image projection device, image display device, and movable body
JP2019015823A (en) * 2017-07-05 2019-01-31 京セラ株式会社 Three-dimensional projector, three-dimensional projection system, and movable body
WO2019021340A1 (en) * 2017-07-24 2019-01-31 三菱電機株式会社 Display control device, display system, and display control method
JPWO2019021340A1 (en) * 2017-07-24 2019-11-07 三菱電機株式会社 Display control device, display system, and display control method
CN110915205A (en) * 2017-07-24 2020-03-24 三菱电机株式会社 Display control device, display system, and display control method
WO2019102731A1 (en) * 2017-11-24 2019-05-31 マクセル株式会社 Head-up display device
JPWO2019102731A1 (en) * 2017-11-24 2020-12-17 マクセル株式会社 Head-up display device
JP7053664B2 (en) 2017-11-24 2022-04-12 マクセル株式会社 Head-up display device
US11709369B2 (en) 2017-11-24 2023-07-25 Maxell, Ltd. Head up display apparatus
JP2022173686A (en) * 2021-05-10 2022-11-22 トヨタ自動車株式会社 Display control device, display device, vehicle, display control method and display control program
JP7521480B2 (en) 2021-05-10 2024-07-24 トヨタ自動車株式会社 DISPLAY CONTROL DEVICE, DISPLAY SYSTEM, VEHICLE, DISPLAY CONTROL METHOD, AND DISPLAY CONTROL PROGRAM

Similar Documents

Publication Publication Date Title
CN106537227B (en) Display device, control method and program for display device
JP4686586B2 (en) In-vehicle display device and display method
CN107850944B (en) Method for operating data glasses in a motor vehicle and system with data glasses
JP5050120B1 (en) Stereoscopic image display device
CN104509108A (en) Image display device and image display method
JP2011073496A (en) Onboard three-dimensional display device and onboard three-dimensional display method
JP2012195728A (en) Display device, display system, and method for controlling display device
JP7173042B2 (en) head-up display device
KR20150070649A (en) Display device and display method thereof
JP2015060071A (en) Image display device, image display method, and image display program
JP2011107382A (en) Display device for vehicle
JP2013148599A (en) Display device
CN202738032U (en) Image processing apparatus
JPH10105735A (en) Input device and picture display system
US8872816B2 (en) Three-dimensional image display device and driving method thereof
JP2019066562A (en) Display, display control method, and program
CN108345116A (en) Three-dimensional head up display device and the automobile with the device
JP2013024910A (en) Optical equipment for observation
JP2017102220A (en) Image display device
JP2019066564A (en) Display, display control method, and program
JP2021017064A (en) Head-up display device
JP5343157B2 (en) Stereoscopic image display device, display method, and test pattern
US11187910B2 (en) Head-up display device for adjusting display distances of virtual images
JP2019068143A (en) Display unit, display control method and program
JP6268704B2 (en) Display device, display device control method, and program