JPWO2017221663A1 - 映像表示システム - Google Patents

映像表示システム Download PDF

Info

Publication number
JPWO2017221663A1
JPWO2017221663A1 JP2018523647A JP2018523647A JPWO2017221663A1 JP WO2017221663 A1 JPWO2017221663 A1 JP WO2017221663A1 JP 2018523647 A JP2018523647 A JP 2018523647A JP 2018523647 A JP2018523647 A JP 2018523647A JP WO2017221663 A1 JPWO2017221663 A1 JP WO2017221663A1
Authority
JP
Japan
Prior art keywords
video
background
image
display
transparent screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018523647A
Other languages
English (en)
Inventor
大三郎 松木
大三郎 松木
高士 山田
高士 山田
岩田　芳明
芳明 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2017221663A1 publication Critical patent/JPWO2017221663A1/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3607—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals for displaying colours or for displaying grey scales with a specific pixel layout, e.g. using sub-pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0646—Modulation of illumination source brightness and image signal correlated to each other
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

映像表示システム（１）は、映像信号が示す映像と透過した背景とを含む表示映像を表示する表示装置（１０）と、表示装置（１０）に送信する映像信号が示す映像を、背景に関する特性に基づいて変換処理する映像処理装置（３０）とを備える。

Description

本開示は、映像表示システムに関する。
特許文献１は、映像を表示する映像表示システムを開示する。この映像表示システムは、映像表示装置としてＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶ディスプレイだけではなく、プロジェクタを利用し、スクリーンに映像を表示するシステムである。
特開２０１０−１１４７６８号公報
近年、映像表示システムとして、透明なスクリーンや透明なＥＬ（Ｅｌｅｃｔｒｏｎｉｃ Ｌｕｍｉｎｅｓｃｅｎｔ）表示装置等の透明な表示装置に映像を表示して当該映像と表示装置越しの背景との両方を同時に視認できるシステムが知られている。
本開示は、透明な表示装置において背景と映像とが重なるときに、表示装置の背景に起因して映像の視認性が低下することを抑制する映像表示システムを提供する。
本開示における映像表示システムは、映像信号が示す映像と透過した背景とを含む表示映像を表示する表示装置と、表示装置に送信する映像信号が示す映像を、背景に関する特性に基づいて変換処理する映像処理装置とを備える。
本開示における映像表示システムは、表示装置において背景と映像とが重なるときに、表示装置の背景に起因して映像の視認性が低下することを抑制することができる。
図１は、本開示にかかる映像表示システムの構成を示す図である。 図２は、本開示にかかる映像処理装置の構成を示す図である。 図３は、実施の形態１にかかる映像処理装置による映像処理動作を示すフローチャートである。 図４は、実施の形態２にかかる映像処理装置による映像処理動作を示すフローチャートである。 図５Ａは、元映像に含まれる文字の加工の一例を説明するための図である。 図５Ｂは、元映像に含まれる人の静止画像の加工の一例を説明するための図である。 図６は、実施の形態３にかかる映像処理装置による映像処理動作を示すフローチャートである。 図７Ａは、透明スクリーンに表示する元映像の一例を示す図である。 図７Ｂは、透明スクリーンに表示された元映像と背景とが重なった表示映像の一例を示す図である。 図８は、実施の形態４にかかる映像処理装置による映像処理動作を示すフローチャートである。 図９は、第２の撮像装置で撮影された背景の一例を示す図である。 図１０は、実施の形態５にかかる映像処理装置による映像処理動作を示すフローチャートである。 図１１は、透明スクリーンに映像を表示した一例を示す図である。 図１２は、実施の形態６にかかる映像処理装置による映像処理動作を示すフローチャートである。 図１３Ａは、実施の形態６にかかる映像処理装置による映像の表示位置の決定動作の一例を説明するための図である。 図１３Ｂは、実施の形態６にかかる映像処理装置による映像の表示位置の決定動作の一例を説明するための図である。 図１４は、実施の形態７にかかる映像処理装置による映像処理動作を示すフローチャートである。 図１５は、映像処理装置による映像の表示位置の決定動作の一例を説明するための図である。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
（実施の形態１）
以下、図１〜３を用いて、実施の形態１を説明する。
［１−１．構成］
図１は、本開示にかかる映像表示システム１の構成を示す図である。図１に示す映像表示システム１は、表示装置１０と、第１の撮像装置２１と、第２の撮像装置２２と、検出装置２３と、映像処理装置３０とを備える。本実施の形態では、表示装置１０は、透明スクリーン１１と、投影装置１２とを備える。
実施の形態１にかかる映像表示システム１は、透明スクリーン１１に映像を投影する。映像表示システム１は、透明スクリーン１１に投影装置１２から投影された映像と、透明スクリーン１１の背景との両方を同時に視認できる映像表示システムである。例えば、この映像表示システム１の透明スクリーン１１をサッカースタジアム等の鑑賞室の窓ガラスに適用することにより、鑑賞者は、透明スクリーン１１越しに試合（背景）を鑑賞しながら、透明スクリーン１１に表示される選手情報等の様々な情報（映像）をも見ることができる。
透明スクリーン１１は、ガラスや樹脂等の透明な板に、光拡散機能を有するシートを貼り付けて構成される。透明スクリーン１１は、一部の光を透過するとともに、一部の光を拡散反射させる。すなわち、透明スクリーン１１は、背景を透過するとともに、投影装置１２によって投影される映像を拡散反射させて表示する。
投影装置１２は、映像処理装置３０からの映像信号に基づいて、投影光を透明スクリーン１１に投影する。
つまり、表示装置１０は、映像信号が示す映像と透過した背景とを含む表示映像を表示する。
第１の撮像装置２１は、例えば鑑賞室の室内の天井に設置され、透明スクリーン１１に投影された映像と透明スクリーン１１を通して視認される背景とを撮影する。撮影された映像と背景は、表示映像データとして映像処理装置３０に送信される。第１の撮像装置２１の一例はカメラやビデオカメラなどである。
第２の撮像装置２２は、例えば鑑賞室の室外の上方に設置され、透明スクリーン１１の背景を直接撮影する。撮影された背景は、背景画像データとして映像処理装置３０に送信される。第２の撮像装置２２の一例はカメラやビデオカメラなどである。なお、第２の撮像装置２２は、照度及び輝度を検出するセンサであってもよい。この場合、第２の撮像装置２２は、検出した背景の照度及び輝度を映像処理装置３０に送信する。
検出装置２３は、例えば鑑賞室の室内の天井に設置され、鑑賞者の位置を検出して映像処理装置３０に送信する。また、検出装置２３は、鑑賞者の注目位置を検出して映像処理装置３０に送信する。鑑賞者の注目位置とは、鑑賞者が透明スクリーン１１上で注目する位置を示す。例えば、検出装置２３はヘッドトラッキング装置を用いて鑑賞者の頭の向きを検出することにより鑑賞者の注目位置を検出する。或いは、検出装置２３は視線検出装置を用いて鑑賞者の視線を検出することにより鑑賞者の注目位置を検出してもよい。位置検出のための検出装置２３の一例は位置検出センサやウェアラブル装置などであり、注目位置検出のための検出装置２３の一例はヘッドトラッキング装置や視線検出装置などである。
映像処理装置３０は、透明スクリーン１１において背景と映像とが重なる場合に、以下に示す３つの情報の何れかに基づいて映像の変換処理を行う。１つめの情報は、第１の撮像装置２１から取得した表示映像データが示す透明スクリーン１１の表示映像（映像＋背景）に関する情報である。２つめの情報は、第２の撮像装置２２から取得した背景画像データが示す透明スクリーン１１の背景に関する情報である。３つめの情報は、後述する予め分かっている透明スクリーン１１の特性に関する情報である。これらの情報に基づいて映像の変換処理を行うことで、透明スクリーン１１上における映像の視認性が向上する。
また、映像処理装置３０は、以下に示す２つの情報の何れかに基づいて、透明スクリーン１１上における映像の表示位置を決める。１つめの情報は、第２の撮像装置２２から取得した背景画像データが示す透明スクリーン１１の背景に関する情報である。２つめの情報は、検出装置２３から取得した鑑賞者の位置及び注目位置に関する情報である。映像処理装置３０は、これらの情報に基づいて背景の注目範囲に映像が重ならないように透明スクリーン１１上における映像の表示範囲を決める。これにより、鑑賞者が注目する注目位置又は鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲における視認性が向上する。なお、「背景の注目範囲」については、一例を示しながら後述する。
図２は、本開示にかかる映像処理装置３０の構成を示す図である。図２に示すように、映像処理装置３０は、第１の通信部３１と、第２の通信部３２と、記憶部３３と、制御部３４とを備える。
第１の通信部３１は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ（登録商標、以下同様）、Ｗｉ−Ｆｉ等の規格に準拠して、ネットワークを介して第１の撮像装置２１、第２の撮像装置２２、検出装置２３等とデータ通信を行う通信モジュールである。第２の通信部３２は、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ等の規格に準拠して、投影装置１２とデータ通信を行う通信モジュールである。本実施の形態では、表示装置１０は、透明スクリーン１１と、投影装置１２とを備えるため、第２の通信部３２は、映像信号の送信先である投影装置１２とデータ通信を行う。
記憶部３３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などの記憶装置である。記憶部３３は、各種のプログラム、及び、投影装置１２に送信する映像信号であって、透明スクリーン１１に投影する映像を示す映像信号（例えば、試合のスコア、選手に関する情報や顔写真などを示す映像信号）を格納する。なお、映像信号は第１の通信部３１及びネットワークを介して外部装置から提供されるものであってもよい。また、記憶部３３は、透明スクリーン１１の特性（表示装置の背景を透過するときの表示特性、つまり背景に関する特性）を記憶している。例えば、透明スクリーン１１の特性としては、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報を含む。
制御部３４は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などで構成され、映像処理装置３０の全体の動作を制御する。制御部３４は、記憶部３３に格納されたプログラムを実行することによって、各種の機能を実現する。制御部３４の各種の機能については、後述する動作の説明において詳細に説明する。
なお、制御部３４の機能は、ハードウェアとソフトウェアの協同により実現したが、制御部３４を所定の機能を実現するように専用に設計されたハードウェア回路のみで実現してもよい。例えば、制御部３４は、ＣＰＵ、ＭＰＵのみならず、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等で構成することができる。
以上、本開示の映像表示システム１及び映像処理装置３０の構成について説明した。実施の形態１の映像表示システム１は、第１の撮像装置２１で予め撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の変換処理を行う。なお、ここでいう元映像とは、映像処理装置３０で変換処理される前の映像のことである。
［１−２．動作］
以上のように構成された実施の形態１の映像表示システム１について、その動作を以下説明する。
本実施の形態の映像表示システム１では、透明スクリーン１１の特性に基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、元映像の変換処理を行う。ここで言う透明スクリーン１１の特性とは、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報である。また、ここで言う映像とは、透明スクリーン１１に投影装置１２から投影される映像であり、元映像とは、変換処理される前の映像のことである。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。
図３は、実施の形態１にかかる映像処理装置３０による映像処理動作を示すフローチャートである。図３に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ１１）。また、制御部３４は、第１の撮像装置２１で撮影されて記憶部３３に記憶されている背景画像情報が示す背景の輝度及び色度を分析する（Ｓ１２）。
次に、制御部３４は、これらの分析結果に基づいて、元映像の補正が必要か否かの判断を行う（Ｓ１３）。具体的には、制御部３４は、透明スクリーン１１において背景と映像とが重なるときに背景に起因して映像の視認性が低下する場合に、元映像の補正が必要と判断する（Ｓ１３のＹＥＳ）。例えば、制御部３４は、元映像の輝度が背景の輝度を考慮した所定のしきい値よりも低い場合、又は、元映像の色と背景の色との差が少ない場合に、元映像の補正が必要と判断する。また、例えば、制御部３４は、元映像のコントラストが所定量よりも小さい場合、又は、元映像と背景とのコントラストが所定量よりも小さい場合に、元映像の補正が必要と判断する。
制御部３４は、元映像の補正が必要であると判断した場合、元映像の補正を行う（Ｓ１４）。例えば、制御部３４は、元映像の輝度、色度、コントラストの補正、及び、輪郭強調等の補正を行う。より具体的には、制御部３４は、背景の輝度が明るい場合には元映像の輝度を高める、という補正を行う。また、制御部３４は、色度の補正において、背景の色が黒色や青色、赤色等の暗い色である場合には元映像の色を白色や黄色、水色等の明るい色に変更する。上記の補正を行うことで、透明スクリーン１１上において背景と映像が重なった場合でも、映像の視認性が向上する。
その後、制御部３４は、補正した映像を示す映像信号を投影装置１２に送信する（Ｓ１５）。
一方、ステップＳ１３において、制御部３４は、元映像の補正が必要でないと判断した場合（Ｓ１３のＮＯ）、元映像を示す映像信号を投影装置１２に送信する（Ｓ１６）。
これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
［１−３．効果等］
以上のように、本実施の形態において、映像表示システム１は、透明スクリーン１１と、投影装置１２と、映像処理装置３０とを備える。透明スクリーン１１と投影装置１２とは、映像信号が示す映像と透過した背景とを含む表示映像を表示する。映像処理装置３０は、投影装置１２に送信する映像信号が示す映像を、透明スクリーン１１の特性（透明スクリーン１１を透過した背景に関する特性）に基づいて変換処理する。
これにより、透明スクリーン１１の特性に基づいて、透明スクリーン１１において背景と映像とが重なるときに映像の視認性を向上するように、映像の変換処理を行うことができる。ここでいう透明スクリーン１１の特性とは、例えば、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報をいう。そのため、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。
（実施の形態２）
実施の形態１では、映像処理装置３０は、映像信号が示す元映像全体を補正した。実施の形態２では、映像信号が示す元映像が文字、又は、人や動物等の静止画像を含む場合、映像処理装置３０は、映像信号が示す元映像から文字、又は、人や動物等の静止画像を抽出し、抽出した文字や静止画像を加工する。
実施の形態２にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態２の映像表示システム１は、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の文字や静止画像の変換処理を行う。
以下、図４、図５Ａ及び図５Ｂを用いて、実施の形態２にかかる映像処理装置３０の動作を説明する。図４は、実施の形態２にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
図４に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している映像信号が示す元映像から文字、又は、人や動物等の静止画像を抽出する（Ｓ２１）。制御部３４は、文字を抽出した場合、この文字の輝度、色度、フォントの種類、サイズ等を分析する（Ｓ２２）。また、制御部３４は、人や動物等の静止画像を抽出した場合、この静止画像の輝度、色度等を分析する（Ｓ２２）。また、制御部３４は、記憶部３３に記憶している背景画像情報が示す背景の輝度、色度等を分析する（Ｓ２３）。
次に、制御部３４は、これらの分析結果に基づいて、文字や静止画像の加工が必要か否かの判断を行う（Ｓ２４）。具体的には、制御部３４は、透明スクリーン１１において背景と文字又は静止画像とが重なるときに背景に起因して文字又は静止画像の視認性が低下する場合に、文字や静止画像の加工が必要と判断する（Ｓ２４のＹＥＳ）。制御部３４は、文字や静止画像の加工が必要であると判断した場合、文字や静止画像の加工を行う（Ｓ２５）。上記の加工を行うことで、透明スクリーン１１上において背景と文字又は静止画像とが重なった場合でも、文字又は静止画像の視認性が向上する。文字や静止画像の加工の必要性判断、及び、文字や静止画像の加工の一例について以下に説明する。
図５Ａは、元映像に含まれる文字の加工の一例を説明するための図であり、図５Ｂは、元映像に含まれる人の静止画像の加工の一例を説明するための図である。図５Ａの一例では、長方形状の元映像Ａ１０は文字Ａ１１を含み、元映像Ａ１０における文字Ａ１１以外の部分は無色である。また、図５Ｂの一例では、長方形状の元映像Ａ２０は人の静止画像Ａ２１を含み、元映像Ａ２０における静止画像Ａ２１以外の部分は無色である。ここでいう元映像Ａ１０、Ａ２０は、加工前の映像のことをいう。
ここで、本願発明者らは、透明スクリーン１１の背景が黒色等の暗い色である場合（いわゆる、黒背景）、この透明スクリーン１１に表示する文字が青色や赤色等の暗い色であり、かつ、文字のサイズが所定サイズ以下であると、透明スクリーン１１に表示したこの文字を視認し難いことを見出した。また、本願発明者らは、透明スクリーン１１の背景が黒色等の暗い色である場合、この透明スクリーン１１に表示する人や動物等の静止画像を視認し難いことを見出した。このような知見に基づき、本実施の形態では、文字や静止画像が視認し難いときに、これらが視認し易くなるように、文字や静止画像の加工を行う。
すなわち、制御部３４は、例えば図５Ａに示すように、元映像Ａ１０から文字Ａ１１を抽出する。このとき、背景画像情報が示す透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が青色や赤色等の暗い色であり、さらに文字Ａ１１のサイズが所定サイズ以下である場合に、制御部３４は、文字Ａ１１の加工が必要であると判断する（Ｓ２４のＹＥＳ）。一方、制御部３４は、透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が青色や赤色等の暗い色であっても、文字Ａ１１のサイズが所定サイズよりも大きい場合には、文字Ａ１１の加工は必要でないと判断する（Ｓ２４のＮＯ）。また、制御部３４は、透明スクリーン１１の背景が黒色等の暗い色であり、かつ、文字Ａ１１が白色や黄色等の明るい色である場合にも、文字Ａ１１の加工は必要でないと判断する（Ｓ２４のＮＯ）。
制御部３４は、文字Ａ１１の加工が必要であると判断した場合、文字Ａ１１のシルエットを強調する加工を行う（Ｓ２５）。例えば、制御部３４は、文字Ａ１１を水色等の明るい色に変更したり、白色等の明るい色で縁取りをしたり、サイズを所定サイズよりも大きくしたり、フォントの種類を変更する（例えば、明朝体をゴシック体に変更）。
また、制御部３４は、例えば図５Ｂに示すように、元映像Ａ２０から人の静止画像Ａ２１を抽出する。このとき、背景画像情報が示す透明スクリーン１１の背景が黒色等の暗い色である場合に、制御部３４は、静止画像Ａ２１の加工が必要であると判断する（Ｓ２４のＹＥＳ）。
制御部３４は、静止画像Ａ２１の加工が必要であると判断した場合、静止画像Ａ２１のシルエットを強調する加工を行う（Ｓ２５）。例えば、制御部３４は、人の静止画像Ａ２１の周りに白色等の明るい色の円形の領域Ａ２２を追加したり（丸抜き、いわゆる縁取り処理）、元映像Ａ２０における静止画像Ａ２１以外の部分に水色等の明るい色を設定する（背景ベタ、いわゆる縁取り処理）。また、制御部３４は、静止画像Ａ２１の周りに光っているようにみえる領域Ａ２３を設ける光彩処理（いわゆる縁取り処理）を施す。
その後、制御部３４は、加工した文字や静止画像を含む映像を示す映像信号を投影装置１２に送信する（Ｓ２６）。
一方、ステップＳ２４において文字や静止画像に加工が必要でないと判断した場合（Ｓ２４のＮＯ）、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ２７）。
これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
以上のように、本実施の形態２の映像表示システム１によれば、映像信号が示す元映像が文字、又は、人や動物等の静止画像を含む場合、映像から文字、又は、人や動物等の静止画像を抽出する。次に、映像表示システム１は、透明スクリーン１１の特性基づいて、透明スクリーン１１において背景と文字又は静止画像とが重なるときに文字又は静止画像の視認性を向上するように、文字又は静止画像のシルエットを強調する加工を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景に起因して映像の視認性が低下することを抑制することができる。なお、ここで言う透明スクリーン１１の特性とは、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報である。
（実施の形態３）
実施の形態１及び２では、予め第１の撮像装置２１で撮影した透明スクリーン１１越しの背景を示す背景画像情報（透明スクリーン１１の特性）に基づいて元映像の変換処理を行った。実施の形態３では、透明スクリーン１１に表示された表示映像（映像＋背景）に基づいて元映像の変換処理を行う。
実施の形態３にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態３の映像表示システム１は、第１の撮像装置２１の出力に基づいて元映像の変換処理を行う。
以下、図６、図７Ａ及び図７Ｂを用いて、実施の形態３にかかる映像処理装置３０の動作を説明する。図６は、実施の形態３にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
図６に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ３１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。第１の撮像装置２１は、透明スクリーン１１に表示された元映像と透明スクリーン１１を通して視認される背景とが重なった表示映像を撮影する。
次に、制御部３４は、第１の撮像装置２１で撮影された表示映像を示す表示映像データを取得する（Ｓ３２）。次に、制御部３４は、取得した表示映像データから表示映像の輝度及び色度を分析する（Ｓ３３）。また、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ３４）。
次に、制御部３４は、分析した表示映像の輝度及び色度と元映像の輝度及び色度とを比較し（Ｓ３５）、この分析比較結果に基づいて、元映像の輝度及び色度の変更が必要か否かの判断を行う（Ｓ３６）。具体的には、制御部３４は、表示映像の視認性が低下する場合に元映像の輝度及び色度の変更が必要と判断する（Ｓ３６のＹＥＳ）。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う（Ｓ３７）。元映像の輝度及び色度の変更の必要性判断、及び、元映像の輝度及び色度の変更処理の一例について以下に説明する。
図７Ａは透明スクリーン１１に表示する元映像Ａ３１の一例を示す図であり、図７Ｂは透明スクリーン１１に表示された元映像Ａ３１と背景とが重なった映像Ａ３２の一例を示す図である。図７Ａの例では、元映像Ａ３１は、異なる色の円形形状の複数の画像を含む。より具体的には、元映像Ａ３１は、各色において６個ずつからなる白色の画像の列、黄色の画像の列、水色の画像の列、緑色の画像の列、赤色の画像の列、及び、青色の画像の列を含む。
図７Ｂの例では、透明スクリーン１１はサッカースタジアムのピッチ及び鑑賞席を含む背景を透過するとともに、図７Ａの元映像Ａ３１に基づく映像を表示する。これにより、鑑賞者は、元映像Ａ３１と背景とが重なった映像Ａ３２を視認する。透明スクリーン１１に映像Ａ３２を表示する場合、透明スクリーン１１の背景の輝度及び色度に起因して、元映像Ａ３１の明るさや色調が再現されなかったり、視認し難くなったりする。図７Ｂの例では、透明スクリーン１１の背景におけるサッカースタジアムのピッチの輝度は明るく、鑑賞席の輝度は暗い。また、図９の説明において後述するように、サッカースタジアムのピッチは主に緑色を含み、鑑賞席は青色や赤色、白色等を含む。このように、透明スクリーン１１の背景は領域ごとに輝度及び色度が異なることがある。
制御部３４は、例えば、映像Ａ３２において元映像Ａ３１の明るさや色調が再現されていない場合に、又は、元映像Ａ３１の明るさや色調が背景の明るさや色調に近く映像Ａ３２が視認し難い場合に、元映像Ａ３１の輝度及び色度の変更が必要であると判断する（Ｓ３６のＹＥＳ）。制御部３４は、元映像Ａ３１の輝度及び色度の変更が必要であると判断した場合、元映像Ａ３１の輝度及び色度を変更処理する（Ｓ３７）。例えば、制御部３４は、映像Ａ３２において元映像Ａ３１の明るさや色調がより再現されるように、又は、映像Ａ３２がより視認し易くなるように、元映像Ａ３１の輝度及び色度を変更する。このとき、制御部３４は、上述した実施の形態１の元映像の補正処理、及び／又は、実施の形態２の元映像における文字、人や動物等の静止画像の抽出及び加工処理をさらに行ってもよい。
その後、制御部３４は、変更処理を行った映像を示す映像信号を投影装置１２に送信する（Ｓ３８）。
ステップＳ３６において変更が必要でないと判断した場合（Ｓ３６のＮＯ）、制御部３４は、元映像Ａ３１を示す映像信号を投影装置１２に送信する（Ｓ３９）。
これにより、投影装置１２は、元映像Ａ３１を示す映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
以上のように、本実施の形態３の映像表示システム１によれば、透明スクリーン１１に表示された元映像Ａ３１と透明スクリーン１１を通して視認される背景とが重なった表示映像（映像Ａ３２）を第１の撮像装置２１で撮影する。次に、映像表示システム１は、この表示映像の輝度及び色度に基づいて、表示映像がより視認し易くなるように、元映像Ａ３１の輝度及び色度の変更処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景の輝度及び色度に起因して映像の視認性が低下することを抑制することができる。
（実施の形態４）
実施の形態３では、実際に元映像Ａ３１が透明スクリーン１１上で視認できる映像（元映像＋背景）に基づいて元映像Ａ３１の変換処理を行った。実施の形態４では、透明スクリーン１１の背にある背景に基づいて元映像の変換処理を行う。
実施の形態４にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態４の映像表示システム１は、第２の撮像装置２２の出力に基づいて元映像の変換処理を行う。
以下、図８及び図９を用いて、実施の形態４にかかる映像処理装置３０の動作を説明する。図８は、実施の形態４にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
まず、第２の撮像装置２２が透明スクリーン１１の背景を直接に撮影する。次に、図８に示すように、映像処理装置３０の制御部３４は、第２の撮像装置２２で撮影された背景を示す背景画像データを取得する（Ｓ４１）。次に、制御部３４は、取得した背景画像データから背景の輝度、色度、及び後述する背景の注目範囲を分析する（Ｓ４２）。また、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ４３）。
次に、制御部３４は、これらの分析結果に基づいて、元映像の輝度及び色度の変更が必要か否かの判断を行う（Ｓ４４）。具体的には、制御部３４は、表示映像の視認性が低下する場合に元映像の輝度及び色度の変更が必要と判断する（Ｓ４４のＹＥＳ）。制御部３４は、元映像の輝度及び色度の変更が必要であると判断した場合、元映像の輝度及び色度の変更処理を行う（Ｓ４５）。上記の変更処理を行うことで、透明スクリーン１１上における表示映像がより視認し易くなる。元映像の輝度及び色度の変更の必要性判断、及び、元映像の輝度及び色度の変更処理の一例について以下に説明する。
図９は、第２の撮像装置２２で撮影された背景Ｂ４０の一例を示す図である。図９の例では、サッカースタジアムのピッチ及び鑑賞席を含む背景Ｂ４０が示されており、背景Ｂ４０は異なる輝度及び色度の３つの領域Ｂ４１、Ｂ４２、Ｂ４３からなる。本実施の形態では、上下方向の中央の領域Ｂ４１は、サッカースタジアムのピッチに相当し、主に芝の緑色を含む。また、中央の領域Ｂ４１は選手のユニホーム等の白色も含む。この領域Ｂ４１の輝度は明るい。また、上下方向の上部の領域Ｂ４２及び下部の領域Ｂ４３は、鑑賞席に相当し、青色や赤色、白色を含む。これらの領域Ｂ４２、Ｂ４３の輝度は暗い。このように、第２の撮像装置２２で撮影された背景Ｂ４０に、輝度及び色度の異なる複数の領域が存在する場合、制御部３４は、背景の注目範囲を分析する。背景の注目範囲とは、第２の撮像装置２２で撮影された背景画像において、鑑賞者が注目するであろうと予測される対象物の範囲又は対象物を含んでそれよりも広い所定の範囲である。例えば、対象物がサッカースタジアムのピッチである場合、背景の注目範囲はピッチの範囲である。また、対象物がサッカーボールである場合、背景の注目範囲はサッカーボールを含む所定の範囲である。例えば、図９の例では、サッカースタジアムのピッチ（対象物）の範囲Ｂ４１を注目範囲とする（Ｓ４２）。
次に、制御部３４は、記憶部３３に記憶している映像信号が示す元映像の輝度及び色度を分析する（Ｓ４３）。そして、制御部３４は、例えば、元映像が背景の注目範囲Ｂ４１と重なり、元映像の明るさや色調が再現されないことが予測される場合に、元映像の輝度及び色度の変更が必要と判断する（Ｓ４４のＹＥＳ）。また、制御部３４は、元映像が背景の注目範囲Ｂ４１と重なり、元映像の明るさや色調が背景の明るさや色調に近く、元映像が視認し難いと予測される場合にも、元映像の輝度及び色度の変更が必要と判断する。制御部３４は、上記のように、元映像の輝度及び色度の変更が必要であると判断した場合、背景の注目範囲Ｂ４１の輝度及び色度に合わせて元映像の輝度及び色度を変更する（Ｓ４５）。この変更により、元映像がより確認しやすくなることに加え、元映像の明るさや色調がより再現されるようになる。このとき、制御部３４は、上述した実施の形態１の元映像の補正処理、及び／又は、実施の形態２の元映像における文字、人や動物等の静止画像の抽出及び加工処理をさらに行ってもよい。
その後、制御部３４は、変更処理を行った映像を示す映像信号を投影装置１２に送信する（Ｓ４６）。
また、ステップＳ４４において変更が必要でないと判断した場合（Ｓ４４のＮＯ）、制御部３４は、元映像を示す映像信号を投影装置１２に送信する（Ｓ４７）。
これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。
以上のように、実施の形態４の映像表示システム１によれば、透明スクリーン１１の背景を第２の撮像装置２２で直接に撮影する。次に、映像処理装置３０は、第２の撮像装置２２によって撮影された背景の輝度及び色度を分析する。映像処理装置３０は、この分析結果に基づいて、表示映像がより視認し易くなるように、元映像の輝度及び色度の変更処理を行う。これにより、透明スクリーン１１において背景と映像とが重なるときに、透明スクリーン１１の背景の輝度及び色度等に起因して表示映像の視認性が低下することを抑制することができる。
（実施の形態５）
実施の形態１〜４では、透明スクリーン１１に表示される映像の視認性を向上することを目的として元映像の変換処理を行う態様について説明した。実施の形態５では、透明スクリーン１１を通して視認される背景の視認性を向上することを目的として元映像の表示位置を変更する態様について説明する。
実施の形態５にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態５の映像表示システム１は、第２の撮像装置２２の出力に基づいて映像の表示位置を決定する。
以下、図１０、図１１及び図９を用いて、実施の形態５にかかる映像処理装置３０の動作を説明する。図１０は、実施の形態５にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
まず、第２の撮像装置２２が透明スクリーン１１の背景を直接に撮影する。次に、図１０に示すように、映像処理装置３０の制御部３４は、第２の撮像装置２２で撮影された透明スクリーン１１の背景を示す背景画像データを取得する（Ｓ５１）。次に、制御部３４は、取得した背景画像データから背景の輝度及び色度を分析し、背景の注目範囲を検出する（Ｓ５２）。本実施の形態では、背景の注目範囲はサッカースタジアムのピッチである。
次に、制御部３４は、検出した背景の注目範囲、又は、分析した背景の輝度及び色度に基づいて、透明スクリーン１１において映像が背景の注目範囲に重ならないように、透明スクリーン１１における映像の表示位置を決定する（Ｓ５３）。以下、映像の表示位置の決定の具体的一例について説明する。
図１１は、透明スクリーン１１に映像を表示した一例を示す図である。図１１の例では、透明スクリーン１１の背景は図９に示すサッカースタジアムの背景Ｂ４０と同一である。
制御部３４は、図９に示すように、また上述したように、取得した背景画像データから背景Ｂ４０の輝度及び色度を分析し、鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲を決定する。本実施の形態では、サッカースタジアムのピッチの領域Ｂ４１を、鑑賞者が注目するであろうと予測される対象物（例えば、サッカースタジアムのピッチ）を含む背景の注目範囲として決定する（Ｓ５２）。そして、制御部３４は、図１１に示すように、透明スクリーン１１において背景の注目範囲に重ならないように、すなわちサッカースタジアムのピッチの領域Ｂ４１に重ならないように、映像Ａ１の表示位置を決定する（Ｓ５３）。なお、制御部３４は、分析した背景の輝度及び色度に基づいて、例えば最も暗い輝度の領域（図９の領域Ｂ４２又はＢ４３）を表示位置として決定してもよい。
次に、制御部３４は、決定した表示位置に映像Ａ１を表示するように制御信号を投影装置１２に送信する（Ｓ５４）。これにより、投影装置１２は、制御信号に従って表示位置の変更を行う。
ところで、本実施の形態では、映像Ａ１は注目範囲Ｂ４１とは異なる背景の注目範囲の拡大映像である。具体的には、この背景の注目範囲は、上述したサッカーボールを含む所定の範囲である。この背景の注目位置の拡大映像である映像Ａ１は、例えば以下のように生成される。
制御部３４は、背景画像データが示す背景からサッカーボールを検出し、サッカーボールを含む所定の範囲を背景の注目範囲Ｂ１として決定する。そして、制御部３４は、この注目範囲Ｂ１を拡大した拡大映像を透明スクリーン１１に表示する映像Ａ１として生成する。これにより、注目位置Ｂ１を強調表示することができる。このとき、ステップＳ５３において、制御部３４で分析した背景の輝度及び色度に基づいて決定した、映像Ａ１の表示位置の背景が黒等の暗い色である場合、映像Ａ１に白色等の明るい色で縁取りを行う映像変換処理を行ってもよい。
以上のように、本実施の形態の映像表示システム１によれば、まず、鑑賞者が注目することが予測される対象物を含む注目範囲Ｂ４１を検出する。次に、制御部３４は、検出された注目範囲Ｂ４１に基づいて、透明スクリーン１１において別の注目範囲の拡大映像である映像Ａ１が注目範囲Ｂ４１に重ならないように、映像Ａ１の表示位置を決定する。これにより、透明スクリーン１１において背景と映像とが重なることに起因して、透明スクリーン１１を通して視認される背景の視認性が低下することを防止することができる。
（実施の形態６）
実施の形態５では、背景の注目範囲（例えばサッカースタジアムのピッチ）に基づいて映像の表示位置を決定した。実施の形態６では、鑑賞者の位置及び鑑賞者の注目位置に基づいて映像の表示位置を決定する。
実施の形態６にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態６の映像表示システム１は、検出装置２３の出力に基づいて映像の表示位置を決定する。
以下、図１２、図１３Ａ及び図１３Ｂを用いて、実施の形態６にかかる映像処理装置３０の動作を説明する。図１２は、実施の形態６にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
図１２に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ６１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。検出装置２３は、この透明スクリーン１１に表示された映像及び背景を鑑賞する鑑賞者の位置及び鑑賞者の注目位置を検出する。次に、制御部３４は、検出装置２３で検出された鑑賞者の位置及び鑑賞者の注目位置を取得する（Ｓ６２）。次に、制御部３４は、鑑賞者の位置及び鑑賞者の注目位置に基づいて、透明スクリーン１１における映像の表示位置を決定する（Ｓ６３）。例えば、制御部３４は、鑑賞者が背景に注目しているときには背景を見易いように、一方、鑑賞者が映像に注目しているときには映像を見易いように、映像の表示位置を決定する。次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ６４）。以下、映像の表示位置の決定の具体的一例について説明する。
図１３Ａ及び図１３Ｂは、実施の形態６にかかる映像処理装置３０による映像の表示位置の決定動作の一例を説明するための図である。図１３Ａ及び図１３Ｂの例では、透明スクリーン１１の背景Ｂ１はサッカースタジアムであり、投影装置１２が透明スクリーン１１に投影する映像Ａ１は選手の背番号を示す情報（背景の対象物に関する情報）（バナー表示）である。
図１３Ａの例では、最初に、映像Ａ１は透明スクリーン１１において背景Ｂ１の上部に表示される。このとき、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近し、かつ、鑑賞者Ｃ１の注目位置Ｃ２が背景Ｂ１にある。そのため、制御部３４は、鑑賞者Ｃ１が背景Ｂ１を見易いように、映像Ａ１の表示位置を例えば透明スクリーン１１の上方に設けられた情報表示部Ｂ２に決定する（Ｓ６３）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動するように投影装置１２を制御する（Ｓ６４）。なお、制御部３４は、映像Ａ１の表示位置を透明スクリーン１１の下方や横方向に決定してもよい。このとき、制御部３４は、映像Ａ１を縮小表示するように投影装置１２を制御してもよい。これにより、投影装置１２は、制御信号に従って映像Ａ１の表示位置の変更を行う。
一方、図１３Ｂでは、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近しておらず、かつ、鑑賞者Ｃ１の注目位置Ｃ２が透明スクリーン１１上方の情報表示部Ｂ２における映像Ａ１にある。そのため、制御部３４は、鑑賞者Ｃ１が映像Ａ１を見易いように、映像Ａ１が透明スクリーン１１の全面（例えばサッカースタジアムのピッチの全面）に表示されるように映像Ａ１の表示位置及び拡大表示サイズを決定する（Ｓ６３）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動して拡大表示するように投影装置１２を制御する（Ｓ６４）。これにより、投影装置１２は、制御信号に従って映像Ａ１の表示位置の変更を行う。
なお、鑑賞者Ｃ１が複数人いる場合、複数の鑑賞者Ｃ１の重心位置を上述した鑑賞者Ｃ１の位置としてもよい。また、複数の鑑賞者Ｃ１の複数の注目位置Ｃ２に基づいて、所定時間ごとに映像Ａ１の表示位置を変更してもよい。
以上のように、本実施の形態の映像表示システム１によれば、まず、鑑賞者Ｃ１の位置及び鑑賞者Ｃ１の注目位置Ｃ２を検出する。次に、制御部３４は、検出された鑑賞者Ｃ１の位置及び鑑賞者Ｃ１の注目位置Ｃ２に基づいて、透明スクリーン１１における映像Ａ１の表示位置を決定する。この構成によれば、鑑賞者Ｃ１が透明スクリーン１１の背景Ｂ１に注目しているときには、制御部３４は、映像Ａ１が背景Ｂ１に重ならないように、透明スクリーン１１における映像Ａ１の表示位置を決定する（図１３Ａ）。これにより、透明スクリーン１１において背景と映像とが重なることに起因して、透明スクリーン１１の背景の視認性が低下することを防止することができる。
一方、鑑賞者Ｃ１が映像Ａ１に注目しているときには、制御部３４は、映像Ａ１が背景Ｂ１に重なるように、透明スクリーン１１における映像Ａ１の表示位置を決定する（図１３Ｂ）。これにより、映像Ａ１と背景Ｂ１との両方が同時に視認可能となる。
（実施の形態７）
実施の形態６では、鑑賞者が透明スクリーン１１に接近し、かつ、鑑賞者の注目位置が背景にある場合に映像が背景に重ならないようにした。実施の形態７では、鑑賞者が透明スクリーン１１に接近した場合に映像が背景に重なるようにする。さらに、実施の形態７では、鑑賞者の注目位置の近傍に追加の映像を表示する。
実施の形態７にかかる映像表示システム１の構成は、図１及び図２を参照して説明した実施の形態１のものと基本的に同様であるが、映像処理装置３０の制御部３４の機能、動作が前述のものと異なる。なお、実施の形態７の映像表示システム１は、第２の撮像装置２２の出力及び検出装置２３の出力に基づいて映像の表示位置を決定する。
以下、図１４及び図１５を用いて、実施の形態７にかかる映像処理装置３０の動作を説明する。図１４は、実施の形態７にかかる映像処理装置３０による映像処理動作を示すフローチャートである。
図１４に示すように、映像処理装置３０の制御部３４は、記憶部３３に記憶している元映像を示す映像信号を投影装置１２に送信する（Ｓ７１）。これにより、投影装置１２は、映像信号に基づいて投影光を生成し、投影光を透明スクリーン１１に投影する。検出装置２３は、この透明スクリーン１１に表示された映像及び背景を鑑賞する鑑賞者の位置及び鑑賞者の注目位置を検出する。また、第２の撮像装置２２は透明スクリーン１１の背景を撮影する。
次に、制御部３４は、第２の撮像装置２２で撮影された背景を示す背景画像データを取得する（Ｓ７２）。次に、制御部３４は、取得した背景画像データから背景の輝度及び色度を分析し、上述した背景の注目範囲を検出する（Ｓ７３）。また、制御部３４は、検出装置２３で検出された鑑賞者の位置及び鑑賞者の注目位置を取得する（Ｓ７４）。次に、制御部３４は、検出した背景の注目範囲、鑑賞者の位置及び鑑賞者の注目位置に基づいて、透明スクリーン１１における映像の表示位置を決定する（Ｓ７５）。例えば、制御部３４は、背景及び映像を見易いように、映像の表示位置を決定する。次に、制御部３４は、決定した表示位置に映像を表示するように制御信号を投影装置１２に送信する（Ｓ７６）。以下、映像の表示位置の決定の具体的一例について説明する。
図１５は、映像処理装置３０による映像の表示位置の決定動作の一例を説明するための図である。図１５の例でも、図１３Ａ及び図１３Ｂ例と同様に、透明スクリーン１１の背景Ｂ１はサッカースタジアムであり、投影装置１２が透明スクリーン１１に投影する映像Ａ１は選手の背番号を示す情報である。
図１５に示すように、鑑賞者Ｃ１が透明スクリーン１１に対して所定距離内に接近した場合に、制御部３４は、映像Ａ１が背景の注目範囲である透明スクリーン１１の全面（例えばサッカースタジアムのピッチの全面）に表示されるように映像Ａ１の表示位置及び拡大表示サイズを決定する（Ｓ７５）。そして、制御部３４は、決定した表示位置に映像Ａ１を移動して拡大表示するように投影装置１２を制御する（Ｓ７６）。これにより、投影装置１２は、制御信号に従って映像Ａ１の表示位置の変更を行い、サッカースタジアムのピッチの全面に映像Ａ１が重なって表示される。
また、ステップＳ７５において、鑑賞者Ｃ１が特定の選手（対象物）を含む注目位置Ｃ２に注目している場合、制御部３４は、鑑賞者Ｃ１の注目位置Ｃ２を含む所定の範囲の画像を拡大した拡大画像（追加の映像）Ａ２を生成する。なお、拡大画像Ａ２は、第２の撮像装置２２からの背景画像データから生成される。そして、制御部３４は、この拡大映像Ａ２の表示位置を鑑賞者Ｃ１の注目位置Ｃ２の近傍に決定する。そして、ステップＳ７６において、制御部３４は、決定した表示位置に拡大映像Ａ２を表示するように投影装置１２を制御する。これにより、投影装置１２は、制御信号に従って決定した表示位置に拡大映像Ａ２を表示し、鑑賞者Ｃ１の注目位置Ｃ２の近傍に拡大映像Ａ２が表示される。このとき、上述したように、分析した背景の輝度及び色度に基づいて、拡大映像Ａ２に白色等の明るい色で縁取りを行う映像変換処理を行ってもよい。
以上のように、本実施の形態の映像表示システム１によれば、鑑賞者Ｃ１の位置及び背景の注目範囲（例えばサッカースタジアムのピッチ）を検出する。そして、制御部３４は、鑑賞者Ｃ１が透明スクリーン１１に接近したときに、映像Ａ１が背景の注目範囲である例えばサッカースタジアムのピッチの全面に重なるように、透明スクリーン１１における映像Ａ１の表示位置を決定する。これにより、例えば背景Ｂ１の選手と映像Ａ１の選手情報との両方が同時に視認可能となる。
また、本実施の形態７の映像表示システム１によれば、鑑賞者Ｃ１の注目位置Ｃ２を検出し、注目位置Ｃ２の近傍に、この注目位置Ｃ２を含む所定の範囲の拡大映像（追加の映像）Ａ２を表示するように、透明スクリーン１１における拡大映像Ａ２の表示位置を決定する。これにより、例えば鑑賞者Ｃ１が注目する選手の拡大映像Ａ２をも同時に視認可能となる。
なお、実施の形態５では、背景の注目範囲に基づいて透明スクリーン１１における映像の表示位置を決定した。また、実施の形態６では、鑑賞者の位置や鑑賞者の注目位置に基づいて透明スクリーン１１における映像の表示位置を決定した。これに対し、実施の形態７のように、背景の注目範囲、及び、鑑賞者の位置や鑑賞者の注目位置の両方に基づいて映像の表示位置を決定してもよい。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１〜７を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１〜７で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
（１）本実施の形態では、映像信号が示す映像を表示し、かつ、背景を透過する透明な表示装置として、透明スクリーン１１と投影装置１２とを例示した。しかし、表示装置は、自発光方式の透明型ＥＬ表示装置や透明型液晶表示装置等であってもよい。なお、この場合、第２の通信部３２は、これらの表示装置とデータ通信を行う。
（２）本実施の形態では、第２の撮像装置２２と制御部３４とが協働して、サッカースタジアムのピッチやボール等の鑑賞者が注目するであろうと予測される対象物を含む背景の注目範囲の検出を行った。しかし、第２の撮像装置２２が、背景の注目範囲の検出を単独で行える機能を備えてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。
本開示は、透明な表示装置に表示する映像と当該表示装置の背景との両方を同時に視認できる映像表示システムに適用可能である。
１ 映像表示システム
１０ 表示装置
１１ 透明スクリーン
１２ 投影装置
２１ 第１の撮像装置
２２ 第２の撮像装置
２３ 検出装置
３０ 映像処理装置
３１ 第１の通信部
３２ 第２の通信部
３３ 記憶部
３４ 制御部

Claims (10)

  1. 映像信号が示す映像と透過した背景とを含む表示映像を表示する表示装置と、
    前記表示装置に送信する前記映像信号が示す映像を、前記背景に関する特性に基づいて変換処理する映像処理装置と、
    を備える映像表示システム。
  2. 前記背景に関する特性は、前記表示映像に含まれる透過した背景の特性である、
    請求項１に記載の映像表示システム。
  3. 前記表示装置に表示された表示映像を撮影する第１の撮像装置をさらに備え、
    前記映像処理装置は、前記第１の撮像装置によって撮影された前記表示映像の輝度および色度を分析し、分析結果に基づいて前記映像信号が示す映像の輝度および色度を変換処理する、
    請求項１に記載の映像表示システム。
  4. 前記背景を撮影する第２の撮像装置をさらに備え、
    前記映像処理装置は、前記第２の撮像装置によって撮影された前記背景の輝度および色度を分析し、分析結果に基づいて前記映像信号が示す映像の輝度および色度を変換処理する、
    請求項１に記載の映像表示システム。
  5. 前記映像処理装置は、
    前記映像信号が示す映像から文字を抽出し、
    前記映像を前記表示装置に表示したときの視認性を改善するように、前記文字の変換処理を行う、
    請求項１に記載の映像表示システム。
  6. 前記文字の変換処理は、前記文字の縁取り処理又はフォント変換処理である請求項５に記載の映像表示システム。
  7. 前記映像処理装置は、
    前記映像信号が示す映像から人または動物の静止画像を抽出し、
    前記映像を前記表示装置に表示したときの視認性を改善するように、前記静止画像の変換処理を行う、
    請求項１に記載の映像表示システム。
  8. 前記静止画像の変換処理は、前記静止画像の縁取り処理である請求項７に記載の映像表示システム。
  9. 前記表示装置は、
    主面において入射光の一部を拡散反射し、かつ、前記主面において入射光の一部を透過する透明なスクリーンと、
    前記スクリーンに前記映像を投影する投影装置と、
    を備える請求項１に記載の映像表示システム。
  10. 前記表示装置は、透明型ＥＬ表示装置、または、透明型液晶表示装置である請求項１に記載の映像表示システム。
JP2018523647A 2016-06-20 2017-06-01 映像表示システム Pending JPWO2017221663A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016122044 2016-06-20
JP2016122044 2016-06-20
PCT/JP2017/020455 WO2017221663A1 (ja) 2016-06-20 2017-06-01 映像表示システム

Publications (1)

Publication Number Publication Date
JPWO2017221663A1 true JPWO2017221663A1 (ja) 2019-04-25

Family

ID=60784211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018523647A Pending JPWO2017221663A1 (ja) 2016-06-20 2017-06-01 映像表示システム

Country Status (3)

Country Link
US (1) US11019315B2 (ja)
JP (1) JPWO2017221663A1 (ja)
WO (1) WO2017221663A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12249135B2 (en) 2019-11-27 2025-03-11 Sony Group Corporation Information processing apparatus, information processing method, and program
JP7563480B2 (ja) * 2020-11-27 2024-10-08 日本電信電話株式会社 ユーザインタフェース拡張システム、ユーザインタフェース拡張方法及びユーザインタフェース拡張プログラム
EP4618568A4 (en) * 2022-11-11 2026-01-07 Lg Electronics Inc TRANSPARENT DISPLAY DEVICE AND ITS OPERATING PROCESS

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311732A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 車両用表示装置
JP2005138801A (ja) * 2003-11-10 2005-06-02 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP2007140325A (ja) * 2005-11-22 2007-06-07 Seiko Epson Corp 発光制御装置、表示装置、電子機器、および発光装置の制御方法
JP2010149734A (ja) * 2008-12-25 2010-07-08 Yazaki Corp ヘッドアップディスプレイ装置
WO2013042767A1 (ja) * 2011-09-21 2013-03-28 本田技研工業株式会社 車両周辺監視装置
US20140204023A1 (en) * 2013-01-22 2014-07-24 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016101771A (ja) * 2014-11-27 2016-06-02 クラリオン株式会社 車両用ヘッドアップディスプレイ装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5086354A (en) * 1989-02-27 1992-02-04 Bass Robert E Three dimensional optical viewing system
US7522767B2 (en) * 2005-09-09 2009-04-21 Hewlett-Packard Development Company, L.P. True color communication
JP2010114768A (ja) 2008-11-07 2010-05-20 Canon Inc 映像処理装置、システム及びプログラム
US9432631B2 (en) * 2011-04-04 2016-08-30 Polaris Wireless, Inc. Surveillance system
KR102079097B1 (ko) * 2013-04-09 2020-04-07 삼성전자주식회사 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
US9514706B1 (en) * 2015-05-28 2016-12-06 Chunghwa Picture Tubes, Ltd. Transparent display apparatus and image adjustment method thereof

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311732A (ja) * 1997-05-09 1998-11-24 Toyota Motor Corp 車両用表示装置
JP2005138801A (ja) * 2003-11-10 2005-06-02 Calsonic Kansei Corp ヘッドアップディスプレイ装置
JP2007140325A (ja) * 2005-11-22 2007-06-07 Seiko Epson Corp 発光制御装置、表示装置、電子機器、および発光装置の制御方法
JP2010149734A (ja) * 2008-12-25 2010-07-08 Yazaki Corp ヘッドアップディスプレイ装置
WO2013042767A1 (ja) * 2011-09-21 2013-03-28 本田技研工業株式会社 車両周辺監視装置
US20140204023A1 (en) * 2013-01-22 2014-07-24 Samsung Electronics Co., Ltd. Transparent display apparatus and method thereof
JP2016024208A (ja) * 2014-07-16 2016-02-08 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP2016101771A (ja) * 2014-11-27 2016-06-02 クラリオン株式会社 車両用ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
US20200322583A1 (en) 2020-10-08
WO2017221663A1 (ja) 2017-12-28
US11019315B2 (en) 2021-05-25

Similar Documents

Publication Publication Date Title
US10855910B2 (en) Electronic device, method, and program
US20190028653A1 (en) Control apparatus, control method, and control program
US10587811B2 (en) Display control apparatus and control method for the same
JP2011082798A (ja) 投写型映像表示装置
US10812699B1 (en) Device having a camera overlaid by display and method for implementing the same
US10198868B2 (en) Information processing apparatus, method for controlling information processing apparatus, image processing system and non-transitory computer-readable storage medium
US11076071B2 (en) Device having a camera overlaid by display and method for implementing same
JP2013064827A (ja) 電子機器
JP2015192310A (ja) プロジェクションシステム、携帯機器、プログラム、及び、携帯機器の制御方法
US12159432B2 (en) Image processing apparatus, image generation method, and storage medium
JPWO2017221663A1 (ja) 映像表示システム
US11803347B2 (en) Image display system and image display method
JP6726889B2 (ja) 映像表示システム
US20200312272A1 (en) Display device
US20170048447A1 (en) Image processing apparatus, image processing method, and program
US11218662B2 (en) Image processing device, image processing method, and projection system
JP2011134117A (ja) 被写体領域抽出装置およびその制御方法、被写体追跡装置、並びにプログラム
JP2008287624A (ja) 画像処理システム、画像処理装置および方法、並びにプログラム
JP2021175166A (ja) 投影システム、投影方法、プログラム
JP6430435B2 (ja) 画像処理システム、画像処理方法およびプログラム
JP5398562B2 (ja) 追尾枠の初期位置設定装置およびその動作制御方法
JP7715157B2 (ja) 撮像装置、撮像システム、及び撮像装置の設定方法
US11558599B2 (en) Electronic apparatus, control method for electronic apparatus, and non-transitory computer-readable storage medium
JP2011160062A5 (ja)
JP2017220880A (ja) 投影装置及び投影方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190124

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210204

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210824