WO2007145064A1 - データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 - Google Patents

データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 Download PDF

Info

Publication number
WO2007145064A1
WO2007145064A1 PCT/JP2007/060603 JP2007060603W WO2007145064A1 WO 2007145064 A1 WO2007145064 A1 WO 2007145064A1 JP 2007060603 W JP2007060603 W JP 2007060603W WO 2007145064 A1 WO2007145064 A1 WO 2007145064A1
Authority
WO
WIPO (PCT)
Prior art keywords
illumination
viewing environment
video data
control type
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2007/060603
Other languages
English (en)
French (fr)
Inventor
Takuya Iwanami
Takashi Yoshii
Yasuhiro Yoshida
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to EP07744037A priority Critical patent/EP2040472A4/en
Priority to JP2008521133A priority patent/JP4950990B2/ja
Priority to US12/304,457 priority patent/US20090322955A1/en
Publication of WO2007145064A1 publication Critical patent/WO2007145064A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/165—Controlling the light source following a pre-assigned programmed sequence; Logic control [LC]
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/175—Controlling the light source by remote control
    • H05B47/198—Grouping of control procedures or address assignation to light sources
    • H05B47/1985—Creation of lighting zones or scenes

Definitions

  • Data transmission device data transmission method, viewing environment control device, viewing environment control system, and viewing environment control method
  • the present invention can control illumination light around a video display device when the video is displayed on the video display device in accordance with the atmosphere and scene setting of the shooting scene of the video.
  • the present invention relates to a data transmission device, a data transmission method, a viewing environment control device, a viewing environment control system, and a viewing environment control method.
  • Japanese Patent Laid-Open No. 2-158094 discloses a color signal (R,
  • variable-light-color illumination device that calculates the mixed light intensity ratio of the three primary colors of the light source for each frame from G, B) and the luminance signal (Y), and performs dimming control in conjunction with the image. ing.
  • This variable-light-color illumination device takes out the display video power color signal (R, G, B) and luminance signal (Y) of a color television, and uses the color signal and luminance signal to obtain three signals for use as a light source. It calculates the appropriate dimming illuminance ratio of the colored light (red light, green light, blue light), sets the illuminance of the three color light according to the illuminance ratio, mixes the three color light, and outputs it as illumination light.
  • a television image is divided into a plurality of parts, and an average hue of the corresponding dividing unit is detected to control illumination around the dividing unit.
  • a video effect lighting apparatus to perform is disclosed.
  • This video effect lighting device includes illumination means for illuminating the surroundings of the installation location of the color television, divides the image displayed on the color television into a plurality of images, and displays an image corresponding to the portion illuminated by the illumination means. The average hue of the division part is detected, and the illumination means is controlled based on the detected hue.
  • Japanese Patent Laid-Open No. 3-184203 simply discloses the entire screen of the image display device.
  • the image power displayed on the screen of the image display device does not require the average chromaticity and average brightness of the image to be obtained.
  • Only the R, G, B signals and luminance signals of the pixels are extracted to obtain the average chromaticity and average luminance.
  • a method for controlling the lighting so as to be the same as the average chromaticity and average luminance of the background portion excluding the background portion is disclosed.
  • a video scene is created as a segmented video based on a series of scene settings, for example, by the intention of a video producer (screenwriter, director, etc.). Therefore, it is desirable to illuminate the viewing space with illumination light according to the scene situation of the displayed video in order to increase the atmosphere when viewing the video.
  • the state of the illumination light changes according to the change in the luminance and hue of the video signal for each frame, and particularly the change in the luminance and hue between frames.
  • the degree is high, the illumination light changes in a complicated manner, causing a problem that the viewer feels uncomfortable with the flicker.
  • the illumination light fluctuates in accordance with changes in luminance and hue for each frame during the display of one scene with no change in scene settings, which adversely affects the atmosphere for each scene.
  • FIG. 1 is a diagram for explaining an example of a problem of illumination variation according to the conventional technique.
  • a video scene was created with the scene setting of moonlight night outdoors.
  • This scene consists of three shots with different camerawork (shot 1, shot 2, and shot 3).
  • shots 1 the camera takes a long shot of the target ghost.
  • shot 2 the ghost is shot in an up shot.
  • shot 3 it is back to the camera position of shot 1 again.
  • shots are designed as a single segment of scenes with a continuous atmosphere even though the camerawork is different.
  • FIG. 2 is a diagram for explaining another example of a problem due to a change in illumination in a scene.
  • a video scene was created with a scene setting of outdoors in the daytime on a sunny day.
  • This scene also has the image power obtained by taking a series of camera work without switching cameras.
  • an image of the skier sliding down with the upward force of the camera moving toward the camera is captured. Skiers are dressed in red and the sky is clear.
  • the blue light changes to strong illumination light power red illumination light.
  • the color of the illumination light changes within a single segment of a scene (atmosphere) that is continuous, and on the contrary, the atmosphere of the scene is obstructed and the viewer feels uncomfortable.
  • FIG. 3 is a diagram for explaining an example of a problem due to a change in illumination at the time of opening display.
  • the example shown in Fig. 3 is a summary video in which a particularly important shot (shot 1, shot 2, shot 3, shot 4) is switched in a short time (several seconds) in the story of a drama program.
  • shot 1 Is taken outdoors in the clear sky
  • shot 2 is taken in the early morning in the clear sky
  • shot 3 is taken outdoors in the cloudy day
  • shot 4 is taken in the outdoors setting in the clear sky.
  • the video feature quantity of the frames constituting this video is different for each shot, and the illumination light is controlled using the chromaticity and luminance for each frame as in the conventional technique described above. Then, the illumination light changes frequently in a short time in synchronization with the switching of each shot, and on the contrary, the atmosphere of the viewing environment is disturbed and the viewer feels uncomfortable.
  • FIG. 4 is a diagram for explaining an example of a problem due to a variation in illumination when displaying a video in which a short shot video is inserted between scenes.
  • a shot of a lake at night is inserted for a short time between Scene 1 which also has the ability to set outdoor scenes in sunny days and Scene 2 which also has the ability to set indoor scenes.
  • the illumination light is controlled using the chromaticity and brightness for each frame as in the conventional technique described above, the bright illumination light is darkened in accordance with the transition from the scene 1 to the shot. After switching to a large illumination light, immediately re-synchronize with the transition to Scene 2. In other words, the lighting environment is switched to brighter lighting, which disturbs the viewing environment and makes the viewer feel uncomfortable.
  • the viewing environment illumination light is switched according to the video feature amount of each frame constituting the shot.
  • the viewing environment illumination light corresponding to the video feature quantity of the scene immediately before is maintained and irradiated to the viewing environment space, or a certain illumination light such as white light with a predetermined intensity is applied to the viewing environment space. It may be desirable to irradiate.
  • a scene that has been subjected to special video processing such as a reminiscence scene in a drama or a movie program, may be inserted.
  • the illumination light is changed according to changes in the luminance and hue of the video signal for each frame to which the video effect is added, which may cause a problem that the viewer feels uncomfortable.
  • the viewing environment illumination light is not switched according to the video feature amount of each frame, but according to the video feature amount of the immediately preceding scene. It may be desirable to keep the viewing environment illumination light as it is and irradiate the viewing environment space, or to irradiate the viewing environment space with a certain illumination light such as white light of a predetermined intensity.
  • the viewing environment illumination light is not switched according to the image feature amount of each frame, but with a predetermined intensity.
  • the viewing environment illumination light is not switched according to the image feature amount of each frame, but with a predetermined intensity.
  • the viewing environment space is not switched according to the ability to illuminate the viewing environment space with a certain amount of illumination light such as white light, or the image features of frames including stadium and studio lighting shot in a long shot It is desirable to irradiate the viewing environment space while maintaining the listening environment illumination light as it is.
  • the present invention has been made in view of the above problems, and data transmission capable of realizing optimal viewing environment illumination control by appropriately controlling the timing of switching illumination light in the viewing environment.
  • An object is to provide a device, a data transmission method, a viewing environment control device, a viewing environment control system, and a viewing environment control method.
  • a first invention of the present application is a data transmission device that transmits video data having one or more frame powers.
  • the illumination indicates a control type of the viewing environment illumination when each frame of the video data is displayed. Control type information is added to the video data and transmitted.
  • the second invention of the present application is characterized in that the illumination control type information is added in units of frames of the video data.
  • the third invention of the present application is characterized in that the illumination control type information includes an instruction to switch the viewing environment illumination based on a feature amount in each frame of the video data.
  • the fourth invention of the present application is characterized in that the illumination control type information includes an instruction to maintain and control the immediately preceding viewing environment illumination regardless of the feature amount in each frame of the video data.
  • the illumination control type information includes an instruction to perform switching control to a predetermined predetermined viewing environment illumination regardless of a feature amount in each frame of the video data. It is characterized by that.
  • illumination control type information indicating a control type of viewing environment illumination when displaying each frame constituting video data.
  • the lighting control type information is a device for each frame constituting the video data. It is transmitted together with the output start timing of the frame.
  • the illumination control type information in the sixth invention includes an instruction to switch and control viewing environment illumination based on a feature amount in each frame of the video data.
  • the lighting control type information in the sixth invention is controlled to switch to predetermined predetermined viewing environment lighting regardless of the feature amount in each frame of the video data. It is characterized by including instructions to do.
  • a ninth invention of the present application receives video data to be displayed on a display device and lighting control type information indicating a control type of viewing environment lighting when displaying each frame constituting the video data.
  • a receiving unit and a control unit that controls illumination light of a lighting device installed around the display device using the feature amount of the video data and the illumination control type information. .
  • the tenth invention of the present application is characterized in that the control means switches and controls the illumination light of the illumination device based on the feature amount in each frame of the video data in accordance with the illumination control type information.
  • control means maintains and controls the illumination light of the illumination device regardless of the feature amount in each frame of the video data according to the illumination control type information. It is characterized by.
  • control means predetermines illumination light of the illumination device according to the illumination control type information regardless of a feature amount in each frame of the video data. Control is performed in a predetermined state.
  • a thirteenth aspect of the present invention is a viewing environment control system including the viewing environment control device and a lighting device whose viewing environment illumination light is controlled by the viewing environment control device.
  • data for transmitting illumination control type information indicating a control type of viewing environment illumination when displaying each frame constituting video data is displayed.
  • a transmission method is characterized in that the illumination control type information is transmitted together with an output start timing of each frame constituting the video data.
  • the sixteenth invention of the present application includes video data to be displayed on a display device and lighting control type information indicating a control type of viewing environment lighting when displaying each frame constituting the video data.
  • the illumination light of the illumination device installed around the display device is controlled using the feature amount of the video data and the illumination control type information.
  • FIG. 1 is a diagram for explaining an example of a problem of illumination variation according to the prior art.
  • FIG. 2 is a diagram for explaining another example of the problem of illumination variation according to the prior art.
  • FIG. 3 is a diagram for explaining another example of the problem of illumination variation according to the conventional technology.
  • FIG. 4 is a diagram for explaining another example of the problem of illumination variation according to the prior art.
  • FIG. 5 is a block diagram showing a schematic configuration of a main part of a video transmission device in the viewing environment control system according to the first embodiment of the present invention.
  • Fig. 6 is a diagram for explaining a hierarchical structure of moving image code data encoded by MPEG.
  • FIG. 7 is an explanatory diagram showing an example of lighting control type information in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 8 is a diagram showing a part of video data including a scene change.
  • FIG. 9 is a diagram for explaining the components of a video.
  • FIG. 10 is a block diagram showing a schematic configuration of a main part of a video reception device in the viewing environment control system according to the first embodiment of the present invention.
  • FIG. 11 shows lighting control data in the viewing environment control system according to the first embodiment of the present invention. It is a flowchart which shows operation
  • FIG. 12 is a block diagram showing a schematic configuration of a main part of an external server device in a viewing environment control system according to a second embodiment of the present invention.
  • FIG. 13 is an explanatory diagram showing an example of an illumination control type information storage table in the viewing environment control system according to the second embodiment of the present invention.
  • FIG. 14 is a block diagram showing a schematic configuration of a main part of a video reception device in a viewing environment control system according to a second embodiment of the present invention.
  • the video transmission device (data transmission device) 10 in the present embodiment includes each of video data (V), audio data (A), and illumination control type information (C) supplied as additional data.
  • the lighting control type information (C) indicates the control type of the viewing environment lighting when displaying each frame constituting the video data, and here, the viewing environment according to the video feature amount of each frame. Regardless of the power to switch the lighting and the video feature amount of each frame, the previous viewing environment lighting is maintained or controlled, or the predetermined predetermined viewing environment is set regardless of the video feature amount of each frame. It shall indicate the control type for switching control to lighting.
  • Figure 6 shows MPEG2 (Moving Picture Experts Group 2) —videos defined by Systems It is explanatory drawing which shows the one part outline of the hierarchical structure in image code key data.
  • the encoded data of a sequence composed of a plurality of consecutive pictures includes (a) a sequence layer, (b) a GOP (Group of Pictures) layer, (c) a picture layer, a slice layer, a macroblock layer (not shown) and The block layer (not shown) has a 6-layer hierarchical structure, and the picture layer (c) data starts with picture header information, followed by data (slices) from multiple slice layers.
  • a picture header area in which various kinds of predetermined information such as the picture type and the scale of the entire frame are described can be stored.
  • a user 'extensions and user data' area that can describe arbitrary optional information is provided.
  • lighting control type information is described in this user's data area. To do.
  • the lighting control type information corresponding to the frame is described in the lower 2 bits of 8 bits defined as the user's data of each frame.
  • the user is added when the video feature amount force shooting scene field (atmosphere) of the frame is estimated and the viewing environment lighting is switched and controlled.
  • the data is “00000000”, a user added when instructing to switch to viewing environment lighting (default lighting 1) of the first brightness and color determined in advance, regardless of the video feature value of the frame.
  • 'Data is' 00000001', added when instructing to switch to the viewing environment lighting (default lighting 2) of the second brightness and color determined in advance, regardless of the video feature of the frame.
  • the user data is “00000010”, and the user data added when instructing to maintain and control the previous viewing environment lighting (no lighting switching) regardless of the video feature of the frame is “00000011”.
  • bright white illumination is set as default illumination 1
  • dark white illumination is set as default illumination 2.
  • the lighting control type information may be described in the user data area of the picture layer (c) described above when the video data is encoded by a predetermined method. Needless to say.
  • the lower 2 bits of 8 bits allocated as user's data are used.
  • the upper 6 bits of the user data are represented by “0”), and the present invention is not limited to this.
  • information that can identify the control type of the viewing environment illumination at the time of displaying each frame may be added to the video data or the audio data. Not exclusively.
  • the lighting control type information may be transmitted after being attached to an extension header of a transport stream packet (TSP) defined by MPE G2-Systems.
  • TTP transport stream packet
  • the lighting control type information is not limited to the above, but may be information of 1 bit or more indicating whether or not to perform lighting control based on at least the video feature amount of the frame. More than 3 types of lighting control types may be expressed by information of 3 bits or more.
  • the above-described illumination control type information can be generated based on a scenario (screenplay) at the time of photographing a force image that can be arbitrarily added on the transmission side.
  • the first frame of the video shooting scene (first frame after the scene change) 16 estimates the field (atmosphere) of the video feature amount shooting scene of the frame, and the viewing environment illumination is set.
  • User data “00000000” to instruct switching control is added, and the other ambient frames 17 to 21 included in the same scene maintain the previous viewing environment illumination regardless of the video feature amount of each frame.
  • the switching control of the viewing environment lighting described later is appropriately performed according to the scene change point reflecting the intention of the video producer. It can be carried out.
  • the video data making up a continuous moving image sequence can be divided into three layers.
  • the first layer (# 1) that composes the video is a frame.
  • a frame is a physical layer and refers to a single two-dimensional image. Frames are usually obtained at a rate of 30 frames per second.
  • the second layer (# 2) is shot hot).
  • a shot is a sequence of frames taken by a single camera.
  • the third layer (# 3) is a scene.
  • a scene is a series of shots that have a story-like connection.
  • the lighting control type information can be added for each frame of video data, and will be described later according to the intention of the video producer (screenwriter, director, etc.).
  • the video producer screenwriter, director, etc.
  • a video receiving device that receives broadcast data transmitted from the video transmitting device, displays and reproduces video / audio, and controls the viewing environment illumination at that time will be described. To do.
  • the video receiving apparatus in the present embodiment receives and demodulates broadcast data (B) input from the transmission path, and performs error correction and a receiving unit 31 and a receiving unit 31.
  • the video data and TC (time code) output to the video display device 36, the audio data and TC (time code) output to the audio playback device 37, and the lighting control type information as additional information are separated from the output data of Based on the data separation unit 32 to be extracted, the illumination control type information separated by the data separation unit 32, and the feature quantities of the video data and the audio data, the illumination control data (R, G, B data) is generated and output to the lighting device 38 that illuminates the viewing environment space, and the video data and audio data are delayed by the processing time in the lighting control data generating unit 35 and the lighting control data generating unit 35.
  • a delay generator 33, 34 for outputting Te for outputting Te.
  • the lighting device 38 can be configured by an LED that is installed around the video display device 36 and emits light of, for example, R, G, and B primary colors having a predetermined hue.
  • the lighting device 38 is not limited to the combination of LEDs emitting a predetermined color as described above as long as the lighting color and brightness of the surrounding environment of the video display device 36 can be controlled. It can also be composed of white LEDs and color filters, or a combination of white light bulbs, fluorescent tubes and color filters, or color lamps can be applied. Further, it is sufficient that one or more lighting devices 38 are installed.
  • the time code (TC) is information added to indicate the reproduction time information of each of the video data and the audio data.
  • the lighting control data generation unit 35 of the present embodiment generates lighting control data (R, G, B data) suitable for displaying each frame according to the lighting control type specified by the lighting control type information. Generate. That is, if the lighting control type information instructs to switch the viewing environment lighting based on the video feature amount Z audio feature amount of each frame, the video data and audio data of the frame Based on the above, the lighting state and scene setting (atmosphere) at the shooting site are estimated, and lighting control data for controlling the lighting device 38 is output according to the estimation result.
  • the method for estimating the ambient light state at the time of photographing by the illumination control data generation unit 35 various techniques including known ones can be used. Note that here, the feature value of the audio data is used in addition to the feature value of the video data for the estimation of the place (atmosphere), but this is to improve the estimation accuracy of the place (atmosphere). Yes, it is possible to estimate the scene (atmosphere) of the shooting scene from only the feature values of the video data.
  • the color signal and the luminance signal in a predetermined area of the screen can be used as they are.
  • the color temperature of light may be obtained and used.
  • these may be configured to be switchable and output as feature amounts of video data.
  • the feature amount of audio data volume, audio frequency, etc. can be used.
  • the illumination control data generation unit 35 can estimate the field (atmosphere) at the time of video shooting, that is, the state of ambient light, based on the feature amounts of the video data and audio data. At the timing specified by the illumination control type information, it is possible to switch to illumination light based on this place (atmosphere) estimation and irradiate the viewing environment space.
  • the illumination control data generation unit 35 stores illumination control data corresponding to illumination light having one or more predetermined brightness and color in a storage unit (not shown). If the lighting control type information instructs to switch to predetermined predetermined viewing environment lighting regardless of the video feature value Z audio feature value of each frame, the above-mentioned video shooting time The corresponding illumination control data is read from the storage unit and output without performing the process of estimating the field (atmosphere).
  • the illumination control data generation unit 35 is prepared in advance with two types of illumination control data corresponding to default illumination 1 (bright white illumination) and default illumination 2 (dark white illumination). Switch viewing environment lighting to default lighting 1 by lighting control type information Lighting instruction data corresponding to the default lighting 1 is output, and if the lighting control type information is instructed to switch the viewing environment lighting to the default lighting 2, the default lighting 2 is output. Lighting control data corresponding to
  • the viewing environment space is illuminated by switching to predetermined illumination light at a timing designated by the illumination control type information regardless of the feature amount of the video data and audio data. It becomes possible to do.
  • the lighting control type information instructs to maintain and control the immediately preceding viewing environment lighting (no lighting switching) regardless of the video feature value Z audio feature value of each frame
  • the scene (atmosphere) estimation process during video shooting is not performed, and the lighting control data output for the previous frame is output repeatedly.
  • the viewing environment illumination light can be held in the same state for an arbitrary period regardless of changes in the feature amounts of the video data and audio data.
  • the viewing environment illumination light can be kept substantially the same in the shooting scene (atmosphere), that is, in the same scene where the lighting state does not change.
  • the viewing environment illumination control based on the video feature amount Z audio feature amount is inappropriate, for example, it is possible to hold and irradiate a certain amount of white illumination light. Accordingly, it is possible to prevent the viewer from feeling uncomfortable due to inappropriate viewing environment lighting and to realize an optimal viewing environment.
  • the video data and audio data output to the video display device 36 and the audio playback device 37 are the delay generation unit 33 for the time required for the field (atmosphere) estimation process using the video data and audio data described above.
  • the lighting control data output to the lighting device 38 is also synchronized with the video data and audio data output to the video display device 36 and the audio playback device 37.
  • the illumination light of the illumination device 38 can be switched at a timing synchronized with the video display.
  • a new frame is also acquired for the input video data power (step S1), and whether or not to switch the viewing environment illumination based on the feature amount of the video data Z audio data of the acquired frame is determined by the type of lighting control.
  • Judgment based on information step S 2
  • step S 3 Based on the acquired video feature amount Z audio feature amount of the frame, when switching the viewing environment illumination, the video feature amount Z audio feature amount is detected using the video data Z audio data of the frame.
  • a field (atmosphere) estimation process is performed (step S3), and illumination control data for controlling the lighting device 38 is generated based on the estimation process result (step S4).
  • illumination light switching control is performed by the illumination device 38 (step S5), and it is determined whether or not the post-processing is completed (step S6). If video data continues, return to step S1 to get a new frame.
  • step S2 If it is determined in step S2 that switching of the viewing environment illumination is not to be controlled based on the acquired feature value of the video data Z audio data of the frame, whether to switch the viewing environment illumination to the default illumination 1 or not Whether or not is determined based on the lighting control type information (step S7). Regardless of the acquired frame image feature amount Z audio feature amount, when switching the viewing environment illumination to the default illumination 1, the illumination control data corresponding to the default illumination 1 prepared in advance is read (step S8). Based on the illumination control data, illumination light switching control is performed by the illumination device 38 (step S5). Thereafter, it is determined whether or not the processing is completed (step S6). If the video data continues, the process returns to step S1 to obtain a new frame.
  • step S7 If it is determined in step S7 that the viewing environment illumination is not controlled to be switched to the default illumination 1, whether or not the viewing environment illumination is switched to the default illumination 2 is determined by the illumination control type. A determination is made based on the information (step S9). Regardless of the acquired frame image feature amount Z audio feature amount, when controlling to switch the viewing environment illumination to the default illumination 2, read the illumination control data corresponding to the default illumination 2 prepared in advance (Step S10) Based on the illumination control data, the illumination device 38 performs illumination light switching control (step S5). Thereafter, it is determined whether or not the processing is completed (step S6). If the video data force S continues, the process returns to step S1 to acquire a new frame.
  • step S9 determines whether or not the viewing environment illumination is not controlled to be switched to the default illumination 2, regardless of the video feature amount Z audio feature amount of the acquired frame.
  • step S6 it is determined whether or not the process of performing illumination light switching control has been completed.
  • the configuration is such that the viewing environment illumination is controlled based on the illumination control type information added to the video data. It is possible to control the switching of the viewing environment illumination at the timing. For example, when the video scene shown in FIGS. 1 and 2 is displayed, the viewing environment illumination according to the video feature amount Z audio feature amount of the scene start frame can be maintained until the scene ends. In other words, the brightness and color of the viewing environment illumination light can be kept substantially constant within the same scene, so that the viewing environment illumination can change drastically within the same scene, and the atmosphere can be impaired if it is realistic. Can be prevented, and an appropriate viewing environment can always be realized.
  • the viewing environment lighting is set to the constant white lighting state set as default regardless of the video feature amount Z audio feature amount of each frame. Therefore, it is possible to prevent the viewing environment illumination light from changing drastically in a short time and to give the viewer a sense of incongruity, thereby realizing an appropriate viewing environment.
  • the video feature amount Z audio feature amount of each frame constituting the shot is displayed.
  • the viewing environment illumination for the previous scene can be maintained as it is, or the viewing environment illumination can be set to a constant white lighting state that is set as default, and the viewing environment illumination light changes dramatically in a short time. This can prevent the viewer from feeling uncomfortable and can realize an appropriate viewing environment.
  • the lighting control type information related to the setting scene break position on the story of each scene is transmitted and received, a desired scene can be selected using this lighting control type information.
  • various functions such as searching and editing can be realized.
  • the illumination control type information may be added to the broadcast data. In this case, it is possible to realize an optimum viewing environment at the time of video reproduction by transmitting / receiving the illumination control type information corresponding to the video data to be displayed from an external server device or the like. This will be described below as a second embodiment of the present invention.
  • the external server device (data transmission device) 50 also receives a request for transmission of the illumination control type information related to specific video data (content) on the side of the video reception device (data reception device).
  • Receiving unit 51 storing the lighting control type information for each video data (content)! / Reading data storage unit 52, and requesting the video control device (data reception)
  • the illumination control type information stored in the data storage unit 52 of the present embodiment includes the output start timing (reproduction start timing) of each video frame to the video display device 36 as shown in FIG. (Hereinafter referred to simply as “start timing”) and is described in a table format, and the lighting control type information of the video data (numbered thread and content) for which a transmission request has been received is used for the frame constituting the video data.
  • start timing production start timing
  • the transmission unit 53 transmits the request to the requesting video receiver.
  • the four (2 bits) illumination control types shown in FIG. 7 are assumed, but here, illumination switching control based on field (atmosphere) estimation is performed.
  • the lighting control type is described in the lighting control type information storage table only for the frame to be performed and the frame for which switching to the default lighting 1, 2 is performed, and the lighting control type is described for the frame for which lighting switching is prohibited. Omitted. That is, when displaying a frame not specifically described in the lighting control type information storage table, the previous viewing environment lighting is maintained. As a result, the data capacity of the lighting control type information is greatly reduced.
  • a video reception device (data reception device) 60 that receives the illumination control type information sent from the external server device 50 and controls the viewing environment illumination will be described.
  • the video receiver 60 in the present embodiment receives and demodulates broadcast data (B) input from the transmission path, and performs error correction and a receiver 61 and a receiver 61
  • Data separation unit 62 that separates and extracts the video data output to the video display device 36 and the audio data output to the audio playback device 37 from the output data, and the video data (content) to be displayed
  • the transmission unit 67 that transmits the transmission request for the illumination control type information transmitted to the external server device (data transmission device) via the communication network, and the illumination control type information requested for transmission from the external server device via the communication network.
  • receiving unit 68 for receiving.
  • the lighting control type information received by the receiving unit 68 is temporarily stored, the frame start TC (time code) associated with the lighting control type information, and the video extracted by the data separation unit 62 Compares the TC (time code) of the data, and when they match, the CPU 66 outputs information indicating the corresponding lighting control type information, the lighting control type information from the CPU 66, the video data and the And an illumination control data generation unit 65 that generates illumination control data (G, B data) based on the feature amount of the audio data and outputs the illumination control data to the illumination device 38 that illuminates the viewing environment space.
  • the illumination control data generation unit 65 that generates illumination control data (G, B data) based on the feature amount of the audio data and outputs the illumination control data to the illumination device 38 that illuminates the viewing environment space.
  • the CPU 66 receives the start time code of each frame of the lighting control type information storage table received from the external server device and stored therein, and the video data input to the lighting control data generation unit 65. The time code is compared, and when they match, the lighting control type information corresponding to the frame (time code) is output to the lighting control data generation unit 65.
  • the illumination control data generation unit 65 of the present embodiment is suitable for displaying each frame according to the illumination control type information, similarly to the illumination control data generation unit 35 of the first embodiment described above. Lighting control data (R, G, B data) is generated.
  • the video feature amount Z audio feature amount of each frame If it is instructed to switch the viewing environment lighting based on this, the lighting conditions and scene settings (atmosphere) at the shooting site are estimated based on the video data and audio data of the frame, and this estimation is performed. According to the result, lighting control data for controlling the lighting device 38 is output.
  • the lighting control type information instructs to switch to predetermined predetermined viewing environment lighting regardless of the video feature amount Z audio feature amount of each frame
  • the scene (atmosphere) estimation process at the time of video shooting is not performed, and the illumination control data prepared in advance is read and output.
  • the illumination control type information corresponding to the display video data is obtained from the external server device, and this illumination Since the viewing environment lighting is controlled based on the control type information, the viewing environment lighting switching control is performed at an arbitrary timing according to the intention of the video producer, as in the first embodiment described above.
  • the lighting control type information related to the set scene break position on the story of each scene is also transmitted and received, a desired scene can be selected using this lighting control type information.
  • various functions such as searching and editing can be realized.
  • the viewing environment control device, method, and viewing environment control system of the present invention can be realized by various embodiments without departing from the gist of the present invention described above.
  • the environmental lighting control device may be configured to control an external lighting device based on various information included in the input video data that may be provided in the video display device.
  • the above-mentioned lighting control type information is not limited to the case where it is separated from broadcast data or acquired from an external server device, for example, an external device (DVD player, Blu-ray disc player, etc.)
  • the illumination control type information added in the media medium may be read out and used.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Circuit Arrangement For Electric Light Sources In General (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

　映像制作者の意図する撮影シーンの雰囲気や場面設定に応じた、最適な視聴環境の照明制御を実現することが可能な視聴環境制御システムを提供する。映像送信装置１０は、映像データ（Ｖ）の各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報（Ｃ）を前記映像データ（Ｖ）に多重するデータ多重部１と、照明制御種別情報（Ｃ）が多重された映像データを変調して送出する送信部２とを設けて構成される。

Description

明 細 書
データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御 システム、及び視聴環境制御方法
技術分野
[0001] 本発明は、映像表示装置に映像を表示する際に、その映像の撮影シーンの雰囲 気や場面設定に適応させて、映像表示装置の周囲の照明光を制御することが可能 なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、 及び視聴環境制御方法に関するものである。
背景技術
[0002] 例えば、テレビジョン受像機のような映像表示装置により映像表示を行う場合や、プ ロジェクタ装置を用いて映像を投影表示させるような場合に、その周囲の照明光を表 示映像に合わせて調整することにより臨場感を高めるなどの視聴演出効果を付与す るようにした技術が知られて！/、る。
[0003] 例えば、特開平 2— 158094号公報には、カラーテレビの表示映像の色信号 (R,
G, B)と輝度信号 (Y)とから、フレーム毎に光源の三原色の混光照度比を算出し、映 像と連動させて調光制御を行うようにした光色可変形照明装置が開示されている。こ の光色可変形照明装置は、カラーテレビの表示映像力 色信号 (R, G, B)と輝度信 号 (Y)とを取り出し、その色信号と輝度信号とから、光源に使用する三色光 (赤色光 ,緑色光，青色光)の適正調光照度比を算出し、その照度比に従って三色光の照度 を設定し、三色光を混光して照明光として出力している。
[0004] また、例えば、特開平 2— 253503号公報には、テレビの映像を複数に分割し、対 応する分割部の平均的な色相を検出することによって、分割部の周囲の照明制御を 行う映像演出照明装置が開示されている。この映像演出照明装置は、カラーテレビ の設置場所の周囲を照明する照明手段を備えていて、カラーテレビに表示される映 像を複数に分割し、照明手段によって照明される部分に対応する映像の分割部の平 均的な色相を検出し、その検出した色相に基づいて照明手段を制御している。
[0005] さらに、例えば、特開平 3— 184203号公報には、単に画像表示装置の画面全体 の平均色度及び平均輝度を求めるのではなぐ画像表示装置の画面に映し出された 画像力 人の顔などの肌色部分の画素を取り除いた残りの部分を背景部と考え、そ の背景部の各画素の R, G, B信号及び輝度信号だけを取り出して平均色度及び平 均輝度を求めて、画像表示装置の背面の壁面の色度及び輝度が、画面全体、或い は人の肌色を除く背景部の平均色度及び平均輝度と同一になるように、照明を制御 する方法が開示されている。
発明の開示
発明が解決しょうとする課題
[0006] 通常、映像のシーンは例えば映像制作者 (脚本家や演出家など）の意図により、一 連の場面設定に基づく一区切りの映像として作成される。従って、映像視聴時の臨 場感ゃ雰囲気を増大させるには、表示映像のシーン状況に応じた照明光を視聴空 間に照射することが望ま 、。
[0007] し力しながら、上述した従来の技術においては、映像信号の輝度や色相のフレーム 毎の変化に応じて照明光の状態が変化してしまい、特にフレーム間における輝度や 色相の変化の度合いが大きい場合などでは照明光が煩雑に変化し、視聴者がフリツ カーによる違和感を感じるという問題が生じる。さらに、場面設定に変化のない 1つの シーンの表示中に、フレーム毎の輝度や色相の変化に応じて照明光が変動すること は、シーン毎の雰囲気を逆に阻害して好ましくない。
[0008] 図 1は、上記従来の技術による照明変動の問題点の一例を説明するための図であ る。図 1に示す例では、月夜の屋外という場面設定で撮影された映像のシーンが作 成されている。このシーンは、カメラワークが異なる 3つのショット（ショット 1,ショット 2, ショット 3)により構成されている。ショット 1では、対象である亡霊をカメラがロングショッ トで撮影している。そして、ショット 2に切り替わると、その亡霊がアップショットで撮影さ れている。ショット 3では、再度ショット 1のカメラ位置に戻っている。これらのショットは 、カメラワークは異なっていても、一つの雰囲気が連続する一区切りのシーンとして意 図されて構成されている。
[0009] このような場合、ショット 1では、月夜の比較的暗い映像が連続しているため、これら の映像の各フレームの輝度や色度に従って照明光を制御すると比較的暗い照明光 となる。そしてショット 1がショット 2に切り替わると、アップショットで撮影された亡霊は 比較的明るい映像となる。このときに上記従来の技術によりフレーム毎に照明光を制 御すると、ショットの切替時に照明光の制御が大きく切り替わって明るい照明光となる 。そして、またショット 3に切り替わると、ショット 1と同様の暗い照明光に戻る。
[0010] すなわち、一つの場面 (雰囲気）が連続する一区切りのシーン内で照明光が暗くな つたり明るくなつたりすると、却ってそのシーンの雰囲気を阻害して視聴者に違和感 を与えることになる。
[0011] 図 2は、シーン内の照明の変動による問題点の他の例を説明するための図である。
図 2に示す例では、晴天の日中の屋外という場面設定で撮影された映像のシーンが 作成されている。このシーンは、カメラが切り替わることなく一連のカメラワークによる 撮影によって得られた映像力もなる。この例では、カメラの上方力もカメラ近傍に向か つてスキーヤーが滑降してくる映像が撮影されている。スキーヤーは赤い服を着てお り、空は晴天である。
[0012] このシーンの映像は、その初期のフレームでは背景の青空の領域が大きぐスキー ヤーが滑り降りてカメラに近づくに従ってスキーヤーの赤い服の領域が徐々に大きく なってくる。つまりシーン内の映像の進行に伴って、各フレームを構成する色の比率 が変化してくる。
[0013] このような場合、各フレーム毎の色度や輝度を使用して照明光を制御すると、青色 が強い照明光力 赤い照明光に変化していくことになる。すなわち、一つの場面 (雰 囲気）が連続する一区切りのシーン内で照明光の色味が変化してしまい、却ってその シーンの雰囲気を阻害して視聴者に違和感を与えることになる。
[0014] 以上のように、同一シーン内では、各フレームの映像特徴量に応じてフレーム毎に 視聴環境照明光を切り替えるのではなぐ視聴環境照明光を略一定に保持すること が望ましい。
[0015] さらに、ドラマや映画、音楽番組などのオープニング (あらすじ)や予告編、コマーシ ャルメッセージ (CM)期間では、短時間にショットが頻繁に変化するため、上記従来 の技術のように、各フレーム毎の映像信号の輝度や色相の変化に応じて照明光を変 化させた場合、照明光が煩雑に変化し、視聴者が違和感を感じるという問題が生じる [0016] 図 3は、オープニング (あらすじ)表示時の照明の変動による問題点の例を説明する ための図である。図 3に示す例では、ドラマ番組のストーリー上、特に重要なショット（ ショット 1,ショット 2,ショット 3,ショット 4)が短時間（数秒)で切り替えられた要約映像 であり、ここでは、ショット 1は晴天の日中の屋外、ショット 2は晴天の早朝の屋外、ショ ット 3は曇天の日中の屋外、ショット 4は晴天の夕暮れの屋外の場面設定でそれぞれ 撮影された映像となって 、る。
[0017] すなわち、この映像を構成するフレームの映像特徴量は、各ショット毎に異なって おり、上記従来の技術のように、各フレーム毎の色度や輝度を使用して照明光を制 御すると、各ショットの切り替わりに同期して照明光も短時間で頻繁に変化することに なり、却って視聴環境の雰囲気を阻害して視聴者に違和感を与えることになる。
[0018] このように、複数のショットが短時間で頻繁に変化する映像を表示する際には、各フ レームの映像特徴量に応じてフレーム毎に視聴環境照明光を切り替えるのではなく 、予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するの が望ましい。
[0019] そしてまた、テレビ番組の中では、シーンとシーンの間に短時間だけアイキャッチ（ 例えば、 CM前後に挿入される番組クレジットや、バラエティ番組等で次のコーナー で取り上げる内容の抜粋やテロップなど）のような映像が挿入されることがある。このよ うな場合、上記従来の技術のように、各フレーム毎の映像信号の輝度や色相の変化 に応じて照明光を変化させると、シーンとシーンの間に挿入された短時間の映像に 応じて照明光が変化し、視聴者が違和感を感じるという問題が生じる場合がある。
[0020] 図 4は、シーンとシーンの間に短時間のショット映像が挿入された映像表示時の照 明の変動による問題点の例を説明するための図である。図 4に示す例では、晴天の 日中の屋外の場面設定力もなるシーン 1と屋内の場面設定力もなるシーン 2との間に 、夜間の湖面のショットが短時間だけ挿入された映像である。
[0021] このような場合、上記従来の技術のように、各フレーム毎の色度や輝度を使用して 照明光を制御すると、シーン 1からショットへの移行に合わせて、明るい照明光から暗 い照明光に大きく切り替わった後、短時間ですぐにシーン 2への移行に合わせて再 び明るい照明光に切り替わることとなり、却って視聴環境の雰囲気を阻害して視聴者 に違和感を与えることになる。
[0022] このように、シーンとシーンの間に短時間のショットが挿入された映像を表示する際 には、該ショットを構成する各フレームの映像特徴量に応じて視聴環境照明光を切り 替えるのではなぐ直前のシーンの映像特徴量に応じた視聴環境照明光をそのまま 維持して視聴環境空間に照射するか、或いは、予め決められた強度の白色光などの 一定の照明光を視聴環境空間に照射するのが望ましい場合がある。
[0023] さらに、例えば、ドラマや映画番組の中の回想シーンなどのように特殊映像処理が 施されたシーンが挿入されることがある力 このような場合、上記従来の技術におい ては、特殊映像効果が付加された各フレーム毎の映像信号の輝度や色相の変化に 応じて照明光を変化させることとなり、視聴者が違和感を感じるという問題が生じる場 合がある。
[0024] このように、特殊映像処理が施された映像を表示する際には、各フレームの映像特 徴量に応じて視聴環境照明光を切り替えるのではなぐ直前のシーンの映像特徴量 に応じた視聴環境照明光をそのまま維持して視聴環境空間に照射するか、或いは、 予め決められた強度の白色光などの一定の照明光を視聴環境空間に照射するのが 望ましい場合がある。
[0025] また、例えば、スポーツ番組の競技シーンや、ニュース Z報道、情報 Zワイドショー 番組などのスタジオ収録シーンは、一般的に、スポーツ会場や収録スタジオなどの一 定の照明下で撮影された映像である。し力しながら、上記従来の技術のように、各フ レーム毎の映像信号の輝度や色相の変化に応じて照明光を変化させると、映像信号 に含まれる背景の人工物や、人物の顔や服装などの影響を受けて、不適切な色の 照明光を周囲に照射してしまうこととなり、却って、そのシーンの雰囲気を阻害して視 聴者に違和感を与えることがある。
[0026] このように、一定の白色光照明下で撮影された映像を表示する際には、各フレーム の映像特徴量に応じて視聴環境照明光を切り替えるのではなぐ予め決められた強 度の白色光などの一定の照明光を視聴環境空間に照射する力、或いは、ロングショ ットで撮影された競技場やスタジオの照明を含むフレームの映像特徴量に応じた視 聴環境照明光をそのまま維持して視聴環境空間に照射するのが望ましい。
[0027] 本発明は、上記課題に鑑みてなされたものであり、視聴環境の照明光を切り替える タイミングを適切に制御することにより、最適な視聴環境の照明制御を実現することが 可能なデータ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御シス テム及び視聴環境制御方法を提供することを目的とする。
[0028] また、映像データの特徴量に応じた照明光と、予め決められた所定の照明光とを適 切に切替制御することにより、最適な視聴環境の照明制御を実現することが可能な データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム及 び視聴環境制御方法を提供することを目的とする。
課題を解決するための手段
[0029] 本願の第 1の発明は、 1以上のフレーム力 構成される映像データを送信するデー タ送信装置において、前記映像データの各フレームを表示する際の視聴環境照明 の制御種別を示す照明制御種別情報を、前記映像データに付加して送信することを 特徴とする。
[0030] 本願の第 2の発明は、前記照明制御種別情報が、前記映像データのフレーム単位 で付加されることを特徴とする。
[0031] 本願の第 3の発明は、前記照明制御種別情報が、前記映像データの各フレームに おける特徴量に基づ!ヽて、視聴環境照明を切替制御する指示を含むことを特徴とす る。
[0032] 本願の第 4の発明は、前記照明制御種別情報が、前記映像データの各フレームに おける特徴量に関わらず、直前の視聴環境照明を維持制御する指示を含むもので あることを特徴とする。
[0033] 本願の第 5の発明は、前記照明制御種別情報が、前記映像データの各フレームに おける特徴量に関わらず、予め決められた所定の視聴環境照明に切替制御する指 示を含むものであることを特徴とする。
[0034] 本願の第 6の発明は、外部からの要求を受けて、映像データを構成する各フレーム を表示する際の視聴環境照明の制御種別を示す照明制御種別情報を送信するデ ータ送信装置であって、前記照明制御種別情報を、前記映像データを構成する各フ レームの出力開始タイミングとともに送信することを特徴とする。
[0035] 本願の第 7の発明は、第 6の発明における前記照明制御種別情報が、前記映像デ 一タの各フレームにおける特徴量に基づいて、視聴環境照明を切替制御する指示を 含むことを特徴とする。
[0036] 本願の第 8の発明は、第 6の発明における前記照明制御種別情報が、前記映像デ 一タの各フレームにおける特徴量に関わらず、予め決められた所定の視聴環境照明 に切替制御する指示を含むものであることを特徴とする。
[0037] 本願の第 9の発明は、表示装置に表示すべき映像データと、該映像データを構成 する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情報 とを受信する受信手段と、前記映像データの特徴量と、前記照明制御種別情報とを 用いて、前記表示装置の周辺に設置された照明装置の照明光を制御する制御手段 とを備えたことを特徴とする。
[0038] 本願の第 10の発明は、前記制御手段が、前記照明制御種別情報に応じて、前記 映像データの各フレームにおける特徴量に基づき、前記照明装置の照明光を切替 制御することを特徴とする。
[0039] 本願の第 11の発明は、前記制御手段が、前記照明制御種別情報に応じて、前記 映像データの各フレームにおける特徴量に関わらず、前記照明装置の照明光を維 持制御することを特徴とする。
[0040] 本願の第 12の発明は、前記制御手段が、前記照明制御種別情報に応じて、前記 映像データの各フレームにおける特徴量に関わらず、前記照明装置の照明光を予 め決められた所定状態に制御することを特徴とする。
[0041] 本願の第 13の発明は、前記視聴環境制御装置と、該視聴環境制御装置によって 視聴環境照明光を制御される照明装置とを備える視聴環境制御システムであること を特徴とする。
[0042] 本願の第 14の発明は、 1以上のフレームから構成される映像データを送信するデ ータ送信方法にぉ 、て、前記映像データの各フレームを表示する際の視聴環境照 明の制御種別を示す照明制御種別情報を、前記映像データに付加して送信するこ とを特徴とする。 [0043] 本願の第 15の発明は、外部からの要求を受けて、映像データを構成する各フレー ムを表示する際の視聴環境照明の制御種別を示す照明制御種別情報を送信するデ ータ送信方法であって、前記照明制御種別情報を、前記映像データを構成する各フ レームの出力開始タイミングとともに送信することを特徴とする。
[0044] 本願の第 16の発明は、表示装置に表示すべき映像データと、該映像データを構 成する各フレームを表示する際の視聴環境照明の制御種別を示す照明制御種別情 報とを受信し、前記映像データの特徴量と、前記照明制御種別情報とを用いて、前 記表示装置の周辺に設置された照明装置の照明光を制御することを特徴とする。 発明の効果
[0045] 本発明によれば、映像制作者の意図する撮影シーンの雰囲気や場面設定に適応 させて、視聴環境の照明光を適切に制御することが可能となり、視聴者に臨場感を 与えてより高度な映像効果を得ることができる。
図面の簡単な説明
[0046] [図 1]従来技術による照明変動の問題点の一例を説明するための図である。
[図 2]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 3]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 4]従来技術による照明変動の問題点の他の例を説明するための図である。
[図 5]本発明の第 1実施形態に係る視聴環境制御システムにおける映像送信装置の 要部概略構成を示すブロック図である。
[図 6]MPEGにより符号化された動画像の符号ィ匕データの階層構造を説明するため の図である。
[図 7]本発明の第 1実施形態の視聴環境制御システムにおける照明制御種別情報の 一例を示す説明図である。
[図 8]シーンチェンジを含む映像データの一部を示す図である。
[図 9]映像の構成要素を説明するための図である。
[図 10]本発明の第 1実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
[図 11]本発明の第 1実施形態に係る視聴環境制御システムにおける照明制御データ 生成部の動作を示すフローチャートである。
[図 12]本発明の第 2実施形態に係る視聴環境制御システムにおける外部サーバ装 置の要部概略構成を示すブロック図である。
[図 13]本発明の第 2実施形態に係る視聴環境制御システムにおける照明制御種別 情報格納テーブルの一例を示す説明図である。
[図 14]本発明の第 2実施形態に係る視聴環境制御システムにおける映像受信装置 の要部概略構成を示すブロック図である。
符号の説明
[0047] 1…データ多重部、 2…送信部、 10· ··映像送信装置、 30、 60…映像受信装置、 3 1、 61· ··受信部、 32、 62· ··データ分離部、 33、 34…ディレイ発生部、 35、 65· ··照 明制御データ生成部、 36· ··映像表示装置、 37· ··音声再生装置、 38· ··照明装置、 5 0…外部サーバ装置 (データ送信装置）、 51 · ··受信部、 52· ··データ格納部、 53…送 信部、 66"'CPU、 67· ··送信部、 68· ··受信部。
発明を実施するための最良の形態
[0048] <第 1の実施形態 >
以下、本発明の視聴環境制御システムの第 1実施形態について、図 5乃至図 11と ともに詳細に説明する。
本実施形態における映像送信装置 (データ送信装置） 10は、図 5に示すように、映 像データ (V)、音声データ (A)、付加データとして供給された照明制御種別情報 (C )のそれぞれを多重するデータ多重部 1と、データ多重部 1の出力データに対して誤 り訂正符号を付加する等した上で変調を施し、放送データ (B)として伝送路に送出 する送信部 2とを備えている。照明制御種別情報 (C)は、映像データを構成する各フ レームを表示する際の視聴環境照明の制御種別を示すものであり、ここでは、各フレ ームの映像特徴量に応じて視聴環境照明を切替制御する力、各フレームの映像特 徴量に関わらず、直前の視聴環境照明を維持制御するか、或いは、各フレームの映 像特徴量に関わらず、予め決められた所定の視聴環境照明に切替制御するかの制 御種別を示すものとする。
[0049] 図 6は、 MPEG2 (Moving Picture Experts Group 2)—Systemsで規定された動画 像符号ィ匕データにおける階層構造の一部概略を示す説明図である。複数の連続す るピクチャからなるシーケンスの符号化データは、（a)シーケンスレイヤ、（b) GOP (G roup Of Pictures)レイヤ、 （c)ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤ（不 図示)及びブロックレイヤ（不図示）の 6層の階層構造となっており、ピクチャレイヤ (c) のデータは、先頭がピクチャヘッダー情報であり、その後に複数のスライスレイヤのデ ータ (スライス）が続く。
[0050] ピクチャレイヤ（c)のピクチャヘッダー情報領域には、ピクチャ ·タイプやフレーム全 体のスケールなどの予め定められた種々の情報が記述されるピクチャヘッダー領域（ picture header)〖こカ卩えて、付カ卩的な任意の情報を記述することができるユーザ 'デ一 タ（extensions and user data)領域が設けられており、本実施形態では、このユーザ' データ領域に照明制御種別情報を記述する。ここでは、各フレームのユーザ'データ として規定された 8ビットの下位 2ビットに当該フレームに対応した照明制御種別情報 を記述する。
[0051] 例えば、図 7に示すように、当該フレームの映像特徴量力 撮影シーンの場 (雰囲 気)を推定し、視聴環境照明を切替制御するように指示する場合に付加されるユー ザ'データは「00000000」、当該フレームの映像特徴量に関わらず、予め決められ た第 1の明るさ及び色の視聴環境照明（デフォルト照明 1)に切替制御するように指示 する場合に付加されるユーザ'データは「00000001」、当該フレームの映像特徴量 に関わらず、予め決められた第 2の明るさ及び色の視聴環境照明（デフォルト照明 2) に切替制御するように指示する場合に付加されるユーザ ·データは「00000010」、 当該フレームの映像特徴量に関わらず、直前の視聴環境照明を維持制御 (照明切 替無し)するように指示する場合に付加されるユーザ'データは「00000011」となる。 なお、ここでは、デフォルト照明 1として明るい白色照明、デフォルト照明 2として暗い 白色照明が設定されて 、るものとする。
[0052] なお、上記照明制御種別情報は、映像データを所定の方式により符号ィ匕 (ェンコー ド)する際に上述したピクチャレイヤ (c)のユーザ ·データ領域に記述されるようにして もよいことは言うまでもない。上記の例では、 4種類の照明制御種別を記述するため に、ユーザ'データとして割り当てられた 8ビットの下位 2ビットを利用しているが（従つ て、ユーザ ·データの上位 6ビットを「0」で表している）、本発明はこれに限られない。 すなわち、本発明においては、各フレーム表示時における視聴環境照明の制御種 別を識別することが可能な情報を、映像データまたは音声データに付加すればよぐ その際のデータ構造は上記のものに限らない。例えば、照明制御種別情報を、 MPE G2— Systemsで規定されたトランスポートストリームパケット（TSP)の拡張ヘッダに付 カロして伝送するようにしてもよい。そしてまた、照明制御種別情報は、上記のものに限 られず、少なくとも当該フレームの映像特徴量に基づいた照明制御を行うか否かを表 す 1ビット以上の情報であればよぐさらに、 8種類以上の照明制御種別を 3ビット以 上の情報で表現してもよい。
[0053] さらに、上述した照明制御種別情報は、送信側で任意に付加することが可能である 力 映像撮影時のシナリオ (脚本）に基づいて生成することもできる。例えば、図 8に 示すように、映像撮影シーンの最初のフレーム（シーンチェンジ後の最初のフレーム） 16には、当該フレームの映像特徴量力 撮影シーンの場 (雰囲気）を推定し、視聴 環境照明を切替制御するように指示するユーザ ·データ「00000000」を付加し、同 じシーンに含まれるその他のフレーム 17〜21には、各フレームの映像特徴量に関わ らず、直前の視聴環境照明を維持制御 (照明切替無し)するように指示するユーザ， データ「00000011」を付加することにより、映像制作者の意図を反映したシーン変 化点に合わせて、後述する視聴環境照明の切替制御を適切に行うことができる。
[0054] 次に、シーンやショットを含む映像の構成について、図 9を参照して説明する。連続 する動画像シーケンスを構成する映像データは、図 9に示すように、 3層（レイヤ)構 成に分けて考えることができる。映像 (Video)を構成する第 1レイヤ（ # 1)は、フレー ム（Frame)である。フレームは物理的なレイヤであり、単一の 2次元画像を指す。フ レームは、通常、毎秒 30フレームのレートで得られる。第 2レイヤ（# 2)は、ショット hot)である。ショットは単一のカメラにより撮影されたフレーム列である。そして、第 3 レイヤ（ # 3)がシーン（Scene)である。シーンはストーリー的なつながりを有するショ ット列である。
[0055] ここでは、上述したとおり、映像データのフレーム単位で、上記照明制御種別情報 を付加することができ、映像制作者 (脚本家や演出家など)の意図に応じて、後述す るように、各フレームを表示する際の視聴環境照明を任意のタイミングで切り替えて 適切に制御することが可能になっている。
[0056] 次に、上記映像送信装置より送出された放送データを受信して、映像 ·音声を表示 •再生するとともに、そのときの視聴環境照明を制御する映像受信装置 (データ受信 装置）について説明する。
[0057] 本実施形態における映像受信装置は、図 10に示すように、伝送路より入力された 放送データ (B)を受信して復調するとともに、誤り訂正を行う受信部 31と、受信部 31 の出力データから、映像表示装置 36に出力する映像データ及び TC (タイムコード）、 音声再生装置 37に出力する音声データ及び TC (タイムコード)、付加情報としての 照明制御種別情報のそれぞれを分離'抽出するデータ分離部 32と、データ分離部 3 2で分離された照明制御種別情報と、前記映像データ及び前記音声データの特徴 量とに基づいて、各フレーム表示時に適した照明制御データ (R, G, Bデータ）を生 成し、視聴環境空間を照明する照明装置 38に出力する照明制御データ生成部 35と 、照明制御データ生成部 35における処理時間分だけ映像データ、音声データを遅 延して出力するディレイ発生部 33, 34とを備えている。
[0058] ここで、照明装置 38は、映像表示装置 36の周囲に設置されて、所定の色相をもつ た例えば R, G, Bの三原色の光を発光する LEDにより構成することができる。ただし 、照明装置 38は、映像表示装置 36の周囲環境の照明色及び明るさを制御すること ができるような構成であればよぐ上記のような所定色を発光する LEDの組み合わせ に限ることなく、白色 LEDと色フィルタとによって構成してもよぐあるいは白色電球や 蛍光管とカラーフィルタとの組み合わせやカラーランプ等を適用することもできる。ま た、照明装置 38は 1個以上設置されていればよい。
[0059] そして、また、タイムコード (TC)は、映像データ、音声データそれぞれの再生時間 情報を示すために付加された情報であり、例えば、映像データの時間 (h)：分 (m)： 秒 (s)：フレーム (f)を示す情報により構成されて!、る。
[0060] 本実施形態の照明制御データ生成部 35は、前記照明制御種別情報により指定さ れた照明制御種別に応じて、各フレーム表示時に適した照明制御データ (R, G, B データ）を生成する。 [0061] すなわち、前記照明制御種別情報により、各フレームの映像特徴量 Z音声特徴量 に基づいて、視聴環境照明を切替制御するよう指示されている場合は、当該フレー ムの映像データ及び音声データに基づいて撮影現場の照明状態や場面設定 (雰囲 気)を推定し、この推定結果に応じて、照明装置 38を制御する照明制御データを出 力する。
[0062] この照明制御データ生成部 35による撮影時の周囲光の状態の推定方法は、公知 のものをはじめとする各種の技術を用いることができる。なお、ここでは、場 (雰囲気） の推定のために映像データの特徴量にカ卩えて、音声データの特徴量も用いているが 、これは場 (雰囲気）の推定精度をより向上させるためであり、映像データの特徴量の みから撮影シーンの場 (雰囲気）を推定するようにしてもょ 、。
[0063] また、映像データの特徴量としては、例えば、上述した従来例のように、画面の所 定領域における色信号、輝度信号をそのまま用いることもできるし、これらから映像撮 影時における周囲光の色温度を求めて用いてもよい。さらに、これらを映像データの 特徴量として切替出力可能に構成してもよい。また、音声データの特徴量としては、 音量、音声周波数などを用いることができる。
[0064] これによつて、照明制御データ生成部 35は、映像データ、音声データの特徴量に 基づいて、映像撮影時の場 (雰囲気)、すなわち周囲光の状態を推定することができ 、前記照明制御種別情報により指定されたタイミングで、この場 (雰囲気)推定に基づ いた照明光に切り替えて、視聴環境空間を照射することが可能となる。
[0065] また、照明制御データ生成部 35は、 1以上の予め決められた明るさ及び色の照明 光に対応した照明制御データを、図示しない記憶部に格納している。前記照明制御 種別情報により、各フレームの映像特徴量 Z音声特徴量に関わらず、予め決められ た所定の視聴環境照明に切替制御するよう指示されて!ヽる場合は、上述した映像撮 影時の場 (雰囲気)の推定処理は行わず、対応する照明制御データを上記記憶部か ら読み出して出力する。
[0066] ここでは、照明制御データ生成部 35には、デフォルト照明 1 (明るい白色照明）、デ フォルト照明 2 (暗い白色照明）に対応する 2種類の照明制御データが予め用意され ており、前記照明制御種別情報により視聴環境照明をデフォルト照明 1に切替制御 するよう指示されている場合は、デフォルト照明 1に対応した照明制御データを出力 し、前記照明制御種別情報により視聴環境照明をデフォルト照明 2に切替制御する よう指示されている場合は、デフォルト照明 2に対応した照明制御データを出力する
[0067] これによつて、映像データ、音声データの特徴量に関わらず、前記照明制御種別 情報により指定されたタイミングで、予め決められた所定の照明光に切り替えて、視 聴環境空間を照射することが可能となる。
[0068] さらに、前記照明制御種別情報により、各フレームの映像特徴量 Z音声特徴量に 関わらず、直前の視聴環境照明を維持制御 (照明切替無し)するよう指示されている 場合は、上述した映像撮影時の場 (雰囲気）の推定処理は行わず、直前のフレーム に対して出力した照明制御データを繰り返し出力する。
[0069] これによつて、映像データ、音声データの特徴量の変化に関わらず、任意の期間、 視聴環境照明光を同一状態に保持することが可能となる。例えば、撮影時の場 (雰 囲気)、すなわち、照明状態に変化のない同一シーン内では、視聴環境照明光を略 同一に保持することが可能になる。また、映像特徴量 Z音声特徴量に基づいた視聴 環境照明の制御が不適切な期間では、例えば、一定の白色照明光を保持して照射 することが可能となる。従って、不適切な視聴環境照明により視聴者に違和感を与え ることを防止し、最適な視聴環境を実現することができる。
[0070] 一方、映像表示装置 36、音声再生装置 37に出力される映像データ、音声データ は、上述した映像データ及び音声データによる場 (雰囲気)推定処理に必要な時間 分だけ、ディレイ発生部 33, 34により遅延されるため、映像受信装置力も照明装置 3 8に出力される照明制御データと、映像表示装置 36、音声再生装置 37に出力される 映像データ、音声データとは同期することになり、映像表示に同期したタイミングで照 明装置 38の照明光を切り替えることが可能となる。
[0071] 次に、照明制御データ生成部 35における処理の流れを、図 11のフローチャートと ともに説明する。まず入力映像データ力も新しいフレームを取得し (ステップ S1)、そ の取得したフレームの映像データ Z音声データの特徴量に基づ 、て、視聴環境照 明を切替制御するかどうかを、照明制御種別情報に基づいて判別する (ステップ S 2) [0072] 取得したフレームの映像特徴量 Z音声特徴量に基づ 、て、視聴環境照明を切替 制御する場合、当該フレームの映像データ Z音声データを用いてその映像特徴量 Z音声特徴量を検出することにより、場 (雰囲気)の推定処理を行い (ステップ S3)、 その推定処理結果に基づいて、照明装置 38を制御するための照明制御データを生 成する (ステップ S4)。そして照明制御データに基づき照明装置 38による照明光の 切替制御を行い (ステップ S5)、この後処理が終了であるかどうかを判別する (ステツ プ S6)。映像データがさらに続く場合には、ステップ S1に戻って新しいフレームを取 得する。
[0073] 上記ステップ S2において、取得したフレームの映像データ Z音声データの特徴量 に基づいて、視聴環境照明を切替制御しないと判別された場合、視聴環境照明をデ フォルト照明 1に切替制御するかどうかを、照明制御種別情報に基づ 、て判別する（ ステップ S7)。取得したフレームの映像特徴量 Z音声特徴量に関わらず、視聴環境 照明をデフォルト照明 1に切替制御する場合、予め用意されたデフォルト照明 1に対 応する照明制御データを読み込み (ステップ S8)、この照明制御データに基づき照 明装置 38による照明光の切替制御を行う（ステップ S5)。この後処理が終了であるか どうかを判別し (ステップ S6)、映像データがさらに続く場合には、ステップ S1に戻つ て新し 、フレームを取得する。
[0074] また、上記ステップ S 7にお 、て、視聴環境照明をデフォルト照明 1に切替制御しな いと判別された場合、視聴環境照明をデフォルト照明 2に切替制御するかどうかを、 照明制御種別情報に基づ 、て判別する (ステップ S9)。取得したフレームの映像特 徴量 Z音声特徴量に関わらず、視聴環境照明をデフォルト照明 2に切替制御する場 合、予め用意されたデフォルト照明 2に対応する照明制御データを読み込み (ステツ プ S10)、この照明制御データに基づき照明装置 38による照明光の切替制御を行う（ ステップ S5)。この後、処理が終了であるかどうかを判別し (ステップ S6)、映像データ 力 Sさらに続く場合には、ステップ S1に戻って新しいフレームを取得する。
[0075] さらに、上記ステップ S9において、視聴環境照明をデフォルト照明 2に切替制御し ないと判別された場合、取得したフレームの映像特徴量 Z音声特徴量に関わらず、 直前の視聴環境照明を維持制御するため、照明光の切替制御を行うことなぐ処理 が終了であるかどうかを判別し (ステップ S6)、映像データがさらに続く場合には、ス テツプ S 1に戻って新し 、フレームを取得する。
[0076] 以上のように、本実施形態においては、映像データに付加された照明制御種別情 報に基づいて、視聴環境照明を制御する構成としているので、映像制作者の意図に 応じた任意のタイミングで視聴環境照明の切替制御を行うことが可能となる。例えば、 図 1、図 2に示した映像シーンを表示する際、シーン開始フレームの映像特徴量 Z音 声特徴量に応じた視聴環境照明を、このシーンが終了するまで維持することができる 。すなわち、同一シーン内では視聴環境照明光の明るさ及び色を略一定に保持する ことが可能になるので、同じシーン内で視聴環境照明が激しく変化して臨場感ゃ雰 囲気を損なってしまうことを防止し、常に適切な視聴環境を実現することができる。
[0077] また、本実施形態にぉ 、ては、映像 Z音声データの特徴量に応じた視聴環境照明 と、予め決められた所定の視聴環境照明とを適切に切替制御することにより、最適な 視聴環境の照明制御を実現することが可能となる。例えば、図 3に示したドラマ番組 のオープニング (あらすじ)を表示する際には、各フレームの映像特徴量 Z音声特徴 量に関わらず、視聴環境照明をデフォルト設定された一定の白色照明状態とすること ができ、短時間で視聴環境照明光が激しく変化して視聴者に違和感を与えることを 防止し、適切な視聴環境を実現することができる。
[0078] さらに、例えば、図 4に示したシーンとシーンの間に短時間のショットが挿入された 映像を表示する際には、このショットを構成する各フレームの映像特徴量 Z音声特徴 量に関わらず、直前のシーンに対する視聴環境照明をそのまま維持するか、或いは 視聴環境照明をデフォルト設定された一定の白色照明状態とすることができ、短時 間で視聴環境照明光が激しく変化して視聴者に違和感を与えることを防止し、適切 な視聴環境を実現することができる。
[0079] なお、本実施形態においては、各シーンのストーリー上における設定場面の区切り 位置とも関連する照明制御種別情報を送受信するようにしているので、この照明制御 種別情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以 外にも様々な機能を実現することが可能となる。 [0080] また、上記本発明の第 1の実施形態においては、照明制御種別情報が放送データ に付加されて送信される場合について説明したが、放送データに照明制御種別情報 が付加されて ヽな 、場合、表示する映像データに対応する照明制御種別情報を外 部サーバ装置等より送受信することによって、映像再生時の最適な視聴環境を実現 することが可能となる。これについて、本発明の第 2の実施形態として以下に説明す る。
[0081] <第 2の実施形態 >
以下、本発明の視聴環境制御システムの第 2実施形態について、図 12乃至図 14 とともに詳細に説明するが、上記第 1の実施形態と同一部分には同一符号を付し、そ の説明は省略する。
本実施形態における外部サーバ装置 (データ送信装置） 50は、図 12に示すように 、映像受信装置 (データ受信装置)側力も特定の映像データ (コンテンツ）に関する照 明制御種別情報の送信要求を受信する受信部 51と、映像データ (コンテンツ)毎の 照明制御種別情報を格納して!/ヽるデータ格納部 52と、送信要求を受けた照明制御 種別情報を要求元の映像受信装置 (データ受信装置)へ送信する送信部 53とを備 えている。
[0082] ここで、本実施形態のデータ格納部 52に格納されている照明制御種別情報は、図 13に示すように、各映像フレームの映像表示装置 36への出力開始タイミング (再生 開始タイミングともいう。以下、単に開始タイミングと称す）に対応付けてテーブル形式 で記述されており、送信要求を受けた映像データ (番糸且コンテンツ)の照明制御種別 情報を、当該映像データを構成するフレームの開始 TC (タイムコード）とともに、送信 部 53より要求元の映像受信装置へ送信する。
[0083] なお、本実施形態にぉ 、ても、図 7に示した 4通り（2ビット）の照明制御種別を想定 しているが、ここでは、場 (雰囲気)推定に基づく照明切替制御を行うフレームと、デフ オルト照明 1, 2へ切替制御を行うフレームに関してのみその照明制御種別を照明制 御種別情報格納テーブルに記述し、照明切替を禁止するフレームに関してはその照 明制御種別の記述を省略している。すなわち、照明制御種別情報格納テーブルに 特に記述されていないフレームを表示する際には、直前の視聴環境照明を維持する こととしており、これによつて、照明制御種別情報のデータ容量を大幅に削減してい る。
[0084] 次に、上記外部サーバ装置 50より送出された照明制御種別情報を受けて、視聴環 境照明を制御する映像受信装置 (データ受信装置) 60について説明する。本実施形 態における映像受信装置 60は、図 14に示すように、伝送路より入力された放送デー タ (B)を受信して復調するとともに、誤り訂正を行う受信部 61と、受信部 61の出力デ ータから、映像表示装置 36に出力する映像データ、音声再生装置 37に出力する音 声データのそれぞれを分離'抽出するデータ分離部 62と、表示する映像データ (コン テンッ）に対応した照明制御種別情報の送信要求を、通信ネットワークを介して外部 サーバ装置 (データ送信装置）に送出する送信部 67と、前記送信要求した照明制御 種別情報を、通信ネットワークを介して外部サーバ装置より受信する受信部 68とを備 えている。
[0085] また、前記受信部 68で受信した照明制御種別情報を一旦記憶し、この照明制御種 別情報に対応付けられたフレーム開始 TC (タイムコード）と、データ分離部 62で抽出 された映像データの TC (タイムコード）とを比較し、それらが一致したときに、対応す る照明制御種別情報を示す情報を出力する CPU66と、 CPU66からの照明制御種 別情報と、前記映像データ及び前記音声データの特徴量とに基づいて、照明制御 データ ， G, Bデータ)を生成し、視聴環境空間を照明する照明装置 38に出力す る照明制御データ生成部 65とを備えている。
[0086] すなわち、 CPU66は、外部サーバ装置より受信して内部に記憶している照明制御 種別情報格納テーブルの各フレームの開始タイムコードと、照明制御データ生成部 6 5に入力される映像データのタイムコードとを比較し、これらが一致した時にそのフレ ーム (タイムコード）に対応する照明制御種別情報を照明制御データ生成部 65に出 力する。
[0087] そして、本実施形態の照明制御データ生成部 65は、上述した第 1の実施形態にお ける照明制御データ生成部 35と同様、前記照明制御種別情報に応じて、各フレーム 表示時に適した照明制御データ (R, G, Bデータ)を生成する。
[0088] すなわち、前記照明制御種別情報により、各フレームの映像特徴量 Z音声特徴量 に基づいて、視聴環境照明を切替制御するよう指示されている場合は、当該フレー ムの映像データ及び音声データに基づいて撮影現場の照明状態や場面設定 (雰囲 気)を推定し、この推定結果に応じて、照明装置 38を制御する照明制御データを出 力する。
[0089] また、前記照明制御種別情報により、各フレームの映像特徴量 Z音声特徴量に関 わらず、予め決められた所定の視聴環境照明に切替制御するよう指示されている場 合は、上述した映像撮影時の場 (雰囲気）の推定処理は行わず、予め内部に用意さ れている照明制御データを読み出して出力する。
[0090] 上記以外の場合は、各フレームの映像特徴量 Z音声特徴量に関わらず、直前の 視聴環境照明を維持制御 (照明切替無し)するよう指示されているものとして、上述し た映像撮影時の場 (雰囲気）の推定処理は行わず、直前のフレームに対して出力さ れた照明制御データを繰り返し出力する。
[0091] これによつて、放送データに照明制御種別情報が付加されていない場合であって も、表示映像データ (番組コンテンツ）に対応する照明制御種別情報を外部サーバ 装置より入手し、この照明制御種別情報に基づいて、視聴環境照明を制御する構成 としているので、上述した第 1の実施形態と同様、映像制作者の意図に応じた任意の タイミングで視聴環境照明の切替制御を行うとともに、映像データの特徴量に応じた 視聴環境照明と、予め決められた所定の視聴環境照明とを適切に切替制御すること により、最適な視聴環境の照明制御を実現することが可能となる。
[0092] なお、本実施形態においても、各シーンのストーリー上における設定場面の区切り 位置とも関連する照明制御種別情報を送受信するようにしているので、この照明制御 種別情報を用いて所望のシーンを検索したり編集するなど、視聴環境照明の制御以 外にも様々な機能を実現することが可能である。
[0093] また、本発明の視聴環境制御装置、方法、及び視聴環境制御システムは、上述し た本発明の主旨を逸脱しない範囲で、様々な実施形態により実現することが可能で ある。例えば、環境照明制御装置は映像表示装置内に設けられてもよぐ入力映像 データに含まれる種々の情報に基づいて、外部の照明機器を制御することができる ような構成としてもよ 、ことは言うまでもな 、。 さらに、上述した照明制御種別情報は、放送データから分離'取得する場合や、外 部サーバ装置カゝら取得する場合に限られず、例えば、外部機器 (DVD再生機ゃブ ルーレイディスク再生機など)で再生された映像情報を表示する場合、メディア媒体 内に付加された照明制御種別情報を読み出して、これを用いるようにしてもよい。

Claims

請求の範囲
[1] 1以上のフレーム力も構成される映像データを送信するデータ送信装置において、 前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照 明制御種別情報を、前記映像データに付加して送信することを特徴とするデータ送 信装置。
[2] 前記照明制御種別情報は、前記映像データのフレーム単位で付加されることを特 徴とする請求項 1に記載のデータ送信装置。
[3] 前記照明制御種別情報は、前記映像データの各フレームにおける特徴量に基づ
Vヽて、視聴環境照明を切替制御する指示を含むことを特徴とする請求項 1に記載の データ送信装置。
[4] 前記照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わら ず、直前の視聴環境照明を維持制御する指示を含むものであることを特徴とする請 求項 1に記載のデータ送信装置。
[5] 前記照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わら ず、予め決められた所定の視聴環境照明に切替制御する指示を含むものであること を特徴とする請求項 1に記載のデータ送信装置。
[6] 外部からの要求を受けて、映像データを構成する各フレームを表示する際の視聴 環境照明の制御種別を示す照明制御種別情報を送信するデータ送信装置であって 前記照明制御種別情報を、前記映像データを構成する各フレームの出力開始タイ ミングとともに送信することを特徴とするデータ送信装置。
[7] 前記照明制御種別情報は、前記映像データの各フレームにおける特徴量に基づ いて、視聴環境照明を切替制御する指示を含むことを特徴とする請求項 6に記載の データ送信装置。
[8] 前記照明制御種別情報は、前記映像データの各フレームにおける特徴量に関わら ず、予め決められた所定の視聴環境照明に切替制御する指示を含むものであること を特徴とする請求項 6に記載のデータ送信装置。
[9] 表示装置に表示すべき映像データと、該映像データを構成する各フレームを表示 する際の視聴環境照明の制御種別を示す照明制御種別情報とを受信する受信手段 と、
前記映像データの特徴量と、前記照明制御種別情報とを用いて、前記表示装置の 周辺に設置された照明装置の照明光を制御する制御手段とを備えたことを特徴とす る視聴環境制御装置。
[10] 前記制御手段は、前記照明制御種別情報に応じて、前記映像データの各フレーム における特徴量に基づき、前記照明装置の照明光を切替制御することを特徴とする 請求項 9に記載の視聴環境制御装置。
[11] 前記制御手段は、前記照明制御種別情報に応じて、前記映像データの各フレーム における特徴量に関わらず、前記照明装置の照明光を維持制御することを特徴とす る請求項 9に記載の視聴環境制御装置。
[12] 前記制御手段は、前記照明制御種別情報に応じて、前記映像データの各フレーム における特徴量に関わらず、前記照明装置の照明光を予め決められた所定状態に 制御することを特徴とする請求項 9に記載の視聴環境制御装置。
[13] 請求項 9乃至 12のいずれかに記載の視聴環境制御装置と、該視聴環境制御装置 によって視聴環境照明光を制御される照明装置とを備えることを特徴とする視聴環境 制御システム。
[14] 1以上のフレーム力も構成される映像データを送信するデータ送信方法において、 前記映像データの各フレームを表示する際の視聴環境照明の制御種別を示す照 明制御種別情報を、前記映像データに付加して送信することを特徴とするデータ送 信方法。
[15] 外部からの要求を受けて、映像データを構成する各フレームを表示する際の視聴 環境照明の制御種別を示す照明制御種別情報を送信するデータ送信方法であって 前記照明制御種別情報を、前記映像データを構成する各フレームの出力開始タイ ミングとともに送信することを特徴とするデータ送信方法。
[16] 表示装置に表示すべき映像データと、該映像データを構成する各フレームを表示 する際の視聴環境照明の制御種別を示す照明制御種別情報とを受信し、 前記映像データの特徴量と、前記照明制御種別情報とを用いて、前記表示装置の 周辺に設置された照明装置の照明光を制御することを特徴とする視聴環境制御方 法。
PCT/JP2007/060603 2006-06-13 2007-05-24 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法 Ceased WO2007145064A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP07744037A EP2040472A4 (en) 2006-06-13 2007-05-24 DATA ENTRY DEVICE, DATA END METHOD, DEVICE FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT, SYSTEM FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT AND METHOD FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT
JP2008521133A JP4950990B2 (ja) 2006-06-13 2007-05-24 映像送信装置及び方法、視聴環境制御装置及び方法
US12/304,457 US20090322955A1 (en) 2006-06-13 2007-05-24 Data transmitting device, data transmitting method, audio-visual environment control device, audio-visual environment control system, and audio-visual environment control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006162955 2006-06-13
JP2006-162955 2006-06-13

Publications (1)

Publication Number Publication Date
WO2007145064A1 true WO2007145064A1 (ja) 2007-12-21

Family

ID=38831583

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/060603 Ceased WO2007145064A1 (ja) 2006-06-13 2007-05-24 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法

Country Status (5)

Country Link
US (1) US20090322955A1 (ja)
EP (1) EP2040472A4 (ja)
JP (1) JP4950990B2 (ja)
CN (1) CN101467452A (ja)
WO (1) WO2007145064A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010087153A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
WO2010087155A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
JP2010193081A (ja) * 2009-02-17 2010-09-02 Sharp Corp コンテンツデータ再生装置
JP2012234836A (ja) * 2012-09-03 2012-11-29 Panasonic Corp 居住装置
EP2315441A4 (en) * 2008-07-15 2014-07-16 Sharp Kk DATA TRANSMISSION DEVICE, DATA RECEIVING DEVICE, DATA TRANSMISSION METHOD, DATA RECEIVING METHOD AND METHOD FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT
CN115665946A (zh) * 2022-10-11 2023-01-31 青岛海尔智能家电科技有限公司 用于智能面板的控制方法及装置、智能面板、存储介质
JP2023057754A (ja) * 2021-10-12 2023-04-24 ヤマハ株式会社 映像信号処理方法及び映像信号処理装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102656950B (zh) * 2009-12-17 2015-06-17 皇家飞利浦电子股份有限公司 氛围影院照明系统
CN103068095A (zh) * 2011-10-21 2013-04-24 扬升照明股份有限公司 照明系统及照明系统的控制方法
JP6278741B2 (ja) * 2014-02-27 2018-02-14 株式会社キーエンス 画像測定器
GB2535135B (en) * 2014-11-20 2018-05-30 Ambx Uk Ltd Light Control
CN105472844A (zh) * 2015-12-07 2016-04-06 重庆多邦科技股份有限公司 一种路灯控制方法及装置
KR102317619B1 (ko) * 2016-09-23 2021-10-26 삼성전자주식회사 전자 장치 및 이의 제어 방법
CN106507172B (zh) * 2016-11-30 2019-10-18 微鲸科技有限公司 信息编码方法、解码方法及装置
WO2019228969A1 (en) * 2018-06-01 2019-12-05 Signify Holding B.V. Displaying a virtual dynamic light effect

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02158094A (ja) 1988-12-12 1990-06-18 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JPH02253503A (ja) 1989-03-28 1990-10-12 Matsushita Electric Works Ltd 映像演出照明装置
JPH03184203A (ja) 1989-12-14 1991-08-12 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JP2001343900A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd 照明システムおよび照明制御データ作成方法
JP2005531909A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 周辺光および照明ユニットを制御する方法およびシステム
JP2005310630A (ja) * 2004-04-23 2005-11-04 Sharp Corp 高臨場感再生装置及び方法
JP2005341122A (ja) * 2004-05-26 2005-12-08 Sharp Corp 映像記録装置及び記録方法、映像再生装置及び再生方法、プログラム及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4794865A (en) * 1987-05-18 1989-01-03 The Walt Disney Company Amusement ride vehicle
US6564108B1 (en) * 2000-06-07 2003-05-13 The Delfin Project, Inc. Method and system of auxiliary illumination for enhancing a scene during a multimedia presentation
JP2004523309A (ja) * 2001-02-26 2004-08-05 ワールドステージ エルエルシー 統合された適応型映画館、クラブおよび複合型施設
CA2415340C (en) * 2001-04-25 2006-05-16 Masahiro Kawashima Video display apparatus and method which controls the source light level using apl detection
GB0111431D0 (en) * 2001-05-11 2001-07-04 Koninkl Philips Electronics Nv A real-world representation system and language
EP1401547B1 (en) * 2001-05-11 2012-01-25 AMBX UK Limited Operation of a set of devices
US7930628B2 (en) * 2001-05-11 2011-04-19 Ambx Uk Limited Enabled device and a method of operating a set of devices
US6611973B2 (en) * 2001-05-15 2003-09-02 Michelle D. Connell Bed structure with storage area
JP3661692B2 (ja) * 2003-05-30 2005-06-15 セイコーエプソン株式会社 照明装置、投射型表示装置及びその駆動方法
JP4343657B2 (ja) * 2003-11-14 2009-10-14 富士通マイクロエレクトロニクス株式会社 画像記録装置
JP5431671B2 (ja) * 2004-10-05 2014-03-05 コーニンクレッカ フィリップス エヌ ヴェ 相互作用型照明システム
US20070222740A1 (en) * 2006-03-22 2007-09-27 Sharp Kabushiki Kaisha Display apparatus, image data providing apparatus, and controlling method
KR101506330B1 (ko) * 2008-09-23 2015-03-27 삼성전자 주식회사 데이터 강건성 관리장치와, 데이터 저장 방법 및 데이터 복구 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02158094A (ja) 1988-12-12 1990-06-18 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JPH02253503A (ja) 1989-03-28 1990-10-12 Matsushita Electric Works Ltd 映像演出照明装置
JPH03184203A (ja) 1989-12-14 1991-08-12 Matsushita Electric Ind Co Ltd 光色可変形照明装置
JP2001343900A (ja) * 2000-05-31 2001-12-14 Matsushita Electric Ind Co Ltd 照明システムおよび照明制御データ作成方法
JP2005531909A (ja) * 2002-07-04 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 周辺光および照明ユニットを制御する方法およびシステム
JP2005310630A (ja) * 2004-04-23 2005-11-04 Sharp Corp 高臨場感再生装置及び方法
JP2005341122A (ja) * 2004-05-26 2005-12-08 Sharp Corp 映像記録装置及び記録方法、映像再生装置及び再生方法、プログラム及び記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2040472A4

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2315441A4 (en) * 2008-07-15 2014-07-16 Sharp Kk DATA TRANSMISSION DEVICE, DATA RECEIVING DEVICE, DATA TRANSMISSION METHOD, DATA RECEIVING METHOD AND METHOD FOR CONTROLLING THE AUDIOVISUAL ENVIRONMENT
WO2010087153A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 感覚効果情報のデータ構造、感覚効果情報出力装置、感覚効果情報出力方法、感覚効果情報生成装置、制御装置、システム、プログラムおよび記録媒体
WO2010087155A1 (ja) * 2009-01-27 2010-08-05 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
CN102282849A (zh) * 2009-01-27 2011-12-14 夏普株式会社 数据发送装置、数据发送方法、视听环境控制装置、视听环境控制方法以及视听环境控制系统
JP5442643B2 (ja) * 2009-01-27 2014-03-12 シャープ株式会社 データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
JP2010193081A (ja) * 2009-02-17 2010-09-02 Sharp Corp コンテンツデータ再生装置
JP2012234836A (ja) * 2012-09-03 2012-11-29 Panasonic Corp 居住装置
JP2023057754A (ja) * 2021-10-12 2023-04-24 ヤマハ株式会社 映像信号処理方法及び映像信号処理装置
JP7786120B2 (ja) 2021-10-12 2025-12-16 ヤマハ株式会社 映像信号処理方法及び映像信号処理装置
CN115665946A (zh) * 2022-10-11 2023-01-31 青岛海尔智能家电科技有限公司 用于智能面板的控制方法及装置、智能面板、存储介质

Also Published As

Publication number Publication date
JP4950990B2 (ja) 2012-06-13
EP2040472A4 (en) 2009-11-11
JPWO2007145064A1 (ja) 2009-10-29
US20090322955A1 (en) 2009-12-31
EP2040472A1 (en) 2009-03-25
CN101467452A (zh) 2009-06-24

Similar Documents

Publication Publication Date Title
JP4950990B2 (ja) 映像送信装置及び方法、視聴環境制御装置及び方法
JP4950988B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5058157B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
WO2007052395A1 (ja) 視聴環境制御システム
US10735668B2 (en) Synchronized lighting and video active lighting tracks (VALT) with synchronized camera to enable multi-scheme motion picture capture
JP4889731B2 (ja) 視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP5442643B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御方法および視聴環境制御システム
US20150138395A1 (en) Display System Using Metadata to Adjust Area of Interest and Method
JP2009081822A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP7718518B2 (ja) 再生装置、再生方法、およびプログラム
JP5074864B2 (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
KR102017512B1 (ko) 영상 재생 장치 및 영상 재생 방법
JP4789592B2 (ja) 視聴環境制御装置及び視聴環境制御方法
JP2009081482A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2009060542A (ja) データ送信装置、データ送信方法、視聴環境制御装置、視聴環境制御システム、及び視聴環境制御方法
JP2009060541A (ja) データ送信装置、データ送信方法、視聴環境制御装置、及び視聴環境制御方法
JP4709897B2 (ja) 視聴環境制御システム、視聴環境制御装置、視聴環境照明制御システム、及び視聴環境制御方法
JP6751893B2 (ja) 再生方法、再生装置、表示方法及び表示装置
EP3337163A1 (en) Method and apparatus for optimal home ambient lighting selection for studio graded content

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200780021835.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07744037

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2008521133

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 12304457

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2007744037

Country of ref document: EP

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)