WO2021015309A1 - 영상표시장치 및 영상표시장치의 모션감지방법 - Google Patents

영상표시장치 및 영상표시장치의 모션감지방법 Download PDF

Info

Publication number
WO2021015309A1
WO2021015309A1 PCT/KR2019/008988 KR2019008988W WO2021015309A1 WO 2021015309 A1 WO2021015309 A1 WO 2021015309A1 KR 2019008988 W KR2019008988 W KR 2019008988W WO 2021015309 A1 WO2021015309 A1 WO 2021015309A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion
unit
user
block
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/008988
Other languages
English (en)
French (fr)
Inventor
손지한
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to KR1020227005234A priority Critical patent/KR102814641B1/ko
Priority to EP19938654.1A priority patent/EP4002063A4/en
Priority to PCT/KR2019/008988 priority patent/WO2021015309A1/ko
Priority to US16/929,851 priority patent/US11587483B2/en
Publication of WO2021015309A1 publication Critical patent/WO2021015309A1/ko
Anticipated expiration legal-status Critical
Priority to US17/942,993 priority patent/US11721257B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • G09G3/035—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays for flexible display surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G09G2330/022—Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Definitions

  • the present invention relates to an image display device and a motion detection method of the image display device, and more particularly, to an image display device having a motion detection function and a motion detection method thereof.
  • an image display device displays an image on a display module such as a cathode ray tube, a liquid crystal panel, an electroluminescent channel, a light emitting diode panel, and a plasma display panel.
  • a display module such as a cathode ray tube, a liquid crystal panel, an electroluminescent channel, a light emitting diode panel, and a plasma display panel.
  • a technology has been proposed in which a camera module is provided in an image display device to detect movement of a user in front and automatically switch to a power saving mode.
  • a problem in the conventional technology for detecting a user's movement in an image display device, there is a problem in that a sudden change in illuminance or a periodic movement of an object, not a movement of a person, is incorrectly detected as a movement of a person and malfunctions.
  • the problem to be solved by the present invention is to provide an image display device that detects a user's movement and provides at least one of light and sound as welcome feedback.
  • an object to be solved by the present invention is to provide an image display device capable of switching a display from a partial view to a zero view by detecting a user's movement.
  • the present invention prevents malfunction of motion detection by applying a motion detection method that detects sudden changes in illuminance or periodic movements of objects rather than human movements in an image display device, and handles exceptions in the user's motion detection. For that purpose.
  • the video display device includes a motion detection unit that detects the user's movement, and when the user's movement is detected in the zero view state, the light emitting unit and the audio At least one of the output units is controlled to provide welcome feedback with at least one of light and sound.
  • the image display device includes a motion detection unit that detects the user's movement, and the user's movement is not detected for a predetermined time while the display is in partial view. In this case, the display is switched from the partial view state to the zero view state.
  • a motion detection method of an image display device provides a motion detection method based on at least one of an overall change and a local change in pixel brightness values of a plurality of blocks of a front and rear image frame.
  • the image display device can draw the user's attention by detecting the user's movement and providing at least one of light and sound as welcome feedback.
  • the image display device can save power and maximize the space used by switching the display from partial view to zero view by detecting the user's movement.
  • the motion detection method of the image display device can prevent malfunction of motion detection by excluding sudden changes in illuminance or periodic movements of objects, not human movements.
  • FIG. 1 and 2 are schematic diagrams of an image display device 100 according to an exemplary embodiment of the present invention.
  • FIG. 3 is a control block diagram of an image display device 100 according to an embodiment of the present invention.
  • FIG. 4 and 5 schematically illustrate a welcome feedback mode of the image display device 100 according to an embodiment of the present invention.
  • FIG. 6 is a flowchart illustrating a control flow in which welcome feedback is provided by motion detection in the image display device 100 according to an embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a control flow for switching from a partial view state to a zero view state by motion detection in the image display device 100 according to an embodiment of the present invention.
  • FIG. 8 schematically illustrates a transition from a partial view state to a zero view state in the image display device 100 according to an exemplary embodiment of the present invention.
  • FIG. 9 is a control block diagram of the motion detection unit 160 of the image display device 100 according to an embodiment of the present invention.
  • FIG. 10 is a flowchart illustrating a motion detection method of the image display device 100 according to an embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating a motion detection method of the image display device 100 according to an embodiment of the present invention.
  • FIG. 1 and 2 are schematic diagrams of an image display device 100 according to an embodiment of the present invention
  • FIG. 3 is a control block diagram of the image display device 100 according to an embodiment of the present invention.
  • the image display device 100 includes a rollable display 110, a driving unit 120, a housing unit 101, and a motion detection unit 160. ), and a control unit 170.
  • the display 110 is a flexible display 110 that can be rolled down to enter the housing unit 101 and is exposed to the outside of the housing unit 101 through rolling up.
  • OLED Organic Light Emitting Diodes
  • the driving unit 120 is for driving rolling up and rolling down of the display 110, and the driving unit 120 is a roller (not shown) on which the display 110 is wound, and a motor (not shown) for rotating the roller. It may include.
  • FIG. 2 shows an example in which the size of the display 110 is changed by driving of the driving unit 120.
  • FIG. 2(a) shows a zero-view state in which the entire display 110 is rolled down
  • FIG. 2(b) shows a partial view state in which a part of the display 110 is rolled up
  • FIG. (c) shows a full view state in which the entire display 110 is rolled up.
  • the image display device 100 according to the present invention can provide various services by varying the size of the display 110. Although only one partial view state is shown in FIG. 2, the image display device 100 may have a plurality of partial view states having various heights according to the height of the display 110.
  • the housing unit 101 has a space for accommodating it when the display 110 is rolled down, and a driving unit 120, a motion detection unit 160 to be described later, and a control unit 170 are installed therein.
  • the housing unit 101 includes a slit (not shown) from which the display 110 is rolled in and rolled out, and may be implemented in various shapes as long as the display 110 is rollable and accommodateable in a size and shape. In FIG. 1, it is shown as an example what is implemented in a rectangular shape.
  • the housing unit 101 is provided with a light emitting unit 130, an audio output unit 140, and an image capture unit 150, each of which is disposed toward the front or front of the housing unit 101.
  • the light-emitting unit 130 is for outputting light, and may be implemented with light-emitting devices such as LEDs.
  • the light-emitting unit 130 may be disposed so that a plurality of light-emitting elements form a certain shape, and FIG. 1 shows an example that the light-emitting elements are disposed in a horizontally long line.
  • the light-emitting unit 130 is one of output means for providing welcome feedback.
  • Welcome feedback refers to visual feedback and/or audio feedback provided to the user when the image display device 100 detects the user's movement in the zero view state.
  • the controller 170 to be described later may provide visual feedback by forming various colors or patterns by controlling toggles or changes in colors of the plurality of light emitting devices of the light emitting unit 130 when a user's movement is detected.
  • the light-emitting unit 130 is disposed toward the front of the housing unit 101 so that a user in front of the image display device 100 can easily recognize the welcome feedback.
  • 1 shows an example that the light emitting part 130 is integrally provided on the front of the housing part 101, but the light emitting part 130 is arranged toward the front so that the user can recognize the welcome feedback from the front If it has, the light emitting unit 130 may be provided on the top or side of the housing unit 101, or the like.
  • the audio output unit 140 is for outputting an acoustic signal and may include a speaker module.
  • the audio output unit 140 is one of output means for providing the above-described welcome feedback as audio.
  • the controller 170 which will be described later, may output an audio signal corresponding to a welcome feedback sound to the audio output unit 140 when a user's movement is detected, so that the welcome feedback is provided through the audio output unit 140.
  • 1 shows an example that the audio output unit 140 is integrally provided on the front of the housing unit 101, but the audio output unit 140 can output audio toward the front of the image display device 100. If there is, the audio output unit 140 may be provided on the top or side of the housing unit 101.
  • the image capture unit 150 is for capturing an image of the front side of the image display device 100 and includes an image pickup device such as a CCD or CMOS.
  • the image capture unit 150 may be disposed toward the front or front side of the housing unit 101, and FIG. 1 shows an example that is integrally formed at the front center of the housing unit 101. Since the image capture unit 150 is a means for photographing the front of the image display device 100 to detect whether the user is moving, if the front of the image display device 100 can be captured, the front of the housing unit 101 is Otherwise, it may be provided on the top or side.
  • the motion detection unit 160 analyzes the image frames before and after images captured by the image capture unit 150 to detect whether the user is moving, and an algorithm that processes the input image frame and detects the movement, and a processor that executes the same. It can be implemented including.
  • the control unit 170 is for controlling the light emitting unit 130, the audio output unit 140, and the driving unit 120 according to the motion detection result of the motion detection unit 160, a control algorithm, a processor executing the same, and It may be implemented including a memory in which the control algorithm is stored.
  • the controller 170 When the display 110 is in the zero view state, the controller 170 operates the image capture unit 150 and the motion detection unit 160 to detect whether there is a movement of the user. If a user movement is detected by the motion detection unit 160, at least one of the light emitting unit 130 and the audio output unit 140 controls to output a welcome feedback through light or audio. As described above, when a user is detected in a zero view state, the image display device 100 according to the present invention may call a user's attention by sending a welcome message through welcome feedback. The above-described welcome feedback can be operated only when the user sets the welcome function to on.
  • the controller 170 may output various welcome feedbacks by controlling emission colors, brightness, toggle, dimming, etc. of the plurality of light emitting units of the light emitting unit 130, and may have a plurality of welcome feedbacks.
  • the controller 170 may cause the audio output unit 140 to output welcome feedback through various audio signals such as music, sound, and human voice.
  • two welcome feedback modes will be described as an example.
  • the control unit 170 When a device having a history connected to the image display device 100 and a user app (eg, SmartThinQ) is detected, when a user movement is detected, the control unit 170 outputs visual feedback and audio through the light emitting unit 130 Control so that audio feedback through the unit 140 is simultaneously provided.
  • the controller 170 controls to provide visual feedback through the light emitting unit 130 when a user movement is detected while a device having a history connected to the image display device 100 is not detected.
  • two welcome feedback modes are provided in which both audio and visual feedback are provided when a device with a connection history is detected through a user app, and a welcome feedback mode is provided in which only visual feedback is provided when the device is not detected.
  • FIG. 4 and 5 schematically illustrate a welcome feedback mode of the image display device 100 according to an embodiment of the present invention.
  • FIG. 4 illustrates a case in which only visual welcome feedback is provided through the light emitting unit 130.
  • the light emitting unit 130 is deactivated as shown in FIG. 4A in the zero view state.
  • light emission from the light emitting unit 130 toggles light from left to right as shown in FIG. 4B to provide visual welcome feedback.
  • FIG. 5 illustrates a case in which both visual feedback and audio feedback are provided through the light emitting unit 130 and the audio output unit 140, and the image display device 100 is shown in FIG. 5(a) in a zero view state.
  • Fig. 5(b) when the light-emitting unit 130 and the audio output unit 140 are in a deactivated state and a user movement is detected, the light-emitting unit 130 toggles light from left to right and provides visual feedback.
  • a predetermined sound for example, an audio feedback such as'Tirori', is provided through the audio output unit 140 at the same time.
  • the controller 170 deactivates the image capture unit 150 and the motion detection unit 160 for a predetermined period of time, or prevents the welcome feedback from being provided for a predetermined period of time even when motion is detected. For example, when the user's movement is detected and the welcome feedback is provided, the image display device 100 deactivates the welcome feedback so that the welcome feedback is not provided for 30 seconds, and after 30 seconds, the welcome feedback is provided again according to the user movement detection result. You can do it.
  • the control unit 170 operates the image capture unit 150 and the motion detection unit 160 to detect whether there is a movement of the user. If a user's movement is not detected by the motion detection unit 160 for a certain period of time, the driving unit 120 is controlled to roll down the display 110 so that it is converted to a zero view state. At this time, when the image display device 100 is converted to the zero view state, the power of the image display device 100 is also turned off. In this way, the control unit 170 detects whether the user is moving in the partial view state of the display 110, and if no movement for a certain period of time is detected, the control unit 170 switches the display 110 to the zero view state and turns off the power to reduce power consumption. You can save.
  • the image display device 100 may further include an image capture unit 150 and a user input interface unit 180.
  • the image capture unit 150 is for receiving and processing a broadcast signal or receiving and processing a signal from an external device such as a set-top box, a game device, a computer, etc., and a tuner unit (not shown) and a receiver for processing a broadcast signal. It includes a grandfather (not shown) and an external device interface (not shown) that performs input/output operations with an external device.
  • the image signal received through the image capture unit 150 is transmitted to the display 110 through processing by the control unit 170 and displayed on the screen.
  • the user input interface unit 180 transmits a signal input by the user to the controller 170 or transmits a signal from the controller 170 to the user, and is for communication with a remote controller that provides the user's input. May contain modules.
  • a method of controlling the image display device 100 according to an embodiment of the present invention will be described in detail with reference to FIGS. 5 and 6.
  • FIG. 6 is a flowchart illustrating a control flow in which welcome feedback is provided by motion detection in the image display device 100 according to an embodiment of the present invention.
  • the control unit 170 checks whether the welcome function is turned on (S11), and only when the welcome function is set to the image capture unit 150 and the motion detection unit 160 ) To detect whether the user is moving (S12).
  • the controller 170 checks whether a device having a history connected through the user app is detected (S13), and applies a welcome feedback differently depending on whether the device is detected.
  • the control unit 170 activates the audio output unit 140 and the light emitting unit 130 to provide audio and visual feedback.
  • a welcome feedback output at the same time is provided (S16).
  • the number of times of providing feedback may be limited to less than a predetermined number to prevent errors in which connection and disconnection with the device are repeated.
  • a welcome feedback in which audio and visual feedback are provided at the same time may be set to be provided at most two times a day. If welcome feedback in which audio and visual feedback are provided at the same time twice a day is provided, the controller 170 allows only visual feedback through the light emitting unit 130 to be provided when a user's movement is detected thereafter.
  • control unit 170 activates the light emitting unit 130 to output only visual feedback. It provides (S17).
  • FIG. 7 is a flowchart illustrating a control flow for switching from a partial view state to a zero view state by motion detection in the image display device 100 according to an embodiment of the present invention.
  • the controller 170 operates the image capture unit 150 and the motion detection unit 160 in a partial view state in which a part of the display 110 is rolled up (S20) to detect whether the user is moving (S21). If there is no user movement for a predetermined time (T 1 ) or there is no user input through the user input interface unit 180 (S23), a partial view is performed by controlling the driving unit 120 to roll down the display 110 The state is switched to the zero view state (S24).
  • the predetermined set time T 1 may be variously set, for example, 3 hours to 5 hours.
  • the control unit 170 turns off the power of the image display device 100 to switch the image display device 100 to a standby state.
  • the controller 170 May be displayed on the display 110 to inform the user of this and guide the user to input a key if the user does not want it.
  • FIG. 8 schematically illustrates a transition from a partial view state to a zero view state in the image display device 100 according to an exemplary embodiment of the present invention.
  • the controller 170 controls to display a guide message on the display 110 of the image display device 100 as shown in FIG. 8A.
  • the display 110 may be controlled to be switched to the zero view state as shown in FIG. 8B.
  • the predetermined time T 2 may be set in various ways, for example, 1 minute to 3 minutes.
  • the motion detection unit 160 of the image display apparatus 100 includes a motion determination unit 161 and a motion exception determination unit 162.
  • the motion determination unit 161 analyzes the image frame captured by the image capture unit 150 and primarily determines whether the user moves.
  • the motion determination unit 161 may apply various motion detection techniques such as histogram analysis in which block motion changes are accumulated and analyzed.
  • the motion determination unit 161 divides the input image frame into a plurality of blocks, and determines whether the user moves based on a change in pixel brightness values of the plurality of blocks of the sequentially inputted image frames before and after.
  • the motion determination unit 161 divides 5*5 pixels into one block unit.
  • one image frame is divided into 32*24 blocks, and the average of the pixel brightness values of the corresponding block is calculated.
  • the motion determination unit 161 determines a block with motion when the difference between the pixel brightness value, for example, the average brightness value between the same blocks in the front and rear image frames, is greater than or equal to a predetermined threshold Th 1 , and the number of blocks with motion is n If there are more than two, it can be determined that there is a movement of the user.
  • the motion determination unit 161 may determine a block in which the pixel brightness value, for example, the difference between the average brightness value m or more consecutively, is equal to or greater than a predetermined threshold Th 1 as a block with motion.
  • a block with motion may be determined only when a difference in pixel brightness values of the same block in m consecutive frames input sequentially is equal to or greater than a predetermined threshold Th 1 .
  • the number n of blocks determined to have motion and the number m of continuously changing frames are configurable values, and the sensitivity of motion detection can be adjusted according to the setting values of n and m, and the greater n and m, the lower the sensitivity.
  • the predetermined threshold Th 1 is a value that is not fixed for each block but is variable, and may be set by Equation 1 below.
  • A is the overall average of the difference between the brightness values of each block of the previous and current video frame
  • B is the minimum difference between the brightness of each block of the previous and current video frame
  • C is the weight of white and block brightness.
  • the values of A, B, etc. are values that change according to the brightness value of the video frame or each block, and the predetermined threshold Th 1 is also changed for each video frame and each block.
  • the motion exception determination unit 162 is for processing as an exception a sudden change in illuminance, not a movement of a person, or motion detection for a periodically moving object.
  • the motion exception determination unit 162 determines that there is no motion based on at least one of an overall change and a local change in the pixel brightness value of the image frame before and after the motion detection.
  • the motion exception determination unit 162 includes a first motion exception determination unit 162a for determining a sudden change in illuminance caused by a vehicle or external light as a motion exception.
  • the first motion exception determination unit 162a determines that the difference between the average value of the pixel brightness values of the image frames before and after is equal to or greater than a predetermined threshold Th 2 is an exception of motion detection. That is, if the difference between the average value of the brightness values of all pixels between the previous image frame and the current image frame is equal to or greater than a predetermined threshold Th 2 , it is determined that the illuminance has changed rapidly, and is excluded from motion detection.
  • the predetermined threshold Th 2 can be set to one of 1 to 64 values.
  • the predetermined threshold value (Th 2 ) can be appropriately set in consideration of the effect of illumination of the space where the image display device 100 is installed, and when it is set to one of 2 to 5 values, it has high performance in detecting the effect of illumination. Was able to confirm that it showed.
  • the motion exception determination unit 162 is a second motion exception determination unit that determines as an exception of motion detection due to periodic motion when changes in pixel brightness values of a plurality of blocks of a sequentially input image frame have a periodic pattern. (162b).
  • the second motion exception determination unit 162b detects periodic movements of objects with periodic movement around the image display device 100, such as a fan, a clock, or moving accessories, and treats them as exceptions to motion detection. For.
  • the motion detection unit 160 further includes a register for storing periodic motion detection corresponding to each of the plurality of blocks. For example, when an image frame is 32*24 blocks, a register for storing motion detection information corresponding to the number of blocks is provided.
  • the second motion exception determination unit 162b adds up the p value for the block determined to have motion in the motion determination unit 161 and stores it in a register, and adds the q value for the block determined as no movement. Save it to a register.
  • a block having an accumulated register value equal to or greater than a predetermined threshold Th3 is determined as a block without motion, and is treated as an exception of motion detection.
  • the brightness value of the block changes according to a certain rule. Therefore, when it is determined that there is movement and when there is no movement, a weight p value and a q value are assigned to each of the blocks and accumulated to It detects whether it moves. In the case of periodic movement, since it is often determined that there is movement, the p value can be set larger than the q value to detect it. If the p value is set to any one of 9 to 12, the q value is set to any of -3 to 0, and the predetermined threshold Th3 is set to any one of 140 to 160, periodic movement of objects is detected. However, it was confirmed that it showed high performance.
  • the image display device 100 detects the motion of objects rather than the motion of a user in detecting the motion of the user, or the effect of illumination caused by the light of the vehicle, and processes it as an exception of motion detection. Malfunction of motion detection of the display device 100 can be prevented.
  • FIG. 10 is a flowchart illustrating a motion detection method of the image display device 100 according to an embodiment of the present invention.
  • the motion detection unit 160 sequentially receives image frames captured through the image capture unit 150 (S40). 12 frames are input per second as an image frame, and the motion detection unit 160 divides the image frame into a plurality of blocks and calculates an average value of pixel brightness values of each block (S41).
  • the difference between the average value of the pixel brightness values between the previous frame and the same block of the current frame is calculated (S42). Then, it is determined whether or not the difference between the average value of the pixel brightness values between blocks of the preceding and following frames is equal to or greater than a predetermined threshold Th 1 .
  • a block having a difference in pixel brightness value of m or more consecutively and having a predetermined threshold value (Th 1 ) or more in a continuous frame is determined as a block with motion, and it is determined whether the number of blocks with motion is n or more. (S33).
  • a difference in brightness values of all pixels in the image frames before and after is calculated (S34). If the difference between the average brightness values of all pixels in the previous frame and the average brightness values of all pixels in the current frame is greater than or equal to a predetermined threshold Th 2 , it is determined as an exception of motion detection and is excluded from motion detection (S35). This corresponds to the above-described first motion exception processing unit, and if the difference between the total pixel brightness values of the previous frame and the current frame is greater than or equal to a predetermined threshold Th 2 , it is recognized as a sudden change in illuminance, and an exception is processed in motion detection.
  • FIG. 11 is a flowchart illustrating a motion detection method of the image display device 100 according to an embodiment of the present invention.
  • the motion detection unit 160 receives an image frame captured through the image capture unit 150 (S40), divides the image frame into a plurality of blocks, and a pixel brightness value of each block, for example, an average value of the pixel brightness value. Is calculated (S41).
  • the difference between the pixel brightness value for example, the average value of the pixel brightness value between the same block of the preceding and subsequent image frames is calculated (S42), and a block whose difference is equal to or greater than a predetermined threshold value (Th 1 ) is determined as a block with motion, and a predetermined A block less than the threshold Th 1 is determined as a block without motion (S43).
  • the predetermined threshold Th 1 is a value that varies for each block for each frame and may be determined by Equation 1 above.
  • the motion detection unit 160 accumulates a weight in a register by assigning a weight according to whether or not it moves. For example, the p value is added to the register corresponding to the block with motion, and the q value is added to the register corresponding to the block with no motion (S44).
  • the accumulated register value is greater than or equal to a predetermined threshold Th 3 , it is determined as an exception of motion detection and processed as a block without motion (S45). This corresponds to the above-described second motion exception processing unit, and when a motion is periodically detected, it is recognized as a periodic motion by an object, and an exception is processed in motion detection.
  • step S46 when it is determined that there is a movement of the user, a difference between the brightness values of all pixels of the image frames before and after, for example, a difference between the average value of the brightness values of the pixels is calculated (S47). If the difference between the average value of the pixel brightness values of the front and rear image frames is greater than or equal to a predetermined threshold (Th2) (S48), it is judged as an exception of motion detection and an exception is treated as no user movement, and the pixel brightness of the front and rear image frames When the difference between the average values of the values is less than the predetermined threshold Th2 (S48), it is determined that there is motion, and a motion detection signal is output (S49).
  • Th2 predetermined threshold
  • a user's movement in front of the image display apparatus 100 is detected and a welcome feedback is provided to draw the user's attention or switch to a zero view to save power.
  • a motion detection exception due to a sudden change in illuminance or a periodic movement of an object in the user's motion detection, malfunction of motion detection can be prevented.
  • the method of operating the image display device 100 of the present invention may be implemented as a code readable by the processor on a recording medium readable by the processor provided in the image display device 100.
  • the processor-readable recording medium includes all types of recording devices that store data that can be read by the processor. Examples of recording media that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and also include those implemented in the form of carrier waves such as transmission through the Internet. . Further, the processor-readable recording medium is distributed over a computer system connected through a network, so that the processor-readable code can be stored and executed in a distributed manner.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 영상표시장치 및 영상표시장치의 모션감지방법에 관한 것으로, 사용자의 움직임을 감지하는 모션감지부를 구비하고, 사용자의 움직임 검출 여부에 따라서 빛과 음향 중 적어도 하나로 웰컴 피드백을 제공하여 사용자의 주의를 환기하거나, 디스플레이의 표시상태를 전환하여 전력을 절약할 수 있다. 또한, 영상 프레임에서 전체적인 변화와 국소적인 변화 중 적어도 하나에 기초하여 모션감지의 예외상황을 판단하여 모션감지에서 제외시킴으로써, 사람의 움직임이 아닌 사물의 움직임이나 조도의 변화에 의한 모션감지의 오동작을 방지할 수 있다.

Description

영상표시장치 및 영상표시장치의 모션감지방법
본 발명은 영상표시장치 및 영상표시장치의 모션감지방법에 관한 것으로, 보다 구체적으로는 모션감지기능을 가진 영상표시장치 및 이의 모션감지방법에 관한 것이다.
일반적으로 영상표시장치는 음극선관, 액정 패널, 전계 발광 채널, 발광 다이오드 패널, 플라즈마 표시 패널 등과 같은 디스플레이 모듈에 영상을 표시한다.
최근 영상표시장치가 대형화되고 고급화되는 경향에 따라, 영상표시장치의 디스플레이의 사이즈가 점점 커지고 있는 추세에 있다. 하지만, 디스플레이의 사이즈가 점점 커질수록 전력 소비가 증가되는 문제점도 있다.
이러한 문제점을 해결하고자 절전기능을 보다 강화하는 방향으로 기술개발이 이루어지고 있으나 디스플레이 사이즈의 크기가 고정되어 있기 때문에 절전에 한계가 존재한다. 최근에는 사용자의 선택이나 용도에 따라서 디스플레이 사이즈를 가변할 수 있는 영상표시장치가 제안되어 차세대 영상표시장치로 주목 받고 있다.
한편, 종래에는 영상표시장치에 카메라모듈을 마련하여 전방의 사용자의 움직임을 검출하여 자동으로 절전모드로 전환하는 기술이 제안된 바 있다. 하지만, 종래 영상표시장치에서 사용자 움직임을 검출하는 기술은, 사람의 움직임이 아닌 갑작스러운 조도의 변화나 주기적인 사물의 움직임을 사람의 움직임으로 잘못 감지하여 오작동하는 문제가 있다.
본 발명이 해결하고자 하는 과제는 사용자의 움직임을 검출하여 빛과 음향 중 적어도 하나를 웰컴 피드백으로 제공하는 영상표시장치를 제공하는 것이다. 또한, 발명이 해결하고자 하는 과제는 사용자의 움직임을 검출하여 디스플레이를 파셜뷰에서 제로뷰로 전환할 수 있는 영상표시장치를 제공하는 것이다. 또한, 본 발명은 영상표시장치에서 사람의 움직임이 아닌 갑작스러운 조도의 변화나 주기적인 사물의 움직임을 검출하여 사용자의 모션감지에서 예외처리하는 모션감지방법을 적용하여 모션 감지의 오작동을 방지하는 것을 그 목적으로 한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상표시장치는 사용자의 움직임을 감지하는 모션감지부를 구비하고, 디스플레이가 제로뷰 상태에서 사용자의 움직임이 감지된 경우 발광부와 오디오출력부 중 적어도 하나를 제어하여 빛과 음향 중 적어도 하나로 웰컴 피드백을 제공한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상표시장치는 사용자의 움직임을 감지하는 모션감지부를 구비하고, 디스플레이가 파셜뷰인 상태에서 사용자의 움직임이 소정시간동안 감지되지 않는 경우 디스플레이를 파셜뷰 상태에서 제로뷰 상태로 전환한다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 영상표시장치의 모션감지방법은 전후 영상 프레임의 복수의 블록의 픽셀 밝기값의 전체적인 변화와 국소적인 변화 중 적어도 하나에 기초하여 모션감지의 예외상황을 판단하여 모션감지에서 제외시킴으로써, 사람의 움직임이 아닌 사물의 움직임이나 조도의 변화에 의한 모션감지의 오동작을 방지할 수 있다.
상기한 바와 같이, 본 발명에 의한 영상표시장치는 사용자의 움직임을 감지하여 빛과 음향 중 적어도 하나를 웰컴 피드백으로 제공함으로써 사용자의 주의를 환기시킬 수 있다. 또한, 본 발명에 의한 영상표시장치는 사용자의 움직임을 검출하여 디스플레이를 파셜뷰에서 제로뷰로 전환함으로써 전력을 절약하고 사용공간을 극대화할 수 있다. 한편, 본 발명에 의한 영상표시장치의 모션감지방법은 사람의 움직임이 아닌 갑작스러운 조도의 변화나 주기적인 사물의 움직임을 모션 감지에서 제외함으로써 모션 감지의 오작동을 방지할 수 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 영상표시장치(100)의 개략도이다.
도 3은 본 발명의 일 실시예에 따른 영상표시장치(100)의 제어블록도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 영상표시장치(100)의 웰컴 피드백 모드를 개략적으로 도시한 것이다.
도 6은 본 발명의 일 실시예에 따른 영상표시장치(100)에서 모션감지에 의해 웰컴 피드백이 제공되는 제어흐름을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 영상표시장치(100)에서 모션감지에 의해 파셜뷰 상태에서 제로뷰 상태로 전환되는 제어흐름을 도시한 것이다.
도 8은 본 발명의 일 실시예에 따른 영상표시장치(100)에서 파셜뷰 상태에서 제로뷰 상태로 전환되는 것을 개략적으로 도시한 것이다.
도 9는 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지부(160)의 제어블록도이다.
도 10은 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지방법을 나타내는 흐름도이다.
도 11은 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지방법을 나타내는 흐름도이다.
이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 영상표시장치(100)의 개략도이고, 도 3은 본 발명의 일 실시예에 따른 영상표시장치(100)의 제어블록도이다.
도 1 내지 도 3을 참조하면, 본 발명의 일 실시예에 따른 영상표시장치(100)는 롤러블(rollable) 디스플레이(110), 구동부(120), 하우징부(101), 모션감지부(160), 및 제어부(170)를 포함한다.
디스플레이(110)는 롤링 다운을 통해 말려서 하우징부(101)로 들어갈 수 있고, 롤링 업을 통해 하우징부(101) 밖으로 노출되는 사이즈가 커지는 사이즈 가변이 가능한 플렉서블 디스플레이(110)로서, 유기발광다이오드(OLED, Organic Light Emitting Diodes) 패널 등으로 구현 가능하다.
구동부(120)는 디스플레이(110)의 롤링 업 및 롤링 다운을 구동하기 위한 것으로, 구동부(120)는 디스플레이(110)가 감기는 롤러(미도시)와, 롤러를 회전시키기 위한 모터(미도시)를 포함할 수 있다.
도 2는 구동부(120)의 구동에 의해서 디스플레이(110)의 사이즈가 가변되는 일 예를 도시한 것이다. 도 2의 (a)는 디스플레이(110) 전체를 롤링 다운한 제로뷰 상태를 도시한 것이고, 도 2의 (b)는 디스플레이(110) 일부를 롤링 업한 파셜뷰 상태를 도시한 것이며, 도 2의 (c)는 디스플레이(110) 전체를 롤링 업 한 풀뷰 상태를 도시한 것이다. 본 발명에 따른 영상표시장치(100)는 디스플레이(110) 사이즈를 가변시킴으로써 다양한 서비스를 제공할 수 있다. 도 2에서는 하나의 파셜뷰 상태만을 도시하였으나, 영상표시장치(100)는 디스플레이(110)의 높이에 따라서 다양한 높이의 복수의 파셜뷰 상태를 가질 수 있다.
하우징부(101)는 디스플레이(110)가 롤링 다운될 때 이를 수납하기 위한 공간이 내부에 형성되며, 구동부(120)와 후술할 모션감지부(160) 및 제어부(170)가 내부에 설치된다. 하우징부(101)는 디스플레이(110)가 말려 들어가고 말려 나오는 슬릿(미도시)을 구비하며, 디스플레이(110)가 롤러블 되어 수납 가능한 사이즈와 형태라면 다양한 형상으로 구현될 수 있다. 도 1에서는 직육각형 형상으로 구현되는 것을 일 예로 도시하였다.
한편, 하우징부(101)에는 발광부(130), 오디오출력부(140) 및 영상캡쳐부(150)가 마련되며, 이들 각각은 하우징부(101) 전면이나 전방을 향해 배치된다.
발광부(130)는 빛을 출력하기 위한 것으로, LED 등의 발광소자들로 구현될 수 있다. 발광부(130)는 복수의 발광 소자가 일정한 모양을 형성하도록 배치될 수 있으며, 도 1에서는 가로로 길게 라인으로 배치되는 것을 일 예로 도시하였다. 발광부(130)는 웰컴 피드백을 제공하는 출력수단 중 하나이다. 웰컴 피드백은 영상표시장치(100)가 제로뷰 상태에서 사용자의 움직임이 감지된 경우 사용자에게 제공되는 시각적 피드백 및/또는 오디오 피드백을 의미한다. 후술하는 제어부(170)는 사용자의 움직임이 감지된 경우 발광부(130)의 복수의 발광소자의 토글이나 색상의 변화를 제어함으로써 다양한 색상이나 패턴을 형성하여 시각적 피드백을 제공할 수 있다. 발광부(130)는 하우징부(101)의 전면을 향해 배치되어 영상표시장치(100) 전방에 있는 사용자가 웰컴 피드백을 쉽게 인식할 수 있다. 도 1에서는 발광부(130)가 하우징부(101)의 전면에 일체로 마련되는 것을 일 예로 도시하였으나, 사용자가 전방에서 웰컴 피드백을 인식할 수 있도록 발광부(130)가 전방을 향해 배치되는 구조를 갖는다면, 발광부(130)가 하우징부(101)의 상면 또는 측면 등에 마련되더라도 무방하다.
오디오출력부(140)는 음향신호를 출력하기 위한 것으로 스피커 모듈을 포함할 수 있다. 오디오출력부(140)는 전술한 웰컴 피드백을 오디오로 제공하는 출력수단 중 하나이다. 후술하는 제어부(170)는 사용자의 움직임이 감지된 경우 오디오출력부(140)에 웰컴 피드백 음향에 대응하는 오디오 신호를 출력하여, 오디오출력부(140)를 통해 웰컴 피드백이 제공되도록 할 수 있다. 도 1에서는 오디오출력부(140)가 하우징부(101)의 전면에 일체로 마련되는 것을 일 예로 도시하였으나, 오디오출력부(140)가 영상표시장치(100)의 전방을 향해 오디오를 출력할 수 있다면, 오디오출력부(140)는 하우징부(101)의 상면 또는 측면 등에 마련되더라도 무방하다.
영상캡쳐부(150)는 영상표시장치(100)의 전방을 촬상하기 위한 것으로, CCD, CMOS 등의 영상 촬상소자를 포함한다. 영상캡쳐부(150)는 하우징부(101)의 전면이나 전방을 향해 배치될 수 있으며, 도 1에서는 하우징부(101)의 전면 중앙부에 일체로 형성된 것을 일 예로 도시하였다. 영상캡쳐부(150)는 사용자의 움직임 여부를 검출하기 위해 영상표시장치(100)의 전방을 촬상하는 수단이므로, 영상표시장치(100)의 전방을 촬상할 수 있다면 하우징부(101)의 전면이 아닌 상면이나 측면에 마련되어도 무방하다.
모션감지부(160)는 영상캡쳐부(150)에 의해 촬상한 전후 영상 프레임들을 분석하여 사용자의 움직임 여부를 감지하기 위한 것으로, 입력 영상 프레임을 처리하고 움직임 여부를 검출하는 알고리즘과 이를 실행하는 프로세서를 포함하여 구현될 수 있다.
제어부(170)는 모션감지부(160)의 움직임 감지 결과에 따라서 발광부(130), 오디오출력부(140), 및 구동부(120)를 제어하기 위한 것으로, 제어 알고리즘, 이를 실행하는 프로세서, 및 제어 알고리즘이 저장되는 메모리 등을 포함하여 구현될 수 있다.
제어부(170)는 디스플레이(110)가 제로뷰 상태인 경우, 영상캡쳐부(150) 및 모션감지부(160)를 동작시켜 사용자의 움직임이 있는지 여부를 검출하도록 한다. 만약 모션감지부(160)에 의해 사용자 움직임이 검출되면 발광부(130)와 오디오출력부(140) 중 적어도 하나가 빛이나 오디오로 웰컴 피드백을 출력하도록 제어한다. 이와 같이, 본 발명에 따른 영상표시장치(100)는 제로뷰상태에서 사용자가 감지되면 웰컴 피드백을 통해 환영의 메시지를 보냄으로써 사용자의 주의를 환기시킬 수 있다. 전술한 웰컴 피드백은 사용자가 웰컴 기능을 온으로 설정한 경우에만 동작하도록 할 수 있다.
웰컴 피드백은 다양하게 제공될 수 있다. 예컨대, 제어부(170)는 발광부(130)의 복수의 발광유닛의 발광 색상, 밝기, 토글, 디밍 등을 제어하여 다양한 웰컴 피드백을 출력할 수 있으며, 복수의 웰컴 피드백을 가질 수도 있다. 제어부(170)는 오디오출력부(140)가 음악, 음향, 사람의 음성 등 다양한 오디오 신호로 웰컴 피드백을 출력하도록 할 수 있다.
본 실시예에서는 2가지 웰컴 피드백 모드를 갖는 것을 일 예로 설명한다. 제어부(170)는 영상표시장치(100)와 사용자앱(예, SmartThinQ)을 통해 연결되었던 이력이 있는 기기가 감지된 경우에는 사용자 움직임이 감지되면, 발광부(130)를 통한 시각적 피드백과 오디오출력부(140)를 통한 오디오 피드백이 동시에 제공되도록 제어한다. 또한, 제어부(170)는 영상표시장치(100)와 연결되었던 이력이 있는 기기가 감지되지 않은 상태에서 사용자 움직임이 감지되면, 발광부(130)를 통한 시각적 피드백이 제공되도록 제어한다. 즉, 본 실시예에서는 사용자앱을 통해 연결 이력이 있는 기기가 감지된 경우 오디오와 시각적 피드백이 둘 다 제공되는 웰컴 피드백 모드와, 기기가 감지되지 않는 경우 시각적 피드백만을 제공하는 웰컴 피드백 모드 2가지를 갖는다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 영상표시장치(100)의 웰컴 피드백 모드를 개략적으로 도시한 것이다.
도 4는 발광부(130)를 통해 시각적 웰컴 피드백만을 제공하는 경우를 도시한 것으로, 영상표시장치(100)는 제로뷰 상태에서는 도 4의 (a)와 같이 발광부(130)가 비활성화된 상태로 있다가 사용자의 움직임이 감지되면 도 4의 (b)와 같이 발광부(130)의 발광조사들이 왼쪽에서 오른쪽으로 빛을 토글하면서 시각적 웰컴 피드백을 제공한다.
도 5는 발광부(130) 및 오디오출력부(140)를 통해 시각적 피드백과 오디오 피드백을 둘 다 제공하는 경우를 도시한 것으로, 영상표시장치(100)는 제로뷰 상태에서는 도 5의 (a)와 같이 발광부(130)와 오디오출력부(140)가 비활성화된 상태로 있다가 사용자 움직임이 감지되면 도 5의 (b)와 같이 발광부(130)가 왼쪽에서 오른쪽으로 빛을 토글하면서 시각적 피드백을 제공하는 동시에 오디오출력부(140)를 통해 소정의 음향 예컨대, '띠로리' 등의 오디오 피드백을 함께 제공한다.
제어부(170)는 웰컴 피드백이 한번 출력되면, 소정의 시간 동안 영상캡쳐부(150) 및 모션감지부(160)를 비활성화하거나 모션이 감지되더라도 일정 시간 동안은 웰컴 피드백이 제공되지 않도록 한다. 예를 들어, 영상표시장치(100)는 사용자의 움직임이 감지되어 웰컴 피드백이 제공된 경우 30초 동안은 웰컴 피드백이 제공되지 않도록 비활성화하고, 30초 이후에 사용자 움직임 감지결과에 따라서 다시 웰컴 피드백이 제공되도록 할 수 있다.
한편, 제어부(170)는 디스플레이(110)가 파셜뷰 상태인 경우, 영상캡쳐부(150) 및 모션감지부(160)를 동작시켜 사용자의 움직임이 있는지 여부를 검출하도록 한다. 만약, 일정시간 동안 모션감지부(160)에 의해 사용자 움직임이 검출되지 않으면 구동부(120)를 제어하여 디스플레이(110)를 롤링 다운시켜 제로뷰 상태로 전환되도록 한다. 이때, 영상표시장치(100)가 제로뷰 상태로 전환되면 영상표시장치(100)의 파워도 오프된다. 이와 같이, 제어부(170)는 디스플레이(110)가 파셜뷰 상태에서 사용자의 움직임 여부를 검출하고, 일정 시간 움직임이 검출되지 않으면 디스플레이(110)를 제로뷰 상태로 전환하고 파워를 오프함으로써 소비전력을 절약할 수 있다.
본 발명의 일 실시예에 따른 영상표시장치(100)는 영상캡쳐부(150) 및 사용자 입력 인터페이스부(180)를 더 포함할 수 있다.
영상캡쳐부(150)는 방송신호를 수신하여 처리하거나, 셋탑박스, 게임기기, 컴퓨터 등의 외부기기로부터의 신호를 수신 처리하기 위한 것으로, 방송신호의 처리를 위한 튜너부(미도시) 및 복조부(미도시)와 및 외부기기와의 입출력 동작을 수행하는 외부기기 인터페이스(미도시)를 포함한다. 영상캡쳐부(150)를 통해 수신한 영상신호는 제어부(170)의 처리를 통해 디스플레이(110)로 전달되어 화면에 표시된다.
사용자 입력 인터페이스부(180)부는 사용자가 입력한 신호를 제어부(170)로 전달하거나, 제어부(170)로부터의 신호를 사용자에게 전달하기 위한 것으로, 사용자의 입력을 제공하는 리모트 컨트롤러와의 통신을 위한 모듈을 포함할 수 있다.
본 발명의 일 실시예에 따른 영상표시장치(100)의 제어방법에 대해서는 도 5 및 도 6을 참조하여 구체적으로 설명하기로 한다.
도 6은 본 발명의 일 실시예에 따른 영상표시장치(100)에서 모션감지에 의해 웰컴 피드백이 제공되는 제어흐름을 도시한 것이다.
제어부(170)는 디스플레이(110)가 제로뷰 상태인 경우(S10), 웰컴 기능이 온 되었는지 확인하고(S11), 웰컴 기능이 온으로 설정된 경우에만 영상캡쳐부(150) 및 모션감지부(160)를 동작시켜 사용자의 움직임 여부를 검출하도록 한다(S12).
제어부(170)는 사용자앱을 통해 연결되었던 이력이 있는 기기가 감지되는지 여부를 확인하고(S13), 기기가 감지되는 여부에 따라서 웰컴 피드백을 달리 적용한다.
사용자앱을 통해 연결되었던 기기가 감지된 후에(S13) 사용자의 움직임이 감지되는 경우(S14), 제어부(170)는 오디오출력부(140)와 발광부(130)를 활성화시켜 오디오와 시각적인 피드백이 동시에 출력되는 웰컴 피드백을 제공한다(S16). 이때, 기기와의 연결과 해제가 반복되는 에러 방지를 위해 피드백 제공횟수를 일정 횟수 미만으로 제한할 수 있다. 예컨대, 오디오 및 시각적 피드백이 동시에 제공되는 웰컴 피드백은 하루에 최대 2번만 제공되는 것으로 설정할 수 있다. 이미 하루에 2번 오디오 및 시각적 피드백이 동시에 제공되는 웰컴 피드백이 제공된 경우, 제어부(170)는 이후에 사용자의 움직임이 감지되면 발광부(130)를 통한 시각적 피드백만 제공되도록 한다.
한편, 사용자앱을 통해 연결되었던 기기가 감지되지 않은 상태에서(S13) 사용자의 움직임이 감지되는 경우(S15), 제어부(170)는 발광부(130)를 활성화시켜 시각적인 피드백만 출력되는 웰컴 피드백을 제공한다(S17).
도 7은 본 발명의 일 실시예에 따른 영상표시장치(100)에서 모션감지에 의해 파셜뷰 상태에서 제로뷰 상태로 전환되는 제어흐름을 도시한 것이다.
제어부(170)는 디스플레이(110) 일부가 롤링 업된 파셜뷰 상태에서(S20), 영상캡쳐부(150) 및 모션감지부(160)를 동작시켜 사용자의 움직임 여부를 검출하도록 한다(S21). 만약 소정의 설정된 시간(T1)동안 사용자의 움직임이 없거나 사용자 입력 인터페이스부(180)를 통한 사용자 입력이 없는 경우(S23), 구동부(120)를 제어하여 디스플레이(110)를 롤링 다운시켜 파셜뷰 상태에서 제로뷰 상태로 전환한다(S24). 여기서, 소정의 설정된 시간(T1)은 다양하게 설정될 수 있으며, 예컨대, 3시간 ~ 5시간으로 설정될 수 있다. 또한, 이때 제어부(170)는 영상표시장치(100)의 전원을 오프시켜 영상표시장치(100)를 스탠바이상태로 전환한다.
한편, 제어부(170)는 소정의 설정된 시간(T1) 동안 사용자의 움직임이 없거나 사용자 입력 인터페이스부(180)를 통한 사용자 입력이 없는 경우, 바로 제로뷰 상태로 전환하는 대신, 제로뷰 상태 전환 메시지를 디스플레이(110)에 표시하여 사용자에게 이를 알리고 사용자가 이를 원치 않는 경우 키 입력을 하도록 안내할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상표시장치(100)에서 파셜뷰 상태에서 제로뷰 상태로 전환되는 것을 개략적으로 도시한 것이다. 소정의 설정된 시간(T1) 동안 사용자의 움직임이 없거나 입력이 없는 경우, 제어부(170)는 도 8의 (a)와 같이 영상표시장치(100)의 디스플레이(110)에 안내 메시지가 표시되도록 제어하고, 소정 시간(T2) 동안 사용자로부터 입력이 없는 경우, 도 8의 (b)와 같이 디스플레이(110)가 제로뷰 상태로 전환되도록 제어할 수 있다. 여기서, 소정 시간(T2)은 다양하게 설정될 수 있으며,예컨대, 1분~3분으로 설정될 수 있다.
이하에서는 도 9 내지 도 11을 참조하여, 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지부(160) 및 이의 모션감지방법을 설명하기로 한다.
도 9는 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지부(160)의 제어블록도이다. 도 9를 참조하면, 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지부(160)는 모션판단부(161) 및 모션예외판단부(162)를 포함한다.
모션판단부(161)는 영상캡쳐부(150)에 의해 촬상한 영상 프레임을 분석하여 1차적으로 사용자의 움직임 여부를 판단한다. 모션판단부(161)는 블록의 움직임 변화를 누적하여 분석하는 히스토그램 분석 등 다양한 모션 검출 기법을 적용할 수 있다.
모션판단부(161)는 입력된 영상 프레임을 복수의 블록으로 분할하고, 순차적으로 입력되는 전후 영상 프레임의 복수의 블록의 픽셀 밝기값의 변화량에 기초하여 사용자의 움직임 여부를 판단한다.
예를 들어, 영상캡쳐부(150)를 통해 1초에 12개의 영상 프레임이 입력되고, 영상 프레임이 160*120 픽셀인 경우, 모션판단부(161)는 5*5픽셀을 하나의 블록단위로 하여 하나의 영상 프레임을 32*24개의 블록으로 분할하고, 해당 블록의 픽셀 밝기값의 평균을 산출한다.
모션판단부(161)는 전후 영상프레임에서 동일 블록 간의 픽셀 밝기값, 예컨대 밝기의 평균값의 차이가 소정의 임계치(Th1) 이상인 경우 움직임이 있는 블록으로 판단하고, 움직임이 있는 블록의 개수가 n개 이상인 경우 사용자의 움직임이 있는 것으로 판단할 수 있다.
다른 실시예에 따르면, 모션판단부(161)는 픽셀 밝기값, 예컨대 밝기의 평균값의 차이가 m번 이상 연속하여 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단할 수 있다. 예를 들어, 순차적으로 입력되는 연속되는 m개의 프레임에서 동일 블록의 픽셀 밝기값의 차이가 소정의 임계치(Th1)이상인 경우에만 움직임이 있는 블록으로 판단할 수 있다.
여기서, 움직임이 있다고 판단하는 블록의 개수 n과 연속변화 프레임의 개수 m은 설정 가능한 값으로, n과 m의 설정값에 따라서 모션 감지의 민감도를 조절할 수 있으며, n과 m이 클수록 민감도가 낮아지고 n과 m이 커질수록 민감도가 커진다. n은 1~3 값 중 하나로 설정되고, m은 2~4 값 중 하나로 설정되는 경우 움직임 검출의 성능이 높아지는 걸 확인할 수 있었다.
한편, 소정의 임계치(Th1)는 블록별로 고정되어 있지 않고 가변되는 값으로, 아래 수학식 1에 의해 설정될 수 있다.
Figure PCTKR2019008988-appb-M000001
(여기서, A는 이전 영상 프레임과 현재 영상 프레임의 각 블록의 밝기값의 차이의 전체 평균, B는 이전 영상 프레임과 현재 영상 프레임의 각 블록 밝기값의 차이의 최소값, C는 화이트 및 블럭 밝기 가중치를 의미함)
위 식에서 A, B 등의 값은 영상 프레임이나 각 블록의 밝기 값에 따라서 변경되는 값으로, 소정의 임계치(Th1)도 영상 프레임과 각 블록마다 그 값이 가변된다.
모션예외판단부(162)는 사람의 움직임이 아닌 조도의 갑작스러운 변화나 주기적으로 움직이는 사물에 대한 모션 감지를 예외로 처리하기 위한 것이다. 모션예외판단부(162)는 전후 영상 프레임의 픽셀 밝기값의 전체적인 변화와 국소적인 변화 중 적어도 하나에 기초하여 모션감지의 예외상황으로 판단하여 움직임이 없는 것으로 처리한다.
모션예외판단부(162)는 차량이나 외부 불빛에 의한 조도의 갑작스러운 변화 등을 모션 예외로 판단하기 위한 제1 모션예외판단부(162a)를 포함한다. 제1 모션예외판단부(162a)는 전후 영상 프레임의 픽셀 밝기값의 평균값의 차이가 소정의 임계치(Th2) 이상인 경우 모션감지의 예외상황으로 판단한다. 즉, 이전 영상 프레임과 현재 영상 프레임 간의 전체 픽셀 밝기값의 평균값의 차이가 소정의 임계치(Th2) 이상이면 조도가 급변한 것으로 판단하여 모션 감지에서 제외처리한다.
여기서, 소정의 임계치(Th2)는 1~64 값 중에서 하나로 설정 가능하다. 소정의 임계치(Th2) 값이 커지면 평균값의 차이가 커야 조도에 의한 변화로 감지하므로, 그 값이 높을수록 둔감해진다. 소정의 임계치(Th2)는 영상표시장치(100)가 설치되는 공간의 조도의 영향 등을 고려하여 적절히 설정될 수 있으며, 2~5 값 중 하나로 설정되는 경우 조도에 의한 영향을 검출하는데 높은 성능을 보이는 것을 확인할 수 있었다.
모션예외판단부(162)는 순차적으로 입력되는 영상 프레임의 복수의 블록의 픽셀 밝기값의 변화가 주기적인 패턴을 갖는 경우 주기적인 움직임에 의한 모션 감지의 예외상황으로 판단하는 제2 모션예외판단부(162b)를 포함한다. 제2 모션예외판단부(162b)는 영상표시장치(100) 주변에 있는 주기적인 움직임이 있는 사물, 예컨대, 선풍기, 시계, 또는 움직이는 악세사리 등의 주기적인 움직임을 검출하여 모션 감지의 예외로 처리하기 위한 것이다.
모션감지부(160)는 복수의 블록 각각에 대응하여 주기적인 움직임 검출을 저장하기 위한 레지스터를 더 포함한다. 예를 들어, 영상 프레임이 32*24개의 블록인 경우 블록의 개수에 대응하여 움직임 검출 정보를 저장하는 레지스터가 마련된다.
제2 모션예외판단부(162b)는 모션판단부(161)에서 움직임이 있는 것으로 판단된 블록에 대해서는 p값을 합산하여 레지스터에 저장하고, 움직임이 없는 것으로 판단된 블록에 대해서는 q값을 합산하여 레지스터에 저장한다. 그리고, 누적된 레지스터값이 소정의 임계치(Th3) 이상인 블록에 대해서는 움직임이 없는 블록으로 판단하여 모션 감지의 예외로 처리한다.
주기적인 움직임이 있는 블록의 경우 블록의 밝기값이 일정 규칙을 갖고 변화하게 되므로, 움직임이 있다고 판단되는 경우와 움직임이 없다고 판단되는 경우 각각에 가중치 p값과 q값을 부여하고 이를 누적하여 주기적인 움직임 여부를 검출한다. 주기적인 움직임의 경우 움직임이 있는 것으로 판단되는 경우가 많으므로 p값을 q값에 비해 크게 설정하여 이를 검출할 수 있다. p값은 9~12 중 어느 하나, q값은 -3 ~ 0 중 어느 하나로 설정하고, 소정의 임계치(Th3)는 140~160 중 어느 하나의 값으로 설정하는 경우, 주기적인 사물의 움직임을 검출하는데 높은 성능을 보이는 것을 확인할 수 있었다.
이와 같이, 본 발명에 따른 영상표시장치(100)는 사용자의 움직임을 감지하는데 있어서 사람의 움직임이 아닌 사물의 움직임이나 차량의 라이트에 의한 조도의 영향을 검출하여 모션 감지의 예외로 처리함으로써, 영상표시장치(100)의 모션감지의 오작동을 방지할 수 있다.
도 10은 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지방법을 나타내는 흐름도이다.
모션감지부(160)는 영상캡쳐부(150)를 통해 촬상되는 영상 프레임을 순차적으로 입력받는다(S40). 영상 프레임은 1초에 12 프레임이 입력되며, 모션감지부(160)는 영상 프레임을 복수의 블록으로 분할하고 각 블록의 픽셀 밝기값의 평균값을 산출한다(S41).
그리고, 이전 프레임과 현재 프레임의 동일 블록 간의 픽셀 밝기값의 평균값의 차이를 산출한다(S42). 그리고, 전후 프레임의 블록 간의 픽셀 밝기값의 평균값의 차이가 소정의 임계치(Th1) 이상인지 여부를 판단한다. 이때, 픽셀 밝기값의 차이가 연속하는 프레임에서 m번 이상 연속하여 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단하고, 움직임이 있는 블록의 개수가 n개 이상인지 여부를 판단한다(S33).
움직임이 있는 블록의 개수가 n개 이상인 경우 사용자의 움직임이 있는 것으로 판단하고, 움직임이 있는 블록의 개수가 n개 미만인 경우 움직임이 없는 것으로 판단한다.
만약, 움직임이 있는 블록의 개수가 n개 이상인 경우, 전후 영상 프레임의 전체 픽셀 밝기값의 차이, 즉 평균값의 차이를 산출한다(S34). 이전 프레임의 전체 픽셀 밝기값의 평균과 현재 프레임의 전체 픽셀의 밝기값의 평균값의 차이가 소정의 임계치(Th2) 이상인 경우 모션감지의 예외상황으로 판단하여 모션 감지에서 제외한다(S35). 이는 전술한 제1 모션예외처리부에 대응하는 것으로 이전 프레임과 현재 프레임의 전체 픽셀 밝기 값의 차이가 소정의 임계치(Th2) 이상인 경우 급격한 조도의 변화로 인식하여 모션 감지에서 예외처리 한다.
한편, 전체 픽셀의 밝기값의 평균의 차이가 소정의 임계치(Th2) 미만인 경우 사용자 움직임이 있는 것으로 판단하여 모션감지 신호를 출력한다(S36).
도 11은 본 발명의 일 실시예에 따른 영상표시장치(100)의 모션감지방법을 나타내는 흐름도이다.
모션감지부(160)는 영상캡쳐부(150)를 통해 촬상된 영상 프레임을 입력받고(S40), 영상 프레임을 복수의 블록으로 분할하고 각 블록의 픽셀 밝기값, 예를 들어 픽셀 밝기값의 평균값을 산출한다(S41).
전후 영상 프레임들의 동일 블록 간의 픽셀 밝기값, 예를 들어 픽셀 밝기값의 평균값의 차이를 산출하고(S42), 그 차이가 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단하고 소정의 임계치(Th1) 미만인 블록을 움직임이 없는 블록으로 판단한다(S43). 전술한 바와 같이 소정의 임계치(Th1)는 프레임마다 각 블록마다 가변되는 값으로 전술한 수학식 1에 의해 결정될 수 있다.
모션감지부(160)는 움직임 여부에 따라 가중치를 부여하여 레지스터에 누적 합산한다. 예를 들어, 움직임이 있는 블록에 대응하는 레지스터에 p값을 합산하고, 움직임이 없는 블록에 대응하는 레지스터에 q값을 합산한다(S44).
만약, 누적된 상기 레지스터값이 소정의 임계치(Th3) 이상인 블록의 경우 모션감지의 예외상황으로 판단하여 움직임이 없는 블록으로 처리한다(S45). 이는 전술한 제2 모션예외처리부에 대응하는 것으로, 움직임이 주기적으로 검출되는 경우 사물에 의한 주기적인 움직임으로 인식하여 모션 감지에서 예외처리 한다.
한편, m번 이상 연속하여 움직임이 있는 것으로 판단된 블록의 개수가 n개 이상인지 여부를 판단하여(S46), 움직임이 있는 블록이 n개 이상인 경우 영상 프레임에 움직임이 있는 것으로 1차적으로 판단하고, 움직임이 있는 블록의 개수가 n개 미만인 경우 움직임이 없는 것으로 판단한다.
S46단계에서, 사용자의 움직임이 있는 것으로 판단된 경우, 전후 영상 프레임의 전체 픽셀 밝기값의 차이, 예를 들어 픽셀 밝기값의 평균값의 차이를 산출한다(S47). 만약, 전후 영상 프레임의 픽셀 밝기값의 평균값의 차이가 소정의 임계치(Th2) 이상인 경우(S48), 모션감지의 예외상황으로 판단하여 사용자의 움직임이 없는 것으로 예외처리하고, 전후 영상 프레임의 픽셀 밝기값의 평균값의 차이가 소정의 임계치(Th2) 미만인 경우(S48), 움직임이 있는 것으로 판단하여 모션감지 신호를 출력한다(S49).
이와 같이, 본 발명은 영상표시장치(100)의 전방의 사용자의 움직임을 검출하여 웰컴 피드백을 제공하여 사용자의 주의를 환기시키거나 제로뷰로 전환하여 전력을 절약할 수 있다. 또한, 사용자의 움직임 검출에 있어서 갑작스런 조도의 변화나 사물의 주기적인 움직임으로 인한 모션 감지 예외를 검출함으로써, 모션 감지의 오작동을 방지할 수 있다.
한편, 본 발명의 영상표시장치(100)의 동작방법은, 영상표시장치(100)에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (17)

  1. 롤러블(rollable) 디스플레이;
    상기 디스플레이를 수납하기 위한 공간이 내부에 형성되며, 빛을 출력하는 발광부, 음향을 출력하는 오디오출력부, 및 전방을 촬상하는 영상캡쳐부가 마련된 하우징부;
    상기 디스플레이의 롤링 업 및 롤링 다운을 구동하기 위한 구동부;
    상기 영상캡쳐부에 의해 촬상한 영상 프레임들을 분석하여 사용자의 움직임을 감지하는 모션감지부; 및
    상기 디스플레이 전체가 롤링 다운된 제로뷰 상태에서 상기 모션감지부에 의해 상기 사용자의 움직임이 있는 것으로 판단된 경우, 상기 발광부와 상기 오디오출력부 중 적어도 하나를 제어하여 빛과 음향 중 적어도 하나로 웰컴 피드백을 제공하도록 하는 제어부를 포함하는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제어부는 상기 디스플레이 일부가 롤링 업된 파셜뷰 상태에서, 상기 모션감지부의 감지결과에 기초하여 상기 사용자의 움직임이 소정 시간 동안 없는 경우, 상기 디스플레이가 상기 파셜뷰 상태에서 상기 제로뷰 상태로 롤링 다운되도록 상기 구동부를 제어하는 것을 특징으로 하는 영상표시장치.
  3. 롤러블(rollable) 디스플레이;
    상기 디스플레이의 롤링 업 및 롤링 다운을 구동하기 위한 구동부;
    상기 디스플레이를 수납하기 위한 공간이 내부에 형성되는 하우징부;
    전방을 촬상하는 영상캡쳐부;
    상기 영상캡쳐부에 의해 촬상한 영상 프레임들을 분석하여 사용자의 움직임을 감지하는 모션감지부; 및
    상기 제어부는, 상기 디스플레이 일부가 롤링 업된 파셜뷰 상태에서, 상기 모션감지부의 감지결과에 기초하여 상기 사용자의 움직임이 소정 시간 동안 없는 경우, 상기 디스플레이가 상기 파셜뷰 상태에서 상기 디스플레이 전체를 롤링 다운시켜 제로뷰 상태로 되도록 상기 구동부를 제어하는 것을 특징으로 하는 영상표시장치.
  4. 제1항 또는 제3항에 있어서,
    상기 모션감지부는, 상기 영상캡쳐부에 의해 촬상한 영상 프레임을 복수의 블록으로 분할하고, 순차적으로 입력되는 영상 프레임들의 상기 복수의 블록의 픽셀 밝기값의 변화량을 산출하여 상기 변화량에 기초하여 사용자의 움직임 여부를 판단하는 모션판단부; 및
    전후 영상 프레임의 복수의 블록의 상기 픽셀 밝기값의 전체적인 변화와 국소적인 변화 중 적어도 하나에 기초하여 모션감지의 예외상황을 판단하는 모션예외판단부를 포함하는 것을 특징으로 하는 영상표시장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 디스플레이 전체가 롤링 다운된 제로뷰 상태에서, 기존에 연결 이력이 있는 외부 기기가 감지된 후 상기 모션감지부에 의해 사용자의 움직임이 있는 것으로 판단된 경우, 상기 발광부가 소정의 빛 패턴을 출력하고 상기 오디오출력부가 소정의 음향을 출력하여 상기 웰컴 피드백을 제공하도록 제어하는 것을 특징으로 하는 영상표시장치.
  6. 제1항에 있어서,
    상기 제어부는 상기 디스플레이 전체가 롤링 다운된 제로뷰 상태에서, 기존에 연결 이력이 있는 외부 기기가 감지되지 않고 상기 모션감지부에 의해 상기 사용자의 움직임이 있는 것으로 판단된 경우, 상기 발광부가 소정의 빛 패턴을 출력하여 상기 웰컴 피드백을 제공하도록 제어하는 것을 특징으로 하는 영상표시장치.
  7. 제1항, 제2항, 제5항, 및 제6항 중 적어도 하나의 항에 있어서,
    사용자의 입력을 위한 사용자 입력 인터페이스부를 더 포함하고;
    상기 제어부는 상기 사용자 입력 인터페이스부에 의해 웰컴기능이 온으로 설정된 경우에만 상기 웰컴 피드백이 제공되도록 하는 것을 특징으로 하는 영상표시장치.
  8. 제2항 또는 제3항에 있어서,
    사용자의 입력을 위한 사용자 입력 인터페이스부를 더 포함하고;
    상기 제어부는 상기 디스플레이가 상기 파셜뷰 상태에서 상기 사용자인터페이스부의 입력이 소정 시간 동안 없는 경우, 상기 디스플레이가 상기 파셜뷰 상태에서 상기 제로뷰 상태로 롤링 다운되도록 상기 구동부를 제어하는 것을 특징으로 하는 영상표시장치.
  9. 제8항에 있어서,
    상기 제어부는 상기 디스플레이의 일부가 롤링 업된 파셜뷰 상태에서 상기 모션감지부의 감지결과에 기초하여 사용자의 움직임이 소정 시간(T1) 동안 감지되지 않거나 상기 사용자인터페이스부의 입력이 소정 시간 동안 없는 경우, 상기 디스플레이에 전원오프 메시지 또는 제로뷰 전환 메시지를 표시하도록 제어하고, 미리 설정된 시간(T2) 동안 사용자의 움직임이나 입력이 없는 경우 상기 디스플레이를 상기 제로뷰 상태로 전환하도록 상기 구동부를 제어하는 것을 특징으로 하는 영상표시장치.
  10. 제4항에 있어서,
    상기 모션판단부는 순차적으로 입력되는 전후 영상 프레임들의 동일 블록 간의 상기 픽셀 밝기값의 차이를 산출하고, 상기 차이가 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단하며, 움직임이 있는 블록의 개수가 n개 이상인 경우 사용자의 움직임이 있는 것으로 판단하는 것을 특징으로 하는 영상표시장치.
  11. 제4항에 있어서,
    상기 모션판단부는 순차적으로 입력되는 전후 영상 프레임들의 동일 블록 간의 상기 픽셀 밝기값의 차이를 산출하고, 상기 차이가 m번 이상 연속하여 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단하고, 움직임이 있는 블록의 개수가 n개 이상인 경우 사용자의 움직임이 있는 것으로 판단하는 것을 특징으로 하는 영상표시장치.
  12. 제11항에 있어서,
    상기 소정의 임계치(Th1)는 영상 프레임마다 각 블록마다 가변되는 값으로 결정되는 것을 특징으로 하는 영상표시장치.
  13. 제11항에 있어서,
    상기 모션예외판단부는 전후 영상 프레임의 픽셀 밝기값의 차이가 소정의 임계치(Th2) 이상인 경우 모션감지의 예외상황으로 판단하는 제1 모션예외판단부를 포함하는 것을 특징으로 하는 영상표시장치.
  14. 제11항에 있어서,
    상기 모션예외판단부는 순차적으로 입력되는 상기 영상 프레임의 복수의 블록의 픽셀 밝기값의 변화가 주기적인 패턴을 갖는 경우 주기적인 움직임에 의한 모션 감지의 예외상황으로 판단하는 제2 모션예외판단부를 포함하는 것을 특징으로 하는 영상표시장치.
  15. 제14항에 있어서,
    상기 모션감지부는 상기 복수의 블록 각각에 대응하여 주기적인 움직임검출을 저장하기 위한 레지스터를 더 포함하고;
    상기 제2 모션예외판단부는 상기 모션감지부에서 움직임이 있는 것으로 판단된 블록에 대응하는 레지스터에 p값을 합산하고, 움직임이 없는 것으로 판단된 블록에 대응하는 레지스터에 q값을 합산하며, 누적된 상기 레지스터값이 소정의 임계치(Th3) 이상인 블록의 경우 움직임이 없는 블록으로 판단하는 것을 특징으로 하는 영상표시장치.
  16. 전방을 촬상하는 영상캡쳐부 및 프로세서를 구비한 영상표시장치의 모션감지방법에 있어서,
    상기 영상캡쳐부를 통해 촬상된 영상 프레임을 입력받는 단계;
    상기 영상 프레임을 복수의 블록으로 분할하고 각 블록의 픽셀 밝기값을 산출하는 단계;
    전후 영상 프레임들의 동일 블록 간의 상기 픽셀 밝기값의 차이를 산출하는 단계;
    상기 차이가 m번 이상 연속하여 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단하고, 움직임이 있는 블록의 개수가 n개 이상인 경우 사용자의 움직임이 있는 것으로 판단하고, 움직임이 있는 블록의 개수가 n개 미만인 경우 움직임이 없는 것으로 판단하는 단계;
    움직임이 있는 블록의 개수가 n개 이상인 경우, 전후 영상 프레임의 픽셀 밝기값의 차이를 산출하는 단계; 및
    상기 전후 영상 프레임의 픽셀 밝기값의 차이가 소정의 임계치(Th2) 이상인 경우 모션감지의 예외상황으로 판단하여 사용자의 움직임이 없는 것으로 예외처리하는 단계를 포함하는 것을 특징으로 하는 영상표시장치의 모션감지방법
  17. 전방을 촬상하는 영상캡쳐부 및 프로세서를 구비한 영상표시장치의 모션감지방법에 있어서,
    상기 영상캡쳐부를 통해 촬상된 영상 프레임을 입력받는 단계;
    상기 영상 프레임을 복수의 블록으로 분할하고 각 블록의 픽셀 밝기값을 산출하는 단계;
    전후 영상 프레임들의 동일 블록 간의 상기 픽셀 밝기값의 차이를 산출하는 단계;
    상기 차이가 소정의 임계치(Th1) 이상인 블록을 움직임이 있는 블록으로 판단하고 상기 차이가 소정의 임계치(Th1) 미만인 블록을 움직임이 없는 블록으로 판단하는 단계;
    움직임이 있는 블록에 대응하는 레지스터에 p값을 합산하고, 움직임이 없는 블록에 대응하는 레지스터에 q값을 합산하는 단계;
    누적된 상기 레지스터값이 소정의 임계치(Th3) 이상인 블록의 경우 모션감지의 예외상황으로 판단하여 움직임이 없는 블록으로 처리하는 단계;
    m번 이상 연속하여 움직임이 있는 것으로 판단된 블록의 개수가 n개 이상인 경우 영상 프레임에 움직임이 있는 것으로 판단하고, 움직임이 있는 블록의 개수가 n개 미만인 경우 상기 영상 프레임에 움직임이 없는 것으로 판단하는 단계;
    상기 영상 프레임에 사용자의 움직임이 있는 것으로 판단된 경우, 전후 영상 프레임의 픽셀 밝기값의 차이를 산출하는 단계; 및
    상기 전후 영상 프레임의 픽셀 밝기값의 차이가 소정의 임계치(Th2) 이상인 경우 모션감지의 예외상황으로 판단하여 사용자의 움직임이 없는 것으로 예외처리하는 단계를 포함하는 것을 특징으로 하는 영상표시장치의 모션감지방법.
PCT/KR2019/008988 2019-07-19 2019-07-19 영상표시장치 및 영상표시장치의 모션감지방법 Ceased WO2021015309A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020227005234A KR102814641B1 (ko) 2019-07-19 2019-07-19 영상표시장치 및 영상표시장치의 모션감지방법
EP19938654.1A EP4002063A4 (en) 2019-07-19 2019-07-19 IMAGE DISPLAY DEVICE AND METHOD FOR DETECTING MOTION OF IMAGE DISPLAY DEVICE
PCT/KR2019/008988 WO2021015309A1 (ko) 2019-07-19 2019-07-19 영상표시장치 및 영상표시장치의 모션감지방법
US16/929,851 US11587483B2 (en) 2019-07-19 2020-07-15 Image display device and motion detection method of image display device
US17/942,993 US11721257B2 (en) 2019-07-19 2022-09-12 Image display device and motion detection method of image display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2019/008988 WO2021015309A1 (ko) 2019-07-19 2019-07-19 영상표시장치 및 영상표시장치의 모션감지방법

Publications (1)

Publication Number Publication Date
WO2021015309A1 true WO2021015309A1 (ko) 2021-01-28

Family

ID=74192549

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/008988 Ceased WO2021015309A1 (ko) 2019-07-19 2019-07-19 영상표시장치 및 영상표시장치의 모션감지방법

Country Status (4)

Country Link
US (2) US11587483B2 (ko)
EP (1) EP4002063A4 (ko)
KR (1) KR102814641B1 (ko)
WO (1) WO2021015309A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109683844A (zh) * 2019-01-11 2019-04-26 京东方科技集团股份有限公司 条形屏控制电路、条形屏显示系统以及条形屏控制方法
EP4002063A4 (en) 2019-07-19 2023-11-01 LG Electronics Inc. IMAGE DISPLAY DEVICE AND METHOD FOR DETECTING MOTION OF IMAGE DISPLAY DEVICE
US20250123671A1 (en) * 2021-09-08 2025-04-17 Lg Electronics Inc. Display device
WO2025053294A1 (ko) * 2023-09-04 2025-03-13 엘지전자 주식회사 무선 전송 장치 및 무선 디스플레이 시스템
KR102852148B1 (ko) * 2024-10-31 2025-08-29 주식회사 스포클립에이아이 챌린지 참여 데이터를 기초로 하는 랭킹 산정 시스템 및 그 방법
KR102852147B1 (ko) * 2024-11-01 2025-08-29 주식회사 스포클립에이아이 Ai를 기반으로 스포츠 챌린지 리워드를 결정하는 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101570869B1 (ko) * 2014-12-31 2015-11-23 엘지디스플레이 주식회사 롤러블 디스플레이 장치
KR20160098677A (ko) * 2015-02-10 2016-08-19 삼성디스플레이 주식회사 롤러블 표시장치
US20160320804A1 (en) * 2015-04-30 2016-11-03 Samsung Electronics Co., Ltd. Rollable display device
KR20170123382A (ko) * 2016-04-28 2017-11-08 엘지디스플레이 주식회사 두루마리형 연성표시장치
US20180279490A1 (en) * 2008-01-04 2018-09-27 NanoLumens Acquisition, Inc Display System and Method of Use

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1418555B1 (de) * 1999-12-17 2007-10-10 Siemens Schweiz AG Präsenzmelder und dessen Verwendung
KR101148787B1 (ko) * 2010-01-18 2012-05-24 한국과학기술원 퍼블릭 디스플레이 방법, 장치 및 시스템
KR20130058275A (ko) * 2011-11-25 2013-06-04 현대자동차주식회사 스마트 ａｖｎ 웰컴 시스템
KR101383092B1 (ko) * 2012-06-27 2014-04-17 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
KR102070244B1 (ko) * 2012-08-01 2020-01-28 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 제어 방법
KR20140091319A (ko) * 2013-01-11 2014-07-21 이정남 Led 조명등 제어장치
KR102469625B1 (ko) * 2015-10-13 2022-11-22 엘지전자 주식회사 디스플레이 디바이스
KR102387115B1 (ko) * 2015-11-18 2022-04-18 삼성전자주식회사 전자 장치 및 이의 제어 방법
WO2018016095A1 (ja) * 2016-07-19 2018-01-25 Ｇａｔｅｂｏｘ株式会社 画像表示装置、話題選択方法、話題選択プログラム、画像表示方法及び画像表示プログラム
WO2019039634A1 (ko) * 2017-08-25 2019-02-28 엘지전자 주식회사 영상표시장치
US11071218B2 (en) * 2019-04-10 2021-07-20 Apple Inc. Electronic devices having sliding expandable displays
EP4002063A4 (en) 2019-07-19 2023-11-01 LG Electronics Inc. IMAGE DISPLAY DEVICE AND METHOD FOR DETECTING MOTION OF IMAGE DISPLAY DEVICE

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180279490A1 (en) * 2008-01-04 2018-09-27 NanoLumens Acquisition, Inc Display System and Method of Use
KR101570869B1 (ko) * 2014-12-31 2015-11-23 엘지디스플레이 주식회사 롤러블 디스플레이 장치
KR20160098677A (ko) * 2015-02-10 2016-08-19 삼성디스플레이 주식회사 롤러블 표시장치
US20160320804A1 (en) * 2015-04-30 2016-11-03 Samsung Electronics Co., Ltd. Rollable display device
KR20170123382A (ko) * 2016-04-28 2017-11-08 엘지디스플레이 주식회사 두루마리형 연성표시장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4002063A4 *

Also Published As

Publication number Publication date
KR102814641B1 (ko) 2025-05-29
EP4002063A4 (en) 2023-11-01
US11721257B2 (en) 2023-08-08
US20230005403A1 (en) 2023-01-05
US11587483B2 (en) 2023-02-21
KR20220037466A (ko) 2022-03-24
EP4002063A1 (en) 2022-05-25
US20210020088A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
WO2021015309A1 (ko) 영상표시장치 및 영상표시장치의 모션감지방법
WO2014035072A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
EP3997866A1 (en) System and method for content enhancement using quad color filter array sensors
US8384754B2 (en) Method and system of providing lighting for videoconferencing
WO2011068363A2 (en) Power control method of gesture recognition device by detecting presence of user
WO2011068362A2 (en) Power control method of device controllable by user's gesture
WO2011074891A2 (en) Method and system for controlling output of a mobile device
WO2018117754A1 (en) Display device for adjusting color temperature of image and display method for the same
WO2012115408A2 (ko) 이미지 센서 및 이를 포함하는 촬영 장치
WO2018080000A1 (ko) 디스플레이 장치 및 방법
WO2014171675A1 (en) Method of processing image and electronic device and system supporting the same
EP2277306A2 (en) Apparatus and method for correcting moving image wavering
EP3058449A1 (en) Display device and calibration method thereof
WO2012165845A2 (en) Display apparatus and method
WO2021230524A1 (ko) 플리커 현상을 경감하는 디스플레이 장치 및 그것을 포함하는 전자 장치
WO2011027983A2 (ko) 도트 조명을 이용한 영상 침입 감지 시스템 및 방법
WO2019135512A1 (ko) 디스플레이장치 및 그 제어방법
CN113851096A (zh) 亮度检测方法、装置及存储介质
WO2018079877A1 (ko) 광역 영상의 동적 범위를 압축하는 영상 처리 장치 및 방법
WO2016064107A1 (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
WO2023163515A1 (ko) 개용 인터랙티브 표시 시스템, 이의 동작 방법 및 개용 인터랙티브 표시 장치
WO2022065613A1 (en) Electronic apparatus and method of controlling the same
WO2020101324A1 (en) Display apparatus and method of controlling the same
WO2019074227A1 (ko) 전자장치 및 그 제어방법
WO2019194351A1 (ko) 360도 영상을 지원하는 지능형 감시 카메라 및 이를 이용한 지능형 감시 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19938654

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20227005234

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019938654

Country of ref document: EP

Effective date: 20220221