WO2014129683A1 - 원격 포인팅 방법 - Google Patents

원격 포인팅 방법 Download PDF

Info

Publication number
WO2014129683A1
WO2014129683A1 PCT/KR2013/001392 KR2013001392W WO2014129683A1 WO 2014129683 A1 WO2014129683 A1 WO 2014129683A1 KR 2013001392 W KR2013001392 W KR 2013001392W WO 2014129683 A1 WO2014129683 A1 WO 2014129683A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pointing
user
camera
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/001392
Other languages
English (en)
French (fr)
Inventor
이가민
김성진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to US14/769,562 priority Critical patent/US9734582B2/en
Priority to PCT/KR2013/001392 priority patent/WO2014129683A1/ko
Publication of WO2014129683A1 publication Critical patent/WO2014129683A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Definitions

  • the present invention relates to a remote pointing method.
  • a broadcast signal receiver (television, TV) having a network function of receiving a data stream transmitted by a real time streaming method through a network such as the Internet, and decoding and signaling the audio and video signals.
  • Display devices such as these are widely used.
  • the display device may perform a function of selecting a predetermined object displayed on the screen or moving a pointer by using a gesture of the user. This method may be referred to as a remote pointing method.
  • An object of the present invention is to provide a remote pointing method that simplifies the operation of detecting a user's gesture.
  • a first camera and a second camera which are spaced apart from each other, take a picture of an image, and a first image taken by the first camera. Detecting a pointing part in a first image, setting a region of interest including the pointing portion in a second image photographed by the second camera, and pointing in the region of interest Detecting stereo coordinates of the portion.
  • the method may further include tracking a movement trajectory of the pointing portion using the solid coordinates of the pointing portion.
  • the detecting of the pointing portion may further include detecting a first plane coordinate of the pointing portion in the first image, and setting the ROI may further include detecting a second planar coordinate of the pointing portion in the ROI.
  • the method may further include detecting a plane coordinate.
  • the three-dimensional coordinates may be detected by using a difference between the first and second planar coordinates.
  • the first planar coordinate includes coordinates of a first center point of the pointing portion in the first image
  • the second planar coordinate includes coordinates of a second center point of the pointing portion in the second image
  • the three-dimensional coordinates of the center point of the pointing portion may be detected using the difference between the first center point coordinates and the second center point coordinates.
  • the size of the ROI in the second image may be larger than the size of the portion occupied by the pointing portion in the first image.
  • Another remote pointing method comprises the steps of photographing an image of a first camera (First Camera) and a second camera (Second Camera) spaced apart from each other, the first camera photographed Setting a first ROI including a pointing part in an first image, including the pointing part in a second image photographed by the second camera, and including the first ROI Setting a second region of interest corresponding to the region, extracting a depth map using the first region of interest and the second region of interest, and tracking a movement trajectory of the pointing portion in the depth map; It may further comprise the step.
  • the size of the first region of interest and the size of the second region of interest may be the same.
  • the remote pointing method according to the present invention simplifies the operation of detecting a user's gesture, thereby simplifying the configuration of the driver and reducing manufacturing costs.
  • the remote pointing method according to the present invention has an effect of reducing a resource used to detect a user's gesture.
  • FIG. 1 is a view for explaining the configuration of a display device to which the remote pointing method according to the present invention is applied;
  • FIG. 2 is a view for explaining the movement of the user's pointing portion and the control method accordingly;
  • 3 to 6 are diagrams for explaining a motion command
  • 7 to 22 are diagrams for describing in detail a method of detecting a motion command.
  • first and second may be used to describe various components, but the components may not be limited by the terms. The terms may be used only for the purpose of distinguishing one component from another component.
  • first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component.
  • the broadcast signal receiver described as an example of the display device in the present specification is, for example, an intelligent video display device in which a computer support function is added to a broadcast reception function. It can be equipped with a more convenient interface such as a touch screen or a space remote controller.
  • a computer support function is added to a broadcast reception function.
  • It can be equipped with a more convenient interface such as a touch screen or a space remote controller.
  • by being connected to the Internet and a computer with the support of a wired or wireless Internet function it is possible to perform functions such as e-mail, web browsing, banking or gaming. Standardized general-purpose operating systems can be used for these various functions.
  • the broadcast signal receiver described in the present invention various applications can be freely added or deleted, for example, on a general-purpose OS kernel, and thus various user-friendly functions can be performed.
  • the broadcast signal receiver may be a network TV, an HBBTV, a smart TV, or the like, and may be applied to a smartphone in some cases.
  • a display signal receiver according to the present invention will be described using a broadcast signal receiver as an example.
  • the broadcast signal receiver may be interpreted as a display device.
  • FIG. 1 is a view for explaining the configuration of a display device to which the remote pointing method according to the present invention is applied.
  • the display apparatus 10 may include a display 100, a receiver 105Q, an external device interface 135Q, a storage 140Q, a user input interface 150Q, a controller 170Q, and a command. It may include an input unit 160Q.
  • the display unit 100 may be referred to as a display panel.
  • the display apparatus 10 includes a voice output unit 185Q for outputting a voice, an acoustic sensing unit 191Q for sensing a voice, and a motion sensing unit for sensing a user's movement and the like. It may include (192Q).
  • the receiver 105Q may include a tuner 110Q, a demodulator 120Q, and a network interface unit 130Q. If necessary, the tuner 110Q and the demodulator 120Q may be provided while the network interface 130Q is not included. On the contrary, the tuner 110Q and the demodulator are provided while the network interface 130Q is provided. It is also possible to design not to include 120Q.
  • the tuner 110Q selects an RF broadcast signal corresponding to a channel selected by the user or all pre-stored channels from among RF (Radio Frequency) broadcast signals received through the antenna.
  • the selected RF broadcast signal is converted into an intermediate frequency signal or a baseband video or audio signal.
  • the demodulator 120Q receives the digital IF signal DIF converted by the tuner 110Q and performs a demodulation operation.
  • the demodulator 120Q may output a stream signal TS after performing demodulation and channel decoding.
  • the stream signal may be a signal multiplexed with a video signal, an audio signal, or a data signal.
  • the stream signal output from the demodulator 120Q may be input to the controller 170Q.
  • the controller 170Q After performing demultiplexing, image / audio signal processing, and the like, the controller 170Q outputs an image to the display unit 100 and outputs an audio to the audio output unit 185Q.
  • the external device interface unit 135Q may connect the external device to the display device 10 according to the present invention.
  • the external device interface unit 135Q may include an A / V input / output unit (not shown) or a wireless communication unit (not shown).
  • the network interface unit 130Q provides an interface for connecting the display apparatus 10 to a wired / wireless network including an internet network.
  • the network interface unit 130Q may transmit or receive data with another user or another electronic device through the connected network or another network linked to the connected network.
  • the storage unit 140Q may store a program for processing and controlling each signal in the controller 170Q, or may store a signal-processed video, audio, or data signal.
  • the display apparatus 10 may reproduce and provide a content file (video file, still image file, music file, document file, application file, etc.) stored in the storage 140Q to the user.
  • a content file video file, still image file, music file, document file, application file, etc.
  • the command input unit 160Q may include an input key for the user to input a command.
  • the command input unit 160Q may include a wired input unit 190Q for inputting a command by wire and a wireless input unit 200Q for inputting a command by wireless.
  • the command input unit 160Q may input various commands such as power on / off, channel selection, screen setting, volume control, movement of a cursor (pointer) on the screen, and menu selection. .
  • the wireless input unit 200Q may be a remote controller for remote control.
  • the user input interface unit 150Q may transmit a signal input by the user through the command input unit 160Q to the control unit 170Q, or may transmit a signal from the control unit 170Q to the command input unit 160Q.
  • the controller 170Q demultiplexes the input stream or processes the demultiplexed signals through the tuner 110Q, the demodulator 120Q, or the external device interface 135Q, and outputs a video or audio signal. You can create and output.
  • the image signal processed by the controller 170Q may be input to the display unit 100 and displayed as an image corresponding to the image signal.
  • the image signal processed by the controller 170Q may be input to the external output device through the external device interface unit 135.
  • the voice signal processed by the controller 170Q may be output to the voice output unit 185Q.
  • the voice signal processed by the controller 170Q may be input to the external output device through the external device interface unit 135Q.
  • controller 170Q may control overall operations of the display apparatus 10.
  • the controller 170Q may control the tuner 110Q to control selecting of an RF broadcast corresponding to a channel selected by a user or a previously stored channel.
  • controller 170Q may control the display apparatus 10 by a user command or an internal program input through the user input interface unit 150Q.
  • the controller 170Q may control the display 100 to display an image.
  • the controller 170Q may control to reproduce the content.
  • the content may be content stored in the display apparatus 10, received broadcast content, or external input content input from the outside.
  • the content may be at least one of a broadcast image, an external input image, an audio file, a still image, a connected web screen, and a document file.
  • the display unit 100 converts an image signal, a data signal, an OSD signal processed by the controller 170Q, or an image signal or data signal received from the external device interface unit 135Q into R, G, and B signals, respectively. Generate a signal.
  • the display unit 100 may be a PDP, an LCD, an OLED, a flexible display, a 3D display, or the like.
  • the display unit 100 may be configured as a touch screen and used as an input device in addition to the output device.
  • the voice output unit 185Q receives a signal processed by the controller 170Q, for example, a stereo signal, a 3.1 channel signal, or a 5.1 channel signal, and outputs a voice signal.
  • the voice output unit 185Q may be implemented by various types of speakers.
  • the sound sensing unit 191Q may sense sound generated inside or outside the display device 10.
  • the sound sensing unit 191Q may sense various sounds such as telephone ringing, doorbell, water, and a user's voice generated from the outside of the display apparatus 10.
  • the sound sensing unit 191Q may include a voice sensor or a microphone.
  • the motion sensing unit 192Q may sense a user's movement.
  • the motion sensing unit 192Q may include a sensor unit (not shown) including at least one of a touch sensor, a voice sensor, a position sensor, and a motion sensor.
  • the signal detected by the sensor unit may be transmitted to the controller 170Q.
  • the motion sensing unit 192Q may include a camera 200. Image information captured by the camera 200 may be input to the controller 170Q.
  • the motion sensing unit 192Q may include a sensor unit and a camera 200 together.
  • the controller 170Q may detect a user's gesture by combining or respectively combining an image captured by the camera 200 or a detected signal from a sensing unit (not shown).
  • the motion sensing unit 192Q may sense the movement of a predetermined pointing part of the user's body under the control of the controller 170Q.
  • controller 170Q may move the pointer displayed on the display 100 according to the movement of the pointing portion, select an object displayed on the display 100, or perform a preset function. Can be.
  • the motion sensing unit 192Q may sense not only the user's motion but also information such as the shape of the user's face and the direction in which the user's face is directed.
  • the camera 200 may include a plurality of cameras.
  • the plurality of cameras may operate as a stereo camera.
  • FIG. 2 is a view for explaining the movement of the user's pointing portion and the control method accordingly. In the following, the description of the parts described above in detail will be omitted.
  • FIG. 2 a case in which a user inputs a movement command using the hand 300 will be described as an example. That is, FIG. 2 illustrates a case in which the user's hand 300 is set as a pointing portion.
  • the present invention is not limited thereto, and it may be possible to input a movement command using other parts of the user's arm and leg.
  • the pointing part may be the case of the wireless input unit 200Q.
  • the pointer C displayed on the display unit 100 when the user moves the hand 300 up / down, left / right, the pointer C displayed on the display unit 100 also moves up / down, left / right corresponding to the user's hand 300. I can move it.
  • the pointer C displayed on the display unit 100 may also rotate.
  • the motion sensing unit 192Q may detect this.
  • the motion sensing unit 192Q may use a camera to detect a user's motion.
  • the controller 170Q may calculate coordinates of a portion on which the pointer C is to be displayed from information about the movement of the user's hand 300.
  • the display unit 100 of the display apparatus 10 may display the pointer C to correspond to the coordinates calculated by the controller 170Q.
  • the display unit corresponding to the pointer C in response to a specific operation of the user (
  • the selection area in the display 100 may be zoomed in to be enlarged and displayed.
  • the selection area in the display unit 100 corresponding to the pointer C may be zoomed out to be reduced in display. have.
  • 3 to 6 are diagrams for explaining a motion command. In the following, description of the details described above will be omitted.
  • the motion of the pointing part described below may be sensed by the motion sensing unit 192Q described above.
  • the movement command corresponds to the movement of the user's body, that is, the gesture will be described as an example.
  • the movement command may be input by the movement of another object such as the wireless input unit 200Q or a bar. .
  • the pointer C when entering the remote pointing mode (S300), the pointer C may be displayed on the display unit 100 (S310).
  • the remote key input mode may be set when the user directly inputs a command to enter the remote pointing mode to an input means such as the wireless input unit 200Q.
  • the remote pointing mode may be set by a user's movement command.
  • the remote pointing mode may be set.
  • the present invention is not limited thereto, and the method of setting the remote pointing mode may be variously changed.
  • operation S320 it may be determined whether a movement command is input while the pointer C is displayed on the display unit 100.
  • the movement command may be regarded as being input when the preset pointing part of the user's body moves in response to a predetermined pattern in the remote pointing mode.
  • the pointer C displayed on the display 100 may also move from left to right in response to the movement of the hand 300 of the user.
  • 4 may correspond to a case in which the user's hand 300 is set as a pointing portion.
  • the movement of the user's hand 300 may correspond to a movement command for moving the pointer C.
  • the user's hand 300 that is, the pointing portion is assumed to move in the horizontal direction, but the present invention may not be limited thereto.
  • the hand 300 moves in the vertical direction (DRV)
  • the pointer C may be rotated or moved diagonally on the display unit 100.
  • the user's hand 300 folds the index finger in the form of folding the index finger, among the objects displayed on the display unit 100 as in the case of FIG. 5A. It is possible to select the object 400 corresponding to the pointer C. Alternatively, it is possible to perform a preset function corresponding to the object 400. Alternatively, the registration information corresponding to the object 400 may be displayed on the display unit 100.
  • the movement of the user's forefinger may correspond to the movement command.
  • 5 may correspond to a case in which the user's hand 300 is set as the pointing portion or the forefinger is set as the pointing portion in the user's hand 300.
  • a movement command corresponding to a function of moving the pointer C may be input when the user moves the palm in a predetermined direction with the palm open.
  • a movement command corresponding to a function of selecting a predetermined object or the like may be input when the user clenches a fist while holding a palm open.
  • the movement command may be input when the distance between the pointing portion (hand 300) and the display unit 100 is changed as in the case of FIG. 6.
  • the predetermined object displayed on the display unit 100 is selected.
  • a motion command corresponding to a function of, for example, may be input.
  • FIGS. 7 to 22 are diagrams for describing in detail a method of detecting a motion command.
  • the description of the details described above may be omitted.
  • a case in which the pointing portion is the user's hand 300 will be described as an example.
  • Detection of a movement command can be seen as detecting a user's gesture.
  • the detection of the motion command can also be seen as detecting the motion of the pointing portion.
  • the camera may capture an image of a subject (S400).
  • an image of the user 500 may be photographed.
  • the first camera 200a and the second camera 200b may be included in the motion sensing unit 192Q described above.
  • an image photographed by the first camera 200a is called a first image
  • an image photographed by the second camera 200b is called a second image.
  • FIG. 9A shows a first image 600 taken by the first camera 200a
  • FIG. 9B shows a second image 610 taken by the second camera 200b. have.
  • the first image 600 and the second image 610 may appear identical at first glance, but may be different.
  • the position of the user 500 on the first image 600 and the user on the second image 610 may be different.
  • the position of 500 may be slightly different.
  • this may be a phenomenon caused by a different shooting position for the user 500 of the first camera 200a and a shooting position for the user 500 of the second camera 200b. .
  • the pointing portion may be detected in any one of the first image 600 and the second image 610.
  • a pointing portion for example, the hand 300 of the user 500 may be detected in the first image 600.
  • the controller 170Q of the display apparatus 10 compares the first image 600 with the information about the hand stored in the memory, and corresponds to the previously stored information in the first image 600.
  • the hand 300 of the user 500 may be detected by the method of detecting the portion.
  • the hand 300 of the user 500 may be included in the portion indicated by the reference numeral 700 in FIG. 11A.
  • the area 700 is referred to as a first area.
  • the plane coordinates of the pointing portion may be detected in the first image 600.
  • the plane coordinates detected on the first image 600 may be referred to as first plane coordinates.
  • the X-axis coordinates Xa-Xb and the Y-axis coordinates Ya-Yb of the first area 700 including the hand 300 of the user 500. ) Can be detected.
  • the ROI 710 including the pointing portion detected in the first image 600, that is, the hand 300 of the user 500 is captured in the second image 610.
  • planar coordinates detected on the second image 610 may be referred to as second planar coordinates.
  • the X-axis coordinates Xc-Xd and the Y-axis coordinates Yc-Yd of the ROI 710 including the hand 300 of the user 500. Can be detected.
  • 12A and 12B illustrate a case where the plane coordinates of the first area 700 and the ROI 710 including the hand 300 of the user 500 are respectively detected. It may also be possible to detect the plane coordinates of the hand 300 of the user 500 in the first area 700 and the hand 300 of the user 500 in the ROI 710.
  • the ROI 710 may be set based on the pointing portion detected on the first image 600, that is, the coordinates of the hand 300 of the user 500, that is, the first plane coordinate.
  • the second image 610 is taken by the second camera 200b and the first image 610 is taken by the first camera 200a, the second image 610 is taken by the hand 300 in the second image 610. Coordinates and the coordinates of the hand 300 in the first image 600 may be different.
  • the size of the ROI 710 in the second image 610 is a pointing portion in the first image 600. That is, it may be desirable to be larger than the size of the portion occupied by the hand 300.
  • the X-axis coordinates of the first area 700 including the hand 300 in the first image 600 are Xa-Xb and the Y-axis coordinates are Ya-Yb.
  • the X-axis coordinate of the ROI 710 including the hand 300 is Xc-Xd including the Xa-Xb region
  • the Y-axis coordinate is Yc including the Ya-Yb region. May be -Yd.
  • the size of the ROI 710 may be larger than the size of the first region 700.
  • the first area 700 is described herein as an arbitrary area including the hand 300 on the first image 600, the first area 700 is defined by the hand 300 in the first image 600. It is also possible to mean the part occupied.
  • a pointing portion included in the ROI 710 for example, a stereo coordinate of the hand 300 may be detected (S430).
  • the stereoscopic coordinate can be detected using the spatial distance L1 between the first camera 200a and the second camera 200b and the difference between the first planar coordinate and the second planar coordinate.
  • the first planar coordinate includes a pointing portion in the first image 600, that is, the coordinate of the center point of the hand 300 of the user 500, and the second planar coordinate is pointing in the second image 610. It may include the coordinates of the center point of the part.
  • the coordinate of the center point of the hand 300 of the user 500 in the first image 600 is referred to as the first center point coordinate
  • the coordinate of the center point of the hand 300 of the user 500 in the second image 610. May be referred to as a second center point coordinate.
  • the spatial distance L1 between the first camera 200a and the second camera 200b and the difference between the first center point coordinates and the second center point coordinates are used to determine the center point of the pointing portion.
  • Stereo coordinates can be detected.
  • a plane coordinate of the center point of the hand 300 of the user 500 that is, the first center point coordinates Xc1 and Yc1 is detected.
  • the plane coordinates of the center point of the hand 300 of the user 500 that is, the second center point coordinates Xc2 and Yc2 may be detected in the second image 610.
  • Yc1 and Yc2 may be the same value.
  • the first center point coordinates Xc1 and Yc1 and the second center point coordinates Xc2 and Yc2. For example, the difference L2 between the X center coordinates of the first center point coordinates Xc1 and Yc1 and the second center point coordinates Xc2 and Yc2.
  • the difference between the spatial distance L1 between the first camera 200a and the second camera 200b and the X-axis coordinates of the first center point coordinates Xc1 and Yc1 and the second center point coordinates Xc2 and Yc2 (L2)
  • the distance L3 between the subject, for example, the user 500 and the first and second cameras 200a and 200b may be detected by using the ratio of.
  • the photographing angles of the first and second cameras 200a and 200b may be further considered.
  • the X-axis coordinates of the first center point coordinates Xc1 and Yc1 and the second center point coordinates Xc2 and Yc2 are determined. If the difference L2 will be relatively large, while the user 500 is located relatively far from the first and second cameras 200a and 200b, the first center point coordinates Xc1 and Yc1 and the second center point coordinates The difference L2 of the X-axis coordinates of (Xc2, Yc2) will be relatively small.
  • the hand 300 of the user 500 Can be obtained.
  • the solid coordinates of the center point of the hand 300 of the user 500 may be approximately determined as ((Xc1 + Xc2) / 2, Yc1 (or Yc2), L3).
  • the trajectory of the hand 300 of the user 500 may be detected (S440).
  • the movement of the hand 300 of the user 500 may be detected as a result, and thus the movement command may be detected.
  • the first to fifth portions P1a to P5a of the hand 300 are set in the first image 600, and the first to fifth portions P1a-P5a are set in the second image 610.
  • the sixth to tenth portions P1b to P5b of the hand 300 corresponding to P1a to P5a may be set.
  • the first portion P1a corresponds to the sixth portion P1b
  • the second portion P2a corresponds to the seventh portion P2b
  • the third portion P3a corresponds to the eighth portion P3b
  • the fourth part P4a may correspond to the ninth part P4b
  • the fifth part P5a may correspond to the tenth part P5b.
  • the ROI is detected from the first image 600 of the first image 600 and the second image 610, and includes the pointing portion in the second image 610.
  • the pointing portion is detected in the second image 610 of the first image 600 and the second image 610, and the ROI including the pointing portion is set in the first image 600. It may be possible.
  • the first camera 200a and the second camera 200b may capture the first image 600 and the second image 610.
  • the depth map may be extracted using the first image 600 and the second image 610 (S510).
  • the depth map is a difference between the coordinates of all the pixels of the first image 600 and the second image 610. Since the depth map is a widely known technique in the field of stereoscopic imaging, a detailed description of the depth map is omitted.
  • a predetermined pointing part may be detected from the extracted depth map (S520).
  • the trajectory of the pointing portion can be detected as a result.
  • a method of detecting a pointing portion in the first image 600 first, then setting a region of interest corresponding to the pointing portion in the second image 610, and detecting stereoscopic coordinates of the pointing portion in response to the region of interest By using, since it is not necessary to add a computing chip, the manufacturing cost can be reduced.
  • the operation process may be relatively simple.
  • the first region 600 and the second image 610 may be configured to set a region of interest including a pointing portion, and extract a depth map of the region of interest to detect a movement trajectory of the pointing portion. It is possible to do This is described below.
  • an image of a subject for example, a user 500 may be photographed using the first camera 200a and the second camera 200b that are spaced apart from each other by a predetermined distance L1 (S600). ).
  • a first ROI including a pointing portion for example, the hand 300 of the user 500 may be set (S610).
  • a second ROI including a pointing portion for example, the hand 300 of the user 500 may be set in the second image 610 captured by the second camera 200b (S620).
  • a pointing portion for example, the hand 300 of the user 500 may be detected in the first image 600.
  • the controller 170Q of the display apparatus 10 compares the information about the hand stored in the memory with the first image 600 and detects a portion corresponding to the previously stored information in the first image 600. In this manner, the hand 300 of the user 500 may be detected.
  • the first ROI 800 may be set to include the hand 300.
  • the second region of interest 810 including the pointing portion detected from the first image 600, that is, the hand 300 of the user 500 may be viewed as the second image (FIG. 610 can be set.
  • the size of the first region of interest 800 and the size of the second region of interest 810 may be the same.
  • the plane coordinates of the first region of interest 800 and the plane coordinates of the second region of interest 810 may be the same.
  • the first ROI on the second image 610 may be X1-X2, and the Y-axis coordinate may be Y1-Y2.
  • the reason for equalizing the size of the first ROI 800 and the second ROI 810 is to extract a depth map using the first ROI 800 and the second ROI 810. .
  • the depth map may be extracted using the first region of interest 800 and the second region of interest 810 (S630).
  • the image data of the first region of interest 800 is compared with the image data of the second region of interest 810, so that a predetermined portion of the first region of interest 800, for example, the hand 300 and the second region of interest, is included.
  • the depth map including information on the distance of the hand 300 at 810 is extracted.
  • the movement trajectory of the pointing portion may be detected using the continuously extracted depth map (S640).
  • the operation process can be relatively simple.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 원격 포인팅 방법에 관한 것이다. 본 발명에 따른 원격 포인팅 방법은 공간적으로 이격되어 배치되는 제 1 카메라(First Camera)와 제 2 카메라(Second Camera)가 이미지(Image)를 촬영하는 단계, 상기 제 1 카메라가 촬영한 제 1 이미지(First Image)에서 포인팅 부분(Pointing Part)을 검출하는 단계, 상기 제 2 카메라가 촬영한 제 2 이미지(Second Image)에서 상기 포인팅 부분을 포함하는 관심영역을 설정하는 단계 및 상기 관심영역 내에서 상기 포인팅 부분의 입체좌표를 검출하는 단계를 포함할 수 있다.

Description

원격 포인팅 방법
본 발명은 원격 포인팅 방법에 관한 것이다.
일반적으로, 인터넷(Internet) 등과 같은 네트워크를 통해 실시간 스트리밍(Streaming) 방식으로 전송되는 데이터 스트림을 수신하여, 오디오 및 비디오 신호로 디코딩 및 신호 처리하는 네트워크 기능이 구비된 방송신호 수신기(텔레비전, TV) 등의 디스플레이 장치가 널리 보급되어 사용되고 있다.
디스플레이 장치에서는 사용자의 제스처(Gesture)를 이용하여 화면에 표시된 소정의 객체(Object)를 선택하거나, 포인터(Pointer)를 이동시키는 등의 기능을 수행할 수 있다. 이러한 방법을 원격 포인팅 방법이라 할 수 있다.
종래 디스플레이 장치에서 사용되는 원격 포인팅 방법에서는 사용자의 제스처를 검출하는 연산과정이 복잡하다는 문제점이 있다.
본 발명은 사용자의 제스처를 검출하는 연산과정을 단순화한 원격 포인팅 방법을 제공하는데 그 목적이 있다.
본 발명에 따른 원격 포인팅 방법은 공간적으로 이격되어 배치되는 제 1 카메라(First Camera)와 제 2 카메라(Second Camera)가 이미지(Image)를 촬영하는 단계, 상기 제 1 카메라가 촬영한 제 1 이미지(First Image)에서 포인팅 부분(Pointing Part)을 검출하는 단계, 상기 제 2 카메라가 촬영한 제 2 이미지(Second Image)에서 상기 포인팅 부분을 포함하는 관심영역을 설정하는 단계 및 상기 관심영역 내에서 상기 포인팅 부분의 입체좌표를 검출하는 단계를 포함할 수 있다.
또한, 상기 포인팅 부분의 상기 입체좌표를 이용하여 상기 포인팅 부분의 이동궤적을 추적하는 단계를 더 포함할 수 있다.
또한, 상기 포인팅 부분을 검출하는 단계에서는 상기 제 1 이미지에서 상기 포인팅 부분의 제 1 평면좌표를 검출하는 단계를 더 포함하고, 상기 관심영역을 설정하는 단계에서는 상기 관심영역에서 상기 포인팅 부분의 제 2 평면좌표를 검출하는 단계를 더 포함할 수 있다.
또한, 상기 입체좌표를 검출하는 단계에서는 상기 제 1 평면좌표와 상기 제 2 평면좌표의 차이를 이용하여 상기 입체좌표를 검출할 수 있다.
또한, 상기 제 1 평면좌표는 상기 제 1 이미지에서 상기 포인팅 부분의 제 1 중심점의 좌표를 포함하고, 상기 제 2 평면좌표는 상기 제 2 이미지에서 상기 포인팅 부분의 제 2 중심점의 좌표를 포함하고, 상기 입체좌표를 검출하는 단계에서는 상기 제 1 중심점 좌표와 상기 제 2 중심점 좌표의 차이를 이용하여 상기 포인팅 부분의 중심점에 대한 입체좌표를 검출할 수 있다.
또한, 상기 제 2 이미지에서 상기 관심영역의 크기는 상기 제 1 이미지에서 상기 포인팅 부분이 차지하는 부분의 크기보다 더 클 수 있다.
본 발명에 따른 또 다른 원격 포인팅 방법은 공간적으로 이격되어 배치되는 제 1 카메라(First Camera)와 제 2 카메라(Second Camera)가 이미지(Image)를 촬영하는 단계, 상기 제 1 카메라가 촬영한 제 1 이미지(First Image)에서 포인팅 부분(Pointing Part)을 포함하는 제 1 관심영역을 설정하는 단계, 상기 제 2 카메라가 촬영한 제 2 이미지(Second Image)에서 상기 포인팅 부분을 포함하고, 상기 제 1 관심영역에 대응하는 제 2 관심영역을 설정하는 단계, 상기 제 1 관심영역과 상기 제 2 관심영역을 이용하여 깊이지도(Depth Map)를 추출하는 단계 및 상기 깊이지도에서 상기 포인팅 부분의 이동궤적을 추적하는 단계를 더 포함할 수 있다.
또한, 상기 제 1 관심영역의 크기와 상기 제 2 관심영역의 크기는 동일할 수 있다.
본 발명에 따른 원격 포인팅 방법은 사용자의 제스처를 검출하는 연산과정을 단순화함으로써, 구동부(Driver)의 구성을 단순화할 수 있으며 제조단가를 줄일 수 있는 효과가 있다.
아울러, 본 발명에 따른 원격 포인팅 방법은 사용자의 제스처를 검출하는데 사용되는 리소스(Resource)를 줄일 수 있다는 효과가 있다.
도 1은 본 발명에 따른 원격 포인팅 방법이 적용되는 디스플레이 장치의 구성을 설명하기 위한 도면;
도 2는 사용자의 포인팅 부분의 움직임과 그에 따른 제어 방법을 설명하기 위한 도면;
도 3 내지 도 6은 움직임 명령에 대해 설명하기 위한 도면; 및
도 7 내지 도 22는 움직임 명령을 검출하는 방법에 대해 상세히 설명하기 위한 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 원격 포인팅 방법에 대해 상세히 설명한다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해될 수 있다.
본 발명을 설명함에 있어서 제 1, 제 2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지 않을 수 있다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다.
및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함할 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급되는 경우는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해될 수 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것으로서, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해될 수 있다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석될 수 있으며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않을 수 있다.
아울러, 이하의 실시예는 당 업계에서 평균적인 지식을 가진 자에게 보다 완전하게 설명하기 위해서 제공되는 것으로서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
본 명세서에서 디스플레이 장치의 일례로 기술되는 방송신호 수신기는, 예컨대 방송 수신 기능에 컴퓨터 지원 기능을 추가한 지능형 영상표시기기로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치스크린 또는 공간 리모트 컨트롤러 등 보다 사용에 편리한 인터페이스를 갖출 수 있다. 그리고, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행가능하다. 이러한 다양한 기능을 위해 표준화된 범용 OS가 사용될 수 있다.
따라서, 본 발명에서 기술되는 방송신호 수신기는, 예를 들어 범용의 OS 커널 상에, 다양한 애플리케이션이 자유롭게 추가되거나 삭제 가능하므로, 사용자 친화적인 다양한 기능이 수행될 수 있다. 이러한 방송신호 수신기의 예를 들면, 네트워크 TV, HBBTV, 스마트 TV 등이 될 수 있으며, 경우에 따라 스마트폰에도 적용 가능하다.
이하에서는 본 발명에 적용되는 디스플레이 장치에 대해 방송신호 수신기를 예로 들어 설명하기로 한다. 이하에서 방송신호 수신기는 디스플레이 장치로 해석될 수 있다.
도 1은 본 발명에 따른 원격 포인팅 방법이 적용되는 디스플레이 장치의 구성을 설명하기 위한 도면이다.
도 1을 살펴보면, 디스플레이 장치(10)는 디스플레이부(100), 수신부(105Q), 외부장치 인터페이스부(135Q), 저장부(140Q), 사용자입력 인터페이스부(150Q), 제어부(170Q) 및 명령 입력부(160Q)를 포함할 수 있다.
디스플레이부(100)는 디스플레이 패널(Display Panel)이라고 할 수 있다.
아울러, 본 발명에 따른 디스플레이 장치(10)는 음성을 출력하기 위한 음성 출력부(185Q), 음성을 센싱(Sensing)하기 위한 음향 센싱부(191Q) 및 사용자의 움직임 등을 센싱하기 위한 모션 센싱부(192Q)를 포함할 수 있다.
본 발명에 따른 디스플레이 장치(10)에 대해 보다 상세히 설명하면 아래와 같다.
수신부(105Q)는, 튜너(110Q), 복조부(120Q), 및 네트워크 인터페이스부(130Q)를 포함할 수 있다. 필요에 따라, 튜너(110Q)와 복조부(120Q)를 구비하면서 네트워크 인터페이스부(130Q)는 포함하지 않도록 설계하는 것도 가능하며, 반대로 네트워크 인터페이스부(130Q)를 구비하면서 튜너(110Q)와 복조부(120Q)는 포함하지 않도록 설계하는 것도 가능하다.
튜너(110Q)는, 안테나를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
복조부(120Q)는, 튜너(110Q)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
복조부(120Q)는, 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때, 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120Q)에서 출력한 스트림 신호는 제어부(170Q)로 입력될 수 있다.
제어부(170Q)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이부(100)에 영상을 출력하고, 음성 출력부(185Q)로 음성을 출력한다.
외부장치 인터페이스부(135Q)는 외부 장치와 본 발명에 따른 디스플레이 장치(10)를 접속할 수 있다. 이를 위해, 외부장치 인터페이스부(135Q)는, A/V 입출력부(미도시) 또는 무선 통신부(미도시)를 포함할 수 있다.
네트워크 인터페이스부(130Q)는 디스플레이 장치(10)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다.
네트워크 인터페이스부(130Q)는, 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
저장부(140Q)는 제어부(170Q) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터신호를 저장할 수도 있다.
디스플레이 장치(10)는 저장부(140Q) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
명령 입력부(160Q)는 사용자가 명령을 입력하기 위한 입력키를 포함할 수 있다. 이러한 명령 입력부(160Q)는 유선으로 명령을 입력하기 위한 유선 입력부(190Q) 및 무선으로 명령을 입력하기 위한 무선 입력부(200Q)를 포함할 수 있다.
이러한 명령 입력부(160Q)는 전원 온/오프, 채널 선택, 화면 설정, 음량 조절, 화면상에서 커서(Cursor, 포인터(Pointer))의 이동, 메뉴(Menu) 선택 등의 다양한 명령을 입력하는 것이 가능하다.
여기서, 무선입력부(200Q)는 원격제어를 위한 리모트 컨트롤러(Remote Controller)일 수 있다.
사용자입력 인터페이스부(150Q)는, 명령 입력부(160Q)를 통해 사용자가 입력한 신호를 제어부(170Q)로 전달하거나, 제어부(170Q)로부터의 신호를 명령 입력부(160Q)로 전달할 수 있다.
제어부(170Q)는, 튜너(110Q) 또는 복조부(120Q) 또는 외부장치 인터페이스부(135Q)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
제어부(170Q)에서 영상 처리된 영상 신호는 디스플레이부(100)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 제어부(170Q)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
제어부(170Q)에서 처리된 음성 신호는 음성 출력부(185Q)로 음성 출력될 수 있다. 또한, 제어부(170Q)에서 처리된 음성 신호는 외부장치 인터페이스부(135Q)를 통하여 외부 출력장치로 입력될 수 있다.
아울러, 제어부(170Q)는, 디스플레이 장치(10) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 제어부(170Q)는, 튜너(110Q)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 제어부(170Q)는 사용자입력 인터페이스부(150Q)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(10)를 제어할 수 있다.
제어부(170Q)는, 영상을 표시하도록 디스플레이부(100)를 제어할 수 있다.
제어부(170Q)는, 컨텐츠를 재생하도록 제어할 수 있다. 이때의 컨텐츠는, 디스플레이 장치(10) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠일 수 있다. 컨텐츠는, 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 중 적어도 하나일 수 있다.
디스플레이부(100)는 제어부(170Q)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부장치 인터페이스부(135Q)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 구동 신호를 생성한다.
디스플레이부(100)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 등이 가능할 수 있다.
한편, 디스플레이부(100)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
음성 출력부(185Q)는 제어부(170Q)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 음성 출력부(185Q)는 다양한 형태의 스피커로 구현될 수 있다.
음향 센싱부(191Q)는 디스플레이 장치(10)의 내부 혹은 외부에서 발생하는 음향을 센싱할 수 있다.
예를 들면, 음향 센싱부(191Q)는 디스플레이 장치(10)의 외부에서 발생하는 전화벨소리, 초인종소리, 물소리, 사용자의 목소리 등의 다양한 음향을 센싱할 수 있다. 이를 위해, 음향 센싱부(191Q)는 음성 센서 혹은 마이크(Microphone)를 포함할 수 있다.
모션 센싱부(192Q)는 사용자의 움직임을 센싱할 수 있다. 이를 위해, 모션 센싱부(192Q)는 터치 센서, 음성 센서, 위치 센서, 동작 센서 중 적어도 하나를 구비하는 센서부(미도시)를 포함할 수 있다. 이러한 센서부에 의해 감지된 신호는 제어부(170Q)로 전달될 수 있다.
아울러, 모션 센싱부(192Q)는 카메라(Camera, 200)를 포함할 수 있다. 카메라(200)가 촬영한 영상 정보는 제어부(170Q)에 입력될 수 있다.
또는, 모션 센싱부(192Q)는 센서부와 카메라(200)를 함께 포함할 수 있다.
제어부(170Q)는 카메라(200)로부터 촬영된 영상 또는 센싱부(미도시)로부터의 감지된 신호를 각각 또는 조합하여 사용자의 제스처를 감지할 수도 있다.
자세하게는, 모션 센싱부(192Q)는, 제어부(170Q)의 제어에 따라, 사용자의 신체 중 미리 설정된 포인팅 부분(Pointing Part)의 움직임을 센싱할 수 있다.
아울러, 제어부(170Q)는 포인팅 부분의 움직임에 따라 디스플레이부(100)에 표시된 포인터(Pointer)를 이동시키거나, 디스플레이부(100)에 표시된 객체(Object)를 선택하거나, 미리 설정된 기능을 수행할 수 있다.
아울러, 모션 센싱부(192Q)는 사용자의 모션 뿐 아니라, 사용자의 안면(Face)의 형태, 사용자의 안면이 향하는 방향 등의 정보를 센싱하는 것도 가능하다.
도시하지는 않았지만, 카메라(200)는 복수의 카메라를 포함할 수 있다. 이러한 복수의 카메라는 스테레오 카메라(Stereo Camera)로 동작할 수 있다.
이에 대해서는 이하에서 보다 상세히 설명한다.
도 2는 사용자의 포인팅 부분의 움직임과 그에 따른 제어 방법을 설명하기 위한 도면이다. 이하에서는 이상에서 상세히 설명한 부분이 설명은 생략한다.
도 2에서는 사용자가 손(300)을 이용하여 움직임 명령을 입력하는 경우를 예로 들어 설명하기로 한다. 즉, 도 2는 사용자의 손(300)이 포인팅 부분으로 설정되는 경우이다. 본 발명은 이에 한정되지 않으며 사용자의 팔, 다리 등의 다른 부분을 이용하여 움직임 명령을 입력하는 경우도 가능할 수 있다.
또는, 본 발명에서 포인팅 부분은 무선입력부(200Q)인 경우도 가능하다.
도 2를 살펴보면, 사용자가 손(300)을 상/하, 좌/우로 이동시키게 되면 디스플레이부(100)에 표시된 포인터(C)도 사용자의 손(300)에 대응하여 상/하, 좌/우로 이동할 수 있다.
아울러, 사용자가 손(300)을 회전시키면 디스플레이부(100)에 표시된 포인터(C)도 회전할 수 있다.
사용자가 소정의 동작을 하게 되면, 모션 센싱부(192Q)가 이를 감지할 수 있다. 모션 센싱부(192Q)는 사용자의 동작을 감지하기 위해 카메라를 이용할 수 있다.
모션 센싱부(192Q)에 의해 감지된 사용자의 손(300)의 움직임에 관한 정보는 디스플레이 장치(10)의 제어부(170Q)로 전송된다.
제어부(170Q)는 사용자의 손(300)의 움직임에 관한 정보로부터 포인터(C)를 표시할 부분의 좌표를 산출할 수 있다. 아울러, 디스플레이 장치(10)의 디스플레이부(100)는 제어부(170Q)가 산출한 좌표에 대응하도록 포인터(C)를 표시할 수 있다.
이처럼, 무선 입력부(200Q) 등의 원격제어장치를 사용하지 않고 사용자의 동작을 이용하여 디스플레이 장치(10)를 제어하는 경우에도, 사용자의 특정 동작에 대응하여 포인터(C)에 대응하는 디스플레이부(100) 내의 선택 영역이 줌인(Zoom in)되어 확대 표시되는 경우도 가능할 수 있고, 포인터(C)에 대응하는 디스플레이부(100) 내의 선택 영역이 줌아웃(Zoom out)되어 축소 표시되는 경우도 가능할 수 있다.
아울러, 사용자의 움직임에 따라 디스플레이부(100)에 표시된 포인터(C)를 이동시키거나 혹은 디스플레이부(100)에 표시된 객체를 선택하는 것도 가능하고, 디스플레이부(100)에 표시된 입력 메뉴 상에서 소정의 키를 선택하는 것도 가능할 수 있다.
도 3 내지 도 6은 움직임 명령에 대해 설명하기 위한 도면이다. 이하에서는 이상에서 상세히 설명한 내용의 설명은 생략한다. 예를 들어, 이하에서 설명하는 포인팅 부분(Pointing Part)의 움직임은 앞서 설명한 모션 센싱부(192Q)가 센싱하는 것이 바람직할 수 있다.
아울러, 이하에서는 움직임 명령이 사용자의 신체의 움직임, 즉 제스처에 대응하는 경우를 예로 들어 설명하지만, 움직임 명령은 무선입력부(200Q), 막대 등의 다른 물건의 움직임에 의해 입력되는 경우도 가능할 수 있다.
도 3을 살펴보면, 원격 포인팅 모드로 진입(S300)하는 경우에, 디스플레이부(100)에 포인터(C)를 표시할 수 있다(S310).
원격 키 입력 모드는 사용자가 원격 포인팅 모드로 진입하라는 명령을 직접 무선입력부(200Q) 등의 입력수단에 입력하는 경우에 설정될 수 있다. 혹은 사용자의 움직임 명령에 의해 원격 포인팅 모드가 설정되는 것도 가능할 수 있다.
혹은, 사용자가 디스플레이부(100)에 표시된 소정 아이콘(Icon) 혹은 객체(Object)를 선택하는 경우에 원격 포인팅 모드가 설정되는 것이 가능할 수 있다. 본 발명은 이에 한정되는 것이 아니면 원격 포인팅 모드의 설정 방법은 다양하게 변경될 수 있다.
디스플레이부(100)에 포인터(C)가 표시된 상태에서 움직임 명령이 입력되는지의 여부를 판단(S320)할 수 있다.
판단결과, 움직임 명령이 입력되는 경우에 움직임 명령에 대응하여 디스플레이부(100) 상에서 포인터(C)를 이동시키거나, 디스플레이부(100)에 표시된 소정의 객체를 선택하거나, 혹은 미리 설정된 기능을 수행하는 것이 가능하다(S330).
여기서, 움직임 명령은, 원격 포인팅 모드에서, 사용자의 신체 중 미리 설정된 포인팅 부분(Pointing Part)이 소정의 패턴(Pattern)에 대응하여 움직이는 경우에 입력되는 것으로 볼 수 있다.
예를 들어, 도 4의 (B)의 경우와 같이, 사용자의 손(300)이 수평방향(Horizontal Direction, DRH)으로, 자세하게는 좌측에서 우측으로 이동하는 경우에, 도 4의 (A)의 경우와 같이 디스플레이부(100)에 표시된 포인터(C)도 사용자의 손(300)의 움직임에 대응하여 좌측에서 우측으로 이동할 수 있다.
도 4의 경우는, 사용자의 손(300)이 포인팅 부분으로 설정되는 경우에 해당할 수 있다.
도 4와 같이, 사용자의 손(300)의 이동이 포인터(C)를 이동시키는 움직임 명령에 대응되는 것이 가능하다.
도 4에서는 사용자의 손(300), 즉 포인팅 부분이 수평방향으로 이동하는 것으로 가정하여 설명하였지만, 본 발명은 이에 한정되지 않을 수 있다. 예를 들면, 손(300)이 수직방향(Vertical Direction, DRV)으로 이동하는 경우에는 포인터(300)가 디스플레이부(100) 상에서 수직방향(DRV)으로 이동하는 것이 가능할 수 있다.
아울러, 사용자의 손(300)이 회전하거나 대각선으로 이동하는 경우에도 움직임 명령이 입력된 경우로 판단하고, 포인터(C)를 디스플레이부(100) 상에서 회전시키거나 대각선으로 이동시키는 것이 가능하다.
도 4와는 다른 패턴의 움직임 명령에 대해 도 5를 참조하여 살펴보면 아래와 같다.
도 5의 (B)의 경우와 같이, 사용자의 손(300)이 집게손가락을 편 형태에서 집게손가락을 접는 경우에, 도 5의 (A)의 경우와 같이 디스플레이부(100)에 표시된 객체 중 포인터(C)에 대응되는 객체(400)를 선택하는 것이 가능하다. 혹은 객체(400)에 대응하는 미리 설정된 기능을 수행하는 것이 가능하다. 혹은, 객체(400)에 대응하는 등록정보를 디스플레이부(100)에 표시할 수 있다.
이처럼, 사용자가 집게손가락을 편 상태에서 오므리는 동작을 실시하는 경우에, 포인터(C)에 대응되는 객체(400)를 선택하는 등의 기능을 수행하는 것이 가능한 것이다. 이러한 경우, 사용자의 집게손가락의 움직임이 움직임 명령에 대응될 수 있는 것이다.
도 5의 경우는 사용자의 손(300)이 포인팅 부분으로 설정되거나 혹은 사용자의 손(300)에서 집게손가락이 포인팅 부분으로 설정되는 경우에 해당할 수 있다.
도 4 내지 도 5에서는 움직임 명령이 사용자가 집게손가락을 접는 것 혹은 사용자가 손(300)을 이동시키는 것으로 가정하여 설명하였지만, 본 발명은 이에 한정되지 않을 수 있다.
예를 들어, 도시하지는 않았지만, 사용자가 손바닥을 편 상태에서 소정 방향으로 이동하는 경우에 포인터(C)를 이동시키는 기능에 대응하는 움직임 명령이 입력될 수 있다.
또는, 사용자가 손바닥을 편 상태에서 주먹을 쥐는 경우에 소정의 객체를 선택하는 등의 기능에 대응하는 움직임 명령이 입력될 수 있다.
또는, 움직임 명령은, 도 6의 경우와 같이, 포인팅 부분(손(300))과 디스플레이부(100) 사이의 거리가 변경되는 경우에 입력될 수 있다.
예를 들면, 사용자의 손(300)이 포인팅 부분으로 설정된 경우, 사용자의 손(300)이 디스플레이부(100)에 미리 설정된 임계거리 이상 접근하는 경우 디스플레이부(100)에 표시된 소정의 객체를 선택하는 등의 기능에 대응되는 움직임 명령이 입력될 수 있다.
도 7 내지 도 22는 움직임 명령을 검출하는 방법에 대해 상세히 설명하기 위한 도면이다. 이하에서는 이상에서 상세히 설명한 내용의 설명은 생략될 수 있다. 이하에서는 포인팅 부분이 사용자의 손(300)인 경우를 예로 들어 설명한다.
움직임 명령의 검출은 사용자의 제스처를 검출하는 것으로 볼 수 있다. 혹은 움직임 명령의 검출은 포인팅 부분의 움직임을 검출하는 것으로도 볼 수 있다.
도 7을 살펴보면, 카메라가 피사체의 영상을 촬영할 수 있다(S400).
포인팅 부분의 움직임을 검출하기 위해서, 도 8의 경우와 같이, 공간적으로 소정거리(L1) 이격되게 배치되는 제 1 카메라(First Camera, 200a)와 제 2 카메라(Second Camera, 200b)를 이용하여 피사체, 예컨대 사용자(500)의 이미지(Image)를 촬영할 수 있다. 여기서, 제 1 카메라(200a)와 제 2 카메라(200b)는 앞서 설명한 모션 센싱부(192Q)에 포함될 수 있다.
이하에서는, 제 1 카메라(200a)가 촬영한 이미지를 제 1 이미지(First Image)라 하고, 제 2 카메라(200b)가 촬영한 이미지를 제 2 이미지(Second Image)라 칭한다.
도 9의 (A)에는 제 1 카메라(200a)가 촬영한 제 1 이미지(600)가 나타나 있고, 도 9의 (B)에는 제 2 카메라(200b)가 촬영한 제 2 이미지(610)가 나타나 있다.
제 1 이미지(600)와 제 2 이미지(610)는 언뜻 보면 동일한 것으로 보이지만, 서로 다를 수 있다.
예를 들어, 제 1 이미지(600)와 제 2 이미지(610)를 겹쳐 놓으면, 도 10의 경우와 같이, 제 1 이미지(600) 상의 사용자(500)의 위치와 제 2 이미지(610) 상의 사용자(500)의 위치가 조금 다를 수 있다.
이는, 도 8의 경우와 같이, 제 1 카메라(200a)의 사용자(500)에 대한 촬영 위치와 제 2 카메라(200b)의 사용자(500)에 대한 촬영 위치가 서로 다르기 때문에 발생하는 현상일 수 있다.
촬영단계(S400) 이후에, 제 1 이미지(600) 및 제 2 이미지(610) 중 어느 하나에서 포인팅 부분을 검출할 수 있다.
예를 들면, 도 11의 (A)의 경우와 같이, 제 1 이미지(600)에서 포인팅 부분, 예컨대 사용자(500)의 손(300)을 검출할 수 있다. 자세하게는, 디스플레이 장치(10)의 제어부(170Q)는 메모리(Memory)에 저장되어 있는 손에 대한 정보와 제 1 이미지(600)를 비교하고, 제 1 이미지(600)에서 기 저장된 정보에 대응하는 부분을 검출하는 방법으로 사용자(500)의 손(300)을 검출할 수 있다.
도 11의 (A)에서 부호 700으로 표시된 부분에 사용자(500)의 손(300)이 포함될 수 있다. 이하에서는 부호 700의 영역을 제 1 영역(First Area)이라 칭한다.
이처럼, 제 1 이미지(600) 상에서 포인팅 부분을 검출하는 단계에서는 제 1 이미지(600)에서 포인팅 부분의 평면좌표를 검출할 수 있다. 이하에서는, 제 1 이미지(600) 상에서 검출하는 평면좌표를 제 1 평면좌표라 칭할 수 있다.
예를 들면, 도 12의 (A)의 경우와 같이, 사용자(500)의 손(300)을 포함하는 제 1 영역(700)의 X축 좌표(Xa-Xb)와 Y축 좌표(Ya-Yb)를 검출할 수 있다.
아울러, 도 11의 (B)의 경우와 같이, 제 1 이미지(600)에서 검출한 포인팅 부분, 즉 사용자(500)의 손(300)을 포함하는 관심영역(710)을 제 2 이미지(610) 상에서 설정할 수 있다(S420).
이처럼, 제 2 이미지(610) 상에서 관심영역(710)을 설정하는 단계에서는 관심영역(710)에서 포인팅 부분의 평면좌표를 검출할 수 있다. 이하에서는, 제 2 이미지(610) 상에서 검출하는 평면좌표를 제 2 평면좌표라 칭할 수 있다.
예를 들면, 도 12의 (b)의 경우와 같이, 사용자(500)의 손(300)을 포함하는 관심영역(710)의 X축 좌표(Xc-Xd)와 Y축 좌표(Yc-Yd)를 검출할 수 있다.
도 12의 (A) 및 (B)에서는 사용자(500)의 손(300)을 포함하는 제 1 영역(700) 및 관심영역(710)의 평면좌료를 각각 검출하는 경우를 예로 들어 설명하지만, 제 1 영역(700) 내의 사용자(500)의 손(300) 및 관심영역(710) 내의 사용자(500)의 손(300)의 평면좌표를 검출하는 것도 가능할 수 있다.
관심영역(710)은 제 1 이미지(600) 상에서 검출된 포인팅 부분, 즉 사용자(500)의 손(300)의 좌표, 즉 제 1 평면좌표를 근거로 하여 설정될 수 있다.
제 2 이미지(610)는 제 2 카메라(200b)에 의해 촬영되고, 제 1 이미지(610)는 제 1 카메라(200a)에 의해 촬영되기 때문에, 제 2 이미지(610) 내에서 손(300)의 좌표와 제 1 이미지(600) 내에서 손(300)의 좌표는 다를 수 있다.
이에 따라, 제 2 이미지(610)의 관심영역(710) 내에 손(300)이 포함되도록 하기 위해서, 제 2 이미지(610)에서 관심영역(710)의 크기는 제 1 이미지(600)에서 포인팅 부분, 즉 손(300)이 차지하는 부분의 크기보다 더 큰 것이 바람직할 수 있다.
예를 들면, 도 13의 경우와 같이, 제 1 이미지(600)에서 손(300)을 포함하는 제 1 영역(700)의 X축 좌표가 Xa-Xb이고, Y축 좌표가 Ya-Yb라고 가정하면, 제 2 이미지(610)에서 손(300)을 포함하는 관심영역(710)의 X축 좌표는 Xa-Xb영역을 포함하는 Xc-Xd이고, Y축 좌표는 Ya-Yb영역을 포함하는 Yc-Yd일 수 있다.
이처럼, 관심영역(710)의 크기는 제 1 영역(700)의 크기보다 더 클 수 있다.
여기서는, 제 1 영역(700)은 제 1 이미지(600) 상에서 손(300)을 포함하는 임의의 영역으로 설명되고 있지만, 제 1 영역(700)은 제 1 이미지(600)에서 손(300)이 차지하는 부분을 의미하는 것도 가능하다.
한편, 제 2 이미지(610) 상에서 관심영역(710)을 검출할 이후에, 관심영역(710)에 포함되어 있는 포인팅 부분, 예컨대 손(300)의 입체좌표를 검출할 수 있다(S430).
자세하게는, 제 1 카메라(200a)와 제 2 카메라(200b) 사이의 공간적 거리(L1) 및 제 1 평면좌표와 제 2 평면좌표의 차이를 이용하여 입체좌표를 검출할 수 있다.
더욱 자세하게는, 제 1 평면좌표는 제 1 이미지(600)에서 포인팅 부분, 즉 사용자(500)의 손(300)의 중심점의 좌표를 포함하고, 제 2 평면좌표는 제 2 이미지(610)에서 포인팅 부분의 중심점의 좌표를 포함할 수 있다. 여기서, 제 1 이미지(600)에서 사용자(500)의 손(300)의 중심점의 좌표를 제 1 중심점 좌표라 하고, 제 2 이미지(610)에서 사용자(500)의 손(300)의 중심점의 좌표를 제 2 중심점 좌표라 할 수 있다.
아울러, 입체좌표를 검출하는 단계에서는 제 1 카메라(200a)와 제 2 카메라(200b) 사이의 공간적 거리(L1) 및 제 1 중심점 좌표와 제 2 중심점 좌표의 차이를 이용하여 포인팅 부분의 중심점에 대한 입체좌표를 검출할 수 있다.
예를 들어, 도 14의 (A)의 경우와 같이, 제 1 이미지(600)에서 사용자(500)의 손(300)의 중심점의 평면좌표, 즉 제 1 중심점 좌표(Xc1, Yc1)를 검출하고, 도 14의 (B)의 경우와 같이, 제 2 이미지(610)에서 사용자(500)의 손(300)의 중심점의 평면좌표, 즉 제 2 중심점 좌표(Xc2, Yc2)를 검출할 수 있다. 여기서, Yc1과 Yc2는 동일한 값일 수 있다.
도 15를 살펴보면, 제 1 카메라(200a)와 제 2 카메라(200b) 사이의 공간적 거리(L1)를 인지하고 있는 상태에서, 제 1 중심점 좌표(Xc1, Yc1)와 제 2 중심점 좌표(Xc2, Yc2)의 차이, 예컨대 제 1 중심점 좌표(Xc1, Yc1)와 제 2 중심점 좌표(Xc2, Yc2)의 X축 좌표의 차이(L2)를 검출할 수 있다.
그러면, 제 1 카메라(200a)와 제 2 카메라(200b) 사이의 공간적 거리(L1)와 제 1 중심점 좌표(Xc1, Yc1)와 제 2 중심점 좌표(Xc2, Yc2)의 X축 좌표의 차이(L2)의 비를 이용하여 피사체, 예컨대 사용자(500)와 제 1, 2 카메라(200a, 200b) 사이의 거리(L3)를 검출할 수 있다.
사용자(500)와 제 1, 2 카메라(200a, 200b) 사이의 거리(L3)를 검출할 때, 제 1, 2 카메라(200a, 200b)의 촬영 각도를 더 고려할 수 있다.
만약, 사용자(500)가 제 1, 2 카메라(200a, 200b)에 상대적으로 근접하게 위치하는 경우에는 제 1 중심점 좌표(Xc1, Yc1)와 제 2 중심점 좌표(Xc2, Yc2)의 X축 좌표의 차이(L2)가 상대적으로 클 것이고, 반면에 사용자(500)가 제 1, 2 카메라(200a, 200b)로부터 상대적으로 먼 곳에 위치하는 경우에는 제 1 중심점 좌표(Xc1, Yc1)와 제 2 중심점 좌표(Xc2, Yc2)의 X축 좌표의 차이(L2)가 상대적으로 작을 것이다.
이와 같이, 제 1 이미지(600)에서 사용자(500)의 손(300)의 중심점의 제 1 중심점 좌표(Xc1, Yc1) 및 제 2 이미지(610)에서 사용자(500)의 손(300)의 중심점의 제 2 중심점 좌표(Xc2, Yc2)를 알고 있는 상태에서, 사용자(500)와 제 1, 2 카메라(200a, 200b) 사이의 거리(L3)를 검출하게 되면, 사용자(500)의 손(300)의 입체좌표를 획득할 수 있다.
예를 들면, 도 15와 같은 경우에, 사용자(500)의 손(300)의 중심점의 입체좌표는 대략 ((Xc1+Xc2)/2, Yc1(혹은 Yc2), L3)로서 결정될 수 있다.
이러한 방법으로 사용자(500)의 손(300)의 중심점의 입체좌표를 연속적으로 검출하게 되면, 도 16의 경우와 같이, 사용자(500)의 손(300)의 궤적을 검출할 수 있다(S440).
이처럼, 사용자(500)의 손(300)의 궤적을 검출하게 되면 결과적으로 사용자(500)의 손(300)의 움직임을 검출할 수 있고, 이에 따라 움직임 명령을 검출할 수 있는 것이다.
이상에서는 사용자(500)의 손(300)의 중심점을 이용하여 궤적을 검출하는 방법을 예로 들어 설명하였지만, 본 발명은 이에 한정되지 않을 수 있다.
예를 들면, 도 17의 경우와 같이, 제 1 이미지(600)에서 손(300)의 제 1-5 부분(P1a-P5a)을 설정하고, 제 2 이미지(610)에서는 제 1-5 부분(P1a-P5a)에 대응되는 손(300)의 제 6-10 부분(P1b-P5b)을 설정할 수 있다.
여기서, 제 1 부분(P1a)은 제 6 부분(P1b)에 대응되고, 제 2 부분(P2a)은 제 7 부분(P2b)에 대응되고, 제 3 부분(P3a)은 제 8 부분(P3b)에 대응되고, 제 4 부분(P4a)은 제 9 부분(P4b)에 대응되고, 제 5 부분(P5a)은 제 10 부분(P5b)에 대응될 수 있다.
이처럼 손(300)에 설정된 복수의 부분의 입체좌표를 검출하는 방식으로 손(300)의 궤적을 검출하는 것도 가능할 수 있다.
이상에서는, 설명의 편의를 위해, 제 1 이미지(600) 및 제 2 이미지(610) 중 제 1 이미지(600)에서 포인팅 부분을 검출하고, 제 2 이미지(610)에서 포인팅 부분을 포함하는 관심영역을 설정하는 경우를 예로 들어 설명하지만, 본 발명은 이에 한정되지 않을 수 있다. 예를 들면, 제 1 이미지(600) 및 제 2 이미지(610) 중 제 2 이미지(610)에서 포인팅 부분을 검출하고, 제 1 이미지(600)에서 포인팅 부분을 포함하는 관심영역을 설정하는 경우도 가능할 수 있는 것이다.
이와는 다르게 제 1 이미지(600)와 제 2 이미지(610)의 깊이지도(Depth Map)를 이용하여 포인팅 부분의 움직임 궤적을 검출하는 방법에 대해 살펴보면 아래와 같다.
도 18을 살펴보면, 제 1 카메라(200a)와 제 2 카메라(200b)가 제 1 이미지(600)와 제 2 이미지(610)를 촬영할 수 있다.
이후, 제 1 이미지(600)와 제 2 이미지(610)를 이용하여 깊이지도를 추출할 수 있다(S510)할 수 있다.
여기서, 깊이지도는 제 1 이미지(600)와 제 2 이미지(610)의 모든 화소의 좌표의 차이를 검출한 것이다. 깊이지도는 입체 영상 분야에서 이미 널리 알려진 기술이기 때문에 깊이지도에 대한 상세한 설명은 생략한다.
이후, 추출한 깊이지도에서 미리 설정된 포인팅 부분을 검출할 수 있다(S520).
이후, 연속적으로 추출한 깊이지도에서 포인팅 부분을 검출함으로써, 결과적으로 포인팅 부분의 궤적을 검출할 수 있다.
이처럼, 포인팅 부분을 검출하기 위해 깊이지도를 추출하는 경우에는, 깊이지도의 추출과정에서 연산이 복잡하기 때문에 추가적인 연산 칩(Chip)이 추가될 필요가 있다.
또는, 연산 칩을 추가하지 않는 경우에는 깊이지도를 추출하기 위해 프로세서(Processor)의 리소스(Resource)를 상당부분 사용해야 하고, 그를 운용하기 위한 프로그램도 매우 무거울 수 있다.
반면에, 제 1 이미지(600)에서 포인팅 부분을 먼저 검출하고, 이후 제 2 이미지(610)에서 포인팅 부분에 대응하여 관심영역을 설정하고, 관심영역에 대응하여 포인팅 부분의 입체좌표를 검출하는 방법을 사용하게 되면, 연산 칩을 추가하지 않아도 되기 때문에 제조단가를 저감시킬 수 있다.
아울러, 전체적인 이미지의 깊이지도를 추출하지 않아도 되기 때문에 연산 과정이 상대적으로 간단할 수 있다.
한편, 본 발명에서는 제 1 이미지(600)와 제 2 이미지(610)에서 각각 포인팅 부분을 포함하는 관심영역을 설정하고, 설정한 관심영역의 깊이지도를 추출하여 포인팅 부분의 움직임 궤적을 검출하는 사용하는 것이 가능하다. 이에 대해 살펴보면 아래와 같다.
도 19를 살펴보면, 공간적으로 소정거리(L1) 이격되게 배치되는 제 1 카메라(200a)와 제 2 카메라(200b)를 이용하여 피사체, 예컨대 사용자(500)의 이미지(Image)를 촬영할 수 있다(S600).
이후, 제 1 카메라(200a)가 촬영한 제 1 이미지(600)에서 포인팅 부분, 예컨대 사용자(500)의 손(300)을 포함하는 제 1 관심영역을 설정할 수 있다(S610).
또한, 제 2 카메라(200b)가 촬영한 제 2 이미지(610)에서 포인팅 부분, 예컨대 사용자(500)의 손(300)을 포함하는 제 2 관심영역을 설정할 수 있다(S620).
예를 들면, 도 20의 (A)의 경우와 같이, 제 1 이미지(600)에서 포인팅 부분, 예컨대 사용자(500)의 손(300)을 검출할 수 있다.
여기서, 디스플레이 장치(10)의 제어부(170Q)는 메모리에 저장되어 있는 손에 대한 정보와 제 1 이미지(600)를 비교하고, 제 1 이미지(600)에서 기 저장된 정보에 대응하는 부분을 검출하는 방법으로 사용자(500)의 손(300)을 검출할 수 있다.
이후, 손(300)을 포함하도록 제 1 관심영역(800)을 설정할 수 있다.
아울러, 도 20의 (B)의 경우와 같이, 제 1 이미지(600)에서 검출한 포인팅 부분, 즉 사용자(500)의 손(300)을 포함하는 제 2 관심영역(810)을 제 2 이미지(610) 상에서 설정할 수 있는 것이다.
여기서, 도 21의 경우와 같이, 제 1 관심영역(800)의 크기와 제 2 관심영역(810)의 크기는 동일할 수 있다. 바람직하게는, 제 1 관심영역(800)의 평면좌표와 제 2 관심영역(810)의 평면좌표가 동일할 수 있다.
예를 들어, 제 1 이미지(600) 상에서 제 1 관심영역(800)의 X축 좌표가 X1-X2이고, Y축 좌표가 Y1-Y2인 경우, 제 2 이미지(610) 상에서 제 1 관심영역(800)의 X축 좌표가 X1-X2이고, Y축 좌표가 Y1-Y2일 수 있다.
이처럼, 제 1 관심영역(800)과 제 2 관심영역(810)의 크기를 동일하게 하는 이유는 제 1 관심영역(800)과 제 2 관심영역(810)을 이용하여 깊이지도를 추출하기 위해서이다.
이후, 제 1 관심영역(800)과 제 2 관심영역(810)을 이용하여 깊이지도를 추출할 수 있다(S630).
자세하게는, 제 1 관심영역(800)의 영상 데이터와 제 2 관심영역(810)의 영상 데이터를 비교하여, 제 1 관심영역(800)에서의 소정 부분, 예컨대 손(300)과 제 2 관심영역(810)에서의 손(300)의 거리(Distance)에 대한 정보를 포함하는 깊이지도를 추출하는 것이다.
이후, 연속적으로 추출한 깊이지도를 이용하여 포인팅 부분의 움직임 궤적을 검출할 수 있다(S640).
이처럼, 제 1 관심영역(800)과 제 2 관심영역(810)을 이용하여 깊이지도를 추출하는 경우에는, 앞선 도 18의 경우와 같이, 제 1 이미지(600)와 제 2 이미지(610)를 이용하여 전체적인 깊이지도를 추출하는 방법과 비교하여, 상대적으로 작은 부분의 깊이지도를 추출하는 것으로 포인팅 부분의 움직임 궤적을 검출하는 것이 가능하다. 이에 따라, 연산과정이 상대적으로 단순할 수 있는 것이다.
이와 같이, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (8)

  1. 공간적으로 이격되어 배치되는 제 1 카메라(First Camera)와 제 2 카메라(Second Camera)가 이미지(Image)를 촬영하는 단계;
    상기 제 1 카메라가 촬영한 제 1 이미지(First Image)에서 포인팅 부분(Pointing Part)을 검출하는 단계;
    상기 제 2 카메라가 촬영한 제 2 이미지(Second Image)에서 상기 포인팅 부분을 포함하는 관심영역을 설정하는 단계; 및
    상기 관심영역 내에서 상기 포인팅 부분의 입체좌표를 검출하는 단계;
    를 포함하는 원격 포인팅 방법.
  2. 제 1 항에 있어서,
    상기 포인팅 부분의 상기 입체좌표를 이용하여 상기 포인팅 부분의 이동궤적을 추적하는 단계를 더 포함하는 원격 포인팅 방법.
  3. 제 1 항에 있어서,
    상기 포인팅 부분을 검출하는 단계에서는 상기 제 1 이미지에서 상기 포인팅 부분의 제 1 평면좌표를 검출하는 단계를 더 포함하고,
    상기 관심영역을 설정하는 단계에서는 상기 관심영역에서 상기 포인팅 부분의 제 2 평면좌표를 검출하는 단계를 더 포함하는 원격 포인팅 방법.
  4. 제 3 항에 있어서,
    상기 입체좌표를 검출하는 단계에서는 상기 제 1 평면좌표와 상기 제 2 평면좌표의 차이를 이용하여 상기 입체좌표를 검출하는 원격 포인팅 방법.
  5. 제 4 항에 있어서,
    상기 제 1 평면좌표는 상기 제 1 이미지에서 상기 포인팅 부분의 제 1 중심점의 좌표를 포함하고,
    상기 제 2 평면좌표는 상기 제 2 이미지에서 상기 포인팅 부분의 제 2 중심점의 좌표를 포함하고,
    상기 입체좌표를 검출하는 단계에서는 상기 제 1 중심점 좌표와 상기 제 2 중심점 좌표의 차이를 이용하여 상기 포인팅 부분의 중심점에 대한 입체좌표를 검출하는 원격 포인팅 방법.
  6. 제 1 항에 있어서,
    상기 제 2 이미지에서 상기 관심영역의 크기는 상기 제 1 이미지에서 상기 포인팅 부분이 차지하는 부분의 크기보다 더 큰 원격 포인팅 방법.
  7. 공간적으로 이격되어 배치되는 제 1 카메라(First Camera)와 제 2 카메라(Second Camera)가 이미지(Image)를 촬영하는 단계;
    상기 제 1 카메라가 촬영한 제 1 이미지(First Image)에서 포인팅 부분(Pointing Part)을 포함하는 제 1 관심영역을 설정하는 단계;
    상기 제 2 카메라가 촬영한 제 2 이미지(Second Image)에서 상기 포인팅 부분을 포함하고, 상기 제 1 관심영역에 대응하는 제 2 관심영역을 설정하는 단계;
    상기 제 1 관심영역과 상기 제 2 관심영역을 이용하여 깊이지도(Depth Map)를 추출하는 단계; 및
    상기 깊이지도에서 상기 포인팅 부분의 이동궤적을 추적하는 단계;
    를 더 포함하는 원격 포인팅 방법.
  8. 제 7 항에 있어서,
    상기 제 1 관심영역의 크기와 상기 제 2 관심영역의 크기는 동일한 원격 포인팅 방법.
PCT/KR2013/001392 2013-02-21 2013-02-21 원격 포인팅 방법 Ceased WO2014129683A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/769,562 US9734582B2 (en) 2013-02-21 2013-02-21 Remote pointing method
PCT/KR2013/001392 WO2014129683A1 (ko) 2013-02-21 2013-02-21 원격 포인팅 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2013/001392 WO2014129683A1 (ko) 2013-02-21 2013-02-21 원격 포인팅 방법

Publications (1)

Publication Number Publication Date
WO2014129683A1 true WO2014129683A1 (ko) 2014-08-28

Family

ID=51391455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/001392 Ceased WO2014129683A1 (ko) 2013-02-21 2013-02-21 원격 포인팅 방법

Country Status (2)

Country Link
US (1) US9734582B2 (ko)
WO (1) WO2014129683A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11121334B2 (en) * 2014-06-26 2021-09-14 Trustees Of Tufts College 3D graphene transistor
KR20170024715A (ko) * 2015-08-26 2017-03-08 삼성전자주식회사 객체 검출장치 및 그 객체 검출방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043719A1 (en) * 1997-03-21 2001-11-22 Kenichi Harakawa Hand pointing device
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
KR20090048197A (ko) * 2007-11-09 2009-05-13 광주과학기술원 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
US20110298698A1 (en) * 2010-06-04 2011-12-08 Acer Incorporated Manual human machine interface operation system and method thereof

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7340077B2 (en) * 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US8866821B2 (en) * 2009-01-30 2014-10-21 Microsoft Corporation Depth map movement tracking via optical flow and velocity prediction
KR20100122383A (ko) * 2009-05-12 2010-11-22 삼성전자주식회사 좌표 예측을 통한 이미지의 출력 속도 향상 방법 및 장치
KR101581954B1 (ko) * 2009-06-25 2015-12-31 삼성전자주식회사 실시간으로 피사체의 손을 검출하기 위한 장치 및 방법
JP2011081480A (ja) * 2009-10-05 2011-04-21 Seiko Epson Corp 画像入力システム
GB2474536B (en) * 2009-10-13 2011-11-02 Pointgrab Ltd Computer vision gesture based control of a device
WO2011146070A1 (en) * 2010-05-21 2011-11-24 Hewlett-Packard Development Company, L.P. System and method for reporting data in a computer vision system
JP5648443B2 (ja) * 2010-11-26 2015-01-07 ソニー株式会社 画像処理装置および方法、並びにプログラム
TW201322058A (zh) * 2011-11-16 2013-06-01 Chunghwa Picture Tubes Ltd 手勢辨識系統及方法
CN104471511B (zh) * 2012-03-13 2018-04-20 视力移动技术有限公司 识别指点手势的装置、用户接口和方法
US9047507B2 (en) * 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
US9210401B2 (en) * 2012-05-03 2015-12-08 Microsoft Technology Licensing, Llc Projected visual cues for guiding physical movement
US8934675B2 (en) * 2012-06-25 2015-01-13 Aquifi, Inc. Systems and methods for tracking human hands by performing parts based template matching using images from multiple viewpoints
US20140009384A1 (en) * 2012-07-04 2014-01-09 3Divi Methods and systems for determining location of handheld device within 3d environment
US9310895B2 (en) * 2012-10-12 2016-04-12 Microsoft Technology Licensing, Llc Touchless input
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
KR20150103723A (ko) * 2013-01-03 2015-09-11 메타 컴퍼니 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스
JP6044426B2 (ja) * 2013-04-02 2016-12-14 富士通株式会社 情報操作表示システム、表示プログラム及び表示方法
US9508173B2 (en) * 2013-10-30 2016-11-29 Morpho, Inc. Image processing device having depth map generating unit, image processing method and non-transitory computer redable recording medium
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9465444B1 (en) * 2014-06-30 2016-10-11 Amazon Technologies, Inc. Object recognition for gesture tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010043719A1 (en) * 1997-03-21 2001-11-22 Kenichi Harakawa Hand pointing device
JP2004265222A (ja) * 2003-03-03 2004-09-24 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
KR20090048197A (ko) * 2007-11-09 2009-05-13 광주과학기술원 포인팅 지점 산출 방법 및 장치, 그리고 상기 장치를포함하는 원격 협업 시스템
KR20110099176A (ko) * 2010-03-01 2011-09-07 이문기 증강현실의 포인팅 장치
US20110298698A1 (en) * 2010-06-04 2011-12-08 Acer Incorporated Manual human machine interface operation system and method thereof

Also Published As

Publication number Publication date
US20160005173A1 (en) 2016-01-07
US9734582B2 (en) 2017-08-15

Similar Documents

Publication Publication Date Title
WO2017078361A1 (en) Electronic device and method for recognizing speech
WO2013191484A1 (en) Remote control apparatus and control method thereof
WO2015083895A1 (en) Smart watch and control method thereof
WO2014112804A1 (en) Mobile device and method for displaying information
WO2021025534A1 (ko) 카메라 프리뷰 이미지를 제공하기 위한 전자 장치 및 그의 동작 방법
WO2017119664A1 (en) Display apparatus and control methods thereof
WO2013105765A1 (en) Display apparatus and controlling method thereof
WO2014129822A1 (en) Apparatus and method for controlling a messenger service in a terminal
WO2014073756A1 (en) Array camera, mobile terminal, and methods for operating the same
WO2020149689A1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
WO2018070624A2 (en) Mobile terminal and control method thereof
EP3497504A1 (en) Image display apparatus and operating method thereof
WO2015046899A1 (en) Display apparatus and method of controlling display apparatus
WO2015182844A1 (ko) 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2015186964A1 (ko) 촬영 장치 및 촬영 장치의 비디오 생성방법
WO2018048178A1 (en) Display device
WO2015126044A1 (ko) 이미지를 처리하기 위한 방법 및 그 전자 장치
WO2014178507A1 (en) Display apparatus and searching method
WO2014182140A1 (en) Display apparatus and method of providing a user interface thereof
WO2020075926A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법
WO2022055178A1 (ko) 다양한 형태의 콘텐트를 표시하기 위한 폴더블 전자 장치 및 그의 동작 방법
WO2020171342A1 (ko) 외부 객체의 정보에 기반하여 시각화된 인공 지능 서비스를 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2015194697A1 (en) Video display device and operating method thereof
WO2020242064A1 (ko) 모바일 장치 및 모바일 장치의 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13875477

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14769562

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 13875477

Country of ref document: EP

Kind code of ref document: A1