WO2023017903A1 - 터치 디스플레이 장치 - Google Patents

터치 디스플레이 장치 Download PDF

Info

Publication number
WO2023017903A1
WO2023017903A1 PCT/KR2021/014616 KR2021014616W WO2023017903A1 WO 2023017903 A1 WO2023017903 A1 WO 2023017903A1 KR 2021014616 W KR2021014616 W KR 2021014616W WO 2023017903 A1 WO2023017903 A1 WO 2023017903A1
Authority
WO
WIPO (PCT)
Prior art keywords
guide plate
light guide
light source
source array
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/014616
Other languages
English (en)
French (fr)
Inventor
한창민
김현기
심휘준
이재광
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202180101350.5A priority Critical patent/CN117795462A/zh
Priority to EP21953550.7A priority patent/EP4354265A4/en
Priority to US17/713,733 priority patent/US12159009B2/en
Publication of WO2023017903A1 publication Critical patent/WO2023017903A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices

Definitions

  • the present disclosure relates to a display device, and more particularly, to a touch display device having a touch function.
  • a touch panel is one of several methods of configuring an interface between an electronic device having a display and a user, and is an input device that allows a user to operate an electronic device by directly contacting the screen of the display with a hand or a stylus pen.
  • the touch panel allows you to intuitively operate electronic devices by simply touching the buttons displayed on the display screen with your finger. It is widely used in traffic information kiosks and food ordering kiosks.
  • these touch panels are classified into resistive type touch panels, capacitive touch panels, ultrasonic touch panels, infrared type touch panels, etc. there is
  • Such a touch panel according to the prior art has a problem in that an electronic device can be operated only when the screen of the display is directly contacted.
  • an object of one aspect of the present disclosure is to provide a touch display device capable of operating an electronic device not only in contact with the display surface but also in proximity to the display surface.
  • a touch display device includes a display panel including a display surface; a light guide plate installed on the upper side of the display surface of the display panel and formed to emit light incident on one side to the upper side; a first light source array installed on one side of the light guide plate and including a plurality of infrared light sources emitting infrared rays toward one side of the light guide plate; a camera installed on at least one side of the first light source array and configured to capture an image of infrared rays emitted through the entire area of the upper surface of the light guide plate; and a processor recognizing coordinates of an input object adjacent to an upper surface of the light guide plate by using an infrared image captured by the camera.
  • the touch display device further includes a second light source array installed above the first light source array and including a plurality of infrared light sources emitting infrared rays toward an upper side of the upper surface of the light guide plate, wherein the camera is the first light source array. It may be formed to capture infrared rays emitted from the two-light source array.
  • the plurality of infrared light sources of the second light source array may be installed in a straight line parallel to the plurality of infrared light sources of the first light source array.
  • the printed circuit board may further include a plurality of infrared light sources of the first light source array and a plurality of infrared light sources of the second light source array installed in two lines.
  • the processor may be installed on the printed circuit board.
  • the processor recognizes a reference touchable area from the upper surface image of the light guide plate captured by the camera while the first light source array is turned on and the second light source array is turned off, and the processor determines the touch area adjacent to the light guide plate.
  • the processor removes and touches an area deviating from the upper surface of the light guide plate in the image of the adjacent upper surface of the light guide plate captured by the camera while the first light source array and the second light source array are turned on.
  • the coordinates of the input object may be detected by extracting a possible area and comparing the extracted touchable area with the reference touchable area.
  • the light guide plate is formed in a rectangular flat plate shape and includes a first surface, a second surface facing the first surface and on which the display panel is installed, and four side surfaces, and the first light source array is the light guide plate.
  • the light guide plate may be formed to emit infrared rays incident to the first side through the first side.
  • the plurality of infrared light sources of the first light source array may be installed in a straight line along the first side surface of the light guide plate.
  • a second side and a third side perpendicular to the first side may be formed such that infrared rays emitted from the first light source array are not emitted to the outside of the light guide plate.
  • the camera may include a wide-angle lens and an image sensor to capture infrared rays emitted from the first light source array and emitted from the entire upper surface of the light guide plate.
  • the angle of view of the wide-angle lens may be greater than 90 degrees.
  • the camera may include a first camera installed on one side of the first light source array and configured to capture an entire area of the upper surface of the light guide plate; and a second camera installed on the other side of the first light source array, opposite to the first camera, and configured to capture the entire upper surface of the light guide plate.
  • each of the first camera and the second camera includes a wide-angle lens and an image sensor, and the angle of view of the wide-angle lens may be greater than 90 degrees.
  • the processor recognizes a reference touchable area from the upper surface image of the light guide plate captured by the camera while the first light source array is turned on, and the processor recognizes the coordinates of the input object adjacent to the light guide plate
  • the processor extracts a touchable area by removing an area deviating from the upper surface of the light guide plate in the image of the adjacent top surface of the light guide plate captured by the camera while the first light source array is turned on, and extracts the touchable area and the reference touch It may be configured to recognize the coordinates of the input object by comparing the possible regions.
  • the infrared light source may include an infrared LED.
  • the touch display device having the structure as described above recognizes the coordinates of an input object when the input object contacts the upper surface of the light guide plate or when the input object is adjacent to the upper surface of the light guide plate without contacting the upper surface of the light guide plate. to control the display surface.
  • the touch display device recognizes the upper surface of the light guide plate as a touchable area, an error of misrecognizing the coordinates of the input device due to infrared rays reflected from an area outside the light guide plate can be prevented.
  • FIG. 1 is a diagram illustrating a touch display device according to an exemplary embodiment of the present disclosure
  • FIG. 2 is a cross-sectional view illustrating a touch display device according to an exemplary embodiment of the present disclosure
  • FIG. 3 is a functional block diagram of a touch display device according to an embodiment of the present disclosure.
  • FIG. 4 is a diagram for explaining an operation of a touch display device according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating an operation of a touch display device according to an embodiment of the present disclosure
  • FIG. 6 is a diagram illustrating a touch display device according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating a touch display device according to an embodiment of the present disclosure.
  • FIG. 8 is a cross-sectional view illustrating a touch display device according to an exemplary embodiment
  • FIG. 9 is a functional block diagram of a touch display device according to an embodiment of the present disclosure.
  • 10A is a diagram showing a region of infrared rays emitted from a first light source array according to an embodiment of the present disclosure
  • 10B is a view showing an infrared region emitted from a first light source array and an infrared region emitted from a second light source array according to an embodiment of the present disclosure
  • FIG. 11 is a diagram illustrating a case where a first camera and a second camera used in a touch display device according to an embodiment of the present disclosure are installed on a printed circuit board;
  • FIG. 12 is a diagram for explaining an operation of a touch display device according to an embodiment of the present disclosure.
  • FIG. 13 is a flowchart illustrating an operation of a touch display device according to an exemplary embodiment of the present disclosure
  • FIG. 14 is a diagram illustrating a touch display device according to an embodiment of the present disclosure.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms may only be used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present disclosure.
  • FIG. 1 is a diagram illustrating a touch display device according to an exemplary embodiment of the present disclosure.
  • 2 is a cross-sectional view illustrating a touch display device according to an exemplary embodiment of the present disclosure.
  • 3 is a functional block diagram of a touch display device according to an embodiment of the present disclosure.
  • a touch display device 1 includes a display panel 10, a light guide plate 20, a light source array 30, cameras 51 and 52, a processor ( 90) may be included.
  • the display panel 10 is formed to display images.
  • the display panel 10 may be formed in a substantially rectangular flat plate shape.
  • the display panel 10 may include a display surface 11 on which images are displayed.
  • the display panel 10 may be implemented in various formats.
  • the display panel 10 includes a liquid crystal display panel, an organic light emitting diode display panel, a quantum dot light emitting diodes panel, and a micro LED panel.
  • Various types of display panels such as the like may be used. Since the display panel 10 may use a conventional display panel, a detailed description thereof will be omitted.
  • the light guide plate 20 may be installed above the display panel 10 . Specifically, the light guide plate 20 may be installed above the display surface 11 of the display panel 10 . Referring to FIG. 1 , the light guide plate 20 may be positioned in front of the display panel 10 . In the following description, referring to FIG. 2 , it will be described that the light guide plate 20 is installed above the display panel 10 .
  • the light guide plate 20 is formed in a rectangular flat shape, and includes a first surface (ie, upper surface 25), a second surface (ie, lower surface, 26) facing the first surface 25, and four side surfaces. can do. Specifically, the first surface 25 and the second surface 26 are formed in a rectangular shape and face each other in parallel, the first surface 25 forms the upper surface of the light guide plate 20, and the second surface 26 A lower surface of the silver light guide plate 20 may be formed.
  • the four side surfaces include a first side 21, a second side 22, a third side 23, and a second side connecting the first side (ie, the upper side, 25) and the second side (ie, the lower side, 26). It may include four sides (24).
  • the second side surface 22 and the third side surface 23 are perpendicular to the first side surface and are parallel to each other.
  • the fourth side surface 24 is parallel to the first side surface 21 and perpendicular to the second side surface 22 and the third side surface 23 .
  • the display panel 10 is installed on the lower surface (ie, the second surface 26 ) of the light guide plate 20 , that is, the second surface. Accordingly, the lower surface (ie, the second surface 26 ) of the light guide plate 20 and the display surface 11 of the display panel 10 face each other.
  • the light guide plate 20 may be formed larger than the size of the display surface 11 of the display panel 10 .
  • the light guide plate 20 may be formed to emit light incident from one side through the upper surface 25 .
  • the light guide plate 20 may be formed to emit light incident from the first side surface 21 to the outside through the top surface 25 , that is, the first surface.
  • the second side surface 22 and the third side surface 23 perpendicular to the first side surface 21 of the light guide plate 20 may be formed so that light incident on the first side surface 21 is not emitted to the outside.
  • the inner surface of the second side surface 22 and the inner surface of the third side surface 23 may be formed to reflect or block light.
  • the second side surface 22 and the third side surface 23 of the light guide plate 20 are formed to transmit light, and a blocking plate or light blocking plate blocks light to the second side surface 22 and the third side surface 23.
  • a reflector can be installed to reflect the
  • the fourth side surface 24 facing and parallel to the first side surface 21 may also be formed so that incident light is not emitted to the outside.
  • the processor 90 obtains an image of the upper surface 25 of the light guide plate 20 from the infrared image of the light guide plate 20 captured by the cameras 51 and 52. (25) can be recognized. Accordingly, the processor 90 may recognize the entire area of the upper surface 25 of the light guide plate 20 as a touchable area.
  • the light guide plate 20 may be formed of a transparent material through which light passes.
  • the light guide plate 20 may be formed of transparent plastic or resin. Therefore, the user can see the image displayed on the display surface 11 of the display panel 10 through the light guide plate 20 .
  • the light source array 30 includes a plurality of infrared light sources 31 and may be formed to emit infrared rays.
  • the light source array 30 may be installed on one side of the light guide plate 20 .
  • the light source array 30 may be installed adjacent to the first side surface 21 of the light guide plate 20 .
  • the light source array 30 may be installed to contact the first side surface 21 of the light guide plate 20 . Accordingly, infrared rays emitted from the light source array 30 may be incident into the light guide plate 20 through the first side surface 21 of the light guide plate 20 .
  • the plurality of infrared light sources 31 of the light source array 30 may be arranged in a straight line along one side surface of the light guide plate 20 .
  • the light source array 30 may include a printed circuit board 33 on which a plurality of infrared light sources 31 are installed.
  • the active circuit board 33 is installed parallel to one side of the light guide plate 20, and a plurality of infrared light sources 31 are installed on one side of the active circuit board 33 facing the other side of the light guide plate 20. ) It may be provided in a straight line parallel to one side of the.
  • infrared rays emitted from the light source array 30 may be incident on the first side surface 21 of the light guide plate 20 and emitted to the first surface 25 of the light guide plate 20, that is, the upper surface. If some of the infrared rays leaks out to the lower surface (ie, the second surface 26) of the light guide plate 20, the leaked infrared rays are reflected by the display surface 11 of the display panel 10 and the lower surface of the light guide plate 20 (26) and can be emitted to the outside through the upper surface (25) of the light guide plate (10).
  • the plurality of infrared light sources 31 constituting the light source array 30 may be formed of infrared LEDs.
  • the cameras 51 and 52 are configured to capture infrared rays emitted from the light guide plate 20 .
  • the cameras 51 and 52 are provided to capture an image of the entire upper surface 25 of the light guide plate 20 .
  • the cameras 51 and 52 may capture infrared rays emitted through the entire area of the upper surface 25 of the light guide plate 20 .
  • the cameras 51 and 52 may include a wide-angle lens and an image sensor.
  • the wide-angle lens has an angle of view capable of capturing an image of the entire upper surface of the light guide plate 20 .
  • the angle of view of the wide-angle lens may be 90 degrees or more.
  • the image sensor is configured to generate an image of incident infrared rays. For example, when the light source array 30 emits infrared rays, the image sensor may generate a top image by capturing infrared rays emitted through the entire area of the upper surface 25 of the light guide plate 20 .
  • the cameras 51 and 52 may be installed on one side of the light source array 30 .
  • the positions of the cameras 51 and 52 are not limited thereto. As long as the cameras 51 and 52 can capture an image of the entire upper surface 25 of the light guide plate 20, they can be installed in any position.
  • the camera may include a first camera 51 and a second camera 52 .
  • the first camera 51 is installed on one side of the light source array 30 and may be provided to capture an image of the entire upper surface 25 of the light guide plate 20 .
  • the first camera 51 may include a wide-angle lens 51a and an image sensor 51b to capture infrared rays emitted from the light source array 30 and emitted from the entire area of the upper surface 25 of the light guide plate 20.
  • the second camera 52 is installed on the other side of the first light source array 30 opposite to the first camera 51, and may be provided to capture an image of the entire upper surface 25 of the light guide plate 20.
  • the second camera 52 may include a wide-angle lens 52a and an image sensor 52b to capture infrared rays emitted from the light source array 30 and emitted from the entire area of the upper surface 25 of the light guide plate 20.
  • each of the wide-angle lens 51a of the first camera 51 and the wide-angle lens 52a of the second camera 52 may be greater than or equal to 90 degrees.
  • the first camera 51 and the second camera 52 may be installed on both sides of the light source array 30 on the integrated circuit board 33 .
  • the first camera 51 may generate a top image of the light guide plate 20
  • the second camera 52 may also create a top image of the light guide plate 20 .
  • the two cameras 51 and 52 are configured to generate an upper surface image of the light guide plate 20, the coordinates of the input object 70 (see FIG. 4) that contacts or is adjacent to the light guide plate 20 can be accurately calculated. .
  • the processor 90 is formed to recognize the coordinates of the input object 70 that is in contact with or adjacent to the light guide plate 20 by using the images captured by the cameras 51 and 52 .
  • the processor 90 may transfer the coordinates of the recognized input object 70 to the main processor 99 .
  • the coordinates of the input object 70 recognized by the processor 90 refer to two-dimensional coordinates at which the front end of the input object 70 is located on the display surface 11 . That is, the coordinates of the input object 70 are two-dimensional coordinates based on the display surface 11 .
  • the input object 70 refers to an object formed to select at least one point of an image displayed through the light guide plate 20 .
  • the input object 70 may include a user's finger, stylus, pen, pointing stick, baton, antenna, stick, and the like.
  • the processor 90 is configured to control the light source array 30 on/off. In addition, the processor 90 turns on the light source array 30 and then controls the cameras 51 and 52 so that when the input object 70 is not adjacent to the upper surface 25 of the light guide plate 20, the light guide plate 20 An upper surface image may be generated by capturing infrared rays emitted through the upper surface 25 of the camera, and the upper surface image generated by the cameras 51 and 52 may be received from the cameras 51 and 52 .
  • the processor 90 may recognize and store an image of an area corresponding to the entire area of the upper surface 25 of the light guide plate 20 in which infrared rays are emitted from the upper surface image received from the cameras 51 and 52 as a reference touchable area. .
  • the processor 90 controls the cameras 51 and 52 while the light source array 30 is on, so that when the input object 70 is adjacent to or in contact with the light guide plate 20, the light emitted from the upper surface of the light guide plate 20 is emitted.
  • An image of an adjacent top surface may be generated by capturing infrared rays and infrared rays reflected from the input object 70 , and the adjacent top image generated by the cameras 51 and 52 may be received.
  • the upper surface of the light guide plate 20 ( 25), which is located close to Therefore, when the input object 70 is adjacent to the light guide plate 20, the case where the input object 70 is in contact with the upper surface 25 of the light guide plate 20 is different from the case where the input object 70 is in contact with the upper surface 25 of the light guide plate 20 and is close to the upper surface 25 of the light guide plate 20. location may be included.
  • the processor 90 may be configured to recognize the coordinates of the input object 70 by using the top image captured by the cameras 51 and 52 and the adjacent top image. Since the image processing technology in which the processor 90 recognizes the coordinates of the input object 70 using an image may use a conventional image processing technology, a detailed description thereof will be omitted.
  • the processor 90 may transmit the coordinates of the input object 70 recognized using the top image and the adjacent top image to the main processor 99 .
  • the processor 90 controls the first camera 51 and the second camera 52 to enable the first camera 51 and the second camera 52 ) may receive a top view image and an adjacent top view image respectively captured.
  • the processor 90 controls the first camera 51 and the second camera 52 to control the light guide plate ( 20) to take an image of the upper surface 25. Then, the first camera 51 captures infrared rays emitted from the upper surface 25 of the light guide plate 20 to generate a first image, and the second camera 52 captures the infrared rays emitted from the upper surface 25 of the light guide plate 20. A second top image may be generated by imaging the emitted infrared rays.
  • the first camera 51 transmits the generated first top image to the processor 90
  • the second camera 52 transmits the generated second top image to the processor 90.
  • the processor 90 controls the first camera 51 and the second camera 52. to capture an image of the upper surface 25 of the light guide plate 20. Then, the first camera 51 captures infrared rays emitted from the upper surface 25 of the light guide plate 20 and reflected by the input object 70 to generate a first adjacent upper surface image, and the second camera 52 Infrared rays emitted from the upper surface 25 of the light guide plate 20 and reflected by the input object 70 may be imaged to generate a second adjacent upper surface image.
  • the first camera 51 transmits the generated first adjacent top image to the processor 90
  • the second camera 52 transmits the generated second adjacent top image to the processor 90 .
  • the processor 90 may recognize the coordinates of the input object 70 using the first top image captured by the first camera 51 and the first adjacent top image. Also, the processor 90 may recognize the coordinates of the input object 70 using the second top image captured by the second camera 52 and the second adjacent top image. The processor 90 may store the first and second top images and the first and second adjacent top images in the memory 91 to calculate the coordinates of the input object 70 through image processing.
  • the processor 90 can recognize the coordinates of one input object 70 using images captured by two cameras, the coordinates of the input object 70 can be recognized more accurately than when using one camera. can do.
  • the processor 90 obtains the coordinates of the input object 70 recognized using the first and second top images captured by the first camera 51 and the second camera 52 and the first and second adjacent top images. It can be transmitted to the main processor 90.
  • the processor 90 may include, for example, a processing circuit such as an electronic circuit board, various electronic components such as ASIC, ROM, RAM, and/or a program module.
  • a processing circuit such as an electronic circuit board, various electronic components such as ASIC, ROM, RAM, and/or a program module.
  • the memory 91 may store a program for processing or control by the processor 90, a top image for calculating the coordinates of the input object 70, and an adjacent top image.
  • the memory 91 may store a plurality of application programs for the processor 90 to calculate the coordinates of the input object 70 using the top image and the adjacent top image.
  • the memory 91 is accessed by the processor 90, and data read/write/modify/delete/update by the processor 90 can be performed.
  • a memory 91 may be implemented as a storage medium in the display panel 10, an external storage medium, a removable disk including a USB memory, a web server through a network, and the like.
  • the processor 90 and the memory 91 may be installed on the active circuit board 33 on which the light source array 30 is provided.
  • the main processor 99 controls the display panel 10 to output an image on the display surface 11.
  • the main processor 99 may be configured to control the display panel 10 to perform a corresponding event according to the coordinates of the input object 70 input from the processor 90 .
  • the main processor 99 and the processor 90 are formed separately.
  • the processor 90 may be integrally formed with the main processor 99 that controls the display panel 10 .
  • the light source array 30 and the light guide plate 20 may be fixed and supported by the housing 60 .
  • the housing 60 may be formed to surround the light source array 30 installed on three sides of the light guide plate 20 and one side of the light guide plate 20 .
  • the printed circuit board 33 of the light source array 30 is installed on the inner surface of the housing 60, and extends to the second side 22, the third side 23, and the fourth side 24 of the light guide plate 20.
  • the emitted infrared rays may be blocked or reflected by the housing 60 .
  • the first camera 51 and the second camera 52 may be installed on the printed circuit board 33 or the housing 60 to capture an image of the entire top surface 25 of the light guide plate 20 .
  • the housing 60 may be formed to fix and support the display panel 10 . That is, the display panel 10 , the light guide plate 20 , and the light source array 30 may be installed inside one housing 60 .
  • the display panel 10 may be implemented as a display device accommodated in a separately formed housing.
  • the light guide plate 20 , the light source array 30 , the first camera 51 , the second camera 52 , the processor 90 , and the housing may form a touch device.
  • the touch device is installed in front of the display surface 11 of the display device, the touch display device 1 according to an embodiment of the present disclosure can be implemented.
  • FIG. 4 is a diagram for explaining an operation of a touch display device according to an exemplary embodiment of the present disclosure.
  • 5 is a flowchart illustrating an operation of a touch display device according to an exemplary embodiment of the present disclosure.
  • the processor 90 When the touch display device 1 is turned on, the processor 90 performs calibration. Specifically, when the touch display device 1 is turned on, the processor 90 turns on the light source array 30 (S50) and controls the first camera 51 and the second camera 52, respectively, so that the light guide plate 20 The entire upper surface 25 of ) is captured (S51). That is, the processor 90 controls the first camera 51 and the second camera 52, respectively, to capture infrared rays emitted to the upper surface 25 of the light guide plate 20, and to obtain a first upper surface image and a second upper surface image. generate
  • the processor 90 receives a first top image captured by the first camera 51 and a second top image captured by the second camera 52 .
  • the processor 90 recognizes the area corresponding to the top surface 25 of the light guide plate 20, that is, the area where infrared rays are emitted, from the first and second top images as a touchable area, and stores this as a reference touchable area. It is stored in (91) (S52).
  • the processor 90 controls the first camera 51 and the second camera 52 to capture an image of the entire upper surface 25 of the light guide plate 20 (S54). Then, an adjacent top surface image including infrared rays emitted to the upper surface 25 of the light guide plate 20 and infrared rays reflected by the finger 70 is generated.
  • the first camera 51 generates a first adjacent top image including infrared rays emitted from the top surface 25 of the light guide plate 20 and infrared rays reflected by the finger 70 and transmits the image to the processor 90.
  • the second camera 52 generates a second adjacent top image including infrared rays emitted from the top surface 25 of the light guide plate 20 and infrared rays reflected by the finger 70 and transmits the image to the processor 90. .
  • the processor 90 extracts a touchable area from the transmitted adjacent top image (S55). Next, the processor 90 compares the extracted touchable area with the reference touchable area stored in the memory 91 to calculate the position of the input object 70 (S56).
  • the processor 90 extracts an image of an area corresponding to the top surface 25 of the light guide plate 20 as a first touchable area from the transmitted first adjacent top surface image. Next, the processor 90 compares the first touchable area with the reference touchable area stored in the memory 91 to calculate a first coordinate where the tip of the finger 70 is located.
  • the processor 90 extracts an image of an area corresponding to the upper surface 25 of the light guide plate 20 as a second touchable area from the transmitted second adjacent upper surface image.
  • the processor 90 compares the second touchable area with the reference touchable area stored in the memory 91 to calculate the second coordinate where the tip of the finger 70 is located. At this time, since the finger 70 is located at an arbitrary point on the light guide plate 20, the first coordinate and the second coordinate calculated by the processor 90 are the same.
  • the tip of the input object 70 does not directly touch the top surface 25 of the light guide plate 20 and is spaced apart from the top surface 25 of the light guide plate 20 by a predetermined distance.
  • the tip coordinates of (70) can be recognized. This can be referred to as a spatial touch.
  • H1 represents the space touch height H1, which is the distance from the upper surface 25 of the light guide plate 20 to the front end of the input object 70 capable of space touch.
  • the touch display device 1 recognizes the coordinates of the input object 70 using two cameras, that is, the first camera 51 and the second camera 52. , Even when one of the two cameras 51 and 52 does not recognize the input object 70, the coordinates of the input object 70 can be recognized. Accordingly, an error of not recognizing the coordinates of the input object 70 can be minimized compared to the case of using one camera.
  • the touch display device 1 that calculates the coordinates of the input object 70 using the two cameras 51 and 52 has been described, but the touch display device according to the present disclosure is not limited thereto.
  • the touch display device 1' according to an embodiment of the present disclosure may include only one camera 51 as shown in FIG. 6 .
  • FIG. 6 is a plan view illustrating a touch display device according to an exemplary embodiment of the present disclosure.
  • a touch display device 1' includes a display panel 10, a light guide plate 20, a light source array 30, a camera 51, and a processor 90. can include
  • the touch display device 1' shown in FIG. 6 is the touch display device 1 according to the above-described embodiment except that one camera 51 is installed to capture an image of the entire upper surface 25 of the light guide plate 20. Since it is the same as, the detailed description is omitted.
  • the processor 90 captures an upper surface image and an adjacent upper surface image using one camera 51, and calculates the coordinates of the input object 70 using the images. .
  • the touch display device 1' having one camera 51 inputs input compared to the touch display device 1 having two cameras 51 and 52 as in the above-described embodiment.
  • an error in which the coordinates of the object 70 cannot be calculated may occur.
  • FIG. 7 is a plan view illustrating a touch display device according to an exemplary embodiment of the present disclosure.
  • 8 is a cross-sectional view illustrating a touch display device according to an exemplary embodiment of the present disclosure.
  • 9 is a functional block diagram of a touch display device according to an embodiment of the present disclosure.
  • the touch display device 1 includes a display panel 10, a light guide plate 20, light source arrays 30 and 40, and cameras (51 and 52). , and a processor 90.
  • the display panel 10 is formed to display images.
  • the display panel 10 may be formed in a substantially rectangular flat plate shape.
  • the display panel 10 may include a display surface 11 on which images are displayed.
  • the display panel 10 may be implemented in various formats.
  • the display panel 10 includes a liquid crystal display panel, an organic light emitting diode display panel, a quantum dot light emitting diodes panel, and a micro LED panel.
  • Various types of display panels 10 such as the like may be used. Since the display panel 10 may use a conventional display panel, a detailed description thereof will be omitted.
  • the light guide plate 20 may be installed above the display panel 10 . Specifically, the light guide plate 20 may be installed above the display surface 11 of the display panel 10 .
  • the light guide plate 20 is formed in a rectangular flat shape, and includes a first surface (ie, upper surface 25), a second surface (ie, lower surface, 26) facing the first surface 25, and four side surfaces. can do. Specifically, the first surface 25 and the second surface 26 are formed in a rectangular shape and face each other in parallel, the first surface 25 forms the upper surface of the light guide plate 20, and the second surface 26 A lower surface of the silver light guide plate 20 may be formed.
  • the four side surfaces include a first side 21, a second side 22, a third side 23, and A fourth side surface 24 may be included.
  • the second side surface 22 and the third side surface 23 are perpendicular to the first side surface 21 and are parallel to each other.
  • the fourth side surface 24 is parallel to the first side surface 21 and perpendicular to the second side surface 22 and the third side surface 23 .
  • the display panel 10 is installed on the lower surface of the light guide plate 20, that is, the second surface 26.
  • the lower surface 26 of the light guide plate 20 may be installed to face the display surface 11 of the display panel 10 .
  • the light guide plate 20 may be larger than the size of the display surface 11 of the display panel 10 .
  • the light guide plate 20 may be formed to emit infrared rays incident from one side through the upper surface 15 .
  • the light guide plate 20 may be formed to emit infrared rays incident from the first side surface 21 to the outside through the upper surface 25 , that is, the first surface.
  • the second side surface 22 and the third side surface 23 perpendicular to the first side surface 21 of the light guide plate 20 may be formed so that infrared rays incident from the first side surface 21 are not emitted to the outside.
  • the inner surface of the second side surface 22 and the inner surface of the third side surface 23 may be formed to reflect or block infrared rays.
  • the second side surface 22 and the third side surface 23 of the light guide plate 20 are formed to transmit infrared rays, and the second side surface 22 and the third side surface 23 block the infrared rays.
  • a reflector for reflecting infrared rays may be installed.
  • the blocking plate and the reflecting plate may be implemented as an inner surface of the housing 60 to be described later.
  • the fourth side surface 24 facing and parallel to the first side surface 21 may also be formed in the same way as the second and third side surfaces so that incident infrared rays are not emitted to the outside of the light guide plate 20 .
  • the second side surface 22, the third side surface 23, and the fourth side surface 24 of the light guide plate 20 are formed so that infrared rays are not emitted, the infrared rays incident from the first side surface 21
  • the side surface 22, the third side surface 23, and the fourth side surface 24 are not released, but only through the first surface 25.
  • the processor 90 may recognize the region of the upper surface 25 of the light guide plate 20 from the infrared image of the light guide plate 20 captured by the camera. .
  • the processor 90 may recognize a touchable area from an infrared image obtained by capturing the top surface 25 of the light guide plate 20 . That is, the processor 90 may recognize the entire area of the upper surface 25 of the light guide plate 20 from which infrared rays are emitted as a touchable area.
  • the light guide plate 20 may be formed of a transparent material through which infrared rays pass.
  • the light guide plate 20 may be formed of transparent plastic or resin. Accordingly, the user can view an image displayed on the display surface 11 of the display panel 10 through the light guide plate 20 .
  • the light source array may be formed to emit infrared rays.
  • the light source array may be installed on one side of the light guide plate 20 .
  • the light source array may be installed adjacent to the first side surface 21 of the light guide plate 20 .
  • the light source array may include a first light source array 30 and a second light source array 40 .
  • the first light source array 30 includes a plurality of infrared light sources 31 and may be installed adjacent to the first side surface 21 of the light guide plate 20 . Alternatively, the first light source array 30 may be installed to contact the first side surface 21 of the light guide plate 20 . Accordingly, infrared rays emitted from the first light source array 30 may be incident into the light guide plate 20 through the first side surface 21 of the light guide plate 20 .
  • the plurality of infrared light sources 31 of the first light source array 30 may be arranged in a straight line along the first side surface 21 of the light guide plate 20 .
  • the plurality of infrared light sources 31 of the first light source array 30 may be installed on the printed circuit board 33 .
  • the printed circuit board 33 is installed parallel to the first side surface 21 of the light guide plate 20, and a plurality of infrared light sources 31 are provided on one side of the printed circuit board 33 facing the first surface of the light guide plate 20. ) can be arranged in a straight line.
  • infrared rays emitted from the first light source array 30 may be incident on the first side surface 21 of the light guide plate 20 and emitted to the first surface 25 of the light guide plate 20, that is, the upper surface.
  • the leaked infrared rays are reflected by the display surface 11 of the display panel 10 and incident on the lower surface 26 of the light guide plate 20.
  • Light may be emitted to the outside through the upper surface 25 of the light guide plate 20 .
  • the second light source array 40 includes a plurality of infrared light sources 41 and may be installed above the first light source array 30 . That is, the second light source array 40 may be installed above the first side surface 21 of the light guide plate 20 on which the first light source array 30 is installed. Accordingly, the second light source array 40 is positioned above the upper surface 25 of the light guide plate 20 .
  • infrared rays emitted from the second light source array 40 may be emitted upward of the light guide plate 20 without being incident into the inside of the light guide plate 20 . That is, infrared rays emitted from the second light source array 40 may move over the upper surface 25 of the light guide plate 20 in a direction parallel to the upper surface 25 of the light guide plate 20 .
  • the plurality of infrared light sources 41 of the second light source array 40 may be arranged in a straight line parallel to the plurality of infrared light sources 31 of the first light source array 30 .
  • the plurality of infrared light sources 41 of the second light source array 40 may be installed on the printed circuit board 33 on which the first light source array 30 is installed.
  • the plurality of infrared light sources 41 of the second light source array 40 are provided on one side of the printed circuit board 33 on which the first light source array 30 is installed, and the plurality of infrared light sources 31 of the first light source array 30 and It can be arranged side by side in a straight line.
  • the second light source array 40 may be installed on the printed circuit board 33 to be spaced apart from the first light source array 30 by a predetermined distance.
  • the plurality of infrared light sources 41 of the second light source array 40 are installed so that emitted infrared rays can cover the entire area of the upper surface 25 of the light guide plate 20 .
  • the second light source array 40 may be formed so that the area of infrared rays emitted from the plurality of infrared light sources 41 is larger than the area of the upper surface 25 of the light guide plate 20.
  • 10A is a diagram illustrating a region of infrared rays emitted from a first light source array according to an embodiment of the present disclosure.
  • 10B is a diagram illustrating an infrared region emitted from a first light source array and an infrared region emitted from a second light source array according to an embodiment of the present disclosure.
  • infrared rays emitted from the first light source array 30 are incident into the light guide plate 20 through the first side surface 21 of the light guide plate 20 and cover the top surface 25 of the light guide plate 20 . emitted to the outside through At this time, since the second side surface 22, the third side surface 23, and the fourth side surface 24 of the light guide plate 20 are formed not to emit infrared rays, the infrared rays emitted from the first light source array 30
  • the area TA is limited to the upper surface 25 of the light guide plate 20 . This area TA corresponds to the touchable area.
  • the plurality of infrared light sources 41 of the second light source array 40 emit infrared rays toward the upper side of the light guide plate 20 in a direction parallel to the light guide plate 20, and the emitted infrared region A is the portion of the light guide plate 20. It may be formed to be larger than the area of the upper surface 25 .
  • Infrared light emitted from the infrared light source 41 may spread at a certain angle rather than parallel light. That is, infrared rays emitted from the infrared light source 41 may form a substantially conical shape. Therefore, as shown in FIG. 10B , a portion A1 of infrared rays emitted from the two infrared light sources 41 installed at both ends of the second light source array 40 may deviate from the light guide plate 20 .
  • infrared rays emitted from the first light source array 30 are incident on the first side surface 21 of the light guide plate 20 and emitted to the first surface 25 of the light guide plate 20, that is, the upper surface, and the second light source array ( Infrared rays emitted from 40) may be emitted toward the upper side of the upper surface 25 of the light guide plate 20 in a direction substantially parallel to the light guide plate 20.
  • the infrared rays emitted from the second light source array 40 using the infrared region TA determined by the first light source array 30 and the light guide plate 20 A region (A) of can be defined. That is, as shown in FIG. 10B , of the infrared region A emitted from the second light source array 40, the upper surface 25 of the light guide plate 20 is excluded except for the infrared region A1 extending beyond the light guide plate 20. ) may be recognized as a touchable area TA.
  • the plurality of infrared light sources 31 and 41 constituting the first light source array 30 and the second light source array 40 may be formed of infrared LEDs.
  • the cameras 51 and 52 are configured to capture infrared rays emitted from the light guide plate 20 and the second light source array 40 .
  • the cameras 51 and 52 are provided to capture an image of the entire upper surface 25 of the light guide plate 20 .
  • the cameras 51 and 52 may capture images of infrared rays emitted through the entire area of the upper surface 25 of the light guide plate 20 and infrared rays emitted toward the upper side of the light guide plate 20 .
  • the cameras 51 and 52 may include a wide-angle lens and an image sensor.
  • the wide-angle lens has an angle of view capable of capturing an image of the entire upper surface 25 of the light guide plate 20 .
  • the angle of view of the wide-angle lens may be 90 degrees or more.
  • the image sensor is configured to generate an image of incident infrared rays. For example, when the first and second light source arrays 30 and 40 emit infrared rays, the image sensor generates a top image by capturing infrared rays emitted through the entire area of the upper surface 25 of the light guide plate 20 can do.
  • the cameras 51 and 52 may be installed on one side of the second light source array 40 .
  • the positions of the cameras 51 and 52 are not limited thereto. As long as the cameras 51 and 52 can capture an image of the entire upper surface 25 of the light guide plate 20, they can be installed in any position.
  • the camera may include a first camera 51 and a second camera 52 .
  • the first camera 51 is installed on one side of the second light source array 40 and may be provided to capture the entire area of the upper surface 25 of the light guide plate 20 .
  • the first camera 51 emits infrared rays emitted from the first light source array 30 and emitted upward from the entire area of the upper surface 25 of the light guide plate 20, and the second light source array 40 from the upper surface of the light guide plate 20 ( 25) may include a wide-angle lens 51a and an image sensor 51b to capture infrared rays emitted to the upper side.
  • the second camera 52 is installed on the other side of the second light source array 40 opposite to the first camera 51 and may be provided to capture the entire area of the upper surface 25 of the light guide plate 20 .
  • the second camera 52 emits infrared rays emitted from the first light source array 30 and emitted upward from the entire area of the upper surface 25 of the light guide plate 20 and the upper surface of the light guide plate 20 from the second light source array 40 ( 25) may include a wide-angle lens 52a and an image sensor 52b to capture infrared rays emitted upward.
  • each of the wide-angle lens 51a of the first camera 51 and the wide-angle lens 52a of the second camera 52 may be greater than or equal to 90 degrees.
  • the first camera 51 and the second camera 52 may be installed on both sides of the second light source array 40 on the printed circuit board 33 .
  • FIG. 11 is a diagram illustrating a case where a first camera and a second camera used in a touch display device according to another embodiment of the present disclosure are installed on a printed circuit board.
  • the plurality of infrared light sources 31 of the first light source array 30 and the plurality of infrared light sources 41 of the second light source array 40 are installed side by side in two lines on the printed circuit board 33. has been
  • the first camera 51 is installed on the printed circuit board 33 to the left of the second light source array 40
  • the second camera 52 is installed on the printed circuit board 33 to the right of the second light source array 40 ( 33) is installed.
  • the first camera 51 and the second camera 52 are installed on the printed circuit board 33 so as to capture an image of the entire upper surface 25 of the light guide plate 20 .
  • the first camera 51 and the second camera 52 may each generate an image of the upper surface 25 of the light guide plate 20 .
  • the two cameras 51 and 52 are configured to generate images of the upper surface 20 of the light guide plate 20, respectively, the coordinates of the input object 70 contacting or adjacent to the light guide plate 20 can be accurately calculated.
  • the processor 90 is configured to recognize the coordinates of the input object 70 that contacts or is adjacent to the light guide plate 20 using images captured by the first camera 51 and the second camera 52 .
  • the processor 90 may transfer the coordinates of the recognized input object 70 to the main processor 99 .
  • the coordinates of the input object 70 recognized by the processor 90 refer to two-dimensional coordinates at which the front end of the input object 70 is located on the display surface 11 . That is, the coordinates of the input object 70 are two-dimensional coordinates based on the display surface 11 .
  • the processor 90 is configured to turn on/off the first light source array 30 and the second light source array 40 .
  • the processor 90 turns on the first light source array 30 and the second light source array 40 and then controls the cameras 51 and 52 so that the input object 70 is the upper surface 25 of the light guide plate 20.
  • the infrared rays emitted through the upper surface 25 of the light guide plate 20 are captured to generate an upper surface image, and the first and second cameras 51 and 52 from the first and second cameras 51, 52) may receive the generated top image.
  • the processor 90 converts an image of an area corresponding to the entire area of the top surface 25 of the light guide plate 20 from which infrared rays are emitted from the top surface images received from the first and second cameras 51 and 52 to the reference touchable area. can be recognized and stored.
  • the processor 90 controls the first and second cameras 51 and 52 while the first light source array 30 and the second light source array 40 are turned on so that the input object 70 is the light guide plate 20
  • An image of the adjacent top surface is generated by capturing infrared rays emitted from the upper surface 25 of the light guide plate 20 and infrared rays reflected from the input object 70 when adjacent to or in contact with the first and second cameras 51 and 52 It is possible to receive an adjacent top surface image generated by .
  • the first and second cameras 51 and 52 are emitted from the first and second light source arrays 30 and 40 and are controlled by the input object 70.
  • the processor 90 may be configured to recognize the coordinates of the input object 70 by using the top image captured by the first and second cameras 51 and 52 and the adjacent top image. Since the image processing technology in which the processor 90 recognizes the coordinates of the input object 70 using an image may use a conventional image processing technology, a detailed description thereof will be omitted.
  • the processor 90 may transmit the coordinates of the input object 70 recognized using the top image and the adjacent top image to the main processor 99 .
  • the processor 90 controls the first camera 51 and the second camera 52 after turning on the first light source array 30 and before the input object 70 is adjacent to the light guide plate 20.
  • An image is taken of the upper surface 25 of the light guide plate 20 .
  • the first camera 51 generates a first image of the upper surface 25 of the light guide plate 20 by capturing infrared rays emitted from the upper surface 25 of the light guide plate 20, and the second camera 52 captures the infrared rays emitted from the upper surface 25 of the light guide plate 20. It is possible to generate a second image of the upper surface by capturing emitted infrared rays.
  • the first camera 51 transmits the generated first top image to the processor 90
  • the second camera 52 transmits the generated second top image to the processor 90.
  • the processor 90 extracts an image of an area where infrared rays are detected (that is, an area corresponding to the upper surface 25 of the light guide plate 20) from the received first and second top images, and extracts the image of the touchable area. , and stores this image in the memory 91 as a reference touchable area.
  • the processor 90 turns on the second light source array 40 .
  • the processor 90 When the input object 70 is adjacent to or in contact with the top surface 25 of the light guide plate 20 while the first and second light source arrays 30 and 40 are turned on, the processor 90 operates the first camera 51 and 2 The camera 52 is controlled to capture an image of the upper surface 25 of the light guide plate 20 .
  • the first camera 51 generates a first adjacent top image by capturing the infrared rays emitted from the upper surface 25 of the light guide plate 20 and the infrared rays reflected by the input object 70
  • the second camera 52 may generate a second adjacent top image obtained by capturing infrared rays emitted from the upper surface 25 of the light guide plate 20 and infrared rays reflected by the input object 70 .
  • the first adjacent top image and the second adjacent top image are infrared rays emitted from the first light source array 30 and emitted through the upper surface 25 of the light guide plate 20 and infrared rays emitted from the second light source array 40 .
  • the first and second cameras 51 and 52 each capture an image of the reflected state of the input object 70 .
  • the first camera 51 transmits the generated first adjacent top image to the processor 90
  • the second camera 52 transmits the generated second adjacent top image to the processor 90 .
  • the processor 90 may recognize the coordinates of the input object 70 using the reference touchable area and the first adjacent top image captured by the first camera 51 . In addition, the processor 90 may recognize the coordinates of the input object 70 using the reference touchable region and the second adjacent top image captured by the second camera 52 .
  • the processor 90 When the processor 90 recognizes the coordinates of the input object 70, the processor 90 detects an area A1 outside the light guide plate 20 in the first adjacent top image captured by the first camera 51, that is, a touch A portion outside the available area TA is removed, and a touchable area corresponding to the upper surface 25 of the light guide plate 20 is extracted. Thereafter, the processor 90 may compare the touchable area extracted from the first adjacent top image with the reference touchable area stored in the memory 91 to detect the coordinates of the input object 70 .
  • the processor 90 removes the area A1 outside the light guide plate 20, that is, the part outside the touchable area TA, from the second adjacent top image captured by the second camera 52, and A touchable area corresponding to the upper surface 25 of ) is extracted. Then, the processor 90 may compare the touchable area extracted from the second adjacent top image with the reference touchable area stored in the memory 91 to detect the coordinates of the input object 70 .
  • the processor 90 may store the first and second top images and the first and second adjacent top images in the memory 91 to calculate the coordinates of the input object 70 through image processing.
  • the processor 90 can recognize the coordinates of one input object 70 using the images captured by the two cameras 51 and 52, the coordinates of the input object 70 can be reduced compared to the case of using one camera. can be accurately recognized.
  • the processor 90 recognizes the coordinates of the input object 70 using the touchable area TA corresponding to the upper surface 25 of the light guide plate 20, the processor 90 is able to detect the outside of the light guide plate 20. It is possible to prevent an error of erroneously recognizing the coordinates of the input object 70 by the reflected infrared rays.
  • the processor 90 obtains the coordinates of the input object 70 recognized using the first and second top images captured by the first camera 51 and the second camera 52 and the first and second adjacent top images. to the main processor 99.
  • the processor 90 may include, for example, a processing circuit such as an electronic circuit board, various electronic components such as ASIC, ROM, RAM, and/or a program module.
  • a processing circuit such as an electronic circuit board, various electronic components such as ASIC, ROM, RAM, and/or a program module.
  • the memory 91 may store a program for processing or control by the processor 90, a top image for calculating the coordinates of the input object 70, and an adjacent top image.
  • the memory 91 stores a plurality of application programs for the processor 90 to calculate the coordinates of the input object 70 using the first and second top images and the first and second adjacent top images.
  • the memory 91 is accessed by the processor 90, and data read/write/modify/delete/update by the processor 90 can be performed.
  • a memory 91 may be implemented as a storage medium in the display panel 10, an external storage medium, a removable disk including a USB memory, a web server through a network, and the like.
  • the processor 90 and the memory 91 may be installed on the printed circuit board 33 on which the first and second light source arrays 30 and 40 are provided.
  • the main processor 99 controls the display panel 10 to output an image on the display surface 11.
  • the main processor 99 may be configured to control the display panel 10 to perform a corresponding event according to the coordinates of the input object 70 input from the processor 90 .
  • the main processor 99 and the processor 90 are formed separately.
  • the processor 90 may be integrally formed with the main processor 99 that controls the display panel 10 .
  • the printed circuit board 33 and the light guide plate 20 on which the first light source array 30 and the second light source array 40 are installed may be fixed and supported by the housing 60.
  • the housing 60 may be formed to surround the printed circuit board 33 installed on three sides of the light guide plate 20 and one side of the light guide plate 20 .
  • the printed circuit board 33 is installed on the inner surface of the housing 60, and infrared rays emitted to the second side 22, the third side 23, and the fourth side 24 of the light guide plate 20 are emitted by the housing ( 60) can be blocked or reflected.
  • the first camera 51 and the second camera 52 capture images of the entire area of the upper surface 25 of the light guide plate 20 and the infrared rays emitted from the second light source array 40 on the printed circuit board 33 or It can be installed in the housing 60.
  • the housing 60 may be formed to fix and support the display panel 10 . That is, the display panel 10 , the light guide plate 20 , and the printed circuit board 33 may be installed inside one housing 60 .
  • FIG. 12 is a diagram for explaining an operation of a touch display device according to an embodiment of the present disclosure.
  • 13 is a flowchart illustrating an operation of a touch display device according to another exemplary embodiment of the present disclosure.
  • the processor 90 When the touch display device 1 is turned on, the processor 90 performs calibration. Specifically, when the touch display device 1 is turned on, the processor 90 turns on the light source array 30 (S130) and controls the first camera 51 and the second camera 52, respectively, so that the light guide plate 20 The entire upper surface 25 of ) is imaged (S131). That is, the processor 90 controls the first camera 51 and the second camera 52, respectively, to capture infrared rays emitted to the upper surface 25 of the light guide plate 20, and to obtain a first upper surface image and a second upper surface image. generate
  • the processor 90 receives a first top image captured by the first camera 51 and a second top image captured by the second camera 52 .
  • the processor 90 extracts an image of an area corresponding to the top surface 25 of the light guide plate 20, that is, an area where infrared rays are emitted, from the first top image and the second top image, and denotes an image of the touchable area TA (FIG. 9A). reference).
  • the processor 90 stores the image of the touchable area in the memory 91 as a reference touchable area (S132).
  • the processor 90 turns on the second light source array 40 (S133). Then, infrared rays emitted from the second light source array 40 move upward of the upper surface 25 of the light guide plate 20 .
  • infrared rays emitted from the first and second light source arrays 30 and 40 are emitted from the finger. reflected by (70). That is, infrared rays emitted from the first light source array 30 through the upper surface 25 of the light guide plate 20 and infrared rays emitted from the second light source array 40 toward the upper surface 25 of the light guide plate 20 are emitted from the fingers. reflected by (70).
  • the processor 90 controls the first camera 51 and the second camera 52 to capture an image of the entire upper surface 25 of the light guide plate 20 (S135). Then, an adjacent top surface image including infrared rays emitted to the upper surface 25 of the light guide plate 20 and infrared rays reflected by the finger 70 is generated. Specifically, the first camera 51 generates a first adjacent top image including infrared rays emitted from the top surface 25 of the light guide plate 20 and infrared rays reflected by the finger 70 and transmits the image to the processor 90. The second camera 52 generates a second adjacent top image including infrared rays emitted from the top surface 25 of the light guide plate 20 and infrared rays reflected by the finger 70 and transmits the image to the processor 90. .
  • the processor 90 extracts a touchable area from the transmitted adjacent top image (S136). Next, the processor 90 calculates the position of the input object 70 by comparing the extracted touchable area with the reference touchable area stored in the memory 91 (S137).
  • the processor 90 removes an area outside the top surface 25 of the light guide plate 20 from the transmitted first adjacent top image, and converts the image of the area corresponding to the top surface 25 of the light guide plate 20 into a first image. Extract to the touchable area. Next, the processor 90 compares the first touchable area with the reference touchable area stored in the memory 91 to calculate a first coordinate where the tip of the finger 70 is located.
  • the processor 90 removes an area outside the upper surface 25 of the light guide plate 20 from the transmitted second adjacent upper surface image, and second touches the image of the area corresponding to the upper surface 25 of the light guide plate 20. Extract to the possible domain.
  • the processor 90 compares the second touchable area with the reference touchable area stored in the memory 91 to calculate the second coordinate where the tip of the finger 70 is located. At this time, since the finger 70 is located at one point of the light guide plate 20, the first coordinate and the second coordinate calculated by the processor 90 are the same.
  • the touch display device 1 emits infrared rays to the first and second light source arrays 30 and 40 and inputs them to the first camera 51 and the second camera 52. Since the coordinates of the input object 70 are recognized by capturing infrared rays reflected by the object 70, the coordinates of the input object 70 can be better recognized than when using a single light source array.
  • the touch display device 1 since the touch display device 1 according to an embodiment of the present disclosure emits infrared rays using the first and second light source arrays 30 and 40 arranged in two lines in parallel, as in the above-described embodiment, Compared to the touch display device 1 using the light source array 30 arranged in one line, since the amount of infrared rays reflected on the input object 70 is large, it is easy to recognize the coordinates of the input object 70 and accuracy can be improved. can
  • the touch display device 1 since the touch display device 1 according to an embodiment of the present disclosure includes the second light source array 40 disposed on the light guide plate 20, it does not directly touch the upper surface 25 of the light guide plate 20.
  • the height H2 at which a spatial touch capable of recognizing the coordinates of the tip of the input object 70 is a single line of light source array 30, as in the above-described embodiment. It is higher than the space touch height H1 of the touch display device 1 including .
  • the touch display device 1 since the touch display device 1 according to an embodiment of the present disclosure uses two cameras 51 and 52, when one of the two cameras 51 and 52 does not recognize the input object 70 Also, the coordinates of the input object 70 can be recognized. Therefore, compared to the case of using one camera, an error in which the touch display device does not recognize the coordinates of the input object 70 can be minimized.
  • a touch display device according to an embodiment of the present disclosure may include only one camera as shown in FIG. 14 .
  • FIG. 14 is a diagram illustrating a touch display device according to another exemplary embodiment of the present disclosure.
  • a touch display device 1' includes a display panel 10, a light guide plate 20, first and second light source arrays 30 and 40, and a camera 51. , and a processor 90.
  • the touch display device 1' shown in FIG. 14 has the above-mentioned features except that one camera 51 is installed on one side of the second light source array 40 to capture an image of the entire upper surface 25 of the light guide plate 20. Since it is the same as the touch display device 1 according to the embodiment, a detailed description thereof will be omitted.
  • the processor 90 captures an upper surface image and an adjacent upper surface image using one camera 51, and uses this to calculate the coordinates of the input object 70. do.
  • the touch display device 1' having one camera 51 inputs input compared to the touch display device 1 having two cameras 51 and 52 as in the above-described embodiment. There is a high possibility that an error in which the coordinates of the object 70 cannot be calculated may occur.
  • the touch display device having the structure as described above recognizes the coordinates of an input object when the input object contacts the upper surface of the light guide plate or when the input object is adjacent to the upper surface of the light guide plate without contacting the upper surface of the light guide plate. to control the display surface.
  • the touch display device recognizes the upper surface of the light guide plate as a touchable area, an error of misrecognizing the coordinates of the input device due to infrared rays reflected from an area outside the light guide plate can be prevented.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

터치 디스플레이 장치가 제공된다. 터치 디스플레이 장치는, 디스플레이면을 포함하는 디스플레이 패널과, 디스플레이 패널의 디스플레이면의 상측에 설치되며, 일 측면으로 입사되는 광을 상면으로 방출하도록 형성된 도광판과, 도광판의 일측에 설치되며, 도광판의 일 측면으로 적외선을 방출하는 복수의 적외선 광원을 포함하는 제1광원 어레이과, 제1광원 어레이의 적어도 일측에 설치되며, 도광판의 상면의 전체 영역을 통해 방출되는 적외선을 촬상할 수 있도록 형성된 카메라, 및 카메라에 의해 촬상된 적외선 이미지를 이용하여 도광판의 상면에 인접한 입력물체의 좌표를 인식하는 프로세서를 포함한다.

Description

터치 디스플레이 장치
본 개시는 디스플레이 장치에 관한 것으로서, 더욱 상세하게는 터치 기능을 구비한 터치 디스플레이 장치에 관한 것이다.
일반적으로, 터치 패널은 디스플레이를 구비한 전자기기와 사용자 간의 인터페이스를 구성하는 여러 방식 중의 하나로서, 사용자가 손이나 스타일러스 펜으로 디스플레이의 화면을 직접 접촉함으로써 전자기기를 동작시킬 수 있는 입력 장치이다.
터치 패널은 디스플레이의 화면에 표시되어 있는 버튼 등을 손가락으로 접촉하는 것만으로 전자기기를 직감적으로 조작할 수 있으므로, 스마트폰, 태블릿, 각종 의료장치, 현금 인출기, 관광 및 주요 기관의 안내용 키오스크, 교통 안내용 키오스크, 음식 주문용 키오스크 등에 널리 사용되고 있다.
이러한 터치 패널을 인식방식에 따라 저항막 방식 터치 패널(Resistive type touch panel), 정전 용량 터치 패널(Capacitive touch panel), 초음파 터치 패널(Ultrasonic touch panel), 적외선 방식 터치 패널(Infrared type touch panel) 등이 있다.
이와 같은 종래 기술에 의한 터치 패널은 디스플레이의 화면을 직접 접촉하여야만 전자기기를 동작시킬 수 있다는 문제점이 있다.
상기 정보는 본 개시의 이해를 돕기 위해 배경기술로서만 제공된다. 상기의 내용 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며, 어떠한 주장도 이루어지지 않았다.
본 개시의 다양한 측면은 적어도 상기와 같은 문제점 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 따라서, 본 개시의 일 측면은 디스플레이면을 접촉한 경우뿐만 아니라 디스플레이면에 인접한 경우에도 전자기기를 동작시킬 수 있는 터치 디스플레이 장치를 제공하는 것을 목적으로 한다.
본 개시의 일 측면에 따르는 터치 디스플레이 장치는, 디스플레이면을 포함하는 디스플레이 패널; 상기 디스플레이 패널의 디스플레이면의 상측에 설치되며, 일 측면으로 입사되는 광을 상면으로 방출하도록 형성된 도광판; 상기 도광판의 일측에 설치되며, 상기 도광판의 일 측면으로 적외선을 방출하는 복수의 적외선 광원을 포함하는 제1광원 어레이; 상기 제1광원 어레이의 적어도 일측에 설치되며, 상기 도광판의 상면의 전체 영역을 통해 방출되는 적외선을 촬상할 수 있도록 형성된 카메라; 및 상기 카메라에 의해 촬상된 적외선 이미지를 이용하여 상기 도광판의 상면에 인접한 입력물체의 좌표를 인식하는 프로세서;를 포함할 수 있다.
또한, 터치 디스플레이 장치는 상기 제1광원 어레이의 상측에 설치되며, 상기 도광판의 상면의 상측으로 적외선을 방출하는 복수의 적외선 광원을 포함하는 제2광원 어레이;를 더 포함하며, 상기 카메라는 상기 제2광원 어레이에서 방출되는 적외선을 촬상할 수 있도록 형성될 수 있다.
이때, 상기 제2광원 어레이의 복수의 적외선 광원은 상기 제1광원 어레이의 복수의 적외선 광원과 평행하게 일직선으로 설치될 수 있다.
또한, 상기 제1광원 어레이의 복수의 적외선 광원과 상기 제2광원 어레이의 복수의 적외선 광원이 2줄로 설치된 인쇄회로기판을 더 포함할 수 있다.
또한, 상기 프로세서는 상기 인쇄회로기판에 설치될 수 있다.
또한, 상기 프로세서는 상기 제1광원 어레이가 온되고 상기 제2광원 어레이가 오프된 상태에서 상기 카메라가 촬상한 상기 도광판의 상면 이미지로부터 기준 터치 가능 영역을 인식하고, 상기 프로세서가 상기 도광판에 인접한 상기 입력물체의 좌표를 인식할 때, 상기 프로세서는 상기 제1광원 어레이와 상기 제2광원 어레이가 온된 상태에서 상기 카메라가 촬상한 상기 도광판의 인접 상면 이미지에서 상기 도광판의 상면에서 벗어나는 영역을 제거하여 터치 가능 영역을 추출하고, 추출한 상기 터치 가능 영역과 상기 기준 터치 가능 영역을 비교하여 상기 입력물체의 좌표를 검출하도록 형성될 수 있다.
또한, 상기 도광판은 직사각형의 평판 형상으로 형성되며, 제1면, 상기 제1면과 마주하며 상기 디스플레이 패널이 설치되는 제2면, 및 4개의 측면을 포함하며, 상기 제1광원 어레이는 상기 도광판의 4개의 측면 중 제1측면으로 적외선을 입사시킬 수 있도록 설치되며, 상기 도광판은 상기 제1측면으로 입사된 상기 적외선이 상기 제1면을 통해 방출되도록 형성될 수 있다.
또한, 상기 제1광원 어레이의 복수의 적외선 광원은 상기 도광판의 제1측면을 따라 일직선으로 설치될 수 있다.
또한, 상기 도광판은 상기 4개의 측면 중 상기 제1측면에 수직한 제2측면과 제3측면은 상기 제1광원 어레이에서 방출되는 적외선이 상기 도광판의 외부로 방출되지 않도록 형성될 수 있다.
또한, 상기 카메라는 상기 제1광원 어레이에서 방출되어 상기 도광판의 상면의 전체 영역에서 방출되는 적외선을 촬영할 수 있도록 광각 렌즈와 이미지 센서를 포함할 수 있다.
또한, 상기 광각 렌즈의 화각은 90도보다 클 수 있다.
또한, 상기 카메라는, 상기 제1광원 어레이의 일측에 설치되며, 상기 도광판의 상면의 전체 영역을 촬영할 수 있도록 형성되는 제1카메라; 및 상기 제1카메라와 반대쪽으로 상기 제1광원 어레이의 타측에 설치되며, 상기 도광판의 상면의 전체 영역을 촬영할 수 있도록 형성되는 제2카메라;를 포함할 수 있다.
또한, 상기 제1카메라와 상기 제2카메라는 각각 광각 렌즈와 이미지 센서를 포함하며, 상기 광각 렌즈의 화각은 90도보다 클 수 있다.
또한, 상기 프로세서는 상기 제1광원 어레이가 온된 상태에서 상기 카메라가 촬상한 상기 도광판의 상면 이미지로부터 기준 터치 가능 영역을 인식하고, 상기 프로세서가 상기 도광판에 인접한 상기 입력물체의 좌표를 인식할 때, 상기 프로세서는 상기 제1광원 어레이가 온된 상태에서 상기 카메라가 촬상한 상기 도광판의 인접 상면 이미지에서 상기 도광판의 상면에서 벗어나는 영역을 제거하여 터치 가능 영역을 추출하고, 추출한 상기 터치 가능 영역과 상기 기준 터치 가능 영역을 비교하여 상기 입력물체의 좌표를 인식하도록 형성될 수 있다.
또한, 상기 적외선 광원은 적외선 엘이디를 포함할 수 있다.
본 개시의 다른 측면, 이점, 및 두드러진 특징은 첨부된 첨부된 도면과 함께 본 개시의 다양한 실시예를 설명하는 아래의 상세한 설명으로부터 통상의 기술자에게 명백해질 것이다.
상술한 바와 같은 구조를 갖는 본 개시의 일 실시예에 의한 터치 디스플레이 장치는 입력물체가 도광판의 상면에 접촉하는 경우 및 입력물체가 도광판의 상면에 접촉하지 않고 인접하는 경우에 입력물체의 좌표를 인식하여 디스플레이면을 제어할 수 있다.
또한, 본 개시의 일 실시예에 의한 터치 디스플레이 장치는 도광판의 상면을 터치 가능 영역으로 인식하므로, 도광판의 외부로 벗어난 영역에서 반사되는 적외선때문에 입력장치의 좌표를 오인식하는 에러를 방지할 수 있다.
본 개시의 실시예들의 상술한 및 다른 측면, 특징, 및 이점은 첨부도면을 참조한 다음의 설명으로부터 더욱 명백해질 것이다. 첨부도면에서:
도 1은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 도면;
도 2는 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 단면도;
도 3은 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 기능 블록도;
도 4는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 도면;
도 5는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 순서도;
도 6은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 도면;
도 7은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 도면;
도 8은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 단면도;
도 9는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 기능 블록도;
도 10a는 본 개시의 일 실시예에 의한 제1광원 어레이에서 방출되는 적외선의 영역을 나타낸 도면;
도 10b는 본 개시의 일 실시예에 의한 제1광원 어레이에서 방출되는 적외선의 영역과 제2광원 어레이에서 방출되는 적외선의 영역을 나타낸 도면;
도 11은 본 개시의 일 실시예에 의한 터치 디스플레이 장치에 사용되는 제1카메라와 제2카메라가 인쇄회로기판에 설치된 경우를 나타내는 도면;
도 12는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 도면;
도 13은 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 순서도;
도 14는 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 도면;이다.
도면 전반에 걸쳐, 동일한 참조번호는 동일하거나 유사한 요소, 특징, 및 구조를 설명하는데 사용된다는 점에 유의해야 한다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 본 명세서에 기술된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명료함과 간결함을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략할 수 있다.
아래의 설명 및 청구범위에서 사용된 용어 및 단어는 서지적 의미에 한정되지 않으며, 본 개시의 명확하고 일관된 이해를 가능하게 하기 위해 발명자가 단지 사용하였다. 따라서, 본 개시의 다양한 실시예에 대한 다음의 설명은 단지 예시의 목적으로 제공되고 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같이 본 개시를 제한하기 위한 것이 아님은 본 기술분야의 통상의 지식을 가진 자에게 명백하다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 개시의 실시예들에서 사용되는 용어들은 다르게 정의되지 않는 한, 해당 기술 분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.
또한, 본 개시에서 사용한 '선단', '후단', '상부', '하부', '상단', '하단' 등의 용어는 도면을 기준으로 정의한 것이며, 이 용어에 의해 각 구성요소의 형상 및 위치가 제한되는 것은 아니다.
이하, 첨부된 도면을 참조하여 본 개시의 일 실시예에 의한 터치 디스플레이 장치에 대해 상세하게 설명한다.
도 1은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 도면이다. 도 2는 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 단면도이다. 도 3은 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 기능 블록도이다.
도 1 내지 도 3을 참조하면, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 디스플레이 패널(10), 도광판(20), 광원 어레이(30), 카메라(51,52), 프로세서(90)를 포함할 수 있다.
디스플레이 패널(10)은 이미지를 디스플레이할 수 있도록 형성된다. 디스플레이 패널(10)은 대략 직사각형의 평판 형상으로 형성될 수 있다. 디스플레이 패널(10)은 이미지가 디스플레이되는 디스플레이면(11)을 포함할 수 있다.
디스플레이 패널(10)은 다양한 형식으로 구현될 수 있다. 예를 들면, 디스플레이 패널(10)은 액정 표시(Liquid Crystal Display) 패널, 유기발광 표시(Organic Light Emitting Diodes Display) 패널, 퀀텀닷 엘이디(Quantum dot Light Emitting Diodes) 패널, 마이크로 엘이디(Micro LED) 패널 등과 같은 다양한 종류의 디스플레이 패널이 사용될 수 있다. 디스플레이 패널(10)은 종래 기술에 의한 디스플레이 패널을 사용할 수 있으므로 상세한 설명은 생략한다.
도 2를 참조하면, 도광판(20)은 디스플레이 패널(10)의 상측에 설치될 수 있다. 구체적으로, 도광판(20)은 디스플레이 패널(10)의 디스플레이면(11)의 상측에 설치될 수 있다. 도 1을 기준으로 하면, 도광판(20)은 디스플레이 패널(10)의 앞에 위치한다고 할 수 있다. 이하의 설명에서는 도 2를 기준으로 도광판(20)은 디스플레이 패널(10)의 상측에 설치된 것으로 설명한다.
도광판(20)은 직사각형의 평판 형상으로 형성되며, 제1면(즉, 상면, 25), 제1면(25)과 마주하는 제2면(즉, 하면, 26), 및 4개의 측면을 포함할 수 있다. 구체적으로, 제1면(25)과 제2면(26)은 직사각형으로 형성되어 서로 평행하게 마주하며, 제1면(25)은 도광판(20)의 상면을 형성하고, 제2면(26)은 도광판(20)의 하면을 형성할 수 있다.
4개의 측면은 제1면(즉, 상면, 25)과 제2면(즉, 하면, 26)을 연결하는 제1측면(21), 제2측면(22), 제3측면(23), 제4측면(24)을 포함할 수 있다. 제2측면(22)과 제3측면(23)은 제1측면에 대해 수직하며, 서로 평행하다. 제4측면(24)은 제1측면(21)과 평행하며, 제2측면(22)과 제3측면(23)에 대해 수직하다.
도광판(20)의 하면(즉, 제2면, 26), 즉 제2면에는 디스플레이 패널(10)이 설치된다. 따라서, 도광판(20)의 하면(즉, 제2면, 26)과 디스플레이 패널(10)의 디스플레이면(11)이 마주한다. 도광판(20)은 디스플레이 패널(10)의 디스플레이면(11)의 크기 이상으로 형성될 수 있다.
도광판(20)은 일측면으로부터 입사되는 광을 상면(25)을 통해 방출할 수 있도록 형성될 수 있다. 예를 들면, 도광판(20)은 제1측면(21)으로부터 입사되는 광을 상면(25), 즉 제1면을 통해 외부로 방출할 수 있도록 형성될 수 있다.
도광판(20)의 제1측면(21)에 수직한 제2측면(22)과 제3측면(23)은 제1측면(21)에서 입사되는 광이 외부로 방출되지 않도록 형성될 수 있다. 예를 들면, 제2측면(22)의 내면과 제3측면(23)의 내면은 광을 반사하거나 차단하도록 형성될 수 있다. 또는, 도광판(20)의 제2측면(22)과 제3측면(23)은 광을 투과하도록 형성되고, 제2측면(22)과 제3측면(23)에 광을 차단하는 차단판 또는 광을 반사하는 반사판을 설치할 수 있다.
또한, 제1측면(21)과 마주하며 평행한 제4측면(24)도 입사되는 광이 외부로 방출되지 않도록 형성될 수 있다.
이와 같이 도광판(20)의 제2측면(22), 제3측면(23), 및 제4측면(24)을 광이 방출되지 않도록 형성하면, 제1측면(21)에서 입사되는 광은 제2측면(22), 제3측면(23), 및 제4측면(24)으로 방출되지 않고 제1면(25)을 통해서만 방출된다. 따라서, 카메라(51,52)가 도광판(20)의 상면(25)을 촬상하면, 프로세서(90)는 카메라(51,52)가 촬상한 도광판(20)의 적외선 이미지로부터 도광판(20)의 상면(25)의 영역을 인식할 수 있다. 따라서, 프로세서(90)는 도광판(20)의 상면(25)의 전체 영역을 터치 가능 영역으로 인식할 수 있다.
도광판(20)은 광이 투과하는 투명한 재질로 형성될 수 있다. 예를 들면, 도광판(20)은 투명한 플라스틱, 수지 등으로 형성될 수 있다. 따라서, 디스플레이 패널(10)의 디스플레이면(11)에서 디스플레이되는 이미지는 도광판(20)을 통해 사용자가 볼 수 있다.
광원 어레이(30)는 복수의 적외선 광원(31)을 포함하며, 적외선을 방출할 수 있도록 형성될 수 있다. 광원 어레이(30)는 도광판(20)의 일측에 설치될 수 있다. 예를 들면, 광원 어레이(30)는 도광판(20)의 제1측면(21)에 인접하게 설치될 수 있다. 또는, 광원 어레이(30)는 도광판(20)의 제1측면(21)에 접촉하도록 설치될 수 있다. 따라서, 광원 어레이(30)에서 방출되는 적외선은 도광판(20)의 제1측면(21)을 통해 도광판(20)의 내부로 입사될 수 있다.
광원 어레이(30)의 복수의 적외선 광원(31)은 도광판(20)의 일 측면을 따라 일직선으로 배열될 수 있다. 광원 어레이(30)는 복수의 적외선 광원(31)이 설치되는 인쇄회로기판(33)을 포함할 수 있다.
인홰회로기판(33)은 도광판(20)의 일 측면과 나란하게 설치되며, 도광판(20)의 일 측면을 마주하는 인홰회로기판(33)의 일면에는 복수의 적외선 광원(31)이 도광판(20)의 일 측면에 평행하게 일직선으로 마련될 수 있다.
따라서, 광원 어레이(30)에서 방출되는 적외선은 도광판(20)의 제1측면(21)으로 입사되어 도광판(20)의 제1면(25), 즉 상면으로 방출될 수 있다. 만일, 적외선의 일부가 도광판(20)의 하면(즉, 제2면, 26)으로 유출되면, 유출된 적외선은 디스플레이 패널(10)의 디스플레이면(11)에 의해 반사되어 도광판(20)의 하면(26)으로 입력되고, 도광판(10)의 상면(25)을 통해 외부로 방출될 수 있다.
광원 어레이(30)를 구성하는 복수의 적외선 광원(31)은 적외선 엘이디(Infrared LED)로 형성될 수 있다.
카메라(51,52)는 도광판(20)에서 방출되는 적외선을 촬상할 수 있도록 형성된다. 카메라(51,52)는 도광판(20)의 상면(25) 전체를 촬상할 수 있도록 마련된다. 구체적으로, 카메라(51,52)는 도광판(20)의 상면(25)의 전체 영역을 통해 방출되는 적외선을 촬상할 수 있도록 형성될 수 있다.
이를 위해, 카메라(51,52)는 광각 렌즈와 이미지 센서를 포함할 수 있다. 광각 렌즈는 도광판(20)의 상면 전체를 촬상할 수 있는 화각(angle of view)을 갖는다. 예를 들면, 광각 렌즈의 화각은 90도 이상일 수 있다.
이미지 센서는 입사된 적외선의 이미지를 생성할 수 있도록 형성된다. 예를 들면, 광원 어레이(30)가 적외선을 방출하는 경우, 이미지 센서는 도광판(20)의 상면(25)의 전체 영역을 통해 방출되는 적외선을 촬상한 상면 이미지를 생성할 수 있다.
카메라(51,52)는 광원 어레이(30)의 일측에 설치될 수 있다. 그러나, 카메라(51,52)의 위치는 이에 한정되는 것은 아니다. 카메라(51,52)가 도광판(20)의 상면(25) 전체를 촬상할 수 있는 한, 어떤 위치에도 설치될 수 있다.
도 1에 도시된 바와 같이, 카메라는 제1카메라(51)와 제2카메라(52)를 포함할 수 있다.
제1카메라(51)는 광원 어레이(30)의 일측에 설치되며, 도광판(20)의 상면(25)의 전체 영역을 촬상할 수 있도록 마련될 수 있다. 제1카메라(51)는 광원 어레이(30)에서 방출되어 도광판(20)의 상면(25)의 전체 영역에서 방출되는 적외선을 촬상할 수 있도록 광각 렌즈(51a)와 이미지 센서(51b)를 포함할 수 있다.
제2카메라(52)는 제1카메라(51)와 반대쪽으로 제1광원 어레이(30)의 타측에 설치되며, 도광판(20)의 상면(25)의 전체 영역을 촬상할 수 있도록 마련될 수 있다. 제2카메라(52)는 광원 어레이(30)에서 방출되어 도광판(20)의 상면(25)의 전체 영역에서 방출되는 적외선을 촬상할 수 있도록 광각 렌즈(52a)와 이미지 센서(52b)를 포함할 수 있다.
도 1에 도시된 바와 같이, 제1카메라(51)의 광각 렌즈(51a)와 제2카메라(52)의 광각 렌즈(52a) 각각의 화각은 90도 이상일 수 있다.
제1카메라(51)와 제2카메라(52)는 인홰회로기판(33)에 광원 어레이(30)의 양측에 설치될 수 있다.
제1카메라(51)는 도광판(20)의 상면 이미지를 생성하고, 제2카메라(52)도 도광판(20)의 상면 이미지를 생성할 수 있다. 이와 같이 2개의 카메라(51,52)가 도광판(20)의 상면 이미지를 생성하도록 형성하면, 도광판(20)에 접촉하거나 인접한 입력물체(70)(도 4 참조)의 좌표를 정확하게 산출할 수 있다.
프로세서(90)는 카메라(51, 52)에 의해 촬상된 이미지를 이용하여 도광판(20)에 접촉하거나 인접한 입력물체(70)의 좌표를 인식할 수 있도록 형성된다. 프로세서(90)는 인식한 입력물체(70)의 좌표를 메인 프로세서(99)로 전달할 수 있다. 여기서, 프로세서(90)가 인식하는 입력물체(70)의 좌표는 디스플레이면(11)에 입력물체(70)의 선단이 위치하는 2차원 좌표를 말한다. 즉, 입력물체(70)의 좌표는 디스플레이면(11)을 기준으로 하는 2차원 좌표이다.
여기서, 입력물체(70)는 도광판(20)을 통해 디스플레이되는 이미지의 적어도 하나의 지점을 선택할 수 있도록 형성된 것을 말한다. 예를 들면, 입력물체(70)는 사용자의 손가락, 스타일러스, 펜, 지시봉, 지휘봉, 안테나, 막대기 등을 포함할 수 있다.
프로세서(90)는 광원 어레이(30)를 온/오프(On/Off) 제어할 수 있도록 형성된다. 또한, 프로세서(90)는 광원 어레이(30)를 온시킨 후, 카메라(51,52)를 제어하여 입력물체(70)가 도광판(20)의 상면(25)에 인접하지 않았을 때 도광판(20)의 상면(25)을 통해 방출되는 적외선을 촬상하여 상면 이미지를 생성하고, 카메라(51,52)로부터 카메라(51,52)가 생성한 상면 이미지를 수신할 수 있다.
프로세서(90)는 카메라(51, 52)로부터 수신한 상면 이미지에서 적외선이 방출되는 도광판(20)의 상면(25)의 전체 영역에 대응하는 영역의 이미지를 기준 터치 가능 영역으로 인식하고 저장할 수 있다.
또한, 프로세서(90)는 광원 어레이(30)가 온된 상태에서 카메라(51,52)를 제어하여 입력물체(70)가 도광판(20)에 인접하거나 접촉하였을 때 도광판(20)의 상면에서 방출되는 적외선과 입력물체(70)에서 반사되는 적외선을 촬상하여 인접 상면 이미지를 생성하고, 카메라(51,52)가 생성한 인접 상면 이미지를 수신할 수 있다.
여기서, 입력물체(70)가 도광판(20)에 인접한 경우는 제1 및 제2카메라(51,52)가 입력물체(70)에 반사되는 적외선을 촬상할 수 있을 정도로 도광판(20)의 상면(25)에 가까이 위치한 경우를 말한다. 따라서, 입력물체(70)가 도광판(20)에 인접한 경우는 입력물체(70)가 도광판(20)의 상면(25)에 접촉한 경우와 도광판(20)의 상면(25)에 접촉하지 않고 가까이 위치한 경우를 포함할 수 있다.
프로세서(90)는 카메라(51,52)가 촬상한 상면 이미지와 인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 인식하도록 형성될 수 있다. 프로세서(90)가 이미지를 이용하여 입력물체(70)의 좌표를 인식하는 이미지 처리 기술은 종래 기술에 의한 이미지 처리 기술을 이용할 수 있으므로 상세한 설명은 생략한다.
프로세서(90)는 상면 이미지와 인접 상면 이미지를 이용하여 인식한 입력물체(70)의 좌표를 메인 프로세서(99)로 전송할 수 있다.
카메라가 제1카메라(51)와 제2카메라를 포함하는 경우, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 제어하여 제1카메라(51)와 제2카메라(52)가 각각 촬상한 상면 이미지와 인접 상면 이미지를 수신할 수 있다.
구체적으로, 프로세서(90)는 광원 어레이(30)를 온시킨 후, 입력물체(70)가 도광판(20)에 인접하기 전에 제1카메라(51)와 제2카메라(52)를 제어하여 도광판(20)의 상면(25)을 촬상하도록 한다. 그러면, 제1카메라(51)는 도광판(20)의 상면(25)에서 방출되는 적외선을 촬상하여 제1상면 이미지를 생성하고, 제2카메라(52)는 도광판(20)의 상면(25)에서 방출되는 적외선을 촬상하여 제2상면 이미지를 생성할 수 있다.
제1카메라(51)는 생성된 제1상면 이미지를 프로세서(90)로 전송하고, 제2카메라(52)는 생성된 제2상면 이미지를 프로세서(90)로 전송한다.
광원 어레이(30)가 온된 상태에서 입력물체(70)가 도광판(20)의 상면(25)에 인접하거나 접촉하면, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 제어하여 도광판(20)의 상면(25)을 촬상하도록 한다. 그러면, 제1카메라(51)는 도광판(20)의 상면(25)에서 방출되어 입력물체(70)에 의해 반사된 적외선을 촬상하여 제1인접 상면 이미지를 생성하고, 제2카메라(52)는 도광판(20)의 상면(25)에서 방출되어 입력물체(70)에 의해 반사되는 적외선을 촬상하여 제2인접 상면 이미지를 생성할 수 있다.
제1카메라(51)는 생성된 제1인접 상면 이미지를 프로세서(90)로 전송하고, 제2카메라(52)는 생성된 제2인접 상면 이미지를 프로세서(90)로 전송한다.
프로세서(90)는 제1카메라(51)가 촬상한 제1상면 이미지와 제1인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 인식할 수 있다. 또한, 프로세서(90)는 제2카메라(52)가 촬상한 제2상면 이미지와 제2인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 인식할 수 있다. 프로세서(90)는 이미지 처리를 하여 입력물체(70)의 좌표를 산출하기 위해 제1 및 제2상면 이미지와 제1 및 제2인접 상면 이미지를 메모리(91)에 저장할 수 있다.
이때, 프로세서(90)는 한 개의 입력물체(70)의 좌표를 2개의 카메라로 촬상한 이미지를 이용하여 인식할 수 있으므로, 한 개의 카메라를 이용하는 경우에 비해 입력물체(70)의 좌표를 정확하게 인식할 수 있다.
프로세서(90)는 제1카메라(51)와 제2카메라(52)가 촬상한 제1 및 제2상면 이미지와 제1 및 제2인접 상면 이미지를 이용하여 인식한 입력물체(70)의 좌표를 메인 프로세서(90)로 전송할 수 있다.
프로세서(90)는, 예를 들면, 전자회로기판과 같은 처리 회로, ASIC, ROM, RAM 등과 같은 다양한 전자 부품 및/또는 프로그램 모듈을 포함하여 구성될 수 있다.
메모리(91)는 프로세서(90)의 처리 또는 제어를 위한 프로그램과 입력물체(70)의 좌표를 산출하기 위한 상면 이미지와 인접 상면 이미지를 저장할 수 있다. 예를 들면, 메모리(91)는 프로세서(90)가 상면 이미지와 인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 산출하기 위한 다수의 응용 프로그램들을 저장할 수 있다.
메모리(91)는 프로세서(90)에 의해 액세스 되며, 프로세서(90)에 의한 데이터 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(91)는 디스플레이 패널(10) 내의 저장매체뿐만 아니라, 외부 저장 매체, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
본 실시예의 경우에, 프로세서(90)와 메모리(91)는 광원 어레이(30)가 마련된 인홰회로기판(33)에 설치될 수 있다.
메인 프로세서(99)는 디스플레이 패널(10)을 제어하여 디스플레이면(11)에 이미지를 출력할 수 있도록 형성된다.
또한, 메인 프로세서(99)는 프로세서(90)로부터 입력된 입력물체(70)의 좌표에 따라 대응하는 이벤트를 수행하도록 디스플레이 패널(10)을 제어하도록 형성될 수 있다.
도 3에 도시된 실시예의 경우에는 메인 프로세서(99)와 프로세서(90)가 별개로 형성되어 있다. 그러나, 다른 예로, 프로세서(90)는 디스플레이 패널(10)을 제어하는 메인 프로세서(99)와 일체로 형성될 수 있다.
도 1 및 도 2를 참조하면, 광원 어레이(30)와 도광판(20)은 하우징(60)에 의해 고정 및 지지될 수 있다. 하우징(60)은 도광판(20)의 3측면과 도광판(20)의 일측면에 설치된 광원 어레이(30)를 둘러싸도록 형성될 수 있다.
광원 어레이(30)의 인쇄회로기판(33)은 하우징(60)의 내면에 설치되며, 도광판(20)의 제2측면(22), 제3측면(23), 및 제4측면(24)으로 방출되는 적외선은 하우징(60)에 의해 차단되거나 반사될 수 있다.
제1카메라(51)와 제2카메라(52)는 도광판(20)의 상면(25) 전체를 촬상할 수 있도록 인쇄회로기판(33) 또는 하우징(60)에 설치될 수 있다.
또한, 하우징(60)은 디스플레이 패널(10)을 고정 및 지지하도록 형성될 수 있다. 즉, 디스플레이 패널(10), 도광판(20), 광원 어레이(30)가 한 개의 하우징(60)의 내부에 설치될 수 있다.
다른 예로, 디스플레이 패널(10)은 별도로 형성된 하우징에 수용된 디스플레이 장치로 구현될 수 있다. 한편, 도광판(20), 광원 어레이(30), 제1카메라(51), 제2카메라(52), 프로세서(90), 하우징은 터치 장치를 형성할 수 있다. 이 경우, 터치 장치를 디스플레이 장치의 디스플레이면(11)의 앞에 설치하면, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)를 구현할 수 있다.
이하, 도 4 및 도 5를 참조하여, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)의 동작에 대해 설명한다.
도 4는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 도면이다. 도 5는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 순서도이다.
터치 디스플레이 장치(1)가 온되면, 프로세서(90)는 캘리브레이션을 수행한다. 구체적으로, 터치 디스플레이 장치(1)가 온되면, 프로세서(90)는 광원 어레이(30)를 온시키고(S50), 제1카메라(51)와 제2카메라(52)를 각각 제어하여 도광판(20)의 상면(25) 전체를 촬상한다(S51). 즉, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 각각 제어하여 도광판(20)의 상면(25)으로 방출되는 적외선을 촬상하여 제1상면 이미지와 제2상면 이미지를 생성한다.
프로세서(90)는 제1카메라(51)가 촬상한 제1상면 이미지와 제2카메라(52)가 촬상한 제2상면 이미지를 수신한다. 프로세서(90)는 제1상면 이미지와 제2상면 이미지로부터 도광판(20)의 상면(25)에 대응하는 영역, 즉 적외선이 방출되는 영역을 터치 가능 영역으로 인식하고, 이를 기준 터치 가능 영역으로 메모리(91)에 저장한다(S52).
도 4에 도시된 바와 같이 디스플레이 패널(10)에 입력을 하기 위해 손가락(즉, 입력물체, 70)이 인접하면(S53), 도광판(20)의 상면(25)에서 방출되는 적외선이 손가락(70)에 의해 반사된다.
이때, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 제어하여 도광판(20)의 상면(25) 전체를 촬상한다(S54). 그러면, 도광판(20)의 상면(25)으로 방출되는 적외선과 손가락(70)에 의해 반사되는 적외선이 포함된 인접 상면 이미지가 생성된다.
구체적으로, 제1카메라(51)는 도광판(20)의 상면(25)으로 방출되는 적외선과 손가락(70)에 의해 반사된 적외선을 포함하는 제1인접 상면 이미지를 생성하여 프로세서(90)로 전송하고, 제2카메라(52)는 도광판(20)의 상면(25)으로 방출되는 적외선과 손가락(70)에 의해 반사된 적외선을 포함하는 제2인접 상면 이미지를 생성하여 프로세서(90)로 전송한다.
프로세서(90)는 전송된 인접 상면 이미지로부터 터치 가능 영역을 추출한다(S55). 이어서, 프로세서(90)는 추출된 터치 가능 영역과 메모리(91)에 저장된 기준 터치 가능 영역을 비교하여 입력물체(70)의 위치를 산출한다(S56).
구체적으로, 프로세서(90)는 전송된 제1인접 상면 이미지로부터 도광판(20)의 상면(25)에 대응하는 영역의 이미지를 제1터치 가능 영역으로 추출한다. 이어서, 프로세서(90)는 제1터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 손가락(70)의 선단이 위치한 제1좌표를 산출한다.
또한, 프로세서(90)는 전송된 제2인접 상면 이미지로부터 도광판(20)의 상면(25)에 대응하는 영역의 이미지를 제2터치 가능 영역으로 추출한다. 이어서, 프로세서(90)는 제2터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 손가락(70)의 선단이 위치한 제2좌표를 산출한다. 이때, 손가락(70)은 도광판(20) 위의 임의의 한 점에 위치하므로, 프로세서(90)가 산출한 제1좌표와 제2좌표는 동일하다.
본 실시예에 의한 터치 디스플레이 장치는 입력물체(70)의 선단이 도광판(20)의 상면(25)과 직접 터치하지 하지 않고 도광판(20)의 상면(25)에서 일정 거리 이격된 상태에서 입력물체(70)의 선단 좌표를 인식할 수 있다. 이를 공간 터치라 할 수 있다. 도 4에서, H1은 도광판(20)의 상면(25)으로부터 공간 터치가 가능한 입력물체(70)의 선단까지의 거리인 공간터치 높이(H1)를 나타낸다.
상술한 바와 같이 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 2개의 카메라, 즉 제1카메라(51)와 제2카메라(52)를 이용하여 입력물체(70)의 좌표를 인식하므로, 2개의 카메라(51,52) 중 한 개가 입력물체(70)를 인식하지 못하는 경우에도 입력물체(70)의 좌표를 인식할 수 있다. 따라서, 한 개의 카메라를 사용하는 경우에 비해 입력물체(70)의 좌표를 인식하지 못하는 에러를 최소화할 수 있다.
이상에서는 2개의 카메라(51,52)를 이용하여 입력물체(70)의 좌표를 산출하는 터치 디스플레이 장치(1)에 대해 설명하였으나, 본 개시에 의한 터치 디스플레이 장치는 이에 한정되는 것은 아니다. 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1')는 도 6에 도시된 바와 같이 한 개의 카메라(51)만 포함할 수 있다.
도 6은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 평면도이다.
도 6을 참조하면, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1')는 디스플레이 패널(10), 도광판(20), 광원 어레이(30), 카메라(51), 및 프로세서(90)를 포함할 수 있다.
도 6에 도시된 터치 디스플레이 장치(1')는 한 개의 카메라(51)가 도광판(20)의 상면(25)의 전체 영역을 촬상하도록 설치된 것 외에는 상술한 실시예에 의한 터치 디스플레이 장치(1)와 동일하므로 상세한 설명은 생략한다.
도 6에 도시된 실시예의 경우에는 프로세서(90)는 한 개의 카메라(51)를 이용하여 상면 이미지와 인접 상면 이미지를 촬상하고, 이를 이용하여 입력물체(70)의 좌표를 산출할 수 있도록 형성된다.
도 6에 도시된 바와 같이 한 개의 카메라(51)를 구비한 터치 디스플레이 장치(1')는 상술한 실시예와 같이 2개의 카메라(51,52)를 구비한 터치 디스플레이 장치(1)에 비해 입력물체(70)의 좌표를 산출하지 못하는 에러가 발생할 가능성이 클 수 있다.
이하, 도 7 내지 도 9를 참조하여 본 개시의 일 실시예에 의한 터치 디스플레이 장치에 대해 상세하게 설명한다.
도 7은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 평면도이다. 도 8은 본 개시의 일 실시예에 의한 터치 디스플레이 장치를 나타내는 단면도이다. 도 9는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 기능 블록도이다.
도 7 내지 도 9를 참조하면, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 디스플레이 패널(10), 도광판(20), 광원 어레이(30,40), 카메라((51,52), 및 프로세서(90)를 포함할 수 있다.
디스플레이 패널(10)은 이미지를 디스플레이할 수 있도록 형성된다. 디스플레이 패널(10)은 대략 직사각형의 평판 형상으로 형성될 수 있다. 디스플레이 패널(10)은 이미지가 디스플레이되는 디스플레이면(11)을 포함할 수 있다.
디스플레이 패널(10)은 다양한 형식으로 구현될 수 있다. 예를 들면, 디스플레이 패널(10)은 액정 표시(Liquid Crystal Display) 패널, 유기발광 표시(Organic Light Emitting Diodes Display) 패널, 퀀텀닷 엘이디(Quantum dot Light Emitting Diodes) 패널, 마이크로 엘이디(Micro LED) 패널 등과 같은 다양한 종류의 디스플레이 패널(10)이 사용될 수 있다. 디스플레이 패널(10)은 종래 기술에 의한 디스플레이 패널을 사용할 수 있으므로 상세한 설명은 생략한다.
도 8을 참조하면, 도광판(20)은 디스플레이 패널(10)의 상측에 설치될 수 있다. 구체적으로, 도광판(20)은 디스플레이 패널(10)의 디스플레이면(11)의 상측에 설치될 수 있다.
도광판(20)은 직사각형의 평판 형상으로 형성되며, 제1면(즉, 상면, 25), 제1면(25)과 마주하는 제2면(즉, 하면, 26), 및 4개의 측면을 포함할 수 있다. 구체적으로, 제1면(25)과 제2면(26)은 직사각형으로 형성되어 서로 평행하게 마주하며, 제1면(25)은 도광판(20)의 상면을 형성하고, 제2면(26)은 도광판(20)의 하면을 형성할 수 있다.
4개의 측면은 제1면(즉, 상면, 25)과 제2면(즉, 하면, 26)을 연결하는 제1측면(21), 제2측면(22), 제3측면(23), 및 제4측면(24)을 포함할 수 있다. 제2측면(22)과 제3측면(23)은 제1측면(21)에 대해 수직하며, 서로 평행하다. 제4측면(24)은 제1측면(21)과 평행하며, 제2측면(22)과 제3측면(23)에 대해 수직하다.
도광판(20)의 하면, 즉 제2면(26)에는 디스플레이 패널(10)이 설치된다. 도광판(20)의 하면(26)은 디스플레이 패널(10)의 디스플레이면(11)을 마주하도록 설치될 수 있다. 도광판(20)은 디스플레이 패널(10)의 디스플레이면(11)의 크기보다 크게 형성될 수 있다.
도광판(20)은 일측면으로부터 입사되는 적외선을 상면(15)을 통해 방출할 수 있도록 형성될 수 있다. 예를 들면, 도광판(20)은 제1측면(21)으로부터 입사되는 적외선을 상면(25), 즉 제1면을 통해 외부로 방출할 수 있도록 형성될 수 있다.
도광판(20)의 제1측면(21)에 수직한 제2측면(22)과 제3측면(23)은 제1측면(21)에서 입사되는 적외선이 외부로 방출되지 않도록 형성될 수 있다. 예를 들면, 제2측면(22)의 내면과 제3측면(23)의 내면은 적외선을 반사하거나 차단하도록 형성될 수 있다.
다른 예로는, 도광판(20)의 제2측면(22)과 제3측면(23)은 적외선을 투과하도록 형성되고, 제2측면(22)과 제3측면(23)에 적외선을 차단하는 차단판 또는 적외선을 반사하는 반사판을 설치할 수 있다. 차단판과 반사판은 후술하는 하우징(60)의 내면으로 구현될 수 있다.
또한, 제1측면(21)과 마주하며 평행한 제4측면(24)도 제2측면 및 제3측면과 동일하게 입사되는 적외선이 도광판(20)의 외부로 방출되지 않도록 형성될 수 있다.
이와 같이 도광판(20)의 제2측면(22), 제3측면(23), 및 제4측면(24)을 적외선이 방출되지 않도록 형성하면, 제1측면(21)에서 입사되는 적외선은 제2측면(22), 제3측면(23), 및 제4측면(24)으로 방출되지 않고 제1면(25)을 통해서만 방출된다.
따라서, 카메라가 도광판(20)의 상면(25)을 촬상하면, 프로세서(90)는 카메라가 촬상한 도광판(20)의 적외선 이미지로부터 도광판(20)의 상면(25)의 영역을 인식할 수 있다. 다시 말하면, 프로세서(90)는 도광판(20)의 상면(25)을 촬상한 적외선 이미지로부터 터치 가능 영역을 인식할 수 있다. 즉, 프로세서(90)는 적외선이 방출되는 도광판(20)의 상면(25)의 전체 영역을 터치 가능 영역으로 인식할 수 있다.
도광판(20)은 적외선이 투과하는 투명한 재질로 형성될 수 있다. 예를 들면, 도광판(20)은 투명한 플라스틱, 수지 등으로 형성될 수 있다. 따라서, 사용자는 도광판(20)을 통해 디스플레이 패널(10)의 디스플레이면(11)에 디스플레이되는 이미지를 볼 수 있다.
광원 어레이는 적외선을 방출할 수 있도록 형성될 수 있다. 광원 어레이는 도광판(20)의 일측에 설치될 수 있다. 예를 들면, 광원 어레이는 도광판(20)의 제1측면(21)에 인접하게 설치될 수 있다.
광원 어레이는 제1광원 어레이(30)와 제2광원 어레이(40)를 포함할 수 있다.
제1광원 어레이(30)는 복수의 적외선 광원(31)을 포함하며, 도광판(20)의 제1측면(21)에 인접하게 설치될 수 있다. 또는, 제1광원 어레이(30)는 도광판(20)의 제1측면(21)에 접촉하도록 설치될 수 있다. 따라서, 제1광원 어레이(30)에서 방출되는 적외선은 도광판(20)의 제1측면(21)을 통해 도광판(20)의 내부로 입사될 수 있다.
제1광원 어레이(30)의 복수의 적외선 광원(31)은 도광판(20)의 제1측면(21)을 따라 일직선으로 배열될 수 있다. 제1광원 어레이(30)의 복수의 적외선 광원(31)은 인쇄회로기판(33)에 설치될 수 있다. 인쇄회로기판(33)은 도광판(20)의 제1측면(21)과 나란하게 설치되며, 도광판(20)의 제1면을 마주하는 인쇄회로기판(33)의 일면에는 복수의 적외선 광원(31)이 일직선으로 마련될 수 있다.
따라서, 제1광원 어레이(30)에서 방출되는 적외선은 도광판(20)의 제1측면(21)으로 입사되어 도광판(20)의 제1면(25), 즉 상면으로 방출될 수 있다. 적외선의 일부가 도광판(20)의 하면(26)으로 유출되는 경우, 유출된 적외선은 디스플레이 패널(10)의 디스플레이면(11)에 의해 반사되어 도광판(20)의 하면(26)으로 입사되며, 도광판(20)의 상면(25)을 통해 외부로 방출될 수 있다.
제2광원 어레이(40)는 복수의 적외선 광원(41)을 포함하며, 제1광원 어레이(30)의 상측에 설치될 수 있다. 즉, 제2광원 어레이(40)는 제1광원 어레이(30)가 설치된 도광판(20)의 제1측면(21)의 상측에 설치될 수 있다. 따라서, 제2광원 어레이(40)는 도광판(20)의 상면(25)보다 위에 위치한다.
따라서, 제2광원 어레이(40)에서 방출되는 적외선은 도광판(20)의 내부로 입사되지 않고, 도광판(20) 상측으로 방출될 수 있다. 즉, 제2광원 어레이(40)에서 방출되는 적외선은 도광판(20)의 상면(25) 위로 도광판 상면(25)에 대해 평행한 방향으로 이동할 수 있다.
제2광원 어레이(40)의 복수의 적외선 광원(41)은 제1광원 어레이(30)의 복수의 적외선 광원(31)과 나란하게 일직선으로 배열될 수 있다. 제2광원 어레이(40)의 복수의 적외선 광원(41)은 제1광원 어레이(30)가 설치된 인쇄회로기판(33)에 설치될 수 있다.
제2광원 어레이(40)의 복수의 적외선 광원(41)은 제1광원 어레이(30)가 설치된 인쇄회로기판(33)의 일면에 제1광원 어레이(30)의 복수의 적외선 광원(31)과 나란하게 일직선으로 마련될 수 있다. 제2광원 어레이(40)는 제1광원 어레이(30)와 일정 거리 이격되도록 인쇄회로기판(33)에 설치될 수 있다.
제2광원 어레이(40)의 복수의 적외선 광원(41)은 방출되는 적외선이 도광판(20)의 상면(25)의 전체 영역을 커버할 수 있도록 설치된다. 예를 들면, 도 10b에 도시된 바와 같이, 복수의 적외선 광원(41)에서 방출되는 적외선의 영역이 도광판(20)의 상면(25)의 면적보다 크도록 제2광원 어레이(40)를 형성할 수 있다.
도 10a는 본 개시의 일 실시예에 의한 제1광원 어레이에서 방출되는 적외선의 영역을 나타낸 도면이다. 도 10b는 본 개시의 일 실시예에 의한 제1광원 어레이에서 방출되는 적외선의 영역과 제2광원 어레이에서 방출되는 적외선의 영역을 나타낸 도면이다.
도 10a를 참조하면, 제1광원 어레이(30)에서 방출되는 적외선은 도광판(20)의 제1측면(21)을 통해 도광판(20)의 내부로 입사되어 도광판(20)의 상면(25)을 통해 외부로 방출된다. 이때, 도광판(20)의 제2측면(22), 제3측면(23), 및 제4측면(24)은 적외선이 방출되지 않도록 형성되어 있으므로, 제1광원 어레이(30)에서 방출되는 적외선의 영역(TA)은 도광판(20)의 상면(25)으로 한정된다. 이 영역(TA)이 터치 가능 영역에 해당한다.
제2광원 어레이(40)의 복수의 적외선 광원(41)은 도광판(20)의 상측으로 도광판(20)에 평행한 방향으로 적외선을 방출하며, 방출된 적외선 영역(A)이 도광판(20)의 상면(25)의 영역보다 크도록 형성될 수 있다.
적외선 광원(41)에서 방출되는 적외선은 평행광이 아니라 일정 각도로 퍼질 수 있다. 즉, 적외선 광원(41)에서 방출되는 적외선은 대략 원추 형상을 이룰 수 있다. 따라서, 도 10b에 도시된 바와 같이, 제2광원 어레이(40)의 양단에 설치된 2개의 적외선 광원(41)에서 방출되는 적외선의 영역 일부(A1)는 도광판(20)을 벗어날 수 있다.
따라서, 제1광원 어레이(30)에서 나오는 적외선은 도광판(20)의 제1측면(21)으로 입사되어 도광판(20)의 제1면(25), 즉 상면으로 방출되고, 제2광원 어레이(40)에서 나오는 적외선은 도광판(20)의 상면(25)의 상측으로 도광판(20)에 대략 평행한 방향으로 방출될 수 있다.
본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 제1광원 어레이(30)와 도광판(20)에 의해 정해지는 적외선 영역(TA)을 이용하여 제2광원 어레이(40)에서 방출되는 적외선의 영역(A)을 한정할 수 있다. 즉, 도 10b에 도시된 바와 같이, 제2광원 어레이(40)에서 방출되는 적외선의 영역(A) 중 도광판(20)을 벗어나는 적외선 영역(A1)은 제외하고, 도광판(20)의 상면(25)에서 방출되는 적외선의 영역과 중첩되는 부분을 터치 가능 영역(TA)으로 인식할 수 있다.
제1광원 어레이(30)와 제2광원 어레이(40)를 구성하는 복수의 적외선 광원(31,41)은 적외선 엘이디(Infrared LED)로 형성될 수 있다.
카메라(51,52)는 도광판(20) 및 제2광원 어레이(40)에서 방출되는 적외선을 촬상할 수 있도록 형성된다. 카메라(51,52)는 도광판(20)의 상면(25) 전체를 촬상할 수 있도록 마련된다. 구체적으로, 카메라(51,52)는 도광판(20)의 상면(25)의 전체 영역을 통해 방출되는 적외선과 도광판(20)의 상측으로 방출되는 적외선을 촬상할 수 있도록 형성될 수 있다.
이를 위해, 카메라(51,52)는 광각 렌즈와 이미지 센서를 포함할 수 있다. 광각 렌즈는 도광판(20)의 상면(25) 전체를 촬상할 수 있는 화각을 갖는다. 예를 들면, 광각 렌즈의 화각은 90도 이상일 수 있다.
이미지 센서는 입사된 적외선의 이미지를 생성할 수 있도록 형성된다. 예를 들면, 제1 및 제2광원 어레이(30,40)가 적외선을 방출하는 경우, 이미지 센서는 도광판(20)의 상면(25)의 전체 영역을 통해 방출되는 적외선을 촬상한 상면 이미지를 생성할 수 있다.
카메라(51,52)는 제2광원 어레이(40)의 일측에 설치될 수 있다. 그러나, 카메라(51,52)의 위치는 이에 한정되는 것은 아니다. 카메라(51,52)가 도광판(20)의 상면(25) 전체 영역을 촬상할 수 있는 한, 어떤 위치에도 설치될 수 있다.
도 7에 도시된 바와 같이, 카메라는 제1카메라(51)와 제2카메라(52)를 포함할 수 있다.
제1카메라(51)는 제2광원 어레이(40)의 일측에 설치되며, 도광판(20)의 상면(25)의 전체 영역을 촬영할 수 있도록 마련될 수 있다. 제1카메라(51)는 제1광원 어레이(30)에서 방출되어 도광판(20)의 상면(25)의 전체 영역에서 위로 방출되는 적외선과 제2광원 어레이(40)에서 도광판(20)의 상면(25)의 상측으로 방출되는 적외선을 촬영할 수 있도록 광각 렌즈(51a)와 이미지 센서(51b)를 포함할 수 있다.
제2카메라(52)는 제1카메라(51)와 반대쪽으로 제2광원 어레이(40)의 타측에 설치되며, 도광판(20)의 상면(25)의 전체 영역을 촬영할 수 있도록 마련될 수 있다. 제2카메라(52)는 제1광원 어레이(30)에서 방출되어 도광판(20)의 상면(25)의 전체 영역에서 위로 방출되는 적외선과 제2광원 어레이(40)에서 도광판(20)의 상면(25)의 상측으로 방출되는 적외선을 촬영할 수 있도록 광각 렌즈(52a)와 이미지 센서(52b)를 포함할 수 있다.
도 7에 도시된 바와 같이, 제1카메라(51)의 광각 렌즈(51a)와 제2카메라(52)의 광각 렌즈(52a) 각각의 화각은 90도 이상일 수 있다.
제1카메라(51)와 제2카메라(52)는 도 11에 도시된 바와 같이 인쇄회로기판(33)에 제2광원 어레이(40)의 양측에 설치될 수 있다.
도 11은 본 개시의 다른 실시예에 의한 터치 디스플레이 장치에 사용되는 제1카메라와 제2카메라가 인쇄회로기판에 설치된 경우를 나타내는 도면이다.
도 11을 참조하면, 제1광원 어레이(30)의 복수의 적외선 광원(31)과 제2광원 어레이(40)의 복수의 적외선 광원(41)은 인쇄회로기판(33)에 2줄로 나란하게 설치되어 있다.
또한, 제1카메라(51)는 제2광원 어레이(40)의 좌측으로 인쇄회로기판(33)에 설치되고, 제2카메라(52)는 제2광원 어레이(40)의 우측으로 인쇄회로기판(33)에 설치된다. 이때, 제1카메라(51)와 제2카메라(52)는 각각 도광판(20)의 상면(25)의 전체 영역을 촬상할 수 있도록 인쇄회로기판(33)에 설치된다.
제1카메라(51)와 제2카메라(52)는 각각 도광판(20)의 상면(25)을 촬상한 이미지를 생성할 수 있다. 이와 같이 2개의 카메라(51,52)가 각각 도광판(20)의 상면(20)을 촬상한 이미지를 생성하도록 형성하면, 도광판(20)에 접촉하거나 인접한 입력물체(70)의 좌표를 정확하게 산출할 수 있다.
프로세서(90)는 제1카메라(51)와 제2카메라(52)에 의해 촬상된 이미지를 이용하여 도광판(20)에 접촉하거나 인접한 입력물체(70)의 좌표를 인식할 수 있도록 형성된다. 프로세서(90)는 인식한 입력물체(70)의 좌표를 메인 프로세서(99)로 전달할 수 있다. 여기서, 프로세서(90)가 인식하는 입력물체(70)의 좌표는 디스플레이면(11)에 입력물체(70)의 선단이 위치하는 2차원 좌표를 말한다. 즉, 입력물체(70)의 좌표는 디스플레이면(11)을 기준으로 하는 2차원 좌표이다.
프로세서(90)는 제1광원 어레이(30)와 제2광원 어레이(40)를 온/오프 제어할 수 있도록 형성된다. 또한, 프로세서(90)는 제1광원 어레이(30)와 제2광원 어레이(40)를 온시킨 후, 카메라(51,52)를 제어하여 입력물체(70)가 도광판(20)의 상면(25)에 인접하지 않았을 때 도광판(20)의 상면(25)을 통해 방출되는 적외선을 촬상하여 상면 이미지를 생성하고, 제1 및 제2카메라(51,52)로부터 제1 및 제2카메라(51,52)가 생성한 상면 이미지를 수신할 수 있다.
프로세서(90)는 제1 및 제2카메라(51, 52)로부터 수신한 상면 이미지에서 적외선이 방출되는 도광판(20)의 상면(25)의 전체 영역에 대응하는 영역의 이미지를 기준 터치 가능 영역으로 인식하고 저장할 수 있다.
또한, 프로세서(90)는 제1광원 어레이(30)와 제2광원 어레이(40)가 온된 상태에서 제1 및 제2카메라(51,52)를 제어하여 입력물체(70)가 도광판(20)에 인접하거나 접촉하였을 때 도광판(20)의 상면(25)에서 방출되는 적외선과 입력물체(70)에서 반사되는 적외선을 촬상하여 인접 상면 이미지를 생성하고, 제1 및 제2카메라(51,52)가 생성한 인접 상면 이미지를 수신할 수 있다.
여기서, 입력물체(70)가 도광판(20)에 인접한 경우는 제1 및 제2카메라(51,52)가 제1 및 제2광원 어레이(30,40)에서 방출되어 입력물체(70)에 의해 반사된 적외선을 촬상할 수 있을 정도로 도광판(20)의 상면(25)에 가까이 위치한 경우를 말한다. 따라서, 입력물체(70)가 도광판(20)에 인접한 경우는 입력물체(70)가 도광판(20)의 상면(25)에 접촉한 경우와 도광판(20)의 상면(25)에 접촉하지 않고 가까이 위치한 경우를 포함할 수 있다.
프로세서(90)는 제1 및 제2카메라(51,52)가 촬상한 상면 이미지와 인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 인식하도록 형성될 수 있다. 프로세서(90)가 이미지를 이용하여 입력물체(70)의 좌표를 인식하는 이미지 처리 기술은 종래 기술에 의한 이미지 처리 기술을 이용할 수 있으므로 상세한 설명은 생략한다.
프로세서(90)는 상면 이미지와 인접 상면 이미지를 이용하여 인식한 입력물체(70)의 좌표를 메인 프로세서(99)로 전송할 수 있다.
구체적으로, 프로세서(90)는 제1광원 어레이(30)를 온시킨 후, 입력물체(70)가 도광판(20)에 인접하기 전에 제1카메라(51)와 제2카메라(52)를 제어하여 도광판(20)의 상면(25)을 촬상하도록 한다. 그러면, 제1카메라(51)는 도광판(20)의 상면(25)에서 방출되는 적외선을 촬상한 제1상면 이미지를 생성하고, 제2카메라(52)는 도광판(20)의 상면(25)에서 방출되는 적외선을 촬상한 제2상면 이미지를 생성할 수 있다.
제1카메라(51)는 생성된 제1상면 이미지를 프로세서(90)로 전송하고, 제2카메라(52)는 생성된 제2상면 이미지를 프로세서(90)로 전송한다.
그러면, 프로세서(90)는 수신된 제1상면 이미지와 제2상면 이미지로부터 적외선이 검출된 영역(즉, 도광판(20)의 상면(25)에 대응하는 영역)의 이미지를 추출하고 이를 터치 가능 영역으로 인식하고, 이 이미지를 기준 터치 가능 영역으로 메모리(91)에 저장한다.
그 후, 프로세서(90)는 제2광원 어레이(40)를 온시킨다.
제1 및 제2광원 어레이(30,40)가 온된 상태에서 입력물체(70)가 도광판(20)의 상면(25)에 인접하거나 접촉하면, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 제어하여 도광판(20)의 상면(25)을 촬상하도록 한다.
그러면, 제1카메라(51)는 도광판(20)의 상면(25)에서 방출되는 적외선과 입력물체(70)에 의해 반사된 적외선을 촬상한 제1인접 상면 이미지를 생성하고, 제2카메라(52)는 도광판(20)의 상면(25)에서 방출되는 적외선과 입력물체(70)에 의해 반사되는 적외선을 촬상한 제2인접 상면 이미지를 생성할 수 있다.
이때, 제1인접 상면 이미지와 제2인접 상면 이미지는 제1광원 어레이(30)로부터 방출되어 도광판(20)의 상면(25)을 통해 방출되는 적외선과 제2광원 어레이(40)로부터 방출되는 적외선이 입력물체(70)에 반사되는 상태를 제1 및 제2카메라(51,52)가 각각 촬상한 것이다.
제1카메라(51)는 생성된 제1인접 상면 이미지를 프로세서(90)로 전송하고, 제2카메라(52)는 생성된 제2인접 상면 이미지를 프로세서(90)로 전송한다.
프로세서(90)는 기준 터치 가능 영역과 제1카메라(51)가 촬상한 제1인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 인식할 수 있다. 또한, 프로세서(90)는 기준 터치 가능 영역과 제2카메라(52)가 촬상한 제2인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 인식할 수 있다.
프로세서(90)가 입력물체(70)의 좌표를 인식할 때, 프로세서(90)는 제1카메라(51)가 촬상한 제1인접 상면 이미지에서 도광판(20)에서 벗어나는 영역(A1), 즉 터치 가능 영역(TA)을 벗어나는 부분은 제거하고, 도광판(20)의 상면(25)에 대응하는 터치 가능 영역을 추출한다. 그 후, 프로세서(90)는 제1인접 상면 이미지에서 추출된 터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 입력물체(70)의 좌표를 검출할 수 있다.
또한, 프로세서(90)는 제2카메라(52)가 촬상한 제2인접 상면 이미지에서 도광판(20)에서 벗어나는 영역(A1), 즉 터치 가능 영역(TA)을 벗어나는 부분은 제거하고, 도광판(20)의 상면(25)에 대응하는 터치 가능 영역을 추출한다. 그 후, 프로세서(90)는 제2인접 상면 이미지에서 추출된 터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 입력물체(70)의 좌표를 검출할 수 있다.
프로세서(90)는 이미지 처리를 하여 입력물체(70)의 좌표를 산출하기 위해 제1 및 제2상면 이미지와 제1 및 제2인접 상면 이미지를 메모리(91)에 저장할 수 있다.
프로세서(90)는 한 개의 입력물체(70)의 좌표를 2개의 카메라(51,52)로 촬상한 이미지를 이용하여 인식할 수 있으므로, 한 개의 카메라를 이용하는 경우에 비해 입력물체(70)의 좌표를 정확하게 인식할 수 있다.
또한, 프로세서(90)는 도광판(20)의 상면(25)에 대응하는 터치 가능 영역(TA)을 이용하여 입력물체(70)의 좌표를 인식하므로, 프로세서(90)가 도광판(20)의 외부에서 반사되는 적외선에 의해 입력물체(70)의 좌표를 잘못 인식하는 에러를 방지할 수 있다.
프로세서(90)는 제1카메라(51)와 제2카메라(52)가 촬상한 제1 및 제2상면 이미지와 제1 및 제2인접 상면 이미지를 이용하여 인식한 입력물체(70)의 좌표를 메인 프로세서(99)로 전송할 수 있다.
프로세서(90)는, 예를 들면, 전자회로기판과 같은 처리 회로, ASIC, ROM, RAM 등과 같은 다양한 전자 부품 및/또는 프로그램 모듈을 포함하여 구성될 수 있다.
메모리(91)는 프로세서(90)의 처리 또는 제어를 위한 프로그램과 입력물체(70)의 좌표를 산출하기 위한 상면 이미지와 인접 상면 이미지를 저장할 수 있다. 예를 들면, 메모리(91)는 프로세서(90)가 제1 및 제2상면 이미지와 제1 및 제2인접 상면 이미지를 이용하여 입력물체(70)의 좌표를 산출하기 위한 다수의 응용 프로그램들을 저장할 수 있다.
메모리(91)는 프로세서(90)에 의해 액세스 되며, 프로세서(90)에 의한 데이터 독취/기록/수정/삭제/갱신 등이 수행될 수 있다. 이러한 메모리(91)는 디스플레이 패널(10) 내의 저장매체뿐만 아니라, 외부 저장 매체, USB 메모리를 포함한 Removable Disk, 네트워크를 통한 웹서버(Web server) 등으로 구현될 수 있다.
본 실시예의 경우에, 프로세서(90)와 메모리(91)는 제1 및 제2광원 어레이(30, 40)가 마련된 인쇄회로기판(33)에 설치될 수 있다.
메인 프로세서(99)는 디스플레이 패널(10)을 제어하여 디스플레이면(11)에 이미지를 출력할 수 있도록 형성된다.
또한, 메인 프로세서(99)는 프로세서(90)로부터 입력된 입력물체(70)의 좌표에 따라 대응하는 이벤트를 수행하도록 디스플레이 패널(10)을 제어하도록 형성될 수 있다.
도 9에 도시된 실시예의 경우에는 메인 프로세서(99)와 프로세서(90)가 별개로 형성되어 있다. 그러나, 다른 예로, 프로세서(90)는 디스플레이 패널(10)을 제어하는 메인 프로세서(99)와 일체로 형성될 수 있다.
도 7 및 도 8을 참조하면, 제1광원 어레이(30)와 제2광원 어레이(40)가 설치된 인쇄회로기판(33) 및 도광판(20)은 하우징(60)에 의해 고정 및 지지될 수 있다. 하우징(60)은 도광판(20)의 3측면과 도광판(20)의 일측면에 설치된 인쇄회로기판(33)을 둘러싸도록 형성될 수 있다.
인쇄회로기판(33)은 하우징(60)의 내면에 설치되며, 도광판(20)의 제2측면(22), 제3측면(23), 및 제4측면(24)으로 방출되는 적외선은 하우징(60)에 의해 차단되거나 반사될 수 있다.
제1카메라(51)와 제2카메라(52)는 도광판(20)의 상면(25)의 전체 영역과 제2광원 어레이(40)에서 방출되는 적외선을 촬상할 수 있도록 인쇄회로기판(33) 또는 하우징(60)에 설치될 수 있다.
또한, 하우징(60)은 디스플레이 패널(10)을 고정 및 지지하도록 형성될 수 있다. 즉, 디스플레이 패널(10), 도광판(20), 인쇄회로기판(33)이 한 개의 하우징(60)의 내부에 설치될 수 있다.
이하, 도 12 및 도 13을 참조하여, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)의 동작에 대해 설명한다.
도 12는 본 개시의 일 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 도면이다. 도 13은 본 개시의 다른 실시예에 의한 터치 디스플레이 장치의 동작을 설명하기 위한 순서도이다.
터치 디스플레이 장치(1)가 온되면, 프로세서(90)는 캘리브레이션을 수행한다. 구체적으로, 터치 디스플레이 장치(1)가 온되면, 프로세서(90)는 광원 어레이(30)를 온시키고(S130), 제1카메라(51)와 제2카메라(52)를 각각 제어하여 도광판(20)의 상면(25) 전체를 촬상한다(S131). 즉, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 각각 제어하여 도광판(20)의 상면(25)으로 방출되는 적외선을 촬상하여 제1상면 이미지와 제2상면 이미지를 생성한다.
프로세서(90)는 제1카메라(51)가 촬상한 제1상면 이미지와 제2카메라(52)가 촬상한 제2상면 이미지를 수신한다. 프로세서(90)는 제1상면 이미지와 제2상면 이미지로부터 도광판(20)의 상면(25)에 대응하는 영역, 즉 적외선이 방출되는 영역의 이미지를 추출하고 이를 터치 가능 영역(TA)(도 9a 참조)으로 인식한다. 프로세서(90)는 이 터치 가능 영역의 이미지를 기준 터치 가능 영역으로 메모리(91)에 저장한다(S132).
이어서, 프로세서(90)는 제2광원 어레이(40)를 온시킨다(S133). 그러면, 제2광원 어레이(40)에서 방출되는 적외선은 도광판(20)의 상면(25)의 상측으로 이동한다.
도 12에 도시된 바와 같이 디스플레이 패널(10)에 입력을 하기 위해 손가락(입력물체)(70)이 인접하면(S134), 제1 및 제2광원 어레이(30,40)에서 방출되는 적외선이 손가락(70)에 의해 반사된다. 즉, 제1광원 어레이(30)에서 나와 도광판(20)의 상면(25)을 통해 방출되는 적외선과 제2광원 어레이(40)에서 도광판(20)의 상면(25) 상측으로 방출되는 적외선이 손가락(70)에 의해 반사된다.
이때, 프로세서(90)는 제1카메라(51)와 제2카메라(52)를 제어하여 도광판(20)의 상면(25) 전체를 촬상한다(S135). 그러면, 도광판(20)의 상면(25)으로 방출되는 적외선과 손가락(70)에 의해 반사되는 적외선이 포함된 인접 상면 이미지가 생성된다. 구체적으로, 제1카메라(51)는 도광판(20)의 상면(25)으로 방출되는 적외선과 손가락(70)에 의해 반사된 적외선을 포함하는 제1인접 상면 이미지를 생성하여 프로세서(90)로 전송하고, 제2카메라(52)는 도광판(20)의 상면(25)으로 방출되는 적외선과 손가락(70)에 의해 반사된 적외선을 포함하는 제2인접 상면 이미지를 생성하여 프로세서(90)로 전송한다.
프로세서(90)는 전송된 인접 상면 이미지로부터 터치 가능 영역을 추출한다(S136). 이어서, 프로세서(90)는 추출된 터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 입력물체(70)의 위치를 산출한다(S137).
구체적으로, 프로세서(90)는 전송된 제1인접 상면 이미지로부터 도광판(20)의 상면(25)을 벗어나는 영역은 제거하고, 도광판(20)의 상면(25)에 대응하는 영역의 이미지를 제1터치 가능 영역으로 추출한다. 이어서, 프로세서(90)는 제1터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 손가락(70)의 선단이 위치한 제1좌표를 산출한다.
또한, 프로세서(90)는 전송된 제2인접 상면 이미지로부터 도광판(20)의 상면(25)을 벗어나는 영역은 제거하고, 도광판(20)의 상면(25)에 대응하는 영역의 이미지를 제2터치 가능 영역으로 추출한다. 이어서, 프로세서(90)는 제2터치 가능 영역을 메모리(91)에 저장된 기준 터치 가능 영역과 비교하여 손가락(70)의 선단이 위치한 제2좌표를 산출한다. 이때, 손가락(70)은 도광판(20)의 한 점에 위치하므로, 프로세서(90)가 산출한 제1좌표와 제2좌표는 동일하다.
이와 같이 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 제1 및 제2광원 어레이(30,40)로 적외선을 방출하고, 제1카메라(51)와 제2카메라(52)로 입력물체(70)에 반사되는 적외선을 촬상하여 입력물체(70)의 좌표를 인식하므로, 한 개의 광원 어레이를 사용하는 경우보다 입력물체(70)의 좌표를 더 잘 인식할 수 있다.
구체적으로, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 평행하게 2줄로 배치된 제1 및 제2광원 어레이(30,40)을 이용하여 적외선을 방출하므로, 상술한 실시예와 같이 한 줄로 배치된 광원 어레이(30)를 사용하는 터치 디스플레이 장치(1)에 비해 입력물체(70)에 반사하는 적외선의 양이 많으므로 입력물체(70)의 좌표를 인식하는 것이 용이하며 정확성을 높일 수 있다.
또한, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 도광판(20) 위로 배치된 제2광원 어레이(40)를 포함하므로, 도광판(20)의 상면(25)과 직접 터치하지 하지 않고 도광판(20)의 상면(25)에서 이격된 상태에서 입력물체(70)의 선단 좌표를 인식할 수 있는 공간 터치가 가능한 높이(H2)가 상술한 실시예와 같이 한 줄의 광원 어레이(30)를 포함하는 터치 디스플레이 장치(1)의 공간 터치 높이(H1)에 비해 높다.
또한, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1)는 2개의 카메라(51,52)를 사용하므로, 2개의 카메라(51,52) 중 한 개가 입력물체(70)를 인식하지 못하는 경우에도 입력물체(70)의 좌표를 인식할 수 있다. 따라서, 한 개의 카메라를 사용하는 경우에 비해 터치 디스플레이 장치가 입력물체(70)의 좌표를 인식하지 못하는 에러를 최소화할 수 있다.
이상에서는 2개의 카메라(51,52)를 이용하여 입력물체(70)의 좌표를 산출하는 터치 디스플레이 장치(1)에 대해 설명하였으나, 본 개시에 의한 터치 디스플레이 장치는 이에 한정되는 것은 아니다. 본 개시의 일 실시예에 의한 터치 디스플레이 장치는 도 14에 도시된 바와 같이 한 개의 카메라만 포함할 수 있다.
도 14는 본 개시의 다른 실시예에 의한 터치 디스플레이 장치를 나타내는 도면이다.
도 14를 참조하면, 본 개시의 일 실시예에 의한 터치 디스플레이 장치(1')는 디스플레이 패널(10), 도광판(20), 제1 및 제2광원 어레이(30,40), 카메라(51), 및 프로세서(90)를 포함할 수 있다.
도 14에 도시된 터치 디스플레이 장치(1')는 한 개의 카메라(51)가 도광판(20)의 상면(25)의 전체 영역을 촬상하도록 제2광원 어레이(40)의 일측에 설치된 것 외에는 상술한 실시예에 의한 터치 디스플레이 장치(1)와 동일하므로 상세한 설명은 생략한다.
도 14에 도시된 실시예의 경우에, 프로세서(90)는 한 개의 카메라(51)를 이용하여 상면 이미지와 인접 상면 이미지를 촬상하고, 이를 이용하여 입력물체(70)의 좌표를 산출할 수 있도록 형성된다.
도 14에 도시된 바와 같이 한 개의 카메라(51)를 구비한 터치 디스플레이 장치(1')는 상술한 실시예와 같이 2개의 카메라(51,52)를 구비한 터치 디스플레이 장치(1)에 비해 입력물체(70)의 좌표를 산출하지 못하는 에러가 발생할 가능성이 클 수 있다.
상술한 바와 같은 구조를 갖는 본 개시의 일 실시예에 의한 터치 디스플레이 장치는 입력물체가 도광판의 상면에 접촉하는 경우 및 입력물체가 도광판의 상면에 접촉하지 않고 인접하는 경우에 입력물체의 좌표를 인식하여 디스플레이면을 제어할 수 있다.
또한, 본 개시의 일 실시예에 의한 터치 디스플레이 장치는 도광판의 상면을 터치 가능 영역으로 인식하므로, 도광판의 외부로 벗어난 영역에서 반사되는 적외선때문에 입력장치의 좌표를 오인식하는 에러를 방지할 수 있다.
상기에서 본 개시는 다양한 실시예들을 참조하여 도시되고 설명되었으나, 첨부된 청구범위 및 그 균등물에 의해 정의되는 본 개시의 사상 및 범위를 벗어나지 않으면서 형태 및 세부 사항에서 다양한 변경이 이루어질 수 있음이 본 기술분야의 통상의 지식을 가진 자에 의해 이해될 것이다.

Claims (15)

  1. 디스플레이면을 포함하는 디스플레이 패널;
    상기 디스플레이 패널의 디스플레이면의 상측에 설치되며, 일 측면으로 입사되는 광을 상면으로 방출하도록 형성된 도광판;
    상기 도광판의 일측에 설치되며, 상기 도광판의 일 측면으로 적외선을 방출하는 복수의 적외선 광원을 포함하는 제1광원 어레이;
    상기 제1광원 어레이의 적어도 일측에 설치되며, 상기 도광판의 상면의 전체 영역을 통해 방출되는 적외선을 촬상할 수 있도록 형성된 카메라; 및
    상기 카메라에 의해 촬상된 적외선 이미지를 이용하여 상기 도광판의 상면에 인접한 입력물체의 좌표를 인식하는 적어도 한 개의 프로세서;를 포함하는, 터치 디스플레이 장치.
  2. 제 1 항에 있어서,
    상기 제1광원 어레이의 상측에 설치되며, 상기 도광판의 상면의 상측으로 적외선을 방출하는 복수의 적외선 광원을 포함하는 제2광원 어레이;를 더 포함하며,
    상기 카메라는 상기 제2광원 어레이에서 방출되는 적외선을 촬상할 수 있도록 형성되는, 터치 디스플레이 장치.
  3. 제 2 항에 있어서,
    상기 제2광원 어레이의 복수의 적외선 광원은 상기 제1광원 어레이의 복수의 적외선 광원과 평행하게 일직선으로 설치되는, 터치 디스플레이 장치.
  4. 제 3 항에 있어서,
    상기 제1광원 어레이의 복수의 적외선 광원과 상기 제2광원 어레이의 복수의 적외선 광원이 2줄로 설치된 인쇄회로기판을 더 포함하는, 터치 디스플레이 장치.
  5. 제 4 항에 있어서,
    상기 적어도 한 개의 프로세서는 상기 인쇄회로기판에 설치되는, 터치 디스플레이 장치.
  6. 제 2 항에 있어서,
    상기 적어도 한 개의 프로세서는,
    상기 제1광원 어레이가 온되고 상기 제2광원 어레이가 오프된 상태에서 상기 카메라가 촬상한 상기 도광판의 상면 이미지로부터 기준 터치 가능 영역을 인식하고,
    상기 도광판에 인접한 상기 입력물체의 좌표를 인식할 때,
    상기 제1광원 어레이와 상기 제2광원 어레이가 온된 상태에서 상기 카메라가 촬상한 상기 도광판의 인접 상면 이미지에서 상기 도광판의 상면에서 벗어나는 영역을 제거하여 터치 가능 영역을 추출하고, 추출한 상기 터치 가능 영역과 상기 기준 터치 가능 영역을 비교하여 상기 입력물체의 좌표를 검출하도록 형성되는, 터치 디스플레이 장치.
  7. 제 1 항에 있어서,
    상기 도광판은 직사각형의 평판 형상으로 형성되며, 제1면, 상기 제1면과 마주하며 상기 디스플레이 패널이 설치되는 제2면, 및 4개의 측면을 포함하며,
    상기 제1광원 어레이는 상기 도광판의 4개의 측면 중 제1측면으로 적외선을 입사시킬 수 있도록 설치되며,
    상기 도광판은 상기 제1측면으로 입사된 상기 적외선이 상기 제1면을 통해 방출되도록 형성되는, 터치 디스플레이 장치.
  8. 제 7 항에 있어서,
    상기 제1광원 어레이의 복수의 적외선 광원은 상기 도광판의 제1측면을 따라 일직선으로 설치되는, 터치 디스플레이 장치.
  9. 제 7 항에 있어서,
    상기 도광판은 상기 4개의 측면 중 상기 제1측면에 수직한 제2측면과 제3측면은 상기 제1광원 어레이에서 방출되는 적외선이 상기 도광판의 외부로 방출되지 않도록 형성되는, 터치 디스플레이 장치.
  10. 제 1 항에 있어서,
    상기 카메라는 상기 제1광원 어레이에서 방출되어 상기 도광판의 상면의 전체 영역에서 방출되는 적외선을 촬영할 수 있도록 광각 렌즈와 이미지 센서를 포함하는, 터치 디스플레이 장치.
  11. 제 10 항에 있어서,
    상기 광각 렌즈의 화각은 90도보다 큰, 터치 디스플레이 장치.
  12. 제 1 항에 있어서,
    상기 카메라는,
    상기 제1광원 어레이의 일측에 설치되며, 상기 도광판의 상면의 전체 영역을 촬영할 수 있도록 형성되는 제1카메라; 및
    상기 제1카메라와 반대쪽으로 상기 제1광원 어레이의 타측에 설치되며, 상기 도광판의 상면의 전체 영역을 촬영할 수 있도록 형성되는 제2카메라;를 포함하는, 터치 디스플레이 장치.
  13. 제 12 항에 있어서,
    상기 제1카메라와 상기 제2카메라는 각각 광각 렌즈와 이미지 센서를 포함하며,
    상기 광각 렌즈의 화각은 90도보다 큰, 터치 디스플레이 장치.
  14. 제 1 항에 있어서,
    상기 적어도 한 개의 프로세서는,
    상기 제1광원 어레이가 온된 상태에서 상기 카메라가 촬상한 상기 도광판의 상면 이미지로부터 기준 터치 가능 영역을 인식하고,
    상기 도광판에 인접한 상기 입력물체의 좌표를 인식할 때,
    상기 제1광원 어레이가 온된 상태에서 상기 카메라가 촬상한 상기 도광판의 인접 상면 이미지에서 상기 도광판의 상면에서 벗어나는 영역을 제거하여 터치 가능 영역을 추출하고, 추출한 상기 터치 가능 영역과 상기 기준 터치 가능 영역을 비교하여 상기 입력물체의 좌표를 인식하도록 형성되는, 터치 디스플레이 장치.
  15. 제 1 항에 있어서,
    상기 적외선 광원은 적외선 엘이디를 포함하는, 터치 디스플레이 장치.
PCT/KR2021/014616 2021-08-10 2021-10-19 터치 디스플레이 장치 Ceased WO2023017903A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202180101350.5A CN117795462A (zh) 2021-08-10 2021-10-19 触摸显示装置
EP21953550.7A EP4354265A4 (en) 2021-08-10 2021-10-19 TOUCH DISPLAY DEVICE
US17/713,733 US12159009B2 (en) 2021-08-10 2022-04-05 Touch display apparatus with light guide plate using infrared light for touch detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0105080 2021-08-10
KR1020210105080A KR20230023198A (ko) 2021-08-10 2021-08-10 터치 디스플레이 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/713,733 Continuation US12159009B2 (en) 2021-08-10 2022-04-05 Touch display apparatus with light guide plate using infrared light for touch detection

Publications (1)

Publication Number Publication Date
WO2023017903A1 true WO2023017903A1 (ko) 2023-02-16

Family

ID=85200794

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/014616 Ceased WO2023017903A1 (ko) 2021-08-10 2021-10-19 터치 디스플레이 장치

Country Status (2)

Country Link
KR (1) KR20230023198A (ko)
WO (1) WO2023017903A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090118792A (ko) * 2008-05-13 2009-11-18 김현규 터치 스크린 장치
KR100942431B1 (ko) * 2007-12-11 2010-02-17 주식회사 토비스 촬상소자와 광원을 이용한 터치 좌표 인식 방법 및 이를이용한 터치스크린 시스템
KR101009912B1 (ko) * 2010-03-23 2011-01-20 (주)컴버스테크 다층 감광소자를 갖는 양방향 터치 스크린 시스템
US20110148816A1 (en) * 2009-12-17 2011-06-23 Coretronic Corporation Optical touch display apparatus
KR20120073763A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 표시장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100942431B1 (ko) * 2007-12-11 2010-02-17 주식회사 토비스 촬상소자와 광원을 이용한 터치 좌표 인식 방법 및 이를이용한 터치스크린 시스템
KR20090118792A (ko) * 2008-05-13 2009-11-18 김현규 터치 스크린 장치
US20110148816A1 (en) * 2009-12-17 2011-06-23 Coretronic Corporation Optical touch display apparatus
KR101009912B1 (ko) * 2010-03-23 2011-01-20 (주)컴버스테크 다층 감광소자를 갖는 양방향 터치 스크린 시스템
KR20120073763A (ko) * 2010-12-27 2012-07-05 삼성전자주식회사 표시장치

Also Published As

Publication number Publication date
KR20230023198A (ko) 2023-02-17

Similar Documents

Publication Publication Date Title
WO2020209491A1 (en) Head-mounted display device and operating method of the same
WO2012144667A1 (en) Method and electronic device for gesture recognition
WO2012124844A1 (en) Method and electronic device for gesture-based key input
WO2019164290A1 (en) Method of biometric authenticating using plurality of camera with different field of view and electronic apparatus thereof
WO2016140493A1 (ko) 센서 및 이를 포함하는 휴대용 단말기
WO2019231042A1 (ko) 생체 인증 장치
WO2016017956A1 (en) Wearable device and method of operating the same
WO2021071111A1 (en) Electronic device including point detector and biometric information obtaining method using the same
WO2020171563A1 (en) Electronic device and method for controlling operation of display in same
WO2017164581A1 (ko) 촬영 모드 전환이 용이한 모바일 단말 및 촬영 모드 전환 방법
WO2016032039A1 (ko) 영상 투사 장치 및 그의 동작 방법
WO2021149990A1 (ko) 디스플레이를 포함하는 전자 장치 및 전자 장치의 동작 방법
WO2017159931A1 (en) Electronic device including touch panel and method of controlling the electronic device
WO2012124837A1 (en) An apparatus and a method for gesture recognition
WO2019208915A1 (ko) 외부 장치의 자세 조정을 통해 복수의 카메라들을 이용하여 이미지를 획득하는 전자 장치 및 방법
EP3025221A1 (en) Method and apparatus for providing information about image painting and recording medium thereof
WO2021066219A1 (ko) 이동단말기
WO2019177218A1 (ko) 광학 장치
WO2017057845A1 (en) Reconfigurable mobile device
WO2012018179A2 (en) Camera module and optical touch screen using the same
WO2021006635A1 (en) Electronic apparatus for identifying object through warped image and control method thereof
WO2013070019A1 (ko) 전자 기기
EP3357222A1 (en) Reconfigurable mobile device
WO2024111847A1 (ko) 듀얼 핑거를 이용하여 오브젝트를 그립하는 로봇 및 그의 오브젝트 그립 방법
WO2022186451A1 (ko) 시선 집중도 산출 방법 및 이를 수행하기 위한 컴퓨팅 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21953550

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021953550

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 202180101350.5

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2021953550

Country of ref document: EP

Effective date: 20240111

NENP Non-entry into the national phase

Ref country code: DE