WO2022108321A1 - 디스플레이 장치 및 그의 제어 방법 - Google Patents

디스플레이 장치 및 그의 제어 방법 Download PDF

Info

Publication number
WO2022108321A1
WO2022108321A1 PCT/KR2021/016847 KR2021016847W WO2022108321A1 WO 2022108321 A1 WO2022108321 A1 WO 2022108321A1 KR 2021016847 W KR2021016847 W KR 2021016847W WO 2022108321 A1 WO2022108321 A1 WO 2022108321A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
crosstalk
display panel
display
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2021/016847
Other languages
English (en)
French (fr)
Inventor
김대영
이재성
임경민
권세용
이선일
강원 전
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP21895089.7A priority Critical patent/EP4206793B1/en
Priority to US17/696,423 priority patent/US11917124B2/en
Publication of WO2022108321A1 publication Critical patent/WO2022108321A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H04N13/125—Improving the three-dimensional [3D] impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues for crosstalk reduction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/005—Arrays characterized by the distribution or form of lenses arranged along a single direction only, e.g. lenticular sheets
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/10—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images using integral imaging methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Definitions

  • the present disclosure relates to a display device and a control method thereof, and more particularly, to a display device for displaying a stereoscopic image through a light field (LF) and a control method thereof.
  • LF light field
  • a display device for displaying a three-dimensional image is largely classified into a glasses method in which a user can properly view a three-dimensional image only when a user wears glasses, and a glasses-free method in which a user can properly view a three-dimensional image without wearing glasses.
  • a glasses method in which a user can properly view a three-dimensional image only when a user wears glasses
  • a glasses-free method in which a user can properly view a three-dimensional image without wearing glasses.
  • a LF (Light Field) method in which a display device reproduces a three-dimensional image by displaying an image generated using a plurality of LF (Light Field) images photographed from different viewpoints.
  • LF Light Field
  • a three-dimensional image is displayed by varying the intensity and direction of light, and accordingly, the user can see the appearance of an object displayed on the display at a different angle depending on the point of view of the user.
  • the structure of the display device for reproducing the LF method includes an optical layer structure in which an optical layer such as a barrier or a lens is formed on a display panel to largely control the direction of light, and the pixels between each display panel.
  • a plurality of display panels may be classified into a stacked structure in which a plurality of display panels are vertically stacked in order to adjust the direction and intensity of light according to the combination.
  • a phenomenon in which light travels in an unwanted direction occurs depending on the characteristics of the optical layer (eg, refractive index, aberration, arrangement, etc.)
  • the device has a problem in that the viewing angle that the user can see is limited.
  • an aspect of the present disclosure is to provide a display device capable of reducing crosstalk while improving a viewing angle, and a method for controlling the same.
  • a display device time-divisions the display based on a display including a first display panel, a lens array disposed on the first display panel, and a second display panel disposed on the lens array, and a plurality of light field (LF) images.
  • a display including a first display panel, a lens array disposed on the first display panel, and a second display panel disposed on the lens array, and a plurality of light field (LF) images.
  • LF light field
  • the display may include a processor for displaying a stereoscopic image by driving the display in time division based on the corrected R image.
  • the processor obtains an R crosstalk image based on the first R image, obtains an L crosstalk image based on the first L image, and obtains a second L image based on pixel values of the R crosstalk image may be corrected, and the second R image may be corrected based on pixel values of the L crosstalk image.
  • the processor corrects the second L image to have a pixel value reduced by the pixel value of the R crosstalk image for a pixel at the same position,
  • the second R image may be corrected to have a pixel value.
  • the processor obtains an R crosstalk image having a pixel value obtained by multiplying a pixel value of the first R image by a crosstalk ratio, and L cross having a pixel value obtained by multiplying a pixel value of the first L image by a crosstalk ratio You can get a talk video.
  • the processor obtains a third R image obtained by synthesizing the first R image and the second R image, and generates an R crosstalk image having a pixel value obtained by multiplying a pixel value of the synthesized third R image by a crosstalk ratio.
  • a third L image obtained by synthesizing the first L image and the second L image may be obtained, and an L crosstalk image having a pixel value obtained by multiplying a pixel value of the synthesized third L image by a crosstalk ratio may be obtained. have.
  • the processor extracts an LF image indicating a left viewpoint and an LF image indicating a right viewpoint from among the plurality of LF images, based on information about a time point at which the plurality of LF images are captured, and first and second display panels To obtain an L image by inputting the LF image representing the left viewpoint to the first factorization model trained to output the L image corresponding to the number of An R image may be obtained by inputting the LF image representing the right viewpoint to the learned second factorization model.
  • the first factorization model is an artificial intelligence model learned until the loss function based on the LF image reconstructed through the LF image and the L image indicating the left viewpoint becomes less than or equal to a preset value
  • the second factorization The model may be characterized as an artificial intelligence model trained until a loss function based on the LF image reconstructed through the LF image and the R image representing the right viewpoint becomes less than or equal to a preset value.
  • each of the first factorization model and the second factorization model is one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, or a non-negative matrix factorization (NMF) model.
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • the lens array may include unit lenses disposed on an even number of sub-pixels of the first display panel.
  • the processor obtains an L image, an M image, and an R image corresponding to a viewpoint, based on the LF image in which a plurality of LF images are classified according to viewpoints, and a first for driving a first display panel among the M images
  • a second L image is corrected based on the 1 M image and the first R image
  • a second R image is corrected based on the first M image and the first L image
  • the first L image and the first R image are corrected.
  • the second M image for driving the second display panel is corrected, the second L image is corrected, the second M image is corrected, the second M image is corrected, and the second R image is corrected.
  • the display may be time-divisionally driven to display a stereoscopic image.
  • a method of controlling a display device includes driving a display including a first display panel, a lens array disposed on the first display panel, and a second display panel disposed on the lens array in time division based on a plurality of light field (LF) images. obtaining an L image and an R image for correcting a second R image for driving a second display panel among the R images based on the first L image for driving the first display panel, and the corrected L image and the second R image of the second L image
  • the method may include displaying a stereoscopic image by driving a display in time division based on the corrected R image.
  • the correcting may include obtaining an R crosstalk image based on the first R image, obtaining an L crosstalk image based on the first L image, and based on a pixel value of the R crosstalk image to correct the second L image, and correcting the second R image based on pixel values of the L crosstalk image.
  • the correcting may include correcting the second L image to have a pixel value reduced by a pixel value of the R crosstalk image for a pixel at the same position, and a pixel value of the L crosstalk image for a pixel at the same position
  • the second R image may be corrected to have a pixel value that is reduced by that amount.
  • the obtaining of the R crosstalk image and the L crosstalk image may include obtaining an R crosstalk image having a pixel value obtained by multiplying a pixel value of the first R image by a crosstalk ratio, and obtaining a pixel of the first L image An L crosstalk image having a pixel value obtained by multiplying a value by a crosstalk ratio may be obtained.
  • the obtaining of the R crosstalk image and the L crosstalk image may include obtaining a third R image obtained by synthesizing the first R image and the second R image, and crossing the pixel values of the synthesized third R image.
  • An R crosstalk image having a pixel value multiplied by a knock ratio is obtained, a third L image obtained by synthesizing the first L image and the second L image is obtained, and the crosstalk ratio is applied to the pixel value of the synthesized third L image.
  • An L crosstalk image having a multiplied pixel value may be obtained.
  • the obtaining of the L image and the R image may include extracting an LF image indicating a left viewpoint and an LF image indicating a right viewpoint from among a plurality of LF images, based on information on a time point at which a plurality of LF images are captured.
  • obtaining an L image by inputting an LF image representing a left viewpoint to a first factorization model trained to output an L image corresponding to the number of first and second display panels and first and second The method may include obtaining an R image by inputting an LF image representing a right viewpoint to the second factorization model trained to output an R image corresponding to the number of display panels.
  • the first factorization model is an artificial intelligence model learned until the loss function based on the LF image reconstructed through the LF image and the L image indicating the left viewpoint becomes less than or equal to a preset value
  • the second factorization The model may be characterized as an artificial intelligence model trained until a loss function based on the LF image reconstructed through the LF image and the R image representing the right viewpoint becomes less than or equal to a preset value.
  • each of the first factorization model and the second factorization model is one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, or a non-negative matrix factorization (NMF) model.
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • the lens array may include unit lenses disposed on an even number of sub-pixels of the first display panel.
  • the obtaining of the L image and the R image may include obtaining the L image, the M image, and the R image corresponding to the view, based on the LF image in which the plurality of LF images are classified according to the view.
  • the correcting includes correcting the second L image based on the first M image and the first R image for driving the first display panel among the M images, and based on the first M image and the first L image Accordingly, the second R image may be corrected, and the second M image for driving the second display panel among the M images may be corrected based on the first L image and the first R image.
  • the step of displaying the stereoscopic image includes driving the display in time division based on the L image in which the second L image is corrected, the M image in which the second M image is corrected, and the R image in which the second R image is corrected, 3D image can be displayed.
  • FIG. 1 is a cross-sectional view for explaining the structure of a display device according to an embodiment of the present disclosure.
  • 2A is a diagram for explaining time division driving of a display device according to an embodiment of the present disclosure.
  • 2B is a diagram for explaining crosstalk according to an embodiment of the present disclosure.
  • FIG. 3 is a diagram for explaining a method of obtaining, by a display apparatus, a corrected image using a plurality of LF images according to an embodiment of the present disclosure.
  • FIG. 4 is a view for explaining a method of acquiring an L image and an R image according to an embodiment of the present disclosure.
  • 5A, 5B, and 5C are diagrams for explaining a method of correcting an L image and an R image according to various embodiments of the present disclosure
  • FIG. 6 is a view for explaining a stereoscopic image observed when the display device displays the corrected L image and R image according to an embodiment of the present disclosure
  • FIGS. 7A and 7B are diagrams for comparing images before and after correction according to various embodiments of the present disclosure.
  • FIG. 8 is a diagram for explaining a method of learning a factorization model according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram for explaining a method of learning a factorization model according to the number of divided viewpoints according to an embodiment of the present disclosure.
  • FIG. 10 is a block diagram illustrating a display apparatus according to an embodiment of the present disclosure.
  • FIG. 11 is a view for explaining a flowchart according to an embodiment of the present disclosure.
  • expressions such as “A or B,” “at least one of A and/and B,” or “one or more of A or/and B” may include all possible combinations of the items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B” means (1) includes at least one A, (2) includes at least one B; Or (3) it may refer to all cases including both at least one A and at least one B.
  • a component eg, a first component is "coupled with/to (operatively or communicatively)" to another component (eg, a second component);
  • another component eg, a second component
  • the certain element may be directly connected to the other element or may be connected through another element (eg, a third element).
  • a component eg, a first component
  • another component eg, a second component
  • FIG. 1 is a cross-sectional view for explaining the structure of a display device according to an embodiment of the present disclosure.
  • a display apparatus 100 may include a display 110 .
  • the display device 100 includes a TV, a monitor, a smart phone, a portable multimedia device, a portable communication device, smart glasses, a smart window, a smart watch, a head mount display (HMD), a wearable device, and a portable device. device), a handheld device, a signage, an electric billboard, an advertisement board, a cinema screen, a video wall, etc. may be implemented in various forms, but the form is not limited.
  • the display 110 may display a stereoscopic image implemented as a light field (LF) by using a plurality of light field (LF) images.
  • the plurality of LF images refers to images obtained by photographing light emitted from a specific object from a plurality of different viewpoints.
  • the stereoscopic image of the present disclosure refers to an image in which another side of an object is visible to the user according to the user's viewpoint (or the user's position). For example, when the user looking at the display 110 moves to the left, a more left portion of the object in the stereoscopic image may be visible to the user.
  • the display 110 may include a first display panel 111-1 and a second display panel 111-2. Each of the first display panel 111-1 and the second display panel 111-2 may be driven to display individual images.
  • the first display panel 111-1 and the second display panel 111-2 may be arranged in a stacked structure.
  • the first display panel 111 - 1 is disposed below (or in the rear direction) than the second display panel 111 - 2 as a first layer
  • the second display panel 111 - 2 is the second As a layer, it may be disposed above (or in the front direction) of the first display panel 111-1. This is to reproduce a stereoscopic image implemented as a light field (LF) through a combination of images displayed on each of the first display panel 111-1 and the second display panel 111-2.
  • LF light field
  • Each of the first display panel 111-1 and the second display panel 111-2 may include a plurality of sub-pixels.
  • the sub-pixel may be one of an R sub-pixel (red color), a G sub-pixel (green color), and a B sub-pixel (blue color), and serves to control the degree of emission of generated light or incident light.
  • the R sub-pixel, the G sub-pixel, and the B sub-pixel positioned at a distance adjacent to each other may constitute one pixel.
  • the first display panel 111-1 may include a plurality of sub-pixels 11-1, 12-1, ... n1-1, n2-1, ... and the second display panel 111-1 may include a plurality of sub-pixels 11-2, 12-2, ... n1-2, n2-2, ....
  • the present disclosure may include a plurality of memory cells.
  • Light emitted from the sub-pixels 11-1, 12-1, ... n1-1, n2-1, ... of the first display panel 111-1 is the second display panel 111-2 It may be emitted to the outside of the display 110 through the sub-pixels 11-2, 12-2, ... n1-2, n2-2, ... of the display 110 .
  • the light emitted to the outside is recognized by a user located within a certain angle (ie, viewing angle) based on the sub-pixels 11-1, 12-1, ... n1-1, n2-1, ... can be
  • each of the first display panel 111-1 and the second display panel 111-2 may display an image in various ways.
  • each of the first display panel 111-1 and the second display panel 111-2 controls the arrangement of liquid crystals to control the degree of light passing through (ie, transmittance) of the LCD.
  • the display 110 may include a backlight unit (BLU).
  • the backlight unit may be disposed under (or toward the rear side) of the LCD panel to generate light provided to the LCD panel.
  • the backlight unit may include a light emitting unit such as a Cold Cathode Fluorescent Lamp (CCFL) or a Light Emitting Diode (LED) that generates light, and a light guide plate that uniformly distributes the generated light to the display 110 .
  • a light emitting unit such as a Cold Cathode Fluorescent Lamp (CCFL) or a Light Emitting Diode (LED) that generates light
  • CCFL Cold Cathode Fluorescent Lamp
  • LED Light Emitting Diode
  • each of the first display panel 111-1 and the second display panel 111-2 is a light emitting device ( For example: OLED (Organic LED), Micro LED, Mini LED, QLED (Quantum dot LED), etc.) can be implemented as an LED panel.
  • the display 110 may include a lens array 115 .
  • the lens array 115 refracts light emitted from the sub-pixels, and has an effect of extending a viewing angle through which the light can be observed.
  • the lens array 115 may be disposed on the first display panel 111-1.
  • the second display panel 111 - 2 may be disposed on the lens array 115 . That is, the lens array 115 may be disposed on the first display panel 111-1 located at a relatively rear side among the plurality of display panels 111-1 and 111-2.
  • the plurality of sub-pixels 11-1, 12-1, ... n1-1, n2-1, ... and the plurality of sub-pixels 11-2, 12-2, ... n1-2 , n2-2, ...) may be arranged to face each other. Light emitted from each of the plurality of sub-pixels 11-1, 12-1, ... n1-1, n2-1, ... is the plurality of sub-pixels 11-2, 12-2, ... It may be emitted to the outside through at least one of n1-2, n2-2, ).
  • the lens array 115 may include a plurality of unit lenses 115-1, ..., 115-n, ....
  • the unit lenses 115-1, ..., 115-n, ... are optical elements for refracting light to change the traveling direction of light.
  • the unit lenses 115-1, ..., 115-n, ... have various shapes such as a semi-cylindrical shape and a hemispherical shape, and are made of various materials such as glass, plastic resin, and polyimide having transparent properties. can be implemented.
  • each unit lens 115-1, ..., 115-n, ... of the lens array 115 includes a plurality of sub-pixels 11- of the first display panel 111-1. 1, 12-1, ... n1-1, n2-1, ...) may be disposed on the first display panel 111-1. That is, a plurality of unit lenses may be formed on the first display panel 111-1 such that one unit lens covers the plurality of sub-pixels of the first display panel 111-1. For example, one unit lens (eg, 115-n) may cover an even number of sub-pixels (eg, n1-1 and n2-1) of the first display panel 111-1.
  • the display 110 may be divided into a plurality of unit areas 110-1, ..., 110-n, ....
  • the n-th unit area 110 - n includes a plurality of sub-pixels n1-1 and n2-1 of the first display panel 111-1 and a unit lens of the lens array 115 .
  • (115 - n) and a plurality of sub-pixels n1 - 2 and n2 - 2 of the second display panel 111 - 2 may be included.
  • the light emitted from the sub-pixels (eg, n1-1) of the first display panel 111-1 is a plurality of unit lenses 115-1, ..., 115-n, ... of the lens array 115. ) by a unit lens (eg 115-n) located within the same unit area (eg 110-n) (ie, a unit lens (eg 115-n) covering a sub-pixel (eg n1-1)) can be refracted.
  • the refracted light is a plurality of sub-pixels of the second display panel 111-2 according to the distance between the first and second display panels 111-1 and 111-2 and the direction (or angle) of the light. (11-2, 12-2, ...
  • n1-2, n2-2, ...) may be emitted (or radiated) to the outside through one sub-pixel (eg, n2-2).
  • the propagation direction (or angle) of light may be determined according to characteristics (eg, refractive index, aberration, arrangement, etc.) of the unit lens.
  • a sub-pixel (eg, n1-1) of the first display panel 111-1 is refracted by a unit lens (eg, 115-n), and the refracted light is transmitted to the second display panel It may be emitted to the outside through the sub-pixel (eg, n2-2) of (111-2).
  • the light emitted to the outside may proceed in a direction within the range of the right viewing angle (eg, ⁇ R , eg, 0 degrees to +30 degrees), and the right viewing angle region (n R ) corresponding to the right viewing angle (eg, ⁇ R ). ) can be recognized by a user located in the
  • a sub-pixel (eg, n1-2) of the first display panel 111-1 is refracted by a unit lens (eg, 115-n), and the refracted light is transmitted to the second display panel It may be emitted to the outside through a sub-pixel (eg, n2 - 2 ) of the panel 111 - 2 .
  • the light emitted to the outside may proceed in a direction within the range of the left viewing angle ( ⁇ L , for example, -30 degrees to 0 degrees), and a user located in the left viewing angle region n L corresponding to the left viewing angle ⁇ L . can be admitted to
  • the above-described lens array 115 is only an example, and may be replaced with a barrier layer instead of the lens array 115 .
  • the barrier layer may be disposed on the first display panel 111-1 to be parallel to the first display panel 111-1. In the barrier layer, an area through which light can pass and an area through which light can be blocked may be alternately formed at regular intervals.
  • the barrier layer transmits light emitted from the sub-pixels of the first display panel 111-1 to a specific sub-pixel of the second display panel 111-2 or sub-pixels of the first display panel 111-1. A function of blocking the light emitted from the pixel from being transmitted to a specific sub-pixel of the second display panel 111 - 2 may be performed.
  • the barrier layer is disposed on the second display panel 111 - 2 in parallel with the second display panel 111 - 2 .
  • the display apparatus 100 may display a stereoscopic image through time-multiplexing driving. This will be described together with reference to FIGS. 2A and 2B.
  • 2A is a diagram for explaining time division driving of a display device according to an embodiment of the present disclosure.
  • the display 110 may display a stereoscopic image through time-multiplexing driving.
  • the time division driving means that the display 110 alternately displays an image of a different view point for each time.
  • the display 110 displays an image (eg, an L image) of a first time point at a first time t1, and a preset time (eg, 5 ms, etc.) has elapsed from the first time t1.
  • a preset time eg, 5 ms, etc.
  • an image eg, an R image
  • the display 110 displays an image (eg, L image) of the first time point at a third time t3 when a preset time (eg, 5 ms, etc.) has elapsed from the second time t2, and the third An image (eg, R image) of the second time point may be displayed at a fourth time t4 when a preset time (eg, 5 ms, etc.) has elapsed from the time t3 . That is, the image displayed on the display 110 may be sequentially repeated, such as the image of the first viewpoint, the image of the second viewpoint, the image of the first viewpoint, the image of the second viewpoint, ..., etc. according to the lapse of time. have.
  • a preset time eg, 5 ms, etc.
  • the display 110 may display the L image indicating the left view of the object at time t1. Thereafter, the display 110 may display the R image indicating the right viewpoint of the object at time t2.
  • the L image may include a first L image to be displayed on the first display panel 111-1 and a second L image to be displayed on the second display panel 111-2 at time t1.
  • pixel values eg, values between 0 and 255 for R, G, and B colors may be mapped to each of the first L image and the first R image for each pixel position of the first display panel 111-1.
  • the R image may include a first R image to be displayed on the first display panel 111 - 1 and a second R image to be displayed on the second display panel 111 - 2 at time t2 .
  • pixel values (eg, values between 0 and 255) for R, G, and B colors may be mapped to each of the second L image and the second R image for each pixel position of the second display panel 111 - 2 . have.
  • the time division driving of the sub-pixels of the display 110 at times t1 and t2 will be described based on a unit area (eg, 110-n).
  • the pixel values shown in Table 1 may be mapped to the first L image and the first R image displayed on the first display panel 111-1.
  • Sub-pixels of the first display panel 111-1 Pixel values of the first L image (time t1) Pixel values of the first R image (time t2) first sub-pixel n1-1 Black (e.g. a value of 0) right view of the object (e.g. a value between 0 and 255) second sub-pixel n2-1 left view of the object (e.g. a value between 0 and 255) Black (e.g. a value of 0)
  • the first L image represents a black color for the first sub-pixel (eg, n1-1) of the first display panel 111-1 as shown in (1) of FIG. 2A .
  • a pixel value (eg, 0) is mapped, and a pixel value (eg, 0 to 255) representing the color of the object in the left view for the second sub-pixel (eg, n2-1) of the first display panel 111-1 values) can be mapped.
  • a pixel value eg, 0 to 255 representing the color of the object in the left view for the second sub-pixel (eg, n2-1) of the first display panel 111-1 values
  • the first R image is a pixel value (eg: A value between 0 and 255) is mapped, and a pixel value (eg, 0) representing a black color may be mapped to the second sub-pixel (eg, n2-1) of the first display panel 111-1.
  • a pixel value eg, 0
  • the second sub-pixel eg, n2-1
  • the first display panel 111-1 displays the first L image at time t1
  • the second display panel 111-2 may display the second L image at time t1.
  • the second sub-pixel (eg, n2-1) of the first display panel 111-1 has a brightness corresponding to a pixel value (eg, a value between 0 and 255) of the first L image at time t1.
  • the first sub-pixel (eg, n1-2) of the second display panel 111-2 emits light having a brightness corresponding to a pixel value (eg, a value between 0 and 255) of the second L image at time t1.
  • a pixel value eg, a value between 0 and 255
  • the light emitted from the second sub-pixel (eg, n2-1) of the first display panel 111-1 strikes the first sub-pixel (eg, n1-2) of the second display panel 111-2. through the left viewing angle region n L .
  • a user located in the left viewing angle region n L may observe a stereoscopic image indicating a left viewpoint of an object according to a combination of the first L image and the second L image.
  • the first sub-pixel (eg, n1-1) of the first display panel 111-1 does not emit light according to the pixel value of the first L image (eg, a value indicating a black color) at time t1. can drive In this case, a user located in the right viewing angle region n R cannot observe the first L image.
  • the first sub-pixel (eg, n1-1) of the first display panel 111-1 corresponds to a pixel value (eg, a value between 0 and 255) of the first R image at time t2. It can be driven to emit light of brightness.
  • the second sub-pixel (eg, n2-2) of the second display panel 111-2 is a light having a brightness corresponding to a pixel value (eg, a value between 0 and 255) of the second R image at time t2 can be driven to emit That is, the light emitted from the first sub-pixel (eg, n1-1) of the first display panel 111-1 strikes the second sub-pixel (eg, n2-2) of the second display panel 111-2.
  • a user located in the right viewing angle region may observe a stereoscopic image representing a right viewpoint of an object according to a combination of the first R image and the second R image.
  • the second sub-pixel (eg, n2-1) of the first display panel 111-1 is driven to not emit light according to the pixel value (eg, a value of 0) of the first R image at time t2.
  • the pixel value eg, a value of 0
  • a user located in the left viewing angle region eg, n L
  • the display apparatus 100 of the present disclosure may express a stereoscopic image in which a viewpoint is extended left and right through time division driving.
  • crosstalk may occur when the display 110 displays the L image and the R image through time division driving.
  • Crosstalk will be described in detail with reference to FIG. 2B.
  • 2B is a diagram for explaining crosstalk according to an embodiment of the present disclosure.
  • the first display panel 110 - 1 may display the first L image indicating the left view of the object at time t1 .
  • the first display panel 111-1 generates a second sub-pixel (eg, n2) of the first display panel 111-1 according to a pixel value of a color mapped to a pixel of the first L image at time t1.
  • -1) is driven to emit light of a brightness corresponding to a pixel value (eg, a value between 0 and 255), and the first sub-pixel (eg, n1-1) of the first display panel 111-1 is Depending on the pixel value (eg a value of 0) it can be driven to not emit light.
  • the second portion of the first display panel 111-1 positioned around the first sub-pixel (eg, n1-1) of the first display panel 111-1 is Light emitted from the sub-pixel (eg, n2-1) may be refracted by a unit lens (eg, 115-n).
  • a portion of the refracted light may be emitted to the left viewing angle region (eg, n L ) through the first sub-pixel n1 - 2 of the second display panel 111 - 2 .
  • a portion of the refracted light may be emitted to the right viewing angle region (eg, n R ) through the second sub-pixel n2 - 2 of the second display panel 111 - 2 . That is, the image representing the left viewpoint of the object at time t1 may be observed not only by the user located in the left viewing angle region (eg, n L ) but also by the user located in the right viewing angle region (eg, n R ).
  • the display 110 may display an R image indicating a right view point of the object at time t2.
  • the first display panel 111-1 may display a first sub-pixel (eg, n1) of the first display panel 111-1 according to a pixel value of a color mapped to a pixel of the first R image at time t2. -1) is driven to emit light of a brightness corresponding to a pixel value (eg, a value between 0 and 255), and the second sub-pixel (eg, n2-1) of the first display panel 111-1 is Depending on the pixel value (eg a value of 0) it can be driven to not emit light.
  • the first display panel 111-1 of the first display panel 111-1 is positioned around the second sub-pixel (eg, n2-1) of the first display panel 111-1.
  • Light emitted from the sub-pixel (eg, n1-1) may be refracted by a unit lens (eg, 115-n).
  • a portion of the refracted light may be emitted to the right viewing angle region (eg, n R ) through the second sub-pixel n2 - 2 of the second display panel 111 - 2 .
  • a portion of the refracted light may be emitted to the left viewing angle region (eg, n L ) through the first sub-pixel n1 - 2 of the second display panel 111 - 2 . That is, at time t2, an image indicating the right viewpoint of the object may be observed not only by a user located in the right viewing angle region (eg, n R ) but also by a user located in the left viewing angle region (eg, n L ).
  • the light (image indicating the left viewpoint of the object) emitted from the second sub-pixel (eg, n2-1) of the first display panel 111-1 is in the right viewing angle region (eg, n R )
  • light emitted from the first sub-pixel (eg, n1-1) of the first display panel 111-1 at time t2 can be defined as crosstalk. That is, the crosstalk refers to a phenomenon in which light representing an image of an unintended view point is leaked out at a specific time and a specific area. Such crosstalk may cause distortion or artifacts in the stereoscopic image. Meanwhile, when crosstalk occurs, an image of another view point may be defined as a crosstalk image.
  • Crosstalk may occur according to the characteristics of the first display panel 111-1 and the characteristics of the lens array 115 .
  • the characteristic of the first display panel 111-1 and the characteristic of the lens array 115 are the size of a sub-pixel (or pixel) of the first display panel 111-1 and the unit of the lens array 115 . It may include various characteristics such as a pitch of a lens, aberration of a unit lens, a focal length of a unit lens, and an alignment relationship between a sub-pixel and a unit lens (eg, when alignment does not match, etc.).
  • the degree of crosstalk occurrence can be expressed through the crosstalk ratio ().
  • the crosstalk ratio ( ) is defined as the ratio of the brightness of the image displayed in the left viewing angle region (eg n L ) and the brightness of the crosstalk image displayed in the right viewing angle region (eg n R ) at time t1.
  • the crosstalk ratio () may have a value between 0 and 1.
  • the crosstalk ratio may be defined as the ratio of the brightness of the image displayed in the right viewing angle region (eg, n R ) and the brightness of the crosstalk image displayed in the left viewing angle region (eg, n L ) at time t2.
  • the display apparatus 100 may reduce distortion or artifacts of a stereoscopic image through image correction using a crosstalk ratio ( ). Specific details thereof will be described with reference to the accompanying drawings.
  • FIG. 3 is a diagram for explaining a method of obtaining, by a display apparatus, a corrected image using a plurality of LF images according to an embodiment of the present disclosure.
  • the display apparatus 100 acquires an L image 320L and an R image 320R for driving the display 110 in time division based on a plurality of light field (LF) images 310 . can do.
  • LF light field
  • the L image 320L includes a first L image for driving the first display panel 111-1 and a second image for driving the second display panel 111-2
  • the R image 320R may include a first R image for driving the first display panel 111-1 and a second R image for driving the second display panel 111-2. That is, the L image 320L may include the same number of images as the number of display panels 111 , and the R image 320R may include the same number of images as the number of display panels 111 . More specific details will be described with reference to FIG. 4 .
  • the display apparatus 100 performs the second display panel 111-2 of the L image 320L based on the first R image for driving the first display panel 111-1 of the R image 320R. It is possible to correct the second L image for driving .
  • the display apparatus 100 may display the second display panel 111-2 of the R image 320R based on the first L image for driving the first display panel 111-1 of the L image 320L. It is possible to correct the second R image for driving .
  • the display apparatus 100 obtains an R crosstalk image 330R by using a first R image among the R images 320R, and uses the obtained R crosstalk image 330R. Accordingly, the second L image among the L images 320L may be corrected. In addition, the display apparatus 100 acquires an L crosstalk image 330L by using the first L image among the L images 320L, and uses the obtained L crosstalk image 330L among the R images 320R. The second R image may be corrected. More specific details will be described together with FIGS. 5A to 5C.
  • the display apparatus 100 may display a stereoscopic image by driving the display 110 in time division based on the L image 340L in which the second L image is corrected and the R image 340R in which the second R image is corrected. can This will be described in detail together with FIG. 6 .
  • FIG. 4 is a view for explaining a method of acquiring an L image and an R image according to an embodiment of the present disclosure.
  • the display apparatus 100 may acquire a plurality of light field (LF) images 410 .
  • the plurality of light field (LF) images 410 correspond to source images.
  • a plurality of LF images 410 may be obtained through the LF camera.
  • the LF camera refers to a device including a plurality of unit lenses for photographing an object from different viewpoints (or positions).
  • the LF camera may be included in the display device 100 or implemented as an external device separate from the display device 100 .
  • the plurality of LF images 410 obtained through the LF camera may be stored in the memory of the display device 100 or the memory of the external device.
  • the display apparatus 100 may obtain a plurality of LF images 410 by accessing the plurality of LF images 410 stored in the memory of the display apparatus 100 or by receiving the plurality of LF images 410 from an external device. have.
  • Each of the plurality of LF images 410 may include information about a photographed view point.
  • Each of the plurality of LF images 410 is an image obtained by photographing an object from different viewpoints by an LF camera.
  • Each image includes a plurality of pixels, and pixel values for R, G, and B colors may be mapped to each pixel.
  • a plurality of LF images 410 captured by the LF camera may have a 10x5 arrangement.
  • a position (eg, (1,1), (1,2), etc.) at which each of the plurality of LF images 410 is arranged may indicate a view point at which the corresponding LF image is captured.
  • the plurality of LF images 410 may be still images or moving images.
  • the plurality of LF images 410 may include information about a photographed time or FPS (Frame Per Second).
  • FPS refers to the speed at which sequential images are recorded or reproduced.
  • a plurality of LF images 1, a plurality of LF images 2, ..., a plurality of LF images 30 may be sequentially acquired for 1 second.
  • L image 1 and R image 1 obtained using a plurality of LF images 1 for 1 second
  • L image 2 obtained using a plurality of LF images 2
  • the L image 30 and the R image 30 obtained by using the R image 2, ..., and the plurality of LF images 30 may be sequentially displayed.
  • a plurality of LF images 410 are assumed to be a set of images captured and acquired at the same time by an LF camera.
  • the display apparatus 100 may acquire the L images 420 - L1 and the R images 420 - R2 for driving the display 110 in time division based on the plurality of light field (LF) images 410 .
  • the L image 420 - L1 includes a first L image 421 - L1 and a second L image 422 - L1
  • the R image 410 - R2 is a first R image 421 - R2 . and a second R image 422 - R2.
  • the display apparatus 100 displays the plurality of LF images 410 according to the viewpoint (or arrangement area) of the LF image 410-L and the right view (or the right side of the LF image 410-L) indicating the left view (or the arrangement position of the left).
  • LF image 410-R indicating the arrangement position).
  • the LF image 410-L representing the left view is the 5x5 LF image (ie, (1,1) to (5, 5)
  • the LF image 410 -R indicating the right view may be a 5x5 LF image (ie, (6,1) to (10,5) LF images) located on the right.
  • the display apparatus 100 inputs the LF image 410-L representing the left viewpoint to the learned factorization model, and as an output of the learned factorization model, the first L image 421-L1 and the second L An L image 420 - L1 including the image 422 - L1 may be acquired.
  • the display apparatus 100 inputs the LF image 410-R representing the right viewpoint to the learned factorization model, and as an output of the learned factorization model, the first R image 421-R2 and the second R image ( An R image 410 - R2 including 422 - R2 may be acquired.
  • the learned factorization model is an artificial learned to acquire a number of images (ie, layer stacks) corresponding to the number of display panels 111-1 and 111-2. It could be an intelligence model.
  • the learned factorization model may be an artificial intelligence model trained to acquire two identical images when there are two display panels 111-1 and 111-2.
  • the factorization model according to the present disclosure may be one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, or a non-negative matrix factorization (NMF) model.
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • the factoryization model may be implemented as at least one of various artificial intelligence models.
  • the factorization model according to an embodiment of the present disclosure may be a different model depending on the viewpoint of the input/output image. That is, an L factorization model (or first factorization model) using the LF image 410-L and the L image 420-L1 indicating the left viewpoint as input/output data and the LF image 410-R indicating the right viewpoint and the R factorization model (or the second factorization model) using the R images 420 - R2 as input/output data are separate models, and may be models learned through different input/output data. A detailed description of the learning of the factorization model will be described with reference to FIG. 8 .
  • 5A to 5C are diagrams for explaining a method of correcting an L image and an R image according to various embodiments of the present disclosure
  • the display apparatus 100 displays an L image 520 based on a first R image 521-R2 for driving the first display panel 111-1 among the R images 520 - R2. -L1), the second L image 522-L1 for driving the second display panel 111 - 2 may be corrected.
  • the display apparatus 100 corrects the second L image 522-L1 indicating the left viewpoint, based on the first R image 521-R2 indicating the right viewpoint, the R crosstalk image 530 -L2) can be obtained.
  • the R crosstalk image 530 - L2 is a crosstalk image when crosstalk is expected to occur in the left viewing angle region at time t2, or crosstalk observed when crosstalk occurs in the left viewing angle region at time t2 It can be a video.
  • the display apparatus 100 multiplies the pixel value of each pixel of the first R image 521-R2 representing the right viewpoint by a crosstalk ratio (eg, a value between 0 and 1), An R crosstalk image 530 - L2 having the multiplied pixel value may be obtained.
  • a crosstalk ratio eg, a value between 0 and 1
  • the display apparatus 100 synthesizes a first R image 521-R2 and a second R image 522-R2 indicating a right view to obtain a synthesized R image 525-R2. can do.
  • the display apparatus 100 multiplies the pixel value of each pixel of the synthesized R image 525 - R2 by a crosstalk ratio (eg, a value between 0 and 1), and the R crosstalk image ( 530-L2) can be obtained.
  • a crosstalk ratio eg, a value between 0 and 1
  • the display apparatus 100 is synthesized by multiplying the pixel values of the first R image 521-R2 and the second R image 522-R2 by pixels at the same location (or pixels in the light traveling path).
  • An R image 525 - R2 may be acquired.
  • the synthesized R image 525 - R2 the first R image 521-R2 is displayed on the first display panel 111-1 and the second R image 522 - R2 is displayed on the second display panel ( 111-2), it is possible to indicate an image observed in the external right viewing angle area.
  • the number of decimal places may be processed in various ways, such as rounding off, rounding off, and rounding up.
  • the R crosstalk image 530-L2 is transmitted to a device for measuring brightness when the first R image 521-R2 and the second R image 522-R2 representing the right viewpoint are displayed. It may be an image actually observed in the external left viewing angle region by the
  • the display apparatus 100 may correct the second L image 522-L1 using the R crosstalk image 530 - L2 and obtain the corrected second L image 542-L1 .
  • the display device 100 displays the R crosstalk image 530- at the pixel value 200 of the second L image 522-L1 with respect to a pixel of the same position and color (ie, a sub-pixel of the same position).
  • the corrected second L image 542-L1 may be obtained such that pixels of the same position and color have a pixel value of 180 .
  • the display apparatus 100 may not perform correction on the first L image 521-L1. That is, the pixel value of the first L image 521-L1 may be maintained at 50, the same as before correction.
  • the display apparatus 100 displays the L crosstalk image 530 - R1 based on the first L image 521 -L1 for driving the first display panel 111-1 among the L images 520 - L1 .
  • the L crosstalk image 530 - R1 may be a crosstalk image when crosstalk is expected to occur in the right viewing angle region at time t1 or a crosstalk image observed when crosstalk actually occurs.
  • the display apparatus 100 may correct the second R image 522-R2 using the L crosstalk image 530 - R1 and obtain the corrected second R image 542-R2 . Specific content will be omitted in that it overlaps with the above-described content.
  • FIG. 6 is a view for explaining a stereoscopic image observed when the display device displays the corrected L image and R image according to an embodiment of the present disclosure
  • the display apparatus 100 displays an L image 540-L1 in which the second L image 522-L1 is corrected and an R image 540-R2 in which the second R image 522-R2 is corrected. ), by driving the display 110 in time division, a stereoscopic image may be displayed on the display 110 .
  • the first display panel 111-1 displays the first L images 521-L1 and 541-L1 at time t1, and the second display panel 111-2 displays the corrected second L images at time t1.
  • the L image 542-L1 may be displayed.
  • the first display panel 111-1 displays the first R images 521-R2 and 541-R2 at time t2, and the second display panel 111-2 displays the corrected second R images at time t2.
  • An image 542-R2 may be displayed.
  • the L stereoscopic image 650-L1 obtained by adding the first L images 521-L1 and 541-L1 and the corrected second L image 542-L1 to time t1 is observed in the left viewing angle region, and the left viewing angle In the region, the R crosstalk image 630R-L2 may be observed at time t2.
  • the L stereoscopic image 650-L1 at time t1 and the R crosstalk image 630R-L2 at time t2 are sequentially and repeatedly displayed for a very short time, so that a user located in the left viewing angle region can combine them into one final stereoscopic image 660 -L) can be recognized.
  • an R stereoscopic image 650-R2 in which the first R images 521-R2 and 541-R2 and the corrected second R image 542-R2 are combined at time t2 is observed in the right viewing angle region, and the right viewing angle In the region, L crosstalk images 630L-R1 may be observed at time t1.
  • the R stereoscopic image 650-R2 at time t2 and L crosstalk image 630L-R1 at time t1 are sequentially and repeatedly displayed for a very short time, so that a user located in the right viewing angle area can combine them into one final stereoscopic image 660 -R) can be recognized.
  • the display apparatus 100 provides R crosstalk images 630R-L2 (or L) that can be observed in the left viewing angle region (or right viewing angle region) at time t2 (or time t1).
  • a correction may be performed to reduce the brightness of the L image (or R image) displayed in the left viewing angle region (or right viewing angle region) at time t1 (or time t2) by the brightness of the crosstalk image 630L-R1). .
  • This is because when the display device 100 sequentially displays the corrected image and the crosstalk image for a very short time, the user can perceive it as a single natural stereoscopic image, and consequently the same as when crosstalk does not occur. It has the effect of reducing crosstalk.
  • FIGS. 7A and 7B are diagrams for comparing images before and after correction according to various embodiments of the present disclosure.
  • a row indicates an image displayed on a display panel (ie, an image for each display panel), and a column indicates an L image (720-L1) of the left view before correction, and an R image (720-R2) of the right view before correction ), the L image 740-L1 of the left view after correction and the R image 720-R2 of the right view after correction are shown.
  • the second L image 722-L1 displayed at time t1 in the second display panel 111-2 is the first image displayed at time t2 in the first display panel 111-1.
  • a final second L image 742 - L1 may be obtained by being corrected based on the R image 721 - R2 .
  • the second R image 722-R2 displayed at time t2 on the second display panel 111-2 is the first L image 721-L1 displayed at time t1 on the first display panel 111-1.
  • a final second R image 742 - R2 may be obtained. Specific details thereof will be omitted in that they overlap with those described above.
  • the brightness of the final second L image 742-L1 is compared. may be darker than that of the second L image 722-L1. That is, a pixel value of the final second L image 742 - L1 may be lower than a pixel value of the second L image 722-L1 .
  • the second R image 722-R2 and the corrected final second R image 742-R2 are compared for the same position (ie, pixel)
  • the brightness of the final second R image 742-R2 is It may be darker than the second R image 722-R2.
  • a pixel value of the final second R image 742 - R2 may be lower than a pixel value of the second R image 722-R2 . This is a result of the brightness (or pixel value) of the crosstalk image being reflected in the second L image and the second R image.
  • FIG. 7B shows a stereoscopic image 770 before correction and a stereoscopic image 780 after correction.
  • the uncorrected L stereoscopic image 775-L is the uncorrected L image displayed at time t1 on each display panel 111-1 and 111-2 of the display 110 and the uncorrected R image at time t2
  • the corrected L stereoscopic image 785-L the corrected L image is displayed at time t1 and the corrected R image is displayed at time t2 on each display panel 111-1 and 111-2 of the display 110 .
  • it is a stereoscopic image that is overlapped in the external left view area.
  • the uncorrected R stereoscopic image 775-R is displayed on the respective display panels 111-1 and 111-2 of the display 110 at time t1, and the uncorrected L image is displayed at time t2 and corrected at time t2.
  • This is a stereoscopic image that is overlapped in the external right view area when an R image that has not been displayed is displayed.
  • the corrected R stereoscopic image 785-R the corrected L image is displayed at time t1 and the corrected R image is displayed at time t2 on each display panel 111-1 and 111-2 of the display 110 . In this case, it is a stereoscopic image that is overlapped in the external right view area.
  • the L stereoscopic image 785-L after correction has a peak signal-to-noise ratio (Peak Signal-to-Noise) compared to the uncorrected L stereoscopic image 775-L before correction.
  • noise ratio, PSNR noise ratio
  • the maximum signal-to-noise ratio of the R stereoscopic image after correction (785-R) was increased from 32.2422 to 39.3431 compared to the uncorrected R stereoscopic image (775-R) before correction.
  • the maximum signal-to-noise ratio refers to evaluating the loss information on the image quality of two images, and the larger the value, the less image loss and the better the image quality. That is, it can be seen that the image corrected according to an embodiment of the present disclosure has an increased maximum signal-to-noise ratio compared to before correction, which has less loss and improved image quality compared to before correction.
  • FIG. 8 is a diagram for explaining a method of learning a factorization model according to an embodiment of the present disclosure.
  • the L factorization model (or the first factorization model) will be described first.
  • the L factorization model is an L image corresponding to the number of display panels 111-1 and 111-2 of the display 110 in the LF image 410-L representing the left viewpoint among the plurality of LF images 410 .
  • It may be an artificial intelligence model trained to output (420-L1). That is, the L factorization model may use the LF image 410 -L representing the left view as input data and the L image 420 -L1 as output data.
  • the display apparatus 100 may divide the plurality of LF images 410 into an LF image 410-L indicating a left viewpoint and an LF image 410-R indicating a right viewpoint.
  • the display apparatus 100 extracts a plurality of LF images 410-L indicating a left view from among a plurality of LF images 410, and uses the extracted plurality of LF images 410-L as an unlearned L factorization model. (or the L factorization model being studied) to obtain the L images 420 - L1.
  • the L image 420 - L1 includes the number of first L images 421 -L1 and the second L images 422 - equal to the number (eg, two) of the display panels 111-1 and 111 - 2 . L1) may be included.
  • the display apparatus 100 displays a plurality of LF images each representing a left view based on the first L image 421-L1 and the second L image 422-L1 included in the L image 420-L1.
  • the first display panel 111-1 displays the first L image 421-L1
  • the second display panel 111-2 displays the second L image through real or virtual simulation.
  • the image 422 - L1 is displayed, it may be an LF image that is seen (or predicted to be seen) at a specific point in time.
  • shifting parameters of images displayed on each display panel 111 - 1 and 111 - 2 for each view point may be mapped.
  • the shifting parameter of the image displayed on the first display panel 111-1 and the second display panel ( 111-2) may be mapped, and for example, the lower left view is (0, 0), the middle view (Cx, Cy), the right view is (2Cx, 2Cy), etc. Shifting parameters may be mapped in the same way. However, this is only an example, and various modifications are possible.
  • the LF image may be reconstructed by applying the shifting parameter according to the viewpoint to the first L image 421-L1 and to the second L image 422 -L1. That is, the position of the first L image 421-L1 is adjusted by applying a shifting parameter mapped to the first L image 421-L1 with respect to a specific view point, and it is mapped to the second L image 422-L1.
  • pixel values may be multiplied by pixels having the same adjusted positions. In this case, normalization may be performed together. Through this process, the display apparatus 100 may restore the LF image of the corresponding time.
  • the learned first factorization model is learned until the loss function based on the LF image restored through the L image 420-L1 and the LF image 410-L representing the left view becomes less than or equal to a preset value.
  • the loss function is an index indicating the current learning state (or current performance) of the factorization model, and a model for performing factorization may be trained based on the loss function.
  • the display apparatus 100 compares the plurality of LF images 410-L indicating the left viewpoint input as the source image with the plurality of reconstructed LF images indicating the left viewpoint to obtain a loss function.
  • the method of obtaining the loss function includes the mean squared error method for calculating the loss function using the mean squared error, the SSIM (structural similarity index) method for calculating the loss function by measuring the image quality, the minimum There are the L1 norm method, which calculates the loss function using least absolute deviations or least absolute errors, and the L2 norm method, which calculates the loss function using the least squares errors.
  • the present invention is not limited thereto, and a loss function may be obtained by using a combination of the above-described methods or by other methods.
  • the L factorization model may be learned until the loss function becomes less than or equal to a preset value, and the weight (or parameter) of the L factorization model may be updated by adjusting its value according to learning. That is, the L factorization model can be trained in a direction in which the loss function decreases.
  • the factorization model according to an embodiment of the present disclosure may be learned based on a plurality of LF images obtained by synthesizing a crosstalk image of a different viewpoint with a plurality of reconstructed LF images.
  • a crosstalk image indicating a right viewpoint is synthesized with a plurality of reconstructed LF images indicating a left viewpoint
  • a plurality of synthesized LF images and a plurality of LF images 410 indicating a left viewpoint are synthesized.
  • -L is compared to obtain a loss function, and the L factorization model can be trained in a direction in which the loss function decreases.
  • the R factorization model using the LF image 410-R and the R image 420-R2 representing the right viewpoint as input/output data may also be learned in a manner similar to the above description. That is, the display apparatus 100 obtains a loss function by comparing the plurality of LF images 410-R indicating the right viewpoint input as the source image and the restored plurality of LF images indicating the right viewpoint, The R factorization model can be trained in the direction that the loss function decreases. That is, the weights (or parameters) of the R factorization model may be updated based on the loss function.
  • the factorization model may be learned based on a plurality of LF images obtained by synthesizing crosstalk images of different viewpoints with a plurality of reconstructed LF images. That is, a loss function is obtained by synthesizing a crosstalk image indicating a left viewpoint with a plurality of reconstructed LF images indicating a right viewpoint, and comparing the synthesized plurality of LF images with a plurality of LF images 410-R indicating a right viewpoint obtained, and the R factorization model can be trained in a direction in which the loss function decreases.
  • the display apparatus 100 performs time-division driving alternately on two L images and R images, but this is only an example and time-division driving may be alternately performed on images classified into various viewpoints.
  • the display apparatus 100 may acquire an L image, an M image, and an R image corresponding to a viewpoint, based on the LF image in which a plurality of LF images are classified according to viewpoints. From a plurality of LF images, an L image, an M image, and an R image may be obtained through a factorization model corresponding to each view.
  • the learning of the factorization model will be described with reference to FIG. 9 .
  • the L image is an image representing a left viewpoint that can be observed in the left viewing angle region (eg, -30 degrees to -10 degrees)
  • the M image is an image that can be observed in the middle viewing angle region (eg -10 degrees to 10 degrees). It is an image indicating a possible intermediate viewpoint
  • the R image may be an image indicating a right viewpoint that can be observed in a right viewing angle region (eg, +10 degrees to +30 degrees).
  • the M image may include a first M image for driving the first display panel 111 - 1 and a second M image for driving the second display panel 111 - 2 .
  • crosstalk may occur due to adjacent L images and R images, and the display apparatus 100 of the present disclosure may perform the following operation to reduce such crosstalk.
  • the display apparatus 100 may correct the second L image based on the first M image and the first R image.
  • the display apparatus 100 obtains an M crosstalk image by multiplying a pixel value of the first M image (or an image in which the first M image and the second M image are synthesized) by a crosstalk ratio, and the first R image An R crosstalk image may be obtained by multiplying a pixel value of (or an image in which the first R image and the second R image are synthesized) by a crosstalk ratio.
  • the display apparatus 100 may correct the second L image to have a pixel value reduced by the pixel value of the R crosstalk image.
  • the display apparatus 100 may correct the second R image based on the first M image and the first L image.
  • the display apparatus 100 may correct the second M image based on the first L image and the first R image. Specific details will be omitted in that they overlap with the above-described method of correcting the second L image.
  • the display apparatus 100 drives the display 110 in time division based on the L image in which the second L image is corrected, the M image in which the second M image is corrected, and the R image in which the second R image is corrected. , a stereoscopic image can be displayed.
  • the display apparatus 100 drives the display 110 to display the corrected L image at time t1, drives the display 110 to display the corrected M image at time t2, and corrects at time t3
  • the display 110 may be driven to display the R image. That is, the display apparatus 100 may alternately display each image according to time, such as times t1, t2, t3, t1, t2, ....
  • the display apparatus 100 of the present disclosure has a crosstalk reduction effect similar to the case in which crosstalk does not occur in that the display apparatus 100 performs time division driving by compensating for the brightness of crosstalk images occurring in regions adjacent to each other.
  • FIG. 9 is a diagram for explaining a method of learning a factorization model according to the number of divided viewpoints according to an embodiment of the present disclosure.
  • a plurality of LF images may be classified into a left view, a middle view, and a right view according to views.
  • a method for learning the M factorization model corresponding to the intermediate time point will be described.
  • the display apparatus 100 applies the LF image of the intermediate view to the M factorization model, which is trained to output the L images 420-L1 corresponding to the number of the display panels 111-1 and 111-2 of the display 110 . By inputting it, it is possible to obtain an M image as the output.
  • the M-images may include the same number of first M-images and second M-images as the number of the display panels 111 - 1 and 111 - 2 .
  • the display apparatus 100 may reconstruct a plurality of LF images indicating an intermediate view based on the first M image and the second M image included in the M image.
  • the restored LF image is when the first display panel 111-1 displays the first M image and the second display panel 111-2 displays the second M image through real or virtual simulation.
  • the display apparatus 100 may acquire an image obtained by synthesizing the LF image, the L crosstalk image, and the R crosstalk image restored through the M image.
  • the L crosstalk image as described above, when the LF image representing the left viewpoint among the plurality of LF images is input to the L factorization model, the image obtained by multiplying the L image output by the crosstalk ratio can be have.
  • the R crosstalk image may be an image obtained by multiplying an R image output by a crosstalk ratio when an LF image representing a right viewpoint among a plurality of LF images is input to the R factorization model.
  • the synthesized image may be an image obtained by summing pixel values of each image with respect to pixels at the same position.
  • the first factorization model may be trained until the loss function based on the synthesized image and the LF image representing the intermediate view becomes less than or equal to a preset value.
  • the same method can be applied to the L and R factorization models corresponding to different viewpoints, overlapping contents will be omitted.
  • FIG. 10 is a block diagram illustrating a display apparatus according to an embodiment of the present disclosure.
  • the display apparatus 100 may include a display 110 and a processor 120 .
  • the display 110 may include a plurality of display panels 111-1 and 111-2.
  • the plurality of display panels 111-1 and 111-2 may be arranged parallel to each other and stacked in a direction perpendicular to the surface.
  • Each of the plurality of display panels 111-1 and 111-2 may include a plurality of pixels.
  • Each pixel includes a plurality of sub-pixels, and the degree of light emission of each sub-pixel may be controlled by a driving circuit.
  • the display 110 may include a lens array 115 .
  • the lens array 115 may be disposed between the plurality of display panels 111-1 and 111-2.
  • the lens array 115 may be disposed on the first display panel 111-1.
  • the lens array 115 includes a plurality of unit lenses, and each unit lens refracts light emitted through sub-pixels (or pixels) of the first display panel 111-1 to change the direction in which the light travels.
  • the number of the plurality of display panels may be variously modified, and in this case, the plurality of display panels may be arranged in a stacked structure as described above.
  • the plurality of display panels may include a first display panel 111-1, a second display panel 111-2, ..., and an n-th display panel (n is a natural number equal to or greater than 3).
  • the lens array 115 may be disposed between the first display panel 111 - 1 and the second display panel 111 - 2 .
  • the lens array 115 may be disposed between the second display panel 111 - 2 and the third display panel. In this way, it may be disposed between the n-1 th display panel and the n th display panel (n is a natural number equal to or greater than 4).
  • the processor 120 may control the overall operation of the display apparatus 100 .
  • the processor 120 is a general-purpose processor such as a central processing unit (CPU) and an application processor (AP), a graphics-only processor such as a graphic processing unit (GPU), a vision processing unit (VPU), etc., and artificial It may be implemented as an intelligence-only processor or the like.
  • the processor 120 may include a volatile memory for loading at least one instruction or module.
  • the processor 120 may include a RAM (not shown), a ROM (not shown), a graphic processing unit (not shown), a main CPU (not shown), first to n interfaces (not shown), and a bus (not shown). have. In this case, RAM (not shown), ROM (not shown), graphic processing unit (not shown), main CPU (not shown), first to n interfaces (not shown), etc. may be connected to each other through a bus (not shown). .
  • the processor 120 may control the operation of the above-described display apparatus 100 .
  • the processor 120 may acquire an L image 320L and an R image 320R for driving the display 110 in time division based on the plurality of light field (LF) images 310 . Then, the processor 120 displays the second display panel 111-2 of the L image 320L based on the first R image for driving the first display panel 111-1 of the R image 320R. The second L image for driving may be corrected. In addition, the display apparatus 100 may display the second display panel 111-2 of the R image 320R based on the first L image for driving the first display panel 111-1 of the L image 320L. It is possible to correct the second R image for driving . The processor 120 may display a stereoscopic image by driving the display 110 in time division based on the L image 340L in which the second L image is corrected and the R image 340R in which the second R image is corrected.
  • LF light field
  • the processor 120 may control the operation of the above-described display apparatus 100 or other components included in the display apparatus 100, and detailed descriptions thereof will be omitted in that they are redundant.
  • the display apparatus 100 may further include at least one of various components such as a memory, a communication unit, and an input interface.
  • the memory may store a variety of information. For example, various instructions, an operating system (OS), an application program, or data required for the operation of the display apparatus 100 or the processor 120 may be stored in the memory.
  • the memory includes volatile memories such as S-RAM (Static Random Access Memory) and D-RAM (Dynamic Random Access Memory), Flash Memory, ROM (Read Only Memory), EPROM (Erasable Programmable Read Only Memory), and EEPROM. It may be implemented as a non-volatile memory such as (Electrically Erasable Programmable Read Only Memory), a hard disk drive (HDD), or a solid state drive (SSD).
  • the memory is accessed by the processor 120 , and reading/writing/modification/deletion/update of data by the processor 120 may be performed.
  • the communication unit may communicate with the external device to transmit or receive data to or from the external device.
  • the communication unit LTE, LTE Advance (LTE-A), CDMA (code division multiple access), WCDMA (wideband CDMA), UMTS (universal mobile telecommunications system), WiBro (Wireless Broadband), or GSM (Global System) at least one of various methods such as cellular communication, WiFi (wireless fidelity), Bluetooth, Bluetooth low energy (BLE), Zigbee, near field communication (NFC) using at least one of can be done
  • the communication unit may perform at least one wired communication among various methods such as universal serial bus (USB), high definition multimedia interface (HDMI), digital visual interface (DVI), Thunderbolt, Ethernet, USB port, and Lightning. .
  • USB universal serial bus
  • HDMI high definition multimedia interface
  • DVI digital visual interface
  • Thunderbolt Thunderbolt
  • Ethernet Ethernet
  • USB port USB port
  • Lightning Lightning
  • the input interface may receive a user command in various ways from the user.
  • the input interface may transmit the received user command to the processor 120 .
  • the input interface may include, for example, a touch panel or a key.
  • the touch panel may use, for example, at least one of a capacitive type, a pressure sensitive type, an infrared type, and an ultrasonic type, and may include a control circuit therefor.
  • the touch panel may further include a tactile layer to provide a tactile response to the user.
  • the key may be implemented through, for example, a physical button method, an optical method, or a virtual keypad method combined with a touch panel.
  • FIG. 11 is a view for explaining a flowchart according to an embodiment of the present disclosure.
  • the display 110 includes a first display panel 111-1, a lens array 115 disposed on the first display panel 111-1, and a second display panel 115 disposed on the lens array 115. 111-2) may be included.
  • the first display panel 111-1 and the second display panel 111-2 may each include a plurality of pixels, and each pixel may include a plurality of sub-pixels.
  • the lens array 115 may include a plurality of unit lenses.
  • each unit lens may be disposed on an even number of sub-pixels of the first display panel 111-1.
  • the L image may include a first L image for driving the first display panel 111 - 1 and a second L image for driving the second display panel 111 - 2 .
  • the R image may include a first R image for driving the first display panel 111-1 and a second R image for driving the second display panel 111-2.
  • an LF image indicating a left view from among a plurality of LF images may be extracted based on information on a time point at which a plurality of LF images are captured. Then, by inputting the extracted LF image representing the left viewpoint to the first factorization model trained to output the L image corresponding to the number of the display panels 111-1 and 111-2 of the display 110, the L image is generated. can be obtained
  • an LF image indicating a right view point from among the plurality of LF images may be extracted. Then, the extracted LF image representing the right viewpoint is input to the second factorization model learned to output the R image corresponding to the number of the display panels 111-1 and 111-2 of the display 110 to generate the R image.
  • the first factorization model may be an artificial intelligence model learned until the loss function based on the LF image reconstructed through the LF image and the L image indicating the left viewpoint becomes less than or equal to a preset value.
  • the second factorization model may be an artificial intelligence model learned until the loss function based on the LF image reconstructed through the LF image and the R image indicating the right view becomes less than or equal to a preset value.
  • Each of the first factorization model and the second factorization model may be one of a deep neural network (DNN) model, a non-negative tensor factorization (NTF) model, or a non-negative matrix factorization (NMF) model.
  • DNN deep neural network
  • NTF non-negative tensor factorization
  • NMF non-negative matrix factorization
  • the second L image for driving the second display panel 111-2 among the L images may be corrected based on the first R image for driving the first display panel 111-1 among the R images.
  • the second R image for driving the second display panel 111-2 among the R images may be corrected based on the first L image for driving the first display panel 111-1 among the L images. (S1120).
  • an R crosstalk image may be acquired based on the first R image.
  • an L crosstalk image may be acquired based on the first L image.
  • an R crosstalk image having a pixel value obtained by multiplying a pixel value of the first R image by a crosstalk ratio may be obtained.
  • an L crosstalk image having a pixel value obtained by multiplying a pixel value of the first L image by a crosstalk ratio may be obtained.
  • an R image (third R image) obtained by synthesizing a first R image and a second R image is obtained, and R crosstalk having a pixel value obtained by multiplying a pixel value of the synthesized R image by a crosstalk ratio image can be obtained.
  • an L image (third L image) obtained by synthesizing the first L image and the second L image is obtained, and an L crosstalk image having a pixel value obtained by multiplying a pixel value of the synthesized L image by a crosstalk ratio is obtained.
  • a synthesized image may be obtained in such a way that ⁇ is a pixel value.
  • a synthesized image may be acquired in various ways.
  • the second L image may be corrected based on pixel values of the R crosstalk image.
  • the second R image may be corrected based on pixel values of the L crosstalk image. Specifically, the second L image may be corrected to have a pixel value reduced by the pixel value of the R crosstalk image with respect to a pixel at the same position. Also, the second R image may be corrected to have a pixel value reduced by the pixel value of the L crosstalk image with respect to a pixel at the same position.
  • a stereoscopic image may be displayed by driving the display 110 in time division based on the corrected L image of the second L image and the corrected R image of the second R image ( S1130 ).
  • the first display panel 111-1 displays the first L image
  • the second display panel 111-2 displays the corrected second L image based on the first R image.
  • the first display panel 111-1 may display the first R image
  • the second display panel 111-2 may display the corrected second R image based on the first L image.
  • the interval between time t1 and time t2 may be a very short time.
  • the interval between time t1 and time t2 may be a value within a range of 1 ms or more and 30 ms or less.
  • the obtaining of the L image and the R image may include obtaining the L image, the M image, and the R image corresponding to the view, based on the LF image in which the plurality of LF images are classified according to the view.
  • the correcting step includes correcting the second L image based on the first M image and the first R image for driving the first display panel 111-1 among the M images, and performing the first M image and the second L image. Correcting the second R image based on the 1 L image, and correcting the second M image for driving the second display panel 111 - 2 from among the M images based on the first L image and the first R image can do.
  • the step of displaying the stereoscopic image includes driving the display in time division based on the L image in which the second L image is corrected, the M image in which the second M image is corrected, and the R image in which the second R image is corrected, A 3D image can be displayed.
  • Various embodiments of the present disclosure may be implemented as software including instructions stored in a machine-readable storage medium readable by a machine (eg, a computer).
  • the device calls the stored instructions from the storage medium. and, as a device capable of operating according to the called command, it may include an electronic device (eg, the display device 100) according to the disclosed embodiments.
  • the processor When the command is executed by the processor, the processor directly or the The function described in the instruction may be performed using other components under the control of the processor.
  • the instruction may include code generated or executed by a compiler or interpreter.
  • a machine-readable storage medium is a non-transitory It may be provided in the form of a (non-transitory) storage medium, where 'non-transitory' means that the storage medium does not include a signal and is tangible, and data is stored in the storage medium semi-permanently or temporarily It does not distinguish that it is stored as
  • the method according to various embodiments may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product may be distributed in the form of a machine-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play StoreTM).
  • an application store eg, Play StoreTM
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • Each of the components may be composed of a singular or a plurality of entities, and some sub-components of the above-described sub-components may be omitted, or other sub-components may be various It may be further included in the embodiment.
  • some components eg, a module or a program
  • operations performed by a module, program, or other component may be sequentially, parallelly, repetitively or heuristically executed, or at least some operations may be executed in a different order, omitted, or other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 개시에서는 디스플레이 장치 및 그 제어 방법이 제공된다. 본 개시의 디스플레이 장치는 제1 디스플레이 패널, 제1 디스플레이 패널 상에 배치된 렌즈 어레이 및 렌즈 어레이 상에 배치된 제2 디스플레이 패널을 포함하는 디스플레이, 및 복수의 LF(light field) 영상에 기초하여, 디스플레이를 시분할로 구동하기 위한 L 영상 및 R 영상을 획득하고, R 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 R 영상에 기초하여 L 영상 중 제2 디스플레이 패널을 구동하기 위한 제2 L 영상을 보정하고, L 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 L 영상에 기초하여 R 영상 중 제2 디스플레이 패널을 구동하기 위한 제2 R 영상을 보정하고, 제2 L 영상이 보정된 L 영상 및 제2 R 영상이 보정된 R 영상에 기초하여 디스플레이를 시분할로 구동하여, 입체 영상을 표시하는 프로세서를 포함할 수 있다. 본 개시의 디스플레이 장치는 규칙 기반 모델 또는, 기계학습, 신경망 또는 딥러닝 알고리즘 중 적어도 하나에 따라 학습된 인공지능 모델을 이용할 수 있다.

Description

디스플레이 장치 및 그의 제어 방법
본 개시는 디스플레이 장치 및 그의 제어 방법에 관한 것으로, 보다 상세하게는 LF(Light Field)를 통해 입체 영상을 표시하는 디스플레이 장치 및 그의 제어 방법에 관한 것이다.
최근 전자 기술의 발달에 따라, 3차원의 입체 영상을 표시하기 위한 디스플레이 장치가 개발되고 있다.
3차원의 입체 영상을 표시하기 위한 디스플레이 장치는 크게 사용자가 안경을 착용하여야만 입체 영상을 제대로 시청할 수 있는 안경 방식과 사용자가 안경을 착용하지 않고서도 입체 영상을 제대로 시청할 수 있는 무안경 방식으로 분류될 수 있다. 안경 방식의 경우 사용자에게 만족스러운 입체감을 제공할 수 있으나, 사용자가 반드시 안경을 착용하여야 한다는 점에서 사용자(특히, 시력 보정을 위해 안경을 착용하는 사용자 등)에게 불편함을 주며, 사용자의 수만큼 안경이 필요하다는 단점이 있다. 이에 비해, 무안경 방식은 안경 없이도 3차원의 입체 영상을 시청할 수 있다는 점에서 사용자에게 편리함을 제공한다.
특히, 무안경 방식에서, 디스플레이 장치가 서로 다른 시점(view point)으로 촬영한 복수의 LF(Light Field) 영상을 이용하여 생성된 영상을 표시하여 입체 영상을 재현하는 LF(Light Field) 방식이 있다. LF 방식의 경우 일반적인 디스플레이 장치와 달리, 빛의 세기와 방향을 달리하여 입체 영상을 표시하며, 이에 따라 사용자는 사용자가 디스플레이를 보는 시점에 따라 디스플레이에 표시되는 객체의 다른 각도의 모습을 볼 수 있다.
한편, 이러한 LF 방식을 재현하기 위한 디스플레이 장치의 구조는, 크게 빛의 방향을 조절하기 위해 디스플레이 패널 상에 격벽(barrier) 또는 렌즈와 같은 광학층이 형성된 광학층 구조, 각 디스플레피 패널 간 픽셀의 조합에 따른 빛의 방향과 세기를 조절하기 위해 복수의 디스플레이 패널이 수직으로 적층된 적층형 구조로 분류될 수 있다.
광학층 구조의 디스플레이 장치에서는 광학층의 특성(예: 굴절율, 수차, 배열 등)에 따라 원치 않는 방향으로 빛이 진행하는 현상이 발생하여 입체 영상의 품질이 저하되는 문제가 있으며, 적층형 구조의 디스플레이 장치에서는 사용자가 볼 수 있는 시야각이 제한되는 문제가 있다.
위의 정보는 본 개시의 이해를 돕기 위한 배경 정보로서 만 제공된다. 위의 정보 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 어떠한 결정이 내려지지 않았으며, 어떠한 주장도 이루어지지 않았다.
본 개시의 측면은 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 따라서 본 개시의 일 측면은 시야각이 향상되면서 크로스톡이 저감될 수 있는 디스플레이 장치 및 그의 제어 방법을 제공함에 있다.
추가적인 측면은 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백할 것이고, 또는 제시된 실시예의 실행에 의해 학습될 수 있다.
일 측면에 따라 디스플레이 장치가 제공된다. 디스플레이 장치는 제1 디스플레이 패널, 제1 디스플레이 패널 상에 배치된 렌즈 어레이 및 렌즈 어레이 상에 배치된 제2 디스플레이 패널을 포함하는 디스플레이, 및 복수의 LF(light field) 영상에 기초하여, 디스플레이를 시분할로 구동하기 위한 L 영상 및 R 영상을 획득하고, R 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 R 영상에 기초하여 L 영상 중 제2 디스플레이 패널을 구동하기 위한 제2 L 영상을 보정하고, L 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 L 영상에 기초하여 R 영상 중 제2 디스플레이 패널을 구동하기 위한 제2 R 영상을 보정하고, 제2 L 영상이 보정된 L 영상 및 제2 R 영상이 보정된 R 영상에 기초하여 디스플레이를 시분할로 구동하여, 입체 영상을 표시하는 프로세서를 포함할 수 있다.
일 예로서, 프로세서는 제1 R 영상에 기초하여 R 크로스톡 영상을 획득하고, 제1 L 영상에 기초하여 L 크로스톡 영상을 획득하며, R 크로스톡 영상의 픽셀 값에 기초하여 제2 L 영상을 보정하고, L 크로스톡 영상의 픽셀 값에 기초하여 제2 R 영상을 보정할 수 있다.
일 예로서, 프로세서는 동일한 위치의 픽셀에 대해 R 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 L 영상을 보정하고, 동일한 위치의 픽셀에 대해 L 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 R 영상을 보정할 수 있다.
일 예로서, 프로세서는 제1 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 R 크로스톡 영상을 획득하고, 제1 L 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 L 크로스톡 영상을 획득할 수 있다.
일 예로서, 프로세서는 제1 R 영상 및 제2 R 영상을 합성한 제3 R 영상을 획득하고, 합성된 제3 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 R 크로스톡 영상을 획득하며, 제1 L 영상 및 제2 L 영상을 합성한 제3 L 영상을 획득하고, 합성된 제3 L 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 L 크로스톡 영상을 획득할 수 있다.
일 예로서, 프로세서는 복수의 LF 영상이 촬영된 시점에 대한 정보에 기초해, 복수의 LF 영상 중에서 좌측 시점을 나타내는 LF 영상 및 우측 시점을 나타내는 LF 영상을 추출하고, 제1 및 제2 디스플레이 패널의 수에 대응되는 L 영상을 출력하도록 학습된 제1 팩토리제이션 모델에 좌측 시점을 나타내는 LF 영상을 입력하여 L 영상을 획득하며, 제1 및 제2 디스플레이 패널의 수에 대응되는 R 영상을 출력하도록 학습된 제2 팩토리제이션 모델에 우측 시점을 나타내는 LF 영상을 입력하여 R 영상을 획득할 수 있다.
일 예로서, 제1 팩토리제이션 모델은, 좌측 시점을 나타내는 LF 영상 및 L 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델이며, 제2 팩토리제이션 모델은, 우측 시점을 나타내는 LF 영상 및 R 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델인 것을 특징으로 할 수 있다.
일 예로서, 제1 팩토리제이션 모델 및 제2 팩토리제이션 모델 각각은, DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization) 모델 또는 NMF(Non-negative Matric factorization) 모델 중 하나인 것을 특징으로 할 수 있다.
일 예로서, 렌즈 어레이는 제1 디스플레이 패널의 짝수 개의 서브 픽셀 상에 배치되는 단위 렌즈를 포함할 수 있다.
일 예로서, 프로세서는 복수의 LF 영상이 시점에 따라 분류된 LF 영상에 기초하여, 시점에 대응되는 L 영상, M 영상 및 R 영상을 획득하고, M 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 M 영상 및 제1 R 영상에 기초하여, 제2 L 영상을 보정하고, 제1 M 영상 및 제1 L 영상에 기초하여, 제2 R 영상을 보정하고, 제1 L 영상 및 제1 R 영상에 기초하여, M 영상 중에서 제2 디스플레이 패널을 구동하기 위한 제2 M 영상을 보정하며, 제2 L 영상이 보정된 L 영상, 제2 M 영상이 보정된 M 영상 및 제2 R 영상이 보정된 R 영상에 기초하여, 디스플레이를 시분할로 구동하여, 입체 영상을 표시할 수 있다.
본 개시의 또 다른 측면에 따라 디스플레이 장치의 제어 방법이 제공된다. 제어 방법은 복수의 LF(light field) 영상에 기초하여, 제1 디스플레이 패널, 제1 디스플레이 패널 상에 배치된 렌즈 어레이 및 렌즈 어레이 상에 배치된 제2 디스플레이 패널을 포함하는 디스플레이를 시분할로 구동하기 위한 L 영상 및 R 영상을 획득하는 단계, R 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 R 영상에 기초하여 L 영상 중 제2 디스플레이 패널을 구동하기 위한 제2 L 영상을 보정하고, L 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 L 영상에 기초하여 R 영상 중 제2 디스플레이 패널을 구동하기 위한 제2 R 영상을 보정하는 단계, 및 제2 L 영상이 보정된 L 영상 및 제2 R 영상이 보정된 R 영상에 기초하여 디스플레이를 시분할로 구동하여, 입체 영상을 표시하는 단계를 포함할 수 있다.
일 예로서, 보정하는 단계는, 제1 R 영상에 기초하여 R 크로스톡 영상을 획득하고, 제1 L 영상에 기초하여 L 크로스톡 영상을 획득하는 단계, 및 R 크로스톡 영상의 픽셀 값에 기초하여 제2 L 영상을 보정하고, L 크로스톡 영상의 픽셀 값에 기초하여 제2 R 영상을 보정하는 단계를 포함할 수 있다.
일 예로서, 보정하는 단계는, 동일한 위치의 픽셀에 대해 R 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 L 영상을 보정하고, 동일한 위치의 픽셀에 대해 L 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 R 영상을 보정할 수 있다.
일 예로서, R 크로스톡 영상 및 L 크로스톡 영상을 획득하는 단계는, 제1 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 R 크로스톡 영상을 획득하고, 제1 L 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 L 크로스톡 영상을 획득할 수 있다.
일 예로서, R 크로스톡 영상 및 L 크로스톡 영상을 획득하는 단계는, 제1 R 영상 및 제2 R 영상을 합성한 제3 R 영상을 획득하고, 합성된 제3 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 R 크로스톡 영상을 획득하며, 제1 L 영상 및 제2 L 영상을 합성한 제3 L 영상을 획득하고, 합성된 제3 L 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 L 크로스톡 영상을 획득할 수 있다.
일 예로서, L 영상 및 R 영상을 획득하는 단계는, 복수의 LF 영상이 촬영된 시점에 대한 정보에 기초해, 복수의 LF 영상 중에서 좌측 시점을 나타내는 LF 영상 및 우측 시점을 나타내는 LF 영상을 추출하는 단계, 제1 및 제2 디스플레이 패널의 수에 대응되는 L 영상을 출력하도록 학습된 제1 팩토리제이션 모델에 좌측 시점을 나타내는 LF 영상을 입력하여 L 영상을 획득하는 단계, 및 제1 및 제2 디스플레이 패널의 수에 대응되는 R 영상을 출력하도록 학습된 제2 팩토리제이션 모델에 우측 시점을 나타내는 LF 영상을 입력하여 R 영상을 획득하는 단계를 포함할 수 있다.
일 예로서, 제1 팩토리제이션 모델은, 좌측 시점을 나타내는 LF 영상 및 L 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델이며, 제2 팩토리제이션 모델은, 우측 시점을 나타내는 LF 영상 및 R 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델인 것을 특징으로 할 수 있다.
일 예로서, 제1 팩토리제이션 모델 및 제2 팩토리제이션 모델 각각은, DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization) 모델 또는 NMF(Non-negative Matric factorization) 모델 중 하나인 것을 특징으로 할 수 있다.
일 예로서, 렌즈 어레이는, 제1 디스플레이 패널의 짝수 개의 서브 픽셀 상에 배치되는 단위 렌즈를 포함할 수 있다.
일 예로서, L 영상 및 R 영상을 획득하는 단계는, 복수의 LF 영상이 시점에 따라 분류된 LF 영상에 기초하여, 시점에 대응되는 L 영상, M 영상 및 R 영상을 획득할 수 있다. 여기서, 보정하는 단계는, M 영상 중 제1 디스플레이 패널을 구동하기 위한 제1 M 영상 및 제1 R 영상에 기초하여, 제2 L 영상을 보정하고, 제1 M 영상 및 제1 L 영상에 기초하여, 제2 R 영상을 보정하고, 제1 L 영상 및 제1 R 영상에 기초하여, M 영상 중에서 제2 디스플레이 패널을 구동하기 위한 제2 M 영상을 보정할 수 있다. 여기서, 입체 영상을 표시하는 단계는, 제2 L 영상이 보정된 L 영상, 제2 M 영상이 보정된 M 영상 및 제2 R 영상이 보정된 R 영상에 기초하여, 디스플레이를 시분할로 구동하여, 입체 영상을 표시할 수 있다.
이상과 같은 본 개시의 다양한 실시 예에 따르면, 시야각이 향상되면서 크로스톡이 저감될 수 있는 디스플레이 장치 및 그의 제어 방법을 제공할 수 있다.
본 개시의 다른 측면, 이점 및 두드러진 특징은 첨부된 도면과 관련하여 본 개시의 다양한 실시 예를 개시하는 다음의 상세한 설명으로부터 본 기술 분야의 통상의 지식을 가진 자에게 명백해질 것이다.
본 개시의 위의 측면, 다른 측면, 특징 그리고 특정 실시 예의 이점은 첨부 도면과 함께 다음의 설명으로부터 더욱 명백할 것이며,
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구조를 설명하기 위한 단면도이다.
도 2a는 본 개시의 일 실시 예에 따른 디스플레이 장치의 시분할 구동을 설명하기 위한 도면이다.
도 2b는 본 개시의 일 실시 예에 따른 크로스톡(Crosstalk)을 설명하기 위한 도면이다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수의 LF 영상을 이용해 보정된 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 4는 본 개시의 일 실시 예에 따른 L 영상 및 R 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 5a, 5b, 5c는 본 개시의 다양한 실시 예에 따른 L 영상 및 R 영상을 보정하는 방법을 설명하기 위한 도면이다.
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치가 보정된 L 영상 및 R 영상을 표시할 경우에 관측되는 입체 영상을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 개시의 다양한 실시 예에 따른 보정 전과 보정 후의 영상을 비교하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 팩토리제이션 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 분할된 시점의 수에 따라 팩토리제이션 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 10은 본 개시의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 블록도이다.
도 11은 본 개시의 일 실시 예에 따른 흐름도를 설명하기 위한 도면이다.
도면 전체에 걸쳐, 동일한 참조 번호는 동일하거나 유사한 요소, 특징 및 구조를 묘사하는 데 사용된다는 점에 유의해야 한다.
첨부된 도면에 관한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같이 본 개시의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 여기에는 이해를 돕기 위한 다양한 구체적인 내용이 포함되어 있지만 이는 단지 예시적인 것으로 간주되어야 합니다. 따라서, 본 기술 분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고, 본 명세서에 기재된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명확성과 간결성을 위해 잘 알려진 기능과 구성에 대한 설명은 생략할 수 있다.
다음의 설명 및 청구 범위에서 사용된 용어 및 단어는 서지적 의미에 한정되지 않으며, 본 개시의 명확하고 일관된 이해를 가능하게 하기 위하여 발명자가 사용한 것이다. 따라서, 본 개시의 다양한 실시 예에 대한 다음의 설명은 첨부된 청구 범위 및 그 균등물에 의해 정의된 본 개시를 제한하기 위한 것이 아니고, 단지 예시의 목적으로 제공된다는 것이 본 기술 분야의 통상의 지식을 가진 자에게 명백해야 한다.
단수 형태 "a", "an" 및 "the"는 문맥이 명백하게 달리 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "하나의 구성 요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함합니다.
본 개시는 이하에서 설명되는 특정한 실시 예에 대해 제한되지 않고, 본 개시의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 개시에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 상기 구성요소들을 한정하지 않는다.
본 개시에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 개시에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구조를 설명하기 위한 단면도이다.
도 1을 참조하면, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 디스플레이(110)를 포함할 수 있다. 여기서, 디스플레이 장치(100)는 TV, 모니터, 스마트폰, 휴대용 멀티미디어 장치, 휴대용 통신장치, 스마트 글래스, 스마트 윈도우, 스마트 워치, HMD(Head Mount Display), 웨어러블 장치(Wearable device), 포터블 장치(Portable device), 핸즈헬드 장치(Handheld device), 사이니지(Signage), 전광판, 광고판, 시네마 스크린, 비디오 월 등 다양한 형태로 구현될 수 있으며, 그 형태가 한정되지 않는다.
디스플레이(110)는 복수의 LF(Light Field) 영상을 이용하여 LF(Light Field)로 구현된 입체 영상을 표시할 수 있다. 복수의 LF 영상은 특정한 객체에서 나오는 빛을 서로 다른 복수의 시점(view point)에서 촬영한 영상을 말한다. 본 개시의 입체 영상은 사용자의 시점(또는 사용자의 위치)에 따라 객체의 다른 면이 사용자에게 보이도록 하는 영상을 말한다. 예를 들어, 디스플레이(110)를 바라보는 사용자가 왼쪽으로 위치를 이동할 경우 입체 영상에서 객체의 더 많은 좌측 부분이 사용자에게 보이게 될 수 있다.
디스플레이(110)는 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2)를 포함할 수 있다. 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2) 각각은 개별적인 영상을 표시하도록 구동할 수 있다.
제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2)은 적층형 구조로 배치될 수 있다. 예를 들어, 제1 디스플레이 패널(111-1)은 제1 레이어로서 제2 디스플레이 패널(111-2) 보다 하부(또는 후면 방향)에 배치되고, 제2 디스플레이 패널(111-2)은 제2 레이어로서 제1 디스플레이 패널(111-1)보다 상부(또는 전면 방향)에 배치될 수 있다. 이는 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2) 각각에서 표시되는 영상의 조합을 통해 LF(Light Field)로 구현된 입체 영상을 재현하기 위함이다.
제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2) 각각은 복수의 서브 픽셀(sub pixel)을 포함할 수 있다. 여기서, 서브 픽셀은 R 서브 픽셀(red 색상), G 서브 픽셀(green 색상) 및 B 서브 픽셀(blue 색상) 중 하나일 수 있으며, 발생된 빛 또는 입사된 빛이 방출되는 정도를 조절하는 역할을 수행할 수 있다. 서로 인접한 거리에 위치한 R 서브 픽셀, G 서브 픽셀 및 B 서브 픽셀은 하나의 픽셀(pixel)을 구성할 수 있다.
예를 들어, 도 1과 같이 제1 디스플레이 패널(111-1)은 복수의 서브 픽셀(11-1, 12-1, ... n1-1, n2-1, ...)을 포함할 수 있고, 제2 디스플레이 패널(111-1)은 복수의 서브 픽셀(11-2, 12-2, ... n1-2, n2-2, ...)을 포함할 수 있다. 본 개시는 복수의 메모리 셀을 포함할 수 있다. 제1 디스플레이 패널(111-1)의 서브 픽셀(11-1, 12-1, ... n1-1, n2-1, ...)에서 방출되는 빛은 제2 디스플레이 패널(111-2)의 서브 픽셀(11-2, 12-2, ... n1-2, n2-2, ...)을 통해 디스플레이(110)의 외부로 방출될 수 있다. 이때, 외부로 방출된 빛은 서브 픽셀(11-1, 12-1, ... n1-1, n2-1, ...)을 기준으로 일정한 각도(즉, 시야각) 내에 위치하는 사용자에게 시인될 수 있다.
한편, 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2) 각각은 다양한 방식으로 영상을 표시할 수 있다. 일 예를 들어, 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2) 각각은 액정(Liquid Crystal)의 배열을 제어함으로써 빛이 통과하는 정도(즉, 투과도)를 조절하는 LCD(Liquid Crystal Display) 패널로 구성될 수 있다. 이 경우, 디스플레이(110)는 백라이트 유닛(Back Light Unit; BLU)을 포함할 수 있다. 여기서, 백라이트 유닛은 LCD 패널의 하부(또는 후면 방향)에 배치되어, LCD 패널로 제공되는 빛을 발생시킬 수 있다. 백라이트 유닛은 빛을 발생시키는 CCFL(Cold Cathode Fluorescent. Lamp), LED(Light Emitting Diode) 등과 같은 발광부 및 발생된 빛을 디스플레이(110)에 균일하게 분포시키는 도광판을 포함할 수 있다. 다른 일 예를 들어, 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2) 각각은 전자와 정공의 재결합(recombination) 정도를 제어함으로써 빛이 발생하는 정도를 조절하는 발광 소자(예: OLED(Organic LED), Micro LED, Mini LED, QLED(Quantum dot LED) 등)를 포함하는 LED 패널로 구현될 수 있다.
본 개시의 일 실시 예에 따른 디스플레이(110)는 렌즈 어레이(115)를 포함할 수 있다. 여기서, 렌즈 어레이(115)는 서브 픽셀에서 방출되는 빛을 굴절시키며, 빛을 관측할 수 있는 시야각을 확장하는 효과가 있다.
구체적으로, 렌즈 어레이(115)는 제1 디스플레이 패널(111-1) 상에 배치될 수 있다. 그리고, 제2 디스플레이 패널(111-2)은 렌즈 어레이(115) 상에 배치될 수 있다. 즉, 렌즈 어레이(115)는 복수의 디스플레이 패널(111-1, 111-2) 중에서 상대적으로 후면에 위치한 제1 디스플레이 패널(111-1) 상에 배치될 수 있다. 이때, 복수의 서브 픽셀(11-1, 12-1, ... n1-1, n2-1, ...) 및 복수의 서브 픽셀(11-2, 12-2, ... n1-2, n2-2, ...)은 서로 대향하도록 배치될 수 있다. 복수의 서브 픽셀(11-1, 12-1, ... n1-1, n2-1, ...) 각각에서 방출되는 빛은 복수의 서브 픽셀(11-2, 12-2, ... n1-2, n2-2, ...) 중 적어도 하나를 통해 외부로 방출될 수 있다.
렌즈 어레이(115)는 복수의 단위 렌즈(115-1, ..., 115-n, ...)를 포함할 수 있다. 단위 렌즈(115-1, ..., 115-n, ...)는 빛을 굴절시켜 빛의 진행 방향을 변경시키기 위한 광학적 요소를 말한다. 이를 위해, 단위 렌즈(115-1, ..., 115-n, ...)는 반원통 형상, 반구 형상 등 다양한 형상을 가지며, 투명한 성질을 갖는 유리, 플라스틱 수지, 폴리이미드 등 다양한 소재로 구현될 수 있다.
렌즈 어레이(115)는 렌즈 어레이(115)의 각 단위 렌즈(115-1, ..., 115-n, ...)가 제1 디스플레이 패널(111-1)의 복수의 서브 픽셀(11-1, 12-1, ... n1-1, n2-1, ...) 상에 위치하도록 제1 디스플레이 패널(111-1)상에 배치될 수 있다. 즉, 하나의 단위 렌즈가 제1 디스플레이 패널(111-1)의 복수 개의 서브 픽셀을 커버하도록, 제1 디스플레이 패널(111-1) 상에 복수의 단위 렌즈가 형성될 수 있다. 일 예를 들어, 하나의 단위 렌즈(예: 115-n)는 제1 디스플레이 패널(111-1)의 짝수 개의 서브 픽셀(예: n1-1, n2-1)을 커버할 수 있다.
한편, 디스플레이(110)는 복수의 단위 영역(110-1, ..., 110-n, ...)으로 구분될 수 있다. 하나의 단위 영역을 예로 들면, n번째 단위 영역(110-n)은 제1 디스플레이 패널(111-1)의 복수의 서브 픽셀(n1-1, n2-1), 렌즈 어레이(115)의 단위 렌즈(115-n) 및 제2 디스플레이 패널(111-2)의 복수의 서브 픽셀(n1-2, n2-2)를 포함할 수 있다.
제1 디스플레이 패널(111-1)의 서브 픽셀(예: n1-1)에서 방출된 빛은 렌즈 어레이(115)의 복수의 단위 렌즈(115-1, ..., 115-n, ...) 중에서 동일한 단위 영역(예: 110-n) 내에 위치한 단위 렌즈(예: 115-n)(즉, 서브 픽셀(예: n1-1)을 커버하는 단위 렌즈(예: 115-n))에 의해 굴절될 수 있다. 이 경우, 굴절된 빛은 제1 및 제2 디스플레이 패널(111-1, 111-2) 간의 거리 및 빛의 진행 방향(또는 각도)에 따라 제2 디스플레이 패널(111-2)의 복수의 서브 픽셀(11-2, 12-2, ... n1-2, n2-2, ...)중에서 하나의 서브 픽셀(예: n2-2)을 통해 외부로 방출(또는 방사)될 수 있다. 이때, 빛의 진행 방향(또는 각도)는 단위 렌즈의 특성(예: 굴절율, 수차, 배열 등)에 따라 정해질 수 있다.
예를 들어, 제1 디스플레이 패널(111-1)의 서브 픽셀(예: n1-1)에서 방출된 빛은 단위 렌즈(예: 115-n)에 의해 굴절되며, 굴절된 빛은 제2 디스플레이 패널(111-2)의 서브 픽셀(예: n2-2)을 통해 외부로 방출될 수 있다. 이때, 외부로 방출된 빛은 우측 시야각(예: θR, 예: 0도 내지 +30도) 범위 내의 방향으로 진행될 수 있으며, 우측 시야각(예: θR)에 대응되는 우측 시야각 영역(nR)에 위치하는 사용자에게 시인될 수 있다.
이와 유사한 방식으로, 제1 디스플레이 패널(111-1)의 서브 픽셀(예: n1-2)에서 방출된 빛은 단위 렌즈(예: 115-n)에 의해 굴절되며, 굴절된 빛은 제2 디스플레이 패널(111-2)의 서브 픽셀(예: n2-2)을 통해 외부로 방출될 수 있다. 이때, 외부로 방출된 빛은 좌측 시야각(θL, 예: -30도 내지 0도) 범위 내의 방향으로 진행될 수 있으며, 좌측 시야각(θL)에 대응되는 좌측 시야각 영역(nL)에 위치한 사용자에게 시인될 수 있다.
한편, 상술한 렌즈 어레이(115)는 일 실시 예일 뿐이며, 렌즈 어레이(115) 대신 배리어 층으로 대체될 수 있다. 배리어 층은 제1 디스플레이 패널(111-1) 상에서 제1 디스플레이 패널(111-1)과 평행하게 배치될 수 있다. 배리어 층에는 일정한 간격마다 빛이 투과할 수 있는 영역 및 빛이 차단될 수 있는 영역이 교대로 형성될 수 있다. 배리어 층은 제1 디스플레이 패널(111-1)의 서브 픽셀에서 방출된 빛을 투과시켜 제2 디스플레이 패널(111-2)의 특정한 서브 픽셀로 전달하거나, 제1 디스플레이 패널(111-1)의 서브 픽셀에서 방출된 빛을 차단시켜 제2 디스플레이 패널(111-2)의 특정한 서브 픽셀로 전달되지 못하도록 하는 기능을 수행할 수 있다. 한편, 배리어 층은 제2 디스플레이 패널(111-2) 상에 제2 디스플레이 패널(111-2)과 평행하게 배치되는 등 다양한 변형 실시 예가 가능하다.
한편, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 시분할(Time-multiplexing) 구동을 통해 입체 영상을 표시할 수 있다. 이는 도 2a 및 도 2b를 참조하여 함께 설명하도록 한다.
도 2a는 본 개시의 일 실시 예에 따른 디스플레이 장치의 시분할 구동을 설명하기 위한 도면이다.
도 2a를 참조하여, 본 개시의 일 실시 예에 따른 디스플레이(110)는 시분할(Time-multiplexing) 구동을 통해 입체 영상을 표시할 수 있다.
여기서, 시분할 구동은 디스플레이(110)가 시간(time) 별로 번갈아 가며 다른 시점(view point)의 영상을 표시하는 것을 말한다. 예를 들어, 디스플레이(110)는 제1 시간(t1)에 제1 시점의 영상(예: L 영상)을 표시하고, 제1 시간(t1)으로부터 기설정된 시간(예: 5ms 등)이 경과한 제2 시간(t2)에 제2 시점의 영상(예: R 영상)을 표시할 수 있다. 또한, 디스플레이(110)는 제2 시간(t2)으로부터 기설정된 시간(예: 5ms 등)이 경과한 제3 시간(t3)에 제1 시점의 영상(예: L 영상)을 표시하며, 제3 시간(t3)으로부터 기설정된 시간(예: 5ms 등)이 경과한 제4 시간(t4)에 제2 시점의 영상(예: R 영상)을 표시할 수 있다. 즉, 디스플레이(110)에 표시되는 영상은 시간의 경과에 따라 제1 시점의 영상, 제2 시점의 영상, 제1 시점의 영상, 제2 시점의 영상, ... 등과 같이 순차적으로 반복될 수 있다.
디스플레이(110)는 시간 t1에 객체의 좌측 시점을 나타내는 L 영상을 표시할 수 있다. 이후, 디스플레이(110)는 시간 t2에 객체의 우측 시점을 나타내는 R 영상을 표시할 수 있다.
이하에서는 L 영상 및 R 영상에 대해 설명하도록 한다.
L 영상은 시간 t1에 제1 디스플레이 패널(111-1)에 표시하기 위한 제1 L 영상 및 제2 디스플레이 패널(111-2)에 표시하기 위한 제2 L 영상을 포함할 수 있다. 여기서, 제1 L 영상 및 제1 R 영상 각각은 제1 디스플레이 패널(111-1)의 픽셀 위치마다 R, G, B 색상에 대한 픽셀 값(예: 0~255 사이의 값)이 매핑될 수 있다. 한편, R 영상은 시간 t2에 제1 디스플레이 패널(111-1)에 표시하기 위한 제1 R 영상 및 제2 디스플레이 패널(111-2)에 표시하기 위한 제2 R 영상을 포함할 수 있다. 여기서, 제2 L 영상 및 제2 R 영상 각각은 제2 디스플레이 패널(111-2)의 픽셀 위치마다 R, G, B 색상에 대한 픽셀 값(예: 0~255 사이의 값)이 매핑될 수 있다.
보다 구체적으로, 시간 t1 및 시간 t2에서 디스플레이(110)의 서브 픽셀들의 시분할 구동을 단위 영역(예: 110-n)을 기준으로 설명하도록 한다. 먼저, 제1 디스플레이 패널(111-1)에 표시되는 제1 L 영상 및 제1 R 영상은 표 1과 같은 픽셀 값이 매핑될 수 있다.
제1 디스플레이 패널(111-1)의 서브 픽셀 제1 L 영상의 픽셀 값
(시간 t1)		 제1 R 영상의 픽셀 값
(시간 t2)
제1 서브 픽셀(n1-1) 블랙 (예: 0의 값) 객체의 우측 시점
(예: 0~255 사이의 값)
제2 서브 픽셀(n2-1) 객체의 좌측 시점
(예: 0~255 사이의 값)		 블랙 (예: 0의 값)
도 2a의 (1)을 참조하면, 제1 L 영상은 도 2a의 (1)과 같이 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)에 대해 블랙 색상을 나타내는 픽셀 값(예: 0)이 매핑되며, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)에 대해 좌측 시점의 객체의 색상을 나타내는 픽셀 값(예: 0~255 사이의 값)이 매핑될 수 있다. 한편, 도 2a의 (2)를 참조하면, 제1 R 영상은 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)에 객체의 우측 시점을 나타내는 픽셀 값(예: 0~255 사이의 값)이 매핑되며, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)에 블랙 색상을 나타내는 픽셀 값(예: 0)이 매핑될 수 있다. 이하에서는 디스플레이 패널(111-1, 111-2)의 동작을 설명하도록 한다.제1 디스플레이 패널(111-1)은 시간 t1에 제1 L 영상을 표시하고, 제2 디스플레이 패널(111-2)은 시간 t1에 제2 L 영상을 표시할 수 있다. 구체적으로, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)은 시간 t1에 제1 L 영상의 픽셀 값(예: 0~255 사이의 값)에 대응되는 밝기의 빛을 방출하도록 구동할 수 있다. 또한, 제2 디스플레이 패널(111-2)의 제1 서브 픽셀(예: n1-2)은 시간 t1에 제2 L 영상의 픽셀 값(예: 0~255 사이의 값)에 대응되는 밝기의 빛을 방출하도록 구동할 수 있다. 즉, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)에서 방출된 빛은 제2 디스플레이 패널(111-2)의 제1 서브 픽셀(예: n1-2)을 통해 좌측 시야각 영역(nL)으로 방출될 수 있다. 이 경우, 좌측 시야각 영역(nL)에 위치한 사용자는 제1 L 영상 및 제2 L 영상의 조합에 따른 객체의 좌측 시점을 나타내는 입체 영상을 관측할 수 있다.
여기서, 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)은 시간 t1에 제1 L 영상의 픽셀 값(예: 블랙 색상을 나타내는 값)에 따라 빛을 방출하지 않도록 구동할 수 있다. 이 경우, 우측 시야각 영역(nR)에 위치한 사용자는 제1 L 영상을 관측할 수 없다.
시간 t2의 경우, 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)은 시간 t2에 제1 R 영상의 픽셀 값(예: 0~255 사이의 값)에 대응되는 밝기의 빛을 방출하도록 구동할 수 있다. 또한, 제2 디스플레이 패널(111-2)의 제2 서브 픽셀(예: n2-2)은 시간 t2에 제2 R 영상의 픽셀 값(예: 0~255 사이의 값)에 대응되는 밝기의 빛을 방출하도록 구동할 수 있다. 즉, 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)에서 방출된 빛은 제2 디스플레이 패널(111-2)의 제2 서브 픽셀(예: n2-2)을 통해 우측 시야각 영역(예: nR)으로 방출될 수 있다. 이 경우, 우측 시야각 영역(예: nR)에 위치한 사용자는 제1 R 영상 및 제2 R 영상의 조합에 따른 객체의 우측 시점을 나타내는 입체 영상을 관측할 수 있다.
여기서, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)은 시간 t2에 제1 R 영상의 픽셀 값(예: 0의 값)에 따라 빛을 방출하지 않도록 구동할 수 있다. 이 경우, 좌측 시야각 영역(예: nL)에 위치한 사용자는 제1 R 영상을 관측할 수 없다.
이와 같이 본 개시의 디스플레이 장치(100)는 시분할 구동을 통해 시점이 좌우로 확장된 입체 영상을 표현할 수 있다.
한편, 본 개시의 일 실시 예에 따르면, 디스플레이(110)가 시분할 구동을 통해 L 영상 및 R 영상을 표시할 때 크로스톡(Crosstalk)이 발생할 수 있다. 크로스톡에 대해서는 도 2b를 참조하여 구체적으로 설명하도록 한다.
도 2b는 본 개시의 일 실시 예에 따른 크로스톡(Crosstalk)을 설명하기 위한 도면이다.
도 2a를 참조하면, 제1 디스플레이 패널(110-1)은 시간 t1에 객체의 좌측 시점을 나타내는 제1 L 영상을 표시할 수 있다. 구체적으로, 제1 디스플레이 패널(111-1)은 시간 t1에 제1 L 영상의 픽셀에 매핑된 색상의 픽셀 값에 따라, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)이 픽셀 값(예: 0~255 사이의 값)에 대응되는 밝기의 빛을 방출하도록 구동하고, 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)이 픽셀 값(예: 0의 값)에 따라 빛을 방출하지 않도록 구동할 수 있다.
여기에서, 도 2b의 (1)을 참조하면, 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)의 주변에 위치한 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)에서 방출된 빛은 단위 렌즈(예: 115-n)에 의해 굴절될 수 있다.
이때, 굴절된 빛의 일부는 제2 디스플레이 패널(111-2)의 제1 서브 픽셀(n1-2)을 통해 좌측 시야각 영역(예: nL)으로 방출될 수 있다. 또한, 굴절된 빛의 일부는 제2 디스플레이 패널(111-2)의 제2 서브 픽셀(n2-2)을 통해 우측 시야각 영역(예: nR)으로 방출될 수 있다. 즉, 시간 t1에서 객체의 좌측 시점을 나타내는 영상은 좌측 시야각 영역(예: nL)에 위치한 사용자뿐만 아니라 우측 시야각 영역(예: nR)에 위치한 사용자에게 관측될 수 있다.
또한, 디스플레이(110)는 시간 t2에 객체의 우측 시점을 나타내는 R 영상을 표시할 수 있다. 구체적으로, 제1 디스플레이 패널(111-1)은 시간 t2에 제1 R 영상의 픽셀에 매핑된 색상의 픽셀 값에 따라, 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)이 픽셀 값(예: 0~255 사이의 값)에 대응되는 밝기의 빛을 방출하도록 구동하고, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)이 픽셀 값(예: 0의 값)에 따라 빛을 방출하지 않도록 구동할 수 있다.
여기에서, 도 2b의 (2)를 참조하면, 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)의 주변에 위치한 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)에서 방출된 빛은 단위 렌즈(예: 115-n)에 의해 굴절될 수 있다.
이때, 굴절된 빛의 일부는 제2 디스플레이 패널(111-2)의 제2 서브 픽셀(n2-2)을 통해 우측 시야각 영역(예: nR)으로 방출될 수 있다. 또한, 굴절된 빛의 일부는 제2 디스플레이 패널(111-2)의 제1 서브 픽셀(n1-2)을 통해 좌측 시야각 영역(예: nL)으로 방출될 수 있다. 즉, 시간 t2에서 객체의 우측 시점을 나타내는 영상은 우측 시야각 영역(예: nR)에 위치한 사용자뿐만 아니라 좌측 시야각 영역(예: nL)에 위치한 사용자에게 관측될 수 있다.
이와 같이, 시간 t1에 제1 디스플레이 패널(111-1)의 제2 서브 픽셀(예: n2-1)에서 방출되는 빛(객체의 좌측 시점을 나타내는 영상)이 우측 시야각 영역(예: nR)으로 방출되거나, 시간 t2에 제1 디스플레이 패널(111-1)의 제1 서브 픽셀(예: n1-1)에서 방출되는 빛(객체의 우측 시점을 나타내는 영상)이 좌측 시야각 영역(예: nL)으로 방출되는 현상을 크로스톡(Crosstalk)이라고 정의할 수 있다. 즉, 크로스톡은 특정한 시간 및 특정한 영역에 의도되지 않은 타 시점(view point)의 영상을 나타내는 빛이 새어나오는 현상을 말한다. 이러한 크로스톡은 입체 영상의 왜곡 또는 아티팩트(Artifact)를 초래할 수 있다. 한편, 크로스톡이 발생할 경우에 타 시점(view point)의 영상을 크로스톡 영상이라고 정의할 수 있다.
크로스톡은 제1 디스플레이 패널(111-1)의 특성 및 렌즈 어레이(115)의 특성에 따라 발생할 수 있다. 예를 들어, 제1 디스플레이 패널(111-1)의 특성 및 렌즈 어레이(115)의 특성은 제1 디스플레이 패널(111-1)의 서브 픽셀(또는 픽셀)의 크기, 렌즈 어레이(115)의 단위 렌즈의 피치(pitch), 단위 렌즈의 수차, 단위 렌즈의 초점거리, 서브 픽셀과 단위 렌즈의 정렬 관계(예: 정렬이 일치하지 않는 경우 등) 등의 다양한 특성을 포함할 수 있다. 구체적으로, 렌즈의 수차 때문에 상이 정확히 한 점에 모이지 않는 경우, 렌즈의 초점 거리에 서브 픽셀(또는 픽셀)이 정확히 위치하지 않는 경우, 렌즈 하나에 서브 픽셀(또는 픽셀)의 정수배의 수만큼 정확히 위치하지 않는 경우 등 다양한 요소로 인해 상술한 현상이 발생할 수 있다.
크로스톡이 발생한 정도는 크로스톡 비율()을 통해 나타낼 수 있다. 예를 들어, 크로스톡 비율()은 시간 t1에서 좌측 시야각 영역(예: nL)에 표시되는 영상의 밝기 및 우측 시야각 영역(예: nR)에 표시되는 크로스톡 영상의 밝기의 비율로 정의될 수 있으며, 크로스톡 비율()은 0에서 1 사이의 값을 가질 수 있다. 또는 크로스톡 비율은 시간 t2에서 우측 시야각 영역(예: nR)에 표시되는 영상의 밝기 및 좌측 시야각 영역(예: nL)에 표시되는 크로스톡 영상의 밝기의 비율로 정의될 수 있다.
본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 크로스톡 비율()을 이용한 영상 보정을 통해 입체 영상의 왜곡 또는 아티팩트를 저감할 수 있다. 이에 대한 구체적인 내용은 첨부된 도면을 참조하여 설명하도록 한다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치가 복수의 LF 영상을 이용해 보정된 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 3을 참조하면, 디스플레이 장치(100)는 복수의 LF(light field) 영상(310)에 기초하여, 디스플레이(110)를 시분할로 구동하기 위한 L 영상(320L) 및 R 영상(320R)을 획득할 수 있다.
여기서, L 영상(320L)은 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 L 영상 및 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 영상을 포함하며, R 영상(320R)은 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 R 영상 및 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 R 영상을 포함할 수 있다. 즉, L 영상(320L)은 디스플레이 패널(111)의 수와 동일한 수의 영상을 포함하고, R 영상(320R)은 디스플레이 패널(111)의 수와 동일한 수의 영상을 포함할 수 있다. 보다 구체적인 내용은 도 4와 함께 설명하도록 한다.
그리고, 디스플레이 장치(100)는 R 영상(320R) 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 R 영상에 기초하여, L 영상(320L) 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 L 영상을 보정할 수 있다. 또한, 디스플레이 장치(100)는 L 영상(320L) 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 L 영상에 기초하여, R 영상(320R) 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 R 영상을 보정할 수 있다.
이는 크로스톡이 발생할 경우에, 원 영상에서 크로스톡 영상의 밝기를 보상하여 아티팩트를 저감시키기 위한 것이다. 본 개시에 따르면, 크로스톡 발생에 따라 외부로 새어나가는 빛을 차단하는 물리적 방식에 비해, 픽셀 단위로 빛을 차폐시킬 수 있는 별도의 구조물이 요구되지 않는다는 점에서 비용 감소, 전력 감소, 부피 및 두께의 감소, 광추출 효율 향상 등의 장점이 있다.
본 개시의 일 실시 예에 따르면, 디스플레이 장치(100)는 R 영상(320R) 중 제1 R 영상을 이용하여 R 크로스톡 영상(330R)을 획득하고, 획득된 R 크로스톡 영상(330R)을 이용하여 L 영상(320L) 중 제2 L 영상을 보정할 수 있다. 또한, 디스플레이 장치(100)는 L 영상(320L) 중 제1 L 영상을 이용하여 L 크로스톡 영상(330L)을 획득하고, 획득된 L 크로스톡 영상(330L)을 이용하여 R 영상(320R) 중 제2 R 영상을 보정할 수 있다. 보다 구체적인 내용은 도 5a 내지 5c와 함께 설명하도록 한다.
그리고, 디스플레이 장치(100)는 제2 L 영상이 보정된 L 영상(340L) 및 제2 R 영상이 보정된 R 영상(340R)에 기초하여 디스플레이(110)를 시분할로 구동하여 입체 영상을 표시할 수 있다. 이에 대해서는 도 6과 함께 구체적으로 설명하도록 한다.
도 4는 본 개시의 일 실시 예에 따른 L 영상 및 R 영상을 획득하는 방법을 설명하기 위한 도면이다.
도 4를 참조하여, 먼저 디스플레이 장치(100)는 복수의 LF(light field) 영상(410)을 획득할 수 있다. 여기서, 복수의 LF(light field) 영상(410)은 소스(source) 영상에 해당한다.
여기서, 복수의 LF 영상(410)은 LF 카메라를 통해 획득될 수 있다. LF 카메라는 객체를 서로 다른 시점(view point)(또는 위치)에서 촬영하는 복수의 단위 렌즈를 포함하는 장치를 말한다. LF 카메라는 디스플레이 장치(100)에 포함되거나, 또는 디스플레이 장치(100)와는 별도의 외부 장치로 구현될 수 있다. 한편, LF 카메라를 통해 획득된 복수의 LF 영상(410)은 디스플레이 장치(100)의 메모리 또는 외부 장치의 메모리에 저장될 수 있다. 디스플레이 장치(100)는 디스플레이 장치(100)의 메모리에 저장된 복수의 LF 영상(410)에 액세스하거나, 외부 장치로부터 복수의 LF 영상(410)을 수신하여 복수의 LF 영상(410)을 획득할 수 있다.
복수의 LF 영상(410) 각각은 촬영된 시점(view point)에 대한 정보를 포함할 수 있다. 복수의 LF 영상(410) 각각은 LF 카메라에 의해 서로 다른 시점(view point)으로 객체를 촬영하여 획득된 영상이다. 각 영상은 복수의 픽셀을 포함하고, 각 픽셀은 R, G, B 색상에 대한 픽셀 값이 매핑될 수 있다. 예를 들어, LF 카메라가 10x5의 배열 형태를 갖는 단위 렌즈로 구성된 경우, LF 카메라에 의해 촬영되어 획득되는 복수의 LF 영상(410)은 10x5의 배열 형태를 가질 수 있다. 이때, 복수의 LF 영상(410) 각각이 배열된 위치(예: (1,1), (1,2) 등)는 해당 LF 영상이 촬영된 시점(view point)을 나타낼 수 있다.
한편, 복수의 LF 영상(410)은 정지 영상이거나, 또는 동영상일 수 있다. 복수의 LF 영상(410)이 동영상인 경우에는, 복수의 LF 영상(410)에는 촬영된 시간 또는 FPS(Frame Per Second)에 대한 정보가 포함될 수 있다. FPS는 순차적인 영상을 촬영하거나 재현하는 속도를 말한다. 예를 들어, LF 카메라가 30FPS로 촬영할 경우, 1초 동안 복수의 LF 영상 1, 복수의 LF 영상 2, ..., 복수의 LF 영상 30이 순차적으로 획득될 수 있다. 이후 디스플레이(110)가 30FPS의 복수의 LF 영상을 표시할 경우, 1초 동안 복수의 LF 영상 1을 이용해 획득된 L 영상 1 및 R 영상 1, 복수의 LF 영상 2을 이용해 획득된 L 영상 2 및 R 영상 2, ..., 복수의 LF 영상 30을 이용해 획득된 L 영상 30 및 R 영상 30을 순차적으로 표시할 수 있다. 이하에서는 설명의 편의를 위해 복수의 LF 영상(410)은 LF 카메라에 의해 동일한 시간(time)에 촬영되어 획득된 영상의 세트로 가정하여 설명하도록 한다.
디스플레이 장치(100)는 복수의 LF(light field) 영상(410)에 기초하여, 디스플레이(110)를 시분할로 구동하기 위한 L 영상(420-L1) 및 R 영상(420-R2)을 획득할 수 있다. 여기서, L 영상(420-L1)은 제1 L 영상(421-L1) 및 제 2 L 영상(422-L1)을 포함하며, R 영상(410-R2)은 제1 R 영상(421-R2) 및 제2 R 영상(422-R2)을 포함할 수 있다.
구체적으로, 디스플레이 장치(100)는 복수의 LF 영상(410)을 시점(또는 배열 영역)에 따라 좌측 시점(또는 좌측의 배열 위치)을 나타내는 LF 영상(410-L) 및 우측 시점(또는 우측의 배열 위치)을 나타내는 LF 영상(410-R)으로 구분할 수 있다.
예를 들어, 복수의 LF 영상(410)이 10x5의 LF 영상인 경우, 좌측 시점을 나타내는 LF 영상(410-L)은 좌측에 위치한 5x5의 LF 영상(즉, (1,1) 내지 (5,5)의 LF 영상)이고, 우측 시점을 나타내는 LF 영상(410-R)은 우측에 위치한 5x5의 LF 영상(즉, (6,1) 내지 (10,5)의 LF 영상)일 수 있다.
그리고, 디스플레이 장치(100)는 좌측 시점을 나타내는 LF 영상(410-L)을 학습된 팩토리제이션 모델에 입력하여, 학습된 팩토리제이션 모델의 출력으로서 제 1 L 영상(421-L1) 및 제 2 L 영상(422-L1)을 포함하는 L 영상(420-L1)을 획득할 수 있다. 디스플레이 장치(100)는 우측 시점을 나타내는 LF 영상(410-R)을 학습된 팩토리제이션 모델에 입력하여, 학습된 팩토리제이션 모델의 출력으로서 제1 R 영상(421-R2) 및 제2 R 영상(422-R2)을 포함하는 R 영상(410-R2)을 획득할 수 있다.
여기서, 학습된 팩토리제이션(factorization) 모델은 복수의 LF 영상이 입력되면, 디스플레이 패널(111-1, 111-2)의 수에 대응되는 수의 영상(즉, 레이어 스택)을 획득하도록 학습된 인공지능 모델일 수 있다. 예를 들어, 학습된 팩토리제이션 모델은 디스플레이 패널(111-1, 111-2)이 2개이면 이와 동일한 2개의 영상을 획득하도록 학습된 인공지능 모델일 수 있다. 본 개시에 따른 팩토리제이션 모델은 DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization) 모델 또는 NMF(Non-negative Matric factorization) 모델 중 하나일 수 있다. 다만, 이는 일 실시 예일 뿐 팩토리제이션 모델은 다양한 인공지능 모델 중 적어도 하나로 구현될 수 있다.
또한, 본 개시의 일 실시 예에 따른 팩토리제이션 모델은 입출력되는 영상의 시점에 따라 다른 모델일 수 있다. 즉, 좌측 시점을 나타내는 LF 영상(410-L) 및 L 영상(420-L1)을 입출력 데이터로 하는 L 팩토리제이션 모델(또는 제1 팩토리제이션 모델) 및 우측 시점을 나타내는 LF 영상(410-R) 및 R 영상(420-R2)을 입출력 데이터로 하는 R 팩토리제이션 모델(또는 제2 팩토리제이션 모델)은 서로 별개의 모델이며, 각기 다른 입출력 데이터를 통해 학습된 모델일 수 있다. 팩토리제이션 모델의 학습에 대한 구체적인 내용은 도 8을 참조하여 설명하도록 한다.
도 5a 내지 5c는 본 개시의 다양한 실시 예에 따른 L 영상 및 R 영상을 보정하는 방법을 설명하기 위한 도면이다.
도 5a를 참조하면, 디스플레이 장치(100)는 R 영상(520-R2) 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 R 영상(521-R2)에 기초하여, L 영상(520-L1) 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 L 영상(522-L1)을 보정할 수 있다.
구체적으로, 디스플레이 장치(100)는 좌측 시점을 나타내는 제2 L 영상(522-L1)을 보정하기 위해, 우측 시점을 나타내는 제1 R 영상(521-R2)에 기초하여, R 크로스톡 영상(530-L2)을 획득할 수 있다. 여기서, R 크로스톡 영상(530-L2)은 시간 t2에 좌측 시야각 영역에서 크로스톡이 발생할 것으로 예상될 경우의 크로스톡 영상이거나, 시간 t2에 좌측 시야각 영역에서 크로스톡이 발생한 경우에 관측되는 크로스톡 영상일 수 있다.
일 실시 예를 들어, 디스플레이 장치(100)는 우측 시점을 나타내는 제1 R 영상(521-R2)의 각 픽셀의 픽셀 값에 대해 크로스톡 비율(예: 0에서 1 사이의 값)을 곱하여, 이들이 곱해진 픽셀 값을 갖는 R 크로스톡 영상(530-L2)을 획득할 수 있다.
이때, 크로스톡 비율은 우측(또는 좌측) 시야각 영역에서 관측되는 밝기 및 좌측(또는 우측) 시야각 영역에서 관측되는 밝기의 비율이며, 실험적으로 측정된 값일 수 있다. 예를 들어, 제1 R 영상(521-R2)의 (100, 100) 픽셀의 Red 색상에 대한 픽셀 값이 50이고, 크로스톡 비율이 0.1인 경우를 가정하면, R 크로스톡 영상(530-L2)의 (100, 100) 픽셀의 Red 색상에 대한 픽셀 값은 5 (= 50 * 0.1)가 될 수 있다.
도 5b를 참조하면, 디스플레이 장치(100)는 우측 시점을 나타내는 제1 R 영상(521-R2) 및 제2 R 영상(522-R2)를 합성하여, 합성된 R 영상(525-R2)을 획득할 수 있다. 디스플레이 장치(100)는 합성된 R 영상(525-R2)의 각 픽셀의 픽셀 값에 크로스톡 비율(예: 0에서 1 사이의 값)을 곱하여, 이들이 곱해진 픽셀 값을 갖는 R 크로스톡 영상(530-L2)을 획득할 수 있다.
여기서, 디스플레이 장치(100)는 제1 R 영상(521-R2) 및 제2 R 영상(522-R2)을 동일한 위치의 픽셀(또는 빛의 진행 경로에 있는 픽셀)끼리 픽셀 값을 곱함으로써 합성된 R 영상(525-R2)을 획득할 수 있다. 이때, 합성된 R 영상(525-R2)은 제1 R 영상(521-R2)이 제1 디스플레이 패널(111-1)에 표시되고, 제2 R 영상(522-R2)이 제2 디스플레이 패널(111-2)에 표시될 경우에 외부의 우측 시야각 영역에서 관측되는 영상을 나타낼 수 있다.
예를 들어, (50, 50) 픽셀에 대해 제1 R 영상(521-R2)의 픽셀 값이 100이고, 제2 R 영상(522-R2)의 픽셀 값이 200인 경우를 가정하면, 디스플레이 장치(100)는 (50, 50) 픽셀에 대해 제1 R 영상(521-R2)의 픽셀 값 100을 (100/255) 와 같이 정규화하고, 제2 R 영상(522-R2)의 픽셀 값 200을 (200/255) 와 같이 정규화하고, 정규화된 값에 픽셀 값의 최대 값 255를 곱하여 합성된 영상의 픽셀 값 78(= (100 / 255) * (200 / 255) * 255)을 산출할 수 있다. 이때, 소수점 자리의 수는 반올림, 버림, 올림 등 다양한 방식으로 처리될 수 있다.
또 다른 예를 들어, R 크로스톡 영상(530-L2)은 우측 시점을 나타내는 제1 R 영상(521-R2) 및 제2 R 영상(522-R2)가 표시될 경우에 밝기를 측정하는 장치에 의해 외부의 좌측 시야각 영역에서 실제로 관측되는 영상일 수 있다.
그리고, 디스플레이 장치(100)는 R 크로스톡 영상(530-L2)을 이용하여 제2 L 영상(522-L1)을 보정하고, 보정된 제2 L 영상(542-L1)을 획득할 수 있다.
도 5c를 참조하면, 디스플레이 장치(100)는 동일한 위치 및 색상의 픽셀(즉, 동일한 위치의 서브 픽셀)에 대해 제2 L 영상(522-L1)의 픽셀 값 200에서 R 크로스톡 영상(530-L2)의 픽셀 값 20을 빼는 보정을 수행하여, 동일한 위치 및 색상의 픽셀이 픽셀 값 180을 갖도록 보정된 제2 L 영상(542-L1)을 획득할 수 있다. 이 경우, 디스플레이 장치(100)는 제1 L 영상(521-L1)에 대해서는 보정을 수행하지 않을 수 있다. 즉, 제1 L 영상(521-L1)의 픽셀 값은 보정 전과 동일하게 50으로 유지될 수 있다.
한편, 디스플레이 장치(100)는 L 영상(520-L1) 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 L 영상(521-L1)에 기초하여, L 크로스톡 영상(530-R1)을 획득할 수 있다. 여기서, L 크로스톡 영상(530-R1)은 시간 t1에 우측 시야각 영역에서 크로스톡의 발생이 예상될 경우의 크로스톡 영상이거나, 실제로 크로스톡이 발생한 경우에 관측되는 크로스톡 영상일 수 있다. 그리고, 디스플레이 장치(100)는 L 크로스톡 영상(530-R1)을 이용하여 제2 R 영상(522-R2)을 보정하고, 보정된 제2 R 영상(542-R2)을 획득할 수 있다. 구체적인 내용은 상술한 내용과 중복된다는 점에서 생략하도록 한다.
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치가 보정된 L 영상 및 R 영상을 표시할 경우에 관측되는 입체 영상을 설명하기 위한 도면이다.
도 6을 참조하면, 디스플레이 장치(100)는 제2 L 영상(522-L1)이 보정된 L 영상(540-L1) 및 제2 R 영상(522-R2)이 보정된 R 영상(540-R2)에 기초하여 디스플레이(110)를 시분할로 구동하여, 디스플레이(110)에 입체 영상을 표시할 수 있다.
구체적으로, 제1 디스플레이 패널(111-1)은 시간 t1에 제1 L 영상(521-L1, 541-L1)을 표시하고, 제2 디스플레이 패널(111-2)은 시간 t1에 보정된 제2 L 영상(542-L1)을 표시할 수 있다. 그리고, 제1 디스플레이 패널(111-1)은 시간 t2에 제1 R 영상(521-R2, 541-R2)을 표시하고, 제2 디스플레이 패널(111-2)은 시간 t2에 보정된 제2 R 영상(542-R2)을 표시할 수 있다.
여기서, 좌측 시야각 영역에서 시간 t1에 제1 L 영상(521-L1, 541-L1) 및 보정된 제2 L 영상(542-L1)이 합쳐진 L 입체 영상(650-L1)이 관측되고, 좌측 시야각 영역에서 시간 t2에는 R 크로스톡 영상(630R-L2)이 관측될 수 있다. 시간 t1의 L 입체 영상(650-L1) 및 시간 t2의 R 크로스톡 영상(630R-L2)이 매우 짧은 시간 동안 순차적으로 반복 표시됨으로써, 좌측 시야각 영역에 위치한 사용자는 이들을 하나의 최종 입체 영상(660-L)으로 인지할 수 있게 된다.
한편, 우측 시야각 영역에서 시간 t2에 제1 R 영상(521-R2, 541- R2) 및 보정된 제2 R 영상(542-R2)이 합쳐진 R 입체 영상(650-R2)이 관측되고, 우측 시야각 영역에서 시간 t1에는 L 크로스톡 영상(630L-R1)이 관측될 수 있다. 시간 t2의 R 입체 영상(650-R2) 및 시간 t1의 L 크로스톡 영상(630L-R1)이 매우 짧은 시간 동안 순차적으로 반복 표시됨으로써, 우측 시야각 영역에 위치한 사용자는 이들을 하나의 최종 입체 영상(660-R)으로 인지할 수 있게 된다.
이와 같이 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 시간 t2(또는 시간 t1)에 좌측 시야각 영역(또는 우측 시야각 영역)에서 관측될 수 있는 R 크로스톡 영상(630R-L2)(또는 L 크로스톡 영상(630L-R1))의 밝기만큼 시간 t1(또는 시간 t2)에 좌측 시야각 영역(또는 우측 시야각 영역)에 표시되는 L 영상(또는 R 영상)의 밝기를 감소시키는 보정을 수행할 수 있다. 이는 디스플레이 장치(100)가 매우 짧은 시간 동안 보정된 영상 및 크로스톡 영상을 순차적으로 표시할 때, 사용자는 하나의 자연스러운 입체 영상으로 인지할 수 있기 때문에, 결과적으로 크로스톡이 발생되지 않은 경우와 같은 크로스톡 저감 효과가 있다.
도 7a 및 도 7b는 본 개시의 다양한 실시 예에 따른 보정 전과 보정 후의 영상을 비교하기 위한 도면이다.
도 7a의 표에서 행은 디스플레이 패널에서 표시되는 영상(즉, 디스플레이 패널 별 영상)을 나타내며, 열은 보정 전 좌측 시점의 L 영상(720-L1), 보정 전 우측 시점의 R 영상(720-R2), 보정 후 좌측 시점의 L 영상(740-L1) 및 보정 후 우측 시점의 R 영상(720-R2)을 나타낸다.
본 개시의 일 실시 예에 따른 제2 디스플레이 패널(111-2)에서 시간 t1에 표시되는 제2 L 영상(722-L1)은 제1 디스플레이 패널(111-1)에서 시간 t2에 표시되는 제1 R영상(721-R2)를 기초로 보정되어, 최종 제2 L 영상(742-L1)이 획득될 수 있다. 한편, 제2 디스플레이 패널(111-2)에서 시간 t2에 표시되는 제2 R 영상(722-R2)은 제1 디스플레이 패널(111-1)에서 시간 t1에 표시되는 제1 L영상(721-L1)를 기초로 보정되어, 최종 제2 R 영상(742-R2)이 획득될 수 있다. 이에 대한 구체적인 내용은 전술한 바와 중복된다는 점에서 생략하기로 한다.
이 경우, 제2 L 영상(722-L1)과 보정된 최종 제2 L 영상(742-L1)을 동일한 위치(즉, 픽셀)에 대해 비교하면, 최종 제2 L 영상(742-L1)의 밝기는 제2 L 영상(722-L1)에 비해 더 어두울 수 있다. 즉, 최종 제2 L 영상(742-L1)의 픽셀 값이 제2 L 영상(722-L1)의 픽셀 값에 비해 더 낮을 수 있다. 한편, 제2 R 영상(722-R2)과 보정된 최종 제2 R 영상(742-R2)을 동일한 위치(즉, 픽셀)에 대해 비교하면, 최종 제2 R 영상(742-R2)의 밝기는 제2 R 영상(722-R2)에 비해 더 어두울 수 있다. 즉, 최종 제2 R 영상(742-R2)의 픽셀 값이 제2 R 영상(722-R2)의 픽셀 값에 비해 더 낮을 수 있다. 이는 크로스톡 영상의 밝기(또는 픽셀 값)이 제2 L 영상 및 제2 R 영상에 반영된 결과이다.
도 7b는 보정 전의 입체 영상(770)과 보정 후의 입체 영상(780)을 나타낸 것이다.
여기서, 보정되지 않은 L 입체 영상(775-L)은 디스플레이(110)의 각 디스플레이 패널(111-1, 111-2)에 시간 t1에 보정되지 않은 L 영상이 표시되고 시간 t2에 보정되지 않은 R 영상이 표시될 경우에 외부의 좌측 시점 영역에서 중첩되어 나타나는 입체 영상이다. 또한, 보정된 L 입체 영상(785-L)은 디스플레이(110)의 각 디스플레이 패널(111-1, 111-2)에 시간 t1에 보정된 L 영상이 표시되고 시간 t2에 보정된 R 영상이 표시될 경우에 외부의 좌측 시점 영역에서 중첩되어 나타나는 입체 영상이다.
이와 유사한 방식으로, 보정되지 않은 R 입체 영상(775-R)은 디스플레이(110)의 각 디스플레이 패널(111-1, 111-2)에 시간 t1에 보정되지 않은 L 영상이 표시되고 시간 t2에 보정되지 않은 R 영상이 표시될 경우에 외부의 우측 시점 영역에서 중첩되어 나타나는 입체 영상이다. 또한, 보정된 R 입체 영상(785-R)은 디스플레이(110)의 각 디스플레이 패널(111-1, 111-2)에 시간 t1에 보정된 L 영상이 표시되고 시간 t2에 보정된 R 영상이 표시될 경우에 외부의 우측 시점 영역에서 중첩되어 나타나는 입체 영상이다.
도 7b를 참조하여 보정 전과 보정 후의 영상을 비교하면, 보정 후의 L 입체 영상(785-L)은 보정 전의 보정 되지 않은 L 입체 영상(775-L)에 비해 최대 신호 대 잡음비(Peak Signal-to-noise ratio, PSNR)가 31.7497에서 39.2026으로 증가하였으며, 보정 후의 R 입체 영상(785-R)은 보정 전의 보정 되지 않은 R 입체 영상(775-R)에 비해 최대 신호 대 잡음비가 32.2422에서 39.3431으로 증가하였음을 알 수 있다. 여기서, 최대 신호 대 잡음비는 두 영상의 화질에 대한 손실 정보를 평가하는 것을 말하며, 그 값이 클수록 영상의 손실이 적으며 영상의 화질이 좋다는 것을 의미한다. 즉, 본 개시의 일 실시 예에 따라 보정된 영상은 보정 전에 비해 최대 신호 대 잡음비가 증가하며, 이는 보정 전에 비해 손실이 적고 화질이 좋아진다는 것을 알 수 있다.
도 8은 본 개시의 일 실시 예에 따른 팩토리제이션 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 4 및 도 8을 참조하여, 먼저 L 팩토리제이션 모델(또는 제1 팩토리제이션 모델)에 대해 설명하도록 한다. 여기서, L 팩토리제이션 모델은 복수의 LF 영상(410) 중에서 좌측 시점을 나타내는 LF 영상(410-L)에서 디스플레이(110)의 디스플레이 패널(111-1, 111-2)의 수에 대응되는 L 영상(420-L1)을 출력하도록 학습되는 인공지능 모델일 수 있다. 즉, L 팩토리제이션 모델은 좌측 시점을 나타내는 LF 영상(410-L)을 입력 데이터로 하고, L 영상(420-L1) 출력 데이터로 할 수 있다.
디스플레이 장치(100)는 복수의 LF 영상(410)을 좌측 시점을 나타내는 LF 영상(410-L) 및 우측 시점을 나타내는 LF 영상(410-R)으로 구분할 수 있다.
디스플레이 장치(100)는 복수의 LF 영상(410) 중에서 좌측 시점을 나타내는 복수의 LF 영상(410-L)을 추출하여, 추출된 복수의 LF 영상(410-L)을 학습되지 않은 L 팩토리제이션 모델(또는 학습 중인 L 팩토리제이션 모델)에 입력하여 L 영상(420-L1)을 획득할 수 있다. 이때, L 영상(420-L1)은 디스플레이 패널(111-1, 111-2)의 수(예: 2개)와 동일한 수의 제1 L 영상(421-L1) 및 제2 L 영상(422-L1)을 포함할 수 있다.
그리고, 디스플레이 장치(100)는 L 영상(420-L1)에 포함된 제1 L 영상(421-L1) 및 제2 L 영상(422-L1)에 기초하여 각각 좌측 시점을 나타내는 복수의 LF 영상을 복원할 수 있다. 이때, 복원된 LF 영상은 실제 또는 가상의 시뮬레이션을 통해 제1 디스플레이 패널(111-1)이 제1 L 영상(421-L1)을 표시하고, 제2 디스플레이 패널(111-2)이 제2 L 영상(422-L1)을 표시할 때, 외부의 특정 시점에서 보이는(또는 보일 것으로 예측되는) LF 영상일 수 있다.
여기서, 시점(view point) 별로 각 디스플레이 패널(111-1, 111-2)에서 표시되는 영상의 시프팅 파라미터가 매핑되어 있을 수 있다. 예를 들어, 디스플레이 패널(111-1, 111-2)이 2개인 경우를 가정하면, 각 시점에 대해 제1 디스플레이 패널(111-1)에 표시되는 영상의 시프팅 파라미터 및 제2 디스플레이 패널(111-2)에 표시되는 영상의 시프팅 파라미터가 매핑될 수 있으며, 예를 들어, 좌하측 시점은 (0, 0), 중간 시점 (Cx, Cy), 우상측 시점은 (2Cx, 2Cy) 등과 같은 방식으로 시프팅 파라미터가 매핑될 수 있다. 다만, 이는 일 실시 예일 뿐, 다양한 변형이 가능하다 할 것이다.
이 경우, 시점에 따른 시프팅 파라미터를 제1 L 영상(421-L1)에 적용하고, 제2 L 영상(422-L1)에 적용하여 LF 영상을 복원할 수 있다. 즉, 특정한 시점에 대해 제1 L 영상(421-L1)에 매핑된 시프팅 파라미터를 적용해 제1 L 영상(421-L1)의 위치를 조정하고, 제2 L 영상(422-L1)에 매핑된 시프팅 파라미터를 적용해 제2 L 영상(422-L1)의 위치를 조정하여, 조정된 위치가 서로 동일한 위치의 픽셀끼리 픽셀 값을 곱할 수 있다. 이때, 정규화를 함께 할 수 있다. 이러한 과정을 통해 디스플레이 장치(100)는 해당 시점의 LF 영상을 복원할 수 있다.
여기에서, 학습된 제1 팩토리제이션 모델은 L 영상(420-L1)을 통해 복원된 LF 영상 및 좌측 시점을 나타내는 LF 영상(410-L)에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습될 수 있다. 여기서, 손실함수(loss fuction)란 팩토리제이션 모델의 현재 학습 상태(또는 현재 성능)를 나타내는 지표이며, 손실함수를 바탕으로 팩토리제이션을 수행하기 위한 모델을 학습시킬 수 있다.
구체적으로, 디스플레이 장치(100)는 소스 영상으로 입력된 좌측 시점을 나타내는 복수의 LF 영상(410-L)과 좌측 시점을 나타내는 복원된 복수의 LF 영상을 비교하여 손실함수(loss fuction)를 획득할 수 있다. 예를 들어, 손실함수를 획득하는 방법은, 평균 제곱의 오차를 이용하여 손실함수를 계산하는 Mean squared error 방법, 영상에 대한 화질을 측정하여 손실함수를 계산하는 SSIM(structural similarity index) 방법, 최소절대편차(least absolute deviations) 또는 최소절대오차(least absolute errors)를 이용하여 손실함수를 계산하는 L1 norm 방법 및 최소제곱오차(least squares errors)를 이용하여 손실함수를 계산하는 L2 norm 방법 등이 있다. 다만, 이에 한정되지 않고, 상술한 방법을 조합하여 이용하거나, 다른 방법에 의해서도 손실함수가 획득될 수 있다.
그리고, L 팩토리제이션 모델은 손실함수가 기설정된 값 이하가 될 때까지 학습될 수 있으며, 학습에 따라 L 팩토리제이션 모델의 가중치(또는 파라미터)는 그 값이 조정되어 업데이트될 수 있다. 즉, L 팩토리제이션 모델은 손실함수가 감소하는 방향으로 학습될 수 있다.
한편, 본 개시의 일 실시 예에 따른 팩토리제이션 모델은 복원된 복수의 LF 영상에 다른 시점의 크로스톡 영상을 합성한 복수의 LF 영상에 기초하여 학습될 수 있다. 예를 들어, L 팩토리제이션 모델의 경우, 좌측 시점을 나타내는 복원된 복수의 LF 영상에 우측 시점을 나타내는 크로스톡 영상을 합성하여, 합성된 복수의 LF 영상과 좌측 시점을 나타내는 복수의 LF 영상(410-L)을 비교하여 손실함수를 획득하고, 손실함수가 감소하는 방향으로 L 팩토리제이션 모델이 학습될 수 있다.
한편, 우측 시점을 나타내는 LF 영상(410-R) 및 R 영상(420-R2)을 입출력 데이터로 하는 R 팩토리제이션 모델의 경우에도 상술한 내용과 유사한 방식으로 학습될 수 있다. 즉, 디스플레이 장치(100)는 소스 영상으로 입력된 우측 시점을 나타내는 복수의 LF 영상(410-R)과 우측 시점을 나타내는 복원된 복수의 LF 영상을 비교하여 손실함수(loss fuction)를 획득하고, R 팩토리제이션 모델은 손실함수가 감소하는 방향으로 학습될 수 있다. 즉, R 팩토리제이션 모델의 가중치(또는 파라미터)는 손실함수를 바탕으로 업데이트될 수 있다.
이 경우에도 팩토리제이션 모델은 복원된 복수의 LF 영상에 다른 시점의 크로스톡 영상을 합성한 복수의 LF 영상에 기초하여 학습될 수 있다. 즉, 우측 시점을 나타내는 복원된 복수의 LF 영상에 좌측 시점을 나타내는 크로스톡 영상을 합성하여, 합성된 복수의 LF 영상과 우측 시점을 나타내는 복수의 LF 영상(410-R)을 비교하여 손실함수를 획득하고, 손실함수가 감소하는 방향으로 R 팩토리제이션 모델이 학습될 수 있다.
한편, 상술한 예에서는 디스플레이 장치(100)가 2개의 L 영상 및 R 영상을 번갈아가며 시분할 구동을 수행하였으나, 이는 일 실시 예일 뿐 다양한 시점으로 분류된 영상을 번갈아 가며 시분할 구동을 수행할 수 있다.
일 실시 예로서, 디스플레이 장치(100)는 복수의 LF 영상이 시점에 따라 분류된 LF 영상에 기초하여, 시점에 대응되는 L 영상, M 영상 및 R 영상을 획득할 수 있다. 복수의 LF 영상에서 각 시점에 대응되는 팩토리제이션 모델을 통해 L 영상, M 영상 및 R 영상을 획득할 수 있다. 여기서, 팩토리제이션 모델의 학습에 대해서는 도 9를 참조하여 설명하도록 한다.
여기서, L 영상은 좌측 시야각 영역(예: -30도 내지 -10도)에서 관측될 수 있는 좌측 시점을 나타내는 영상이며, M 영상은 중간 시야각 영역(예: -10도 내지 10도)에서 관측될 수 있는 중간 시점을 나타내는 영상이며, R 영상은 우측 시야각 영역(예: +10도 내지 +30도)에서 관측될 수 있는 우측 시점을 나타내는 영상일 수 있다. M 영상은 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 M 영상 및 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 M 영상을 포함할 수 있다. 여기서, M 영상의 경우 인접한 L 영상 및 R 영상에 의해 크로스톡이 발생할 수 있으며, 본 개시의 디스플레이 장치(100)는 이러한 크로스톡을 저감시키기 위해 다음과 같은 동작을 수행할 수 있다.
디스플레이 장치(100)는 제1 M 영상 및 제1 R 영상에 기초하여, 제2 L 영상을 보정할 수 있다.
구체적으로, 디스플레이 장치(100)는 제1 M 영상(또는 제1 M 영상 및 제2 M 영상이 합성된 영상)의 픽셀 값에 크로스톡 비율을 곱해 M 크로스톡 영상을 획득하며, 제1 R 영상(또는 제1 R 영상 및 제2 R 영상이 합성된 영상)의 픽셀 값에 크로스톡 비율을 곱해 R 크로스톡 영상을 획득할 수 있다. 그리고, 디스플레이 장치(100)는 R 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 L 영상을 보정할 수 있다.
또한, 디스플레이 장치(100)는 제1 M 영상 및 제1 L 영상에 기초하여, 제2 R 영상을 보정할 수 있다. 디스플레이 장치(100)는 제1 L 영상 및 제1 R 영상에 기초하여, 제2 M 영상을 보정할 수 있다. 구체적인 내용은 상술한 제2 L 영상을 보정하는 방법과 중복된다는 점에서 생략하기로 한다.
그리고, 디스플레이 장치(100)는 제2 L 영상이 보정된 L 영상, 제2 M 영상이 보정된 M 영상 및 제2 R 영상이 보정된 R 영상에 기초하여, 디스플레이(110)를 시분할로 구동하여, 입체 영상을 표시할 수 있다.
예를 들어, 디스플레이 장치(100)는 시간 t1에 보정된 L 영상을 표시하도록 디스플레이(110)를 구동하고, 시간 t2에 보정된 M 영상을 표시하도록 디스플레이(110)를 구동하고, 시간 t3에 보정된 R 영상을 표시하도록 디스플레이(110)를 구동할 수 있다. 즉, 디스플레이 장치(100)는 시간 t1, t2, t3, t1, t2, ... 와 같이 시간에 따라 각 영상을 번갈아 가며 표시할 수 있다.
이와 같이, 본 개시의 디스플레이 장치(100)는 서로 인접한 영역에서 발생하는 크로스톡 영상의 밝기를 보상하여 시분할 구동한다는 점에서 크로스톡이 발생하지 않은 경우와 유사한 크로스톡 저감 효과가 있다.
도 9는 본 개시의 일 실시 예에 따른 분할된 시점의 수에 따라 팩토리제이션 모델을 학습하는 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 복수의 LF 영상은 시점에 따라 좌측 시점, 중간 시점, 우측 시점으로 분류될 수 있다. 이하에서는, 중간 시점에 대응되는 M 팩토리제이션 모델을 학습하는 방법에 대해 설명하도록 한다.
디스플레이 장치(100)는 디스플레이(110)의 디스플레이 패널(111-1, 111-2)의 수에 대응되는 L 영상(420-L1)을 출력하도록 학습되는 M 팩토리제이션 모델에 중간 시점의 LF 영상을 입력하여, 그 출력으로서 M 영상을 획득할 수 있다. 이때, M 영상은 디스플레이 패널(111-1, 111-2)의 수와 동일한 수의 제1 M 영상 및 제2 M 영상을 포함할 수 있다.
그리고, 디스플레이 장치(100)는 M 영상에 포함된 제1 M 영상 및 제2 M 영상에 기초하여 중간 시점을 나타내는 복수의 LF 영상을 복원할 수 있다. 이때, 복원된 LF 영상은 실제 또는 가상의 시뮬레이션을 통해 제1 디스플레이 패널(111-1)이 제1 M 영상을 표시하고, 제2 디스플레이 패널(111-2)이 제2 M 영상을 표시할 때, 외부의 특정 시점에서 보이는(또는 보일 것으로 예측되는) LF 영상일 수 있다.
디스플레이 장치(100)는 M 영상을 통해 복원된 LF 영상, L 크로스톡 영상 및 R 크로스톡 영상을 합성한 영상을 획득할 수 있다. 여기서, L 크로스톡 영상의 경우, 전술한 바와 같이, 복수의 LF 영상 중에서 좌측 시점을 나타내는 LF 영상을 L 팩토리제이션 모델에 입력할 경우에 출력되는 L 영상에 크로스톡 비율을 곱해 획득되는 영상일 수 있다. 또한, R 크로스톡 영상의 경우, 복수의 LF 영상 중에서 우측 시점을 나타내는 LF 영상을 R 팩토리제이션 모델에 입력할 경우에 출력되는 R 영상에 크로스톡 비율을 곱해 획득되는 영상일 수 있다. 합성된 영상은 동일한 위치의 픽셀에 대해 각 영상의 픽셀 값을 합한 영상일 수 있다.
또한, 제1 팩토리제이션 모델은 합성된 영상 및 중간 시점을 나타내는 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습될 수 있다. 한편, 다른 시점에 대응되는 L 및 R 팩토리제이션 모델은 이와 동일한 방식이 적용될 수 있다는 점에서 중복되는 내용은 생략하기로 한다.
도 10은 본 개시의 일 실시 예에 따른 디스플레이 장치를 설명하기 위한 블록도이다.
도 10을 참조하면, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)는 디스플레이(110) 및 프로세서(120)를 포함할 수 있다.
디스플레이(110)는 복수의 디스플레이 패널(111-1, 111-2)을 포함할 수 있다. 여기서, 복수의 디스플레이 패널(111-1, 111-2)은 서로 평행하도록 배치되어, 표면에 수직하는 방향으로 적층되는 구조를 가질 수 있다. 복수의 디스플레이 패널(111-1, 111-2) 각각은 복수의 픽셀을 포함할 수 있다. 각 픽셀은 복수의 서브 픽셀을 포함하며, 각 서브 픽셀은 구동회로에 의해 빛이 방출되는 정도가 조절될 수 있다.
디스플레이(110)는 렌즈 어레이(115)를 포함할 수 있다. 렌즈 어레이(115)는 복수의 디스플레이 패널(111-1, 111-2) 사이에 배치될 수 있다. 예를 들어, 렌즈 어레이(115)는 제1 디스플레이 패널(111-1) 상에 배치될 수 있다. 렌즈 어레이(115)는 복수의 단위 렌즈를 포함하며, 각 단위 렌즈는 제1 디스플레이 패널(111-1)의 서브 픽셀(또는 픽셀)을 통해 방출되는 빛을 굴절시켜 빛이 진행하는 방향을 변경시킬 수 있다. 한편, 복수의 디스플레이 패널의 수는 다양하게 변형될 수 있으며, 이 경우, 복수의 디스플레이 패널은 상술한 바와 같이 적층되는 구조로 배치될 수 있다. 예를 들어, 복수의 디스플레이 패널은 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2), ..., 및 제n 디스플레이 패널을 포함할 수 있다(n은 3 이상의 자연수). 이 경우, 렌즈 어레이(115)는 제1 디스플레이 패널(111-1) 및 제2 디스플리에 패널(111-2) 사이에 배치될 수 있다. 이와 다른 실시 예로서, 렌즈 어레이(115)는 제2 디스플레이 패널(111-2) 및 제3 디스플레이 패널 사이에 배치될 수 있다. 이와 같은 방식으로 제n-1 디스플레이 패널 및 제n 디스플레이 패널 사이에 배치될 수 있다(n은 4 이상의 자연수).
프로세서(120)는 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는 CPU(Central Processing Unit), AP(Application Processor) 등과 같은 범용 프로세서, GPU(Graphic Processing Unit), VPU(Vision Processing Unit) 등과 같은 그래픽 전용 프로세서, NPU(Neural Processing Unit)와 같은 인공지능 전용 프로세서 등으로 구현될 수 있다. 또한, 프로세서(120)는 적어도 하나의 인스트럭션 또는 모듈을 로드하기 위한 휘발성 메모리를 포함할 수 있다. 프로세서(120)는 RAM(미도시), ROM(미도시), 그래픽 처리부(미도시), 메인 CPU(미도시), 제1 내지 n 인터페이스(미도시), 버스(미도시)를 포함할 수 있다. 이때, RAM(미도시), ROM(미도시), 그래픽 처리부(미도시), 메인 CPU(미도시), 제1 내지 n 인터페이스(미도시) 등은 버스(미도시)를 통해 서로 연결될 수 있다.
프로세서(120)는 상술한 디스플레이 장치(100)의 동작을 제어할 수 있다.
구체적으로, 프로세서(120)는 복수의 LF(light field) 영상(310)에 기초하여, 디스플레이(110)를 시분할로 구동하기 위한 L 영상(320L) 및 R 영상(320R)을 획득할 수 있다. 그리고, 프로세서(120)는 R 영상(320R) 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 R 영상에 기초하여, L 영상(320L) 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 L 영상을 보정할 수 있다. 또한, 디스플레이 장치(100)는 L 영상(320L) 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 L 영상에 기초하여, R 영상(320R) 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 R 영상을 보정할 수 있다. 프로세서(120)는 제2 L 영상이 보정된 L 영상(340L) 및 제2 R 영상이 보정된 R 영상(340R)에 기초하여 디스플레이(110)를 시분할로 구동하여 입체 영상을 표시할 수 있다.
이와 같이, 프로세서(120)는 상술한 디스플레이 장치(100) 또는 디스플레이 장치(100)가 포함하는 다른 구성의 동작을 제어할 수 있으며, 구체적인 내용은 중복된다는 점에서 생략하기로 한다.
한편, 디스플레이 장치(100)는 메모리, 통신부, 입력 인터페이스 등의 다양한 구성 중 적어도 하나를 더 포함할 수 있다.
메모리는 다양한 정보를 저장할 수 있다. 예를 들어, 메모리에는 디스플레이 장치(100) 또는 프로세서(120)의 동작에 필요한 각종 명령어(instruction), OS(Operational System), 응용프로그램 또는 데이터가 저장될 수 있다. 이를 위해, 메모리는 S-RAM(Static Random Access Memory), D-RAM(Dynamic Random Access Memory) 등의 휘발성 메모리와, Flash Memory, ROM(Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electrically Erasable Programmable Read Only Memory) 등의 비휘발성 메모리, 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리는 프로세서(120)에 의해 액세스되며, 프로세서(120)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
통신부는 외부 장치와 통신을 수행하여 외부 장치와 데이터를 주거나 받을 수 있다. 예를 들어, 통신부는, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication) 등의 다양한 방식 중 적어도 하나의 무선 통신을 수행할 수 있다. 또한, 통신부는 USB(universal serial bus), HDMI(high definition multimedia interface), DVI(Digital Visual Interface), 썬더볼트, 이더넷, USB 포트, 라이트닝 등의 다양한 방식 중 적어도 하나의 유선 통신을 수행할 수 있다.
입력 인터페이스는 사용자로부터 다양한 방식의 사용자 명령(command)을 수신할 수 있다. 입력 인터페이스는 수신된 사용자 명령을 프로세서(120)로 전달할 수 있다. 이를 위해, 입력 인터페이스는 예를 들면, 터치 패널 또는 키를 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있으며, 이를 위한 제어 회로를 포함할 수 있다. 터치 패널은 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. 키는 예를 들면, 물리적인 버튼 방식, 광학 방식 또는 터치 패널과 결합된 가상의 키패드 방식을 통해 구현될 수 있다.
도 11은 본 개시의 일 실시 예에 따른 흐름도를 설명하기 위한 도면이다.
도 11을 참조하여, 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 제어 방법은 복수의 LF(light field) 영상에 기초하여, 디스플레이 장치(100)의 디스플레이(110)를 시분할로 구동하기 위한 L 영상 및 R 영상을 획득할 수 있다(S1110).
여기서, 디스플레이(110)는 제1 디스플레이 패널(111-1), 제1 디스플레이 패널(111-1) 상에 배치된 렌즈 어레이(115) 및 렌즈 어레이(115) 상에 배치된 제2 디스플레이 패널(111-2)을 포함할 수 있다. 제1 디스플레이 패널(111-1) 및 제2 디스플레이 패널(111-2)은 각각 복수의 픽셀을 포함하며, 각 픽셀은 복수의 서브 픽셀을 포함할 수 있다.
일 실시 예로서, 렌즈 어레이(115)는 복수의 단위 렌즈를 포함할 수 있다. 여기서, 각 단위 렌즈는 제1 디스플레이 패널(111-1)의 짝수 개의 서브 픽셀 상에 배치될 수 있다.
이 경우, L 영상은 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 L 영상 및 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 L 영상을 포함할 수 있다. R 영상은 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 R 영상 및 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 R 영상을 포함할 수 있다.
구체적인 일 실시 예로서, 복수의 LF 영상이 촬영된 시점에 대한 정보에 기초해, 복수의 LF 영상 중에서 좌측 시점을 나타내는 LF 영상을 추출할 수 있다. 그리고, 디스플레이(110)의 디스플레이 패널(111-1, 111-2)의 수에 대응되는 L 영상을 출력하도록 학습된 제1 팩토리제이션 모델에 좌측 시점을 나타내는 추출된 LF 영상을 입력하여 L 영상을 획득할 수 있다.
한편, 복수의 LF 영상이 촬영된 시점에 대한 정보에 기초해, 복수의 LF 영상 중에서 우측 시점을 나타내는 LF 영상을 추출할 수 있다. 그리고, 디스플레이(110)의 디스플레이 패널(111-1, 111-2)의 수에 대응되는 R 영상을 출력하도록 학습된 제2 팩토리제이션 모델에 우측 시점을 나타내는 추출된 LF 영상을 입력하여 R 영상을 획득할 수 있다.
여기서, 제1 팩토리제이션 모델은 좌측 시점을 나타내는 LF 영상 및 L 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델일 수 있다. 또한, 제2 팩토리제이션 모델은 우측 시점을 나타내는 LF 영상 및 R 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델일 수 있다.
제1 팩토리제이션 모델 및 제2 팩토리제이션 모델 각각은 DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization) 모델 또는 NMF(Non-negative Matric factorization) 모델 중 하나일 수 있다.
그리고, R 영상 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 R 영상에 기초하여 L 영상 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 L 영상을 보정할 수 있다. 또한, L 영상 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 L 영상에 기초하여 R 영상 중 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 R 영상을 보정할 수 있다(S1120).
구체적으로, 제1 R 영상에 기초하여 R 크로스톡 영상을 획득할 수 있다. 또한, 제1 L 영상에 기초하여 L 크로스톡 영상을 획득할 수 있다.
일 실시 예로서, 제1 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 R 크로스톡 영상을 획득할 수 있다. 또한, 제1 L 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 L 크로스톡 영상을 획득할 수 있다.
다른 일 실시 예로서, 제1 R 영상 및 제2 R 영상을 합성한 R 영상(제3 R 영상)을 획득하고, 합성된 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 R 크로스톡 영상을 획득할 수 있다. 또한, 제1 L 영상 및 제2 L 영상을 합성한 L 영상(제3 L 영상)을 획득하고, 합성된 L 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 L 크로스톡 영상을 획득할 수 있다. 일 예로서, 2개의 영상의 픽셀 값을 최대 픽셀 값(예: 255)으로 나누는 정규화를 수행한 후, 동일한 위치의 픽셀끼리 정규화된 값을 곱하고, 곱해진 값에 최대 픽셀 값을 곱하여 산출된 값을 픽셀 값으로 하는 방식으로 합성된 영상이 획득될 수 있다. 다만, 이는 일 실시 예일 뿐 다양한 방식으로 합성된 영상을 획득할 수 있다.
이 경우, R 크로스톡 영상의 픽셀 값에 기초하여 제2 L 영상을 보정할 수 있다. 또한, L 크로스톡 영상의 픽셀 값에 기초하여 제2 R 영상을 보정할 수 있다. 구체적으로, 동일한 위치의 픽셀에 대해 R 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 L 영상을 보정할 수 있다. 또한, 동일한 위치의 픽셀에 대해 L 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 제2 R 영상을 보정할 수 있다.
그리고, 제2 L 영상이 보정된 L 영상 및 제2 R 영상이 보정된 R 영상에 기초하여 디스플레이(110)를 시분할로 구동하여 입체 영상을 표시할 수 있다(S1130).
구체적으로, 시간 t1에서 제1 디스플레이 패널(111-1)은 제1 L 영상을 표시하고, 제2 디스플레이 패널(111-2)은 제1 R 영상에 기초하여 보정된 제2 L 영상을 표시할 수 있다. 또한, 시간 t2에서 제1 디스플레이 패널(111-1)은 제1 R 영상을 표시하고, 제2 디스플레이 패널(111-2)은 제1 L 영상에 기초하여 보정된 제2 R 영상을 표시할 수 있다. 여기서 시간 t1에서 시간 t2 사이의 간격은 매우 짧은 시간일 수 있다. 예를 들어, 시간 t1에서 시간 t2 사이의 간격은 1ms 이상 30ms 이하의 범위 내 값일 수 있다.
일 예로서, L 영상 및 R 영상을 획득하는 단계는, 복수의 LF 영상이 시점에 따라 분류된 LF 영상에 기초하여, 시점에 대응되는 L 영상, M 영상 및 R 영상을 획득할 수 있다. 여기서, 보정하는 단계는, M 영상 중 제1 디스플레이 패널(111-1)을 구동하기 위한 제1 M 영상 및 제1 R 영상에 기초하여, 제2 L 영상을 보정하고, 제1 M 영상 및 제1 L 영상에 기초하여, 제2 R 영상을 보정하고, 제1 L 영상 및 제1 R 영상에 기초하여, M 영상 중에서 제2 디스플레이 패널(111-2)을 구동하기 위한 제2 M 영상을 보정할 수 있다. 여기서, 입체 영상을 표시하는 단계는, 제2 L 영상이 보정된 L 영상, 제2 M 영상이 보정된 M 영상 및 제2 R 영상이 보정된 R 영상에 기초하여, 디스플레이를 시분할로 구동하여, 입체 영상을 표시할 수 있다.
본 개시의 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 디스플레이 장치(100))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어 하에 다른 구성요소들을 이용하여 상기 명령에 상기하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 상기 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 상기 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
본 개시는 다양한 실시 예를 참조하여 도시되고 설명되었지만, 첨부된 청구 범위 및 그 등가물에 의해 정의된 본 개시의 사상 및 범위를 벗어나지 않고, 형태 및 세부 사항의 다양한 변경이 이루어질 수 있다는 것이 본 기술 분야의 통상의 기술자에 의해 이해될 것이다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    제1 디스플레이 패널, 상기 제1 디스플레이 패널 상에 배치된 렌즈 어레이 및 상기 렌즈 어레이 상에 배치된 제2 디스플레이 패널을 포함하는 디스플레이; 및
    복수의 LF(light field) 영상에 기초하여, 상기 디스플레이를 시분할로 구동하기 위한 L 영상 및 R 영상을 획득하고,
    상기 R 영상 중 상기 제1 디스플레이 패널을 구동하기 위한 제1 R 영상에 기초하여 상기 L 영상 중 상기 제2 디스플레이 패널을 구동하기 위한 제2 L 영상을 보정하고, 상기 L 영상 중 상기 제1 디스플레이 패널을 구동하기 위한 제1 L 영상에 기초하여 상기 R 영상 중 상기 제2 디스플레이 패널을 구동하기 위한 제2 R 영상을 보정하고,
    상기 제2 L 영상이 보정된 상기 L 영상 및 상기 제2 R 영상이 보정된 상기 R 영상에 기초하여 상기 디스플레이를 시분할로 구동하여, 입체 영상을 표시하는 프로세서;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제1 R 영상에 기초하여 R 크로스톡 영상을 획득하고, 상기 제1 L 영상에 기초하여 L 크로스톡 영상을 획득하며,
    상기 R 크로스톡 영상의 픽셀 값에 기초하여 상기 제2 L 영상을 보정하고, 상기 L 크로스톡 영상의 픽셀 값에 기초하여 상기 제2 R 영상을 보정하는, 디스플레이 장치.
  3. 제2항에 있어서,
    상기 프로세서는,
    동일한 위치의 픽셀에 대해 상기 R 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 상기 제2 L 영상을 보정하고, 동일한 위치의 픽셀에 대해 상기 L 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 상기 제2 R 영상을 보정하는, 디스플레이 장치.
  4. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 R 크로스톡 영상을 획득하고, 상기 제1 L 영상의 픽셀 값에 상기 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 L 크로스톡 영상을 획득하는, 디스플레이 장치.
  5. 제2항에 있어서,
    상기 프로세서는,
    상기 제1 R 영상 및 상기 제2 R 영상을 합성한 제3 R 영상을 획득하고, 상기 합성된 제3 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 R 크로스톡 영상을 획득하며,
    상기 제1 L 영상 및 상기 제2 L 영상을 합성한 제3 L 영상을 획득하고, 상기 합성된 제3 L 영상의 픽셀 값에 상기 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 L 크로스톡 영상을 획득하는, 디스플레이 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 LF 영상이 촬영된 시점에 대한 정보에 기초해, 상기 복수의 LF 영상 중에서 좌측 시점을 나타내는 LF 영상 및 우측 시점을 나타내는 LF 영상을 추출하고,
    상기 제1 및 제2 디스플레이 패널의 수에 대응되는 상기 L 영상을 출력하도록 학습된 제1 팩토리제이션 모델에 상기 좌측 시점을 나타내는 LF 영상을 입력하여 상기 L 영상을 획득하며,
    상기 제1 및 제2 디스플레이 패널의 수에 대응되는 상기 R 영상을 출력하도록 학습된 제2 팩토리제이션 모델에 상기 우측 시점을 나타내는 LF 영상을 입력하여 상기 R 영상을 획득하는, 디스플레이 장치.
  7. 제6항에 있어서,
    상기 제1 팩토리제이션 모델은,
    좌측 시점을 나타내는 LF 영상 및 L 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델이며,
    상기 제2 팩토리제이션 모델은,
    우측 시점을 나타내는 LF 영상 및 R 영상을 통해 복원된 LF 영상에 기초한 손실함수가 기설정된 값 이하가 될 때까지 학습된 인공지능 모델인 것을 특징으로 하는, 디스플레이 장치.
  8. 제6항에 있어서,
    상기 제1 팩토리제이션 모델 및 상기 제2 팩토리제이션 모델 각각은,
    DNN(Deep Neural Network) 모델, NTF(Non-negative tensor factorization) 모델 또는 NMF(Non-negative Matric factorization) 모델 중 하나인 것을 특징으로 하는, 디스플레이 장치.
  9. 제1항에 있어서,
    상기 렌즈 어레이는,
    상기 제1 디스플레이 패널의 짝수 개의 서브 픽셀 상에 배치되는 단위 렌즈를 포함하는, 디스플레이 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    상기 복수의 LF 영상이 시점에 따라 분류된 LF 영상에 기초하여, 상기 시점에 대응되는 상기 L 영상, M 영상 및 상기 R 영상을 획득하고,
    상기 M 영상 중 상기 제1 디스플레이 패널을 구동하기 위한 제1 M 영상 및 상기 제1 R 영상에 기초하여, 상기 제2 L 영상을 보정하고,
    상기 제1 M 영상 및 상기 제1 L 영상에 기초하여, 상기 제2 R 영상을 보정하고,
    상기 제1 L 영상 및 제1 R 영상에 기초하여, 상기 M 영상 중에서 상기 제2 디스플레이 패널을 구동하기 위한 제2 M 영상을 보정하며,
    상기 제2 L 영상이 보정된 상기 L 영상, 상기 제2 M 영상이 보정된 상기 M 영상 및 상기 제2 R 영상이 보정된 상기 R 영상에 기초하여, 상기 디스플레이를 시분할로 구동하여, 상기 입체 영상을 표시하는, 디스플레이 장치.
  11. 디스플레이 장치의 제어 방법에 있어서,
    복수의 LF(light field) 영상에 기초하여, 제1 디스플레이 패널, 상기 제1 디스플레이 패널 상에 배치된 렌즈 어레이 및 상기 렌즈 어레이 상에 배치된 제2 디스플레이 패널을 포함하는 디스플레이를 시분할로 구동하기 위한 L 영상 및 R 영상을 획득하는 단계;
    상기 R 영상 중 상기 제1 디스플레이 패널을 구동하기 위한 제1 R 영상에 기초하여 상기 L 영상 중 상기 제2 디스플레이 패널을 구동하기 위한 제2 L 영상을 보정하고, 상기 L 영상 중 상기 제1 디스플레이 패널을 구동하기 위한 제1 L 영상에 기초하여 상기 R 영상 중 상기 제2 디스플레이 패널을 구동하기 위한 제2 R 영상을 보정하는 단계; 및
    상기 제2 L 영상이 보정된 상기 L 영상 및 상기 제2 R 영상이 보정된 상기 R 영상에 기초하여 상기 디스플레이를 시분할로 구동하여, 입체 영상을 표시하는 단계;를 포함하는 제어 방법.
  12. 제11항에 있어서,
    상기 보정하는 단계는,
    상기 제1 R 영상에 기초하여 R 크로스톡 영상을 획득하고, 상기 제1 L 영상에 기초하여 L 크로스톡 영상을 획득하는 단계; 및
    상기 R 크로스톡 영상의 픽셀 값에 기초하여 상기 제2 L 영상을 보정하고, 상기 L 크로스톡 영상의 픽셀 값에 기초하여 상기 제2 R 영상을 보정하는 단계;를 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 보정하는 단계는,
    동일한 위치의 픽셀에 대해 상기 R 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 상기 제2 L 영상을 보정하고, 동일한 위치의 픽셀에 대해 상기 L 크로스톡 영상의 픽셀 값만큼 감소시킨 픽셀 값을 갖도록 상기 제2 R 영상을 보정하는, 제어 방법.
  14. 제12항에 있어서,
    상기 R 크로스톡 영상 및 상기 L 크로스톡 영상을 획득하는 단계는,
    상기 제1 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 R 크로스톡 영상을 획득하고, 상기 제1 L 영상의 픽셀 값에 상기 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 L 크로스톡 영상을 획득하는, 제어 방법.
  15. 제12항에 있어서,
    상기 R 크로스톡 영상 및 상기 L 크로스톡 영상을 획득하는 단계는,
    상기 제1 R 영상 및 상기 제2 R 영상을 합성한 제3 R 영상을 획득하고, 상기 합성된 제3 R 영상의 픽셀 값에 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 R 크로스톡 영상을 획득하며,
    상기 제1 L 영상 및 상기 제2 L 영상을 합성한 제3 L 영상을 획득하고, 상기 합성된 제3 L 영상의 픽셀 값에 상기 크로스톡 비율을 곱한 픽셀 값을 갖는 상기 L 크로스톡 영상을 획득하는, 제어 방법.
PCT/KR2021/016847 2020-11-18 2021-11-17 디스플레이 장치 및 그의 제어 방법 Ceased WO2022108321A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21895089.7A EP4206793B1 (en) 2020-11-18 2021-11-17 Display device and control method thereof
US17/696,423 US11917124B2 (en) 2020-11-18 2022-03-16 Display apparatus and the control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200154762A KR102790277B1 (ko) 2020-11-18 2020-11-18 디스플레이 장치 및 그의 제어 방법
KR10-2020-0154762 2020-11-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/696,423 Continuation US11917124B2 (en) 2020-11-18 2022-03-16 Display apparatus and the control method thereof

Publications (1)

Publication Number Publication Date
WO2022108321A1 true WO2022108321A1 (ko) 2022-05-27

Family

ID=81709406

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/016847 Ceased WO2022108321A1 (ko) 2020-11-18 2021-11-17 디스플레이 장치 및 그의 제어 방법

Country Status (4)

Country Link
US (1) US11917124B2 (ko)
EP (1) EP4206793B1 (ko)
KR (1) KR102790277B1 (ko)
WO (1) WO2022108321A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11719930B2 (en) * 2020-09-07 2023-08-08 Samsung Electronics Co., Ltd. Method and apparatus with crosstalk correction
US20230177710A1 (en) * 2021-12-04 2023-06-08 PetaRay Inc. Electronic system and method for generating panoramic light fields
CN115166993B (zh) * 2022-05-31 2023-11-10 北京邮电大学 自适应三维光场显示方法及系统
WO2024039154A1 (ko) 2022-08-18 2024-02-22 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2024072000A1 (ko) * 2022-09-29 2024-04-04 삼성전자 주식회사 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법
KR20240098287A (ko) * 2022-12-20 2024-06-28 삼성디스플레이 주식회사 크로스토크 평가 방법 및 이를 수행하는 크로스토크 평가 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019083504A (ja) * 2017-10-30 2019-05-30 セルヴィック・カンパニー・リミテッドＣｅｌｌｖｉｃ Ｃｏ．， Ｌｔｄ． 平板パネルにおける立体映像入力のためのハードウェアシステム
CN109917549A (zh) * 2019-03-28 2019-06-21 京东方科技集团股份有限公司 一种近眼可穿戴设备及其显示方法
KR20190081661A (ko) * 2017-12-29 2019-07-09 엘지디스플레이 주식회사 입체 영상 표시 장치
JP2019208214A (ja) * 2019-06-19 2019-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US20200057492A1 (en) * 2017-03-09 2020-02-20 Plex-Vr Digital Technology (Shanghai) Co., Ltd. Virtual ray tracing method and dynamic light field refocusing display system
KR20200082225A (ko) * 2018-12-28 2020-07-08 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그의 구동 방법

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6002518A (en) * 1990-06-11 1999-12-14 Reveo, Inc. Phase-retardation based system for stereoscopic viewing micropolarized spatially-multiplexed images substantially free of visual-channel cross-talk and asymmetric image distortion
JP2001054142A (ja) * 1999-08-05 2001-02-23 Nippon Hoso Kyokai <Nhk> 時分割方式による立体画像表示におけるクロストーク低減方法および装置
JP2003337303A (ja) * 2002-05-17 2003-11-28 Canon Inc 立体画像表示装置および立体画像表示システム
US8339333B2 (en) * 2008-01-02 2012-12-25 3M Innovative Properties Company Methods of reducing perceived image crosstalk in a multiview display
KR20100033067A (ko) * 2008-09-19 2010-03-29 삼성전자주식회사 2차원과 3차원 겸용 영상 표시 장치 및 방법
KR101661539B1 (ko) 2009-09-03 2016-09-30 삼성전자주식회사 채도를 유지하면서 시점간 크로스톡을 저감하는 영상 시스템 및 방법
JP2011244079A (ja) 2010-05-14 2011-12-01 Canon Inc 立体映像制御装置及び立体映像制御方法
US20120113153A1 (en) 2010-11-04 2012-05-10 3M Innovative Properties Company Methods of zero-d dimming and reducing perceived image crosstalk in a multiview display
US9146403B2 (en) 2010-12-01 2015-09-29 Massachusetts Institute Of Technology Content-adaptive parallax barriers for automultiscopic display
KR20120069432A (ko) 2010-12-20 2012-06-28 삼성전자주식회사 입체영상표시장치 및 그 구동 방법
KR20120130401A (ko) * 2011-05-23 2012-12-03 삼성디스플레이 주식회사 3차원 영상 표시 방법 및 이를 수행하는 표시 장치
US8848006B2 (en) 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
US9892239B2 (en) 2013-01-29 2018-02-13 Mobitv, Inc. Digital rights management for HTTP-based media streaming
US9343020B2 (en) 2013-08-05 2016-05-17 Massachusetts Institute Of Technology Methods and apparatus for visual display
KR102140080B1 (ko) 2013-09-27 2020-07-31 삼성전자주식회사 다시점 영상 디스플레이 장치 및 제어 방법
KR102240568B1 (ko) 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치
KR102199610B1 (ko) * 2014-09-03 2021-01-08 엘지디스플레이 주식회사 영상 표시 장치
KR102121389B1 (ko) * 2015-10-16 2020-06-10 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102447101B1 (ko) 2017-09-12 2022-09-26 삼성전자주식회사 무안경 3d 디스플레이를 위한 영상 처리 방법 및 장치
KR102454391B1 (ko) 2018-04-26 2022-10-14 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그 구동 방법
KR102632757B1 (ko) * 2018-12-20 2024-02-01 엘지디스플레이 주식회사 다중 패널 액정 디스플레이 장치
EP3918787A1 (en) 2019-01-31 2021-12-08 PCMS Holdings, Inc. Multi-frame decomposition method for image rendering on multilayer displays
CN110324605B (zh) * 2019-06-19 2020-11-17 电子科技大学 一种基于神经网络的智能裸眼3d显示系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200057492A1 (en) * 2017-03-09 2020-02-20 Plex-Vr Digital Technology (Shanghai) Co., Ltd. Virtual ray tracing method and dynamic light field refocusing display system
JP2019083504A (ja) * 2017-10-30 2019-05-30 セルヴィック・カンパニー・リミテッドＣｅｌｌｖｉｃ Ｃｏ．， Ｌｔｄ． 平板パネルにおける立体映像入力のためのハードウェアシステム
KR20190081661A (ko) * 2017-12-29 2019-07-09 엘지디스플레이 주식회사 입체 영상 표시 장치
KR20200082225A (ko) * 2018-12-28 2020-07-08 엘지디스플레이 주식회사 입체 영상 표시 장치 및 그의 구동 방법
CN109917549A (zh) * 2019-03-28 2019-06-21 京东方科技集团股份有限公司 一种近眼可穿戴设备及其显示方法
JP2019208214A (ja) * 2019-06-19 2019-12-05 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4206793A4 *

Also Published As

Publication number Publication date
KR20220067950A (ko) 2022-05-25
US20220210397A1 (en) 2022-06-30
EP4206793A1 (en) 2023-07-05
US11917124B2 (en) 2024-02-27
EP4206793B1 (en) 2024-09-11
KR102790277B1 (ko) 2025-04-03
EP4206793A4 (en) 2023-12-20

Similar Documents

Publication Publication Date Title
WO2022108321A1 (ko) 디스플레이 장치 및 그의 제어 방법
WO2022025413A1 (ko) 전자 장치 및 전자 장치의 인공 지능 학습 모델의 훈련 데이터 생성 방법
WO2020222382A1 (en) Electronic apparatus and image processing method thereof
WO2021246777A1 (en) Device and method for displaying augmented reality
WO2012044130A2 (ko) 배리어를 이용하는 3d 디스플레이 장치 및 그 구동 방법
WO2017065517A1 (en) 3d display apparatus and control method thereof
WO2021221273A1 (en) Display apparatus and control method thereof
WO2019035582A1 (en) DISPLAY APPARATUS AND SERVER, AND METHODS OF CONTROLLING THE SAME
WO2022092517A1 (ko) 디스플레이를 포함하는 웨어러블 전자 장치, 그 디스플레이를 제어하는 방법, 및 그 웨어러블 전자 장치 및 케이스를 포함하는 시스템
EP3225025A1 (en) Display device and method of controlling the same
WO2023101416A1 (en) Method and electronic device for digital image enhancement on display
EP3881311A1 (en) Electronic device for changing characteristics of display according to external light and method therefor
WO2016163783A1 (en) Display device and method of controlling the same
WO2022164094A1 (ko) Hmd(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 hmd
WO2022050599A1 (ko) 카메라의 신호 라인을 감소시킨 전자 장치
WO2022108114A1 (ko) 적층형 디스플레이 장치 및 이의 제어 방법
WO2019035600A1 (en) SYSTEM AND METHOD FOR REAL OR VIRTUAL SCENE DISPLAY
EP3615988A1 (en) System and method for displaying real or virtual scene
WO2024025221A1 (ko) 전자 장치 및 이의 동작 방법
WO2024101747A1 (ko) 카메라를 포함하는 웨어러블 전자 장치 및 이의 동작 방법
WO2019088451A1 (ko) 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 변환 장치
WO2017179912A1 (ko) 삼차원 정보증강 비디오 씨쓰루 디스플레이 장치 및 방법, 렉티피케이션 장치
WO2024072000A1 (ko) 3d 영상을 표시하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2025005771A1 (ko) 전자 장치 및 이의 제어 방법
WO2020004941A1 (ko) 디스플레이에서 출력된 광을 렌즈로 전달할 수 있는 반사 부재 및 반투명 반사 부재를 포함하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21895089

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021895089

Country of ref document: EP

Effective date: 20230329

NENP Non-entry into the national phase

Ref country code: DE