WO2019137038A1 - 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质 - Google Patents

注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质 Download PDF

Info

Publication number
WO2019137038A1
WO2019137038A1 PCT/CN2018/106516 CN2018106516W WO2019137038A1 WO 2019137038 A1 WO2019137038 A1 WO 2019137038A1 CN 2018106516 W CN2018106516 W CN 2018106516W WO 2019137038 A1 WO2019137038 A1 WO 2019137038A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
brightness
gaze
area
pupil
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/106516
Other languages
English (en)
French (fr)
Inventor
孙高明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to US16/335,952 priority Critical patent/US11467661B2/en
Priority to EP18857405.7A priority patent/EP3739431B1/en
Publication of WO2019137038A1 publication Critical patent/WO2019137038A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Definitions

  • Virtual Reality VR
  • Augmented Reality AR
  • Virtual reality technology is also known as the state of mind technology or artificial environment.
  • the coordinates of the gaze point are obtained by the following expression:
  • X G and Y G are the abscissa and the ordinate of the fixation point, respectively
  • x, y are the abscissa and the ordinate of the center position of the pupil, respectively
  • a 0 to a 6 and b 0 to b 6 are mapping parameters.
  • the mapping parameter is determined according to a preset calibration point coordinate in the display area and a central position coordinate of a plurality of pupils obtained in advance.
  • acquiring the center position coordinates of the pupil of the user includes: acquiring an eyeball of the user and image information around the eyeball; and performing the image information Feature extraction to obtain an image of the pupil of the user; and determining a center position coordinate of an image of the pupil of the user.
  • At least one embodiment of the present disclosure further provides a contrast adjustment method for a virtual reality device, comprising: determining a coordinate of a fixation point in a display area viewed by the user by using a fixation point determination method provided by an embodiment of the present disclosure; The coordinates of the fixation point determine a gaze area of the user; and adjust the brightness of the gaze area.
  • the gaze area of the user is determined to be centered on the gaze point and the length and width are respectively the length and width of the display area viewed by the user. 15% to 45% of the area.
  • the display area viewed by the user further includes a non-gaze area located outside the gaze area
  • the brightness adjustment further includes adjusting the non-gaze The brightness of the area.
  • the brightness of the non-gazing area is adjusted according to the distance from the non-gazing area to the gaze area.
  • the adjusting the brightness of the attention area is a brightness enhancement operation
  • the brightness enhancement operation comprises: detecting an average brightness of a display area viewed by the user. And a value of the average brightness value corresponding to the predetermined power consumption; and in a case where the average brightness value of the display area viewed by the user is smaller than the average brightness value corresponding to the predetermined power consumption, the brightness of the attention area is enhanced.
  • the contrast adjustment method in a case where an average brightness value of a display area viewed by the user is greater than or equal to an average brightness value corresponding to the predetermined power consumption, the The brightness of the non-gazing area.
  • enhancing the brightness of the attention area includes: multiplying pixel values of the attention area by an average brightness ratio, respectively; and reducing brightness of the non-gaze area
  • the method includes: multiplying pixel values of the non-gazing area by an average brightness ratio; the average brightness ratio is expressed as:
  • Ave1 represents the average luminance value of the display area viewed by the user
  • Ave2 represents the average luminance value corresponding to the predetermined power consumption.
  • At least one embodiment of the present disclosure also provides a contrast adjustment apparatus including a gaze area obtaining unit and a brightness adjusting unit.
  • the gaze area obtaining unit is configured to determine coordinates of a gaze point in the display area viewed by the user according to a center position coordinate of the pupil of the user, and determine a gaze area of the user according to coordinates of the gaze point;
  • the brightness adjustment unit is configured to adjust the brightness of the attention area.
  • the display area viewed by the user further includes a non-gazing area outside the gaze area
  • the brightness adjustment unit is further configured to adjust the non-vision area. Look at the brightness of the area.
  • At least one embodiment of the present disclosure further provides a virtual reality device, including a contrast adjustment device provided by an embodiment of the present disclosure.
  • a virtual reality device provided by an embodiment of the present disclosure further includes an image capture device.
  • the image capture device is configured to acquire an image of the user's pupil.
  • At least one embodiment of the present disclosure also provides a storage medium that non-transitoryly stores computer readable instructions, and when the non-transitory computer readable instructions are executed by a computer, may perform a gaze point determination method provided by an embodiment of the present disclosure. Or a contrast adjustment method provided by an embodiment of the present disclosure.
  • FIG. 1 is a flowchart of a method for adjusting contrast of a virtual reality device according to an embodiment of the present disclosure
  • FIG. 2 is a schematic diagram of a gaze area and a non-gaze area of a user in a contrast adjustment method shown in FIG. 1;
  • FIG. 4 is a schematic diagram of preset calibration point coordinates in a fixation point determination method shown in FIG. 3;
  • FIG. 6 is a flow chart for determining coordinates of a center position of a pupil in the fixation point determination method shown in FIG. 3;
  • FIG. 7 is a flow chart of adjusting brightness of a gaze area in a contrast adjustment method shown in FIG. 1;
  • an Organic Light Emitting Diode (OLED) display device is generally used as a display screen. Therefore, in order to reduce the power consumption of the virtual reality device, it can be achieved by reducing the screen brightness of the OLED display device. However, since the brightness of the display area of the entire display device is lowered, the image display of the display area is unclear, affecting the user's use effect and experience. Therefore, although this method can reduce the power consumption of the virtual reality device, it seriously affects the display quality of the OLED, thereby affecting the user's visual experience.
  • the fixation point determination method includes: acquiring a center position coordinate of the pupil of the user; and mapping the coordinates of the fixation point in the display area viewed by the user according to the center position coordinate of the pupil.
  • At least one embodiment of the present disclosure also provides a contrast adjustment method for a virtual reality device.
  • the contrast adjustment method includes: determining coordinates of a gaze point in a display area viewed by a user; determining a gaze area of the user according to coordinates of the gaze point; and adjusting brightness of the gaze area.
  • At least one embodiment of the present disclosure also provides a contrast adjustment apparatus, a virtual reality device, and a storage medium corresponding to the above-described contrast adjustment method.
  • At least one embodiment of the present disclosure provides a fixation point determination method, a contrast adjustment method for a virtual reality device, a contrast adjustment device, a virtual reality device, and a storage medium.
  • the fixation point determination method can improve determination of fixation in a display region.
  • the accuracy of the point may be such that the error rate of determining the fixation point is lower than 1.5°; on the other hand, the fixation point determination method may determine the gaze area of the user according to the center position coordinate of the pupil of the user, and pass the gaze area The brightness of the non-gaze area is adjusted to enhance the brightness of the gaze area of the virtual reality device, thereby improving the contrast of the display area of the virtual reality device, thereby reducing the power consumption of the virtual reality device while ensuring display quality.
  • Step S110 Determine the coordinates of the fixation point in the display area viewed by the user.
  • the determination of the gaze area 101 may be implemented by a gaze area obtaining unit, which may be implemented by software, firmware or hardware, etc., for example, when at least partially using a software module, may be through a central processing unit (CPU) or Other forms of processing units having data processing capabilities and/or instruction execution capabilities are implemented to execute the software modules.
  • a gaze area obtaining unit which may be implemented by software, firmware or hardware, etc., for example, when at least partially using a software module, may be through a central processing unit (CPU) or Other forms of processing units having data processing capabilities and/or instruction execution capabilities are implemented to execute the software modules.
  • CPU central processing unit
  • Step S130 adjusting the brightness of the attention area.
  • adjusting the brightness of the gaze area may include adjusting the brightness of the gaze area 101 and the brightness of the non-gaze area 102.
  • adjusting the brightness of the gaze area 101 includes enhancing the brightness of the gaze area.
  • adjusting the brightness of the non-gaze area 102 includes reducing the brightness of the non-gaze area.
  • the degree of brightness of the non-gazing area may be adjusted according to the distance from the non-gazing area to the gaze area, for example, may be gradually changed.
  • the contrast adjustment method may include more or less operations, which may be performed sequentially or in parallel, which is not limited by the embodiments of the present disclosure.
  • the gaze point determining method provided by this embodiment includes steps S111 to S112.
  • Step S111 Acquire the coordinates of the center position of the pupil of the user.
  • the center position coordinate of the pupil can be stored in the register storage unit 201 of the field programmable gate array (FPGA) 200 shown in FIG. 5, and can be called by the FPGA when needed, and the specific operation process will be below. A detailed introduction will not be repeated here.
  • FPGA field programmable gate array
  • the center position of the image of the pupil can be extracted by the center of gravity method.
  • the Canny edge detection algorithm, the Hough transform fitting method, and the double ellipse fitting algorithm can also be used to determine the pupil contour and obtain the feature points of the pupil image, and verify the contour of the pupil to determine the center position coordinates of the pupil.
  • the coordinate system origin of the center position coordinates of the pupil may be set at the upper left corner of the image area acquired by the image acquisition device.
  • mapping relationship between the coordinates of the fixation point and the center position coordinate of the pupil in the display area viewed by the user may be expressed as follows:
  • X G and Y G are the abscissa and the ordinate of the fixation point, respectively, and x and y are the abscissa and the ordinate of the center position of the pupil, respectively, and a 0 to a 6 and b 0 to b 6 are mapping parameters.
  • the coordinate system origin of the center position coordinates of the pupil may be set at the upper left corner of the image area acquired by the image acquisition device.
  • the image acquired by the image capturing device includes image information of the eyeball and the periphery of the eyeball, but embodiments of the present disclosure are not limited thereto.
  • the present invention is not limited thereto, and the number of the calibration points may be set to seven, eight, or ten, etc., as long as the mapping parameters a 0 to a 6 and b 0 to b can be obtained by the above expression.
  • the value of 6 can be.
  • the preset calibration point coordinates may be measured or calculated before the gaze point calculation.
  • the calibration point coordinates may be measured and calculated before the OLED display panel is shipped from the factory, or may be shipped from the OLED display panel. Then measured and calculated.
  • the calibration point coordinates can be stored in a memory of the OLED display panel from which the OLED display panel can be read when needed.
  • the memory may include one or more computer program products, which may include various forms of computer readable storage media, such as volatile memory and/or nonvolatile memory, such as magnetic storage media, semiconductor storage media. Wait.
  • the mapping method of the coordinates of the above-mentioned fixation points can be implemented by a Field Programmable Gate Array (FPGA) 200 as shown in FIG.
  • the FPGA includes a register storage unit 201, a multiplexer unit 202, a multiplier unit 203, an adder unit 204, and a finite state machine unit 205.
  • the register storage unit 201 controls the reception and transmission of data;
  • the multiplexer unit 202 serves as a data channel for filtering data;
  • the multiplier unit 203 and the adder unit 204 multiply and add the filtered data.
  • each unit cannot be operated alone, and the register storage unit 201, the multiplexer unit 202, the multiplier unit 203, and the adder unit 204 are commonly implemented by the finite state machine unit 205 to implement multiplication and addition in the mapping formula. of.
  • the specific implementation process of the mapping formula may include: first, after obtaining the mapping parameters a 0 to a 6 and b 0 to b 6 in step S112, inputting them to the register storage unit 201 After the buffer acquires the center position coordinate (x, y) of the pupil in step S111, data such as the center position coordinate (x, y) of the pupil is also input to the register storage unit 201 for buffering; and then, the multiplexer unit 202 is utilized.
  • the data stored in the register storage unit 201 (for example, the center position coordinates of the pupil) is filtered; finally, the multiplier unit 205 and the adder unit 204 are controlled by the finite state machine unit 205 to call the pupil buffered in the register storage unit 201.
  • the center position coordinates and the corresponding mapping parameters implement the multiplication and accumulation operations in the above expression to obtain the coordinates (X G , Y G ) of the fixation point.
  • the accuracy of determining the fixation point in the display area can be improved by the fixation point determination method in the present embodiment, for example, the error rate of the determination fixation point can be made lower than 1.5°.
  • FIG. 6 is a flowchart of determining a center position coordinate of a pupil in a fixation point determination method according to an embodiment of the present disclosure. That is, FIG. 6 is an operational flowchart of an example of step S111 shown in FIG.
  • the process of determining the center position coordinates of the pupil includes steps S1111 through S1113.
  • Step S1111 Acquire the eyeball of the user and the image information around the eyeball.
  • image acquisition of the user's eyeball and image information around the eyeball can be performed by an image capture device including a CMOS (Complementary Metal Oxide Semiconductor) sensor, a CCD (Charge Coupled Device) sensor, an infrared camera, or the like.
  • the image capture device can be placed in the plane of the OLED display, such as on the bezel of the VR device.
  • Step S1112 Feature extraction is performed on the image information to obtain an image of the pupil of the user.
  • the collected image information may be binarized to be converted into a grayscale image, and feature extraction of the image information may be performed.
  • the Harr method, the HOG feature extraction algorithm, and other methods that can implement feature extraction can be used for feature extraction of image information.
  • the extracted feature maps can be classified by the trained classifier to obtain image information belonging to the pupil.
  • the classifier may employ a support vector machine (SVM) or a neural network (eg, a type 2 fuzzy neural network) or the like, but embodiments of the present disclosure are not limited to a specific model or method.
  • a plurality of connected domains may be included in a plurality of feature maps belonging to the pupil obtained by the classifier.
  • multiple connected domains can be processed by means of expansion corrosion, and image denoising processing is performed on multiple connected domains by comparing optimization and selecting appropriate thresholds.
  • an image of the pupil can be determined based on the selected one of the connected domain information.
  • acquisition of an image of a pupil may be accomplished by a central processing unit (CPU) or other form of processing unit having data processing capabilities and/or instruction execution capabilities.
  • CPU central processing unit
  • Step S1113 Determine the center position coordinates of the image of the pupil of the user.
  • the flow of the contrast adjustment method for virtual reality may include more or less operations, which may be performed sequentially or in parallel.
  • the flow of the training method described above includes a plurality of operations occurring in a specific order, it should be clearly understood that the order of the plurality of operations is not limited.
  • the contrast adjustment method described above may be performed once or multiple times according to predetermined conditions.
  • FIG. 9 is a schematic block diagram of another contrast adjustment apparatus 20 according to an embodiment of the present disclosure.
  • the contrast adjustment device 20 can perform the contrast adjustment method disclosed above. Since the details of the respective operations in the contrast adjusting device 20 are substantially the same as those described above with respect to FIGS. 1 through 7, in order to avoid repetition, the same details are omitted while the contrast adjusting device 20 is described hereinafter. description.
  • the pupil center position acquisition unit 21 is configured to acquire the eyeball of the user and the image information around the eyeball, and perform feature extraction on the image information to obtain an image of the pupil of the user, and determine the center position coordinates of the image of the pupil of the user.
  • the pupil center position acquiring unit 21 can perform the steps S1111 to S1113 of determining the center position coordinates of the pupil shown in FIG. 6.
  • acquiring the eyeball of the user and image information around the eyeball may be implemented by an image capture device including, for example, a CMOS sensor, a CCD sensor, or an infrared camera, and the acquired image information may be stored in the storage.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

一种注视点确定方法、用于虚拟现实设备的对比度调节方法、对比度调节装置、虚拟现实设备及存储介质。该对比度调节方法包括：确定用户观看的显示区域中的注视点的坐标；根据注视点的坐标确定用户的注视区域；以及调节注视区域的亮度。该对比度调节方法能够调节用户注视区域的范围以及增强用户注视区域的亮度，同时降低了虚拟现实设备的功耗。

Description

注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质
本申请要求于2018年1月12日递交的中国专利申请第201810032553.3号的优先权，在此全文引用上述中国专利申请公开的内容以作为本申请的一部分。
技术领域
本公开的实施例涉及一种注视点确定方法、用于虚拟现实设备的对比度调节方法及对比度调节装置、虚拟现实设备及存储介质。
背景技术
随着电子科技水平的不断进步，虚拟现实(Virtual Reality，VR)或增强现实(Augmented Reality，AR)技术作为一种高新技术，已经越来越多地被应用在日常生活中。虚拟现实技术也称为灵境技术或人工环境。
现有的虚拟现实系统主要是通过带有中央处理器的高性能运算系统模拟一个虚拟的三维世界，并提供给使用者视觉、听觉等的感官体验，从而让使用者犹如身临其境，同时还可以进行人机互动。
发明内容
本公开至少一个实施例提供一种注视点确定方法，包括：获取用户的瞳孔的中心位置坐标；以及根据所述瞳孔的中心位置坐标，映射确定所述用户观看的显示区域中的注视点的坐标。
例如，在本公开的一个实施例提供的一种注视点确定方法中，所述注视点的坐标通过如下表达式获得：
Figure PCTCN2018106516-appb-000001
其中，X G，Y G分别为注视点的横坐标和纵坐标，x，y分别为所述瞳孔 的中心位置的横坐标和纵坐标，a 0至a 6以及b 0至b 6为映射参数。
例如，在本公开的一个实施例提供的一种注视点确定方法中，所述映射参数根据所述显示区域中预先设定的标定点坐标和预先获得的多个瞳孔的中心位置坐标确定。
例如，在本公开的一个实施例提供的一种注视点确定方法中，获取所述用户的瞳孔的中心位置坐标包括：获取所述用户的眼球以及眼球周边的图像信息；对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及确定所述用户的瞳孔的图像的中心位置坐标。
本公开至少一个实施例还提供一种用于虚拟现实设备的对比度调节方法，包括：采用本公开一实施例提供的注视点确定方法确定所述用户观看的显示区域中的注视点的坐标；根据所述注视点的坐标确定用户的注视区域；以及调节所述注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，所述用户的注视区域确定为以所述注视点为中心且长度和宽度分别为所述用户观看的显示区域的长度和宽度的15％～45％的区域。
例如，在本公开的一个实施例提供的一种对比度调节方法中，所述用户观看的显示区域还包括位于所述注视区域以外的非注视区域，并且所述亮度调节还包括调节所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，根据所述非注视区域到所述注视区域的距离，调节所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，所述调节所述注视区域的亮度为亮度增强操作，所述亮度增强操作包括：检测所述用户观看的显示区域的平均亮度值和所述预定功耗对应的平均亮度值的大小；在所述用户观看的显示区域的平均亮度值小于所述预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节方法中，增强所述 注视区域的亮度包括：将所述注视区域的像素值分别乘以平均亮度比值；降低所述非注视区域的亮度包括：将所述非注视区域的像素值分别乘以平均亮度比值；所述平均亮度比值表示为：
Figure PCTCN2018106516-appb-000002
其中，L表示所述平均亮度比值，Ave1表示所述用户观看的显示区域的平均亮度值，Ave2表示所述预定功耗对应的平均亮度值。
本公开至少一个实施例还提供一种对比度调节装置，包括：处理器；存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现本公开一实施例提供的对比度调节方法的指令。
本公开至少一个实施例还提供一种对比度调节装置，包括注视区域获得单元以及亮度调节单元。所述注视区域获得单元配置为，根据用户的瞳孔的中心位置坐标确定所述用户观看的显示区域中的注视点的坐标，并且根据所述注视点的坐标确定所述用户的注视区域；以及所述亮度调节单元配置为调节所述注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节装置中，所述用户观看的显示区域还包括位于所述注视区域以外的非注视区域，所述亮度调节单元还配置为调节所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节装置中，所述亮度调节单元包括亮度增强子单元，且配置为：在所述用户观看的显示区域的平均亮度值小于预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度，或者在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
例如，在本公开的一个实施例提供的一种对比度调节装置中，所述注视区域获取单元包括：中心位置坐标获取子单元，配置为获取用户的瞳孔的中心位置坐标；以及注视点坐标获取子单元，配置为根据所述瞳孔的中心位置坐标，映射确定所述用户观看的显示区域中的注视点的坐标。
例如，本公开的一个实施例提供的一种对比度调节装置，还包括瞳孔中 心位置获取单元。所述瞳孔中心位置获取单元配置为：获取所述用户的眼球以及眼球周边的图像信息，对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及确定所述用户的瞳孔的图像的中心位置坐标。
本公开至少一个实施例还提供一种虚拟现实设备，包括本公开一实施例提供的对比度调节装置。
例如，本公开的一个实施例提供的虚拟现实设备，还包括图像采集装置。所述图像采集装置配置为获取所述用户瞳孔的图像。
本公开至少一个实施例还提供一种存储介质，非暂时性地存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行本公开一实施例提供的注视点确定方法或本公开一实施例提供的对比度调节方法。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开一实施例提供的一种用于虚拟现实设备的对比度调节方法的流程图；
图2为图1中所示的一种对比度调节方法中用户的注视区域和非注视区域的示意图；
图3为图1中所示的一种对比度调节方法中注视点确定方法的流程图；
图4为图3中所示的一种注视点确定方法中预先设定的标定点坐标的示意图；
图5为图3中所示的映射确定用户观看的显示区域中的注视点坐标的实现框图；
图6为图3中所示的注视点确定方法中确定瞳孔的中心位置坐标的流程图；
图7为图1中所示的一种对比度调节方法中调节注视区域亮度的流程图；
图8为本公开一实施例提供的一种用于虚拟现实设备的对比度调节装置的示意图；
图9为本公开一实施例提供的另一种用于虚拟现实设备的对比度调节装置的示意图；以及
图10为本公开另一实施例提供的一种虚拟现实设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面，将参照附图详细描述根据本公开的各个实施例。需要注意的是，在附图中，将相同的附图标记赋予基本上具有相同或类似结构和功能的组成部分，并且将省略关于它们的重复描述。
虚拟现实技术中一般采用机发光二极管(Organic Light Emitting Diode，OLED)显示装置作为显示屏幕。因此，为了降低虚拟现实设备的功耗，可以通过降低OLED显示装置的屏幕亮度来实现。但是，由于降低整个显示装置的显示区域的亮度会导致显示区域的图像显示不清晰，影响用户的使用效果和体验。所以，采用这种方式虽然能够降低虚拟现实设备的功耗，却严重影响了OLED的显示质量，从而对用户的视觉感受产生影响。
本公开至少一实施例提供一种注视点确定方法。该注视点确定方法包括：获取用户的瞳孔的中心位置坐标；以及根据瞳孔的中心位置坐标，映射确定用户观看的显示区域中的注视点的坐标。
本公开至少一实施例还提供一种用于虚拟现实设备的对比度调节方法。该对比度调节方法包括：确定用户观看的显示区域中的注视点的坐标；根据注视点的坐标确定用户的注视区域；以及调节注视区域的亮度。
本公开至少一实施例还提供了一种对应于上述对比度调节方法的对比度调节装置、虚拟现实设备及存储介质。
本公开至少一实施例提供的注视点确定方法、用于虚拟现实设备的对比度调节方法、对比度调节装置、虚拟现实设备及存储介质，一方面，该注视点确定方法可以提高在显示区域中确定注视点的准确率，例如可以使得确定注视点的误差率低于1.5°；另一方面，该注视点确定方法可以根据用户的瞳孔的中心位置坐标来确定用户的注视区域，并通过对该注视区域和非注视区域的亮度进行调节操作以增强虚拟现实设备的注视区域的亮度，从而提高了虚拟现实设备的显示区域的对比度，从而在保证显示质量的前提下降低了虚拟现实设备的功耗。
下面结合附图对本公开的实施例进行详细说明。
图1为本公开一实施例提供的一种用于虚拟现实设备的对比度调节方法的流程图。例如，该对比度调节方法可以至少部分以软件的方式实现，由虚拟现实设备中的处理器加载并执行，或至少部分以硬件、固件等方式实现，以提高虚拟现实设备的显示区域的对比度，并且在保证显示质量的前提下降低虚拟现实设备的功耗。
如图1所示，该实施例提供的对比度调节方法包括步骤S110至步骤S130，下面对该对比度调节方法的步骤S110至步骤S130以及它们各自的示例性实现方式分别进行介绍。
步骤S110：确定用户观看的显示区域中的注视点的坐标。
例如，可以根据瞳孔的中心位置坐标通过注视点确定方法确定用户观看的显示区域中的注视点的坐标。该注视点确定方法将在图3所示的示例中进行详细地介绍，例如可以通过映射函数进行确定，在此不再赘述。例如，确 定注视点的坐标也可以通过中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。例如，该处理单元可以为通用处理器或专用处理器，可以是基于X86或ARM架构的处理器等。
步骤S120：根据注视点的坐标确定用户的注视区域。
例如，图2示出了用户的注视区域101和非注视区域102的示意图。用户的注视区域101为以注视点为中心一定范围内的区域。例如，如图2所示，用户的注视区域101包括以注视点为中心且长度和宽度分别为用户观看的显示区域的长度和宽度的约15％～45％的区域，例如为用户观看的显示区域的长度和宽度的30％的区域。例如，如图2所示，显示区域还包括位于注视区域101以外的非注视区域102。例如，该注视区域101会随着瞳孔的中心位置坐标的变化而发生改变。
需要注意的是，注视区域101并不限于图2中所示的形状。例如，当双眼的注视区域重叠的时候，注视区域可以是两个注视区域的叠加，例如得到∞形状的注视区域。
例如，注视区域101的确定可以通过注视区域获得单元来实现，该注视区域获得单元可以通过软件、固件或硬件等来实现，例如当至少部分使用软件模块时，可以通过中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来执行该软件模块来实现。
通过本实施例中的注视区域调节方法可以使得注视区域的位置跟随眼球的转动而不断变换，从而实现对注视区域的不断调节，甚至实现实时调节。而且，本实施例中的注视区域调节方法适用于不同用户的不同使用情况。
步骤S130：调节注视区域的亮度。
例如，调节注视区域的亮度可以包括对注视区域101的亮度和非注视区域102的亮度进行调节。例如，对注视区域101的亮度进行调节包括增强注视区域的亮度。例如，对非注视区域102的亮度进行调节包括降低非注视区域的亮度。例如，可以根据非注视区域到注视区域的距离，调节非注视区域的亮度程度，例如可以逐渐变化。例如，非注视区域102的亮度以注视区域为中心逐渐降低，也就是说，非注视区域102中距离注视区域101较近的部分的亮度高于其距离注视区域101较远的部分的亮度。例如，对注视区域的 亮度的调节可以通过亮度调节单元来实现。同样地，该亮度调节单元可以通过软件、固件或硬件等来实现。
需要说明的是，本公开的实施例中，该对比度调节方法可以包括更多或更少的操作，这些操作可以顺序执行或并行执行，本公开的实施例对此不作限制。
本实施例提供的调节注视区域亮度的方法不仅可以提高显示区域的对比度，同时又能在一定程度上降低显示屏幕的功耗。
图3是本公开一实施例提供的一种对比度调节方法中注视点确定方法的流程图。也就是说，图3为图1所示的步骤S110的一个示例的操作流程图。需要注意的是，该注视点确定方法可以用于上述对比度调节方法中，也可以独立于上述对比度调节方法单独应用。
如图3所示，该实施例提供的注视点确定方法包括步骤S111至步骤S112。
步骤S111：获取用户的瞳孔的中心位置坐标。
例如，瞳孔的中心位置坐标可以是用户的瞳孔的图像中心在采集的图像中的位置坐标。例如，采集的图像可以是眼球及眼球周边的图像信息，也可以是人脸图像等，本公开的实施例对此不作限制。例如，用户的瞳孔的图像可以通过对采集的图像(例如，抓取的眼球及眼球周边的图像信息)进行特征提取和分类训练获得。
例如，该瞳孔的中心位置坐标可以存储在图5中所示的现场可编程门阵列(FPGA)200的寄存器存储单元201中，在需要时通过FPGA进行调用即可，具体的操作过程将在下面进行详细地介绍，在此不再赘述。
例如，瞳孔特征点的提取可以采用尺度不变特征变换(Scale-invariant Feature Transform,SIFT)特征提取算法、方向梯度直方图(Histogram of Oriented Gradient,HOG)特征提取算法以及本领域内的其他常规算法实现，本公开的实施例对此不作限制。
例如，可以预先搜集大量的(例如，10000张或更多张)包括瞳孔的图像作为样本库，并对样本库中的图像进行特征提取。然后，使用样本库中的图像和提取的特征点通过机器学习(例如深度学习，或者基于局部特征的回 归算法)等算法对分类模型进行训练和测试，以得到获取用户的瞳孔图像的分类模型。例如，该分类模型也可以通过本领域内的其他常规算法例如支持向量机(Support Vector Machine，SVM)实现，本公开的实施例对此不作限制。需要注意的是，该机器学习算法可以采用本领域内的常规方法实现，在此不再赘述。例如，该分类模型的输入为采集的图像，输出为用户的瞳孔的图像。
例如，获取瞳孔的图像之后，可以通过重心法提取瞳孔的图像的中心位置。例如，也可以通过Canny边缘检测算法、Hough变换拟合法以及双椭圆拟合算法等方法确定瞳孔轮廓以及获得瞳孔图像的特征点，并验证拟合瞳孔的轮廓，以确定瞳孔的中心位置坐标。例如，该瞳孔的中心位置坐标的坐标系原点可以设置在图像采集装置采集的图像区域的左上角。
例如，该采集的图像可以表示图像采集装置直接采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。该图像采集装置例如可以包括CMOS(互补金属氧化物半导体)传感器、CCD(电荷耦合器件)传感器、红外摄像头等。例如，图像采集装置可以设置在OLED显示屏所在的平面内，例如设置在VR设备的边框上。例如，在步骤S111前，本公开实施例提供的注视点确定方法还可以包括对图像采集装置采集的图像进行预处理的操作，以有利于检测用户的瞳孔以获取用户的瞳孔的中心位置坐标。图像预处理操作可以消除原始图像中的无关信息或噪声信息，以便于更好地对采集的图像进行瞳孔检测。例如，该图像预处理操作可以包括对采集的图像进行图像缩放、压缩或格式转换、色域转换、伽玛(Gamma)校正、图像增强或降噪滤波等处理。例如，上述瞳孔的中心位置坐标的确定方法还可以通过瞳孔中心位置获取单元来确定，也可以通过中央处理单元(CPU)、图像处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。同样地，该瞳孔中心位置获取单元可以通过软件、固件或硬件等以及其任意结合的方式来实现。例如，该瞳孔图像的中心位置坐标的获取方法将在图6所示的示例中进行详细地介绍，在此不再赘述。
步骤S112：根据瞳孔的中心位置坐标，映射确定用户观看的显示区域中的注视点的坐标。
例如，在一个示例中，用户观看的显示区域中的注视点的坐标和瞳孔的中心位置坐标的映射关系可以表示为如下表达式：
Figure PCTCN2018106516-appb-000003
其中，X G，Y G分别为注视点的横坐标和纵坐标，x，y分别为瞳孔的中心位置的横坐标和纵坐标，a 0至a 6以及b 0至b 6为映射参数。
例如，上述表达式可以通过乘法器和加法器实现，且表达式中的映射参数可以根据显示区域中预先设定的注视点标定点坐标和对应的预先获得的多个瞳孔的中心位置坐标确定，其具体计算过程可以通过图5中所示的FPGA200实现，将在下面进行详细地介绍，在此不再赘述。需要注意的是，注视点坐标还可以通过专用的注视点坐标计算单元实现，也可以通过中央处理单元(CPU)、图像处理器(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现，本公开的实施例对此不作限制。例如，该注视点坐标计算单元可以通过软件、固件、硬件或其任意结合的方式实现。
例如，该预先获得的多个瞳孔的中心位置坐标可以根据预先设定的标定点坐标获得。
例如，在一个具体示例中，图4示出了显示区域中预先设定的九个标定点的位置。例如，如图4所示，该预先设定的标定点坐标的坐标系原点可以设置在虚拟现实设备的显示区域的左上角，但是本公开的实施例不限于此。例如，该预先设定的标定点的坐标可以表示为：
(X 1，Y 1)＝(830，440)
(X 2，Y 2)＝(570，350)
(X 3，Y 3)＝(570，570)
(X 4，Y 4)＝(1200，570)
(X 5，Y 5)＝(1200，350)
(X 6，Y 6)＝(570，440)
(X 7，Y 7)＝(830，350)
(X 8，Y 8)＝(1200，440)
(X 9，Y 9)＝(830，570)
其中，(X 1，Y 1)至(X 9，Y 9)表示图4中所示的显示区域中预先设定的第1个至第9个标定点的坐标。
例如，当用户分别注视该九个预先设定的标定点时所提取的对应的瞳孔坐标可以表示为：
(x 1，y 1)＝(382.404，296.579)
(x 2，y 2)＝(450.586，283.600)
(x 3，y 3)＝(412.539，302.071)
(x 4，y 4)＝(352.949，313.447)
(x 5，y 5)＝(353.391，285.008)
(x 6，y 6)＝(410.668，296.006)
(x 7，y 7)＝(355.052，283.001)
(x 8，y 8)＝(355.777，298.334)
(x 9，y 9)＝(386.885，306.631)
其中，(x 1，y 1)至(x 9，y 9)表示与图4中所示的显示区域中预先设定的第1个至第9个标定点对应的瞳孔的中心位置坐标。例如，(x 1，y 1)是用户注视第一个标定点坐标(X 1，Y 1)时获得的瞳孔的中心位置坐标。需要注意的是，不同的用户可以获得不同的瞳孔的中心位置坐标(x 1，y 1)至(x 9，y 9)。例如，当用户依次注视上述标定点时，可以通过瞳孔中心位置获取单元根据步骤S111中的方法依次获取九个标定点对应的瞳孔的中心位置坐标。例如，该瞳孔的中心位置坐标的坐标系原点可以设置在图像采集装置采集的图像区域的左上角。例如，该图像采集装置采集的图像包括眼球及眼球周边的图像信息，但是本公开的实施例不限于此。
例如，可以将上述(X 1，Y 1)，(x 1，y 1)至(X 9，Y 9)，(x 9，y 9)分别带入上述表达式中以求得a 0至a 6以及b 0至b 6的值。例如，设定九个以及更多的标定点坐标可以得到九个以及更多的关于映射参数的表达式，从而可以使得映射参数的计算结果更加准确。
需要注意的是，不限于此，该标定点的个数也可以设置为七个、八个或十个等，只要满足能够通过上述表达式求出映射参数a 0至a 6以及b 0至b 6的值即可。
例如，该预先设定的标定点坐标可以在注视点计算之前经过测量或计算得到，例如，标定点坐标可以是在OLED显示面板出厂前进行测量和计算得到的，也可以是在OLED显示面板出厂之后进行测量和计算得到的。例如，标定点坐标可以存储在OLED显示面板的存储器中，需要使用时OLED显示面板可以从该存储器中读取。存储器可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器，例如磁性存储介质、半导体存储介质等。
例如，在一个示例中，可以通过如图5所示的现场可编程门阵列(FPGA)200实现上述注视点的坐标的映射方法。在本实施例中，如图5所示，FPGA包括寄存器存储单元201、多路选择器单元202、乘法器单元203、加法器单元204以及有限状态机单元205。例如，寄存器存储单元201控制数据的接收和发送；多路选择器单元202作为数据通道，对数据进行筛选；乘法器单元203和加法器单元204对筛选后的数据进行乘法和加法运算。例如，每个单元不可单独工作，寄存器存储单元201、多路选择器单元202、乘法器单元203和加法器单元204是在有限状态机单元205的控制下共同实现映射公式中的乘法和加法运算的。
例如，该映射公式(即求解注视点坐标)的具体实现过程可以包括：首先，通过步骤S112中获得映射参数a 0至a 6以及b 0至b 6后，将其输入至寄存器存储单元201中缓存，通过步骤S111获取瞳孔的中心位置坐标(x，y)后，将瞳孔的中心位置坐标(x，y)等数据也输入至寄存器存储单元201进行缓存；然后，利用多路选择器单元202对存储在寄存器存储单元201中的数据(例如，瞳孔的中心位置坐标)进行筛选；最后，通过有限状态机单元205控制乘法器单元203和加法器单元204调用上述寄存器存储单元201中缓存的瞳孔的中心位置坐标和相应的映射参数，实现上述表达式中的乘法运算和累加运算以得到注视点的坐标(X G，Y G)。
需要注意的是，本公开的实施例不限于上述方式，也可以通过其他可以实现该映射公式的方法进行注视点坐标的计算。
通过本实施例中的注视点确定方法可以提高在显示区域中确定注视点的准确率，例如可以使得确定注视点的误差率低于1.5°。
图6是本公开一实施例提供的注视点确定方法中确定瞳孔的中心位置坐标的流程图。也就是说，图6为图3所示的步骤S111的一个示例的操作流程图。
如图6所示，该瞳孔的中心位置坐标的确定过程包括步骤S1111至步骤S1113。
步骤S1111：获取用户的眼球以及眼球周边的图像信息。
例如，可以通过包括CMOS(互补金属氧化物半导体)传感器、CCD(电荷耦合器件)传感器、红外摄像头等的图像采集装置对用户的眼球以及眼球周边的图像信息进行图像采集。例如，图像采集装置可以设置在OLED显示屏所在的平面内，例如设置在VR设备的边框上。
步骤S1112：对图像信息进行特征提取以获得用户的瞳孔的图像。
例如，可以将采集到的图像信息进行二值化处理以转化为灰度图，并进行图像信息的特征提取。例如，可以采用Harr方法、HOG特征提取算法以及其他可以实现特征提取的方法进行图像信息的特征提取。例如，提取的特征图可以通过训练好的分类器进行分类，以得到属于瞳孔中的图像信息。例如，分类器可以采用支持向量机(SVM)或神经网络(例如二型模糊神经网络)等方式，但是本公开的实施例不限于具体的模型、方法。例如，通过分类器得到的属于瞳孔中的多个特征图中可以包括多个连通域。例如，可以通过膨胀腐蚀的方式对多个连通域进行处理，并通过对比优化以及选取合适的阈值对多个连通域进行图像的去噪处理。例如，可以根据选取的最大的一处连通域信息确定瞳孔的图像。例如，瞳孔的图像的获取可以通过中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元来实现。
步骤S1113：确定用户的瞳孔的图像的中心位置坐标。
例如，可以通过重心法提取瞳孔的图像的中心点。例如，也可以通过Canny边缘检测算法、Hough变换拟合法以及双椭圆拟合算法等方法确定瞳孔轮廓以及获得瞳孔图像的特征点，并验证拟合瞳孔的轮廓，以确定瞳孔的中心位置坐标。例如，瞳孔的中心位置坐标可以通过瞳孔中心位置获取单元来确定。同样地，该瞳孔中心位置获取单元可以通过软件、固件或硬件等方 式来实现。
图7是本公开一实施例提供的对比度调节方法中调节注视区域的亮度的流程图。也就是说图7是图1中所示的步骤S130的一个示例的操作流程图。
如图7所示，该注视区域的亮度调节过程包括步骤S131至步骤S133。
步骤S131：检测用户观看的显示区域的平均亮度值是否小于预定功耗对应的平均亮度值的大小，如果是，则执行步骤S132；如果否，则执行步骤S133。
例如，预定功耗对应的平均亮度值可以表示为1W功耗对应的平均亮度值。例如，该预定功耗对应的平均亮度值可以在亮度调节之前根据亮度与功耗的对应关系测量或计算得到，例如，预定功耗对应的平均亮度值可以是在OLED显示面板出厂前进行测量和计算得到的，也可以是在OLED显示面板出厂之后进行测量和计算得到的。例如，预定功耗对应的平均亮度值可以存储在OLED显示面板的存储器中，需要使用时OLED显示面板可以从该存储器中读取。存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。例如，可以通过统计显示区域中显示图像的直方图以获得显示区域的平均亮度值。例如，该步骤可以在亮度调节单元中进行。同样地，该亮度调节单元可以通过软件、固件或硬件等来实现。
步骤S132：增强注视区域的亮度。
例如，增强注视区域101的亮度包括将注视区域101的像素值分别乘以平均亮度比值。例如，平均亮度比值表示为：
Figure PCTCN2018106516-appb-000004
其中，L表示平均亮度比值，Ave1表示用户观看的显示区域的平均亮度值，Ave2表示预定功耗对应的平均亮度值。
例如，该平均亮度比值可以存储于用于OLED面板的存储器中。
步骤S133：降低非注视区域的亮度。
例如，降低非注视区域102的亮度包括将非注视区域102的像素值分别乘以平均亮度比值L。该像素值在不同的示例中可以为对显示装置获得的图 片数据或图像数据进行解码后得到像素数据数值，还可以为针对显示屏进行了进一步相应伽马(Gamma)变换后的像素数据数值，本公开的实施例对此不作限制。分别乘以平均亮度比值L的像素值最后被输入到显示屏中进行显示，从而实现降低非注视区域的亮度的显示效果。
在本公开一实施提供的亮度调节方法中，例如，通过判断当前显示区域中显示图像的功耗是否超过1W(例如通过比较对应的亮度值得出)，分别对注视区域和非注视区域单独进行调节。
例如，如果当前显示图像的功耗小于1W，即用户观看的显示区域的平均亮度值Ave1小于预定功耗对应的平均亮度值Ave2，说明显示图像的功耗虽然不高但整体画面的亮度偏低，此时可以通过增强注视区域的亮度来提高对比度，提升观感。例如，提升的比例系数为平均亮度比值L，同时保持非注视区域的亮度值不变，这样可以确保整个画面的功耗接近1W但不超过1W。
例如，如果当前显示图像的功耗大于1W，说明功耗较高，那么为了不降低注视区域的亮度，可以通过降低非注视区域的亮度来降低显示图像的功耗，例如降低的比例系数为平均亮度比值L。
本实施例中增强/降低比例系数的求解过程可以是动态进行的，并且可以保证图像的显示过程中不会出现闪屏的现象。因此，该亮度调节方法综合考虑了显示区域的对比度、注视区域的亮度值以及当前显示图像的功耗三个方面进行亮度的自适应调节，以降低显示设备的功耗，提升显示区域的对比度。
需要说明的是，本公开的实施例中，该用于虚拟现实的对比度调节方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的训练方法的流程包括特定顺序出现的多个操作，但是应该清楚的了解，多个操作的顺序并不受限制。上文描述的对比度调节方法可以执行一次，也可以按照预定条件执行多次。
本公开一实施例提供的对比度调节方法可以根据用户的瞳孔的中心位置坐标来确定用户的注视区域，并通过对该注视区域和非注视区域的亮度进行调节操作以增强虚拟现实设备的注视区域的亮度，从而提高了虚拟现实设备的显示区域的对比度，从而在保证显示质量的前提下降低了虚拟现实设备的 功耗。
图8为本公开一实施例提供的一种对比度调节装置10的示意框图。例如，如图8所示，对比度调节装置10可以包括处理器11、存储器12和一个或多个计算机程序模块121。例如，处理器11与存储器12通过总线系统15连接。例如，一个或多个计算机程序模块可以被存储在存储器12中。例如，一个或多个计算机程序模块121可以包括用于执行实现上述对比度调节方法的指令。例如，一个或多个计算机程序模块121中的指令可以由处理器11执行。例如，总线系统15可以是常用的串行、并行通信总线等，本公开的实施例对此不作限制。需要注意的是，图8所示的对比度调节装置10的组件和结构只是示例性的，而非限制性的，根据需要，对比度调节装置10也可以具有其他组件和结构。
关于对比度调节装置10的技术效果可以参考本公开的实施例中提供的对比度调节方法的技术效果，这里不再赘述。
图9为本公开一实施例提供的另一种对比度调节装置20的示意框图。该对比度调节装置20可以执行上述公开的对比度调节方法。由于该对比度调节装置20中各个操作的细节与在上文中针对图1至图7描述的对比度调节方法基本相同，因此为了避免重复，在下文中对对比度调节装置20进行描述的同时，省略相同细节的描述。
例如，如图9所示，对比度调节装置20包括瞳孔中心位置获取单元21、注视区域获得单元22以及亮度调节单元23。如上所述，这些单元均可以通过软件、固件或硬件以及其任意结合的方式来实现。
例如，瞳孔中心位置获取单元21配置为获取用户的眼球以及眼球周边的图像信息，并对图像信息进行特征提取以获得用户的瞳孔的图像，以及确定用户的瞳孔的图像的中心位置坐标。例如，该瞳孔中心位置获取单元21可以执行图6中所示的确定瞳孔的中心位置坐标的步骤S1111-S1113。例如，获取用户的眼球以及眼球周边的图像信息可以通过包括例如CMOS传感器、CCD传感器或红外摄像头等图像采集装置实现，并且所获取的图像信息可以保存在存储当中。
例如，注视区域获得单元22配置为根据瞳孔中心位置获取单元21获取 的瞳孔的中心位置坐标确定用户观看的显示区域中的注视点的坐标，并且根据注视点的坐标确定用户的注视区域101。例如，该注视区域获得单元22可以用于实现图1中所示的对比度调节方中的步骤S110和步骤S120。
例如，注视区域获取单元22包括中心位置坐标获取子单元以及注视点坐标获取子单元(图中未示出)。例如，中心位置坐标获取子单元配置为获取用户的瞳孔的中心位置坐标。例如，注视点坐标获取子单元配置为根据瞳孔的中心位置坐标，映射确定用户观看的显示区域中的注视点的坐标。
例如，亮度调节单元23配置为调节注视区域101的亮度。例如，该亮度调节单元23可以执行图7中所示的调节注视区域的亮度的步骤。
例如，用户观看的显示区域还包括位于注视区域以外的非注视区域102，该度调节单元23还配置为调节非注视区域102的亮度。
例如，该亮度调节单元23可以包括亮度增强子单元(图中未示出)，且配置为：在用户观看的显示区域的平均亮度值小于预定功耗对应的平均亮度值的情况下，增强注视区域101的亮度，或者在用户观看的显示区域的平均亮度值大于或等于预定功耗对应的平均亮度值的情况下，降低非注视区域102的亮度。
需要注意的是，在本公开的实施例中，可以包括更多或更少的电路，并且各个电路之间的连接关系不受限制，可以根据实际需求而定。各个电路的具体构成方式不受限制，可以根据电路原理由模拟器件构成，也可以由数字芯片构成，或者以其他适用的方式构成。
关于对比度调节装置20的技术效果可以参考本公开的实施例中提供的对比度调节方法的技术效果，这里不再赘述。
本公开一实施例还提供了一种虚拟现实设备1。该虚拟现实设备1包括本公开任一实施例提供的对比度调节装置。例如，包括图8中所示的对比度调节装置10或图9中所示的对比度调节装置20。图10为本公开一实施例提供的一种虚拟现实设备的示意框图。例如，如图10所示，虚拟现实设备1包括处理器11、存储器12、图像采集装置13和显示屏14。
例如，图像采集装置13可以配置为获取用户的瞳孔的图像。例如，图像采集装置13可以包括CMOS图像传感器、CCD图像传感器或红外摄像头， 例如，可以设置在显示屏所在的平面内，例如设置在虚拟现实设备的边框上。例如，图像采集装置13可以将采集到的图像信息进行特征提取与分类以获取用户的瞳孔的图像。例如，图像采集装置13还可以包括图像处理单元，以对获取的瞳孔的图像进行膨胀腐蚀处理，例如，可以通过软件、固件或硬件等实现。
例如，显示屏14可以为OLED显示屏、微LED显示屏、硅基液晶(LCOS)显示屏等。
例如，这些组件通过总线系统15和/或其它形式的耦合机构(未示出)互连。例如，总线系统15可以是常用的串行、并行通信总线，本公开的实施例对此不作限制。需要注意的是，图10所示的虚拟现实设备1的组件和结构只是示例性的，而非限制性的，根据需要，虚拟现实设备1也可以具有其他组件和结构。
例如，该处理器11可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制虚拟现实设备1中的其它组件以执行期望的功能。存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现所述的本公开实施例中(由处理器11实现)的功能以及/或者其它期望的功能，例如亮度调节操作、注视点确定方法以及瞳孔的中心位置坐标的确定等。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如预先设定的标定点的坐标以及所述应用程序使用和/或产生的各种数据等。
关于虚拟现实设备1的技术效果可以参考本公开的实施例中提供的对比度调节方法的技术效果，这里不再赘述。
本公开一实施例还提供一种存储介质。例如，该存储介质非暂时性地存储计算机可读指令，当非暂时性计算机可读指令由计算机执行时可以执行本 公开任一实施例提供的注视点确定方法或本公开任一实施例提供的对比度调节方法。
例如，该存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于亮度增强操作的计算机可读的程序代码，另一个计算机可读存储介质包含注视点计算操作的计算机可读的程序代码。例如，当该程序代码由计算机读取时，计算机可以执行该计算机存储介质中存储的程序代码，执行例如本公开任一实施例提供的亮度调节操作、注视点确定方法以及瞳孔的中心位置坐标的确定等操作方法。
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (20)

  1. 一种注视点确定方法，包括：
    获取用户的瞳孔的中心位置坐标；以及
    根据所述瞳孔的中心位置坐标，映射确定所述用户观看的显示区域中的注视点的坐标。
  2. 根据权利要求1所述的注视点确定方法，其中，所述注视点的坐标通过如下表达式获得：
    Figure PCTCN2018106516-appb-100001
    其中，X G，Y G分别为所述注视点的横坐标和纵坐标，x，y分别为所述瞳孔的中心位置的横坐标和纵坐标，a 0至a 6以及b 0至b 6为映射参数。
  3. 根据权利要求2所述的注视点确定方法，其中，所述映射参数根据所述显示区域中预先设定的标定点坐标和预先获得的多个瞳孔的中心位置坐标确定。
  4. 根据权利要求1-3任一所述的注视点确定方法，其中，获取所述用户的瞳孔的中心位置坐标包括：
    获取所述用户的眼球以及眼球周边的图像信息；
    对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及
    确定所述用户的瞳孔的图像的中心位置坐标。
  5. 一种用于虚拟现实设备的对比度调节方法，包括：
    采用如权利要求1-4任一所述的注视点确定方法确定所述用户观看的显示区域中的注视点的坐标；
    根据所述注视点的坐标确定用户的注视区域；以及
    调节所述注视区域的亮度。
  6. 根据权利要求5所述的对比度调节方法，其中，所述用户的注视区域确定为以所述注视点为中心且长度和宽度分别为所述用户观看的显示区域的长度和宽度的15％～45％的区域。
  7. 根据权利要求5所述的对比度调节方法，其中，所述用户观看的显示 区域还包括位于所述注视区域以外的非注视区域，并且
    所述亮度调节还包括调节所述非注视区域的亮度。
  8. 根据权利要求7所述的对比度调节方法，其中，根据所述非注视区域到所述注视区域的距离，调节所述非注视区域的亮度。
  9. 根据权利要求7所述的对比度调节方法，其中，调节所述注视区域的亮度为亮度增强操作，所述亮度增强操作包括：
    检测所述用户观看的显示区域的平均亮度值和预定功耗对应的平均亮度值的大小；
    在所述用户观看的显示区域的平均亮度值小于所述预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度。
  10. 根据权利要求9所述的对比度调节方法，其中，所述亮度增强操作还包括：
    在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
  11. 根据权利要求10所述的对比度调节方法，其中，
    增强所述注视区域的亮度包括：将所述注视区域的像素值分别乘以平均亮度比值；
    降低所述非注视区域的亮度包括：将所述非注视区域的像素值分别乘以平均亮度比值；
    所述平均亮度比值表示为：
    Figure PCTCN2018106516-appb-100002
    其中，L表示所述平均亮度比值，Ave1表示所述用户观看的显示区域的平均亮度值，Ave2表示所述预定功耗对应的平均亮度值。
  12. 一种对比度调节装置，包括：
    处理器；
    存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现权利要求5-11任一所述的对比度调节方法的 指令。
  13. 一种对比度调节装置，包括注视区域获得单元以及亮度调节单元；其中，
    所述注视区域获得单元配置为，根据用户的瞳孔的中心位置坐标确定所述用户观看的显示区域中的注视点的坐标，并且根据所述注视点的坐标确定所述用户的注视区域；以及
    所述亮度调节单元配置为调节所述注视区域的亮度。
  14. 根据权利要求13所述的对比度调节装置，其中，所述用户观看的显示区域还包括位于所述注视区域以外的非注视区域，所述亮度调节单元还配置为调节所述非注视区域的亮度。
  15. 根据权利要求14所述的对比度调节装置，其中，所述亮度调节单元包括亮度增强子单元，且配置为：在所述用户观看的显示区域的平均亮度值小于预定功耗对应的平均亮度值的情况下，增强所述注视区域的亮度，或者在所述用户观看的显示区域的平均亮度值大于或等于所述预定功耗对应的平均亮度值的情况下，降低所述非注视区域的亮度。
  16. 根据权利要求13所述的对比度调节装置，其中，所述注视区域获取单元还包括：
    中心位置坐标获取子单元，配置为获取用户的瞳孔的中心位置坐标；以及
    注视点坐标获取子单元，配置为根据所述瞳孔的中心位置坐标，映射确定所述用户观看的显示区域中的注视点的坐标。
  17. 根据权利要求16所述的对比度调节装置，还包括瞳孔中心位置获取单元，其中，所述瞳孔中心位置获取单元配置为：获取所述用户的眼球以及眼球周边的图像信息，对所述图像信息进行特征提取以获得所述用户的瞳孔的图像；以及确定所述用户的瞳孔的图像的中心位置坐标。
  18. 一种虚拟现实设备，包括如权利要求12-17任一所述的对比度调节装置。
  19. 根据权利要求18所述的虚拟现实设备，还包括图像采集装置，其中，所述图像采集装置配置为获取所述用户瞳孔的图像。
  20. 一种存储介质，非暂时性地存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行根据权利要求1-4任一所述的注视点确定方法或根据权利要求5-11任一所述的对比度调节方法。
PCT/CN2018/106516 2018-01-12 2018-09-19 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质 Ceased WO2019137038A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/335,952 US11467661B2 (en) 2018-01-12 2018-09-19 Gaze-point determining method, contrast adjusting method, and contrast adjusting apparatus, virtual reality device and storage medium
EP18857405.7A EP3739431B1 (en) 2018-01-12 2018-09-19 Method for determining point of gaze, contrast adjustment method and device, virtual reality apparatus, and storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810032553.3A CN110032271B (zh) 2018-01-12 2018-01-12 对比度调节装置及其方法、虚拟现实设备及存储介质
CN201810032553.3 2018-01-12

Publications (1)

Publication Number Publication Date
WO2019137038A1 true WO2019137038A1 (zh) 2019-07-18

Family

ID=67218439

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/106516 Ceased WO2019137038A1 (zh) 2018-01-12 2018-09-19 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质

Country Status (4)

Country Link
US (1) US11467661B2 (zh)
EP (1) EP3739431B1 (zh)
CN (1) CN110032271B (zh)
WO (1) WO2019137038A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793320A (zh) * 2021-09-14 2021-12-14 西安诺瓦星云科技股份有限公司 确定显示单元的偏移的方法、装置、电子设备及存储介质

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111766939A (zh) * 2019-03-15 2020-10-13 苹果公司 在光学透传显示器上的注意力方向
CN110648369B (zh) 2019-09-23 2022-07-19 京东方科技集团股份有限公司 视线计算模型参数的标定方法及装置
CN110867172B (zh) * 2019-11-19 2021-02-26 苹果公司 动态控制标准动态范围和高动态范围内容的电子设备
CN111452616B (zh) * 2020-03-30 2021-10-12 广州小鹏汽车科技有限公司 一种信息的显示控制方法、装置和车辆
US11195477B2 (en) * 2020-03-31 2021-12-07 Lenovo (Singapore) Pte. Ltd. Adjustment of pixel drive strength within an augmented reality scene
CN114281184A (zh) * 2020-09-28 2022-04-05 京东方科技集团股份有限公司 注视点计算装置及其驱动方法、电子设备
CN112819967B (zh) * 2021-01-14 2024-07-30 京东方科技集团股份有限公司 一种显示方法、装置及系统、存储介质、显示器
US12437869B2 (en) 2021-01-22 2025-10-07 Sesame Ai, Inc. Headset integrated into healthcare platform
US11625095B2 (en) * 2021-01-22 2023-04-11 Zinn Labs, Inc. Gaze sensors and display elements for detection of gaze vectors and user control at headset
WO2022246649A1 (zh) * 2021-05-25 2022-12-01 京东方科技集团股份有限公司 用于显示面板的控制方法及其控制装置、显示装置
CN113890987A (zh) * 2021-08-23 2022-01-04 歌尔光学科技有限公司 一种自动调焦方法、装置、电子设备及存储介质
CN115729346A (zh) * 2021-08-31 2023-03-03 华为技术有限公司 界面显示方法和电子设备
CN113870639A (zh) * 2021-09-13 2021-12-31 上海市精神卫生中心（上海市心理咨询培训中心） 一种基于虚拟现实的训练评估方法及系统
US20240370086A1 (en) * 2021-09-16 2024-11-07 Hewlett-Packard Development Company, L.P. Display Panel Operation Based on Eye Gaze Patterns
CN114816065B (zh) * 2022-04-28 2024-07-30 歌尔股份有限公司 屏幕背光的调节方法、虚拟现实设备以及可读存储介质
KR20240023335A (ko) * 2022-08-12 2024-02-21 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
CN115437508A (zh) * 2022-11-08 2022-12-06 北京易点淘网络技术有限公司 显示屏的控制方法、装置、电子设备和存储介质
CN118430406A (zh) * 2023-02-02 2024-08-02 华为技术有限公司 一种亮度显示方法和电子设备
CN117632069A (zh) * 2023-12-19 2024-03-01 歌尔科技有限公司 图像显示方法、装置及虚拟现实设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080111833A1 (en) * 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
CN101576771A (zh) * 2009-03-24 2009-11-11 山东大学 基于非均匀样本插值的眼动仪定标方法
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050025927A (ko) * 2003-09-08 2005-03-14 유웅덕 홍채인식을 위한 동공 검출 방법 및 형상기술자 추출방법과 그를 이용한 홍채 특징 추출 장치 및 그 방법과홍채인식 시스템 및 그 방법
US8687840B2 (en) * 2011-05-10 2014-04-01 Qualcomm Incorporated Smart backlights to minimize display power consumption based on desktop configurations and user eye gaze
CA2750287C (en) * 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8752963B2 (en) * 2011-11-04 2014-06-17 Microsoft Corporation See-through display brightness control
CN104484043A (zh) 2014-12-25 2015-04-01 广东欧珀移动通信有限公司 屏幕亮度调节方法及装置
US20170206862A1 (en) * 2016-01-20 2017-07-20 Samsung Electronics Co., Ltd. Method of regulating brightness of a display screen
CN106056092B (zh) * 2016-06-08 2019-08-20 华南理工大学 基于虹膜与瞳孔的用于头戴式设备的视线估计方法
CN107665040A (zh) * 2016-07-27 2018-02-06 Fove股份有限公司 视线检测系统、偏移检测方法、偏移检测程序
CN107945766A (zh) * 2017-11-03 2018-04-20 苏州佳世达电通有限公司 显示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080111833A1 (en) * 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
CN101576771A (zh) * 2009-03-24 2009-11-11 山东大学 基于非均匀样本插值的眼动仪定标方法
CN101964111A (zh) * 2010-09-27 2011-02-02 山东大学 基于超分辨率的视线跟踪精度提升方法
CN102830797A (zh) * 2012-07-26 2012-12-19 深圳先进技术研究院 一种基于视线判断的人机交互方法及系统
CN104133548A (zh) * 2013-05-03 2014-11-05 中国移动通信集团公司 确定视点区域及控制屏幕亮度的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3739431A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113793320A (zh) * 2021-09-14 2021-12-14 西安诺瓦星云科技股份有限公司 确定显示单元的偏移的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110032271A (zh) 2019-07-19
US20210341998A1 (en) 2021-11-04
CN110032271B (zh) 2020-07-24
EP3739431A1 (en) 2020-11-18
EP3739431B1 (en) 2023-04-26
US11467661B2 (en) 2022-10-11
EP3739431A4 (en) 2021-10-06

Similar Documents

Publication Publication Date Title
WO2019137038A1 (zh) 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质
EP4024270A1 (en) Gesture recognition method, electronic device, computer-readable storage medium, and chip
CN108428214B (zh) 一种图像处理方法及装置
CN112040834A (zh) 眼球跟踪方法及系统
CN111771226A (zh) 电子设备、其图像处理方法及计算机可读记录介质
CN108537155A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN106652972A (zh) 显示屏的处理电路、显示方法及显示器件
WO2021175180A1 (zh) 视线确定方法、装置、电子设备和计算机可读存储介质
CN102930278A (zh) 一种人眼视线估计方法及其装置
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN113179421B (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN114973344B (zh) 人脸检测方法、装置、终端设备和计算机可读存储介质
WO2019015477A1 (zh) 图像矫正方法、计算机可读存储介质和计算机设备
CN110728705B (zh) 图像处理方法、装置、存储介质及电子设备
CN113642425A (zh) 基于多模态的图像检测方法、装置、电子设备及存储介质
CN109313797B (zh) 一种图像显示方法及终端
CN112102207A (zh) 一种确定温度的方法、装置、电子设备及可读存储介质
US12536615B2 (en) Bad pixel correction in image processing applications or other applications
CN105718033A (zh) 疲劳检测系统及方法
CN118923123A (zh) 图像捕获推荐
CN113971671B (zh) 实例分割方法、装置、电子设备及存储介质
CN110047126B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
US12238424B2 (en) Reference frame selection for multi-frame image processing pipelines and other applications
WO2024055531A1 (zh) 照度计数值识别方法、电子设备及存储介质
CN114004809A (zh) 皮肤图像处理方法、装置、电子设备和介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18857405

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018857405

Country of ref document: EP

Effective date: 20200812