EP4241132A1 - Bestimmung der augenoptisch relevanten biometrie zumindest eines auges aus einem bild einer augenpartie - Google Patents

Bestimmung der augenoptisch relevanten biometrie zumindest eines auges aus einem bild einer augenpartie

Info

Publication number
EP4241132A1
EP4241132A1 EP21805493.0A EP21805493A EP4241132A1 EP 4241132 A1 EP4241132 A1 EP 4241132A1 EP 21805493 A EP21805493 A EP 21805493A EP 4241132 A1 EP4241132 A1 EP 4241132A1
Authority
EP
European Patent Office
Prior art keywords
eye
data
individual
image data
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP21805493.0A
Other languages
English (en)
French (fr)
Inventor
Adam MUSCHIELOK
Lukas GROMANN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rodenstock GmbH
Original Assignee
Rodenstock GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=78536221&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=EP4241132(A1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Rodenstock GmbH filed Critical Rodenstock GmbH
Publication of EP4241132A1 publication Critical patent/EP4241132A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024—Methods of designing ophthalmic lenses
    • G02C7/027—Methods of designing ophthalmic lenses considering wearer's parameters
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C7/00—Optical parts
    • G02C7/02—Lenses; Lens systems ; Methods of designing lenses
    • G02C7/024—Methods of designing ophthalmic lenses
    • G02C7/028—Special mathematical design techniques

Definitions

  • the present invention relates to a (computer-implemented) method for determining biometric data of an eye and a corresponding method for producing spectacle lenses, taking into account the determined biometric data. Furthermore, the invention relates to corresponding computer program products and devices.
  • One object of the present invention is to be able to make extensive use of the advantages of biometric spectacle lenses without having to accept the disadvantages of the complex measurement. This object is achieved by a computer-implemented method for determining biometric data of an eye, a corresponding device and a corresponding computer program product, and a method and a corresponding device for producing a spectacle lens with the features specified in the respective independent claims.
  • the present invention is based on the surprising finding that it is possible to determine or derive individual biometric parameters of at least one of a user's eyes, which are used for improved individual calculation or production or adjustment of a spectacle lens, using data that can be derived from a or multiple images of at least a portion of an eye area of the user. It is thus possible to calculate and produce individual biometric spectacle lenses with high image quality and wearing comfort, without a complex and cost-intensive measurement of the additional biometric data being necessary for this purpose.
  • a first aspect of the invention relates to a computer-implemented method for determining individual biometric parameters of at least one of the eyes of a user, comprising:
  • image data comprising or consisting of: at least one image of at least part of an eye area of the user; and/or geometric information about at least part of the user's eye area, which results directly from at least one image of at least part of the user's eye area;
  • Determining individual additional data which includes at least one individual biometric parameter of the at least one eye of the user, based on the image data provided, and using a statistical model which describes a relationship between the image data and the additional data.
  • the invention is advantageous in that the image data with common and very simple devices (cameras), which in particular do not have to be designed so that the additional data can be determined directly from the image data.
  • the method offers advantages if the individual additional data cannot be determined directly from the individual image data of the person being measured, because such a connection cannot be derived from the measurement method used without additional information about corresponding additional data from other persons, e.g. because the device, which provides the image data is not able to measure the additional information directly.
  • the statistical model can be derived or may have been derived by means of statistical analysis of a training data set with a large number of reference data sets, each of the reference data sets comprising image data and additional data assigned to the image data.
  • the method can include providing the statistical model that describes the relationship between the image data and the additional data.
  • the method can include providing a training data set and deriving the statistical model by means of statistical analysis of the training data set. Deriving the statistical model may include, for example, training an original (untrained) model using the training data set.
  • the model can include a number of model parameters which are changed or adapted during training with the training data set.
  • the term “providing” as used in the present application includes “determining”, “transmitting”, “receiving”, “reading out”, “retrieving from a memory, a database and/or a table”, “receiving”, etc..
  • the term “determine” within the meaning of the present application also includes “determine”, “calculate”, “determine”, “predict”, etc.
  • the value of at least one parameter of a person which is related to the biometrics of one eye - or advantageously both eyes - of the person is thus estimated in a data set assigned to the person, the data set containing data associated with or derived from images of at least part of the eye area.
  • a statistical model is used for the determination, in which relationships between the said parameter and the data associated with at least one image of a part of the eye area, which apply at least to a large number of people, are mapped.
  • the value determined in this way can be included in the calculation of spectacle lenses or other ophthalmic lenses such as contact lenses or intraocular lenses.
  • a high-dimensional parameterization of the eye biometry e.g. representation of the refracting surfaces using Zernike polynomials or other models with a large number of parameters
  • the restriction to greatly simplified models of the eye biometry e.g. an eye model limited to spherical surfaces
  • the determined parameters reflect the actual eye biometrics better than a simplified model.
  • Image data within the meaning of the present description is in particular data that is associated with images of at least part of the eye area of a user.
  • camera images themselves can be used in the process in order to determine a pupil distance from them, for example, on the basis of which additional data are then determined using the statistical model, or the individual pupil distance determined from camera images is provided as image data in order to then use the statistical model to determine. It is also possible to determine the additional data directly from the individual camera image without first explicitly determining an individual value of the pupillary distance.
  • image data applies both to individual image data, which are used, for example, in the context of an individual order to determine individual biometric data, and to statistical image data, as such image data that can be part of corresponding reference data in the context of a training data set, on the basis of which the statistical. model has been or can be created or trained.
  • the image data include one or more of the following parameters or the image data consist of one or more of the following parameters: one or more camera images in which at least one eye, preferably both eyes, can be seen, in particular from the front; one or more camera images in which at least one eye can be seen, in particular from the side;
  • Geometric course of a section of the cornea surface e.g. the vertical section of the cornea in a camera image from the side
  • Distance of the ocular pivot points (especially as optical ocular pivot points); corneal diameter (white-to-white, especially measured horizontally); the shape and/or position of the pupil or parts thereof (in a given representation, eg as a closed or open polygon, as spline coefficients, etc.); the shape and/or position of the outer edge of the iris or parts thereof (in a given representation, eg as closed or open polygon, as spline coefficients, etc.);
  • 3D models of the eye area e.g., as 3-dimensional point clouds, 3-dimensional edge networks that can be determined using depth cameras, etc.
  • current viewing direction e.g., as 3-dimensional point clouds, 3-dimensional edge networks that can be determined using depth cameras, etc.
  • Presence of heterophoria and/or preferably its expression Presence of heterophoria and/or preferably its expression.
  • Additional data is biometric data or includes biometric data of at least one of the user's eyes, in particular such biometric data that cannot be read or measured directly from the image data (e.g. as geometric distances between points marked), but which, for example, are conventional, in particular optional (e.g by an optician) in connection with an order for glasses and are taken into account in particular in the case of an individual selection and/or optimization and/or adjustment of glasses or at least one lens.
  • biometric data includes biometric data of at least one of the user's eyes, in particular such biometric data that cannot be read or measured directly from the image data (e.g. as geometric distances between points marked), but which, for example, are conventional, in particular optional (e.g by an optician) in connection with an order for glasses and are taken into account in particular in the case of an individual selection and/or optimization and/or adjustment of glasses or at least one lens.
  • the additional data can include data which (usually) is recorded with an aberrometer, a top graph, a Scheimpflug camera, an OCT, a biometer, a fundus camera, a (low-coherence) laser reflectometer and/or another measuring device or another method of objective refraction can be recorded or have been recorded.
  • the at least one individual biometric parameter includes one or more of the following parameters:
  • eye length (especially the geometric overall length of the eye); optical length of the eye (integral of the refractive index along a the point of sharpest vision on the retina and the center of the pupil of a traveling light beam of a given wavelength such as 550 nm); one or more geometric distances and/or optical path lengths between the apices of the refracting surfaces of an eye to each other or to another common reference point (eg to the point of sharpest vision on the retina);
  • Shape of the refracting surfaces e.g. shape and/or tilting of the cornea or one of the lens surfaces
  • a given parameterization e.g. using radii of curvature in principal sections and their orientation, Zernike coefficients of the arrow height, geometric curvatures or equivalent representations, e.g. as a power vector or as a polar representation
  • geometric curvatures or equivalent representations e.g. as a power vector or as a polar representation
  • Diameter or radius of the eye's physical aperture i.e., the opening of the iris
  • optical entrance pupil image of the iris through the cornea
  • a given lighting condition e.g., given or average indoor lighting
  • size and/or shape of the retina particularly size and/or shape of the fovea
  • Orientation of the retina e.g. as the direction of a vector perpendicular to the retina at the point of sharpest vision relative to the direction of light incidence (e.g. a light ray passing through the center of the pupil and the point of sharpest vision);
  • the biometric data of at least one of the user's eyes can, in particular, be data from a single eye or data from one or both eyes relative to the head or data of both eyes relative to each other.
  • the additional data can also include one or more of the following parameters: the higher order aberrations of the eye or at least the cornea (such as coma, trefoil, secondary astigmatism, spherical aberration, etc.), the lower and higher order aberrations of the cornea ( sphere (Sph), cylinder (Zyl), axis (or M, JO, J45), coma, trefoil, secondary astigmatism, spherical aberration, etc.), the anterior chamber depth, the pupil sizes in the far and near and/or below mesopic and photopic conditions
  • the additional data in the reference data records can be, for example, data that has been recorded or measured in addition to image data when biometric lenses were ordered earlier, for example with an aberrometer, a top graph, a Scheimpflug camera, an OCT, a biometer, a fundus camera, a (low coherence) laser reflectometer and/or another measuring device.
  • the individual additional data determined using the individual image data of a user and the statistical model can, but need not, be the same type of additional data that is contained in the reference data sets and is used to derive the statistical model.
  • the statistical model can be any statistical model that is derived from an existing data set (training data set) using statistical methods.
  • Exemplary statistical methods are regression (such as linear regression, especially of nonlinear features, nonlinear regression, nonlinear regression with an attention mechanism, nonlinear multi-task regression, nonparametric or semiparametric regression, etc.), classification methods, as well as other methods of the machine learning.
  • Machine learning algorithms are e.g described in Jeremy Watt, Reza Borhani, Aggelos Katsaggelos: Machine Learning Refined: Foundations, Algorithms, and Applications, Cambridge University Press, 2020.
  • the statistical model receives at least part of the individual image data and/or variables derived therefrom as input variables and uses this to calculate at least part of the additional individual biometric parameters or additional data.
  • the relationship between image data and additional data which is predetermined by the statistical model, can be a linear or non-linear relationship. Furthermore, the relationship can be multi-parametric.
  • At least the statistical model comprises one or more of the following models or it is preferably based on one or more of the following models: a linear model (possibly related to non-linear features, e.g. non-linear functions of the geometric information about the eye area Parameter); a Gaussian process; a neural network (e.g. deep neural network); a decision tree or regression tree; a Boltzmann machine (Restricted Boltzmann Machine) a Support Vector Machine
  • Exemplary statistical models are linear or non-linear regression models.
  • neural networks which also include deep neural networks, can be used as non-linear regression models. It is also possible to use other non-linear regression models known from the field of machine learning.
  • the regression models such as the neural network, can be trained using the training data set provided.
  • the statistical model can also be a combination of several statistical models Models of different types, eg a combination of a linear regression model, a non-linear regression model (such as a neural network), a classification model and/or another statistical model.
  • Models of different types eg a combination of a linear regression model, a non-linear regression model (such as a neural network), a classification model and/or another statistical model.
  • the statistical model is preferably further improved as new data is added (e.g. ongoing training of a neural network with new data).
  • additional parameters that are not related to the eye area can be used in addition to the data associated with images of the eye area, e.g. age, gender, ethnicity, height, weight, head circumference, etc.
  • the statistical model may also contain constraints (e.g. that the predicted eye model is consistent with a known refraction).
  • the statistical model derived from the training data set can be stored in a suitable storage device such as a database, calculator, computational or data cloud. At least part of the training data set used for the derivation can be stored together with the statistical model.
  • the statistical model derived from a training data set can also be checked and/or modified continuously or at regular intervals, for example on the basis of new reference data sets. Accordingly, the method may include modifying the statistical model.
  • the statistical model which describes the connection between image data and additional data, is derived using statistical methods on the basis of a training data set with a large number of individual data sets (reference data sets).
  • each of the reference records can Image data and the additional data of a specific user determined by means of suitable measurement methods.
  • the different reference data sets in the training data set can preferably include the data (image data and additional data) from a large number of different users (reference users).
  • existing orders for biometric lenses can be used to train a neural network or another statistical model with the data sets.
  • the additional measurement data (additional data) can be calculated or forecast using the trained statistical model and based on the individual image data contained in the new order.
  • biometric spectacle lenses can be calculated based on individual image data and additional data calculated from them using the neural network or other statistical models.
  • the number of reference data sets can vary. For example, more than 10, 100, 1,000, 10,000, 100,000, or 1,000,000 reference records may be used.
  • the reference data records preferably cover a large area, preferably the entire area, in which spectacle lenses can later be ordered.
  • the reference data sets can cover the range of refraction values, e.g. -20 dpt to +20 dpt for spheres and -8 dpt to +8 dpt for cylinders.
  • the method for determining individual biometric parameters of at least one of the eyes of a user can include transmitting the individual image data and the calculated additional individual data to an external entity, such as a manufacturer of ophthalmic spectacle lenses, a manufacturing unit, a manufacturing device, etc.
  • an external entity such as a manufacturer of ophthalmic spectacle lenses, a manufacturing unit, a manufacturing device, etc.
  • a second aspect of the invention relates to a method for producing a spectacle lens, comprising:
  • the spectacle lens can be calculated, for example, using the method described in US Pat. No. 9,910,294 B2 or using another known method in which individual biometric parameters are taken into account when calculating the spectacle lens.
  • the method can also include manufacturing the calculated spectacle lens.
  • the spectacle lens can be, for example, a single-vision spectacle lens, a multifocal spectacle lens or a progressive spectacle lens.
  • the invention relates to a method for manufacturing a spectacle lens and/or a method for providing a manufacturing data record for manufacturing a spectacle lens, comprising:
  • image data comprising: - at least one image of at least part of a user's eye area; and/or geometric information about at least part of the user's eye area, which results directly from at least one image of at least part of the user's eye area;
  • a third aspect of the invention relates to a computer-implemented method for determining a statistical model, the method comprising:
  • each of the reference data records comprising image data and additional data associated with the image data
  • a fourth aspect of the invention relates to a computer program product which, when loaded into and executed on a computer's memory, causes the computer to perform a method according to any of the above aspects.
  • a fifth aspect of the invention thus relates to a device for determining individual biometric parameters of at least one of the eyes of a user, the device comprising a computing device which is designed to carry out the method described above for determining individual biometric parameters.
  • the invention provides a device for determining individual biometric parameters of at least one of the eyes of a user, the device comprising a computing device which is designed to carry out the following:
  • image data comprising: - at least one image of at least part of an eye area of the user; and or geometric information about at least part of the user's eye area, which results directly from at least one image of at least part of the user's eye area;
  • Determining individual additional data which includes at least one individual biometric parameter of the at least one eye of the user, based on the image data provided, and using a statistical model which describes a relationship between the image data and the additional data.
  • the computing device can preferably comprise: an image data input interface for providing individual image data of the user, the image data comprising: - at least one image of at least part of an eye area of the
  • an additional data calculation device for calculating individual additional data, comprising at least one individual biometric parameter of at least one eye of the user, the calculation being based on the individual image data and using a statistical model, the statistical model using statistical analysis of a training data set with a large number of reference data sets has been derived, each of the reference data sets comprising image data and the image data associated additional data.
  • the device can comprise a model input interface for providing the statistical model.
  • the statistical model may be stored in a storage device, such as a database, a computing device, and/or a data or computing cloud.
  • the device can provide a training data set input interface for providing the training data set; and a model calculation device for deriving or calculating the statistical model by means of statistical analysis of the Training dataset include.
  • the statistical model can be derived or calculated, for example, by training an original (untrained) model using the training data set.
  • a sixth aspect of the invention relates to a device for manufacturing a spectacle lens and/or for providing spectacle lens manufacturing data, comprising:
  • a device for determining individual biometric parameters of at least one of a user's eyes according to the fifth aspect; a lens calculation device, which is designed to calculate the spectacle lens based on at least the calculated individual biometric parameters.
  • the manufacturing device can also include a manufacturing device for manufacturing the calculated spectacle lens.
  • the above-mentioned devices for providing, determining, specifying or calculating data can be replaced by suitably configured or programmed data processing devices (in particular specialized hardware modules , computers or computer systems, such as computer or data clouds) can be implemented with appropriate computing units, electronic interfaces, storage and data transmission units.
  • the devices may further comprise at least one graphical user interface (GUI), preferably interactive, allowing a user to view and/or enter and/or modify data.
  • GUI graphical user interface
  • the devices mentioned above can also have suitable interfaces that enable data (such as training data sets, reference data sets, (individual) image data, (individual) additional data, etc.) to be transmitted, input and/or read out.
  • the devices can also include at least one storage unit, for example in the form of a database, which stores the data used.
  • the manufacturing device can, for example, include at least one CNC-controlled machine for the direct processing of a lens blank according to the determined optimization specifications.
  • the spectacle lens can be manufactured using a casting process.
  • the finished spectacle lens can have a first simple spherical or rotationally symmetrical aspheric surface and a second individual surface calculated as a function of the individual standard data and calculated individual additional data.
  • the simple spherical or rotationally symmetrical aspherical surface can be the front surface (ie the object-side surface) of the spectacle lens.
  • the individual surface can be arranged as the front surface of the spectacle lens. Both surfaces of the spectacle lens can also be calculated individually.
  • the device for producing a spectacle lens can be designed in one piece or as an independent machine, i.e. all components of the device (in particular the device for determining individual biometric parameters of at least one of the eyes of a user and the lens calculation device) can be part of one and the same system or be one and the same machine. In a preferred embodiment, however, the device for producing a spectacle lens is not designed in one piece, but is implemented by different (in particular independent) systems or machines.
  • the device for determining individual biometric parameters of at least one of a user's eyes and the lens calculation device can be implemented as a first system (in particular comprising a computer) and the manufacturing device as a second system.
  • the various systems can be located at different locations, ie they can be physically separated from one another.
  • one or more systems can be in the frontend and one or more other systems in the backend.
  • the individual systems can, for example, be located at different company locations or be operated by different companies.
  • the individual systems have, in particular, communication means in order to exchange data with one another.
  • the different systems of Device communicate directly with each other, in particular over a network (e.g. over a local network and / or over the Internet).
  • a device described herein can be designed as a system.
  • the system can include a number of devices (possibly locally separated), which are designed to carry out individual method steps of a corresponding method.
  • a further aspect of the invention relates to a spectacle lens which is produced according to the production method described above. Furthermore, the invention offers a use of a spectacle lens manufactured according to the manufacturing method described above in a predetermined average or ideal or individual usage position of the spectacle lens in front of the eyes of a specific user for correcting ametropia of the user.
  • 1 shows an exemplary method for determining individual biometric
  • FIG. 5 shows the component C2 0 of the Zernike coefficients of the cornea as a function of the pupillary distance (FIG. 5A) or as a function of the spherical equivalent (FIG. 5B); 1 shows an exemplary method for determining individual biometric parameters of at least one of the eyes of a user and for calculating a spectacle lens based on the determined individual biometric parameters.
  • the procedure includes the following steps:
  • Step S1 Creation or provision of a training data set 1 from a large number of data sets (reference data sets) 10, each reference data set containing image data 12 and additional data 14 associated with this image data.
  • the image data 12 includes, in particular, one or more of the following data or parameters: one or more camera images in which at least one eye, preferably both eyes, can be seen, in particular from the front; one or more camera images in which at least one eye can be seen, in particular from the side;
  • Distance of the ocular pivot points (especially as optical ocular pivot points); corneal diameter (white-to-white, especially measured horizontally); the shape and/or position of the pupil or parts thereof (in a given representation, e.g. as a closed or open polygon, as spline coefficients, etc.); the shape and/or position of the outer edge of the Isis or parts thereof (in a given representation, e.g. as closed or open polygon, as spline coefficients, etc.);
  • 3D models of the eye area e.g., as 3-dimensional point clouds, 3-dimensional edge networks that can be determined using depth cameras, etc.
  • current viewing direction e.g., as 3-dimensional point clouds, 3-dimensional edge networks that can be determined using depth cameras, etc.
  • the additional data 14 include in particular one or more of the following data or parameters: eye length (in particular the geometric overall length of the eye); optical length of the eye (integral of the index of refraction along a beam of light of a given wavelength such as 550 nm passing through the point of sharpest vision on the retina and the center of the pupil); one or more distances between the vertices of the refracting surfaces of an eye or from another common reference point (eg the point of sharpest vision on the retina);
  • Shape of the refracting surfaces e.g. shape and/or tilting of the cornea or one of the lens surfaces
  • a given parameterization e.g. using radii of curvature in principal sections and their orientation, Zernike coefficients of the arrow height, geometric curvatures or equivalent representations, e.g. as a power vector or as a polar representation
  • geometric curvatures or equivalent representations e.g. as a power vector or as a polar representation
  • size and/or shape of the retina particularly size and/or shape of the fovea
  • Alignment of the retina e.g. as the direction of a vector perpendicular to the retina at the point of sharpest vision relative to the direction of light incidence (e.g. a light ray passing through the center of the pupil and the point of sharpest vision);
  • Step S2 A connection between the image data and the additional data is derived from the large number of reference data sets with the aid of statistical methods.
  • a statistical model is determined or trained using the training data set, which describes the connection, such as the correlation(s), between the image data and the additional data.
  • the determination of the statistical model can include, for example, training an originally untrained neural network with the training data set, which includes the plurality of reference data sets.
  • the trained neural network can be tested using a test data set and/or can be validated using a validation data set.
  • the test data set and the validation data set may each comprise a plurality of data sets (reference data sets) from previous orders, e.g. a plurality of the reference data sets shown in FIG.
  • a reference data set that is contained in the test data set is preferably contained neither in the validation data set nor in the training data set.
  • a reference data set included in the validation data set is preferably included in neither the test data set nor the training data set.
  • Step S3 Provision of an individual data set (individual order), which includes at least individual image data.
  • the individual image data can be recorded by an optician as part of an individual order for a user's glasses.
  • the individual order can also include further individual information, in particular individual refraction data, especially if this is individual information that is not available without a complex measurement can be determined. These can include simple refraction data (in particular low-order aberrations) and/or also information about an individual usage situation and/or ethnic group and/or age and/or height and/or gender and/or weight of the user.
  • Step S4 Calculate individual additional data (additional data) based on the individual image data contained in the individual data set provided in step S3 and further based on the relationship between image data and additional data determined in step S2.
  • the individual image data can be input to the trained neural network from step S2, for example.
  • the corresponding output data of the neural network can be used directly as the individual additional data. It is possible not to use the output data of the neural network directly, but to first subject this output data to further processing (e.g. checking for plausibility, smoothing, filtering, categorizing, conversion, etc.).
  • Step S5 calculation of an individual spectacle lens based on the individual image data contained in the individual data set provided in step S3 and further based on the calculated individual additional data from step S4.
  • the calculation of an individual spectacle lens includes in particular the calculation of at least one surface of the spectacle lens based on the individual image data and the calculated individual additional data.
  • the surface calculated in this way can be the back surface or the front surface of the spectacle lens.
  • the "calculating at least one area of a spectacle lens” includes the calculation of at least a part of a surface or a piece of a surface. In other words, “calculating at least one area of a spectacle lens” means calculating at least part of the area or calculating the entire area.
  • the face opposite to the calculated face can be a simple face be, such as a spherical, a rotationally symmetrical, an aspherical, a toric or an atoric surface. It is also possible to calculate both areas individually.
  • the individual spectacle lens can be calculated using a known method, for example using the method known from publication US Pat. No. 9,910,294 B2.
  • FIGS. 3 and 4 show exemplary statistical models 2 which are each trained on the basis of a training data record 1.
  • such statistical models can be designed at least partially as neural networks.
  • the statistical model is based on a neural network or consists of one, then for example an input layer of the neural network is occupied with at least part of the image data and/or auxiliary variables calculated therefrom.
  • the output layer outputs values for at least one additional parameter or at least part of the additional data.
  • the neural network can preferably also contain one or more hidden layers in addition to an input and an output layer.
  • the weights are changed using appropriate learning algorithms.
  • the trained neural network specifies the connection between image data and additional data.
  • the structure of the neural network (such as the number and types of layers, number and types of neurons in the different layers, the way the layers and neurons are linked to one another, etc.) and the learning algorithms can be different.
  • FIG. 3 shows an example linear regression model with an input layer and an output layer.
  • FIG. 5 shows an example of a preferred embodiment using an exemplary linear model.
  • the example shown is based on a calculation of the Zernike coefficients of the cornea of an eye with a diameter of about 7 mm around the cornea apex from the pupillary distance.
  • the pupillary distance is used as image data. This can in particular be or have been determined directly or indirectly from at least one image of at least part of an eye area of the user.
  • FIG. 5A shows a training data set which contains a large number of reference data sets which, for a large number of people or pairs of eyes, calculate the respective pupillary distance with the associated Zernike coefficient C2 0 (mean curvature) of the cornea for a radius of 3.55 mm connects.
  • a simple linear regression is preferably used as a statistical model, with which the Zernike coefficient of the cornea developed around the corneal apex with the radius of 3.55 mm is determined from the pupillary distance (PD) as a parameter related to the eye area.
  • the predictive power of this model is 0.11 (adjusted R-squared).
  • WTW white-to-white
  • the predictive power is now 0.15 (adjusted R-squared).
  • FIG. 5B shows a statistical distribution of the mean corneal curvature (C2°) as a function of the spherical equivalent of the refraction of the associated eye. Even if viewed physiologically in isolation, a change in the mean corneal curvature has a very large influence on the spherical equivalent of the eye refraction, statistically there is no pronounced correlation between the mean corneal curvature and the spherical equivalent.
  • non-linear functions e.g. neural networks
  • other distributions of the residuals than the normal distribution e.g. in order to be able to robustly determine the model parameters from the data that may contain outliers.
  • the predictive power of this model is 0.67 (adjusted R-squared).
  • information about the cornea topography is determined with the aid of image data.
  • a trained, deep artificial neuronal network is preferably used as a statistical model, which is or is trained for a connection between images of the eye area (image data) and the cornea topography (additional data).
  • image data images of the eye area
  • additional data additional data
  • the last layers of a network that is possibly already pre-trained on image data are trained in order to determine the cornea topography.
  • the eye biometrics can be determined at least partially and/or approximately from images of the head and/or the area around the eyes (image data), with at least one of the following features (possibly as an intermediate variable) being abstracted or learned from the statistical model as a feature formed in the statistical model will be: Ethnicity, (approximate) age, head size (e.g. head circumference), eye colour, height, weight.
  • Other features are also conceivable for which a causal relationship to be learned from the model is suggested, or for which a corresponding correlation cannot be ruled out a priori.
  • additional parameters are preferably used in the creation and/or application of the statistical model as input data for training or for determining the additional data, if they are available, such as ethnicity, (approximate) age, head size (e.g. head circumference), eye color, height, weight.
  • the additional data include data on the cornea topography (e.g. as a curvature, as a Zernike polynomial, or with the aid of another common description) which, by means of the statistical model, are created with at least two images of the eye area or of the eye ( eg with the help of a two-camera video centering device with 2 cameras) as image data. Distinctive points of the iris which are imaged through different areas of the cornea are preferably sought in the images. Under assumptions (e.g. iris is flat and/or the physical aperture stop is round, known refractive indices of the cornea and the anterior chamber of the eye), the shape of the cornea is then determined (e.g.
  • the invention relates in a preferred embodiment to a determination of the anterior chamber depth, in particular under the assumption that the iris and the boundary between the cornea and the sclera lie in the same plane.
  • a statistical model to calculate more complex properties of the eye biometry (e.g. a naturally occurring cornea shape in an appropriate parameterization and/or the anterior chamber depth and/or a central thickness or a thickness distribution of the cornea) without unnecessarily relying on an overly simplified model (e.g. a model of the cornea as part of a spherical or torus surface) must restrict. In this way, the naturally occurring forms of the cornea can be optimally estimated. Assumptions about the iris or pupil can also depend on a statistical model of other parameters, such as age, refraction, ethnicity, gender, or other known variables (see possible parameters above).
  • a further preferred embodiment relates to the determination of the cornea topography (additional data) from the shape of the line running between the cornea and sclera (image data), or alternatively or additionally from the outer boundary of the iris (image data).
  • the shape of the line running between the cornea and the sclera or the shape of the outer edge of the iris is preferably parameterized, e.g.:
  • a flat elliptical form of the line parameterized eg by semi-axes and, if necessary, additionally its orientation to the horizontal a flat, consisting of two circle sections or elliptical sections Form a 3-dimensional form of the line, which is determined, for example, by several images from different directions (e.g. using a stereo camera system) a parameterization using Fourier coefficients of the distance of the boundary from a marked point (e.g. centroid of the pupil) as a function of angle
  • the parameters can be related to a length that is already known (e.g. by using already calibrated data, or e.g. by allowing an approximate calibration via a known pupillary distance).
  • the cornea topography is preferably determined from these parameters in turn by means of a or the statistical model by predicting from an existing data set that contains both known cornea topographies and suitable parameters of the boundary between the cornea and sclera.
  • Another preferred embodiment relates to the determination of the cornea topography (additional data) from the geometric course of only a single section of the cornea surface, e.g. the vertical section of the cornea in a camera image from the side (image data), using a statistical model, with im
  • additional data e.g. the cornea topography from the geometric course of only a single section of the cornea surface, e.g. the vertical section of the cornea in a camera image from the side (image data)
  • conventional video centration is known to be used to improve lenses individually, but not by estimating parameters related to the biometrics of the eye using a statistical model. It can, for example, a Pupil diameter or a pupil distance are determined, but this is done without using a statistical model, which improves the determination of these parameters, for example by mapping the physical aperture stop of the eye (iris) through an unknown cornea, which, however, estimated using a statistical model can be.
  • the data relating at least to the eye area can have been determined from images in which one or two eyes can be seen.
  • image data can be determined in particular from a greater distance and can also be carried out much more quickly than a complete measurement of the eye biometry.
  • the data associated with the eye biometrics can be geometric data (e.g. description of the refracting surfaces of the eye, and if there are several surfaces, their relative positions to one another) and they can in particular be the shape of the cornea (e.g. as one of the cornea surfaces, in particular the front surface of the cornea).
  • geometric data e.g. description of the refracting surfaces of the eye, and if there are several surfaces, their relative positions to one another
  • they can in particular be the shape of the cornea (e.g. as one of the cornea surfaces, in particular the front surface of the cornea).
  • the data associated with the eye biometrics can also be related to an eye alone (as a distinction to the eye rotation point, which is a biometric parameter of the head or a pair of eyes, but not a biometric parameter of an individual eye per se).
  • the optical properties of a complex eye model can be determined with the aid of such parameters relating to one eye alone, which in turn can be used to calculate improved ophthalmic lenses without the need for corresponding measuring devices to be present in individual cases for determining the complex eye model.
  • no specially designed eye model is used to determine such an eye model in the individual case (ie after the statistical model has been provided).
  • Lighting device required such as a keratometer or a Scheimpflug camera).
  • a simple lighting device such as an LED is sufficient, which may only be switched on briefly (eg as a flash to illuminate at least the area around the eyes).
  • the invention thus relates in a preferred embodiment to a method for determining the biometry of the eye, comprising the following steps: capturing image data of the eye using a camera system with one or two cameras, which are preferably calibrated to one another (stereo camera system);
  • Provision and/or application of a statistical model which uses at least one of the following input parameter sets as an input parameter set to predict the biometrics (e.g. corneal curvature or anterior chamber depth):
  • Parameter set Imaging of the iris through the cornea with one or two cameras from one or different angles.
  • Parameter set 2 Outline of the iris
  • Parameter set 3 Pupillary distance of the person, the provision of the statistical model comprising a training process, during which, in addition to parameters 1 and/or 2 and/or 3, the associated biometrics of the eye are known and used for the training. Both the border of the iris and the pupillary distance can be determined from the images.

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Mathematical Physics (AREA)
  • Eyeglasses (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Bestimmen von individuellen biometrischen Parametern zumindest eines Auges sowie ein entsprechendes Verfahren zur Herstellung von Brillengläsern unter Berücksichtigung der bestimmen biometrischen Daten. Ferner betrifft die Erfindung entsprechende Computerprogrammprodukte und Vorrichtungen. Das Verfahren zum Bestimmen von biometrischen Daten umfasst die Schritte: Bereitstellen von Bilddaten umfassend: - zumindest ein Bild zumindest eines Teils einer Augenpartie des Benutzers; und/oder - geometrische Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben; Ermitteln von individuellen Zusatzdaten, welche zumindest einen individuellen biometrischen Parameter des zumindest einen Auges der Benutzers umfassen, basieren auf den bereitgestellten Bilddaten, und unter Verwendung eines statistischen Modells, welches einen Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt.

Description

"Bestimmung der augenoptisch relevanten Biometrie zumindest eines Auges aus einem Bild einer Augenpartie"
Beschreibung
Die vorliegende Erfindung betrifft ein (computerimplementiertes) Verfahren zum Bestimmen von biometrischen Daten eines Auges sowie ein entsprechendes Verfahren zur Herstellung von Brillengläsern unter Berücksichtigung der bestimmen biometrischen Daten. Ferner betrifft die Erfindung entsprechende Computerprogrammprodukte und Vorrichtungen.
Bei der Berechnung von Brillengläsern, insbesondere progressiven Brillengläsern, kann die Biometrie des Auges des Brillenträgers berücksichtigt werden, wie zum Beispiel in der Druckschrift US 9,910,294 B2 beschrieben. Diese biometrischen Brillengläser bieten große Vorteile, da die Qualität der Abbildung nicht mehr an der Scheitelpunktkugel, einem virtuellen Punkt eines einfachen Models, bewertet wird, sondern dort, wo die Abbildung tatsächlich auch stattfindet: an der Netzhaut des Auges. Somit werden auch Interaktionen zwischen den einzelnen Abbildungsfehlern, welche bei der Brechung und Propagation durch die Medien des Auges entstehen, berücksichtigt.
Der Nachteil solcher Verfahren ist allerdings, dass umfangreiche Messungen mit aufwendigen Apparaturen und Vorrichtungen notwendig sind. Dies führt oft zu einem hohen Aufwand und hohen Kosten. Dadurch kommen die Vorteile hochwertiger biometrischer Brillengläser nur einem relativ kleinen Teil der Fehlsichtigen zugute.
Eine Aufgabe der vorliegenden Erfindung ist es, die Vorteile biometrischer Brillengläser weitgehend nutzen zu können, ohne die Nachteile der komplexen Messung hinnehmen zu müssen. Diese Aufgabe wird durch ein computerimplementiertes Verfahren zum Bestimmen von biometrischen Daten eines Auges, eine entsprechende Vorrichtung und ein entsprechendes Computerprogrammprodukt, sowie ein Verfahren und eine entsprechende Vorrichtung zum Herstellen eines Brillenglases mit den in den jeweiligen unabhängigen Ansprüchen angegebenen Merkmalen gelöst.
Der vorliegenden Erfindung liegt die überraschende Erkenntnis zugrunde, dass es möglich ist, individuelle biometrische Parameter zumindest eines der Augen eines Benutzers, die einer verbesserten individuellen Berechnung oder Herstellung oder Anpassung eines Brillenglases dienen, anhand von Daten bestimmen bzw. ableiten lassen, die sich aus einem oder mehreren Bildern zumindest eines Teils einer Augenpartie des Benutzer ergeben. Es ist damit möglich, individuelle biometrische Brillengläser mit hoher Abbildungsqualität und Tragekomfort zu berechnen und herzustellen, ohne dass hierzu eine aufwendige und kostenintensive Messung der zusätzlichen biometrischen Daten erforderlich wäre.
Ein erster Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers, umfassend:
Bereitstellen von Bilddaten umfassend oder bestehend aus: zumindest ein Bild zumindest eines Teils einer Augenpartie des Benutzers; und/oder geometrische Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben;
Ermitteln von individuellen Zusatzdaten, welche zumindest einen individuellen biometrischen Parameter des zumindest einen Auges des Benutzers umfassen, basierend auf den bereitgestellten Bilddaten, und unter Verwendung eines statistischen Modells, welches einen Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt.
Die Erfindung ist vor altem dahingehend vorteilhaft, dass die Bilddaten mit gängigen und sehr einfachen Geräten (Kameras) erfasst werden können oder worden sein können, welche insbesondere nicht dazu ausgelegt sein müssen, dass die Zusatzdaten unmittelbar aus den Bilddaten bestimmt werden können. Z.B. bietet das Verfahren Vorteile, wenn die individuellen Zusatzdaten nicht unmittelbar aus den individuellen Bilddaten der vermessenen Person bestimmt werden können, weil ein solcher Zusammenhang nicht aus dem verwendeten Messverfahren ohne zusätzliche Information über entsprechende Zusatzdaten von anderen Personen abgeleitet werden kann, z.B. da das Gerät, welches die Bilddaten bereitstellt, nicht in der Lage ist, die Zusatzinformation unmittelbar zu messen.
Das statistische Modell kann mittels statistischer Analyse eines Trainingsdatensatzes mit einer Vielzahl von Referenzdatensätzen hergeleitet werden oder hergeleitet worden sein, wobei jeder der Referenzdatensätze Bilddaten und den Bilddaten zugeordnete Zusatzdaten umfasst. Das Verfahren kann ein Bereitstellen des statistischen Modells umfassen, welches den Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt. Alternativ oder zusätzlich kann das Verfahren ein Bereitstellen eines Trainingsdatensatzes und Herleiten des statistischen Modells mittels statistischer Analyse des Trainingsdatensatzes umfassen. Das Herleiten des statistischen Modells kann zum Beispiel Trainieren eines ursprünglichen (nicht trainierten) Modells mit Hilfe des Trainingsdatensatzes umfassen. Das Modell kann zum Beispiel mehrere Modellparameter umfassen, welche während des Trainierens mit dem Trainingsdatensatz verändert bzw. angepasst werden.
Der Begriff "Bereitstellen" im Sinne der vorliegenden Anmeldung beinhaltet "Festlegen", "Übermitteln", "Erhalten", "Auslesen", "Entnehmen aus einem Speicher, einer Datenbank und/oder einer Tabelle", "Empfangen", usw.. Der Begriff "Bestimmen" im Sinne der vorliegenden Anmeldung beinhalten auch "Festlegen", "Berechnen", "Ermitteln", "Vorhersagen", usw.
Der Wert zumindest eines Parameters einer Person, der mit der Biometrie eines Auges - oder vorteilhafter beider Augen - der Person in Verbindung steht, wird somit einem der Person zugeordneten Datensatz geschätzt, wobei der Datensatz Daten enthält, die zumindest mit Bildern eines Teils der Augenpartie in Verbindung stehen oder daraus ermittelt wurden. Bei der Ermittlung wird ein statistisches Modell benutzt, in welchem zumindest für eine Vielzahl von Personen geltende Zusammenhänge zwischen dem besagten Parameter und den zumindest mit einem Bild eines Teils der Augenpartie in Verbindung stehenden Daten abgebildet sind.
Der so ermittelte Wert kann in die Berechnung von Brillengläsern oder anderen ophthalmischen Linsen wie Kontaktlinsen oder Intraokularlinsen einfließen.
Vorteile des Verfahrens bzw. einer das Verfahren ausführenden Vorrichtung:
Bestimmung der Augen-Biometrie aus einer großen Entfernung zumindest näherungsweise möglich (z.B. mit einem Videozentriergerät)
Bestimmung der Augen-Biometrie mit Hilfe von Kameras, die keine hohe Auflösung aufweisen müssen
Verwendung relativ günstiger Messgeräte, um die Augenbiometrie zu berechnen/ermitteln. Typischerweise müssten herkömmlich sehr teure Geräte, wie z.B. ein OCT verwendet werden, um individuelle Daten der Augenbiometrie zu erhalten.
Falls eine hochdimensionale Parametrisierung der Augenbiometrie verwendet wird (z.B. Darstellung der brechenden Flächen mit Hilfe von Zernike- Polynomen oder anderen Modellen mit einer hohen Anzahl von Parametern) wird die Einschränkung auf stark vereinfachte Modelle der Augen-Biometrie (z.B. ein auf Kugelflächen beschränktes Augenmodell) vermieden, sodass die ermittelten Parameter die tatsächliche Augenbiometrie besser wiedergeben als ein vereinfachtes Modell.
Bilddaten
Bilddaten im Sinne der vorliegenden Beschreibung sind insbesondere Daten, die mit Bildern zumindest eines Teils der Augenpartie eines Benutzers in Verbindung stehen. Dies betrifft beispielsweise entweder direkt Bilder, insbesondere Kamerabilder, zumindest des Teils der Augenpartie und/oder (insbesondere geometrische) Daten/Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben bzw. ableiten lassen bzw. solche Daten/Informationen, die unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers abgeleitet wurden. Beispielsweise können somit Kamerabilder selbst im Verfahren genutzt werden, um daraus beispielsweise eine Pupillendistanz zu ermitteln, auf Basis derer dann mittels des statistischen Modells Zusatzdaten ermittelt werden, oder es wird die aus Kamerabildern ermittelte individuelle Pupillendistanz als Bilddaten bereitgestellt, um dann daraus die Zusatzdaten mittels des statistischen Modells zu ermitteln. Er ist auch möglich, die Zusatzdaten direkt aus dem individuellen Kamerabild zu ermitteln, ohne zunächst explizit einen individuellen Wert der Pupillendistanz zu ermitteln.
Diese Ausführungen zu den Bilddaten gelten sowohl für individuelle Bilddaten, die beispielsweise im Rahmen einer individuellen Bestellung zur Ermittlung individueller biometrischer Daten herangezogen werden, als auch für statistische Bilddaten, als solche Bilddaten, die im Rahmen eines Trainingsdatensatzes Bestandteil entsprechender Referenzdaten sein können, auf deren Basis das statistische. Modell erstellt oder trainiert wurde oder werden kann.
In bevorzugten Ausführungsformen umfassen die Bilddaten einen oder mehrere der folgenden Parameter oder bestehen die Bilddaten aus einem oder mehreren der folgenden Parameter: ein oder mehrere Kamerabilder, auf dem/denen zumindest ein Auge, vorzugsweise beide Augen insbesondere von vorne zu sehen ist bzw. sind; ein oder mehrere Kamerabilder, auf dem/denen zumindest ein Auge insbesondere von der Seite zu sehen ist;
Pupillendistanz;
Abstand des Cornea-Apex zur Ebene, in der die Iris liegt; geometrischer Verlauf eines Schnittes der Cornea-Oberfläche (z.B. des vertikalen Schnittes der Cornea bei einem Kamerabild von der Seite);
Abstand der Augendrehpunkte (insbesondere als optische Augendrehpunkte); Cornea-Durchmesser (White-to-white, insbesondere horizontal gemessen); die Form und/oder Position der Pupille oder deren Teile (in einer gegebenen Darstellung, z.B. als geschlossenes oder offenes Polygon, als Spline-Koeffizienten, etc.); die Form und/oder Position des äußeren Rands der Iris oder deren Teile (in einer gegebenen Darstellung, z.B. als geschlossenes oder offenes Polygon, als Spline-Koeffizienten, etc.);
3D-Modelle der Augenpartie (z.B., als 3-dimensionele Punktwolken, 3- dimensionale Kantennetzte, die mit Hilfe von Tiefenkameras bestimmt werden können, etc.); aktuelle Blickrichtung;
Vorhandensein einer Heterophorie und/oder vorzugsweise deren Ausprägung.
Zusatzdaten
Zusatzdaten sind biometrische Daten oder umfassen biometrische Daten zumindest eines der Augen des Benutzers, insbesondere solche biometrischen Daten, die nicht direkt aus den Bilddaten abgelesen bzw. ausgemessen werden können (z.B. als geometrische Abstände ausgezeichneter Punkte), die aber beispielsweise herkömmlich insbesondere optional (zum Beispiel von einem Augenoptiker) in Zusammenhang mit einer Brillenbestellung bestimmt werden bzw. wurden und besonders bei einer individuellen Auswahl und/oder Optimierung und/oder Anpassung einer Brille oder zumindest eines Brillenglases berücksichtigt werden. Beispielsweise können die Zusatzdaten Daten umfassen, welche (üblicheiweise) mit einem Aberrometer, einem Topgraphen, einer Scheimpflugkamera, einem OCT, einem Biometer, einer Funduskamera, einem (niederkohärenz) Laser-Reflektometer und/oder einer anderen Messvorrichtung oder einem anderen Verfahren der objektiven Refraktion erfasst werde können oder erfasst worden sind.
In bevorzugten Ausführungsformen umfasst der zumindest eine individuelle biometrische Parameter einen oder mehrere der folgenden Parameter:
Augenlänge (insbesondere die geometrische Baulänge des Auges); optische Länge des Auges (Integral des Brechungsindizes entlang eines durch den Punkt schärfsten Sehens auf der Retina und die Mitte der Pupille laufenden Lichtstrahls einer gegebenen Wellenlänge wie z.B. 550 nm); ein oder mehrere geometrische Abstände und/oder optischen Weglängen zwischen den Scheiteln der brechenden Flächen eines Auges zueinander oder zu einem anderen gemeinsamen Bezugspunkt (z.B. zum Punkt schärfsten Sehens auf der Retina);
Form der brechenden Flächen (z.B. Form und / oder Verkippung der Cornea oder einer der Linsenflächen) welche in einer gegebenen Parametrisierung vorliegen kann (z.B. über Krümmungsradien in Hauptschnitten und deren Orientierung, Zernike- Koeffizienten der Pfeilhöhe, geometrische Krümmungen oder äquivalente Darstellungen, z.B. als Powervektor oder als Polardarstellung) und welche relativ zu einem Koordinatensystem zu verstehen ist (z.B. relativ zu einem Koordinatensystem, in dem die Blickrichtung mit der negativen Richtung der z-Achse übereinstimmt und die x-Achse in der Horizontalebene liegt);
Durchmesser oder Radius der physikalischen Apertur des Auges (d.h. die Öffnung der Iris) oder der optischen Eintrittspupille (Abbildung der Iris durch die Cornea), welcher für eine vorgegebene Beleuchtungsbedingung (z.B. eine vorgegebene oder durchschnittliche Beleuchtung in Innenräumen) gegeben sein kann, welche sich insbesondere von der Beleuchtungsbedingung unterscheidet, die bei der Aufnahme der Bilddaten geherrscht hat;
Brechungsindizes der optischen Medien des Auges;
Größe und/oder Form der Retina, insbesondere Größe und/oder Form der Fovea;
Ausrichtung der Retina (insbesondere der Fovea), z.B. als Richtung eines im Punkt des schärfsten Sehens senkrecht auf der Retina stehenden Vektors relativ zur Lichteinfallsrichtung (z.B. eines durch die Mitte der Pupille und den Punkt schärfsten Sehens verlaufenden Lichtstrahl);
Position und Ausrichtung der Rezeptoren auf der Retina;
Größe der rezeptiven Felder auf der Retina.
Die biometrischen Daten zumindest eines der Augen des Benutzers können insbesondere Daten eines einzelnen Auges oder Daten eines oder beiden Augen relativ zum Kopf bzw. Daten beider Augen relativ zueinander betreffen.
Die Zusatzdaten können insbesondere auch einen oder mehrere der folgenden Parameter umfassen: die Aberrationen höherer Ordnung des Auges oder zumindest der Cornea (wie zum Beispiel Koma, Trefoil, sekundärer Astigmatismus, sphärische Aberration, etc.), die Aberrationen niederer und höherer Ordnung der Hornhaut (Sphäre (Sph), Zylinder (Zyl), Achse (bzw. M, JO, J45), Koma, Trefoil, sekundärer Astigmatismus, sphärische Aberration, etc.), die Vorderkammertiefe, die Pupillengrößen in der Feme und Nähe und/oder unter mesopischen und photopischen Bedingungen
Die Zusatzdaten in den Referenzdatensätzen können zum Beispiel Daten sein, die bei früheren Bestellungen von biometrischen Brillengläsern zusätzlich zu Bilddaten erfasst bzw. gemessen worden sind, zum Beispiel mit einem Aberrometer, einem Topgraphen, einer Scheimpflugkamera, einem OCT, einem Biometer, einer Funduskamera, einem (niederkohärenz) Laser-Reflektometer und/oder einer anderen Messvorrichtung.
Die anhand von den individuellen Bilddaten eines Benutzers und des mit Hilfe des statistischen Modells ermittelten individuellen Zusatzdaten können, müssen jedoch nicht, den gleichen Typ Zusatzdaten sein, welche in den Referenzdatensätzen enthalten sind und zum Herleiten des statistischen Modells verwendet werden.
Das statistische Modell kann ein beliebiges statistischer Modell sein, welches mit Hilfe von statistischen Methoden aus einem bereits vorhandenen Datensatz (Trainingsdatensatz) hergeleitet wird. Beispielhafte statistische Methoden sind Regression (wie zum Beispiel lineare Regression insbesondere nichtlinearer Merkmale, nichtlineare Regression, nichtlineare Regression mit einem Attention- Mechanismus, nichtlineare multi-Task Regression, nicht-parametrische oder semiparametrische Regression, etc.), Klassifikationsmethoden, sowie andere Methoden des maschinellen Lernens. Algorithmen des maschinellen Lernens sind z.B. in Jeremy Watt, Reza Borhani, Aggelos Katsaggelos: Machine Learning Refined: Foundations, Algorithms, and Applications, Cambridge University Press, 2020 beschrieben.
Das statistische Modell erhält als Eingangsgrößen wenigstens einen Teil der individuellen Bilddaten und/oder davon abgeleitete Größen und berechnet daraus zumindest einen Teil der zusätzlichen individuellen biometrischen Parameter bzw. Zusatzdaten. Der durch das statistische Modell vorgegebene Zusammenhang zwischen Bilddaten und Zusatzdaten kann ein linearer oder nichtlinearer Zusammenhang sein. Ferner kann der Zusammenhang multiparametrisch sein.
In bevorzugten Ausführungsformen umfasst der zumindest das statistische Modell eines oder mehrere der folgenden Modelle bzw. es basiert vorzugsweise auf einem oder mehreren der folgenden Modelle: ein lineares Modell (ggf. bezogen auf nichtlineare Merkmale, z.B. nichtlineare Funktionen der die geometrische Information über die Augenpartie darstellenden Parameter); einen Gauss-Prozess; ein neuronales Netzwerk (z.B. tiefes neuronales Netzwerk); einen Entscheidungsbaum bzw. Regressionsbaum (regression tree); eine Boltzmann-Maschine (Restricted Boltzmann Machine) eine Support Vector Machine
Beispielhafte statistische Modelle sind lineare oder nichtlineare Regressionsmodelle. Als nichtlineare Regressionsmodelle können z.B. neuronale Netzwerke, zu denen auch tiefe neuronale Netzwerke gehören, verwendet werden. Es ist ebenfalls möglich, auch andere aus dem Gebiet des maschinellen Lernens bekannte nichtlineare Regressionsmodelle verwendet werden. Die Regressionsmodelle, wie z.B. das neuronale Netzwerk, können anhand der bereitgestellten Trainingsdatensatz trainiert werden.
Das statistische Modell kann auch eine Kombination von mehreren statistischen Modellen unterschiedlicher Typen sein, z.B. eine Kombination eines linearen Regressionsmodells, eines nichtlinearen Regressionsmodells (wie z.B. eines neuronalen Netzwerks), eines Klassifizierungsmodells und/oder eines anderen statistischen Modells.
Vorzugsweise wird das statistische Modell bei Hinzukommen neuer Daten weiter verbessert (z.B. laufendes Training eines neuronalen Netzwerkes mit neuen Daten). Um die Schätzung bzw. Vorhersage durch das statistische Modell zu verbessern können zu den mit Bildern der Augenpartie in Verbindung stehenden Daten auch zusätzliche Parameter verwendet werden, die nicht mit der Augenpartie in Verbindung stehen, z.B. das Alter, Geschlecht, Ethnie, Körpergröße, Gewicht, Kopfumfang, etc. Das statistische Modell kann auch Einschränkungen bzw. Randbedingungen enthalten (z.B. dass das vorhergesagte Augenmodell konsistent mit einer bekannten Refraktion ist).
Das anhand des Trainingsdatensatzes hergeleitete statistische Modell kann in einer geeigneten Speichervorrichtung gespeichert werden, wie zum Beispiel einer Datenbank, einem Rechner, einer Rechen- oder Datenwolke. Zusammen mit dem statistischen Modell kann zumindest ein Teil des zum Herleiten verwendeten Trainingsdatensatzes gespeichert werden.
Das anhand eines Trainingsdatensatzes hergeleitete statistische Modell kann ferner laufend oder in regelmäßigen Abständen überprüft und/oder modifiziert werden, zum Beispiel auf Basis von neuen Referenzdatensätzen. Das Verfahren kann demzufolge ein Modifizieren des statistischen Modells umfassen.
Trainingsdatensatz
Das statistische Modell, welches den Zusammenhang zwischen Bilddaten und Zusatzdaten beschreibt, wird mit Hilfe statistischer Methoden auf Basis eines Trainingsdatensatzes mit einer ' Vielzahl von einzelnen Datensätzen (Referenzdatensätzen) hergeleitet. Jeder der Referenzdatensätze kann zum Beispiel Bilddaten und die mittels geeigneter Messverfahren ermittelten Zusatzdaten eines bestimmten Benutzers umfassen. Die unterschiedlichen Referenzdatensätze im Trainingsdatensatz können vorzugsweise die Daten (Bilddaten und Zusatzdaten) von einer Vielzahl unterschiedlicher Benutzer (Referenzbenutzer) umfassen.
Hierzu können vorhandene Bestellungen biometrischer Brillengläser verwendet werden, um mit den Datensätzen ein neuronales Netzwerk oder ein anderes statistisches Modell zu trainieren. Bei einer neuen individuellen Bestellung können mit dem trainierten statistischen Modell und basierend auf den in der neuen Bestellung enthaltenen individuellen Bilddaten die zusätzlichen Messdaten (Zusatzdaten) berechnet bzw. prognostiziert werden. Damit können biometrische Brillengläser basierend auf individuellen Bilddaten und daraus berechneten Zusatzdaten mit Hilfe des neuronalen Netzwerks oder anderer statistischer Modelte berechnet werden.
Die Anzahl der Referenzdatensätze kann unterschiedlich sein. Beispielsweise können mehr als 10, 100, 1.000, 10.000, 100.000 oder 1.000.000 Referenzdatensätze verwendet werden. Vorzugsweise decken die Referenzdatensätze einen großen, vorzugsweise den gesamten Bereich ab, in dem später Brillengläser bestellt werden können. Beispielsweise können die Referenzdatensätze den Bereich von Refraktionswerten z.B. -20 dpt bis +20 dpt für Sphäre und -8 dpt bis +8 dpt für Zylinder abdecken.
Ferner kann das Verfahren zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers ein Übermitteln der individuellen Bilddaten und die berechneten individuellen Zusatzdaten an eine externe Entität umfassen, wie z.B. an einen Hersteller von ophthalmischen Brillengläsern, eine Fertigungseinheit, eine Fertigungsvorrichtung, etc.
Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zum Herstellen eines Brillenglases, umfassend:
Bestimmen von individuellen Zusatzdaten, welche zumindest einen individuellen biometrischen Parameter des zumindest einen Auges des Benutzers umfassen, basierend auf den bereitgestellten Bilddaten nach einer der hier beschriebenen, erfindungsgemäßen Verfahren, insbesondere in einer der hier beschriebenen bevorzugten Ausführungsformen; und
Berechnen des Brillenglases anhand der bestimmten individuellen Zusatzdaten.
Das Brillenglas kann zum Beispiel nach dem in der Druckschrift US 9,910,294 B2 beschriebenen Verfahren oder nach einem anderen bekannten Verfahren, bei dem individuelle biometrische Parameter bei der Berechnung des Brillenglases berücksichtigt werden, berechnet werden. Das Verfahren kann ferner Fertigen des berechneten Brillenglases umfassen. Das Brillenglas kann zum Beispiel ein Einstärkenbrillenglas, ein multifokales Brillenglas oder ein progressives Brillenglas sein.
Insbesondere betrifft die Erfindung ein Verfahren zum Herstellen eines Brillenglases und/oder ein Verfahren zum Bereitstellen eines Fertigungsdatensatz für das Herstellen eines Brillenglases, umfassend:
Bereitstellen von Bilddaten umfassend: - zumindest ein Bild zumindest eines Teils einer Augenpartie eines Benutzers; und/oder - geometrische Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben;
Ermitteln von individuellen Zusatzdaten, welche zumindest einen individuellen biometrischen Parameter zumindest eines Auges des Benutzers umfassen, basierend auf den bereitgestellten Bilddaten, und unter Verwendung eines statistischen Modells, welches einen Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt; und
Berechnen des Brillenglases anhand der ermitelten individuellen Zusatzdaten.
Ein driter Aspekt der Erfindung betrifft ein computerimplementiertes Verfahren zum Bestimmen eines statistischen Modells, wobei das Verfahren umfasst:
- Bereitstellen eines Trainingsdatensatzes mit einer Vielzahl von Referenzdatensätzen, wobei jeder der Referenzdatensätze Bilddaten und den Bilddaten zugeordnete Zusatzdaten umfasst;
- Herleiten, mittels statistischer Analyse des Trainingsdatensatzes, eines statistischen Modells, welches einen Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt,
- Speichern des statistischen Modells in einer Speichervorrichtung.
Ein vierter Aspekt der Erfindung betrifft ein Computerprogrammprodukt, welches, wenn es in den Speicher eines Computers geladen und auf diesem ausgeführt wird, bewirkt, dass der Computer ein Verfahren gemäß einem der obigen Aspekte durchführt.
Hinsichtlich der oben beschriebenen Verfahren und Computerprogrammprodukte gelten die vorgenannten bevorzugten Ausführungsvarianten und die vorgenannten Vorteile in sinngemäßer Weise.
Das Verfahren gemäß einem der obigen Aspekte kann mittels einer entsprechend ausgebildeten Vorrichtung durchgeführt werden. So betriff ein fünfter Aspekt der Erfindung eine Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers, wobei die Vorrichtung eine Rechenvorrichtung umfasst, welche ausgebildet ist, das oben beschriebene Verfahren zum Bestimmen von individuellen biometrischen Parametern durchzuführen.
Insbesondere bietet die Erfindung eine Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers, wobei die Vorrichtung eine Rechenvorrichtung umfasst, welche ausgebildet ist, folgendes durchzuführen:
Bereitstellen von Bilddaten umfassend: - zumindest ein Bild zumindest eines Teils einer Augenpartie des Benutzers; und/oder geometrische Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben;
Ermitteln von individuellen Zusatzdaten, welche zumindest einen individuellen biometrischen Parameter des zumindest einen Auges des Benutzers umfassen, basierend auf den bereitgestellten Bilddaten, und unter Verwendung eines statistischen Modells, welches einen Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt.
Die Rechenvorrichtung kann vorzugsweise umfassen: eine Bilddateneingabeschnittstelle zum Bereitstellen von individuellen Bilddaten des Benutzers, wobei die Bilddaten umfassen: - zumindest ein Bild zumindest eines Teils einer Augenpartie des
Benutzers; und/oder - geometrische Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben; eine Zusatzdatenberechnungsvorrichtung zum Berechnen von individuellen Zusatzdaten, umfassend zumindest einen individuellen biometrischen Parameter des zumindest einen Auges des Benutzers, wobei die Berechnung anhand der individuellen Bilddaten und unter Verwendung eines statistischen Modells erfolgt, wobei das statistische Modell mitels statistischer Analyse eines Trainingsdatensatzes mit einer Vielzahl von Referenzdatensätzen hergeleitet worden ist, wobei jeder der Referenzdatensätze Bilddaten und den Bilddaten zugeordnete Zusatzdaten umfasst.
Ferner kann die Vorrichtung eine Modelleingabeschnittstelle zum Bereitstellen des statistischen Modells umfassen. Das statistische Modell kann zum Beispiel in einer Speichervorrichtung gespeichert sein, wie zum Beispiel in einer Datenbank, einem Rechner und/oder einer Daten- oder Rechner-Cloud. Des Weiteren kann die Vorrichtung eine Trainingsdatensatzeingabeschnittstelle zum Bereitstellen des Trainingsdatensatzes; und eine Modellberechnungsvorrichtung zum Herleiten bzw. Berechnen des statistischen Modells mittels statistischer Analyse des Trainingsdatensatzes umfassen. Das statistische Modell kann zum Beispiel mittels Trainierens eines ursprünglichen (untrainierten) Modells mit Hilfe des Trainingsdatensatzes hergeleitet bzw. berechnet werden.
Ein sechster Aspekt der Erfindung betrifft eine Vorrichtung zum Herstellen eines Brillenglases und/oder zum Bereitstellen von Brillenglasfertigungsdaten, umfassend:
Eine Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers gemäß dem fünften Aspekt; eine Glasberechnungsvorrichtung, welche ausgebildet ist, das Brillenglas anhand zumindest der berechneten individuellen biometrischen Parameter zu berechnen.
Die Herstellungsvorrichtung kann ferner eine Fertigungsvorrichtung zum Fertigen des berechneten Brillenglases umfassen.
Die oben genannten Vorrichtungen zum Bereitstellen, Bestimmen, Festlegen oder Berechnen von Daten (wie zum von (individuellen) Bilddaten, (individuellen) Zusatzdaten, statistischen Modelten, Modellparameter, Gewichtungen, etc.) können durch geeignet konfigurierte bzw. programmierte Datenverarbeitungsvorrichtungen (insbesondere spezialisierte Hardwaremodule, Computer oder Computersysteme, wie z.B. Rechner- oder Datenwolken) mit entsprechenden Recheneinheiten, elektronische Schnittstellen, Speicher und Datenübermittlungseinheiten realisiert werden. Die Vorrichtungen können ferner zumindest eine vorzugsweise interaktive grafische Benutzerschnittstelle (GUI) umfassen, welche es einem Benutzer ermöglicht, Daten zu betrachten und/oder einzugeben und/oder zu modifizieren.
Die oben genannten Vorrichtungen können ferner geeignete Schnittstellen aufweisen, die eine Übermittlung, Eingabe und/oder Auslesen von Daten (wie z.B. Trainingsdatensatz, Referenzdatensätzen, (individuellen) Bilddaten, (individuellen) Zusatzdaten, etc.) ermöglichen. Ebenfalls können die Vorrichtungen zumindest eine Speichereinheit umfassen, z.B. in Form einer Datenbank, welche die verwendeten Daten speichert. Die Fertigungsvorrichtung kann z.B. zumindest eine CNC gesteuerte Maschine zur Direktbearbeitung eines Linsenrohlings nach den ermittelten Optimierungsvorgaben umfassen. Alternativ kann das Brillenglas mittels eines Gießverfahrens gefertigt werden. Das fertig bearbeitete Brillenglas kann eine erste einfache sphärische oder rotationssymmetrisch asphärische Fläche und eine zweite, in Abhängigkeit von den individuellen Standarddaten und berechneten individuellen Zusatzdaten berechnete individuelle Fläche aufweisen. Die einfache sphärische oder rotationssymmetrisch asphärische Fläche kann die Vorderfläche (d.h. die objektseitige Fläche) des Brillenglases sein. Selbstverständlich ist es jedoch möglich, die individuelle Fläche als Vorderfläche des Brillenglases anzuordnen. Auch können beide Flächen des Brillenglases individuell berechnet werden.
Die Vorrichtung zum Herstellen eines Brillenglases kann einstückig bzw. als eine eigenständige Maschine ausgestaltet sein, d.h. sämtliche Komponenten der Vorrichtung (insbesondere die Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers und die Glasberechnungsvorrichtung) können Bestandteil ein und desselben Systems bzw. ein und derselben Maschine sein. In einer bevorzugten Ausführungsform ist die Vorrichtung zum Herstellen eines Brillenglases jedoch nicht einstückig ausgestaltet, sondern durch verschiedene (insbesondere jeweils eigenständige) Systeme bzw. Maschinen realisiert. So können z.B. die Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers und die Glasberechnungsvorrichtung als ein erstes System (insbesondere umfassend einen Computer) und die Herstellungsvorrichtung als ein zweites System realisiert sein. Dabei können sich die verschiedenen Systeme an unterschiedlichen Orten befinden, d.h. örtlich voneinander getrennt sein. Beispielsweise können sich ein oder mehrere Systeme im Frontend und ein oder mehrere weitere Systeme im Backend befinden. Die einzelnen Systeme können sich z.B. an unterschiedlichen Firmenstandorten befinden oder durch unterschiedliche Firmen betrieben werden. Die einzelnen Systeme weisen dabei insbesondere Kommunikationsmittel auf, um Daten untereinander auszutauschen. Vorzugsweise können die verschiedenen Systeme der Vorrichtung direkt miteinander kommunizieren, insbesondere über ein Netzwerk (z.B. über ein lokales Netzwerk und/oder über das Internet). Die obigen Ausführungen zu der Vorrichtung zum Herstellen eines Brillenglases gelten nicht nur für diese Vorrichtung, sondern allgemein für sämtliche im Rahmen der vorliegenden Erfindung beschriebenen Vorrichtungen. Insbesondere kann eine hierin beschriebene Vorrichtung als ein System ausgestaltet sein. Das System kann insbesondere mehrere Vorrichtungen (ggf. örtlich getrennt) umfassen, welche ausgelegt sind, einzelne Verfahrensschritte eines entsprechenden Verfahrens auszuführen.
Ein weiterer Aspekt der Erfindung betrifft ein Brillenglas, das nach dem oben beschriebenen Herstellungsverfahren hergestellt ist. Des Weiteren bietet die Erfindung eine Verwendung eines nach dem oben beschriebenen Herstellungsverfahren hergestellten Brillenglases in einer vorgegebenen durchschnittlichen oder idealen bzw. individuellen Gebrauchsstellung des Brillenglases vor den Augen eines bestimmten Benutzers zur Korrektion einer Fehlsichtigkeit des Benutzers.
Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Erfindung anhand begleitender Figuren beispielhaft beschrieben. Einzelelemente der beschriebenen Ausführungsformen sind nicht auf die jeweilige Ausführungsform beschränkt. Vielmehr können Elemente der Ausführungsformen beliebig miteinander kombiniert werden und neue Ausführungsformen dadurch erstellt werden. Es zeigen:
Fig. 1 ein beispielhaftes Verfahren zum Bestimmen von individuellen biometrischen
Daten zumindest eines der Augen eines Benutzers und Berechnen eines Brillenglases;
Fig. 2 einen beispielhaften Referenzdatensatz;
Fig. 3 ein beispielhaftes lineares Regressionsmodell;
Fig. 4 ein beispielhaftes nichtlineares Regressionsmodell;
Fig. 5 die Komponente C20 der Zernike-Koeffizienten der Cornea in Abhängigkeit von der Pupiltendistanz (Fig. 5A) bzw. in Abhängigkeit vom sphärischen Äquivalent (Fig. 5B); Fig. 1 zeigt ein beispielhaftes Verfahren zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers und zum Berechnen eines Brillenglases anhand der bestimmten individuellen biometrischen Parameter. Das Verfahren umfasst die folgenden Schritte:
Schritt S1 : Erstellung oder Bereitstellen eines Trainingsdatensatzes 1 aus einer Vielzahl von Datensätzen (Referenzdatensätzen) 10, wobei jeder Referenzdatensatz Bilddaten 12 und diesen Bilddaten zugeordnete Zusatzdaten 14 enthält.
Ein beispielhafter Referenzdatensatz 10 ist in Fig. 2 gezeigt. Die Bilddaten 12 umfassen insbesondere einen oder mehrere der folgenden Daten bzw. Parameter: ein oder mehrere Kamerabilder, auf dem/denen zumindest ein Auge, vorzugsweise beide Augen insbesondere von vorne zu sehen ist bzw. sind; ein oder mehrere Kamerabilder, auf dem/denen zumindest ein Auge insbesondere von der Seite zu sehen ist;
Pupillendistanz;
Abstand der Augendrehpunkte (insbesondere als optische Augendrehpunkte); Cornea-Durchmesser (White-to-white, insbesondere horizontal gemessen); die Form und/oder Position der Pupille oder deren Teile (in einer gegebenen Darstellung, z.B. als geschlossenes oder offenes Polygon, als Spline-Koeffizienten, etc.); die Form und/oder Position des äußeren Rands der Isis oder deren Teile (in einer gegebenen Darstellung, z.B. als geschlossenes oder offenes Polygon, als Spline-Koeffizienten, etc.);
3D-Modelle der Augenpartie (z.B., als 3-dimensionele Punktwolken, 3- dimensionale Kantennetzte, die mit Hilfe von Tiefenkameras bestimmt werden können, etc.); aktuelle Blickrichtung;
Vorhandensein einer Heterophorie und/oder vorzugsweise deren Ausprägung. Die Zusatzdaten 14 umfassen insbesondere einen oder mehrere der folgenden Daten bzw. Parameter: Augenlange (insbesondere die geometrische Baulänge des Auges); optische Länge des Auges (Integral des Brechungsindizes entlang eines durch den Punkt schärfsten Sehens auf der Retina und die Mitte der Pupille laufenden Lichtstrahls einer gegebenen Wellenlänge wie z.B. 550 nm); ein oder mehrere Abstände der Scheitel der brechenden Flächen eines Auges zueinander oder zu einem anderen gemeinsamen Bezugspunkt (z.B. zum Punkt schärfsten Sehens auf der Retina);
Form der brechenden Flächen (z.B. Form und / oder Verkippung der Cornea oder einer der Linsenflächen) welche in einer gegebenen Parametrisierung vorliegen kann (z.B. über Krümmungsradien in Hauptschnitten und deren Orientierung, Zernike- Koeffizienten der Pfeilhöhe, geometrische Krümmungen oder äquivalente Darstellungen, z.B. als Powervektor oder als Polardarstellung) und welche relativ zu einem Koordinatensystem zu verstehen ist (z.B. relativ zu einem Koordinatensystem, in dem die Blickrichtung mit der negativen Richtung der z-Achse übereinstimmt und die x-Achse in der Horizontalebene liegt);
Durchmesser oder Radius der physikalischen Apertur des Auges (d.h. die Öffnung der Iris) oder der optischen Eintrittspupille (Abbildung der Iris durch die Cornea), welcher für eine vorgegebene Beleuchtungsbedingung (z.B. eine vorgegebene oder durchschnittliche Beleuchtung in Innenräumen) gegeben sein kann;
Brechungsindizes der optischen Medien des Auges;
Größe und/oder Form der Retina, insbesondere Größe und/oder Form der Fovea;
Ausrichtung der Retina (insbesondere der Fovea), z.B. als Richtung eines im Punkt des schärfsten Sehens senkrecht auf der Retina stehenden Vektors relativ zur Lichteinfallsrichtung (z.B. eines durch die Mitte der Pupille und den Punkt schärfsten Sehens verlaufenden Lichtstrahl) ;
Position und Ausrichtung der Rezeptoren auf der Retina;
Größe der rezeptiven Felder auf der Retina. Um den Trainingsdatensatz zu bilden, können vorhandene Bestellungen biometrischer Brillengläser verwendet werden, bei denen die Zusatzdaten mittels eines Messverfahrens erfasst worden sind. Beispielhafte Messverfahren sind Messungen mit einem Aberrometer, einem Topgraphen, einer Scheimpflugkamera, einem OCT und/oder einem Biometer.
Schritt S2: Mit Hilfe von statistischen Methoden wird aus der Vielzahl von Referenzdatensätzen ein Zusammenhang zwischen den Bilddaten und den Zusatzdaten hergeleitet. Anders ausgedrückt wird anhand des Trainingsdatensatzes ein statistisches Modell ermittelt bzw. trainiert, welches den Zusammenhang, wie beispielsweise die Korrelation(en), zwischen den Bilddaten und den Zusatzdaten beschreibt.
Das Ermitteln des statistischen Modells kann zum Beispiel ein Trainieren eines ursprünglich untrainierten neuronalen Netzwerks mit dem Trainingsdatensatz, der die Vielzahl von Referenzdatensätzen umfasst, umfassen. Das trainierte neuronale Netzwerk kann anhand eines Testdatensatzes getestet werden und/oder kann anhand eines Validierungsdatensatzes validiert werden. Der Testdatensatz und der Validierungsdatensatz können jeweils eine Vielzahl von Datensätzen (Referenzdatensätzen) aus früheren Bestellungen umfassen, z.B. eine Vielzahl von den in Fig. 2 gezeigten Referenzdatensätzen. Vorzugsweise ist ein Referenzdatensatz, der in dem Testdatensatz enthalten ist, weder im Validierungsdatensatz noch im Trainingsdatensatz enthalten. Ähnlich ist ein Referenzdatensatz, der in dem Validierungsdatensatz enthalten ist, vorzugsweise weder im Testdatensatz noch im Trainingsdatensatz enthalten.
Schritt S3: Bereitstellen eines individuellen Datensatzes (individuelle Bestellung), welcher zumindest individuelle Bilddaten umfasst. Die individuellen Bilddaten können im Rahmen einer individuellen Brillenbestellung für einen Benutzer von einem Augenoptiker erfasst werden. Die individuelle Bestellung kann außerdem weitere individuelle Information, insbesondere individuelle Refraktionsdaten umfassen, vor allem wenn es sich dabei um individuelle Informationen handelt, die ohne eine aufwendige Messung ermittelt werden können. Diese können einfache Refraktionsdaten (insbesondere Aberrationen niedriger Ordnung) und/oder auch Informationen über eine individuelle Gebrauchssituation und/oder Ethnie und/oder Alter und/oder Körpergröße und/oder Geschlecht und/oder Gewicht des Benutzers umfassen.
Schritt S4: Berechnen von individuellen zusätzlichen Daten (Zusatzdaten) basierend auf den individuellen Bilddaten, die in dem individuellen Datensatz enthalten sind, der in Schritt S3 bereitgestellt wurde, und weiter basierend auf dem in Schritt S2 ermittelten Zusammenhang zwischen Bilddaten und Zusatzdaten. Die individuellen Bilddaten können zum Beispiel dem trainierten neuronalen Netzwerk aus Schritt S2 eingegeben werden. Die entsprechenden Ausgangsdaten des neuronalen Netzwerks können direkt als die individuellen Zusatzdaten verwendet werden. Es ist möglich, die Ausgangsdaten des neuronalen Netzwerks nicht direkt zu verwenden, sondern diese Ausgangsdaten zunächst einer weiteren Verarbeitung (wie z.B. Überprüfung auf Plausibilität, Glätten, Filtern, Einordnen in Klassen, Umrechnen, etc.) zu unterziehen.
Schritt S5: Berechnen eines individuellen Brillenglases, basierend auf den individuellen Bilddaten, die in dem individuellen Datensatz enthalten sind, der in Schritt S3 bereitgestellt wurde, und weiter basierend auf den berechneten individuellen Zusatzdaten aus dem Schritt S4.
Das Berechnen eines individuellen Brillenglases umfasst insbesondere das Berechnen zumindest einer Fläche des Brillenglases basierend auf den individuellen Bilddaten und den berechneten individuellen Zusatzdaten. Die so berechnete Fläche kann die Rückfläche oder die Vorderfläche des Brillenglases sein. Das "Berechnen zumindest einer Fläche eines Brillenglases" schließt das Berechnen zumindest eines Teils einer Fläche bzw. eines Flächenstücks ein. Anders ausgedrückt wird unter einem "Berechnen zumindest einer Fläche eines Brillenglases" ein Berechnen zumindest eines Teils der Fläche oder ein Berechnen der gesamten Fläche verstanden.
Die der berechneten Fläche gegenüberliegende Fläche kann eine einfache Fläche sein, wie zum Beispiel eine sphärische, eine rotationssymmetrisch eine asphärische, eine torische oder eine atorische Fläche. Es ist auch möglich, beide Flächen individuell zu berechnen.
Das Berechnen des individuellen Brillenglases kann mit einem bekannten Verfahren erfolgen, wie z.B. mit dem aus der Druckschrift US 9,910,294 B2 bekannten Verfahren.
Figuren 3 und 4 zeigen beispielhafte statistische Modelte 2, welche jeweils auf Basis eines Trainingsdatensatz 1 trainiert werden. So können solche statistischen Modelte beispielsweise zumindest teilweise als neuronale Netzwerke ausgebildet sein.
Basiert das statistische Modell auf einem neuronalen Netzwerk oder besteht es aus einem solchen, so wird beispielsweise eine Eingabeschicht des neuronalen Netzwerks mit zumindest einen Teil der Bilddaten und/oder daraus berechneten Hilfsgrößen belegt. Die Ausgabeschicht gibt Werte für zumindest einen Zusatzparameter bzw. zumindest einen Teil der Zusatzdaten aus. Das neuronale Netzwerk kann vorzugsweise zusätzlich zu einer Eingabe- und einer Ausgabeschicht auch eine oder mehrere versteckte Schichten enthalten. Während des Trainings eines ursprünglichen, untrainierten neuronalen Netzwerks werden die Gewichte unter Anwendung geeigneter Lernalgorithmen geändert. Das trainierte neuronale Netzwerk gibt den Zusammenhang zwischen Bilddaten und Zusatzdaten vor. Der Aufbau des neuronalen Netzwerks (wie zum Beispiel Anzahl und Arten der Schichten, Anzahl und Arten der Neuronen in den unterschiedlichen Schichten, die Art der Verknüpfung der Schichten und der Neuronen untereinander, etc.) sowie die Lernalgorithmen können unterschiedlich sein.
Fig. 3 zeigt ein beispielhaftes lineares Regressionsmodell mit einer Eingabeschicht und einer Ausgebeschicht. Dabei wird aus einer multidimensionalen Eingangsgröße x mit einer Dimension D (zum Beispiel D = 26) eine Ausganggröße f(x) mit K Variablen berechnet: f (x) = Wx (1) wobei die Gewichtungsmatrix bezeichnet.
Fig. 4 zeigt ein beispielhaftes nichtlineares Regressionsmodell mit einer Eingabeschicht, einer Ausgabeschicht und mehreren verborgenen Schichten. Dabei wird aus einer multidimensionalen Eingangsgröße x mit einer Dimension D (zum Beispiel D = 26) eine Ausganggröße f(x) mit k Variablen berechnet: σ(a) = max(a, 0) Rectified Linear Unit (ReLU) , wobei Gewichtungsmatrizen bezeichnen.
Fig. 5 zeigt ein Beispiel einer bevorzugten Ausführungsform unter Verwendung eines beispielhaften linearen Modells. Das dargestellte Beispiel basiert auf einer Berechnung der Zernike-Koeffizienten der Cornea eines Auges von etwa 7 mm Durchmesser um den Cornea-Apex aus der Pupillendistanz. Das heißt, als Bilddaten wird die Pupillendistanz herangezogen. Diese kann insbesondere direkt oder indirekt aus zumindest einem Bild zumindest eines Teils einer Augenpartie des Benutzers ermittelt werden bzw. worden sein. Insbesondere wird in Fig. 5A ein Trainingsdatensatz dargestellt, in dem eine Vielzahl von Referenzdatensätzen enthalten sind, welche für eine Vielzahl von Personen bzw. Augenpaaren die jeweilige Pupillendistanz mit dem zugehörigen Zernike-Koeffizienten C20 (mittlere Krümmung) der Cornea für einen Radius von 3.55 mm in Verbindung setzt.
Vorzugsweise wird eine einfache lineare Regression als statistisches Modell verwendet, mit der aus der Pupillendistanz (PD) als mit der Augenpartie in Verbindung stehender Parameter der Zernike-Koeffizienten der Cornea entwickelt um den Cornea- Apex mit dem Radius von 3.55 mm ermittelt wird. Zur individuellen Ermittlung der Zernike-Koeffizienten werden im statistischen Modell die Modellparameter durch eine lineare Regression bestimmt: C20 (PD) = - 304,1 pm + 0,9422 pm/mm PD.
Die Vorhersagekraft dieses Modells ist hier 0,11 (adjusted R-squared).
Nimmt man zusätzliche Terme, wie z.B. White-to-white (WTW) hinzu, so kann das Modell verbessert werden:
C20 (PD, WTW) = - 329,7 pm + 0,9841 pm/mm PD + 2,172 pm/mm WTW
Die Vorhersagekraft beträgt nun 0,15 (adjusted R-squared).
Ein Vergleich mit Fig. 5B zeigt außerdem, dass mit dem erfindungsgemäßen Ansatz der Nutzung von individuellen Bilddaten auch (statistische) Korrelationen mit (optisch) relevanten Parametern für die individuelle Brillenglasoptimierung und -herstellung zugänglich werden, die herkömmlich so gar nicht erwartet wurden oder zu erwarten sind. Insbesondere zeigt Fig. 5B eine statistische Verteilung der mittleren Cornea- Krümmung (C2°) in Abhängigkeit vom sphärischen Äquivalent der Refraktion des zugehörigen Auges. Auch wenn physiologisch isoliert betrachtet eine Änderung der mittleren Cornea-Krümmung einen sehr großen Einfluss auf das sphärische Äquivalent der Augenrefraktion hat, zeigt sich statistisch kein ausgeprägter Zusammenhang zwischen der mitleren Cornea-Krümmung und dem sphärischen Äquivalent. Bei sehr einfachen (nicht individuell optimierten) Brillengläsern reicht die Kenntnis über das sphärische Äquivalent aus, um ein geeignetes Brillenglas auswählen zu können. Für eine verbesserte, individuelle Herstellung oder Anpassung von Brillengläsern hingegen ist es deutlich verteilhaft, beispielsweise Details über einzelne brechende Flächen des Auges zu kennen. Und so kann mit Kenntnis - oder zumindest mit der statistischen Abschätzung - der mittleren Cornea-Krümmung (als Zusatzdaten) in der Regel eine verbesserte individuelle Anpassung von Brillengläsern erreicht werden. Dieser Vorteil aus der Kenntnis (bzw. Annäherung) der Zusatzdaten wird dabei in der erfindungsgemäßen Weise mit sehr einfachen Mitteln erreicht.
Es können auch weitere Parameter herangezogen werden, die nicht zwingend mit der Augenpartie in Verbindung stehen (z.B. Alter und/oder Geschlecht des Benutzers). Es können anstatt linearer Funktionen auch nichtlineare Funktionen (z.B. neuronale Netzwerke) angepasst werden, und ebenfalls andere Verteilungen der Residuen als die Normalverteilung (z.B. um die Modellparameter aus den möglicherweise Ausreisser enthaltenden Daten robust bestimmen zu können).
In einer weiteren bevorzugten Ausführungsform werden mit Hilfe von Bilddaten, nämlich insbesondere wiederum anhand der Pupillendistanz statistische Aussagen über der Augenlänge (AL) gemacht, insbesondere unter Berücksichtigung des sphärischen Äquivalents (M) der Refraktion. Zur individuellen Ermittlung der Augenlänge werden im statistischen Modell die Modellparameter durch eine lineare Regression bestimmt:
Die Vorhersagekraft dieses Modells ist 0,67 (adjusted R-squared).
Die Verwendung eines geometrischen Parameters der Augenpartie, nämlich der Pupillendistanz (Bilddaten), bringt hier Vorteile gegenüber der Vorhersage rein aus dem sphärischen Äquivalent, wie der Vergleich der Vorhersagekraft eines linearen Modells ohne Berücksichtigung der Pupillendistanz zeigt:
Die Vorhersagekraft dieses Modells ist 0,63 (adjusted R-squared):
In einer weiteren bevorzugten Ausführungsform werden mit Hilfe von Bilddaten Informationen über die Cornea-Topographie ermittelt. Vorzugsweise dient dabei als statistisches Modell ein trainiertes, tiefes künstliches neuronales Netzwerk, welches auf einen Zusammenhang zwischen Bildern der Augenpartie (Bilddaten) und der Cornea-Topographie (Zusatzdaten) trainiert ist bzw. wird. Vorzugsweise werden insbesondere die letzten Schichten eines nach Möglichkeit bereits an Bilddaten vortrainierten Netzwerks trainiert, um die Cornea-Topographie zu bestimmen. Insbesondere kann die Augenbiometrie zumindest teilweise und/oder näherungsweise aus Bildern des Kopfes und/oder der Augenpartie (Bilddaten) bestimmt werden, wobei als im statistischen Modell ausgebildetes Merkmal zumindest eines der folgenden Merkmale (ggf. als Zwischengröße) abstrahiert wird oder vom statistischen Modell gelernt wird: Ethnie, (ungefähres) Alter, Kopfgröße (z.B. Kopfumfang), Augenfarbe, Körpergröße, Gewicht. Es sind ebenfalls andere Merkmale denkbar, für die ein durch das Modell zu lernender kausaler Zusammenhang nahegelegt ist, oder für die eine entsprechende Korrelation nicht a priori auszuschließen ist.
Vorzugsweise werden in der Erstellung und/oder Anwendung des statistischen Modells über die Bilddaten hinaus zusätzliche Parameter (Erweiterungsdaten) als Eingangsdaten zum Trainieren bzw. zum Ermitteln der Zusatzdaten verwendet, wenn sie verfügbar sind, wie z.B. Ethnie, (ungefähres) Alter, Kopfgröße (z.B. Kopfumfang), Augenfarbe, Körpergröße, Gewicht.
In einer bevorzugten Ausführungsform umfassen die Zusatzdaten Daten der Cornea- Topographie (z.B. als Krümmung, als Zernike-Polynom, oder mit Hilfe einer anderen gängigen Beschreibung), welche mittels des statistischen Modells mit zumindest zwei aus verschiedenen Richtungen aufgenommenen Bildern der Augenpartie oder des Auges (z.B. mit Hilfe eines zwei Kameras Videozentriergeräts mit 2 Kameras) als Bilddaten in Verbindung gebracht werden. Vorzugsweise werden in den Bildern markante Punkte der Iris gesucht, die durch unterschiedliche Bereiche der Cornea abgebildet werden. Unter Annahmen (z.B. Iris ist plan, und/oder die physikalische Aperturblende ist rund, bekannte Brechungsindizes der Cornea und der Vorderkammer des Auges) wird dann die Form der Cornea ermittelt (z.B. durch Variation eines mathematischen Modells der Cornea-Vorderfläche und ggf. auch Cornea-Rückfläche, sowie eines Modells der Position von markanten Punkten auf der Iris), wobei dasselbe physikalische Modell der Cornea die Position der markanten Iris- Punkte in allen Bildern möglichst gut erklären muss. Besonders bevorzugt werden die Bilder gleichzeitig aufgenommen, damit sich die Pupille in demselben Zustand befindet. Insbesondere als Spezialfall betrifft die Erfindung in einer bevorzugten Ausführungsform ein Bestimmung der Vorderkammertiefe, insbesondere unter der Annahme, dass die Iris und die Berandung zwischen Cornea und Sclera in derselben Ebene liegen.
Ebenso ist es möglich, anhand der Elliptizität der Pupillenform (Bilddaten) auf den Astigmatismus der Cornea (Zusatzdaten) zu schließen.
Dadurch, dass aus den Bildern der Augenpartie ggf. bereits Werte abgeleitet werden (z.B. white-to-white des Cornea-Durchmessers), ist es möglich, durch die Verwendung eines statistischen Modells auch komplexere Eigenschaften der Augenbiometrie (z.B. eine natürlich vorkommende Cornea-Form in einer geeigneten Parametrisierung und/oder der Vorderkammertiefe und/oder eine zentrale Dicke oder eine Dickenverteilung der Cornea) zu schätzen, ohne dass man sich unnötig auf ein übermäßig vereinfachtes Modell (z.B. ein Modell der Cornea als Teil einer Kugel- oder Torus-Oberfläche) beschränken muss. Auf diese Weise können die natürlich vorkommenden Formen der Cornea optimal geschätzt werden. Auch Annahmen über die Iris oder Pupille können über ein statistisches Modell von weiteren Parametern abhängen, wie z.B. vom Alter, der Refraktion, Ethnie, Geschlecht, oder anderen bekannten Größen (siehe mögliche Parameter weiter oben).
Eine weitere bevorzugte Ausführungsform betrifft die Bestimmung der Cornea- Topographie (Zusatzdaten) aus der Form der zwischen Cornea und Sclera verlaufenden Linie (Bilddaten), oder alternativ oder zusätzlich aus der äußeren Berandung der Iris (Bilddaten). Vorzugsweise wird die Form der zwischen Cornea und Sclera verlaufenden Linie bzw. die Form der äußeren Berandung der Iris parametrisiert, z.B.:
Horizontal und vertikal vermessenes White-to-White eine flache elliptische Form der Linie, parametrisiert z.B. durch Halbachsen und ggf. zusätzlich ihre Orientierung zur Horizontalen eine flache, aus zwei Kreisabschnitten oder Ellipsenabschnitten bestehende Form eine 3-dimensionale Form der Linie, die beispielsweise durch mehrere Bilder aus verschiedenen Richtungen bestimmt wird (z.B. mittels eines Stereo- Kamerasystems) eine Parametrisierung mittels Fourier-Koeffizienten des Abstands der Berandung von einem ausgezeichneten Punkt (z.B. Zentroid der Pupille) in Abhängigkeit vom Winkel
Ist die Linie (zwischen Cornea und Scleara oder alternativ oder zusätzlich die äußere Berandung der Iris) in Bildern nicht gänzlich sichtbar (z.B. weil Teile des Lids sie verdecken), können bei geeigneter Parametrisierung, welche eine Annahme über die Form der Linie darstellen, die Parameter dennoch bestimmt werden, insbesondere mit Hilfe eines statistischen Modells. Die Parameter können sich auf eine bereits bekannte Länge beziehen (z.B. indem bereits kalibrierte Daten verwendet werden, oder z.B. indem über eine bekannte Pupillendistanz eine ungefähre Kalibrierung möglich ist).
Vorzugsweise werden aus diesen Parametern wiederum mittels eines bzw. des statistischen Modells die Cornea-Topographie bestimmt werden, indem aus einem vorhandenen Datensatz, der sowohl bekannte Cornea-Topographien als auch geeignete Parameter der Berandung zwischen Cornea und Sclera beinhaltet, vorhergesagt werden.
Eine weitere bevorzugte Ausführungsform betrifft die Bestimmung der Cornea- Topographie (Zusatzdaten) aus dem geometrischen Verlauf nur eines einzelnen Schnittes der Cornea-Oberfläche, z.B. des vertikalen Schnittes der Cornea bei einem Kamerabild von der Seite (Bilddaten), mittels eines statistischen Modells, wobei im statistischen Modell zusätzlich auch weitere Größen berücksichtigt werden können.
Zusammenfassend ist zu bemerken, dass herkömmliche Videozentrierung bekanntermaßen zur individuellen Verbesserung der Brillengläser benutzt wird, jedoch nicht, indem mit der Biometrie des Auges in Verbindung stehende Parameter mit Hilfe eines statistischen Modells geschätzt werden. Es können zwar z.B. ein Pupiltendurchmesser oder eine Pupillendistanz bestimmt werden, dies geschieht jedoch ohne Verwendung eines statistischen Modells, welches die Bestimmung dieser Parameter verbessert, indem z.B. die Abbildung der physikalischen Aperturblende des Auges (Iris) durch eine nicht näher bekannte Cornea, welche jedoch mit Hilfe eines statistischen Modells geschätzt werden kann.
Im Rahmen der vorliegenden Erfindung können die zumindest mit der Augenpartie in Verbindung stehenden Daten aus Bildern bestimmt worden sein, auf denen ein oder zwei Augen zu sehen sind. Solche Bilddaten können insbesondere aus größerer Entfernung bestimmbar sein und im Vergleich zu einer kompletten Messung der Augenbiometrie auch wesentlich schneller durchführbar sein.
Die mit der Augenbiometrie in Verbindung stehende Daten können geometrische Daten (z.B. Beschreibung der brechenden Flächen des Auges, sowie bei mehreren Flächen ggf. auch deren relative Positionen zueinander) sein und sie können insbesondere die Form der Cornea (z.B. als eine der Cornea-Flächen, insbesondere der Cornea-Vorderfläche) umfassen. Damit kann ein komplexes Augenmodell bestimmt werden, mit dem ophthalmische Linsen besser individuell angepasst werden können, ohne dass für die Bestimmung des komplexen Augenmodells im Einzelfall aufwändige Messungen durchgeführt werden müssen und entsprechende Messgeräte vorhanden sein müssen.
Die mit der Augenbiometrie in Verbindung stehenden Daten können auch auf ein Auge alleine bezogen sein (als Abgrenzung zum Augendrehpunkt, welcher ein biometrischer Parameter des Kopfes bzw. eines Augenpaares ist, aber kein biometrischer Parameter eines einzelnen Auges an sich). Mit Hilfe solcher auf ein Auge alleine bezogener Parameter können die optischen Eigenschaften eines komplexen Augenmodells bestimmt werden, die wiederum zur Berechnung verbesserter ophthalmischer Linsen verwendet werden können, ohne dass für die Bestimmung des komplexen Augenmodells im Einzelfall entsprechende Messgeräte vorhanden sein müssen. Insbesondere wird zur Bestimmung eines solchen Augenmodells im Einzelfall (also nachdem das statistische Modell bereitgestellt ist) keine speziell dafür ausgelegte Beleuchtungsvorrichtung benötigt (wie z.B. bei einem Keratometer oder einer Scheimpflugkamera). Es genügt eine einfache Beleuchtungsvorrichtung wie z.B. eine LED, die ggf. nur kurz eingeschaltet wird (z.B. als Blitz zum Ausleuchten zumindest der Augenpartie).
Insbesondere betrifft die Erfindung damit in einer bevorzugten Ausführungsform ein Verfahren zum Bestimmen der Biometrie des Auges, umfassend die folgende Schritte: Erfassen von Bilddaten des Auges mit einem Kamerasystem mit einem oder zwei Kameras, welche vorzugsweise zueinander kalibriert sind (Stereokamerasystem);
Bereitstellen und/oder Anwenden eines statistischen Modells, welches anhand mindestens eines der folgenden Eingangsparameter-Sätzen als Eingangsparametersatz die Biometrie (z.B. Corneakrümmung oder Vorderkammertiefe) vorhersagt:
Parametersatzl : Abbildung der Iris durch die Cornea mit einer oder zwei Kameras aus einem oder verschiedenen Winkeln.
Parametersatz 2: Umrandung der Iris
Parametersatz 3: Pupillendistanz der Person, wobei das Bereitstellen des statistischen Modells einen Trainingsprozess umfasst, während dessen zusätzlich zu den Parametern 1 und/oder 2 und/oder 3 die zugehörige Biometrie des Auges bekannt ist und für das Trainieren verwendet wird. Sowohl die Umrandung der Iris als auch die Pupillendistanz können aus den Bildern bestimmt werden.
Bezugszeichenliste
1 Trainingsdatensatz
2 statistisches Modell
10 Referenzdatensatz
12 Bilddaten
14 Zusatzdaten
S1 bis S5: Verfahrensschritte

Claims

Patentansprüche
1. Computerimplementiertes Verfahren zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers, umfassend:
Bereitstellen von Bilddaten umfassend: zumindest ein Bild zumindest eines Teils einer Augenpartie des Benutzers; und/oder geometrische Informationen über zumindest einen Teil einer Augenpartie des Benutzers, welche sich unmittelbar aus zumindest einem Bild zumindest des Teils der Augenpartie des Benutzers ergeben;
Ermitteln von individuellen Zusatzdaten, welche zumindest einen individuellen biometrischen Parameter des zumindest einen Auges des Benutzers umfassen, basierend auf den bereitgestellten Bilddaten, und unter Verwendung eines statistischen Modells, welches einen Zusammenhang zwischen den Bilddaten und den Zusatzdaten beschreibt.
2. Verfahren nach Anspruch 1 , wobei das statistische Modell (2) mittels statistischer Analyse eines Trainingsdatensatzes (1) mit einer Vielzahl von Referenzdatensätzen (10) hergeleitet wird oder worden ist, wobei jeder der Referenzdatensätze (10) Bilddaten und den Bilddaten zugeordnete Zusatzdaten umfasst.
3. Verfahren nach Anspruch 2, ferner umfassend:
Bereitstellen des Trainingsdatensatzes (1 ); und
Herleiten des statistischen Modells (2) mittels statistischer Analyse des Trainingsdatensatzes (1), wobei das Herleiten des statistischen Modells (2) ein Trainieren eines ursprünglichen Modells mit Hilfe des Trainingsdatensatzes (1 ) umfasst.
4. Verfahren nach einem der vorangegangenen Ansprüche, wobei die Bilddaten einen oder mehrere der folgenden Parameter umfassen:
Ein oder mehrere Kamerabilder, auf dem/denen zumindest ein Auge, vorzugsweise beide Augen insbesondere von vorne zu sehen ist bzw. sind;
Ein oder mehrere Kamerabilder, auf dem/denen zumindest ein Auge insbesondere von der Seite zu sehen ist;
Pupillendistanz;
Abstand der Augendrehpunkte;
Cornea-Durchmesser;
Die Form und/oder Position der Pupille oder deren Teile;
Die Form und/oder Position des äußeren Rands der Isis oder deren Teile;
3D-Modelle der Augenpartie (z.B., als 3-dimensionele Punktwolken, 3- dimensionale Kantennetzte, die mit Hilfe von Tiefenkameras bestimmt werden können, etc.);
Aktuelle Blickrichtung;
Vorhandensein einer Heterophorie und/oder vorzugsweise deren Ausprägung.
5. Verfahren nach einem der vorangegangenen Ansprüche, wobei der zumindest eine individuelle biometrische Parameter einen oder mehrere der folgenden Parameter umfasst:
Augenlänge (insbesondere die geometrische Baulänge des Auges);
Optische Länge des Auges (Integral des Brechungsindizes entlang eines durch den Punkt schärfsten Sehens auf der Retina und die Mitte der Pupille laufenden Lichtstrahls einer gegebenen Wellenlänge wie z.B. 550 nm); ein oder mehrere Abstände der Scheitel der brechenden Flächen eines Auges zueinander oder zu einem anderen gemeinsamen Bezugspunkt (z.B. zum Punkt schärfsten Sehens auf der Retina);
Form der brechenden Flächen (z.B. Form und / oder Verkippung der Cornea oder einer der Linsenflächen) welche in einer gegebenen Parametrisierung vorliegen kann (z.B. über Krümmungsradien in Hauptschnitten und deren Orientierung, Zernike-Koeffizienten der Pfeilhöhe, geometrische Krümmungen oder äquivalente Darstellungen, z.B. als Powervektor oder als Polardarstellung) und welche relativ zu einem Koordinatensystem zu verstehen ist (z.B. relativ zu einem Koordinatensystem, in dem die Blickrichtung mit der negativen Richtung der z- Achse übereinstimmt und die x-Achse in der Horizontalebene liegt);
Durchmesser oder Radius der physikalischen Apertur des Auges (d.h. die Öffnung der Iris) oder der optischen Eintrittspupille (Abbildung der Iris durch die Cornea), welcher für eine vorgegebene Beleuchtungsbedingung (z.B. eine vorgegebene oder durchschnittliche Beleuchtung in Innenräumen) gegeben sein kann;
Brechungsindizes der optischen Medien des Auges;
Größe und/oder Form der Retina, insbesondere Größe und/oder Form der Fovea;
Ausrichtung der Retina (insbesondere der Fovea), z.B. als Richtung eines im Punkt des schärfsten Sehens senkrecht auf der Retina stehenden Vektors relativ zur Lichteinfallsrichtung (z.B. eines durch die Mitte der Pupille und den Punkt schärfsten Sehens verlaufenden Lichtstrahl);
Position und Ausrichtung der Rezeptoren auf der Retina;
Größe der rezeptiven Felder auf der Retina.
6. Verfahren nach einem der vorangegangenen Ansprüche, wobei das statistische Modell eines oder mehrere der folgenden Modelle umfasst: ein lineares Modell; einen Gauss-Prozess; ein neuronales Netzwerk (z.B. tiefe neuronale Netzwerke); einen Entscheidungsbaum bzw. Regressionsbaum (regression tree); eine Boltzmann-Maschine eine Support-Vector-Machine
7. Verfahren zum Herstellen eines Brillenglases, umfassend:
Bestimmen von individuellen Zusatzdaten (14), welche zumindest einen individuellen biometrischen Parameter des zumindest einen Auges des Benutzers umfassen, basierend auf den bereitgestellten Bilddaten nach dem Verfahren gemäß einem der Ansprüche 1 bis 6;
Berechnen des Brillenglases anhand der bestimmten individuellen Zusatzdaten.
8. Computerprogrammprodukt, welches, wenn es in den Speicher eines Computers geladen und auf diesem ausgeführt wird, bewirkt, dass der Computer ein Verfahren nach einem der Ansprüche 1 bis 7 durchführt.
9. Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers, wobei die Vorrichtung eine Rechenvorrichtung umfasst, welche ausgebildet ist, das Verfahren nach einem der Ansprüche 1 bis 6 durchzuführen.
10. Vorrichtung zum Herstellen eines Brillenglases: eine Vorrichtung zum Bestimmen von individuellen biometrischen Parametern zumindest eines der Augen eines Benutzers gemäß Anspruch 9; eine Glasberechnungsvorrichtung, welche ausgebildet ist, das Brillenglas anhand der berechneten individuellen biometrischen Parameter zu berechnen.
EP21805493.0A 2020-11-03 2021-11-03 Bestimmung der augenoptisch relevanten biometrie zumindest eines auges aus einem bild einer augenpartie Pending EP4241132A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102020128951.0A DE102020128951B4 (de) 2020-11-03 2020-11-03 Verfahren zum Herstellen eines Brillenglases, Computerprogrammprodukt und Vorrichtung zum Bestimmen zumindest eines individuellen biometrischen Parameters
PCT/EP2021/080437 WO2022096475A1 (de) 2020-11-03 2021-11-03 Bestimmung der augenoptisch relevanten biometrie zumindest eines auges aus einem bild einer augenpartie

Publications (1)

Publication Number Publication Date
EP4241132A1 true EP4241132A1 (de) 2023-09-13

Family

ID=78536221

Family Applications (1)

Application Number Title Priority Date Filing Date
EP21805493.0A Pending EP4241132A1 (de) 2020-11-03 2021-11-03 Bestimmung der augenoptisch relevanten biometrie zumindest eines auges aus einem bild einer augenpartie

Country Status (7)

Country Link
US (1) US20250383557A1 (de)
EP (1) EP4241132A1 (de)
JP (1) JP7840326B2 (de)
CN (1) CN116670568A (de)
CL (1) CL2023001282A1 (de)
DE (1) DE102020128951B4 (de)
WO (1) WO2022096475A1 (de)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005079546A2 (en) 2004-02-20 2005-09-01 Ophthonix, Inc. System and method for analyzing wavefront aberrations
US9033502B2 (en) * 2011-03-18 2015-05-19 Sensomotoric Instruments Gesellschaft Fur Innovative Sensorik Mbh Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
DE102011120974A1 (de) 2011-12-13 2013-06-13 Rodenstock Gmbh Helligkeitsabhängige Anpassung eines Brillenglases
DE102017007974A1 (de) * 2017-01-27 2018-08-02 Rodenstock Gmbh Belegung eines Augenmodells zur Optimierung von Brillengläsern mit Messdaten
DE102012000390A1 (de) 2012-01-11 2013-07-11 Rodenstock Gmbh Brillenglasoptimierung mit individuellem Augenmodell
WO2015027196A1 (en) * 2013-08-22 2015-02-26 Bespoke, Inc. Method and system to create custom products
KR102393228B1 (ko) * 2015-05-11 2022-04-29 매직 립, 인코포레이티드 뉴럴 네트워크들을 활용하여 생체 인증 사용자 인식을 위한 디바이스들, 방법들 및 시스템들
CN105708467B (zh) 2016-04-06 2017-12-29 广州小亮点科技有限公司 人体实际距离测量及眼镜架的定制方法
KR102723374B1 (ko) * 2016-07-25 2024-10-29 매직 립, 인코포레이티드 광 필드 프로세서 시스템
JP6900647B2 (ja) 2016-09-30 2021-07-07 株式会社ニデック 眼科装置、およびｉｏｌ度数決定プログラム
EP3321831B1 (de) * 2016-11-14 2019-06-26 Carl Zeiss Vision International GmbH Vorrichtung zum ermitteln von prognostizierten subjektiven refraktionsdaten oder prognostizierten subjektiven korrektionsdaten und computerprogramm
EP3355104B2 (de) * 2017-01-27 2022-06-01 Carl Zeiss Vision International GmbH Verfahren und vorrichtung sowie computerprogramm zum ermitteln einer repräsentation eines brillenglasrands
JP6907563B2 (ja) 2017-01-31 2021-07-21 株式会社ニデック 画像処理装置、および画像処理プログラム
CN114173635B (zh) * 2019-07-02 2025-10-17 罗登斯托克有限责任公司 优化眼镜镜片、特别是用于植入式人工晶状体的佩戴者的眼镜镜片的方法和设备

Also Published As

Publication number Publication date
CL2023001282A1 (es) 2023-12-22
DE102020128951A1 (de) 2022-05-05
JP7840326B2 (ja) 2026-04-03
DE102020128951B4 (de) 2022-07-28
CN116670568A (zh) 2023-08-29
JP2023548197A (ja) 2023-11-15
WO2022096475A1 (de) 2022-05-12
US20250383557A1 (en) 2025-12-18

Similar Documents

Publication Publication Date Title
EP3956721B1 (de) Bestimmung mindestens eines optischen parameters eines brillenglases
EP2471441B1 (de) Verfahren und Vorrichtung zur Bestimmung der Augendrehpunktlage
EP2802935B1 (de) Brillenglasoptimierung mit individuellem augenmodell
DE102017007990B4 (de) Computerimplementierte Verfahren und Vorrichtungen zum Ermitteln individueller Aberrationsdaten oder zum Berechnen oder Optimieren eines Brillenglases für zumindest ein Auge eines Brillenträgers, Computerimplementiertes Verfahren zum Ermitteln optimierter sphärozylindrischer Werte für zumindest ein Auge eines Brillenträgers, Verfahren und Vorrichtung zum Herstellen eines Brillenglases, Brillengläser und Computerprogrammerzeugnis
EP2383603B1 (de) Verfahren zum Fertigen einer Brillenlinse
WO2021001451A1 (de) Verfahren und vorrichtung zur optimierung von brillengläsern, insbesondere für träger von implantierten intraokularlinsen
EP3669230B1 (de) Optimierung eines brillenglases unter berücksichtigung eines visusmodells
EP3926390B1 (de) Angleich der subjektiven und objektiven refraktionen
EP3130277B1 (de) Universelle objektive refraktion
EP3931628A1 (de) Datensatz zur verwendung in einem verfahren zur herstellung eines brillenglases
DE102020128951B4 (de) Verfahren zum Herstellen eines Brillenglases, Computerprogrammprodukt und Vorrichtung zum Bestimmen zumindest eines individuellen biometrischen Parameters
DE102020128958B4 (de) Verfahren zum Bestimmen eines Brillenglases, Vorrichtung zum Bestimmen von individuellen biometrischen Daten sowie Vorrichtung zum Herstellen eines Brillenglases
DE102023136434B3 (de) Brillenglasberechnung unter Berücksichtigung der peripheren Refraktion, Verfahren, Vorrichtung sowie Computerprogrammerzeugnis
WO2022096476A1 (de) Verfahren und vorrichtung zur beschleunigten wellenfrontdurchrechnung durch ein komplexes optisches system

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

TPAC Observations filed by third parties

Free format text: ORIGINAL CODE: EPIDOSNTIPA

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20230504

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)