CN111788570B - 耳塞形状的确定 - Google Patents

耳塞形状的确定 Download PDF

Info

Publication number
CN111788570B
CN111788570B CN201880090419.7A CN201880090419A CN111788570B CN 111788570 B CN111788570 B CN 111788570B CN 201880090419 A CN201880090419 A CN 201880090419A CN 111788570 B CN111788570 B CN 111788570B
Authority
CN
China
Prior art keywords
ear
dimensional
image
stored
shape
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880090419.7A
Other languages
English (en)
Other versions
CN111788570A (zh
Inventor
P·乔宾
J·博厄斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Comfort Headset Co ltd
Original Assignee
Comfort Headset Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Comfort Headset Co ltd filed Critical Comfort Headset Co ltd
Publication of CN111788570A publication Critical patent/CN111788570A/zh
Application granted granted Critical
Publication of CN111788570B publication Critical patent/CN111788570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/647—Three-dimensional [3D] objects by matching two-dimensional images to three-dimensional objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F11/00—Methods or devices for treatment of the ears or hearing sense; Non-electric hearing aids; Methods or devices for enabling ear patients to achieve auditory perception through physiological senses other than hearing sense; Protective devices for the ears, carried on the body or in the hand
    • A61F11/06—Protective devices for the ears
    • A61F11/08—Protective devices for the ears internal, e.g. earplugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y30/00—Apparatus for additive manufacturing; Details thereof or accessories therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y50/00—Data acquisition or data processing for additive manufacturing
    • B33Y50/02—Data acquisition or data processing for additive manufacturing for controlling or regulating additive manufacturing processes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B33—ADDITIVE MANUFACTURING TECHNOLOGY
    • B33Y—ADDITIVE MANUFACTURING, i.e. MANUFACTURING OF THREE-DIMENSIONAL [3D] OBJECTS BY ADDITIVE DEPOSITION, ADDITIVE AGGLOMERATION OR ADDITIVE LAYERING, e.g. BY 3D PRINTING, STEREOLITHOGRAPHY OR SELECTIVE LASER SINTERING
    • B33Y80/00—Products made by additive manufacturing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional [3D] objects
    • G06V20/653—Three-dimensional [3D] objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1058—Manufacture or assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/65—Housing parts, e.g. shells, tips or moulds, or their manufacture
    • H04R25/652—Ear tips; Ear moulds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Electric hearing aids
    • H04R25/65—Housing parts, e.g. shells, tips or moulds, or their manufacture
    • H04R25/658—Manufacture of housing parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2225/00—Details of deaf aids covered by H04R25/00, not provided for in any of its subgroups
    • H04R2225/77—Design aspects, e.g. CAD, of hearing aid tips, moulds or housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; ELECTRIC HEARING AIDS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/09—Non-occlusive ear tips, i.e. leaving the ear canal open, for both custom and non-custom tips

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Materials Engineering (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Vascular Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种用于确定塞入耳朵中的塞入件的三维形状的方法。该方法包括：接收与耳朵的二维图像相对应的图像数据，处理该图像数据以测量耳朵的至少一个生物特征，该至少一个生物特征指示耳朵的至少一部分的三维形状，以及通过使至少一个生物特征与多个预存储的三维形状中的一个匹配来确定塞入耳朵中的塞入件的三维形状。每个预存储的三维形状对应于相应的耳朵。

Description

耳塞形状的确定
技术领域
本发明涉及用于从耳朵的二维图像确定塞入到该耳朵中的塞入件的三维形状的方法、装置和系统。特别地但非排他性地，本发明与耳塞的制造相关，该耳塞的形状被定制成与耳朵适配。
背景技术
用于制造定制耳塞的系统是已知的。通常，这样的系统将利用模具或专业设备来确定塞入耳朵的耳塞的形状。例如，众所周知，与标准的非定制耳塞相比，为人们生产的定制入耳式耳机通常更加舒适，并且不太可能掉出耳朵。但是，需要开发一种无需使用模具或专业设备即可确定耳塞形状的替代方法，从而使制造过程的成本降低，并减轻需要将目标用户与专业医师或具有制造模具能力的人员凑在一起的后勤问题。
美国专利申请号为2010/0296664的美国专利申请讨论了一种用于提供听筒的系统，该系统利用非接触式3D扫描仪为客户的耳朵生成三维数据。类似这种非接触式3D扫描仪的专业设备，其同样引入了诸如上述的成本和后勤问题。US2010/0296664承认，其提供的系统会尝试从耳朵的二维图像中推断出三维数据，但是要注意，这些数据存在许多错误，因此可能不准确且不可靠。
发明内容
在所附的权利要求中陈述了本发明的多个方面。
附图说明
现在将参考附图示例性地描述本发明的各种实施例，其中：
图1示意性地示出了根据本发明的示例性实施例所述的系统；
图2示意性地示出了使用图1的系统以制造耳塞的方法；
图3示出了三种不同朝向的适配卡(fitting card)；
图4示意性地示出了用于从二维图像中提取特征的方法；
图5A示出了由图1所示系统测量的具有生物特征的耳朵图像；
图5B示出了具有所指示的一组生物特征的耳朵图像；
图6示意性地示出了用于训练机器学习分类算法的方法；
图7示出了呈现出耳朵形状的三维数据；
图8示意性地示出了一种系统，该系统用于创建由预存储的耳朵形状组成的数据库，以及使该数据库中的耳朵形状与耳朵的二维图像匹配；
图9示意性地示出了一种系统，该系统用三维耳朵形状来填充一数据库；
图10示意性地示出了用三维耳朵形状来填充数据库的另一系统；
图11示出了一流程图，该流程图用于说明一方法，该方法用于确定待塞入到耳朵中的塞入件的三维形状；
图12示意性地示出了一种装置，该装置用于确定待塞入到耳朵中的塞入件的三维形状；以及
图13A和图13B示意性地示出了根据本发明实施例所述的系统。
具体实施方式
本发明的实施例涉及从耳朵的二维图像确定用于塞入耳朵的三维塞入件的形状。这允许基于用户耳朵的照片(例如由智能手机拍摄的照片)来制作定制的耳塞，而无需对用户的耳朵进行任何三维扫描，因此将不需要专用于这种方法的扫描设备。此外，由于用户可以使用自己的智能手机来拍摄照片，因此不需要用户访问扫描位置以确定耳朵的形状。这为用户增加了便利，并减少了耳朵形状的确定成本，从而降低了定制耳塞的制造成本。
所定制的诸如耳塞式耳机之类的耳塞的形状，可以塞入耳廓和耳道的至少一部分中。特别地，耳塞的形状被设定为在各种公差内匹配至少一部分以下结构，包括耳甲腔、耳甲艇、对耳屏、耳屏、耳屏间切迹和耳道，并位于耳轮类腿部(Helices Crus)上。
图1示意性地示出了根据本发明示例性实施例所述的系统。该系统包括用户的智能手机105、服务器120、数据库130和3D打印系统135。智能手机是指移动电话，除了可以执行常规的音频通信外，还具有能够执行下载的软件应用程序的处理电路，这些软件应用程序通常称为APP。
除其他功能外，智能手机105包括相机110和耳塞应用程序115。虽然相机110是智能手机105不可或缺的，但应理解，耳塞应用程序115通常可以从“应用商店”下载到智能手机105上，尽管可选地，耳塞应用程序115可以是例如网页版应用程序。在其他示例中，智能电话105可以由例如台式计算机、膝上型计算机、平板计算机、数字照相机或根据本方法能够拍摄、处理和/或传输图像数据的任何其他合适的设备。
耳塞应用程序115为用户提供获取耳塞制造所需信息的指导过程，然后将所获得的信息传输到远程服务器120。此传输可以借由以下手段进行，包括：诸如宽带码分多址(WCDMA)的无线电信通讯网络、或长期演进技术(LTE)、或使用Wi-Fi或有线连接的网络传输。
服务器120存储匹配例程125，该匹配例程125将耳朵的二维图像与存储在数据库130中的多个三维耳朵形状中的一个进行匹配。每个三维耳朵形状至少包括耳道和/或耳廓的一部分。尽管数据库130在图1中显示为与服务器120分离，但可选地该数据库130也可以由服务器120存储。匹配例程125的此操作(将在下面更详细地描述)通常涉及从图像中提取特定的解剖特征并进行相关的测量，例如耳朵上特定点之间的距离，并在考虑到测量的各种公差的前提下，识别存储在数据库130中的三维耳朵形状，该三维耳朵形状将最接近地匹配对应于所提取的解剖特征。
在该实施例中，服务器120连接到三维打印系统或增材制造系统135。三维打印系统135基于匹配例程125所识别的三维耳朵形状以及要求的耳塞参数来产生耳塞。所得的耳塞将被运送给用户。在该实施例中，耳塞将作为耳机的一部分运送给用户。
因此，图1的系统允许用户仅基于用其智能手机105拍摄的二维图像来获得定制的耳塞，而不必对其耳朵执行任何的三维扫描。该系统没有尝试从耳朵的二维图像中推断三维数据，而是使用从二维图像中提取的特征来识别三维耳朵形状数据库中的匹配项。
图2示意性地示出了根据本发明实施例的用于制造耳塞的方法200。在该示例中，该方法可以在根据图1描述的上述系统内实现。
在205处，当用户打开耳塞应用程序115之后，该耳塞应用程序115将向用户显示操作指南。本操作指南包括提示用户输入制造定制耳塞所需的所有信息。其中，在210处，耳塞应用程序115将提示用户使用相机110拍摄他们的耳朵的图像。耳塞应用程序115提供了关于用户应如何拍摄他们的耳朵的图像的详细指令。例如，耳塞应用程序115将向用户通知所需的照明条件、相机110应远离耳朵的所需距离以及相机110相对于耳朵的正确朝向。
在该示例中，基于包括在拍摄图像中的已知空间尺寸的物体来确定所提取的特征的绝对尺寸。特别地，耳塞应用程序将指示用户把一硬币(或其他已知大小的物体)放在他们的耳朵旁边，基于此来确定拍摄图像的大小。
耳塞应用程序115获得的其他信息包括，例如所需耳塞的参数：如颜色、样式、无绳与有绳、扬声器规格或美学设计特征以及付款明细。
接着，在215处，耳塞应用程序115将提示用户确认购买耳塞。确认之后，耳塞应用程序115将获取的信息传输到服务器120。
在220处，服务器120将验证耳朵的图像质量是否适合于将在下面更详细描述的匹配操作。质量标准的示例包括：例如，用户的头发不会遮挡耳朵、图像的照明足、整个耳朵在图像中可见、以及耳朵与相机的对焦平面平行。如果质量不符，则服务器120向耳塞应用程序115发送信号以请求替换图像。在其他实施例中，该验证由耳塞应用程序执行。
接着，在225处，服务器120将从表示三维耳朵形状的二维耳朵图像中提取耳朵特征。如以下更详细描述的，这些特征通常是耳朵的解剖特征的测量。由于解剖特征必须在二维图像中可见，因此它们通常是耳朵外耳廓的特征。
接着，在230处，服务器120使耳朵与数据库中存储的多个预存储的三维耳朵形状中的一个进行匹配。如下面更详细描述的，该匹配包括：在考虑到测量的各种公差的基础上，基于上述提取的特征来确定多个预存储的形状中最接近于与所拍摄的耳朵匹配的二维图像。
特别地，在该实施例中，每个预存储的三维形状被存储为与该三维形状的二维投影和从该二维投影获得的生物特征相关联。通过将从接收到的二维图像中提取的生物特征与与每个预存储的三维形状相关联的生物特征进行比较，可以确定最接近的匹配。
接着，在235处，将根据在步骤230中识别的三维耳朵形状来制造耳塞。然后该耳塞将被运送给用户。
在上述示例中，耳塞应用程序115指示用户将已知空间尺寸的物体包括在耳朵的拍摄图像中，从中确定提取特征的绝对尺寸。在另一个示例中，一种系统，该系统用于确定待塞入到耳朵中的塞入件的形状，其除了图1的组件之外，还包括适配卡，该适配卡用于确定拍摄的耳朵图像的缩放比例和朝向。图3a、图3b和图3c示出了适配卡300在三个不同朝向上的示例。该适配卡300包括中心孔305，用户他或她的耳朵可以延伸穿过该中心孔，或者当将适配卡靠着用户的头部的侧面放置时，通过该中心孔可以看到用户的耳朵。适配卡300还包括网格线310，在该示例中，它们均匀间隔并且相互垂直，从而形成直线网格。在其他示例中，适配卡包括图3所示的附加或替代特征、或者可省略某些特征(例如网格线310)。
图4示意性地示出了根据本发明的实施例所述的用于处理耳朵图像的方法400。在执行图4的方法之前，运行在智能手机105上的耳塞应用程序115将指示用户把适配卡300靠在他或她的头部侧面，并且用户的耳朵将穿过孔。在将适配卡放置到位的情况下拍摄用户的耳朵的图像之后，智能手机105将拍摄图像传输到服务器120。在405处，服务器120接收从智能手机105传输的拍摄图像。
在410处，服务器120检测接收到的图像中的适配卡300。在该示例中，使用标准的图像处理技术来检测适配卡300以检测网格线310。适配卡300上包含网格线和/或其他独特特征将允许服务器120可靠地检测适配卡300。在其他示例中，使用例如经训练的神经网络或其他机器学习算法的对象检测例程可以被用来检测该适配卡。
在415处，服务器120使用检测到的适配卡300来确定图像的缩放比例。在此示例中，服务器120使用网格线310确定图像的缩放比例，但是在其他示例中，可以使用适配卡300的其他特征，例如孔305的尺寸或适配卡300的整体尺寸。
在420处，服务器120使用网格线310确定适配卡300的朝向。在该示例中，确定朝向涉及：测量由检测到的网格线310界定的区域的尺寸。例如，在图3a的朝向上，由朝向适配卡300左侧的网格线310界定的区域显得比由朝向适配卡300右侧的网格线310界定的区域小。在图3b的朝向上，在适配卡300的范围内，由网格线310界定的区域的大小近似相等。在图3c的朝向上，由朝向适配卡300左侧的网格线310界定的区域显得比由朝向适配卡300右侧的网格线310界定的区域大。在其他示例中，可以通过测量网格线310的角度和/或通过测量网格线310的相对间隔来确定适配卡300的朝向。所确定的朝向可以被表示为与一个或多个角度相对应的一个或多个数字，包括例如适配卡围绕平行于该适配卡的垂直网格线310的轴线的角度。在另一示例中，适配卡的朝向被分类为“右”，对应于图3a所示的朝向；分类为“直”，对应于图3b所示的朝向；以及分类为“左”，对应于图3c所示的朝向；
在一个示例中，所确定的朝向被表示为三个数字，对应于适配卡绕三个相互垂直的轴线旋转的角度(例如，穿过相机110和孔305的中心的第一轴线、垂直于第一轴线并且相对于相机110具有绕第一轴线预定旋转的第二轴、以及垂直于第一轴线和第二轴线的第三轴线)。应当理解的是，缩放比例和朝向可以在单个步骤中确定。
在确定缩放比例和朝向之后，在425处，服务器120验证图像是否适合于匹配。在此示例中，验证图像是否适合于匹配包括：确定图像的缩放比例落入预定的可接受范围内，即拍摄图像时，相机110既不离用户的耳朵太远或太近。验证图像是否适合于匹配还包括：确定适配卡300的朝向是可接受的。例如，在将朝向确定为与一个或多个角度相对应的一个或多个数字的情况下，每个角度必须在相应的预定可接受范围内，以供服务器120验证图像是否适合于匹配。在特定示例中，对于用户的左耳的图像，图3a和图3b所示的适配卡300的朝向被确定为可接受，而图3c所示的适配卡300的朝向被确定为不可接受。对于左耳，图3c所示的“左”朝向对应于相机110处于用户的耳朵前面的位置，从该位置可以隐藏耳朵的某些特征。相反，图3a所示的“右”朝向对应于相机110处于用户的耳朵后面的位置，从该位置这些特征是可见的。
如果该图像被验证为不适合于匹配，则在430处，服务器120将向耳塞应用程序115发送信号以请求替换图像。
如果该图像被验证为适合于匹配，则在435处，服务器120将提取表示三维耳朵形状的耳朵特征，这将在下文中更详细地描述。在此示例中，耳朵的提取特征基于一组检测到的解剖学点。
在440处，服务器将在415处确定的缩放比例应用于所提取的特征。在该示例中，应用缩放比例涉及：将所确定的解剖学点之间的距离从像素转换为毫米。
在445处，服务器将调整提取的特征以考虑在445处确定的适配卡300的朝向。例如，根据适配卡300相对于垂直轴线的确定角度，该提取的特征可以根据预定规则在水平方向上缩放，以使得对于任何确定角度，提取的特征均可以与与三维耳朵形状的数据库相关联的对应特征有意义地匹配。
在其他示例中，可以省略适配卡300，并且调整提取的特征以考虑图像的朝向可以使用图像配准技术来执行，例如，使用神经网络或其他监督学习算法来执行，这些算法是通过训练使用以不同的、已知的朝向拍摄的一组耳朵图像而得到的。在其他示例中，图4的方法的全部或部分可以由智能手机105执行。
在图4的方法中，服务器120处理由相机110拍摄的图像以提取用于匹配操作的特征。在其他示例中，智能手机105可以实时或近乎实时地确定用户的耳朵相对于相机的距离和/或朝向，使得耳塞应用程序115可以自动检测用户的耳朵何时处于可接受的距离和/或朝向，并自动拍摄耳朵的图像或发送拍摄耳朵图像的信号给用户。在一个示例中，使用实时物体检测技术来检测距离和朝向以识别诸如适配卡300的适配卡。
如上所述，用于将用户的耳朵图像与多个预存储的三维耳朵形状中的一个匹配的操作是基于用户的耳朵的解剖特征。解剖特征的尺寸表示用户的耳朵的至少一部分的三维形状，例如包括耳廓的一部分和耳道的一部分。现在将参照图5来描述这种特征的一些示例。图5示出了耳朵505-535的若干个图像，示例性特征以黑线示出。
图像505所示的特征是耳朵的耳轮的曲率，例如表示为图像505中所示的各条线的相对长度，每条线从三角窝上的预定点延伸到耳朵耳轮上的各个点。
其他特征包括由耳朵的预定解剖学点定义的各种三角形的测量值，例如边长和/或面积。这样的点包括位于耳轮、三角窝、耳垂、耳屏间切迹(intertragic notch)、对耳轮、耳屏以及对耳屏上的示例点。图像510-535示出了各种这样的三角形。具体地：
·图像510显示了由耳轮、三角窝和耳垂上的点形成的三角形；
·图像515显示了由三角窝、耳屏间切迹和对耳轮上的点形成的三角形；
·图像520示出了由对耳轮、三角窝和耳屏上的点形成的三角形；
·图像525示出了由耳屏、对耳屏和耳屏间切迹上的点形成的三角形；
·图像530示出了由三角窝、对耳轮和耳屏上的点形成的三角形；以及
·图像535示出了由耳屏、耳屏间切迹和对耳轮上的点形成的三角形。
使用机器学习分类算法在图像中识别出这些点，然后，确定诸如上述三角形的测量值。分类算法将在已知上述点的一组耳朵图像上进行训练。
图5B示出了一组解剖学特征的示例，其表示用户的耳朵的至少一部分的三维形状。在该示例中，该组特征包括由三角窝、耳屏间切迹和对耳轮上的点形成的三角形，对应于以上参考图像515描述的特征。该组特征还包括对耳轮的形状，其中，在耳屏上的一个点与对耳轮上的五个相应的点之间延伸的一组线，以及在五个相应点的两个最低点之间延伸的另一条线。图5B中所示的特征基于八个预定义的解剖学点，但是可以设想，在一些实施例中可以使用替代的特征集合，并且这些替代集合可以基于多于或少于八个预定解剖学点。
图6示意性地示出了由计算机系统执行以训练用于检测耳朵的解剖学点的机器学习分类算法的示例性方法600。
在605处，计算机系统接收一组训练图像，其中已经手动标记了一些解剖学点。在该示例中，手动标记解剖学点涉及：人类用户通过眼睛识别图像内的每个解剖学点并使用光标相应地标记所识别的点。用于指示每个训练图像内的标记点的坐标的数据被存储为与该训练图像相关联的附加数据层。该组训练图像可以在各种不同的朝向上以及在各种不同的照明条件下拍得。
在610处，计算机系统基于例如对比度、亮度、缩放比例和朝向来人为地增大训练图像集合。增大训练图像集合涉及：通过处理在605处接收到的初始训练图像来生成称为人工训练图像的附加训练图像。基于对比度和/或亮度来增大训练图像集合包括：包括改变初始集合中的图像的对比度和/或亮度，以生成与初始图像相对应但具有变化的对比度和/或亮度的人工训练图像。基于缩放比例来增大训练图像集合包括：按预定的比例缩放图像以生成与初始图像相对应但比例不同的人工训练图像。基于朝向来增大训练图像集合包括：例如围绕垂直于图像平面的轴线来旋转图像，以生成与初始图像相对应的但旋转角度不同的人工训练图像。在615处，计算机系统利用人工增大的训练图像集合来训练机器学习分类算法。在特定示例中，机器学习分类算法包括卷积神经网络(CNN)，并且训练机器学习分类算法包括：将人工增大的训练图像集合传递通过CNN，然后执行反向传播并执行梯度下降以更新CNN的参数。用人工增大的训练图像集合来训练机器学习分类算法，可以提高机器学习分类算法对在不同光照条件下以及在不同角度和距离下拍摄的图像进行分类的能力。此外，耳塞应用程序115可以安装在各种不同的智能手机上，这些智能手机可能具有彼此不同的相机和/或相机配置，并且使用人工增大的训练图像集合来训练机器学习分类算法，当该算法应用于由不同的智能手机拍摄的一系列图像时，可以提高该算法的可靠性。
除了处理智能手机105拍摄的图像以提取用户耳朵的生物特征之外，在本实施例中，服务器120还执行另一机器学习分类例程，以识别一个或多个预定的异常耳朵形状特征。这种异常耳朵形状特征中的一个是闭合的耳甲艇。另一种异常耳朵形状特征是耳朵中出现明显的耳脊(ridge)，例如对应于明显的耳轮脚。已经观察到，这种异常的耳朵形状特征会导致根据本方法制造的耳塞出现较差的贴合性和/或舒适性。因此，如果检测到一个或多个异常的耳朵形状特征，则服务器120将向智能手机105发送信号，从而使智能手机105通知用户该确定用户的三维耳朵形状的方法不成功，并且需要专用设备来确定该用户的耳塞形状。
在本实施例中，针对每个预存储的三维耳朵形状来存储上述特征的指示，使得将对每个预存储的三维耳朵形状各存储一个测量值。如下面更详细地描述的，可以通过三维扫描耳朵来产生一组预存储的三维耳朵形状集合。测量结果可以直接从扫描中提取，或者可选地除扫描之外从拍摄的二维图像中提取测量结果。
上面提到的匹配操作包括：将来自拍摄的耳朵图像的测量特征与针对每个预存储的三维耳朵形状存储的生物特征进行比较。这包括确定某些测量值是否在预设的公差范围内。例如，与对用户舒适度不重要的其他尺寸相比，与对用户舒适度至关重要的耳塞尺寸相对应的特定测量值可以具有更严格的预设公差。作为特定示例，耳朵的耳甲艇的尺寸对耳塞的舒适度有很大影响。因此，更严格的预设公差将被应用于与耳甲艇的尺寸更紧密相关的测量。受到如上所述基于公差的约束，拍摄的耳朵图像与三维耳朵形状相匹配，其特征与拍摄的耳朵图像中测得的特征最接近。该匹配的三维耳朵形状被认为是与预存储的三维耳朵形状中与拍摄图像的耳朵最接近的匹配项。如果预存储的形状的一个或多个特征落在预设公差之外，则该预存储的三维形状将被拒绝，即使该预存储的形状反之会被视为是最匹配项。
现在将参考图7描述一种用于获取预存储的三维耳朵形状并确定其相关特征的方法。
为了获得三维耳朵形状的初始集合，对耳朵进行三维扫描以产生表示三维耳朵形状的数据705。例如，相对于基于二维图像来获取定制的耳塞，还可以通过提供优质服务或价格折扣来激励用户访问扫描亭(scanning kiosk)。
然后，该扫描的耳朵形状705被旋转以产生以x-y平面定向的旋转耳朵形状710。以这种方式，将扫描的形状旋转到相同的x-y平面可以允许对全部扫描耳朵形状进行一致的分析。
然后，确定横截面层715，其对应于朝向旋转耳朵形状710下方的一水平面的“扫描结果”。由此，组合式横截面层415提供了对三维耳廓和耳道的至少一部分的几何形状的系统描述。横截面层715可以被3D打印系统135用来执行耳塞的增材制造，尽管在其他示例中，可以省略该确定横截面层的步骤，并且可以将三维耳朵形状直接传递给用于制造相应的耳塞的3D打印系统。
旋转耳朵形状710被用于确定三维耳朵形状的二维投影720。该二维投影720是与耳道视图相对应的二维图像，其中表示耳朵形状的特征是可见的。在本示例中，二维投影720是灰度图像。
二维投影720被用于与用户耳朵的二维图像(例如使用图4的方法400拍摄的二维图像)进行匹配。为了将二维投影720用于匹配，将从二维投影720中提取诸如上面参考图5A所描述的那些解剖特征。在该示例中，解剖特征对应于以上参考图5A所描述的那些特征，并且是基于预定的解剖学点，这些在二维投影720中的解剖学点将被机器学习分类算法识别出。该机器学习分类算法使用与上文关于图6描述的例程相似的例程来训练，其中基于对比度和朝向来增加一组训练集合。
在本实施例中，二维投影与三维数据相关联地被存储。当使用从二维投影得出的相应生物特征匹配给定的耳朵形状以用于制造耳塞时，相关联的三维数据可用于定义待生产的耳塞的形状。
在上述示例中，从三维耳朵形状的二维投影提取与预存储的三维耳朵形状相对应的二维解剖特征。在其他示例中，可以直接从三维耳朵形状中提取解剖特征，而无需提前生成三维耳朵形状的二维投影。除了上面讨论的耳朵的三维扫描之外，还可以使用其他方法来获取三维耳朵形状，例如扫描耳朵的物理模型。上面描述的用于提取解剖特征的方法与获得耳朵形状的方法无关agnostic，从而允许从一系列来源建立由预存储的耳朵形状和相关联的解剖特征组成的一个大规模数据库。
对于如上所述获得的每个预存储的三维耳朵形状，还可以存储多个对应的缩放版本。例如，可以存储以5％或10％的增量比例进行均匀缩放的版本。为了获得缩放版本，将三维缩放算法应用于三维数据705，并且将参考图7描述的方法以生成相应的二维投影和相应的生物特征。存储三维耳朵形状的缩放版本以及相应的生物特征，会增加在匹配操作过程中获得匹配的机会。
作为从三维耳朵形状的二维投影中提取特征的替代方式，在一些实施例中，将耳朵的实际二维图片与三维数据相关联地存储，并使用该二维图片测量该耳朵的生物特征。当匹配给定的耳朵形状以使用从二维图片得出的相应生物特征来制造耳塞时，相关联的三维数据可用于定义待生产的耳塞的形状。现在将参考图8来描述一种系统，该系统用于产生由预存储的耳朵形状组成的数据库，并且将耳朵的二维图像与该数据库中的耳朵形状进行匹配。
用户可以访问扫描中心805(例如扫描亭)，以便接收他们的耳朵的三维扫描。如上所述，可以通过提供诸如使用扫描中心805的高级服务(例如，额外的耳塞功能)来激励用户使用扫描中心805。可替代地或附加地，可以向使用扫描中心805的用户提供价格折扣。如上面相对于图7所述，对用户的耳朵进行三维扫描，并且将所得到的耳朵形状以及诸如以上相对于图5A所描述的那些特征的测量细节一起存储在数据库810。根据如何获得三维耳朵形状，一些三维耳朵形状可以被存储为与从该三维形状导出的二维投影相关联，而其他三维耳朵形状可以与在该三维形状旁边拍摄的耳朵的二维图片相关联地存储。除了被存储在数据库810中之外，扫描的三维耳朵形状还可以被传送到制造中心815，该制造中心815例如通过三维打印为用户生产定制的耳塞。
经过一段时间，随着更多用户使用扫描中心805，该数据库810将被扩展为包括大量的三维耳朵形状。
不同的用户使用智能手机820来拍摄他们的耳朵的图像。这些图像被传送到服务器825，该服务器825使图像与数据库810中存储的三维耳朵形状相匹配，如上所述。然后，服务器825将匹配的三维耳朵形状的细节传送到制造中心815，该制造中心815将根据匹配的三维耳朵形状为用户生产耳塞。
如果匹配失败(因为数据库810中存储的耳朵形状均未提供与拍摄的耳朵图像的合适匹配)，所以服务器825将指示智能手机820请求用户访问扫描中心805以接收他们的耳朵的三维扫描，并将所得到的三维耳朵形状、以及诸如上文关于图5A所描述的那些特征的测量结果的细节一起存储在数据库810中。例如，可以通过提供价格折扣来激励用户这样做。如果匹配成功，但是最终制造的耳塞不能完全适合用户的耳朵，则用户还可以访问扫描中心805来接收他们的耳朵的三维扫描，并将所得到的三维耳朵形状、以及诸如上文关于图5A所描述的那些特征的测量结果的细节一起存储在数据库810中。应当理解，随着由数据库存储的耳朵形状的数量的增加，匹配并适配成功的可能性会增加。
图9示意性地示出了一种系统，该系统用于将多个三维耳朵形状填入一数据库905。
用户访问扫描中心910，该扫描中心910类似于图5A8的扫描中心805。对用户的耳朵进行三维扫描915。扫描结果925被存储在数据库905的三维扫描数据存储器920中。服务器935的修整模块923可选地执行“修整”操作，其中对三维耳朵形状进行修改以便将其用于制造耳塞。例如，表面可以被光滑化，并且不希望出现在制造的耳塞中的凸块或其他特征将被“修整”或去除。注意，可选地，该操作可以在扫描中心910处执行，并且对于某些类型的扫描，该操作可能是根本没有必要的。
服务器935的投影模块924执行投影操作，如上所述地，以生成所存储的三维耳朵形状的二维投影。投影操作包括：将图像定向成如上面参考图7所述的那样。该二维投影将被存储在数据库905的二维投影存储器中。
服务器935从特征提取模块940中提取二维投影中的二维特征。这些特征包括由耳朵的解剖学点定义的测量，诸如上文关于图5A所描述的那些测量。所提取的特征被存储在数据库905的二维特征数据库945中，使得它们可以与存储在三维扫描数据存储器920中的相应三维耳朵形状相关联。
随后，服务器935经由例如图8的智能手机820接收另一位用户拍摄的其耳朵的二维图像，并将这些图像与所提取的特征进行匹配。当确定匹配时，相应的三维耳朵形状会被识别并被传送到制造中心(例如图8的制造中心815)，基于此，该制造中心制造耳塞。
图10示意性地示出了用三维耳朵形状来填充数据库1005的替代系统。除了在图10的扫描中心1010中，还拍摄了用户耳朵的二维照片1025，并将其存储在二维照片数据存储器1030之外，图10的系统等同于图9的系统。服务器1035从特征提取模块1040中提取二维照片中的二维特征。在该实施例中，服务器1035不包括投影模块。进一步的实施例可以包括图9和10的特征的组合，使得某些图像与二维照片一起存储，而其他图像与二维投影一起存储。
图11示意性地示出了用于确定耳朵的三维耳朵形状的方法1100。
在该方法1100的步骤1105中，接收对应于耳朵的二维图像的图像数据。如下面更详细描述的，该二维图像可以由用户例如利用智能手机或其他具有相机的设备来拍摄获得。
在方法1100的步骤1110中，处理该图像数据以测量耳朵的至少一个生物特征。如下面更详细描述的，这些生物特征是在二维图像中可见的特定可测量特征，其表示着三维的耳朵形状。
在方法1100的步骤1115中，通过将上述生物特征与多个预存储的三维耳朵形状中的一个匹配来确定该耳朵的三维耳朵形状。以这种方式，生物特征与预存储的耳朵形状匹配，以便识别出最接近于所拍摄的二维图像的特定的预存储形状。然后，可以假定所识别的预存储的三维形状来描述耳朵的三维形状。然后，根据识别出的预存储的三维形状来制造定制匹配的耳塞。
图12示意性地示出了用于确定耳朵的三维耳朵形状的装置1200，该设备例如用于实现以上关于图11所描述的方法。装置1200可以例如是服务器。
装置1200具有接收模块1205，该接收模块1205配置为从例如上述的用户的智能手机接收与耳朵的二维图像相对应的图像数据。
装置1200具有测量模块1210，其被配置为处理图像数据以测量耳朵的至少一个生物特征，该至少一个生物特征表示三维耳朵形状。这些生物特征例如可以是由耳朵的解剖学点定义的测量值，诸如以上关于图5A所描述的那些。
装置1200具有匹配模块1215，该匹配模块1215被配置为通过将该至少一个生物特征与多个预存储的三维耳朵形状中的一个进行匹配来确定耳朵的三维耳朵形状。该多个预存储的三维耳朵形状可以例如被存储在数据库中，如上所述。
现在将参考图13A和图13B来描述包括装置1200的示例系统。
参照图13A，系统1300包括装置1200和数据库1305。数据库1305存储多个预存储的三维耳朵形状。装置1200使用从拍摄图像中测量得到的生物特征来识别能够提供最佳匹配的预存储的三维耳朵形状，如上面更详细地描述的。
参照图13B，系统1310包括如图13A所示的装置1200和数据库1305。此外，系统1310还包括图像拍摄设备1310，例如包括相机的智能手机。该图像拍摄设备1310通信地耦接到装置1200。图像拍摄设备1310被配置为拍摄耳朵的二维图像、确认图像满足如上文更详细描述的预设质量标准、且响应于该确认结果对二维图像进行处理以产生图像数据、并将该图像数据传送到装置1200的接收模块。
如上所述，用于塞入件的三维形状通常是可与耳朵精确吻合的呈修整形式的三维形状。应当理解，在对应于不同耳朵的数据库中的预存储的三维形状可以不修整或修整地存储。在任一情况下，都可以从预存储的三维形状中确定塞入件的三维形状。
以上实施例应被理解为本发明的说明性示例。应当理解，关于任何一个实施例描述的任何特征可以单独使用、或者与所描述的其他特征结合使用、或者还可以与任何其他实施例的一个或多个特征结合使用、或者任意结合其他实施例使用。此外，在不脱离由所附权利要求限定的本发明的范围的情况下，也可以采用以上未描述的等同例和修改例。

Claims (24)

1.一种制造耳朵塞入件的方法，所述塞入件具有三维形状，所述三维形状从与耳朵的二维图像相对应的图像数据得出，所述方法包括以下步骤：
通过处理所述图像数据以获得所述耳朵的至少一个生物特征来获得对所述耳朵的至少一个生物特征的测量，所述至少一个生物特征指示耳朵的至少一部分的三维形状；以及
通过使所述耳朵的至少一个生物特征与多个预存储的三维形状中的一个匹配来得出所述三维形状，其中每个所述预存储的三维形状对应于相应的耳朵；以及
得出所述二维图像中物体的朝向并且将所述朝向表示为三个数字，所述三个数字对应于围绕三个相互垂直的轴线的旋转角度，以及根据所确定的朝向使用数字来调整耳朵的所述至少一个生物特征。
2.根据权利要求1所述的方法，其中，匹配的特征包括所述至少一个生物特征和对应于每个所述预存储的三维形状的二维耳朵表征。
3.根据权利要求2所述的方法，其中，所述二维耳朵表征包括与耳朵的所述至少一个生物特征相对应的至少一个生物特征表征。
4.根据权利要求3所述的方法，其中，所述耳朵的至少一个生物特征的所述表征是从对应于所述多个预存储的三维形状中的一个的二维耳朵图像中确定的。
5.根据权利要求3所述的方法，其中，所述耳朵的至少一个生物特征的所述表征是从所述多个预存储的三维形状中的一个的二维投影中确定的。
6.根据权利要求5所述的方法，其中，所述多个预存储的三维形状中的一个是通过将三维缩放算法应用于另一预存储的三维形状而生成的。
7.根据权利要求2所述的方法，其中，所述二维耳朵表征包括与所述多个预存储的三维形状中的一个相对应的二维耳朵图像。
8.根据前述权利要求1-7中的任一项所述的方法，其中，匹配确定耳朵的所述至少一个生物特征的特性是否在所述多个预存储的三维形状中的一个的相应特性的公差之内。
9.根据权利要求8所述的方法，其中，所述耳朵的至少一个生物特征包括对耳朵特征的至少一个测量。
10.根据权利要求9所述的方法，其中，所述耳朵特征的至少一个测量包括对所述耳朵的耳轮曲率的测量。
11.根据权利要求9所述的方法，其中，所述耳朵特征的所述至少一个测量包括对所述耳朵的对耳轮的形状的测量。
12.根据权利要求9所述的方法，其中，所述耳朵特征的所述至少一个测量包括对由所述耳朵的三个预定解剖学点限定的至少一个三角形的测量。
13.根据权利要求12所述的方法，其中，所述至少一个三角形的用于构成三角形的三个预定解剖学点位于：
耳朵的耳轮；
耳朵的三角窝；以及
耳朵的耳垂。
14.根据权利要求13所述的方法，其中，所述至少一个三角形的用于构成三角形的三个预定解剖学点位于：
耳朵的耳屏间切迹；
耳朵的三角窝；以及
耳朵的对耳轮。
15.根据权利要求13所述的方法，其中，所述至少一个三角形的用于构成三角形的三个预定解剖学点位于：
耳朵的耳屏间切迹；
耳朵的耳屏；以及
耳朵的对耳屏。
16.根据权利要求13所述的方法，其中，所述至少一个三角形的用于构成三角形的三个预定解剖学点位于：
耳朵的对耳轮；
耳朵的耳屏；以及
耳朵的耳轮。
17.根据权利要求1所述的方法，其中，所述多个预存储的三维形状中的每一个是通过三维扫描相应的耳道而产生的。
18.根据权利要求1所述的方法，其中，所述耳朵的至少一部分包括耳廓和耳道中的至少一个的一部分。
19.一种用于确定塞入耳朵的塞入件的三维形状的装置，所述装置包括：
接收模块，所述接收模块用于接收与耳朵的二维图像相对应的图像数据；
测量模块，所述测量模块配置为处理所述图像数据以测量耳朵的至少一个生物特征，所述耳朵的至少一个生物特征表征所述耳朵的三维形状；以及
匹配模块，所述匹配模块配置为通过将所述耳朵的至少一个生物特征与多个预存储的三维形状中的一个进行匹配来确定所述塞入件的三维形状，其中每个预存储的三维形状对应于相应的耳朵，以及
得出所述二维图像内物体的朝向，并表示为三个数字，所述三个数字分别对应于围绕三个相互垂直的轴线的旋转角度，并且所述三个数字用于根据所确定的朝向调整耳朵的至少一个生物特征。
20.一种用于确定塞入耳朵的塞入件的三维形状的系统，包括根据权利要求19所述的装置和用于存储所述预存储的三维形状的数据库。
21.一种用于制造塞入耳朵的塞入件的三维形状的系统，包括根据权利要求20所述的系统以及包括制造装置，所述制造装置配置为制造具有与所述塞入件的所确定的三维形状相对应的形状的耳塞。
22.一种用于确定塞入耳朵的塞入件的三维形状的系统，包括根据权利要求21所述的系统和图像拍摄设备，所述图像拍摄设备被配置为：
拍摄耳朵的二维图像；
确认所述二维图像符合预设质量标准；以及
响应于所述确认，对所述二维图像进行处理以产生图像数据，并将所述图像数据传送至所述装置的接收模块。
23.根据权利要求22所述的系统，其中，所述图像拍摄设备是电信通讯系统的用户设备。
24.根据权利要求22或23所述的系统，其中，所述预设质量标准包括耳朵不会被遮挡。
CN201880090419.7A 2017-12-29 2018-12-21 耳塞形状的确定 Active CN111788570B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1722295.1 2017-12-29
GB1722295.1A GB2569817B (en) 2017-12-29 2017-12-29 Ear insert shape determination
PCT/EP2018/086588 WO2019129709A1 (en) 2017-12-29 2018-12-21 Ear insert shape determination

Publications (2)

Publication Number Publication Date
CN111788570A CN111788570A (zh) 2020-10-16
CN111788570B true CN111788570B (zh) 2024-07-26

Family

ID=61158019

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880090419.7A Active CN111788570B (zh) 2017-12-29 2018-12-21 耳塞形状的确定

Country Status (5)

Country Link
US (3) US11163975B2 (zh)
EP (1) EP3732613A1 (zh)
CN (1) CN111788570B (zh)
GB (2) GB2569817B (zh)
WO (1) WO2019129709A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2569817B (en) * 2017-12-29 2021-06-23 Snugs Tech Ltd Ear insert shape determination
WO2020102722A1 (en) * 2018-11-16 2020-05-22 Starkey Laboratories, Inc. Ear-wearable device shell modeling
US11011257B2 (en) 2018-11-21 2021-05-18 Enlitic, Inc. Multi-label heat map display system
US12423770B2 (en) * 2019-01-15 2025-09-23 Sony Interactive Entertainment Inc. Information processing apparatus
US11507105B2 (en) * 2019-06-27 2022-11-22 Sensable Inc. Method and system for using learning to generate metrics from computer vision-derived video data
US12236680B2 (en) * 2019-09-20 2025-02-25 Gn Hearing A/S Application for assisting a hearing device wearer
WO2021101845A1 (en) * 2019-11-19 2021-05-27 Starkey Laboratories, Inc. Automatic selection of hearing instrument component size
WO2021117206A1 (ja) * 2019-12-13 2021-06-17 日本電気株式会社 パラメータ決定装置、パラメータ決定方法、および記録媒体
DE102019219908B4 (de) * 2019-12-17 2023-12-07 Sivantos Pte. Ltd. Verfahren zur fotografischen Erfassung eines Ohrs
US11181758B2 (en) 2020-02-07 2021-11-23 Facebook Technologies, Llc Eyewear frame customization using machine learning
US11783475B2 (en) * 2020-02-07 2023-10-10 Meta Platforms Technologies, Llc In ear device customization using machine learning
US12136484B2 (en) 2021-11-05 2024-11-05 Altis Labs, Inc. Method and apparatus utilizing image-based modeling in healthcare
CN114670451B (zh) * 2022-03-16 2024-05-10 艺声匠心(山西)科技有限公司 3d系统化定制耳机的制作方法
WO2024054483A1 (en) * 2022-09-06 2024-03-14 Harman International Industries, Incorporated System and method for predicting a preference for fitting in-ear headphone(s)
IT202200021816A1 (it) * 2022-10-21 2024-04-21 Liso Vincenzo Sistema e relativo procedimento automatizzato per l’analisi tridimensionale e la calibrazione automatica del ridimensionamento in scala reale del condotto uditivo

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013149645A1 (en) * 2012-04-02 2013-10-10 Phonak Ag Method for estimating the shape of an individual ear

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004070563A2 (en) * 2003-01-31 2004-08-19 Genex Technologies, Inc. Three-dimensional ear biometrics system and method
EP1792267A1 (en) * 2004-09-08 2007-06-06 Koninklijke Philips Electronics N.V. Feature extraction algorithm for automatic ear recognition
US8825682B2 (en) * 2006-07-31 2014-09-02 Ricoh Co., Ltd. Architecture for mixed media reality retrieval of locations and registration of images
US9495385B2 (en) * 2004-10-01 2016-11-15 Ricoh Co., Ltd. Mixed media reality recognition using multiple specialized indexes
JP4919069B2 (ja) * 2007-08-08 2012-04-18 株式会社Ｊｖｃケンウッド ヘッドホンの製造方法
US20090116731A1 (en) * 2007-11-01 2009-05-07 Rupen Melkisetoglu Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions
US9706282B2 (en) * 2009-02-23 2017-07-11 Harman International Industries, Incorporated Earpiece system
US8285408B2 (en) * 2009-06-15 2012-10-09 Adaptive Technologies Inc. System and method for designing an ear insert device
WO2011022409A1 (en) * 2009-08-17 2011-02-24 Verto Medical Solutions, LLC Ear sizing system and method
US9050029B2 (en) * 2010-01-06 2015-06-09 Harman International Industries, Inc. Image capture and earpiece sizing system and method
US8929573B2 (en) * 2012-09-14 2015-01-06 Bose Corporation Powered headset accessory devices
US9270885B2 (en) * 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone
EP3351172B1 (en) * 2015-09-14 2021-05-19 Yamaha Corporation Ear shape analysis method, ear shape analysis device, and method for generating ear shape model
GB2544041A (en) * 2015-10-26 2017-05-10 Philips Brenda Ear protector
US20170345399A1 (en) * 2016-05-31 2017-11-30 Mediatek Inc. Method for performing display control of an electronic device in response to a user activity, and associated apparatus
US10586379B2 (en) * 2017-03-08 2020-03-10 Ebay Inc. Integration of 3D models
GB2569817B (en) * 2017-12-29 2021-06-23 Snugs Tech Ltd Ear insert shape determination
US10905337B2 (en) * 2019-02-26 2021-02-02 Bao Tran Hearing and monitoring system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013149645A1 (en) * 2012-04-02 2013-10-10 Phonak Ag Method for estimating the shape of an individual ear

Also Published As

Publication number Publication date
US11163975B2 (en) 2021-11-02
WO2019129709A1 (en) 2019-07-04
GB2569817A (en) 2019-07-03
GB2581640A (en) 2020-08-26
GB201722295D0 (en) 2018-02-14
GB2581640B (en) 2021-03-31
GB202005440D0 (en) 2020-05-27
CN111788570A (zh) 2020-10-16
US20220058374A1 (en) 2022-02-24
US11881040B2 (en) 2024-01-23
EP3732613A1 (en) 2020-11-04
US20240169747A1 (en) 2024-05-23
GB2569817B (en) 2021-06-23
US20200342206A1 (en) 2020-10-29

Similar Documents

Publication Publication Date Title
CN111788570B (zh) 耳塞形状的确定
JP6844038B2 (ja) 生体検出方法及び装置、電子機器並びに記憶媒体
CN116912666B (zh) 用于生成头部相关传递函数滤波器的布置
CN103455824A (zh) 用于确定头相关传递函数的系统和方法
JP2016505280A (ja) 患者の顔面データにアクセスするためのシステム
JPWO2020059716A1 (ja) サイズ測定システム
CN113283271A (zh) 虹膜自动捕捉方法、装置、计算机可读存储介质及设备
US11861861B2 (en) Device and method for hearing device customization
US20190156511A1 (en) Region of interest image generating device
CN114894337A (zh) 一种用于室外人脸识别测温方法及装置
US20250008280A1 (en) System and method for autonomous selection and fitting of a hearing aid
CN111091596A (zh) 用于听力设备定制化的装置及方法
US20240216632A1 (en) Apparatus and method for selecting positive airway pressure mask interface
JP2021029470A (ja) 型形成システム及び型形成方法
KR102105360B1 (ko) 가슴과 매칭되는 몰드를 이용한 브라 제품 추천 방법, 장치 및 프로그램
US20160110886A1 (en) Information processing apparatus and clothes proposing method
JP2013210778A (ja) 撮像装置
US11510016B2 (en) Beam former calibration of a hearing device
KR20190085801A (ko) 증강된 가발 서비스 제공 방법
CN112330793A (zh) 耳模三维模型的获取方法、耳机定制方法和计算设备
KR20160097844A (ko) 단체 인물 사진 보정 시스템
US11645772B2 (en) Mobile 3D crowd scanning methods and apparatus
KR20190085811A (ko) 증강된 반지 서비스 제공 방법
KR20190085804A (ko) 증강된 헤드폰 서비스 제공 방법
KR20190085803A (ko) 증강된 헤어 밴드 서비스 제공 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant