KR20220131236A - 전자기기 - Google Patents

전자기기 Download PDF

Info

Publication number
KR20220131236A
KR20220131236A KR1020227024526A KR20227024526A KR20220131236A KR 20220131236 A KR20220131236 A KR 20220131236A KR 1020227024526 A KR1020227024526 A KR 1020227024526A KR 20227024526 A KR20227024526 A KR 20227024526A KR 20220131236 A KR20220131236 A KR 20220131236A
Authority
KR
South Korea
Prior art keywords
unit
abnormality
display
information
display surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
KR1020227024526A
Other languages
English (en)
Inventor
마사시 나카타
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20220131236A publication Critical patent/KR20220131236A/ko
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • G06T5/001—
    • G06T5/006—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H01L27/146—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H04N23/811—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation by dust removal, e.g. from surfaces of the image sensor or processing of the image signal output by the electronic image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N5/2257—
    • H04N5/232939—
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0266—Details of the structure or mounting of specific components for a display module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Mechanical Treatment Of Semiconductor (AREA)

Abstract

[과제] 표시면의 이상의 영향을 받지 않고 촬영을 행할 수 있는 전자기기를 제공한다.
[해결 수단] 전자기기는, 표시부와, 상기 표시부의 표시면과는 반대측에 배치되는 촬상부와, 상기 표시면 상의 이상을 검출하는 이상 검출부와, 상기 이상 검출부에 의해 검출된 상기 이상이 발생한 위치를 상기 표시부에 강조 표시하는 표시 제어부를 구비한다.

Description

전자기기
본 개시는, 전자기기에 관한 것이다.
최근의 스마트폰이나 휴대전화, PC(Personal Computer) 등의 전자기기에서는, 표시부의 테두리(베젤)에, 카메라 등의 다양한 센서를 탑재하고 있다. 그 한편, 화면 사이즈에 영향을 주지 않고 전자기기의 외형 사이즈를 가능한 한 콤팩트하게 하고자 하는 요구가 있어, 베젤 폭은 좁아지는 경향이 있다. 이러한 배경에서, 표시부의 바로 아래에 카메라 모듈을 배치하고, 표시부를 통과한 피사체광을 카메라로 촬영하는 기술이 제안되고 있다.
특허문헌 1: 미국 특허공개공보 2018/0069060
스마트폰 등의 표시부에는 터치 센서가 내장되어 있고, 표시면에 지문이나 손 기름 등이 부착되는 경우가 많다. 또한, 표시면이나 표시면을 보호하는 필름에 상처가 있거나, 표시면과 필름의 사이에 기포가 생기는 경우도 있다.
이와 같이, 표시면에 이상(異常)이 존재하는 상태에서, 표시부의 바로 아래에 배치된 카메라로 표시부를 통해 촬영을 행하면, 촬영 화상에 이물이 찍히거나, 이물에 초점이 맞추어지게 되어, 의도한 대로의 촬영을 할 수 없을 우려가 있다.
이에, 본 개시에서는, 표시면의 이상의 영향을 받지 않고 촬영을 행할 수 있는 전자기기를 제공하는 것이다.
상기의 과제를 해결하기 위해, 본 개시에 의하면, 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
상기 표시면 상의 이상을 검출하는 이상 검출부와,
상기 이상 검출부에 의해 검출된 상기 이상이 발생한 위치를 상기 표시부에 강조 표시하는 표시 제어부를 구비하는, 전자기기가 제공된다.
상기 표시 제어부는, 상기 이상의 제거를 촉진하는 정보를 상기 표시부에 표시시켜도 된다.
상기 정보는, 상기 이상의 종류에 대응하는 정보를 포함하여도 된다.
상기 표시 제어부는, 상기 이상이 발생한 위치를 지시하는 지표를 상기 표시부에 표시시켜도 된다.
본 개시에 의하면, 각각 다른 복수의 발광 파장으로 발광시키는 것이 가능한 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
상기 복수의 발광 파장의 각각으로 상기 표시면의 적어도 일부를 발광시킨 상태에서 상기 촬상부에 의해 촬상된 복수의 화상에 기초하여 상기 표시면 상의 이상을 검출하는 이상 검출부를 구비하는, 전자기기가 제공된다.
상기 이상 검출부는, 상기 표시면 상의 상기 촬상부의 화각과 겹치는 영역을 상기 복수의 발광 파장의 각각으로 발광시킨 상태에서 상기 촬상부에 의해 촬상된 복수의 화상에 기초하여 상기 표시면 상의 이상을 검출하여도 된다.
본 개시에 의하면, 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
상기 표시면 상의 이상을 검출하는 이상 검출부와,
상기 이상에 기초하여 상기 촬상부에 의해 촬상된 화상을 보정하는 보정 처리부를 구비하는, 전자기기가 제공된다.
상기 보정 처리부는, 상기 이상의 종류, 색, 사이즈, 위치 및 수 중 적어도 하나의 정보에 기초하여 상기 촬상부에 의해 촬상된 화상을 보정해도 된다.
상기 이상의 종류를 판별하는 이상 판별부를 구비하고,
상기 보정 처리부는, 상기 촬상부에 의해 촬상된 화상에 대해, 상기 이상 판별부에 의해 판별된 상기 이상의 종류에 따른 보정 처리를 실시해도 된다.
상기 보정 처리는, 에지 강조 처리, 왜곡 보정 처리 및 상처 보정 처리 중 적어도 하나를 포함하여도 된다.
상기 촬상부에 의해 촬상된 화상을 상기 이상에 관한 정보에 기초하여 보정하는 모델을 생성하는 모델 생성부를 더 구비하고, 상기 모델은 상기 이상의 종류, 색, 사이즈, 위치 및 수 중 적어도 하나의 정보와, 상기 보정 처리부가 보정을 행하는 전후의 화상에 기초하여 학습되며,
상기 보정 처리부는, 상기 촬상부에 의해 촬상된 화상과 상기 이상에 관한 정보를 학습 완료된 상기 모델에 전달하여, 상기 촬상부에 의해 촬상된 화상을 보정해도 된다.
상기 보정 처리부에 의한 보정이 유효한지 여부를 판정하는 보정 판정부와,
상기 보정 처리부에 의한 보정이 유효하지 않다고 판정된 경우에, 상기 촬상부에 의해 촬상된 화상과 상기 이상에 관한 정보를 정보 처리 장치에 송신하고, 상기 정보 처리 장치에 의해 보정된 화상을 수신하는 화상 통신부와,
상기 정보 처리 장치에 의해 보정된 화상을 출력하는 출력부를 더 구비해도 된다.
상기 촬상부는, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 갖고,
상기 보정 처리부는, 상기 복수의 카메라로 촬영된 복수의 화상에 기초하여 상기 촬상부에 의해 촬상된 화상으로부터 상기 이상을 제거해도 된다.
상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부를 갖고,
상기 복수의 광전 변환부 중 적어도 하나는, 위상차 정보를 검출 가능하며,
상기 이상 검출부는, 상기 위상차 정보에 기초하여 상기 이상을 검출하여도 된다.
상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
상기 복수의 광전 변환부 중 적어도 하나의 광입사측에 배치되는 복수의 편광 소자를 갖고,
상기 이상 검출부는, 상기 복수의 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여 상기 이상을 검출하여도 된다.
상기 복수의 편광 소자는, 각각 다른 편광 상태를 검출하는 복수 종류의 편광 소자를 포함해도 된다.
상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
상기 복수의 광전 변환부에 피사체광을 결상시키는 마이크로렌즈 어레이를 포함하여도 된다.
상기 촬상부에 의해 촬상되는 피사체까지의 거리를 검출하는 거리 검출부를 더 구비하고,
상기 이상 검출부는, 상기 거리 검출부에 의해 검출된 거리에 기초하여 상기 이상을 검출하여도 된다.
상기 촬상부는, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 갖고,
상기 거리 검출부는, 상기 복수의 카메라의 촬영 화상에 기초하여 상기 거리를 검출하여도 된다.
상기 촬상부에 의해 촬상된 화상에 기초하여 상기 표시면에 접촉된 손가락의 손가락 지문을 검출하는 지문 검출부를 더 구비해도 된다.
도 1a는 제1 실시형태에 따른 전자기기의 모식적인 단면도이다.
도 1b는 도 1a에 개구부를 추가한 전자기기의 모식적인 단면도이다.
도 2(a)는 도 1a의 전자기기의 모식적인 외관도이고, 도 2(b)는 도 2(a)의 A-A선 방향의 단면도이다.
도 3은 촬상부의 단면 구조의 일례를 나타내는 단면도이다.
도 4a는 제1 실시형태에 따른 전자기기의 내부 구성을 나타내는 블록도이다.
도 4b는 신호 처리부의 내부 구성을 나타내는 블록도이다.
도 5는 제1 실시형태에 따른 전자기기(1)의 처리 동작을 나타내는 플로우차트이다.
도 6a는 이상이 발생한 위치를 강조 표시하는 구체예를 나타내는 도면이다.
도 6b는 이상이 발생한 위치를 강조 표시하는 구체예를 나타내는 도면이다.
도 6c는 이상이 발생한 위치를 강조 표시하는 구체예를 나타내는 도면이다.
도 6d는 이상이 발생한 위치를 강조 표시하는 구체예를 나타내는 도면이다.
도 7a는 표시면의 일부의 표시 영역을, 각각 다른 발광 파장의 광으로 발광시킨 상태에서 촬상부에 의한 노광을 행하는 예를 모식적으로 나타내는 도면이다.
도 7b는 표시면의 일부의 표시 영역을, 각각 다른 발광 파장의 광으로 발광시킨 상태에서 촬상부에 의한 노광을 행하는 예를 모식적으로 나타내는 도면이다.
도 7c는 표시면의 일부의 표시 영역을, 각각 다른 발광 파장의 광으로 발광시킨 상태에서 촬상부에 의한 노광을 행하는 예를 모식적으로 나타내는 도면이다.
도 8은 제2 실시형태에 따른 전자기기의 처리 동작을 나타내는 플로우차트이다.
도 9는 제3 실시형태에 따른 전자기기의 내부 구성을 나타내는 블록도이다.
도 10은 보정 처리부가 행하는 보정 처리의 처리 순서를 나타내는 플로우차트이다.
도 11은 전자기기와 정보 처리 장치와의 접속 형태의 일례를 나타내는 블록도이다.
도 12는 제4 실시형태에 따른 전자기기의 평면도이다.
도 13은 도 12의 A-A선 방향의 단면도이다.
도 14는 제5 실시형태에 따른 촬상부의 화소 배열의 일례를 나타내는 평면도이다.
도 15는 제6 실시형태에 따른 촬상부의 화소 배열의 일례를 나타내는 평면도이다.
도 16은 제6 실시형태에 따른 촬상부의 단면도이다.
도 17은 각 편광 소자의 상세한 구조의 일례를 나타내는 사시도이다.
도 18은 플레어광이나 회절광의 영향을 억제하는 기능을 갖는 전자기기 내의 신호 처리부의 내부 구성을 나타내는 블록도이다.
도 19는 제7 실시형태에 따른 전자기기의 개략 구성을 나타내는 블록도이다.
도 20은 제9 실시형태에 따른 전자기기에 탑재되는 카메라 모듈의 촬상부의 단면 구조를 나타내는 도면이다.
도 21은 제1∼제9 실시형태의 전자기기를 캡슐 내시경에 적용한 경우의 평면도이다.
도 22는 제1∼제9 실시형태의 전자기기를 디지털 SLR 카메라에 적용한 경우의 배면도이다.
도 23a는 제1제∼9 실시형태의 전자기기를 HMD에 적용한 예를 나타내는 평면도이다.
도 23b는 현재의 HMD를 나타내는 도면이다.
이하, 도면을 참조하여, 전자기기의 실시형태에 대해서 설명한다. 이하에서는, 전자기기의 주요한 구성 부분을 중심으로 설명하지만, 전자기기에는, 도시 또는 설명되어 있지 않은 구성 부분이나 기능이 존재할 수 있다. 이하의 설명은, 도시 또는 설명되어 있지 않은 구성 부분이나 기능을 제외하는 것은 아니다.
(제1 실시형태)
도 1a 및 도 1b는 제1 실시형태에 따른 전자기기(1)의 모식적인 단면도이다. 도 1a의 전자기기(1)는, 스마트폰이나 휴대전화, 태블릿, PC 등, 표시 기능과 촬영 기능을 겸비한 임의의 전자기기(1)이다. 도 1a의 전자기기(1)는, 표시부(2)의 표시면(1a)과는 반대측에 배치되는 카메라 모듈(촬상부)(3)을 구비하고 있다. 이와 같이, 도 1a의 전자기기(1)는, 표시부(2)의 표시면(1a)의 이면측에 카메라 모듈을 설치하고 있다. 따라서, 카메라 모듈은, 표시부(2)를 통해 촬영을 행하게 된다.
도 2(a)는 도 1a의 전자기기(1)의 모식적인 외관도, 도 2(b)는 도 2(a)의 A-A선 방향의 단면도이다. 도 2(a)의 예에서는, 전자기기(1)의 외형 사이즈의 부근까지 표시면(1a)이 펼쳐져 있고, 표시면(1a)의 주위에 있는 베젤(1b)의 폭을 수 mm 이하로 하고 있다. 통상, 베젤(1b)에는, 프론트 카메라가 탑재되는 경우가 많지만, 도 2(a)에서는, 파선으로 나타낸 바와 같이, 표시면(1a)의 대략 중앙부의 이면측에 프론트 카메라로서 기능하는 카메라 모듈(3)을 배치하고 있다. 이와 같이, 프론트 카메라를 표시면(1a)의 이면측에 설치함으로써, 베젤(1b)에 프론트 카메라를 배치할 필요가 없게 되어, 베젤(1b)의 폭을 좁힐 수 있다.
한편, 도 2(a)에서는, 표시면(1a)의 대략 중앙부의 이면측에 카메라 모듈(3)을 배치하고 있지만, 본 실시형태에서는, 표시면(1a)의 이면측이면 되고, 예를 들면 표시면(1a)의 주변부의 가까운 이면측에 카메라 모듈(3)을 배치하여도 된다. 이와 같이, 본 실시형태에 있어서의 카메라 모듈(3)은, 표시면(1a)과 중첩되는 이면측의 임의의 위치에 배치된다.
도 1a에 도시된 바와 같이, 표시부(2)는, 보호 필름(2b), 폴리이미드 기판(2c), 표시층(2d), 배리어층(2e), 터치 센서층(2f), 점착층(2g), 원편광판(2h), 광학 점착 시트(OCA: Optical Clear Adhesive)(2i), 및 커버 글래스(2j)를 순서대로 적층한 적층체이다. 표시층(2d)은, 예를 들면 OLED(Organic Light Emitting Device) 표시층이어도 되고, 액정 표시층이어도 되고, Micro LED이어도 되고, 그 밖의 표시 원리에 기초한 표시층이어도 된다. 표시층(2d)은, 복수의 층으로 구성되는 경우도 있을 수 있다. 예를 들면, 표시층(2d)에는, 컬러 필터층이나 백라이트층 등이 포함되는 경우도 있을 수 있다. 표시부(2)는, 가시광 파장 영역의 광을 사용한 표시를 행하지만, 표시부(2)에 의해 표시되는 광이 적외광 성분을 포함하고 있어도 된다.
배리어층(2e)은, 표시층(2d)에 산소나 수분이 침입하는 것을 방지하는 층이다. 터치 센서층(2f)에는, 터치 센서가 갖추어져 있다. 터치 센서에는, 정전 용량형이나 저항막형 등, 다양한 방식이 있지만, 어느 방식이 채용되어도 된다. 또한, 터치 센서층(2f)과 표시층(2d)를 일체화하여도 된다.
점착층(2g)은, 원편광판(2h)과 터치 센서층(2f)를 접착하기 위해 설치되어 있다. 점착층(2g)에는, 가시광 투과율이 높은 재료가 사용된다. 원편광판(2h)은, 눈부심을 저감시키거나, 밝은 환경 하에서도 표시면(1a)의 시인성을 높이기 위해 설치되어 있다. 광학 점착 시트(2i)는, 원편광판(2h)과 커버 글래스(2j)의 밀착성을 높이기 위해 설치되어 있다. 광학 점착 시트(2i)는, 가시광 투과율이 높은 재료가 사용된다. 커버 글래스(2j)는, 표시층(2d) 등을 보호하기 위해 설치되어 있다. 한편, 표시부(2)의 층 구성은, 반드시 도 1a나 도 2에 나타낸 것에 한정되지 않는다.
카메라 모듈(3)은, 표시부(2)의 표시면(1a)과는 반대측, 즉 표시부(2)의 이면측에 배치되어 있다. 카메라 모듈(3)은, 촬상부(4)와, 광학계(5)를 갖는다. 광학계(5)는, 촬상부(4)의 광입사면측, 즉 표시부(2)에 가까운 측에 배치되며, 표시부(2)를 통과한 광을 촬상부(4)에 집광시킨다. 광학계(5)는, 통상은 복수의 렌즈로 구성되어 있다. 후술하는 바와 같이, 표시부(2)의 표시면(1a)과는 반대측에, 복수의 카메라 모듈(3)이 배치되는 경우도 있을 수 있다. 이 경우, 각 카메라 모듈(3)의 광학계(5)의 초점거리가 각각 달라도 되며, 이에 의해 망원이나 광각의 화각이 상이한 촬영을 행할 수 있다.
촬상부(4)는, 광전 변환부(4a)를 갖는다. 광전 변환부(4a)는, 표시부(2)를 통해 입사된 광을 광전 변환한다. 광전 변환부(4a)는, CMOS(Complementary Metal Oxide Semiconductor) 센서이어도 되고, CCD(Charge Coupled Device) 센서이어도 된다. 또한, 광전 변환부(4a)는, 포토다이오드이어도 되고, 유기 광전 변환막이어도 된다.
광전 변환부(4a)는, 화소마다 CMOS센서 등의 광전 변환 소자를 갖는다. 각 화소는 임의의 방식으로 배열할 수 있다. 구체적으로는, 각 화소의 배열 방식은, 베이어(Bayer) 배열이어도 되고, 인터라인(interline) 배열이어도 되고, 바둑판(checkered) 배열이어도 되고, 스트라이프(stripe) 배열이어도 되고, 그 밖의 배열이어도 된다.
도 1a 및 도 2(b)에 도시된 바와 같이, 본 실시형태의 전자기기(1)는, 표시부(2)와 카메라 모듈(3)이 표리(表裏) 방향으로 중첩되도록 배치되어 있다. 이 때문에, 카메라 모듈(3)에서는, 표시부(2)를 투과한 피사체광을 촬상하게 된다. 표시부(2)는, 도 1a에 도시된 바와 같이, 복수의 층으로 형성되어 있어, 각 층이, 촬상부(4)가 충분한 감도를 갖는 파장 대역의 광의 투과율이 높으면 문제가 없으나, 실제로는, 일부 층의 투과율이 낮을 우려가 있다. 예를 들면, 폴리이미드 기판(2c)은, 가시광 투과율이 그다지 높지 않다. 따라서, 도 1b와 같이, 표시부(2)를 구성하는 복수층 중, 투과율이 그다지 높지 않은 층에 하나 이상의 개구부(2k)를 형성하고, 개구부(2k)를 통과한 광을 카메라 모듈(3)에 의해 촬상하도록 하여도 된다. 도 1b의 예에서는, 표시부(2)를 구성하는 복수의 층 중, 커버 글래스(2j) 이외의 층을 관통하는 복수의 개구부(2k)를 설치하고 있다. 이들 개구부(2k)는, 표시부(2)를 평면으로 보았을 때, 카메라 모듈(3)과 중첩되는 위치에 설치되어 있다. 각 개구부(2k)의 직경이나 개수는, 표시부(2)의 표시와 촬상부(4)에서의 촬상 화상의 화질을 고려하여, 적절한 값으로 설정된다.
한편, 폴리이미드 기판(2c) 대신에 투명성이 높은 기판을 사용할 경우에는, 반드시 개구부(2k)를 설치할 필요는 없다.
도 3은 촬상부(4)의 단면 구조의 일례를 나타내는 단면도이다. 도 3의 촬상부(4)는, 반도체 기판(11) 내에 형성되는 광전 변환부(4a)를 구비하고 있고, 광전 변환부(4a)는 화소마다 소자 분리층(12)으로 구분되어 있다. 광전 변환부(4a) 위에는 평탄화층(13)이 배치되고, 그 위에 컬러 필터층(14)이 배치되어 있다. 컬러 필터층(14)은, RGB의 3색의 필터층을 갖고 있어도 되고, 그 보색인 시안, 마젠타, 옐로우의 필터층을 갖고 있어도 된다. 또는, 적외광 등의 가시광 이외의 색을 투과시키는 필터층을 갖고 있어도 되고, 멀티스펙트럼 특성을 갖는 필터층을 갖고 있어도 되고, 화이트 등의 감색(減色)의 필터층을 갖고 있어도 된다. 적외광 등의 가시광 이외의 광을 투과시킴으로써, 뎁스 정보 등의 센싱 정보를 검출할 수 있다. 컬러 필터층(14) 위에는, 온 칩 렌즈(15)가 배치되어 있다. 광은 온 칩 렌즈(15)를 통해 입사된다. 본 명세서에서는, 온 칩 렌즈(15)가 배치되어 있는 측을 촬상부(4)의 이면측이라고 부른다.
촬상부(4)의 표면측에서는, 반도체 기판(11) 상에 판독 회로(16)가 형성되고, 판독 회로(16)의 주위는 층간 절연막(17)으로 덮여 있다. 판독 회로(16)는, 전송 트랜지스터, 리셋 트랜지스터, 증폭 트랜지스터, 선택 트랜지스터 등을 갖는다. 한편, 촬상부(4)의 단면 구조는, 도 3에 도시된 것에 한정되지 않는다.
도 4a는 제1 실시형태에 따른 전자기기(1)의 내부 구성을 나타내는 블록도이다. 도 4a에 도시된 바와 같이, 전자기기(1)는, 촬상 장치(21)와, 어플리케이션 프로세서(22)와, 영상 신호 생성부(23)와, A/D 변환부(24)와, 표시 제어부(25)와, 표시부(2)를 갖는다.
촬상 장치(21)는, 하나 또는 복수의 반도체 디바이스로 구성할 수 있고, 카메라 모듈(3)을 구성하는 촬상부(4)와, 광학계(5) 및 IR 컷 필터(infrared ray cut filter; 6) 외에, A/D 변환부(31)와, 신호 처리부(32)와, 촬상 제어부(33)와, 노광 조정부(34)와, 이상 검출부(35)와, 출력부(36)를 갖는다.
A/D 변환부(31)는 촬상부(4)에 의해 촬상된 아날로그 화소 신호를 디지털 화소 데이터로 변환한다.
신호 처리부(32)는, 예를 들면 도 4b에 상세를 나타낸 바와 같이, 클램프부(32a)와, 컬러 출력부(32b)와, 결함 보정부(32c)와, 리니어 매트릭스부(32d)와, 감마 보정부(32e)와, 휘도 크로마 신호 생성부(32f)와, 노이즈 저감부(32g)와, 에지 강조부(32h)를 갖는다.
클램프부(32a)는, 블랙 레벨을 규정하는 처리를 행한다. 보다 구체적으로는, 클램프부(32a)는, 디지털 화소 데이터로부터 블랙 레벨 데이터를 감산하는 처리를 행한다. 컬러 출력부(32b)는, 예를 들면 RGB의 색마다의 화소 데이터를 출력한다. 결함 보정부(32c)는, 어떠한 이유로 정확하게 판독할 수 없었던 특정 화소의 촬상 데이터를 주위의 화소의 촬상 데이터로부터 보정하는 처리를 행한다. 리니어 매트릭스부(32d)는, RGB 등의 색 정보에 대한 행렬 연산을 행함으로써, 보다 정확한 색 재현을 행한다. 감마 보정부(32e)는, 표시부(2)의 표시 특성에 맞추어, 시인성이 우수한 표시가 가능하게 되도록 감마 보정을 행한다. 예를 들면, 감마 보정부(32e)는, 구배를 변화시키면서 10비트로부터 8비트로의 변환을 행한다. 휘도 크로마 신호 생성부(32f)는, 감마 보정부(32e)의 출력 데이터에 기초하여 표시부(2)에 표시시키기 위한 휘도 크로마 신호를 생성한다. 노이즈 저감부(32g)는, 휘도 크로마 신호에 포함되는 노이즈를 삭감하는 처리를 행한다. 에지 강조부(32h)는, 휘도 크로마 신호에 기초하여 피사체 화상의 에지를 강조하는 처리를 행한다. 노이즈 저감부(32g)에 의한 노이즈 저감 처리와, 에지 강조부(32h)에 의한 에지 강조 처리는, 소정의 조건을 만족하는 경우에만 행하여져도 된다. 출력부(36)는, 노이즈 저감 처리를 행한 후의 휘도 크로마 신호를 출력한다.
촬상 제어부(33)는, 휘도 크로마 신호에 기초하여 촬상부(4)에서 촬상을 행하는 프레임 레이트를 설정한다. 노광 조정부(34)는, 촬상 제어부(33)가 설정한 프레임 레이트에 따라, 노광 시간을 조정한다. 광전 변환부(4a)는, 노광 조정부(34)에 의해 조정된 노광 시간에 따라, 화소마다 촬상을 행한다.
이상 검출부(35)는, 표시부(2)의 표시면 상의 이상을 검출한다. 이상(異常; abnormality)은, 표시면 상의 다양한 부착물, 표시면의 상처, 표시면을 보호하는 필름 등의 보호 재료의 부착물이나 상처, 표시면과 보호 재료 사이의 기포 등이다. 부착물은, 오염이나 손 기름, 고착화한 물질, 액화물 등을 포함한다. 상처는, 깨어짐이나 금, 조각 등을 포함한다. 이와 같이, 이상 검출부(35)는, 복수 종류의 이상을 검출한다. 본 명세서에서는, 이상을 총칭하여 이물(異物)이라고 부르는 경우가 있다.
이상 검출부(35)는, 검출된 이상 정보(abnormality information)를 어플리케이션 프로세서(22)에 보낸다. 여기서, 이상 정보란, 예를 들면, 이상의 종류나 위치의 정보이다. 또한, 이상 검출부(35)는, 이상 정보를 포함하는 촬상 화상 데이터를 출력부(36)에 보낸다. 출력부(36)는, 이상 정보와 함께, 촬상 화상 데이터를 출력한다. 출력부(36)는, 영상 신호 생성부(23)에, 이상이 찍힌 촬상 화상 데이터를 보내는 경우도 있을 수 있다.
어플리케이션 프로세서(22)는, 카메라 모듈(3)과는 별개의 반도체 디바이스이며, 카메라 모듈(3)과 동일 또는 다른 기판에 실장된다. 어플리케이션 프로세서(22)는, 그 내부에 CPU(Central Processing Unit) 등을 갖고, 오퍼레이팅 시스템이나 각종 어플리케이션 소프트웨어 등의 프로그램을 실행한다. 어플리케이션 프로세서(22)는, GPU(Graphics Processing Unit)나 베이스밴드 프로세서 등의 화상 처리나 신호 처리 등을 행하는 기능을 탑재하고 있어도 된다. 어플리케이션 프로세서(22)는, 입력된 화상 데이터나 연산 결과에 대하여, 필요에 따라 다양한 처리를 실행하거나, 전자기기(1)의 표시부(2)에 화상을 표시하는 제어를 행하거나, 소정의 네트워크를 통해 외부의 클라우드 서버에 송신하거나 한다.
어플리케이션 프로세서(22)는, 이상 검출부(35)로부터 보내온 이상 정보를 수취하면, 그 정보를 표시 제어부(25)에 보낸다. 표시 제어부(25)는, 이상 검출부(35)에 의해 검출된 이상이 발생한 위치를 표시부(2)에 강조 표시한다. 강조 표시의 구체예는 후술한다.
영상 신호 생성부(23)는, 표시부(2)에 표시하기 위한 영상 신호를 생성한다. A/D 변환부(24)는, 영상 신호를 디지털 화소 데이터로 변환한다. 표시 제어부(25)는, 디지털 화소 데이터를 표시부(2)에 표시하는 제어를 행한다. 이 때, 상술한 바와 같이, 이상 검출부(35)에 의해 검출된 이상 정보에 기초하여 이상이 발생한 위치를 강조 표시한다.
도 5는 제1 실시형태에 따른 전자기기(1)의 처리 동작을 나타내는 플로우차트이며, 예를 들면 어플리케이션 프로세서(22), 촬상 제어부(33) 및 표시 제어부(25)의 처리 동작을 나타내고 있다. 이 플로우차트는, 전자기기(1)의 전원을 온(on) 하고 있는 동안, 계속적으로 반복된다.
먼저, 전자기기(1)의 유저가 카메라 모듈(3)을 기동하였는지를 판정한다(스텝(S1)). 유저가 카메라 모듈(3)을 기동하고 있지 않으면, 어플리케이션 프로세서(22)로부터의 지시에 기초하여 영상 신호 생성부(23)에 의해 생성된 화상이 표시부(2)에 표시된다(스텝(S2)).
유저가 카메라 모듈(3)을 기동한 경우에는, 표시부(2)의 표시 오프 기간에 촬상부(4)에 의한 노광을 행한다(스텝(S3)). 표시부(2)의 표시는, 1초 동안에 30∼120프레임의 빈도로 갱신된다. 연속한 2개의 프레임간에는, 표시를 행하지 않는 표시 오프 기간이 있다. 또한, 1개의 프레임 내에서는, 각 수평 라인마다 주사하면서 표시가 행해지고, 각 수평 라인의 사이에도, 표시를 행하지 않는 표시 오프 기간이 있다. 스텝(S3)에서는, 이들 표시 오프 기간 내에 촬상부(4)에 의한 노광을 행한다.
표시 오프 기간 내에 노광을 행하는 이유는, 표시부(2)에 화상이 표시되고 있는 상태로 카메라 모듈(3)이 촬영을 행하면, 촬영 화상에 악영향을 줄 우려가 있기 때문이다. 단, 후술하는 바와 같이, 이상 검출을 위해, 의도적으로 표시부(2)를 소정의 발광색으로 발광시킨 상태에서 촬상을 행하는 경우도 있을 수 있다. 따라서, 스텝(S3)의 표시 오프 기간이란, 보다 정확하게는, 카메라 모듈(3)을 기동하기 전에 표시부(2)에 표시하고 있었던 화상 표시를 행하지 않고 있는 기간을 가리킨다.
다음으로, 촬상부(4)에 의한 노광 처리로 얻어진 촬상 화상에 대해, 신호 처리부(32)에서 각종의 신호 처리를 행한다(스텝(S4)).
다음으로, 이상 검출부(35)는, 신호 처리 후의 촬상 화상 데이터에 기초하여 표시면에 이상이 있는지 여부를 검출한다(스텝(S5)). 이상의 검출 수법에는, 다양한 수법이 생각되며, 그 구체예는 후술한다. 이상이 검출되지 않은 경우는, 신호 처리부(32)로부터 출력된 촬상 화상 데이터가 출력부(36)로 보내진다(스텝(S6)).
스텝(S5)에서 이상이 검출되면, 이상 검출부(35)는, 이상이 발생한 위치를 포함하는 이상 정보를 어플리케이션 프로세서(22)에 보냄과 함께, 이상 정보와 촬상 화상 데이터를 출력부(36)에 보낸다(스텝(S7)).
어플리케이션 프로세서(22)는, 이상 검출부(35)로부터 송신된 이상 정보를 표시 제어부(25)에 보낸다. 표시 제어부(25)는, 영상 신호 생성부(23)에 의해 생성된 영상 신호에 기초한 화상을 표시면에 표시할 때에, 이상이 생긴 위치를 표시면 상에 강조 표시한다(스텝(S8)).
도 6a, 도 6b, 도 6c 및 도 6d는, 이상(2p)이 생긴 위치를 강조 표시하는 구체예를 나타내는 도면이다. 도 6a는, 이상(2p)이 생긴 위치를 둘러싸는 원형 고리 형상의 지표(2q)를 표시하는 예를 나타내고 있다. 도 6a의 지표(2q)는, 배경 화상의 표시색과는 다른 표시색으로 두드러지도록 표시하는 것이 바람직하다. 또한, 지표(2q)의 선폭을 굵게 하여도 된다.
도 6b는, 이상(2p)이 생긴 위치를 지시하는 화살표의 지표(2q)를 표시하는 예를 나타내고 있다. 또한, 화살표의 화살 근원부에 「닦아 주세요」 등의 메시지를 문자 정보로 기입하여도 된다.
도 6c는, 이상(2p)의 종류를 유저에게 알리기 위해, 촬상 화상 데이터에 포함되는 이상(2p)을 확대하여, 표시면에 표시하는 예를 나타내고 있다. 도 6c는, 이상(2p)이 지문인 예를 나타내고 있고, 유저는 확대 화상에 의해, 이상의 종류를 파악할 수 있다.
도 6d는, 이상(2p)이 표시면에 부착된 필름(2r)의 파손인 예를 나타내고 있다. 이 경우, 「필름을 교환해 주세요」 등의 메시지를 문자 정보로 기입하여도 된다.
이와 같이, 제1 실시형태에서는, 표시부(2)의 표시면과는 반대측에 배치되는 촬상부(4)에 의해 촬상을 행할 때, 표시면 상의 이상(2p)이 검출되면, 이상(2p)이 생긴 위치를 표시부(2)에 강조 표시한다. 이에 의해, 촬상부(4)에서의 촬상에 지장이 생기는 것을 사전에 유저에게 알려, 이상(2p)의 해소를 촉진할 수 있다. 유저가 표시부(2)의 강조 표시에 의해, 표시면을 닦는 등의 이상(2p)을 해소하는 작업을 스스로 행한 후, 촬상부(4)에 의한 촬상을 행함으로써, 촬상 화상의 화질 향상을 도모할 수 있다.
(제2 실시형태)
제2 실시형태는, 복수의 발광 파장의 광으로 발광시킨 상태에서 촬상한 복수의 촬상 화상에 기초하여, 이상(2p)을 검출하는 것이다.
도 7a, 도 7b 및 도 7c는, 카메라 모듈(3)의 화각 범위 내인 표시면(1a)의 일부의 표시 영역(20)을, 각각 다른 발광 파장의 광으로 발광시킨 상태에서 촬상부(4)에 의한 노광을 행하는 예를 모식적으로 나타내는 도면이다. 예를 들면, 도 7a∼도 7c는 각각, 적색, 녹색 및 청색의 발광 파장으로 발광시켜 노광을 행하는 예를 나타내고 있다.
카메라 모듈(3)에 의한 촬영은, 상술한 바와 같이, 프레임의 사이나 수평 라인 기간의 사이 등의 표시 오프 기간에 행하지만, 도 7a∼도 7c에 의한 발광은, 이물 검출을 위한 것으로, 표시 기간의 일부를 이용하여 행한다.
제2 실시형태에 따른 전자기기(1)는, 도 4a 및 도 4b와 마찬가지의 내부 구성을 구비하고 있지만, 도 5와는 일부 다른 처리 동작을 행한다.
도 8은 제2 실시형태에 따른 전자기기(1)의 처리 동작을 나타내는 플로우차트이다. 이하에서는, 도 5와 다른 처리 동작을 중심으로 설명한다. 유저가 카메라 모듈(3)을 기동하지 않는 경우는, 도 5의 스텝(S1 및 S2)과 마찬가지의 동작이 행해진다(스텝(S11, S12).
유저가 카메라 모듈(3)을 기동할 경우, 도 7a에 나타낸 바와 같이, 카메라 모듈(3)의 화각 범위 내의 일부 표시 영역(20)을 제1 발광 파장으로 발광시킨다(스텝(S13)). 카메라 모듈(3)이 구비하는 렌즈의 초점거리에 따라 화각 범위는 다르기 때문에, 제1 발광 파장으로 발광시키는 표시 영역(20)의 사이즈도 렌즈의 초점거리에 맞추어 조정할 필요가 있다. 또한, 표시면(1a)의 전역을 제1 발광 파장으로 발광시켜도 된다.
스텝(S13)에서 발광시키고 있는 동안에, 촬상부(4)에 의한 노광을 행하고 (스텝(S14)), 신호 처리부(32)에서 다양한 신호 처리를 행하여 촬상 화상 데이터를 생성한다(스텝(S15)).
다음으로, 스텝(S13∼S15)과 마찬가지의 동작을, 도 7b와 같이 표시 영역(20)을 제2 발광 파장으로 발광시킨 상태에서 행한다(스텝(S16∼S18). 계속해서, 스텝(S13∼S15)와 마찬가지의 동작을, 도 7c와 같이 표시 영역(20)을 제3 발광 파장으로 발광시킨 상태에서 행한다(스텝(S19∼S21)).
이상 검출부(35)는, 스텝(S15, S18, S21)에서 얻어진 3개의 촬상 화상 데이터에 기초하여 이상(2p)의 유무를 검출한다(스텝(S22∼S24)).
이와 같이, 제2 실시형태에서는, 표시부(2)의 적어도 일부의 표시 영역(20)을 복수 종류의 발광 파장의 광으로 발광시킨 상태에서, 촬상부(4)에 의한 촬상을 행하고, 얻어진 복수의 촬상 화상 데이터에 기초하여 이상 검출부(35)에서 이상(2p)을 검출한다. 이상(2p)의 종류에 따라서는, 특정한 발광 파장의 광만을 반사시키거나, 투과시키기 때문에, 복수 종류의 발광 파장의 광으로 표시부(2)를 발광시킨 상태에서 촬상을 행함으로써, 이상(2p)의 유무와, 이상(2p)의 종류를 특정하기 쉽게 된다.
(제3 실시형태)
제3 실시형태는, 이상 검출부(35)에 의해 이상(2p)이 검출되었을 때, 촬상 화상 데이터의 보정 처리를 행하는 것이다.
도 9는 제3 실시형태에 따른 전자기기(1)의 내부 구성을 나타내는 블록도이다. 도 9의 전자기기(1)는, 도 4a의 전자기기(1)에 보정 처리부(37)를 추가한 것이다. 보정 처리부(37)는, 이상(2p)이 두드러지지 않도록 표시부(2)에 표시되는 화상을 보정한다. 보다 구체적으로는, 보정 처리부(37)는, 이상 검출부(35)에 의해 검출된 이상(2p)의 정보에 기초하여, 신호 처리부(32)로부터 출력된 촬상 화상 데이터에 대해 보정 처리를 행하고, 보정 처리 후의 화상 데이터를 출력한다. 보정 처리부(37)로부터 출력된 화상 데이터는, 출력부(36)로 보내진다. 보정 처리부(37)가 행하는 보정 처리는, 예를 들면, 에지 강조 처리, 왜곡 보정 처리 및 상처 보정 처리 중 적어도 하나를 포함하고 있어도 된다.
제3 실시형태에 따른 전자기기(1) 내의 이상 검출부(35)는, 제2 실시형태와 마찬가지로 표시면(1a)을 복수의 발광 파장으로 발광시켜 표시면(1a)의 이상(2p)을 검출하여도 된다. 본 실시형태에 따른 이상 검출부(35)는, 이상(2p)의 종류를 검출할 수 있고, 이상(2p)의 종류에 따라, 특정한 발광 파장에 대한 흡수 특성이나 산란 특성이 변화된다. 이상 검출부(35)는, 발광 파장과, 흡수 특성이나 산란 특성의 대응 관계로부터, 이상(2p)의 종류를 비교적 정확하게 추정할 수 있다. 이상 검출부(35)가 이상(2p)의 종류를 검출할 수 있으면, 보정 처리부(37)는, 이상(2p)의 종류에 따라 적절한 보정 처리를 행할 수 있다.
도 10은 보정 처리부(37)가 행하는 보정 처리의 처리 순서를 나타내는 플로우차트이다. 도 10의 보정 처리는, 도 5의 스텝(S5) 또는 도 8의 스텝(S22)에서 표시면(1a)에 이상이 있다고 판정된 경우, 도 5의 스텝(S7∼S8) 또는 도 8의 스텝(S24∼S25) 대신에 행해진다.
먼저, 이상 검출부(35)에 의해 검출된 이상(2p)의 정보에 기초하여 이상(2p)의 종류를 판별한다(스텝(S31)).
다음으로, 전자기기(1) 내의 보정 처리부(37)에서 유효한 보정 처리를 행할 수 있는지 여부를 판정한다(스텝(S32)). 예를 들면, 전자기기(1)가 스마트폰 등의 휴대기기인 경우, PC나 서버 등에 비해 하드웨어 성능이 떨어져, 고도의 보정 처리를 행하는 것은 곤란하다. 이 때문에, 유저가 충족하는 정도의 보정 처리를 몇 초 내에 행할 수 없을 경우는, 유효한 보정 처리를 행할 수 없다고 판정한다. 스텝(S32)의 판정 처리는, 예를 들면 보정 처리부(37)에서 행한다.
스텝(S32)에서 유효한 보정 처리를 행할 수 있다고 판정되면, 보정 처리부(37)는, 이상(2p)의 종류에 따른 보정 처리를 행한다(스텝(S33)). 예를 들면, 이상 검출부(35)에서, 이상(2p)이 표시면(1a) 상에 부착된 손 기름인 것으로 검출되면, 손 기름을 통해 촬상한 촬상 화상의 에지가 희미해지는 경향에 있기 때문에, 에지 강조 처리를 행한다. 이 경우, 보정 처리부(37)의 내부에서 에지 강조 처리를 행해도 되고, 또는, 보정 처리부(37)는, 신호 처리부(32) 내의 에지 강조부(32h)에 대해 에지 강조 처리의 강화를 지시해도 된다. 또한, 이상 검출부(35)에서, 이상(2p)이 표시면(1a)에 부착되어진 물방울인 것으로 검출되면, 물방울에 의해 피사체광이 굴절되기 때문에, 왜곡된 촬상 화상 데이터가 얻어진다. 이에, 보정 처리부(37)는, 왜곡 보정 처리를 행해도 된다. 또한, 이상 검출부(35)에서, 이상(2p)이 표시면(1a) 상의 상처인 것으로 검출되면, 보정 처리부(37)는, 상처를 제거하는 보정 처리를 행해도 된다. 보정 처리 후의 화상 데이터는, 출력부(36)로 보내진다(스텝(S34)).
한편, 스텝(S32)에서 유효한 보정 처리를 행할 수 없다고 판정되면, 신호 처리부(32)로부터 출력된 촬상 화상 데이터와, 이상 검출부(35)에 의해 검출된 이상(2p)의 정보를, 고도의 보정 처리를 행하는 특정한 정보 처리 장치에 송신한다(스텝(S35)). 정보 처리 장치는, 예를 들면 네트워크에 접속된 서버 장치이어도 되고, 고성능의 PC이어도 된다. 그 후, 정보 처리 장치에 의해 보정 처리가 촬상 화상 데이터의 보정 처리가 행해지고, 보정 처리 후의 화상 데이터를 보정 처리부(37)는 수신한다(스텝(S36)). 수신된 보정 처리 후의 화상 데이터는, 출력부(36)로 보내진다.
도 11은 전자기기(1)와 정보 처리 장치(41)의 접속 형태의 일례를 나타내는 블록도이다. 도 11의 예에서는, 전자기기(1)와 정보 처리 장치(41)는, 네트워크(42)를 통해 정보의 송수신을 행한다. 정보 처리 장치(41)는, 전자기기(1)로부터 불특정한 장소, 즉 클라우드 환경에 설치되어 있어도 되고, MEC(Mobile Edge Computing) 등과 같이, 전자기기(1)로부터 비교적 가까운 장소 (예를 들면, 기지국 등)에 설치되어도 된다.
정보 처리 장치(41)에는 데이터베이스 장치(43)가 접속되고 있고, 데이터베이스 장치(43)는, 이상(2p)의 종류와 보정 처리와의 대응 관계에 관한 정보와, 이상(2p)의 종류에 따라 보정 처리를 행하는 모델에 관한 정보를 기억하고 있다. 정보 처리 장치(41)는, 이상(2p)의 종류와 촬상 화상 데이터를 모델의 입력 데이터로 하여, 적절한 보정 처리를 행한 촬상 화상 데이터가 출력되도록, 모델의 학습을 행한다. 학습의 과정에는, 뉴럴 네트워크(neural network)의 가중치 정보를 다양하게 변경하여 모델의 갱신을 행한다. 정보 처리 장치(41)는, 다양한 이상(2p)의 종류와, 보정 처리의 결과를 데이터베이스 장치(43)에 축적하고, 모델의 학습을 반복함으로써, 신뢰성이 높은 모델을 생성할 수 있다. 이러한 모델의 학습을 사전에 행하여 둠으로써, 전자기기(1)로부터 보내져 온 이상(2p)의 종류와 촬상 화상 데이터에 대해, 단시간에 신뢰성이 높은 보정 처리를 행하고, 보정 처리 후의 화상 데이터를 전자기기(1)에 반송할 수 있다.
한편, 도 10의 플로우차트에서는, 전자기기(1)의 내부에서 유효한 보정 처리를 할 수 없다고 판정된 경우는, 외부의 정보 처리 장치(41)에서 보정 처리를 행하는 예를 설명했지만, 외부의 정보 처리 장치(41)가 존재하지 않는 경우, 또는 어떠한 이유에 의해 외부의 정보 처리 장치(41)와의 통신을 할 수 없는 경우는, 유효한 보정 처리를 할 수 없다는 것을 표시부(2)에 표시해도 된다.
이와 같이, 제3 실시형태에서는, 이상 검출부(35)에서 이상(2p)이 검출되면, 이상(2p)이 눈에 띄지 않도록 촬상 화상 데이터의 보정 처리를 행하기 때문에, 유저가 표시면(1a)의 이상(2p)을 해소하는 작업을 행하지 않더라도, 고품질의 촬상 화상 데이터가 얻어진다.
(제4 실시형태)
제4 실시형태는, 표시부(2)의 표시면(1a)와는 반대측에 복수의 카메라 모듈(3)을 배치하는 것이다.
도 12는 제4 실시형태에 따른 전자기기(1)의 평면도이다. 도 12의 전자기기(1)는, 표시부(2)의 표시면(1a)과는 반대측에 3개의 카메라 모듈(3)을 배치하고 있다. 한편, 카메라 모듈(3)의 수는 3개로 한정되지 않는다. 각 카메라 모듈(3)의 초점거리는 같아도 되고, 달라도 된다.
도 13은 도 12의 A-A선 방향의 단면도이다. 각 카메라 모듈(3)의 촬영 범위를 파선으로 나타내고 있다. 본 실시형태에서는, 표시부(2)의 표시면(1a)의 임의의 장소를, 적어도 2개의 카메라 모듈(3)이 촬영할 수 있도록 하고 있다. 이에 의해, 표시면(1a) 상의 임의의 장소에 발생한 이상(2p)을, 복수의 카메라 모듈(3)로 촬상할 수 있다.
표시면(1a) 상의 이상 위치를, 각각 다른 방향으로부터 촬상함으로써, 이상(2p)의 종류를 특정하기 쉬워진다. 이상 검출부(35)는, 복수의 카메라 모듈(3)이 촬상한 복수의 촬상 화상 데이터를 참조하여, 이상(2p)의 종류를 검출한다. 이 때, 제2 실시형태와 마찬가지로, 각각 다른 복수의 발광 파장의 광으로 표시면(1a)을 발행시킨 상태에서 촬상해도 된다.
보정 처리부(37)는, 복수의 카메라 모듈(3)로 촬상한 복수의 촬상 화상 데이터에 기초하여, 이상(2p)을 제거하기 위한 보정 처리를 행한다. 한 방향으로부터 촬상한 촬상 화상 데이터에 기초하여 보정 처리를 행하는 것보다, 복수 방향으로부터 촬상한 복수의 촬상 화상 데이터에 기초하여 보정 처리를 행하는 것이, 유효한 보정 처리를 행할 수 있다. 한편, 보정 처리부(37)에서 유효한 보정 처리를 행할 수 없다고 판정된 경우는, 복수의 카메라 모듈(3)에 의해 촬상한 복수의 촬상 화상 데이터를 외부의 정보 처리 장치(41)에 송신하고, 정보 처리 장치(41)에 의해 보정 처리를 행하면 된다.
이와 같이, 제4 실시형태에서는, 복수의 카메라 모듈(3)을 설치함으로써, 표시면(1a)의 임의의 장소의 이상(2p)을 적어도 2개의 카메라 모듈(3)에 의해 촬상할 수 있도록 하였기 때문에, 이상(2p)의 유무와, 이상(2p)의 종류의 검출과, 이상(2p)을 해소하기 위한 보정 처리를, 보다 정밀도 높게 행할 수 있다.
(제5 실시형태)
제5 실시형태는, 이상(2p)의 구체적인 검출 방법에 관한 것이며, 제1∼제4 실시형태에 따른 이상 검출부(35)에 적용할 수 있는 것이다.
도 14는 제5 실시형태에 따른 촬상부(4)의 화소 배열의 일례를 나타내는 평면도이다. 도 14의 예에서는, RGB의 3색 용의 화소가 2차원 방향으로 배치되어 있다. 각 화소는 광전 변환부(4a)를 구비하고 있고, 입사된 광을 광량에 따른 전기 신호로 변환한다. 복수의 화소 중 일부의 화소는 위상차 검출용의 화소이며, 화소 영역이 2개로 분할되어 있다. 위상차 검출용의 화소에 있어서의 각 분할 화소(10a, 10b)는 각각 개별로 광전 변환을 행한다. 2개의 분할 화소(10a, 10b)가 광전 변환한 전기 신호의 차분이 위상차 정보이며, 이 위상차 정보에 의해 디포커스(defocusing)량을 검출할 수 있다. 이 디포커스량은 초점 조절에 사용할 수 있다. 도 14의 예에서는, 네 코너에 위상차 검출용의 화소를 배치한 예를 나타내고 있지만, 위상차 검출용의 화소를 어디에 어느 정도 배치할지는 임의이다.
위상차 검출용의 화소를 구성하는 2개의 분할 화소(10a, 10b)에 의해 얻어진 디포커스량으로 이상(2p)의 유무를 검출할 수 있다. 즉, 표시면(1a) 상에 이물이 있을 경우, 위상차 검출용의 화소는, 이 이물을 피사체의 일부라고 인식하여 디포커스량을 검출한다. 검출된 디포커스량에 의해, 이물을 검출할 수 있다. 예를 들면, 도 12과 같이 복수의 카메라 모듈(3)이 배치되어 있는 경우, 적어도 2개의 각 카메라 모듈(3)이, 이물에 기인하는 디포커스량을 검출하기 때문에, 검출된 디포커스량이 원래 의도한 피사체에 의한 것이 아니고, 표시면(1a) 상의 이물에 의한 것으로 특정할 수 있다.
이와 같이, 제5 실시형태에서는, 촬상용의 화소 배열의 일부에 위상차 검출용의 화소를 설치함으로써, 표시면(1a) 상의 이상(2p)의 검출을 정밀도 높게 행할 수 있다.
(제6 실시형태)
제6 실시형태는, 제5 실시형태와는 다른 수법으로, 표시면(1a) 상의 이상(2p)을 검출하는 것이다. 제6 실시형태에 따른 이상(2p) 검출 처리는, 제1∼제4 실시형태에 따른 이상 검출부(35)에 적용할 수 있다.
도 15는 제6 실시형태에 따른 촬상부(4)의 화소 배열의 일례를 나타내는 평면도이다. 도 15의 예에서는, 도 14와 마찬가지로, RGB의 3색 용의 화소가 2차원 방향으로 배치되어 있다. 각 화소는, 광전 변환부(4a)를 갖는다. 일부의 화소에는, 광전 변환부(4a)의 광입사면 측에 편광 소자(8b)가 배치되어 있다. 이하에서는, 편광 소자(8b)가 배치되어 있는 화소를 편광 화소(10c)라고 부르고, 편광 소자(8b)가 배치되어 있지 않은 화소를 비편광 화소(10d)라고 부른다.
편광 소자(8b)는, 표시부(2)를 통과하여 입사된 광을 편광시킨다. 편광 소자(8b)에 의해 편광된 광은, 대응하는 광전 변환부(4a)에 입사되어 광전 변환된다.
도 15는, 8×8=64개의 화소 중, 60개가 비편광 화소(10d)이고, 4개가 편광 화소(10c)인 예를 나타내고 있지만, 비편광 화소(10d)와 편광 화소(10c)의 비율이나, 편광 화소(10c)의 장소는 임의이다.
도 16은, 제6 실시형태에 따른 촬상부(4)의 단면도이다. 도 16은, 도 3과 공통되는 부분에는 동일 부호를 붙이고 있으며, 이하에서는 차이점을 중심으로 설명한다. 도 16의 촬상부(4)에서는, 평탄화층(13) 위에, 차광층(18) 및 하지 절연층(19)이 배치되고, 하지 절연층(19) 위에, 복수의 편광 소자(8b)가 이격하여 배치되어 있다. 편광 소자(8b)는, 예를 들면, 하지 절연층(19)의 일부에 배치되는 라인·앤드·스페이스(line-and-space) 구조의 와이어 그리드 편광 소자(8b)이다.
도 17는 각 편광 소자(8b)의 상세한 구조의 일례를 나타내는 사시도이다. 복수의 편광 소자(8b)의 각각은, 도 17에 도시된 바와 같이, 일 방향으로 연장하는 볼록 형상의 복수의 라인부(8d)와, 각 라인부(8d)의 사이의 스페이스부(8e)를 갖는다. 편광 소자(8b)에는, 라인부(8d)가 연장하는 방향이 각각 다른 복수의 종류가 있다. 보다 구체적으로는, 편광 소자(8b)에는 3종류 이상이 있으며, 예를 들면, 광전 변환부(4a)의 배열 방향과 라인부(8d)의 연장 방향이 이루는 각도는 0도, 60도, 120도의 3종류이어도 된다. 또는, 광전 변환부(4a)의 배열 방향과 라인부(8d)의 연장 방향이 이루는 각도는 0도, 45도, 90도, 135도의 4종류이어도 되고, 그 이외의 각도이어도 된다. 또는, 복수의 편광 소자(8b)는, 단일 방향만의 편광을 하는 것이어도 된다. 복수의 편광 소자(8b)의 재료는, 알루미늄이나 텅스텐 등의 금속 재료이어도 되고, 유기 광전 변환막이어도 된다.
도 15에 나타낸 바와 같이, 촬상부(4)가 4종류의 편광 소자(8b)를 구비하는 경우, 각 편광 소자(8b)는, 각각 별개의 편광 상태의 광을 통과시켜, 대응하는 광전 변환부(4a)에 의해 광전 변환을 행한다. 표시면(1a)에 이상(2p)이 있을 경우, 그 이상(2p)의 종류에 따라, 4종류의 편광 소자(8b)를 통과하는 광의 종류가 바뀐다. 따라서, 4종류의 편광 화소(10c)에 의해 광전 변환된 전기 신호를 해석함으로써, 이상(2p)의 종류를 특정할 수 있다.
또한, 편광 화소(10c)는, 표시면(1a)에 입사되는 플레어나 회절광의 성분을 추출하여 제거하는 목적으로도 이용할 수 있다.
도 18은 플레어광이나 회절광의 영향을 억제하는 기능을 갖는 전자기기(1) 내의 신호 처리부(32A)의 내부 구성을 나타내는 블록도이다. 전자기기(1) 내의 신호 처리부(32A) 이외의 구성은, 도 4a와 마찬가지이다.
도 18에서는, 도 4b와 공통되는 부분에는 동일 부호를 붙이고 있고, 이하에서는 상위점을 중심으로 설명한다. 도 18의 신호 처리부(32A)는, 도 4b의 신호 처리부(32)의 내부 구성에 더해, 편광 출력부(32j)와, 플레어 추출부(32k)와, 플레어 보정 신호 생성부(32m)를 갖는다.
편광 출력부(32j)는 편광 정보 데이터를 출력한다. 플레어 추출부(32k)는, 편광 정보 데이터로부터, 플레어 성분과 회절광 성분 중 적어도 일방을 추출한다. 플레어 추출부(32k)에 의해 추출된 플레어 성분과 회절광 성분 중 적어도 일방이 보정량이다. 플레어 보정 신호 생성부(32m)는, 컬러 출력부(32b)로부터 출력된 디지털 화소 데이터에 대해, 플레어 추출부(32k)에 의해 추출된 보정량의 감산 처리를 행함으로써, 디지털 화소 데이터를 보정한다. 플레어 보정 신호 생성부(32m)의 출력 데이터는, 플레어 성분 및 회절광 성분 중 적어도 일방이 제거된 디지털 화소 데이터이다. 이와 같이, 플레어 보정 신호 생성부(32m)는, 편광 정보에 기초하여, 복수의 비편광 화소(10d)에서 광전 변환된 촬상 화상을 보정하는 보정부로서 기능한다.
편광 화소(10c)의 화소 위치에 있어서의 디지털 화소 데이터는, 편광 소자(8b)를 통과한 만큼, 신호 레벨이 낮아져 있다. 이 때문에, 결함 보정부(32c)는, 편광 화소(10c)를 결함으로 간주하고, 소정의 결함 보정 처리를 행한다.
도 15∼도 18에 도시된 바와 같이, 복수의 편광 소자(8b)에 의해 편광 정보를 취득함으로써, 표시부(2) 내에서 반사를 반복한 후 복수의 비편광 화소(10d)에 입사되는 광에 포함되는 플레어 성분이나 회절광 성분을 간이하고 신뢰성 높게 제거한 상태에서 촬상 화상을 생성할 수 있다.
이와 같이, 제6 실시형태에서는, 촬상용의 화소 배열의 일부에, 편광 소자(8b)를 사용한 편광 화소(10c)를 설치하기 때문에, 편광 화소(10c)를 이용하여 표시면(1a)의 이상(2p)을 검출할 수 있다. 또한, 편광 화소(10c)에서, 표시면(1a)에 입사된 플레어나 회절광의 추출과 제거를 행할 수 있다.
(제7 실시형태)
제7 실시형태는, 피사체까지의 거리를 광학적으로 검출하는 센서를 사용하여, 표시면(1a) 상의 이상(2p)의 검출을 행하는 것이다.
도 19는 제7 실시형태에 따른 전자기기(1)의 개략 구성을 나타내는 블록도이다. 도 19의 전자기기(1)는, 도 4a의 전자기기(1)의 블록 구성에 더해, 거리 계측부(27)를 갖는다. 거리 계측부(27)는, 투광부(27a)와 수광부(27b)를 갖는다. 투광부(27a)는, 소정의 파장의 펄스 형상의 광을 간헐적으로 방사하고, 수광부(27b)는, 투광부(27a)가 방사한 광이 물체에 의해 반사된 광을 수광한다. 거리 계측부(27)는, 투광부(27a)가 광을 방사하고 나서 수광부(27b)가 광을 수광할 때까지의 시간차에 의해, 물체까지의 거리를 계측한다. 투광부(27a)는, 소정의 각도 범위 내에서 광의 투광 방향을 주사시키도록 하여도 된다. 이에 의해, 표시면(1a)의 전역에 대해 투광부(27a)로부터의 광을 방사할 수 있다.
표시부(2)의 표시면(1a)에 이상(2p)이 있는 경우, 그 이상(2p)이 이물이면, 투광부(27a)로부터의 광을 반사한다. 따라서, 거리 계측부(27)로부터 표시면(1a)까지의 거리는 미리 알고 있기 때문에, 이상 검출부(35)는, 거리 계측부(27)에 의해 계측된 거리를 사용함으로써, 물체가 표시면(1a) 상의 이물인지 여부를 정확하게 검출할 수 있다.
이와 같이, 제7 실시형태에서는, 물체까지의 거리를 광학적으로 검출하는 거리 계측부(27)를 설치하기 때문에, 표시면(1a) 상에 이상(2p)이 있는지 여부를 간이하고 정밀도 높게 검출할 수 있다.
한편, 투광부(27a)가 광을 투광하고 나서 수광부(27b)가 광을 수광할 때까지의 시간에 따라 물체까지의 거리를 계측하는 대신, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 설치하고 이들 복수의 카메라의 촬영 화상에 기초하여 물체까지의 거리를 계측하여도 된다.
(제8 실시형태)
상술한 제1∼제7 실시형태에서는, 전자기기(1) 내의 촬상부(4)을 피사체의 촬영을 행하기 위해 사용하는 예를 나타내었으나, 촬상부(4)는 지문 검출, 홍채 검출, 망막 검출, 정맥 검출, 생체 형상 검출 등의 바이오 인증 용도로 사용할 수 있다. 생체의 검출 대상에 따라, 적절한 초점거리가 다르기 때문에, 검출 대상에 맞춘 초점거리의 렌즈를 설치함과 함께, 프리즘이나 광원 등을 최적화함으로써, 다양한 생체정보의 검출에 제1∼제7 실시형태의 전자기기(1)를 적용할 수 있다.
(제9 실시형태)
제9 실시형태에 따른 전자기기(1)는, 카메라 모듈(3)의 광학계(5)가 제1∼제8 실시형태와는 다른 것이다.
도 20은 제9 실시형태에 따른 전자기기(1)에 탑재되는 카메라 모듈(3)의 촬상부(4)의 단면 구조를 나타내는 도면이다. 도 20의 촬상부(4)는, 단일 렌즈 또는 단일 렌즈를 광축 방향으로 배열한 렌즈군이 아니라, 마이크로렌즈 어레이(64)를 갖는다.
보다 상세하게는, 도 20의 촬상부(4)는, 케이스(63)의 저면을 따라 배치되는 광전 변환부(4a)와, 광전 변환부(4a)의 상방에 배치되는 마이크로렌즈 어레이(64)와, 인접하는 마이크로렌즈(65)의 사이에 배치되는 복수의 차광체(66)와, 마이크로렌즈 어레이(64)의 상방에 배치되는 도광판(67)을 갖는다. 도 20의 촬상부(4)는, 상술한 제1∼제8 실시형태의 어느 것에도 적용 가능하다.
(제10 실시형태)
상술한 제1∼제9 실시형태에서 설명한 구성을 구비한 전자기기(1)의 구체적인 후보로서는, 다양한 것이 생각된다. 예를 들면, 도 21은 제1∼제9 실시형태의 전자기기(1)를 캡슐 내시경(50)에 적용한 경우의 평면도이다. 도 21의 캡슐 내시경(50)은, 예를 들면 양단면이 반구 형상이고 중앙부가 원통 형상의 하우징(51) 내에, 체강(體腔) 내의 화상을 촬영하기 위한 카메라(초소형 카메라)(52), 카메라(52)에 의해 촬영된 화상 데이터를 기록하기 위한 메모리(53), 및, 캡슐 내시경(50)이 피험자의 체외에 배출된 후, 기록된 화상 데이터를 안테나(54)를 통해 외부에 송신하기 위한 무선 송신기(55)를 구비하고 있다.
또한, 하우징(51) 내에는, CPU(Central Processing Unit)(56) 및 코일(자력·전류변환 코일)(57)이 설치되어 있다. CPU(56)는, 카메라(52)에 의한 촬영, 및 메모리(53)에의 데이터 축적 동작을 제어하는 동시에, 메모리(53)로부터 무선 송신기(55)에 의한 하우징(51) 외의 데이터 수신 장치(도시하지 않음)로의 데이터 송신을 제어한다. 코일(57)은, 카메라(52), 메모리(53), 무선 송신기(55), 안테나(54) 및 후술하는 광원(52b)에의 전력 공급을 행한다.
또한, 하우징(51)에는, 캡슐 내시경(50)을 데이터 수신 장치에 세트하였을 때, 이를 검지하기 위한 자기(리드) 스위치(58)가 설치되어 있다. CPU(56)는, 이 리드 스위치(58)가 데이터 수신 장치에의 세트를 검지하고, 데이터의 송신이 가능하게 되는 시점에서, 코일(57)로부터의 무선 송신기(55)에의 전력 공급을 행한다.
카메라(52)는, 예를 들면 체강 내의 화상을 촬영하기 위한 대물 광학계를 포함하는 촬상 소자(52a), 체강 내를 조명하는 복수의 광원(52b)을 갖고 있다. 구체적으로는, 카메라(52)는, 광원(52b)으로서, 예를 들면 LED(Light Emitting Diode)를 구비한 CMOS(Complementary Metal Oxide Semiconductor) 센서나 CCD(Charge Coupled Device) 등에 의해 구성된다.
제1∼제9 실시형태의 전자기기(1)에 있어서의 표시부(2)는, 도 21의 광원(52b)과 같은 발광체를 포함하는 개념이다. 도 21의 캡슐 내시경(50)에서는, 예를 들면 2개의 광원(52b)을 갖지만, 이 광원(52b)을, 복수의 광원부를 갖는 표시 패널이나, 복수의 LED를 갖는 LED 모듈로 구성 가능하다. 이 경우, 표시 패널이나 LED 모듈의 아래쪽에 카메라(52)의 촬상부(4)를 배치함으로써, 카메라(52)의 레이아웃 배치에 관한 제약이 감소되어, 보다 소형의 캡슐 내시경(50)을 실현할 수 있다.
또한, 도 22은 제1∼제9 실시형태의 전자기기(1)를 디지털 SLR 카메라(60)에 적용한 경우의 배면도이다. 디지털 SLR 카메라(60)나 컴팩트 카메라는, 렌즈와는 반대측의 배면에, 프리뷰 화면을 표시하는 표시부(2)를 구비하고 있다. 이 표시부(2)의 표시면과는 반대측에 카메라 모듈(3)을 배치하고, 촬영자의 얼굴 화상을 표시부(2)의 표시면(1a)에 표시할 수 있도록 하여도 된다. 제1∼제9 실시형태에 따른 전자기기(1)에서는, 표시부(2)와 중첩되는 영역에 카메라 모듈(3)을 배치할 수 있기 때문에, 카메라 모듈(3)을 표시부(2)의 테두리 부분에 설치하지 않아도 되어, 표시부(2)의 사이즈를 가능한 한 대형화할 수 있다.
도 23a는 제1∼제9실시형태의 전자기기(1)를 헤드마운트 디스플레이(이하, HMD)(61)에 적용한 예를 나타내는 평면도이다. 도 23a의 HMD(61)는, VR(Virtual Reality), AR(Augmented Reality), MR(Mixed Reality), 또는 SR(Substitutional Reality) 등에 이용되는 것이다. 현재의 HMD는, 도 23b에 나타낸 바와 같이, 외표면에 카메라(62)를 탑재하고 있고, HMD의 장착자는, 주위의 화상을 시인할 수 있는 한편, 주위 사람에게는, HMD의 장착자의 눈이나 얼굴의 표정을 알 수 없다는 문제가 있다.
이에, 도 23a에서는, HMD(61)의 외표면에 표시부(2)의 표시면을 설치함과 함께, 표시부(2)의 표시면의 반대측에 카메라 모듈(3)을 설치한다. 이에 의해, 카메라 모듈(3)로 촬영한 장착자의 얼굴의 표정을 표시부(2)의 표시면에 표시시킬 수 있고, 장착자의 주위의 사람이 장착자의 얼굴의 표정이나 눈의 움직임을 실시간으로 파악할 수 있다.
도 23a의 경우, 표시부(2)의 이면측에 카메라 모듈(3)을 설치하기 때문에, 카메라 모듈(3)의 설치 장소에 대한 제약이 없어지고, HMD(61)의 디자인의 자유도를 높일 수 있다. 또한, 카메라를 최적의 위치에 배치할 수 있기 때문에, 표시면에 표시되는 장착자의 시선이 맞지 않는 등의 문제를 방지할 수 있다.
이와 같이, 제10 실시형태에서는, 제1∼제9 실시형태에 따른 전자기기(1)를 다양한 용도에 사용할 수 있고, 이용 가치를 높일 수 있다.
한편, 본 기술은 이하와 같은 구성을 취할 수 있다.
(1) 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
상기 표시면 상의 이상을 검출하는 이상 검출부와,
상기 이상 검출부에 의해 검출된 상기 이상이 발생한 위치를 상기 표시부에 강조 표시하는 표시 제어부를 구비하는, 전자기기.
(2) 상기 표시 제어부는, 상기 이상의 제거를 촉진하는 정보를 상기 표시부에 표시시키는, (1)에 기재된 전자기기.
(3) 상기 정보는, 상기 이상의 종류에 따른 정보를 포함하는, (2)에 기재된 전자기기.
(4) 상기 표시 제어부는, 상기 이상이 발생한 위치를 지시하는 지표를 상기 표시부에 표시시키는, (1) 내지 (3) 중 어느 한 항에 기재된 전자기기.
(5) 각각 다른 복수의 발광 파장으로 발광시키는 것이 가능한 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
상기 복수의 발광 파장의 각각에서 상기 표시면의 적어도 일부를 발광시킨 상태에서 상기 촬상부에 의해 촬상된 복수의 화상에 기초하여 상기 표시면 상의 이상을 검출하는 이상 검출부를 구비하는 전자기기.
(6) 상기 이상 검출부는, 상기 표시면 상의 상기 촬상부의 화각과 겹치는 영역을 상기 복수의 발광 파장의 각각에서 발광시킨 상태에서 상기 촬상부에 의해 촬상된 복수의 화상에 기초하여 상기 표시면 상의 이상을 검출하는, (5)에 기재된 전자기기.
(7) 표시부와,
상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
상기 표시면 상의 이상을 검출하는 이상 검출부와,
상기 이상에 기초하여 상기 촬상부에 의해 촬상된 화상을 보정하는 보정 처리부를 구비하는, 전자기기.
(8) 상기 보정 처리부는, 상기 이상의 종류, 색, 사이즈, 위치 및 수 중 적어도 하나의 정보에 기초하여 상기 촬상부에 의해 촬상된 화상을 보정하는, (7)에 기재된 전자기기.
(9) 상기 이상의 종류를 판별하는 이상 판별부를 구비하고,
상기 보정 처리부는, 상기 촬상부에 의해 촬상된 화상에 대해, 상기 이상 판별부에 의해 판별된 상기 이상의 종류에 따른 보정 처리를 실시하는, (8) 또는 (9)에 기재된 전자기기.
(10) 상기 보정 처리는, 에지 강조 처리, 왜곡 보정 처리 및 상처 보정 처리 중 적어도 하나를 포함하는, (9)에 기재된 전자기기.
(11) 상기 이상의 종류, 색, 사이즈, 위치 및 수 중 적어도 하나의 정보와, 상기 보정 처리부가 보정을 실시하기 전후의 화상에 기초하여 학습시킨, 상기 촬상부에 의해 촬상된 화상을 상기 이상 정보에 기초하여 보정하는 모델을 생성하는 모델 생성부를 구비하고,
상기 보정 처리부는, 학습 완료된 상기 모델에 대해, 상기 촬상부에 의해 촬상된 화상과, 상기 이상 정보를 주고, 상기 촬상부에 의해 촬상된 화상을 보정하는, (7) 내지 (10) 중 어느 한 항에 기재된 전자기기.
(12) 상기 보정 처리부에 의한 보정이 유효한지 여부를 판정하는 보정 판정부와,
상기 보정 처리부에 의한 보정이 유효하지 않다고 판정된 경우에, 상기 촬상부에 의해 촬상된 화상과 상기 이상 정보를 정보 처리 장치에 송신함과 함께, 상기 정보 처리 장치에 의해 보정된 화상을 수신하는 화상 통신부와,
상기 정보 처리 장치에 의해 보정된 화상을 출력하는 출력부를 구비하는, (7) 내지 (11) 중 어느 한 항에 기재된 전자기기.
(13) 상기 촬상부는, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 갖고,
상기 보정 처리부는, 상기 복수의 카메라로 촬영된 복수의 화상에 기초하여 상기 촬상부에 의해 촬상된 화상으로부터 상기 이상을 제거하는, (7) 내지 (12) 중 어느 한 항에 기재된 전자기기.
(14) 상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부를 갖고,
상기 복수의 광전 변환부 중 적어도 하나는, 위상차 정보를 검출 가능하며,
상기 이상 검출부는, 상기 위상차 정보에 기초하여 상기 이상을 검출하는, (1) 내지 (13) 중 어느 한 항에 기재된 전자기기.
(15) 상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
상기 복수의 광전 변환부 중 적어도 하나의 광입사측에 배치되는 복수의 편광 소자를 갖고,
상기 이상 검출부는, 상기 복수의 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여 상기 이상을 검출하는, (1) 내지 (13) 중 어느 한 항에 기재된 전자기기.
(16) 상기 복수의 편광 소자는, 각각 다른 편광 상태를 검출하는 복수 종류의 편광 소자를 포함하는, (15)에 기재된 전자기기.
(17) 상기 촬상부는,
상기 표시부를 거쳐 입사된 광을 광전 변환하는 복수의 광전 변환부와,
상기 복수의 광전 변환부에 피사체광을 결상시키는 마이크로렌즈 어레이를 갖는, (1) 내지 (16) 중 어느 한 항에 기재된 전자기기.
(18) 상기 촬상부에 의해 촬상되는 피사체까지의 거리를 검출하는 거리 검출부를 구비하고,
상기 이상 검출부는, 상기 거리 검출부에 의해 검출된 거리에 기초하여 상기 이상을 검출하는, (1) 내지 (13) 중 어느 한 항에 기재된 전자기기.
(19) 상기 촬상부는, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 갖고,
상기 거리 검출부는, 상기 복수의 카메라 촬영 화상에 기초하여 상기 거리를 검출하는, (18)에 기재된 전자기기.
(20)상기 촬상부에 의해 촬상된 화상에 기초하여 상기 표시면에 접촉된 손가락의 지문을 검출하는 지문 검출부를 구비하는, (1) 내지 (19) 중 어느 한 항에 기재된 전자기기.
본 개시의 양태는, 상술한 각각의 실시형태에 한정되는 것이 아니고, 당업자가 상도할 수 있는 다양한 변형도 포함하는 것이며, 본 개시의 효과도 상술한 내용에 한정되지 않는다. 즉, 특허청구의 범위에 규정된 내용 및 그 균등물로부터 도출되는 본 개시의 개념적인 사상과 취지를 일탈하지 않는 범위에서 다양한 추가, 변경 및 부분적 삭제가 가능하다.
1: 전자기기
1a: 표시면
1b: 베젤
2: 표시부
2b: 보호 필름
2c: 폴리이미드 기판
2d: 표시층
2e: 배리어층
2f: 터치 센서층
2g: 점착층
2h: 원편광판
2i: 광학 점착 시트
2p: 이상
2q: 지표
2r: 필름
3: 카메라 모듈
4: 촬상부
4a: 광전 변환부
5: 광학계
11: 반도체 기판
12: 소자 분리층
13: 평탄화층
14: 컬러 필터층
15: 온 칩 렌즈
16: 판독 회로
17: 층간 절연막
21: 촬상 장치
22: 어플리케이션 프로세서
23: 영상 신호 생성부
24: A/D 변환부
25: 표시 제어부
31: A/D 변환부
32: 신호 처리부
32a: 클램프부
32b: 컬러 출력부
32c: 결함 보정부
32d: 리니어 매트릭스부
32e: 감마 보정부
32f: 휘도 크로마 신호 생성부
32g: 노이즈 저감부
32h: 에지 강조부
33: 촬상 제어부
34: 노광 조정부
35: 이상 검출부
36: 출력부

Claims (20)

  1. 표시부와,
    상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
    상기 표시면 상의 이상(異常; abnormality)을 검출하는 이상 검출부와,
    상기 이상 검출부에 의해 검출된 상기 이상이 발생한 위치를 상기 표시부에 강조 표시하는 표시 제어부를 구비하는, 전자기기.
  2. 제1항에 있어서,
    상기 표시 제어부는, 상기 이상의 제거를 촉진하는 정보를 상기 표시부에 표시시키는 전자기기.
  3. 제2항에 있어서,
    상기 정보는, 상기 이상의 종류(type)에 대응하는 정보를 포함하는 전자기기.
  4. 제1항에 있어서,
    상기 표시 제어부는, 상기 이상이 발생한 위치를 지시하는 지표를 상기 표시부에 표시시키는 전자기기.
  5. 각각 다른 복수의 발광 파장으로 발광시키는 것이 가능한 표시부와,
    상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
    상기 복수의 발광 파장의 각각으로 상기 표시면의 적어도 일부를 발광시킨 상태에서 상기 촬상부에 의해 촬상된 복수의 화상에 기초하여, 상기 표시면 상의 이상을 검출하는 이상 검출부를 구비하는 전자기기.
  6. 제5항에 있어서,
    상기 이상 검출부는, 상기 표시면 상의 상기 촬상부의 화각과 겹치는 영역을 상기 복수의 발광 파장의 각각으로 발광시킨 상태에서 상기 촬상부에 의해 촬상된 복수의 화상에 기초하여, 상기 표시면 상의 이상을 검출하는 전자기기.
  7. 표시부와,
    상기 표시부의 표시면과는 반대측에 배치되는 촬상부와,
    상기 표시면 상의 이상을 검출하는 이상 검출부와,
    상기 이상에 기초하여, 상기 촬상부에 의해 촬상된 화상을 보정하는 보정 처리부를 구비하는, 전자기기.
  8. 제7항에 있어서,
    상기 보정 처리부는, 상기 이상의 종류, 색, 사이즈, 위치 및 수 중 적어도 하나의 정보에 기초하여, 상기 촬상부에 의해 촬상된 화상을 보정하는 전자기기.
  9. 제8항에 있어서,
    상기 이상의 종류를 판별하는 이상 판별부를 더 구비하고,
    상기 보정 처리부는, 상기 촬상부에 의해 촬상된 화상에 대해, 상기 이상 판별부에 의해 판별된 상기 이상의 종류에 따른 보정 처리를 실시하는 전자기기.
  10. 제9항에 있어서,
    상기 보정 처리는, 에지 강조 처리, 왜곡 보정 처리 및 상처 보정 처리 중 적어도 하나를 포함하는 전자기기.
  11. 제7항에 있어서,
    상기 촬상부에 의해 촬상된 화상을 상기 이상에 관한 정보에 기초하여 보정하는 모델을 생성하는 모델 생성부를 더 구비하고, 상기 모델은 상기 이상의 종류, 색, 사이즈, 위치 및 수 중 적어도 하나의 정보와, 상기 보정 처리부가 보정을 실시하기 전후의 화상에 기초하여 학습되며,
    상기 보정 처리부는, 상기 촬상부에 의해 촬상된 화상과 상기 이상에 관한 정보를 학습 완료된 상기 모델에 전달함으로써, 상기 촬상부에 의해 촬상된 화상을 보정하는 전자기기.
  12. 제7항에 있어서,
    상기 보정 처리부에 의한 보정이 유효한지 여부를 판정하는 보정 판정부와,
    상기 보정 처리부에 의한 보정이 유효하지 않다고 판정된 경우에, 상기 촬상부에 의해 촬상된 화상과 상기 이상에 관한 정보를 정보 처리 장치에 송신하고, 상기 정보 처리 장치에 의해 보정된 화상을 수신하는 화상 통신부와,
    상기 정보 처리 장치에 의해 보정된 화상을 출력하는 출력부를 더 구비하는 전자기기.
  13. 제7항에 있어서,
    상기 촬상부는, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 갖고,
    상기 보정 처리부는, 상기 복수의 카메라로 촬영된 복수의 화상에 기초하여, 상기 촬상부에 의해 촬상된 화상으로부터 상기 이상을 제거하는 전자기기.
  14. 제1항에 있어서,
    상기 촬상부는,
    상기 표시부를 통해 입사된 광을 광전 변환하는 복수의 광전 변환부를 갖고,
    상기 복수의 광전 변환부 중 적어도 하나는, 위상차 정보를 검출 가능하며,
    상기 이상 검출부는, 상기 위상차 정보에 기초하여, 상기 이상을 검출하는 전자기기.
  15. 제1항에 있어서,
    상기 촬상부는,
    상기 표시부를 통해 입사된 광을 광전 변환하는 복수의 광전 변환부와,
    상기 복수의 광전 변환부 중 적어도 하나의 광입사측에 배치되는 복수의 편광 소자를 갖고,
    상기 이상 검출부는, 상기 복수의 편광 소자에 의해 편광되어 상기 광전 변환부에서 광전 변환된 편광 정보에 기초하여, 상기 이상을 검출하는 전자기기.
  16. 제15항에 있어서,
    상기 복수의 편광 소자는, 각각 다른 편광 상태를 검출하는 복수 종류의 편광 소자를 포함하는 전자기기.
  17. 제1항에 있어서,
    상기 촬상부는,
    상기 표시부를 통해 입사된 광을 광전 변환하는 복수의 광전 변환부와,
    상기 복수의 광전 변환부에 피사체광을 결상시키는 마이크로렌즈 어레이를 갖는 전자기기.
  18. 제1항에 있어서,
    상기 촬상부에 의해 촬상되는 피사체까지의 거리를 검출하는 거리 검출부를 더 구비하고,
    상기 이상 검출부는, 상기 거리 검출부에 의해 검출된 거리에 기초하여, 상기 이상을 검출하는 전자기기.
  19. 제18항에 있어서,
    상기 촬상부는, 각각 다른 화각의 촬영을 행하는 복수의 카메라를 갖고,
    상기 거리 검출부는, 상기 복수의 카메라의 촬영 화상에 기초하여, 상기 거리를 검출하는 전자기기.
  20. 제1항에 있어서,
    상기 촬상부에 의해 촬상된 화상에 기초하여 상기 표시면에 접촉된 손가락의 지문을 검출하는 지문 검출부를 더 구비하는 전자기기.
KR1020227024526A 2020-01-22 2021-01-07 전자기기 Pending KR20220131236A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020008524 2020-01-22
JPJP-P-2020-008524 2020-01-22
PCT/JP2021/000399 WO2021149503A1 (ja) 2020-01-22 2021-01-07 電子機器

Publications (1)

Publication Number Publication Date
KR20220131236A true KR20220131236A (ko) 2022-09-27

Family

ID=76878482

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227024526A Pending KR20220131236A (ko) 2020-01-22 2021-01-07 전자기기

Country Status (8)

Country Link
US (1) US12165552B2 (ko)
EP (1) EP4096212B1 (ko)
JP (1) JP7646573B2 (ko)
KR (1) KR20220131236A (ko)
CN (1) CN113163106B (ko)
DE (1) DE112021000671T5 (ko)
TW (1) TW202147822A (ko)
WO (1) WO2021149503A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117063481A (zh) * 2021-03-19 2023-11-14 富士胶片株式会社 图像数据处理装置、图像数据处理方法、图像数据处理程序及摄像系统
JP2023045100A (ja) * 2021-09-21 2023-04-03 ソニーセミコンダクタソリューションズ株式会社 電子機器
JP2023170242A (ja) * 2022-05-18 2023-12-01 キヤノンメディカルシステムズ株式会社 医用画像診断装置
GB2636789A (en) * 2023-12-21 2025-07-02 Nokia Technologies Oy An apparatus

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069060A (ko) 2016-09-23 2018-06-22 애플 인크. 다층 송신기 코일 배열을 갖는 무선 충전 매트

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004153422A (ja) 2002-10-29 2004-05-27 Toshiba Corp 撮影装置、顔照合装置、撮影装置の汚れ検知方法、及び顔照合方法
JP4333199B2 (ja) * 2003-04-17 2009-09-16 株式会社ニコン レンズ交換式デジタルカメラの異物検出治具、カメラ本体および異物検出システム
JP2006338122A (ja) * 2005-05-31 2006-12-14 Olympus Imaging Corp 携帯端末装置
JP4678860B2 (ja) * 2006-01-24 2011-04-27 キヤノン株式会社 撮像装置及びその制御方法とプログラム
JP4757085B2 (ja) * 2006-04-14 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法、画像処理装置、画像処理方法、及びプログラム
JP5207057B2 (ja) * 2008-11-28 2013-06-12 サクサ株式会社 撮影装置の汚れを検知する汚れ検知装置及び同検知方法
JP2011044094A (ja) * 2009-08-24 2011-03-03 Sharp Corp 表示装置
KR101335051B1 (ko) 2009-11-20 2013-11-29 도꾸리쯔교세이호진상교기쥬쯔소고겡뀨죠 결함을 검사하는 방법, 결함의 검사를 행한 웨이퍼 또는 그 웨이퍼를 이용하여 제조된 반도체 소자, 웨이퍼 또는 반도체 소자의 품질관리 방법 및 결함검사 장치
JP2011114542A (ja) * 2009-11-26 2011-06-09 Nikon Corp デジタルカメラ
JP2013057570A (ja) 2011-09-07 2013-03-28 Jfe Steel Corp 表面欠陥検出装置
US8947627B2 (en) 2011-10-14 2015-02-03 Apple Inc. Electronic devices having displays with openings
JP6156820B2 (ja) * 2013-08-22 2017-07-05 住友化学株式会社 欠陥検査装置、光学部材の製造システム及び光学表示デバイスの生産システム
JP6276092B2 (ja) * 2014-03-31 2018-02-07 国立大学法人 東京大学 検査システムおよび検査方法
JP6506506B2 (ja) 2014-04-02 2019-04-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法およびプログラム
JP6693712B2 (ja) 2015-07-01 2020-05-13 株式会社ソニー・インタラクティブエンタテインメント 撮像装置および情報処理装置
CN110044931B (zh) 2019-04-23 2021-03-26 华中科技大学 一种曲面玻璃表面和内部缺陷的检测装置
US11076071B2 (en) * 2019-05-08 2021-07-27 Lenovo (Singapore) Pte. Ltd. Device having a camera overlaid by display and method for implementing same
US10812699B1 (en) * 2019-05-08 2020-10-20 Lenovo (Singapore) Pte. Ltd. Device having a camera overlaid by display and method for implementing the same
CN110286130B (zh) * 2019-07-26 2020-05-15 上海御微半导体技术有限公司 一种缺陷检测装置及其方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180069060A (ko) 2016-09-23 2018-06-22 애플 인크. 다층 송신기 코일 배열을 갖는 무선 충전 매트

Also Published As

Publication number Publication date
WO2021149503A1 (ja) 2021-07-29
DE112021000671T5 (de) 2022-11-10
US20230042435A1 (en) 2023-02-09
JP7646573B2 (ja) 2025-03-17
US12165552B2 (en) 2024-12-10
CN113163106A (zh) 2021-07-23
EP4096212B1 (en) 2025-04-16
JPWO2021149503A1 (ko) 2021-07-29
EP4096212A4 (en) 2023-06-21
EP4096212A1 (en) 2022-11-30
CN113163106B (zh) 2026-01-30
TW202147822A (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
EP4096212B1 (en) Electronic device
CN112887625B (zh) 电子设备
US8497897B2 (en) Image capture using luminance and chrominance sensors
JP7667085B2 (ja) 電子機器
CN115486056B (zh) 电子设备和成像装置
EP4060405B1 (en) Electronic device
CN113286058B (zh) 电子设备
CN115023938B (zh) 电子装置
WO2023106010A1 (ja) 電子機器
CN117280704A (zh) 成像元件、成像装置和电子装置
JP2004336804A (ja) 撮像装置及びこれを用いた携帯端末装置

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000