KR20200037244A - 촬상 소자 및 촬상 장치 - Google Patents

촬상 소자 및 촬상 장치 Download PDF

Info

Publication number
KR20200037244A
KR20200037244A KR1020207003422A KR20207003422A KR20200037244A KR 20200037244 A KR20200037244 A KR 20200037244A KR 1020207003422 A KR1020207003422 A KR 1020207003422A KR 20207003422 A KR20207003422 A KR 20207003422A KR 20200037244 A KR20200037244 A KR 20200037244A
Authority
KR
South Korea
Prior art keywords
pixel
phase difference
conversion efficiency
light
photoelectric conversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020207003422A
Other languages
English (en)
Inventor
신이치 후지이
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200037244A publication Critical patent/KR20200037244A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/01—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by phase separation
    • H04N5/36961—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • H01L27/14621—
    • H01L27/14627—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • H04N5/2253—
    • H04N5/374—
    • H04N9/0455—
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/10—Integrated devices
    • H10F39/12—Image sensors
    • H10F39/18—Complementary metal-oxide-semiconductor [CMOS] image sensors; Photodiode array image sensors
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/803—Pixels having integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8053—Colour filters
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/805—Coatings
    • H10F39/8057—Optical shielding
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/806—Optical elements or arrangements associated with the image sensors
    • H10F39/8063—Microlenses

Landscapes

  • Signal Processing (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

본 개시는, 상면 위상차를 이용한 포커스 정밀도의 향상을 도모할 수 있도록 하는 촬상 소자 및 촬상 장치에 관한 것이다. 촬상 소자는, 광전 변환에 의해 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 통상 화소와, 광전 변환에 의해 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 위상차 검출 화소를 구비한다. 위상차 검출 화소는, 차광성을 구비한 위상차 차광막에 의해 수광 면적의 약 절반이 차광 되어 있고, 제2 변환효율이, 제1 화소 변환효율의 약2배이다. 본 기술은, 예를 들면, CMOS이미지 센서에 적용할 수 있다.

Description

촬상 소자 및 촬상 장치
본 개시는, 촬상 소자 및 촬상 장치에 관한 것으로, 특히, 상면 위상차를 이용한 포커스 정밀도의 향상을 도모할 수 있도록 한 촬상 소자 및 촬상 장치에 관한 것이다.
종래, 디지털 스틸 카메라나 디지털 비디오 카메라 등 촬상 기능을 갖춘 전자기기에 있어서는, 예를 들면, CCD(Charge Coupled Device)나 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 고체 촬상 소자가 사용되고 있다. 고체 촬상 소자는, 광전 변환을 하는 PD(photodiode:포토다이오드)와 복수의 트랜지스터가 결합된 화소를 가지고 있으며, 피사체의 상이 결상하는 상면에 배치된 복수의 화소로부터 출력되는 화소 신호에 근거해서 화상이 구축된다.
또한, 최근 촬상 장치는, 고체 촬상 소자의 상면에서의 위상차를 검출하기 위한 위상차 화소를 형성함으로써, 상면 위상차를 이용하여 오토 포커스를 행하는 기능을 갖추고 있다. 이러한 상면 위상차를 이용한 오토 포커스는, 콘트라스트를 이용한 오토 포커스에 비해, 포커스용 렌즈를 구동 시키지 않고 측거가 가능하기 때문에, 고속으로 포커스를 맞추는 것이 가능해지고 있다.
예를 들면, 특허문헌 1에는, 2개의 PD 각각의 노광, 판독을 동시에 하는 것이 가능한 구조로 함으로써, 오토 포커스의 속도 및 정밀도의 향상을 도모할 수 있는 고체 촬상 장치가 개시되어 있다.
일본특허공개 제2015-091025호 공보
그런데, 고감도인 특성을 구비하는 고체 촬상 소자에서는, 보다 많은 광을 수광하기 위해서 화소 사이즈의 대형화가 시도되고 있다. 이에 따라, 위상차 화소끼리의 간격이 넓어지게 되고, 오토 포커스의 정밀도가 저하되는 것이 우려되고 있다.
본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 상면 위상차를 이용한 포커스 정밀도의 향상을 도모할 수 있도록 하는 것이다.
본 개시의 일 측면의 촬상 소자는, 광전 변환에 의해 발생한 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 제1 화소와, 광전 변환에 의해 발생한 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 제2 화소를 구비한다.
본 개시의 일 측면의 촬상 장치는, 광전 변환에 의해 발생한 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 제1 화소와, 광전 변환에 의해 발생한 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 제2 화소를 가지는 촬상 소자를 구비한다.
본 개시의 일 측면에 있어서는, 제1 화소에 의해, 광전 변환에 의해 발생한 전하가 제1 변환효율로 전압으로 변환되어서, 화상의 구축에 이용되며, 제2 화소에 의해, 광전 변환에 의해 전하가 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환되어서, 위상차 검출에 이용된다.
본 개시의 일 측면에 따르면, 상면 위상차를 이용한 포커스 정밀도의 향상을 도모할 수 있다.
또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어떠한 효과이어도 된다.
[도 1] 본 기술을 적용한 촬상 소자의 일 실시형태의 구성예를 나타내는 블록도이다.
[도 2] 통상 화소 및 위상차 화소의 제1 배치 패턴을 나타내는 도면이다.
[도 3] 위상차 화소의 제1 내지 제3 구성예를 나타내는 도면이다.
[도 4] 위상차 화소의 변환효율에 대해서 설명하는 도면이다.
[도 5] 통상 화소 및 위상차 화소의 제2 배치 패턴을 나타내는 도면이다.
[도 6] 위상차 화소의 제4 및 제5 구성예를 나타내는 도면이다.
[도 7] 대형의 마이크로 렌즈를 채용하는 구성의 장점에 대해서 설명하는 도면이다.
[도8] 4화소가산이 행해지는 구조에서의 배선 구성의 일례를 나타내는 도면이다.
[도9] 통상 화소 모드 및 위상차 화소 모드를 전환할 수 있는 위상차 화소의 구성예에 대해서 설명하는 도면이다.
[도 10] 촬상 장치의 구성예를 나타내는 블록도이다.
[도 11] 이미지 센서를 사용하는 사용 예를 나타내는 도면이다.
[도 12] 수술실 시스템의 전체구성을 개략적으로 나타내는 도면이다.
[도 13] 집중 조작 패널에 있어서의 조작 화면의 표시예를 나타내는 도면이다.
[도 14] 수술실 시스템이 적용된 수술의 모습의 일례를 나타내는 도면이다.
[도 15] 도 14에 나타내는 카메라 헤드 및 CCU의 기능 구성에 일례를 나타내
는 블록도이다.
이하, 본 기술을 적용한 구체적인 실시형태에 대해서, 도면을 참조하면서 상세하게 설명한다.
<촬상 소자의 구성예>
도1은, 본 기술을 적용한 촬상 소자의 일 실시형태의 구성예를 나타내는 도면이다.
도1에 나타내는 촬상 소자(11)는, 복수의 화소가 어레이 형상으로 배치되어서 구성되어 있고, 그들 화소중, 화상의 구축에 사용되는 화소 신호를 출력하는 통상의 화소를 통상 화소(12)로 하고, 상면 위상차를 구하기 위한 화소 신호를 출력하는 화소를 위상차 화소(13)로 한다.
촬상 소자(11)는, 반도체기판(21)의 이면(도1에서 상측을 향하는 면)에 대하여 광이 조사되는 이면 조사형이며, 반도체기판(21)의 이면 측에, 평탄화층(22), 필터층(23) 및 온 칩 렌즈층(24)이 적층 되어서 구성된다. 또, 도시하지 않지만, 반도체기판(2)의 표면 측에는, 배선층이 적층 되어 있다.
반도체기판(21)은, 예를 들면, 단결정의 실리콘이 얇게 슬라이스 된 실리콘 웨이퍼(31)에 의해 구성되고, 통상 화소(12) 및 위상차 화소(13) 마다, 광전 변환을 하여 발생한 전하를 축적하는 PD(32)가 형성되어 있다. 또, 반도체기판(21)의 표면에는, PD(32)에 축적되어 있는 전하를 전송하기 위한 전송 트랜지스터(33) 및 전송 트랜지스터(33)를 통해 전송되어 오는 전하를 일시적으로 축적하는 소정의 용량을 구비한 부유 확산 영역인 FD(Floating Diffusion)부(34)가 형성된다.
또한, 반도체기판(21)의 이면에는, 통상 화소(12)끼리의 사이 및 통상 화소(12)와 위상차 화소(13)와의 사이를 차광하는 화소간 차광막(35)이 성막되는 동시에, 위상차 화소(13)에서, 그 수광 면적의 절반을 차광하는 위상차 차광막(36)이 성막된다. 이와 같이 차광성을 구비한 화소간 차광막(35) 및 위상차 차광막(36)이 성막됨으로써, 통상 화소(12)에서는, 수광 면적의 전면으로 광을 통과시키는 개구부(37)가 형성되고, 위상차 화소(13)에서는, 수광 면적의 절반으로 광을 통과시키는 개구부(38)가 형성된다.
평탄화층(22)은, 예를 들면, 반도체기판(21)의 이면을 절연하기 위한 절연성을 구비한 산화막(41)에 의해 구성되고, 산화막(41)에 의해, 반도체기판(21)의 이면 측의 요철이 평탄화 된다.
필터층(23)은, 통상 화소(12)마다 소정의 색 (예를 들면, 도2에 나타내는 것과 같은 적색, 녹색 및 청색)의 광을 투과하는 컬러 필터(51)가 배치되는 동시에, 위상차 화소(13)에 대응하여 투명 필터(52)가 배치되어서 구성된다.
온 칩 렌즈층(24)은, 통상 화소(12) 및 위상차 화소(13)마다 배치된 마이크로 렌즈(61)에 의해 구성되어, 마이크로 렌즈(61)에 의해 광이 집광 된다. 또, 위상차 화소(13)에 설치되는 위상차 차광막(36)은, 마이크로 렌즈(61)의 퓨필(pupil) 위치에서 위상차 화소(13)의 수광 면적의 절반을 차광하도록 형성된다.
또한, 촬상 소자(11)에서는, 통상 화소(12) 및 위상차 화소(13) 각각의 FD부(34)에 증폭 트랜지스터(71)의 게이트 전극이 접속되어 있고, 증폭 트랜지스터(71)는, 선택 신호(SEL)에 따라 구동하는 선택 트랜지스터(72)를 통해 수직신호선(73)에 접속된다. 예를 들면, 촬상 소자(11)에서는, 전송 트랜지스터(33)의 게이트 전극에 공급되는 전송 신호(TRG)에 따라 PD(32)로부터 FD부(34)에 전하가 전송되며, 그 전하의 레벨에 따른 전위가 증폭 트랜지스터(71)의 게이트 전극에 인가된다. 증폭 트랜지스터(71)는 도시하지 않은 정전류원과 소스 팔로워 회로를 구성하고 있으며, FD부(34)에 축적되어 있는 전하를 화소 신호로 변환하여, 수직신호선(73)을 통해 AD(Analog to Digital)컨버터로 출력한다. 즉, FD부(34)가 증폭 트랜지스터(71)의 게이트 전극에 접속되는 구성에 의해, 증폭 트랜지스터(71)는 PD(32)에서 발생한 전하를, 예를 들면, FD부(34)의 용량에 따른 소정의 변환효율로 수직신호선(73)으로부터 출력되는 화소 신호를 나타내는 전압으로 변환하는 전하전압변환부로서 기능한다.
이러한 통상 화소(12) 및 위상차 화소(13)를 가지고 구성되는 촬상 소자(11)는, 예를 들면, 위상차 화소(13)로부터 출력되는 위상차 신호에 근거하여 포커스용의 렌즈를 구동함으로써, 고속으로 포커스를 맞추는 것이 가능하다. 한편, 위상차 화소(13)가 배치되는 장소는, 화상을 구축할 때에는 결함 화소로서 취급되기 때문에, 촬상 소자(11)에서는, 화질의 열화를 억제하기 위해 일반적으로, 위상차 화소(13)가 이산적으로 배치된다.
<제1 배치 패턴>
도2에는, 통상 화소(12) 및 위상차 화소(13)의 제1 배치 패턴의 예가 나타나 있다.
도2에 나타내는, 통상 화소(12)에는, 적색, 녹색 및 청색의 컬러 필터(51)가 소위, 베이어 배열을 따라 배치된다. 그리고, 소정수의 라인마다, 청색의 통상 화소(12) 대신에 위상차 화소(13)가 배치된다.
위상차 화소(13)가 배치되는 라인에서는, 1개의 통상 화소(12)를 사이에 두도록 배치 장소(L) 및 배치 장소(R)가 설치된다. 예를 들면, 배치 장소(L)에는, 좌측에 개구부(38)가 설치된 위상차 화소(13)가 배치되고, 배치 장소(R)에는, 우측에 개구부(38)가 설치된 위상차 화소(13)가 배치된다. 즉, 도2에 나타나는 배치 패턴에서는, 좌측에 개구부(38)가 설치된 위상차 화소(13)와, 우측에 개구부(38)가 설치된 위상차 화소(13)가 행방향을 향해서 1화소마다 교대로 배치된다.
또한, 도2에 나타내는 통상 화소(12) 및 위상차 화소(13)의 배치 패턴은 일례이며, 이 배치 패턴 이외로, 통상 화소(12) 및 위상차 화소(13)를 배치해도 된다.
<위상차 화소의 구성예>
도3을 참조하여, 위상차 화소(13)의 평면적인 구성에 대해 설명한다. 도3의 A에는, 위상차 화소(13)의 제1 구성예가 나타나 있고, 도3의 B에는, 위상차 화소(13)의 제2 구성예가 나타나 있고, 도3의 C에는, 위상차 화소(13)의 제3 구성예가 나타나 있다.
도3의 A에 나타낸 바와 같이 위상차 화소(13A)는, 우측 절반이 위상차 차광막(36A)에 의해 차광 되어 있고, 좌측에 설치되는 개구부(38A)를 통과한 광을 PD(32A)가 수광하여, 그 광량에 따른 화소 신호를 출력한다. 마찬가지로, 위상차 화소(13B)는, 좌측 절반이 위상차 차광막(36B)에 의해 차광 되어 있고, 우측에 마련되어지는 개구부(38B)를 통과한 광을 PD(32B)가 수광하고, 그 광량에 따른 화소 신호를 출력한다.
이러한 위상차 화소(13A) 및 위상차 화소(13B)가 설치되는 촬상 소자(11)에서는, 위상차 화소(13A)에서 출력되는 화소 신호로부터 구축되는 화상과, 위상차 화소(13B)에서 출력되는 화소 신호로부터 구축되는 화상과의 좌우 방향의 어긋남에 근거하여, 위상차가 검출된다.
또한, 도3의 B에 나타낸 바와 같이, 위상차 화소(13C)는, 하측 절반이 위상차 차광막(36C)에 의해 차광 되어 있고, 상측에 설치되는 개구부(38C)를 통과한 광을 PD(32C)가 수광하여, 그 광량에 따른 화소 신호를 출력한다. 마찬가지로, 위상차 화소(13D)는, 상측 절반이 위상차 차광막(36)에 의해 차광 되어 있고, 하측에 설치되는 개구부(38D)를 통과한 광을 PD(32D)가 수광하여, 그 광량에 따른 화소 신호를 출력한다.
이러한 위상차 화소(13C) 및 위상차 화소(13D)가 설치되는 촬상 소자(11)에서는, 위상차 화소(13C)에서 출력되는 화소 신호로부터 구축되는 화상과, 위상차 화소(13D)에서 출력되는 화소 신호로부터 구축되는 화상과의 상하 방향의 어긋남에 근거하여, 위상차가 검출된다.
또한, 도3의 C에 나타나듯이 위상차 화소(13E)는, 상술한 바와 같은 위상차 차광막(36)에 의한 차광이 행해지지 않고, 좌우로 분할된 2개의 PD(32E-1) 및 PD(32E-2)를 구비하여 구성된다. 따라서, 위상차 화소(13E)에서는, 수광면의 좌측에 조사되는 광을 PD(32E-1)이 수광하여, 그 광량에 따른 화소 신호를 출력하고, 수광면의 우측에 조사되는 광을 PD(32E-2)가 수광하여, 그 광량에 따른 화소 신호를 출력한다.
이러한 위상차 화소(13E)가 설치되는 촬상 소자(11)에서는, PD(32E-1)에서 출력되는 화소 신호로부터 구축되는 화상과, PD(32E-2)에서 출력되는 화소 신호로부터 구축되는 화상과의 좌우 방향의 어긋남에 근거하여, 위상차가 검출된다.
또한, 도시는 하지 않지만, 위상차 화소(13E)와 같이 좌우가 아니라, 상하로 분할된 2개의 PD를 설치한 위상차 화소를 이용해서 위상차를 검출해도 된다.
이와 같이, 위상차 화소(13)는, PD(32)가 광을 수광하는 면적이 절반이 되는 것과 같은 구성 또는, PD(32) 그 자체가 절반으로 분할되는 것과 같은 구성으로 되어 있다. 그 때문에, 위상차 화소(13)는, 통상 화소(12)와 비교하여, 통상, 광전 변환에 의해 발생하는 전하가 절반이 되어버리기 때문에, 화소 신호의 출력 레벨이 반감된다. 따라서, 예를 들면, 화소 신호를 AD변환할 때의 양자화 오차가 상대적으로 커지고, 그 결과, 오토 포커스를 할 때의 정밀도가 저하될 것으로 상정된다.
그래서, 촬상 소자(11)는, 위상차 화소(13)에서 광전 변환에 의해 발생하는 전하를 화소 신호로 변환할 때의 변환효율(PD(32)에서 발생하는 전하 1개에 대한, 수직신호선(73)으로부터 출력되는 화소 신호의 전압 비율)을, 통상 화소(12)의 2배로 설정하도록 구성된다. 이에 의해, 촬상 소자(11)는, 광전 변환에 의해 발생하는 전하가 통상 화소(12)의 절반이 되어도, 화소 신호의 출력 레벨은 통상 화소(12)와 동등하게 할 수 있다. 따라서, 상술한 바와 같은 양자화 오차의 악영향을 억제하여, 오토 포커스의 정밀도가 저하되는 것을 회피할 수 있다.
예를 들면, 도1을 참조하여 상술한 바와 같이, PD(32)에서 발생한 전하는 FD부(34)에 전송되어 증폭 트랜지스터(71)에서 화소 신호로 변환되며, 그 변환효율은 FD부(34)의 용량에 따른 것이 된다. 즉, 전하Q와 FD부(34)의 용량C에 따라 화소 신호의 전압V(=CХQ)가 결정된다.
따라서, 촬상 소자(11)의 제조 시에, 위상차 화소(13)의 FD부(34)의 용량을, 예를 들면, 통상 화소(12)의 FD부(34)의 용량의 절반이 되도록 만들어 넣음으로써, 위상차 화소(13)의 변환효율을 통상 화소(12)의 2배로 할 수 있다. 또는, 예를 들면, 통상 화소(12)의 FD부(34)의 용량을 배증하는 것과 같은 커패시터를 접속함으로써, 상대적으로, 위상차 화소(13)의 변환효율을 통상 화소(12)의 2배로 할 수 있다. 이와 같이, 위상차 화소(13)의 PD(32)의 수광 면적과, 통상 화소(12)의 PD(32)의 수광 면적과의 비율에 따라, 위상차 화소(13)의 변환효율이 통상 화소(12)의 변환효율의 2배로 설정되어 있다. 또한, 이것에 한정되지 않고, 적어도 위상차 화소(13)의 변환효율이 통상 화소(12)의 변환효율보다 크게 설정되어 있으면, 위상차 화소(13)의 출력 레벨을 증가시킬 수 있어, 양자화 오차의 악영향을 억제할 수 있다.
<위상차 화소의 변환효율>
도4를 참조하여, 위상차 화소(13)의 변환효율에 대해 설명한다.
도4는, 예를 들면, 4개의 PD(32)에 있어서의 광전 변환에서 얻을 수 있는 전하를, 1개의 FD부(34)에서 가산하는 화소 가산이 행해지는 경우에 있어서, 그 전하를 증폭 트랜지스터(71)에서 화소 신호로 변환하여 수직신호선(VSL)(73)에 출력하는 것을 나타내고 있다.
도4의 좌측에 나타나듯이, 통상 화소(12)는, 각각의 PD(32)의 포화 전하량을 Q로 하면, 4개분의 PD(32)에서 발생한 전하를 가산한 포화 전하량 (4ХQ)을, 예를 들면, 14bit의 AD컨버터의 풀 코드로 출력하는 것과 같은 화소 신호의 전압(V)으로 변환하는 변환효율(μV/e-)이 되고 있다.
이에 대하여, 도4의 중앙에 나타나듯이, 위상차 화소(13)는, 2개분의 PD(32)에서 발생한 전하를 가산한 포화 전하량(2ХQ)을, 통상 화소(12)와 같은 변환효율로 변환하면, 14bit의 AD컨버터의 풀 코드의 약 절반으로 출력하는 것과 같은 화소 신호의 전압(V/2)으로 변환하게 된다. 특히, 저조도 하의 환경에서 촬상을 할 때에는, 출력 레벨이 낮은 상황이 되기 때문에, 상대적으로, 양자화 오차의 영향이 커지는 결과, 오토 포커스의 정밀도가 악화되게 된다.
그래서, 도4에 나타나듯이, 전하를 화소 신호로 변환할 때의 변환효율을 2배로 함으로써, 2개분의 PD(32)에서 발생한 전하를 가산한 포화 전하량(2ХQ)을, 14bit의 AD컨버터의 풀 코드로 출력하는 것과 같은 화소 신호의 전압(V)로 변환할 수 있다. 이에 의해, 특히, 저조도 하의 환경에서 촬상을 할 때에도, 충분한 출력 레벨을 확보할 수 있어, 양자화 오차의 영향을 경감할 수 있다. 즉, 통상 화소(12)의 수광 면적과, 위상차 화소(13)의 수광 면적과의 비율에 따라 변환효율을 설정(즉, 위상차 화소(13)의 수광 면적이 통상 화소(12)의 수광 면적에 1/2일 경우, 2배의 변환효율로 설정)함으로써, 위상차 화소(13)의 화소 신호를, 통상 화소(12)의 화소 신호와 마찬가지인 적절한 출력 레벨로 할 수 있다. 예를 들면, 이러한 구성을, 도5 및 도6을 참조하여 후술하는 것과 같은 2Х2베이어 배열에 적용함으로써 보다 고정밀도 오토 포커스를 실현할 수 있다.
<제2 배치 패턴>
도5에는, 통상 화소(12) 및 위상차 화소(13)의 제2 배치 패턴의 예가 나타나 있다.
도5에 나타낸 바와 같이, 세로×가로가 2Х2인 4개의 통상 화소(12)를 동일 색의 광을 수광 하도록 하고, 이들 4개의 화소마다, 적색, 녹색 및 청색의 컬러 필터(51)가, 소위, 베이어 배열을 따라서 배치된다. 그리고, 소정수의 라인마다, 청색의 통상 화소(12) 대신에, 세로×가로가 2Х2인 4개의 영역에, 위상차 화소(13)가 배치된다.
도5에 나타나는 배치 패턴에서는, 열방향으로 2화소분의 크기인 배치 장소(L) 및 배치 장소(R)가 행방향으로 서로 인접하게 배치되어 있다. 그리고, 좌측에 조사되는 광을 수광하는 PD(32)가 배치 장소(L)에 배치되고, 우측에 조사되는 광을 수광하는 PD(32)가 배치 장소(R)에 배치된 4개의 PD(32)를 가지고 위상차 화소(13)가 구성된다. 즉, 2Х2의 4개의 PD(32) 가운데, 좌측의 배치 장소(L)에, 좌측에 개구부(38)가 설치된 2개의 PD(32)가 열방향으로 나란히 배치되고, 우측의 배치 장소(R)에, 우측에 개구부(38)가 설치된 2개의 PD(32)가 열방향으로 나란히 배치된다. 그리고, 이들 4개의 PD(32)로부터 이루어지는 위상차 화소(13)가, 행방향으로, 3개분의 위상차 화소(13)의 간격을 두고 배치된다.
이와 같이, 4개의 화소마다 컬러 필터가 베이어 배열되어 있는 배치를, 이하 적당히, 2Х2베이어 배열이라고 칭한다.
또한, 종래, 고감도 특성을 구비하는 고체 촬상 소자에 있어서, 보다 많은 광을 수광하기 위해 화소 사이즈의 대형화에 따라 위상차 화소끼리의 간격이 넓어지게 되어, 그들 위상차 화소로부터 출력되는 화소 신호의 파형일치도가 저하될 것으로 상정된다. 이에 대하여, 도5에 나타나듯이, 2Х2베이어 배열에서는, 배치 장소(L) 및 배치 장소(R)이 서로 인접하여 배치되기 때문에, 위상차 화소끼리의 간격을 좁게 할 수 있어, 상술한 바와 같은 화소 신호의 파형일치도가 저하되는 일이 없고 고정밀도 오토 포커스를 실현할 수 있다.
<위상차 화소의 구성예>
도6을 참조하여, 도5에 나타낸 바와 같은 2Х2베이어 배열로 사용되는 위상차 화소(13)의 평면적인 구성에 대해서 설명한다. 도6의 A에는, 위상차 화소(13)의 제4 구성예가 나타나 있고, 도6의 B에는, 위상차 화소(13)의 제5 구성예가 나타나 있다.
도6의 A에 나타낸 바와 같이, 위상차 화소(13F)는, 좌측에 개구부(38F-1)가 설치된 PD(32F-1), 우측에 개구부(38F-2)가 설치된PD(32F-2), 좌측에 개구부(38F-3)가 설치된 PD(32F-3) 및 우측에 개구부(38F-4)가 설치된 PD(32F-4)를 가지고 구성된다. 그리고, 위상차 화소(13F)에서는, PD(32F-1) 내지PD(32F-4) 각각에 대하여, 통상 화소(12)과 동일한 크기의 마이크로 렌즈(61)가 설치되어 있다.
도6의 B에 나타낸 바와 같이, 위상차 화소(13G)는, 세로×가로가 4Х4로 배치된 4개의 PD(32G-1내지 32G-4)를 가지고 구성되며, PD(32G-1내지 32G-4) 각각에 대응하여, 통상 화소(12)와 동일한 크기의 개구부(38G-1 내지 38G-4)가 형성된다. 그리고, 위상차 화소(13G)는, 이들 4개의 PD(32G-1내지 32G-4)가 배치되는 영역에 따른 사이즈의 대형 마이크로 렌즈(61G)가 설치되어 있다.
여기서, 예를 들면, 도3의 A의 위상차 화소(13A) 및 위상차 화소(13B)는, 위상차 차광막(36A 및 36B)에 의해 수광 면적의 절반이 차광되기 때문에, 차광 되지 않는 경우와 비교하여 감도가 약 절반으로 저하되게 된다. 이에 대하여, 위상차 화소(13G)는, 위상차 차광막(36)이 없는 구성으로 되어 있기 때문에, 차광에 의해 감도가 저하되는 것을 회피할 수 있다. 즉, 위상차 화소(13G)는, 도3의 A의 위상차 화소(13A) 및 위상차 화소(13B)와 비교하여, 약2배의 감도를 구비하게 되고, 예를 들면, 저조도 하의 환경에서 촬상을 하더라도, 보다 양호한 오토 포커스 정밀도를 얻을 수 있다.
여기서, 도7을 참조하여, 도6의 B의 위상차 화소(13G)와 같은 대형의 마이크로 렌즈(61G)를 채용하는 구성의 장점에 대해 설명한다.
도7의 A에는, 예를 들면, 도3의 A의 위상차 화소(13A) 및 위상차 화소(13B)와 같이, PD(32)마다 마이크로 렌즈(61)가 배치된 구성에 있어서, 위상차 화소(13A) 및 위상차 화소(13B)에 입사하는 광이 모식적으로 나타나고 있다. 도7의 B에는, 도6의 B의 위상차 화소(13G)와 같이, 4화소의 영역에 대응하는 크기의 마이크로 렌즈(61G)가 배치된 구성에 있어서, 위상차 화소(13G)에 입사하는 광이 모식적으로 나타나고 있다. 또한, 도7의 A 및 도7의 B에서는, 각각 우측에서 입사하는 광이 일점 쇄선으로 나타나고 있고, 각각 우측에서 입사하는 광이 이점 쇄선으로 나타나고 있다.
도7의 A에 나타낸 바와 같이, 위상차 화소(13A)는, 위상차 차광막(36A)에 의해 수광 면적의 우측 절반이 차광 되도록 구성되며, 우측으로부터 조사되어 개구부(38A)를 통과한 광을 PD(32A)에 의해 수광한다. 동일하게, 위상차 화소(13B)는, 위상차 차광막(36B)에 의해 수광 면적의 좌측 절반이 차광 되도록 구성되며, 좌측으로부터 조사되어 개구부(38B)를 통과한 광을 PD(32B)에 의해 수광한다. 따라서, 위상차 화소(13A) 및 위상차 화소(13B)는, 조사되는 광의 절반 밖에 수광 할 수 없다.
한편, 도7의 B에 나타나듯이, 위상차 화소(13G)는, 대형의 마이크로 렌즈(61G)를 구비하여 구성되며, 우측으로부터 조사되어 개구부(38G-1)를 통과한 광을 PD(32G-1)에 의해 수광하고, 좌측으로부터 조사되어 개구부(38G-2)를 통과한 광을 PD(32G-2)에 의해 수광한다. 따라서, 위상차 화소(13G)는, 조사되는 광이 차광 되지 않는 구조이므로 광량 로스를 피할 수 있고, 위상차 화소(13A) 및 위상차 화소(13B)의 구성과 비교하여, 2배의 광량의 광을 수광 할 수 있다.
그 때문에, 위상차 화소(13G)는, 보다 많은 광을 수광 할 수 있는 것에 따라 감도를 향상시킬 수 있고, 저조도 하의 환경에서 촬상을 하더라도, 보다 양호한 오토 포커스 정밀도를 얻을 수 있다. 또한, 위상차 분리 특성에 대해서는, 위상차 화소(13G)와, 위상차 화소(13A) 및 위상차 화소(13B)에서, 거의 동등하다.
여기서, 도8을 참조하여, 위상차 화소(13G)의 배선 구성에 대해 설명한다.
도8의 A에는, 4화소 가산이 행해지는 통상 화소(12)에 있어서의 배선 구성의 하나의 예가 나타나 있고, 도8의 B에는, 위상차 화소(13G)의 배선 구성의 하나의 예가 나타나 있다.
도8의 A에 나타낸 바와 같이, 4개의 통상 화소(12-1 내지 12-4)가 가지는 PD(32-1내지 32-4)는, 1개의 FD부(34)에 접속되어 있고, FD부(34)는 도1에 나타낸 증폭 트랜지스터(71)을 통해 AD컨버터(81)에 접속된다.
도8의 B에 나타나듯이, 위상차 화소(13G)에서는, 배치 장소(L)에 배치되는 PD(32G-1 및 32G-3)가 절환 트랜지스터(82-1)를 통해 FD부(34G)에 접속되는 동시에, 배치 장소(R)에 배치되는 PD(32G-2 및 32G-)가 절환 트랜지스터(82-2)를 통해 FD부(34G)에 접속된다. 그리고, 절환 트랜지스터(82-1 및 82-)에 의해, PD(32G-1 및 32G-3)에서 발생한 전하와, PD(32G-2 및 32G-4)에서 발생한 전하가, 각각 다른 타이밍으로 FD부(34G)에 공급된다.
이 때, 통상 화소(12)와 위상차 화소(13G)에서 AD컨버터(81)의 입력 전압을 공통으로 할 경우, 상술한 바와 같이, 위상차 화소(13)의 변환효율을 통상 화소(12)의 2배로 하기 위해, 위상차 화소(13G)의 FD부(34G)의 용량이 통상 화소(12-1내지 12-4)의 FD부(34)의 용량 절반이 되도록 만들어 넣을 필요가 있다.
또한, 촬상 소자(11)에 있어서, 위상차 화소(13)의 배치 패턴은 도2 및 도5에 나타낸 예에 한정되지 않는다. 예를 들면, 위상차 화소(13A) 및 위상차 화소(13B)와, 위상차 화소(13C) 및 위상차 화소(13D)가 혼재하여, 소정수의 라인마다 교대로 배치되는 것과 같은 배치 패턴을 채용해도 된다. 또한, 예를 들면, 위상차 화소(13A)가 배치되는 라인과, 위상차 화소(13B)가 배치되는 라인이 다른 배치 패턴을 채용해도 된다. 또, 위상차 화소(13)의 구성도 상술한 각종의 구성예에 한정되지 않으며, 예를 들면, 대각선을 따라 차광되는 구성을 채용해도 된다.
<통상 화소 모드 및 위상차 화소 모드의 절환 구조>
도9을 참조하여, 통상 화소 모드 및 위상차 화소 모드를 절환할 수 있는 위상차 화소(13H)의 구성에 대해 설명한다.
예를 들면, 위상차 화소(13H)는, 도6의 B의 위상차 화소(13G)와 마찬가지로, 세로×가로가 4Х4로 배치된 4개의 PD(32H-1내지 32H-4)를 가지고 구성된다. 또한, 도시하지 않지만, 위상차 화소(13H)는, 도6의 B를 참조하여 설명한 바와 같은 개구부(38G-1내지 38G-4) 및 대형의 마이크로 렌즈(61G)를, 위상차 화소(13G)와 마찬가지로 구비하고 있다.
이렇게 구성되는 위상차 화소(13H)는, 4개의 PD(32H-1내지 32H-4)에서 발생한 모든 전하를 가산함으로써, 예를 들면, 도8의 A를 참조하여 설명한 통상 화소(12-1내지 12-4)에 의한 4화소가산과 마찬가지의 출력을 얻을 수 있다. 즉, 위상차 화소(13H)는, 통상 화소(12-1내지 12-4)에 의한 4화소 가산과 마찬가지로, 화상의 구축에 이용되는 화소 신호의 출력과, 위상차 화소(13G)와 마찬가지로, 위상차 검출에 이용되는 화소 신호의 출력을 절환하여 행할 수 있다. 여기서, 위상차 화소(13H)에 있어서, 화상의 구축에 이용되는 화소 신호를 출력하는 모드를 통상 화소 모드라고 칭하고, 위상차 검출에 이용하는 화소 신호를 출력하는 모드를 위상차 화소 모드라고 칭한다.
또한, 상술한 바와 같이, 촬상 소자(11)에서는, 위상차 화소(13)에서 광전 변환에 의해 발생하는 전하를 화소 신호로 변환할 때의 변환효율은, 통상 화소(12)의 2배로 설정되어 있다. 따라서, 위상차 화소(13G)는, 위상차 화소 모드에서의 변환효율을, 통상 화소 모드에서의 변환효율의 2배로 설정할 필요가 있다.
그래서, 도9에 나타낸 바와 같이, 위상차 화소(13H)는, 2개의 FD부(34H-1)와 FD부(34H-2)를 절환하여 사용할 수 있도록, 절환 트랜지스터(83-1 및 83-2)를 구비하여 구성된다. 예를 들면, FD부(34H-1)는, 4화소 가산을 하는 통상 화소(12-1내지 12-4)와 동일한 용량이 되고, FD부(34H-2)는, 2배의 변환효율을 얻기 위해, FD부(34H-1)의 절만의 용량이 되도록 만들어 넣어져 있다. 또한, 절환 트랜지스터(83-1)는, PD(32H-1내지 32H-4)와 FD부(34H-1)를 접속하도록 배치되고, 절환 트랜지스터(83-2)는, PD(32H-1내지 32H-4)와 FD부(34H-2)를 접속하도록 배치된다. 그리고, 절환 트랜지스터(3-1 및 83-2)에 대한 온/오프의 제어가, 예를 들면, 도시하지 않은 신호 처리 회로에 의해 행해지는 것에 의해, 통상 화소 모드와 위상차 화소 모드가 절환될 수 있다.
예를 들면, 위상차 화소(13H)가 통상 화소 모드일 때, 도9의 B에 나타낸 바와 같이, 절환 트랜지스터(83-1)가 온이 되는 동시에, 절환 트랜지스터(83-2)가 오프가 되고, PD(32-1내지 32H-4)에서 발생한 전하는 FD부(34H-1)로 전송된다. 이에 의해, PD(32H-1내지 32H-4)에서 발생한 전하는, FD부(34H-1)의 용량에 따라, 통상 화소(12)와 동일한 변환효율로 화소 신호로 변환된다.
한편, 위상차 화소(13H)가 위상차 화소 모드일 때, 도9의 C에 나타낸 바와 같이, 절환 트랜지스터(83-1)가 오프가 되는 동시에, 절환 트랜지스터(83-2)가 온이 되고, PD(32H-1내지 32H-4)에서 발생한 전하는 FD부(34H-2)로 전송된다. 또한, 이 때, 도8의 B를 참조해서 설명한 것과 같이, 절환 트랜지스터(82-1 및 82-2)에 의해, PD(32H-1 및 32H-3)에서 발생한 전하와, PD(32H-2 및 32H-4)에서 발생한 전하가, 각각 다른 타이밍으로 FD부(34H-2)에 공급된다. 이에 의해, PD(32H-1 및 32H-3)에서 발생한 전하 및 PD(32H-2 및 32H-4)에서 발생한 전하는, 통상 화소 모드의 2배의 변환효율로 화소 신호로 변환된다.
이와 같이, 위상차 화소(13H)는, 통상 화소 모드와 위상차 화소 모드를 절환할 수 있으며, 위상차 화소 모드일 때에는, 통상 화소 모드에 2배의 변환효율로 전하를, 화소 신호를 나타내는 전압으로 변환할 수 있다. 또한, 위상차 화소(13H)는, 적어도 2개의 PD(32H)를 구비하여 구성되어 있으면 되며, 예를 들면, 2개의 PD(32H)에 의해 수광 면적을 2분할하는 것과 같은 구성을 채용할 수 있다. 이러한 구성이라도, 통상 화소 모드의 경우에는, 모든 PD(32H)의 전하가 전압으로 변환되고, 위상차 화소 모드의 경우에는, 한 쪽씩의 (일부의) PD(32H)의 전하가 전압으로 변환된다.
<전자기기의 구성예>
상술한 바와 같은 촬상 소자(11)는, 예를 들면, 디지털 스틸 카메라나 디지털 비디오카메라 등의 촬상 시스템, 촬상 기능을 갖춘 휴대전화기 또는 촬상 기능을 갖춘 다른 기기와 같은 각종의 전자기기에 적용할 수 있다.
도 10은, 전자기기에 탑재되는 촬상 장치의 구성예를 나타내는 블록도이다.
도 10에 나타낸 바와 같이, 촬상 장치(101)는, 광학계(102), 촬상 소자(103), 신호 처리 회로(104), 모니터(105) 및 메모리(106)을 구비하여 구성되며, 정지화상 및 동영상을 촬상 가능하다.
광학계(102)는, 1장 또는 2장 이상의 렌즈를 가지고 구성되어, 피사체로부터의 상광(입사광)을 촬상 소자(103)로 이끌어, 촬상 소자(103)의 수광면 (센서부)에 결상 시킨다.
촬상 소자(103)로서는, 상술한 촬상 소자(11)가 적용된다. 촬상 소자(103)에는, 광학계(102)을 통하여 수광면에 결상되는 상에 따라, 일정 기간, 전자가 축적된다. 그리고, 촬상 소자(103)에 축적된 전자에 따른 신호가 신호 처리 회로(104)에 공급된다.
신호 처리 회로(104)는, 촬상 소자(103)로부터 출력된 화소 신호에 대하여 각종의 신호 처리를 실시한다. 신호 처리 회로(104)가 신호 처리를 실시함으로써 얻어진 화상(화상 데이터)은, 모니터(105)에 공급되어서 표시되거나, 메모리(106)에 공급되어서 기억(기록)되거나 한다.
이와 같이 구성되어 있는 촬상 장치(101)에서는, 상술한 촬상 소자(11)을 적용하는 것으로, 예를 들면, 보다 고정밀도로 포커스가 맞는 화상을 촬상 할 수 있다.
<이미지 센서의 사용 예>
도 11은, 상술의 이미지 센서(촬상 소자)를 사용하는 사용예를 나타내는 도면이다.
상술한 이미지 센서는, 예를 들면, 아래와 같이, 가시광이나 적외광, 자외광, X선 등의 광을 센싱하는 여러 가지 케이스에 사용할 수 있다.
·디지털 카메라나, 카메라 기능이 있는 휴대기기 등의 감상용으로 제공되는 화상을 촬영하는 장치
·자동정지 등의 안전운전이나, 운전자의 상태의 인식 등을 위해서, 자동차의 전방이나 후방, 주위, 차내 등을 촬영하는 차재용 센서, 주행 차량이나 도로를 감시하는 감시 카메라, 차량 간 등의 측거를 하는 측거 센서 등의 교통용으로 제공되는 장치
·사용자의 제스처를 촬영하고, 그 제스처에 따른 기기조작을 하기 위해서, TV나, 냉장고, 에어 컨디셔너 등의 가전에 제공되는 장치
·내시경이나, 적외광의 수광에 의한 혈관촬영을 하는 장치 등의, 의료나 헬스케어용으로 제공되는 장치
·방범용도의 감시 카메라나, 인물인증 용도의 카메라 등의, 시큐리티용으로 제공되는 장치
·피부를 촬영하는 피부측정기나, 두피를 촬영하는 마이크로스코프 등의, 미용용으로 제공되는 장치
·스포츠 용도 등을 위한 액션 카메라나 웨어러블 카메라 등의, 스포츠용으로 제공되는 장치
·밭이나 작물의 상태를 감시하기 위한 카메라 등의, 농업용으로 제공되는 장치
<응용예>
본 개시에 관련되는 기술은 여러 가지 제품에 응용할 수 있다. 예를 들면, 본 개시에 관련되는 기술은 수술실 시스템에 적용되어도 된다.
도 12는, 본 개시에 관련되는 기술이 적용될 수 있는 수술실 시스템(5100)의 전체 구성을 개략적으로 나타내는 도면이다. 도 12를 참조하면, 수술실 시스템(5100)은 수술실 내에 설치되는 장치군이 시청각 컨트롤러(AVController)(5107) 및 수술실 제어 장치(5109)를 거쳐 서로 제휴 가능하게 접속되는 것에 의해 구성된다.
수술실에는 여러 가지 장치가 설치될 수 있다. 도 12에서는, 일례로서 내시경 하 수술을 위한 각종의 장치군(5101)과, 수술실의 천정에 설치되고 시술자의 주변을 촬상하는 실링 카메라(ceiling camera)(5187)와, 수술실의 천정에 설치되고 수술실 전체의 모습을 촬상하는 수술실 카메라(5189)와, 복수의 표시 장치(5103A 내지 5103D)와, 레코더(5105)와, 환자 베드(5183)와, 조명(5191)을 도시하고 있다.
여기서, 이들 장치 중, 장치군(5101)은 후술하는 내시경 수술 시스템(5113)에 속하는 것이며, 내시경이나 해당 내시경에 의해 촬상된 화상을 표시하는 표시 장치 등으로 이루어진다. 내시경 수술 시스템(5113)에 속하는 각 장치는 의료용 기기라고도 호칭된다. 한편, 표시 장치(5103A 내지 5103D), 레코더(5105), 환자 베드(5183) 및 조명(5191)은, 내시경 수술 시스템(5113)과는 별개로, 예를 들면 수술실에 비치되어 있는 장치이다. 이들 내시경 수술 시스템(5113)에 속하지 않는 각 장치는 비의료용 기기라고도 호칭된다. 시청각 컨트롤러(5107) 및/또는 수술실 제어 장치(5109)는, 이들 의료기기 및 비의료기기의 동작을 서로 제휴하여 제어한다.
시청각 컨트롤러(5107)는, 의료기기 및 비의료기기에 있어서의 화상 표시에 관한 처리를 통괄적으로 제어한다. 구체적으로는, 수술실 시스템(5100)이 구비하는 장치 중, 장치군(5101), 실링 카메라(5187) 및 수술실 카메라(5189)는, 수술 중에 표시해야 할 정보(이하, 표시 정보라고도 한다)를 발신하는 기능을 가지는 장치(이하, 발신원의 장치라고도 호칭한다)일 수 있다. 또한, 표시 장치(5103A 내지 5103D)는 표시 정보가 출력되는 장치(이하, 출력처의 장치라고도 호칭한다)일 수 있다. 또한, 레코더(5105)는, 발신원의 장치 및 출력처의 장치의 쌍방에 해당하는 장치일 수 있다. 시청각 컨트롤러(5107)는, 발신원의 장치 및 출력처의 장치의 동작을 제어하고, 발신원의 장치로부터 표시 정보를 취득함과 함께, 해당 표시 정보를 출력처의 장치에 송신하고, 표시 또는 기록시키는 기능을 가진다. 또한, 표시 정보란, 수술중에 촬상된 각종의 화상이나, 수술에 관한 각종의 정보(예를 들면, 환자의 신체 정보나, 과거의 검사 결과, 시술방식에 대한 정보 등) 등이다.
구체적으로는, 시청각 컨트롤러(5107)에는, 장치군(5101)으로부터, 표시 정보로서, 내시경에 의해 촬상된 환자의 체강 내의 시술부의 화상에 대한 정보가 송신될 수 있다. 또한, 실링 카메라(5187)으로부터, 표시 정보로서, 해당 실링 카메라(5187)에 의해 촬상된 시술자의 주변의 화상에 대한 정보가 송신될 수 있다. 또한, 수술실 카메라(5189)로부터, 표시 정보로서, 해당 수술실 카메라(5189)에 의해 촬상된 수술실 전체의 모습을 나타내는 화상에 대한 정보가 송신될 수 있다. 또한, 수술실 시스템(5100)에 촬상 기능을 가지는 다른 장치가 존재하는 경우에는, 시청각 컨트롤러(5107)는, 표시 정보로서, 해당 다른 장치로부터도 해당 다른 장치에 의해 촬상된 화상에 대한 정보를 취득해도 된다.
혹은, 예를 들면, 레코더(5105)에는, 과거에 촬상된 이들 화상에 대한 정보가 시청각 컨트롤러(5107)에 의해 기록되어 있다. 시청각 컨트롤러(5107)는, 표시 정보로서, 레코더(5105)로부터 해당 과거에 촬상된 화상에 대한 정보를 취득할 수 있다. 또한, 레코더(5105)에는, 수술에 관한 각종의 정보도 사전에 기록되어 있어도 된다.
시청각 컨트롤러(5107)는, 출력처의 장치인 표시 장치(5103A 내지 5103D) 중 적어도 어느 하나에 취득한 표시 정보(즉, 수술 중에 촬영된 화상이나, 수술에 관한 각종의 정보)를 표시시킨다. 도시하는 예에서는, 표시 장치(5103A)는 수술실의 천정으로부터 매달려 설치되는 표시 장치이며, 표시 장치(5103B)는 수술실의 벽면에 설치되는 표시 장치이며, 표시 장치(5103C)는 수술실 내의 탁상에 설치되는 표시 장치이며, 표시 장치(5103D)는 표시 기능을 가지는 모바일 기기(예를 들면, 태블릿 PC(PersonalComputer))이다.
또한, 도 12에서는 도시를 생략하고 있지만, 수술실 시스템(5100)에는, 수술실의 외부의 장치가 포함되어도 된다. 수술실의 외부의 장치는, 예를 들면, 병원 내외에 구축된 네트워크에 접속되는 서버나, 의료 스탭이 이용하는 PC, 병원의 회의실에 설치되는 프로젝터 등일 수 있다. 이러한 외부 장치가 병원 밖에 있는 경우에는, 시청각 컨트롤러(5107)는 원격 의료를 위해, TV 회의 시스템 등을 거쳐, 다른 병원의 표시 장치에 표시 정보를 표시시킬 수도 있다.
수술실 제어 장치(5109)는, 비의료기기에 있어서의 화상 표시에 관한 처리 이외의 처리를 통괄적으로 제어한다. 예를 들면, 수술실 제어 장치(5109)는 환자 베드(5183), 실링 카메라(5187), 수술실 카메라(5189) 및 조명(5191)의 구동을 제어한다.
수술실 시스템(5100)에는 집중 조작 패널(5111)이 설치되어 있어, 유저는, 해당 집중 조작 패널(5111)을 거쳐, 시청각 컨트롤러(5107)에 대해서 화상 표시에 대한 지시를 주거나 수술실 제어 장치(5109)에 대해서 비의료기기의 동작에 대한 지시를 줄 수 있다. 집중 조작 패널(5111)은 표시 장치의 표시면 상에 터치 패널이 설치되어 구성된다.
도 13은 집중 조작 패널(5111)에 있어서의 조작 화면의 표시예를 나타내는 도면이다. 도 13에서는, 일례로서, 수술실 시스템(5100)에, 출력처의 장치로서 2개의 표시 장치가 설치되어 있는 경우에 대응하는 조작 화면을 나타내고 있다. 도 13을 참조하면, 조작 화면(5193)에는 발신원 선택 영역(5195)와 프리뷰 영역(5197)과 컨트롤 영역(5201)이 설치된다.
발신원 선택 영역(5195)에는, 수술실 시스템(5100)에 구비되는 발신원 장치와 해당 발신원 장치가 가지는 표시 정보를 나타내는 섬네일 화면(thumbnail screen)이 관련지어 표시된다. 유저는, 표시 장치에 표시시키고 싶은 표시 정보를, 발신원 선택 영역(5195)에 표시되어 있는 어느 발신원 장치로부터 선택할 수 있다.
프리뷰 영역(5197)에는, 출력처의 장치인 2개의 표시 장치(Monitor1, Monitor2)에 표시되는 화면의 프리뷰가 표시된다. 도시하는 예에서는, 1개의 표시 장치에 있어서 4개의 화상이 PinP 표시되어 있다. 해당 4개의 화상은, 발신원 선택 영역(5195)에 있어서 선택된 발신원 장치로부터 발신된 표시 정보에 대응하는 것이다. 4개의 화상 중, 1개는 메인 화상으로서 비교적 크게 표시되고, 나머지 3개는 서브 화상으로서 비교적 작게 표시된다. 유저는, 4개의 화상이 표시된 영역을 적절히 선택함으로써, 메인 화상과 서브 화상을 바꿔 넣을 수 있다. 또한, 4개의 화상이 표시되는 영역의 하부에는, 스테이터스(status) 표시 영역(5199)이 설치되어 있고, 해당 영역에 수술에 관한 스테이터스(예를 들면, 수술의 경과시간이나, 환자의 신체 정보 등)가 적절히 표시될 수 있다.
컨트롤 영역(5201)에는, 발신원의 장치에 대해서 조작을 행하기 위한 GUI(GraphicalUserInterface) 부품이 표시되는 발신원 조작 영역(5203)과, 출력처의 장치에 대해서 조작을 행하기 위한 GUI 부품이 표시되는 출력처 조작 영역(5205)이 설치된다. 도시하는 예에서는, 발신원 조작 영역(5203)에는, 촬상 기능을 가지는 발신원의 장치에 있어서의 카메라에 대해서 각종의 조작(팬, 틸트 및 줌)을 행하기 위한 GUI 부품이 설치되어 있다. 유저는, 이들 GUI 부품을 적절히 선택함으로써, 발신원의 장치에 있어서의 카메라의 동작을 조작할 수 있다. 또한, 도시는 생략하고 있지만, 발신원 선택 영역(5195)에 있어서 선택되어 있는 발신원의 장치가 레코더인 경우(즉, 프리뷰 영역(5197)에 있어서, 레코더에 과거에 기록된 화상이 표시되어 있는 경우)에는, 발신원 조작 영역(5203)에는, 해당 화상의 재생, 재생 정지, 되감기, 빨리 감기 등의 조작을 행하기 위한 GUI 부품이 설치될 수 있다.
또한, 출력처 조작 영역(5205)에는, 출력처의 장치인 표시 장치에 있어서의 표시에 대한 각종의 조작(스왑(swap), 플립(flip), 색조정, 콘트라스트 조정, 2D 표시와 3D 표시의 전환)을 행하기 위한 GUI 부품이 설치되어 있다. 유저는 이러한 GUI 부품을 적절히 선택함으로써, 표시 장치에 있어서의 표시를 조작할 수 있다.
또한, 집중 조작 패널(5111)에 표시되는 조작 화면은 도시하는 예로 한정되지 않고, 유저는, 집중 조작 패널(5111)을 거쳐, 수술실 시스템(5100)에 구비되는 시청각 컨트롤러(5107) 및 수술실 제어 장치(5109)에 의해 제어될 수 있는 각 장치에 대한 조작 입력이 가능해도 된다.
도 14는, 이상 설명한 수술실 시스템이 적용된 수술의 모습의 일례를 나타내는 도면이다. 실링 카메라(5187) 및 수술실 카메라(5189)는, 수술실의 천정에 설치되고, 환자 베드(5183) 상의 환자(5185)의 환부에 대해서 처치를 행하는 시술자(의사)(5181)의 주변 및 수술실 전체의 모습을 촬영 가능하다. 실링 카메라(5187) 및 수술실 카메라(5189)에는, 배율 조정 기능, 초점 거리 조정 기능, 촬영 방향 조정 기능 등이 설치될 수 있다. 조명(5191)은, 수술실의 천정에 설치되고, 적어도 시술자(5181)의 주변을 조사한다. 조명(5191)은, 그 조사 광량, 조사광의 파장(색) 및 광의 조사 방향 등을 적절히 조정 가능해도 된다.
내시경 수술 시스템(5113), 환자 베드(5183), 실링 카메라(5187), 수술실 카메라(5189) 및 조명(5191)은, 도 12에 나타내는 바와 같이, 시청각 컨트롤러(5107) 및 수술실 제어 장치(5109)(도 14에서는 도시하지 않음)를 거쳐 서로 제휴 가능하게 접속되어 있다. 수술실 내에는, 집중 조작 패널(5111)이 설치되어 있고, 상술한 것처럼, 유저는, 해당 집중 조작 패널(5111)을 거쳐, 수술실 내에 존재하는 이들 장치를 적절히 조작하는 것이 가능하다.
이하, 내시경 수술 시스템(5113)의 구성에 대해 상세하게 설명한다. 도시하는 바와 같이, 내시경 수술 시스템(5113)은, 내시경(5115)과, 그 밖의 시술구(5131)와, 내시경(5115)을 지지하는 지지 암 장치(5141)와, 내시경 하 수술을 위한 각종의 장치가 탑재된 카트(5151)로 구성된다.
내시경 수술에서는, 복벽을 잘라 개복하는 대신에, 트로카(trocar)(5139a 내지 5139d)로 칭해지는 통 형상의 개구 기구가 복벽에 복수 천자(穿刺)된다. 그리고, 트로카(5139a 내지 5139d)로부터, 내시경(5115)의 경통(5117)이나, 그 밖의 시술구(5131)가 환자(5185)의 체강 내에 삽입된다. 도시하는 예에서는, 그 밖의 시술구(5131)로서, 기복 튜브(5133), 에너지 처치구(5135) 및 겸자(5137)가, 환자(5185)의 체강 내에 삽입되어 있다. 또한, 에너지 처치구(5135)는, 고주파 전류나 초음파 진동에 의해, 조직의 절개 및 박리, 또는 혈관의 봉지 등을 행하는 처치구이다. 다만, 도시하는 시술구(5131)는 어디까지나 일례이고, 시술구(5131)로서는, 예를 들면 섭자, 리트랙터(retractor) 등, 일반적으로 내시경 하 수술에 있어서 이용되는 각종의 시술구가 이용되어도 된다.
내시경(5115)에 의해 촬영된 환자(5185)의 체강 내의 시술부의 화상이, 표시 장치(5155)에 표시된다. 시술자(5181)는, 표시 장치(5155)에 표시된 시술부의 화상을 리얼 타임으로 보면서, 에너지 처치구(5135)나 겸자(5137)를 이용하여, 예를 들면 환부를 절제하는 등의 처치를 행한다. 또한, 도시는 생략하고 있으나, 기복 튜브(5133), 에너지 처치구(5135) 및 겸자(5137)는, 수술 중에, 시술자(5181) 또는 조수 등에 의해 지지된다.
(지지 암 장치)
지지 암 장치(5141)는, 베이스부(5143)로부터 연신하는 암부(5145)를 구비한다. 도시하는 예에서는, 암부(5145)는, 관절부(5147a, 5147b, 5147c), 및 링크(5149a, 5149b)로 구성되어 있고, 암 제어 장치(5159)로부터의 제어에 의해 구동된다. 암부(5145)에 의해 내시경(5115)이 지지되고, 그 위치 및 자세가 제어된다. 이에 의해, 내시경(5115)의 안정적인 위치의 고정이 실현될 수 있다.
(내시경)
내시경(5115)은, 선단으로부터 소정의 길이의 영역이 환자(5185)의 체강 내에 삽입되는 경통(5117)과, 경통(5117)의 기단에 접속되는 카메라 헤드(5119)로 구성된다. 도시하는 예에서는, 경성의 경통(5117)을 갖는 이른바 경성경으로 구성되는 내시경(5115)을 도시하고 있으나, 내시경(5115)은, 연성의 경통(5117)을 갖는 이른바 연성경으로 구성되어도 된다.
경통(5117)의 선단에는, 대물 렌즈가 삽입된 개구부가 설치되어 있다. 내시경(5115)에는 광원 장치(5157)가 접속되어 있고, 해당 광원 장치(5157)에 의해 생성된 광이, 경통(5117)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 거쳐 환자(5185)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(5115)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(5119)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU：Camera　Control　Unit)(5153)에 송신된다. 또한, 카메라 헤드(5119)에는, 그 광학계를 적절히 구동시킴으로써, 배율 및 초점 거리를 조정하는 기능이 탑재된다.
또한, 예를 들면 입체시(3D 표시) 등에 대응하기 위해, 카메라 헤드(5119)에는 촬상 소자가 복수 설치되어도 된다. 이 경우, 경통(5117)의 내부에는, 해당 복수의 촬상 소자의 각각에 관찰광을 도광하기 위해, 릴레이 광학계가 복수 계통 설치된다.
(카트에 탑재되는 각종의 장치)
CCU(5153)는, CPU(Central　Processing　Unit)나 GPU(Graphics　Processing　Unit) 등에 의해 구성되고, 내시경(5115) 및 표시 장치(5155)의 동작을 통괄적으로 제어한다. 구체적으로는, CCU(5153)는, 카메라 헤드(5119)로부터 수취한 화상 신호에 대해서, 예를 들면 현상 처리(디모자이크 처리) 등의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 행한다. CCU(5153)는, 해당 화상 처리를 행한 화상 신호를 표시 장치(5155)에 제공한다. 또한, CCU(5153)에는, 도 12에 나타내는 시청각 컨트롤러(5107)가 접속된다. CCU(5153)는, 화상 처리를 행한 화상 신호를 시청각 컨트롤러(5107)에도 제공한다. 또한, CCU(5153)는, 카메라 헤드(5119)에 대해서 제어 신호를 송신하고, 그 구동을 제어한다. 해당 제어 신호에는, 배율이나 초점 거리 등, 촬상 조건에 관한 정보가 포함될 수 있다. 해당 촬상 조건에 관한 정보는, 입력 장치(5161)를 거쳐 입력되어도 되고, 상술한 집중 조작 패널(5111)을 거쳐 입력되어도 된다.
표시 장치(5155)는, CCU(5153)로부터의 제어에 의해, 해당 CCU(5153)에 의해 화상 처리가 행해진 화상 신호에 기초하는 화상을 표시한다. 내시경(5115)이 예를 들면 4K(수평 화소수 3840 Х 수직 화소수 2160) 또는 8K(수평 화소수 7680 Х 수직 화소수 4320) 등의 고해상도의 촬영에 대응한 것인 경우, 및/또는 3D 표시에 대응한 것인 경우에는, 표시 장치(5155)로서는, 각각에 대응하여, 고해상도의 표시가 가능한 것, 및/또는 3D 표시 가능한 것이 이용될 수 있다. 4K 또는 8K 등의 고해상도의 촬영에 대응한 것인 경우, 표시 장치(5155)로서 55인치 이상의 사이즈의 것을 이용함으로써 더 몰입감이 얻어진다. 또한, 용도에 따라, 해상도, 사이즈가 다른 복수의 표시 장치(5155)가 설치되어도 된다.
광원 장치(5157)는, 예를 들면 LED(light　emitting　diode) 등의 광원으로 구성되고, 시술부를 촬영할 때의 조사광을 내시경(5115)에 공급한다.
암 제어 장치(5159)는, 예를 들면 CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써, 소정의 제어 방식에 따라 지지 암 장치(5141)의 암부(5145)의 구동을 제어한다.
입력 장치(5161)는, 내시경 수술 시스템(5113)에 대한 입력 인터페이스이다. 유저는, 입력 장치(5161)를 거쳐, 내시경 수술 시스템(5113)에 대해서 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 유저는, 입력 장치(5161)를 거쳐, 환자의 신체 정보나, 수술의 시술방식에 대한 정보 등, 수술에 관한 각종의 정보를 입력한다. 또한, 예를 들면, 유저는, 입력 장치(5161)를 거쳐, 암부(5145)를 구동시키는 취지의 지시나, 내시경(5115)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시, 에너지 처치구(5135)를 구동시키는 취지의 지시 등을 입력한다.
입력 장치(5161)의 종류는 한정되지 않고, 입력 장치(5161)는 각종의 공지의 입력 장치이어도 된다. 입력 장치(5161)로는, 예를 들면, 마우스, 키보드, 터치 패널, 스위치, 풋 스위치(5171) 및/또는 레버 등이 적용될 수 있다. 입력 장치(5161)로서 터치 패널이 이용되는 경우에는, 해당 터치 패널은 표시 장치(5155)의 표시면 상에 설치되어도 된다.
또는, 입력 장치(5161)는, 예를 들면 안경형 웨어러블 디바이스나 HMD(Head　Mounted　Display) 등의, 유저에 의해 장착되는 디바이스로서, 이들 디바이스에 의해 검출되는 유저의 제스처나 시선에 따라 각종의 입력이 행해진다. 또한, 입력 장치(5161)는, 유저의 움직임을 검출 가능한 카메라를 포함하고, 해당 카메라에 의해 촬상된 영상으로부터 검출되는 유저의 제스처나 시선에 따라 각종의 입력이 행해진다. 나아가, 입력 장치(5161)는, 유저의 소리를 수음 가능한 마이크로폰을 포함하고, 해당 마이크로폰을 거쳐 음성에 의해 각종의 입력이 행해진다. 이와 같이, 입력 장치(5161)가 비접촉으로 각종의 정보를 입력 가능하게 구성됨으로써, 특히 청결역에 속하는 유저(예를 들면 시술자(5181))가, 불결역에 속하는 기기를 비접촉으로 조작하는 것이 가능해진다. 또한, 유저는, 소지하고 있는 시술구로부터 손을 떼지 않고 기기를 조작하는 것이 가능해지기 때문에, 유저의 편리성이 향상한다.
처치구 제어 장치(5163)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(5135)의 구동을 제어한다. 기복 장치(5165)는, 내시경(5115)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(5185)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(5133)를 거쳐 해당 체강 내에 가스를 보낸다. 레코더(5167)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(5169)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
이하, 내시경 수술 시스템(5113)에 있어서 특히 특징적인 구성에 대해, 더욱 상세하게 설명한다.
(지지 암 장치)
지지 암 장치(5141)는, 기대인 베이스부(5143)와, 베이스부(5143)로부터 연신하는 암부(5145)를 구비한다. 도시하는 예에서는, 암부(5145)는, 복수의 관절부(5147a, 5147b, 5147c)와, 관절부(5147b)에 의해 연결되는 복수의 링크(5149a, 5149b)로 구성되어 있지만, 도 14에서는, 간단하게 나타내기 위하여, 암부(5145)의 구성을 간략화하여 도시하고 있다. 실제로는, 암부(5145)가 소망하는 자유도를 갖도록, 관절부(5147a 내지 5147c) 및 링크(5149a, 5149b)의 형상, 수 및 배치, 및 관절부(5147a 내지 5147c)의 회전축의 방향 등이 적절히 설정될 수 있다. 예를 들면, 암부(5145)는, 매우 적합하게, 6 자유도 이상의 자유도를 갖도록 구성될 수 있다. 이에 의해, 암부(5145)의 가동 범위 내에 있어서 내시경(5115)을 자유롭게 이동시키는 것이 가능하게 되기 때문에, 소망하는 방향으로부터 내시경(5115)의 경통(5117)을 환자(5185)의 체강 내에 삽입하는 것이 가능하게 된다.
관절부(5147a 내지 5147c)에는 액추에이터가 설치되어 있고, 관절부(5147a 내지 5147c)는 해당 액추에이터의 구동에 의해 소정의 회전축 주위에 회전 가능하게 구성되어 있다. 해당 액추에이터의 구동이 암 제어 장치(5159)에 의해 제어됨으로써, 각 관절부(5147a 내지 5147c)의 회전 각도가 제어되고, 암부(5145)의 구동이 제어된다. 이에 의해, 내시경(5115)의 위치 및 자세의 제어가 실현될 수 있다. 이 때, 암 제어 장치(5159)는, 힘 제어 또는 위치 제어 등, 각종의 공지의 제어 방식에 의해 암부(5145)의 구동을 제어할 수 있다.
예를 들면, 시술자(5181)가, 입력 장치(5161)(풋 스위치(5171)을 포함한다)를 거쳐 적절히 조작 입력을 행함으로써, 해당 조작 입력에 따라 암 제어 장치(5159)에 의해 암부(5145)의 구동이 적절히 제어되고, 내시경(5115)의 위치 및 자세가 제어되어도 된다. 해당 제어에 의해, 암부(5145)의 선단의 내시경(5115)을 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 암부(5145)는, 이른바 마스터 슬레이브 방식으로 조작되어도 된다. 이 경우, 암부(5145)는, 수술실로부터 떨어진 장소에 설치되는 입력 장치(5161)를 거쳐 유저에 의해 원격 조작될 수 있다.
또한, 힘 제어가 적용되는 경우에는, 암 제어 장치(5159)는, 유저로부터의 외력을 받아, 그 외력에 따라 순조롭게 암부(5145)가 이동하도록, 각 관절부(5147a 내지 5147c)의 액추에이터를 구동시키는, 이른바 파워 어시스트 제어를 행해도 된다. 이에 의해, 유저가 직접 암부(5145)에 접하면서 암부(5145)를 이동시킬 때에, 비교적 가벼운 힘으로 해당 암부(5145)를 이동시킬 수 있다. 따라서, 보다 직감적으로, 보다 간이한 조작으로 내시경(5115)을 이동시키는 것이 가능해지고, 유저의 편리성을 향상시킬 수 있다.
여기서, 일반적으로, 내시경 하 수술에서는, 스코피스트(Scopist)로 불리는 의사에 의해 내시경(5115)이 지지되고 있었다. 이에 대해서, 지지 암 장치(5141)를 이용함으로써, 사람의 손에 의하지 않고 내시경(5115)의 위치를 보다 확실하게 고정하는 것이 가능하게 되기 때문에, 시술부의 화상을 안정적으로 얻을 수 있고, 수술을 원활하게 행하는 것이 가능하게 된다.
또한, 암 제어 장치(5159)는 반드시 카트(5151)에 설치되지 않아도 된다. 또한, 암 제어 장치(5159)는 반드시 1개의 장치가 아니어도 된다. 예를 들면, 암 제어 장치(5159)는, 지지 암 장치(5141)의 암부(5145)의 각 관절부(5147a 내지 5147c)에 각각 설치되어도 되고, 복수의 암 제어 장치(5159)가 서로 협동함으로써, 암부(5145)의 구동 제어가 실현되어도 된다.
(광원장치)
광원 장치(5157)는, 내시경(5115)으로 시술부를 촬영할 때의 조사광을 공급한다. 광원 장치(5157)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로 구성된다. 이 때, RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(5157)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상으로 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(5119)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(5157)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(5119)의 촬상 소자의 구동을 제어해 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(5157)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역광 관찰(Narrow　Band　Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도 시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사해 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(5157)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.
(카메라 헤드 및 CCU)
도 15를 참조하여, 내시경(5115)의 카메라 헤드(5119) 및 CCU(5153)의 기능에 대해 보다 상세하게 설명한다. 도 15는 도 14에 나타내는 카메라 헤드(5119) 및 CCU(5153)의 기능 구성의 일례를 나타내는 블록도이다.
도 15를 참조하면, 카메라 헤드(5119)는, 그 기능으로서, 렌즈 유닛(5121)과, 촬상부(5123)와, 구동부(5125)와, 통신부(5127)와, 카메라 헤드 제어부(5129)를 갖는다. 또한, CCU(5153)는, 그 기능으로서, 통신부(5173)와, 화상 처리부(5175)와, 제어부(5177)를 갖는다. 카메라 헤드(5119)와 CCU(5153)는, 전송 케이블(5179)에 의해 쌍방향으로 통신 가능하도록 접속되어 있다.
우선, 카메라 헤드(5119)의 기능 구성에 대해 설명한다. 렌즈 유닛(5121)은, 경통(5117)과의 접속부에 설치되는 광학계이다. 경통(5117)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(5119)까지 도광되고, 해당 렌즈 유닛(5121)에 입사한다. 렌즈 유닛(5121)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다. 렌즈 유닛(5121)은, 촬상부(5123)의 촬상 소자의 촬상면 상에 관찰광을 집광하도록, 그 광학 특성이 조정되고 있다. 또한, 줌 렌즈 및 포커스 렌즈는, 촬상 화상의 배율 및 초점의 조정을 위해, 그 광축 상의 위치가 이동 가능하도록 구성된다.
촬상부(5123)는 촬상 소자에 의해 구성되고, 렌즈 유닛(5121)의 후단에 배치된다. 렌즈 유닛(5121)을 통과한 관찰광은, 해당 촬상 소자의 수광면에 집광되고, 광전 변환에 의해, 관찰상에 대응한 화상 신호가 생성된다. 촬상부(5123)에 의해 생성된 화상 신호는, 통신부(5127)에 제공된다.
촬상부(5123)를 구성하는 촬상 소자로는, 예를 들면 CMOS(Complementary　Metal　Oxide　Semiconductor) 타입의 이미지 센서로서, 베이어(Bayer) 배열을 갖는 컬러 촬영 가능한 것이 이용된다. 또한, 해당 촬상 소자로는, 예를 들면 4K 이상의 고해상도의 화상의 촬영에 대응 가능한 것이 이용되어도 된다. 시술부의 화상이 고해상도로 얻어짐으로써, 시술자(5181)는, 해당 시술부의 모습을 보다 상세하게 파악할 수 있고, 수술을 보다 원활히 진행하는 것이 가능해진다.
또한, 촬상부(5123)를 구성하는 촬상 소자는, 3D 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성된다. 3D 표시가 행해짐으로써, 시술자(5181)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(5123)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(5121)도 복수 계통 설치된다.
또한, 촬상부(5123)는, 반드시 카메라 헤드(5119)에 설치되지 않아도 된다. 예를 들면, 촬상부(5123)는, 경통(5117)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(5125)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(5129)로부터의 제어에 의해, 렌즈 유닛(5121)의 줌 렌즈 및 포커스 렌즈를 광축(J)에 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(5123)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(5127)는, CCU(5153)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5127)는, 촬상부(5123)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(5179)을 거쳐 CCU(5153)에 송신한다. 이 때, 시술부의 촬상 화상을 낮은 레이턴시(latency)로 표시하기 위하여, 해당 화상 신호는 광통신에 의해 송신되는 것이 바람직하다. 수술 시에는, 시술자(5181)가 촬상 화상에 의해 환부 상태를 관찰하면서 수술을 행하기 때문에, 보다 안전하고 확실한 수술을 위해, 시술부의 동화상이 가능한 한 리얼 타임에 표시되는 것이 요구되기 때문이다. 광통신이 행해지는 경우에는, 통신부(5127)에는, 전기 신호를 광신호로 변환하는 광전 변환 모듈이 설치된다. 화상 신호는 해당 광전 변환 모듈에 의해 광신호로 변환된 후, 전송 케이블(5179)을 거쳐 CCU(5153)에 송신된다.
또한, 통신부(5127)는, CCU(5153)로부터, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 수신한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다. 통신부(5127)는, 수신한 제어 신호를 카메라 헤드 제어부(5129)에 제공한다. 또한, CCU(5153)로부터의 제어 신호도, 광통신에 의해 전송되어도 된다. 이 경우, 통신부(5127)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치되고, 제어 신호는 해당 광전 변환 모듈에 의해 전기 신호로 변환된 후, 카메라 헤드 제어부(5129)에 제공된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 취득된 화상 신호에 기초하여 CCU(5153)의 제어부(5177)에 의해 자동적으로 설정된다. 즉, 이른바 AE(Auto　Exposure) 기능, AF(Auto　Focus) 기능, 및 AWB(Auto　White　Balance) 기능이 내시경(5115)에 탑재된다.
카메라 헤드 제어부(5129)는, 통신부(5127)를 거쳐 수신한 CCU(5153)로부터의 제어 신호에 기초하여, 카메라 헤드(5119)의 구동을 제어한다. 예를 들면, 카메라 헤드 제어부(5129)는, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보 및/또는 촬상 시의 노광을 지정하는 취지의 정보에 기초하여, 촬상부(5123)의 촬상 소자의 구동을 제어한다. 또한, 예를 들면, 카메라 헤드 제어부(5129)는, 촬상 화상의 배율 및 초점을 지정하는 취지의 정보에 기초하여, 구동부(5125)를 거쳐 렌즈 유닛(5121)의 줌 렌즈 및 포커스 렌즈를 적절히 이동시킨다. 카메라 헤드 제어부(5129)는, 나아가, 경통(5117)이나 카메라 헤드(5119)를 식별하기 위한 정보를 기억하는 기능을 구비하여도 된다.
또한, 렌즈 유닛(5121)이나 촬상부(5123) 등의 구성을, 기밀성 및 방수성이 높은 밀폐 구조 내에 배치함으로써, 카메라 헤드(5119)에 대해, 오토 클레이브 멸균 처리에 대한 내성을 갖게 할 수 있다.
다음으로, CCU(5153)의 기능 구성에 대해 설명한다. 통신부(5173)는, 카메라 헤드(5119)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5173)는, 카메라 헤드(5119)로부터, 전송 케이블(5179)을 거쳐 송신되는 화상 신호를 수신한다. 이 때, 상기와 같이, 해당 화상 신호는 매우 적절하게 광통신에 의해 송신될 수 있다. 이 경우, 광통신에 대응하여, 통신부(5173)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치된다. 통신부(5173)는, 전기 신호로 변환한 화상 신호를 화상 처리부(5175)에 제공한다.
또한, 통신부(5173)는, 카메라 헤드(5119)에 대해서, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 송신한다. 해당 제어 신호도 광통신에 의해 송신되어도 된다.
화상 처리부(5175)는, 카메라 헤드(5119)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 행한다. 해당 화상 처리로서는, 예를 들면 현상 처리, 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise　reduction) 처리 및/또는 손 블러 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지의 신호 처리가 포함된다. 또한, 화상 처리부(5175)는, AE, AF 및 AWB를 행하기 위한, 화상 신호에 대한 검파 처리를 행한다.
화상 처리부(5175)는, CPU나 GPU 등의 프로세서에 의해 구성되고, 해당 프로세서가 소정의 프로그램에 따라 동작함으로써, 상술한 화상 처리나 검파 처리가 행해질 수 있다. 또한, 화상 처리부(5175)가 복수의 GPU에 의해 구성되는 경우에는, 화상 처리부(5175)는, 화상 신호에 관련되는 정보를 적절히 분할하고, 이들 복수의 GPU에 의해 병렬적으로 화상 처리를 행한다.
제어부(5177)는, 내시경(5115)에 의한 시술부의 촬상, 및 그 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(5177)는, 카메라 헤드(5119)의 구동을 제어하기 위한 제어 신호를 생성한다. 이 때, 촬상 조건이 유저에 의해 입력되어 있는 경우에는, 제어부(5177)는, 해당 유저에 의한 입력에 기초하여 제어 신호를 생성한다. 또는, 내시경(5115)에 AE 기능, AF 기능 및 AWB 기능이 탑재되어 있는 경우에는, 제어부(5177)는, 화상 처리부(5175)에 의한 검파 처리의 결과에 따라, 최적인 노출값, 초점 거리 및 화이트 밸런스를 적절히 산출하고, 제어 신호를 생성한다.
또한, 제어부(5177)는, 화상 처리부(5175)에 의해 화상 처리가 행해진 화상 신호에 기초하여, 시술부의 화상을 표시 장치(5155)에 표시시킨다. 이 때, 제어부(5177)는, 각종의 화상 인식 기술을 이용하여 시술부 화상 내에 있어서의 각종의 물체를 인식한다. 예를 들면, 제어부(5177)는, 시술부 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(5135) 사용 시의 미스트 등을 인식할 수 있다. 제어부(5177)는, 표시 장치(5155)에 시술부의 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시킨다. 수술 지원 정보가 중첩 표시되어, 시술자(5181)에 제시됨으로써, 보다 안전하고 또한 확실하게 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(5119) 및 CCU(5153)를 접속하는 전송 케이블(5179)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광 파이버, 또는 이러한 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(5179)을 이용하여 유선으로 통신이 행해지고 있었지만, 카메라 헤드(5119)와 CCU(5153)의 사이의 통신은 무선으로 행해져도 된다. 양자 사이의 통신이 무선으로 행해지는 경우에는, 전송 케이블(5179)을 수술실 내에 부설할 필요가 없어지기 때문에, 수술실 내에 있어서의 의료 스탭의 이동이 해당 전송 케이블(5179)에 의해 방해할 수 있는 사태가 해소될 수 있다.
이상, 본 개시에 관련되는 기술이 적용될 수 있는 수술실 시스템(5100)의 일례에 대해 설명했다. 또한, 여기에서는, 일례로서 수술실 시스템(5100)이 적용되는 의료용 시스템이 내시경 수술 시스템(5113)인 경우에 대해 설명했으나, 수술실 시스템(5100)의 구성은 관련된 예로 한정되지 않는다. 예를 들면, 수술실 시스템(5100)은, 내시경 수술 시스템(5113)을 대신하여, 검사용 연성 내시경 시스템이나 현미경 수술 시스템에 적용되어도 된다.
본 개시에 관련되는 기술은, 이상 설명한 구성 가운데, 실링 카메라(5187)나 수술실 카메라(5189), 카메라 헤드(5119) 등이 구비된 촬상 소자에 적절하게 적용될 수 있다. 그것들의 촬상 소자에, 본 개시에 관련되는 기술을 적용함으로써, 보다 포커스 정밀도가 높은 화상을, 외부의 표시장치에 출력할 수 있기 때문에, 원격의료에 있어서의 진단의 정밀도 향상을 도모할 수 있다.
<구성의 조합 예>
또한, 본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 광전변환에 의해 발생한 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 제1 화소와,
광전 변환에 의해 발생한 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 제2 화소를 구비하는 촬상 소자.
(2) 상기 변환효율은, 상기 제1 화소가 광을 수광하는 수광 면적과, 상기 제2 화소가 광을 수광하는 수광 면적과의 비율에 따라 설정되는
상기 (1)에 기재된 촬상 소자.
(3) 상기 제2 화소는, 차광성을 구비한 위상차 차광막에 의해 수광 면적의 약 절반이 차광 되어 있고,
상기 제2 변환효율이, 상기 제1 변환효율의 약2배인
상기 (2)에 기재된 촬상 소자.
(4) 상기 제1 화소 및 상기 제2 화소는,
수광한 광을 광전 변환하는 광전 변환부와,
상기 광전 변환부에서 발생한 전하를 일시적으로 축적하는 부유 확산 영역과,
상기 부유 확산 영역에 축적되어 있는 전하를, 상기 부유 확산 영역의 용량에 따른 변환효율에서, 상기 화소 신호를 나타내는 전압으로 변환하는 전하전압변환부를 각각 가지고 있으며,
상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량보다도 작아지도록 형성된
상기 (1) 내지 (3) 중 어느 하나에 기재된 촬상 소자.
(5) 상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량의 약 절반이 되도록 형성함으로써, 상기 제2 변환효율이, 상기 제1 변환효율의 약 2배로 설정되는
상기 (4)에 기재된 촬상 소자.
(6) 상기 제2 화소는, 4개의 광전 변환부가 세로×가로가 2Х2가 되는 배치로 구성되어 있고,
이들 4개의 상기 광전 변환부가 배치되는 영역에 따른 사이즈의 마이크로 렌즈를 더 구비하는 상기 (1) 내지 (5) 중 어느 하나에 기재된 촬상 소자.
(7) 세로×가로가 2Х2로 배치된 4개의 상기 제1 화소마다, 적색, 녹색 및 청색의 광을 수광하도록 컬러 필터가 배치되어 있는
상기 (6)에 기재된 촬상 소자.
(8) 상기 제2 화소는, 상기 화상의 구축에 이용되는 화소 신호를 출력하는 제1 모드와, 상기 위상차 검출에 이용되는 화소 신호를 출력하는 제2 모드를 절환할 수 있고, 상기 제1 모드일 때에는 상기 제1 변환효율로 전하를 전압으로 변환하고, 상기 제2 모드일 때에는 상기 제2의 변환효율로 전하를 전압으로 변환하는
상기 (1) 내지 (7) 중 어느 하나에 기재된 촬상 소자.
(9) 상기 제2 화소는, 2개 이상의 광전 변환부를 가지도록 구성되어 있고, 상기 제1 모드의 경우, 모든 상기 광전 변환부의 전하를 전압으로 변환하고, 상기 제2 모드의 경우, 일부의 상기 광전 변환부의 전하를 전압으로 하는
상기 (8)에 기재된 촬상 소자.
(10) 광전 변환에 의해 발생한 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 제1 화소와,
광전 변환에 의해 발생한 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 제2 화소를 가지는 촬상 소자를 구비하는 촬상 장치.
(11) 상기 변환효율은, 상기 제1 화소가 광을 수광하는 수광 면적과, 상기 제2 화소가 광을 수광하는 수광 면적과의 비율에 따라 설정되는
상기 (10)에 기재된 촬상 장치.
(12) 상기 제2 화소는, 차광성을 구비한 위상차 차광막에 의해 수광 면적의 약 절반이 차광 되어 있고,
상기 제2 변환효율이, 상기 제1 변환효율의 약2배인
상기 (11)에 기재된 촬상 장치.
(13) 상기 제1 화소 및 상기 제2 화소는,
수광한 광을 광전 변환하는 광전 변환부와,
상기 광전 변환부에서 발생한 전하를 일시적으로 축적하는 부유 확산 영역과,
상기 부유 확산 영역에 축적되고 있는 전하를, 상기 부유 확산 영역의 용량에 따른 변환효율로, 상기 화소 신호를 나타내는 전압으로 변환하는 전하전압변환부를 각각 가지고 있으며,
상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량보다도 작아지도록 형성된
상기 (10) 내지 (12) 중 어느 하나에 기재된 촬상 장치.
(14) 상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량의 약 절반이 되도록 형성함으로써, 상기 제2 변환효율이, 상기 제1 변환효율의 약 2배로 설정되는
상기 (13)에 기재된 촬상 장치.
(15) 상기 제2 화소는, 4개의 광전 변환부가 세로×가로가 2Х2가 되는 배치로 구성되어 있고,
이들 4개의 상기 광전 변환부가 배치되는 영역에 따른 사이즈의 마이크로 렌즈를 더 구비하는 상기 (10) 내지 (14) 중 어느 하나에 기재된 촬상 장치.
(16) 세로×가로가 2Х2로 배치된 4개의 상기 제1 화소마다, 적색, 녹색 및 청색의 광을 수광 하도록 컬러 필터가 배치되어 있는
상기 (15)에 기재된 촬상 장치.
(17) 상기 제2 화소는, 상기 화상의 구축에 이용되는 화소 신호를 출력하는 제1 모드와, 상기 위상차 검출에 이용되는 화소 신호를 출력하는 제2 모드를 절환할 수 있고, 상기 제1 모드일 때에는 상기 제1 변환효율로 전하를 전압으로 변환하고, 상기 제2 모드일 때에는 상기 제2 변환효율로 전하를 전압으로 변환하는
상기 (10) 내지 (16) 중 어느 하나에 기재된 촬상 장치.
(18) 상기 제2 화소는, 2개 이상의 광전 변환부를 가지고 구성되어 있고, 상기 제1 모드의 경우, 모든 상기 광전 변환부의 전하를 전압으로 변환하고, 상기 제2 모드의 경우, 일부의 상기 광전 변환부의 전하를 전압으로 하는
상기(17)에 기재된 촬상 장치.
또한, 본 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 개시의 요지를 일탈하지 않는 범위에서 여러 가지 변경이 가능하다. 또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것이 아니고, 다른 효과가 있어도 된다.
11: 촬상 소자
12: 통상 화소
13: 위상차 화소
21: 반도체기판
22: 평탄화층
23: 필터층
24: 온 칩 렌즈층
31: 실리콘 웨이퍼
32: PD
33: 전송 트랜지스터
34: FD부
35: 화소간 차광막
36: 위상차 차광막
37 및 38: 개구부
41: 산화막
51: 컬러 필터
52: 투명 필터
61: 마이크로 렌즈
71: 증폭 트랜지스터
72: 선택 트랜지스터
73: 수직신호선
81: AD컨버터
82: 절환 트랜지스터

Claims (18)

  1. 광전 변환에 의해 발생한 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 제1 화소와,
    광전 변환에 의해 발생한 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 제2 화소를 구비하는 촬상 소자.
  2. 제1항에 있어서,
    상기 변환효율은, 상기 제1 화소가 광을 수광하는 수광 면적과, 상기 제2 화소가 광을 수광하는 수광 면적과의 비율에 따라 설정되는 촬상 소자.
  3. 제2항에 있어서,
    상기 제2 화소는, 차광성을 구비한 위상차 차광막에 의해 수광 면적의 약 절반이 차광 되어 있고,
    상기 제2 변환효율이, 상기 제1 변환효율의 약2배인 촬상 소자.
  4. 제1항에 있어서,
    상기 제1 화소 및 상기 제2 화소는,
    수광한 광을 광전 변환하는 광전 변환부와,
    상기 광전 변환부에서 발생한 전하를 일시적으로 축적하는 부유 확산 영역과,
    상기 부유 확산 영역에 축적되어 있는 전하를, 상기 부유 확산 영역의 용량에 따른 변환효율로, 상기 화소 신호를 나타내는 전압으로 변환하는 전하전압변환부를 각각 가지고 있으며,
    상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량보다도 작아지도록 형성된 촬상 소자.
  5. 제4항에 있어서,
    상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량의 약 절반이 되도록 형성함으로써, 상기 제2 변환효율이, 상기 제1 변환효율의 약 2배로 설정되는 촬상 소자.
  6. 제1항에 있어서,
    상기 제2 화소는, 4개의 광전 변환부가 세로×가로가 2Х2가 되는 배치로 구성되어 있고,
    이들 4개의 상기 광전 변환부가 배치되는 영역에 따른 사이즈의 마이크로 렌즈를 더 구비하는 촬상 소자.
  7. 제6항에 있어서,
    세로×가로가 2Х2로 배치된 4개의 상기 제1 화소마다, 적색, 녹색 및 청색의 광을 수광하도록 컬러 필터가 배치되어 있는 촬상 소자.
  8. 제1항에 있어서,
    상기 제2 화소는, 상기 화상의 구축에 이용되는 화소 신호를 출력하는 제1 모드와, 상기 위상차 검출에 이용되는 화소 신호를 출력하는 제2 모드를 절환할 수 있고, 상기 제1 모드일 때에는 상기 제1 변환효율로 전하를 전압으로 변환하고, 상기 제2 모드일 때에는 상기 제2의 변환효율로 전하를 전압으로 변환하는 촬상 소자.
  9. 제8항에 있어서,
    상기 제2 화소는, 2개 이상의 광전 변환부를 가지도록 구성되어 있고, 상기 제1 모드의 경우, 모든 상기 광전 변환부의 전하를 전압으로 변환하고, 상기 제2 모드의 경우, 일부의 상기 광전 변환부의 전하를 전압으로 하는 촬상 소자.
  10. 광전 변환에 의해 발생한 전하를 제1 변환효율로 전압으로 변환하여, 화상의 구축에 이용되는 화소 신호를 출력하는 제1 화소와,
    광전 변환에 의해 발생한 전하를 상기 제1 변환효율보다 큰 제2 변환효율로 전압으로 변환하여, 위상차 검출에 이용되는 화소 신호를 출력하는 제2 화소를 가지는 촬상 소자를 구비하는 촬상 장치.
  11. 제10항에 있어서,
    상기 변환효율은, 상기 제1 화소가 광을 수광하는 수광 면적과, 상기 제2 화소가 광을 수광하는 수광 면적과의 비율에 따라 설정되는 촬상 장치.
  12. 제11항에 있어서,
    상기 제2의 화소는, 차광성을 구비한 위상차 차광막에 의해 수광 면적의 약 절반이 차광 되어 있고,
    상기 제의 변환효율이, 상기 제1 변환효율의 약2배인 촬상 장치.
  13. 제10항에 있어서,
    상기 제1 화소 및 상기 제2 화소는,
    수광한 광을 광전 변환하는 광전 변환부와,
    상기 광전 변환부에서 발생한 전하를 일시적으로 축적하는 부유 확산 영역과,
    상기 부유 확산 영역에 축적되어 있는 전하를, 상기 부유 확산 영역의 용량에 따른 변환효율로, 상기 화소 신호를 나타내는 전압으로 변환하는 전하전압변환부를 각각 가지고 있으며,
    상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량보다도 작아지도록 형성된 촬상 장치.
  14. 제13항에 있어서,
    상기 제2 화소가 가지는 상기 부유 확산 영역의 용량이, 상기 제1 화소가 가지는 상기 부유 확산 영역의 용량의 약 절반이 되도록 형성함으로써, 상기 제2 변환효율이, 상기 제1 변환효율의 약 2배로 설정되는 촬상 장치.
  15. 제10항에 있어서,
    상기 제2 화소는, 4개의 광전 변환부가 세로×가로가 2Х2가 되는 배치로 구성되어 있고,
    이들 4개의 상기 광전 변환부가 배치되는 영역에 따른 사이즈의 마이크로 렌즈를 더 구비하는 촬상 장치.
  16. 제15항에 있어서,
    세로×가로가 2Х2로 배치된 4개의 상기 제1 화소마다, 적색, 녹색 및 청색의 광을 수광하도록 컬러 필터가 배치되어 있는 촬상 장치.
  17. 제10항에 있어서,
    상기 제2 화소는, 상기 화상의 구축에 이용되는 화소 신호를 출력하는 제1 모드와, 상기 위상차 검출에 이용되는 화소 신호를 출력하는 제2 모드를 절환할 수 있고, 상기 제1 모드일 때에는 상기 제1 변환효율로 전하를 전압으로 변환하고, 상기 제2 모드일 때에는 상기 제2 변환효율로 전하를 전압으로 변환하는 촬상 장치.
  18. 제17항에 있어서,
    상기 제2 화소는, 2개 이상의 광전 변환부를 가지도록 구성되어 있고, 상기 제1 모드의 경우, 모든 상기 광전 변환부의 전하를 전압으로 변환하고, 상기 제2 모드의 경우, 일부의 상기 광전 변환부의 전하를 전압으로 하는 촬상 장치.
KR1020207003422A 2017-08-18 2018-08-03 촬상 소자 및 촬상 장치 Ceased KR20200037244A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017158066 2017-08-18
JPJP-P-2017-158066 2017-08-18
PCT/JP2018/029181 WO2019035374A1 (ja) 2017-08-18 2018-08-03 撮像素子および撮像装置

Publications (1)

Publication Number Publication Date
KR20200037244A true KR20200037244A (ko) 2020-04-08

Family

ID=65361889

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207003422A Ceased KR20200037244A (ko) 2017-08-18 2018-08-03 촬상 소자 및 촬상 장치

Country Status (4)

Country Link
US (1) US20200169704A1 (ko)
JP (1) JP7230808B2 (ko)
KR (1) KR20200037244A (ko)
WO (1) WO2019035374A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147448A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 색분리 렌즈 어레이를 구비하는 이미지 센서 및 이를 포함하는 전자 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7230807B2 (ja) * 2017-08-09 2023-03-01 ソニーグループ株式会社 信号処理装置、撮像装置、信号処理方法及びプログラム
JP7472902B2 (ja) * 2019-03-29 2024-04-23 Ｔｏｐｐａｎホールディングス株式会社 固体撮像装置、撮像システム及び撮像方法
US12231791B2 (en) 2019-07-02 2025-02-18 Sony Semiconductor Solutions Corporation Solid-state imaging device, method for driving the same, and electronic device
JP7486929B2 (ja) * 2019-08-22 2024-05-20 ソニーセミコンダクタソリューションズ株式会社 撮像素子、測距装置
JP7692840B2 (ja) * 2019-12-17 2025-06-16 ソニーセミコンダクタソリューションズ株式会社 撮像素子、撮像素子の駆動方法および電子機器
KR102727266B1 (ko) * 2020-02-18 2024-11-07 에스케이하이닉스 주식회사 이미지 센서 및 이를 포함하는 촬영 장치
WO2021166672A1 (ja) * 2020-02-20 2021-08-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、電子機器
US11284045B2 (en) * 2020-04-22 2022-03-22 OmniVision Technologies. Inc. Image sensor with shifted color filter array pattern and bit line pairs
WO2021241015A1 (ja) * 2020-05-25 2021-12-02 ソニーグループ株式会社 撮像装置、撮像方法
KR102889849B1 (ko) 2020-11-24 2025-11-27 삼성전자주식회사 이미지 센서
KR20230055626A (ko) * 2021-10-19 2023-04-26 에스케이하이닉스 주식회사 촬영 장치
JPWO2023181735A1 (ko) * 2022-03-25 2023-09-28
JP2024168191A (ja) * 2023-05-23 2024-12-05 ソニーセミコンダクタソリューションズ株式会社 光検出装置及び電子機器

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015091025A (ja) 2013-11-06 2015-05-11 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2690874A4 (en) * 2011-03-24 2014-09-03 Fujifilm Corp COLOR IMAGE SENSOR, IMAGING DEVICE AND CONTROL PLAN FOR THE IMAGING APPARATUS
JP5744599B2 (ja) * 2011-03-31 2015-07-08 キヤノン株式会社 撮像素子、および撮像装置
WO2015045785A1 (ja) * 2013-09-30 2015-04-02 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
CN107004685B (zh) * 2014-12-18 2022-06-14 索尼公司 固体摄像器件和电子装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015091025A (ja) 2013-11-06 2015-05-11 ソニー株式会社 固体撮像装置およびその駆動方法、並びに電子機器

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220147448A (ko) * 2021-04-27 2022-11-03 삼성전자주식회사 색분리 렌즈 어레이를 구비하는 이미지 센서 및 이를 포함하는 전자 장치
US12300710B2 (en) 2021-04-27 2025-05-13 Samsung Electronics Co., Ltd. Image sensor including color separating lens array and electronic apparatus including the image sensor

Also Published As

Publication number Publication date
JPWO2019035374A1 (ja) 2020-10-08
US20200169704A1 (en) 2020-05-28
WO2019035374A1 (ja) 2019-02-21
JP7230808B2 (ja) 2023-03-01

Similar Documents

Publication Publication Date Title
JP7230808B2 (ja) 撮像素子および撮像装置
US20230124400A1 (en) Imaging device and electronic device
US12004722B2 (en) Microscope system and medical light source apparatus
JP6915615B2 (ja) 撮像素子、撮像装置、電子機器
US11729493B2 (en) Image capture apparatus and image capture method
US11729519B2 (en) Video signal processing apparatus, video signal processing method, and image-capturing apparatus
US11503980B2 (en) Surgical system and surgical imaging device
US12355935B2 (en) Medical imaging system, medical imaging device, and operation method
WO2019198553A1 (en) Microscope system and medical light source apparatus
US20230248231A1 (en) Medical system, information processing apparatus, and information processing method
US20220217260A1 (en) Signal processing device, imaging device, and signal processing method
CN110945399B (zh) 信号处理设备、成像设备、信号处理方法和存储器
JP2019042413A (ja) 医療用観察装置、および医療用観察システム
US11039067B2 (en) Image pickup apparatus, video signal processing apparatus, and video signal processing method
US12102296B2 (en) Medical imaging system, medical imaging device, and operation method
US10917555B2 (en) Imaging apparatus, focus control method, and focus determination method
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200205

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210616

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20221020

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20230410

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20221020

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I