KR20200041371A - 더블 카메라 기반 이미징 방법 및 장치 - Google Patents

더블 카메라 기반 이미징 방법 및 장치 Download PDF

Info

Publication number
KR20200041371A
KR20200041371A KR1020207008576A KR20207008576A KR20200041371A KR 20200041371 A KR20200041371 A KR 20200041371A KR 1020207008576 A KR1020207008576 A KR 1020207008576A KR 20207008576 A KR20207008576 A KR 20207008576A KR 20200041371 A KR20200041371 A KR 20200041371A
Authority
KR
South Korea
Prior art keywords
image
camera
resolution
main
auxiliary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207008576A
Other languages
English (en)
Other versions
KR102304784B1 (ko
Inventor
딴 오우양
궈휘 딴
Original Assignee
광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 filed Critical 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Publication of KR20200041371A publication Critical patent/KR20200041371A/ko
Application granted granted Critical
Publication of KR102304784B1 publication Critical patent/KR102304784B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H04N5/23232—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/2258—
    • H04N5/23245—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

더블 카메라 기반 이미징 방법 및 장치가 제공된다. 상기 방법은 다음 동작들을 포함한다. 제1이미지는 메인 카메라로 획득되고, 제2이미지는 보조 카메라로 획득된다. 메인 이미지 해상도 및 보조 이미지 해상도는 판단된 촬영 모드 및 상기 메인 카메라 및 상기 보조 카메라의 해상도들에 따라 판단된다. 상기 제1이미지는 상기 메인 이미지 해상도를 가지는 기본 이미지로 변환된다. 상기 제2이미지는 상기 제 2 이미지에 따라 상기 보조 이미지 해상도를 가지는 보조 이미지로 변환된다. 요구된 타깃 이미지는 상기 메인 이미지 및 상기 보조 이미지에 따라 획득된다.

Description

더블 카메라 기반 이미징 방법 및 장치
본 발명은 이동 단말기들의 기술 분야에 관한 것으로, 더욱 자세하게는 더블 카메라 기반 이미징 방법 및 장치에 관한 것이다.
점점 더 많은 이동 단말 기기(mobile terminal equipment)에 더블 카메라들이 제공된다. 종래 기술에서, 더블 카메라들 중 하나는 사진을 찍기 위해 채택되고, 다른 카메라는 후속 이미지 블러링 처리(subsequent image blurring processing)를 위해 사진의 심도 정보(depth information)를 계산하는데 도움을 주기 위해 채택된다.
하지만, 종래 기술의 더블 카메라들의 경우, 이미지가 촬영된 후, 후속 이미지 처리를 위해 고정 해상도(fixed resolution)가 일반적으로 채택된다. 이로 인해 상대적으로 다양하지 않은 기능(undiversified function)을 초래하며, 사용자가 요건에 따라 상기 해상도를 조절할 수 없다.
제1측면에 따르면, 다음과 같은 동작들을 포함할 수 있는 더블 카메라 기반 이미징 방법이 개시된다. 제1이미지는 메인 카메라에 의해 획득되고, 제2이미지는 보조 카메라에 의해 획득된다. 선택된 촬영 모드가 판단된다. 메인 이미지 해상도는 상기 촬영 모드와 상기 메인 카메라의 해상도에 따라 판단되고, 보조 이미지 해상도는 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 판단된다. 상기 제1이미지는 상기 메인 이미지 해상도를 가지고 메인 이미지로 변환된다. 상기 제2이미지는 상기 보조 이미지 해상도를 가지고 보조 이미지로 변환된다. 요구된 타깃 이미지는 상기 메인 이미지 및 상기 보조 이미지에 따라 획득된다.
제2측면에 따르면, 더블 카메라 기반 이미징 장치가 제공된다. 상기 장치는 획득 모듈, 판정 모듈, 생성 모듈 및 처리 모듈을 포함한다. 상기 획득 모듈은, 메인 카메라에 의해 촬영된 제1이미지를 획득하고, 보조 카메라에 의해 촬영된 제2이미지를 획득하도록 구성된다. 상기 판정 모듈은, 선택된 촬영 모드를 판단하도록 구성되고, 상기 촬영 모드 및 상기 메인 카메라의 해상도에 따라 메인 이미지 해상도를 판단하고, 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 보조 이미지 해상도를 판단하며, 상기 촬영 모드는 전체-길이 모드 및 절반-길이 모드를 포함한다. 상기 생성 모듈은, 상기 제1이미지에 따라 상기 메인 이미지 해상도를 가지는 메인 이미지를 생성하고, 상기 제2이미지에 따라 상기 보조 이미지 해상도를 가지는 보조 이미지를 생성하도록 구성된다. 상기 처리 모듈은, 상기 메인 이미지 및 상기 보조 이미지에 따라 요구된 타깃 이미지를 획득하도록 구성된다.
제3측면에 따르면, 이동 단말기가 제공된다. 상기 이동 단말기는 프로세서 및 명령어들을 저장하는 메모리를 포함하고, 상기 명령어들은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 상기 제1측면에 따른 더블 카메라 기반 이미징 방법을 수행하게 한다.
제3측면에 따르면, 비 일시적 컴퓨터 판독 가능 저장 매체가 개시된다. 프로그램은 상기 제1측면에 따른 더블 카메라 기반 이미징 방법을 구현하기 위해 프로세서에 의해 실행될 수있다.
본 발명의 전술한 및/또는 추가적인 측면들 및 장점들은 도면과 조합하여 이하의 실시 예에 대한 설명으로부터 명백하고 쉽게 이해될 것이다.
도 1은 본 발명의 일 실시 예에 따른 더블 카메라 기반 이미징 방법의 순서도를 도시한다.
도 2는 삼각 측량 레인징 원리의 개략도를 도시한다.
도 3은 본 발명의 일 실시 예에 따른 다른 더블 카메라 기반 이미징 방법의 순서도를 도시한다.
도 4는 본 출원의 일 실시 예에 따른 더블 카메라 기반 이미징 장치의 구조도를 도시한다.
도 5는 본 출원의 일 실시 예에 따른 다른 더블 카메라 기반 이미징 장치의 구조도를 도시한다.
도 6은 본 발명의 다른 실시 예에 따른 단말 기기의 구조도를 도시한다.
도 7은 일 실시 예에 따른 이미지 처리 회로의 개략도를 도시한다.
이하, 본 발명의 상기 실시 예들에 대하여 상세하게 설명한다. 상기 실시 예들의 예들이 도면에 도시되어 있으며, 동일하거나 유사한 참조 부호는 항상 동일하거나 유사한 기능을 가지는 컴포넌트들 혹은 동일하거나 유사한 기능들을 가지는 컴포넌트들을 나타낸다. 도면들을 참조하여 아래에 설명된 상기 실시 예들은 예시적이고, 본 발명을 설명하기 위한 것이며, 본 발명에 대한 제한으로서 이해되어서는 안 된다.
본 발명의 상기 실시 예들의 더블 카메라 기반 이미징 방법 및 장치가 상기 도면들을 참조하여 아래에 설명될 것이다.
도 1은 본 발명의 일 실시 예에 따른 더블 카메라 기반 이미징 방법의 순서도를 도시한다.
도 1을 참조하면, 상기 더블 카메라 기반 이미징 방법은 다음 동작들을 포함한다.
(S101)에서, 제1이미지(first image)는 메인 카메라(main camera)에 의해 획득되고, 제2이미지(second image)는 보조 카메라(auxiliary camera)에 의해 획득된다.
상기 본 실시 예의 상기 방법은 더블 카메라들을 포함하는 이동 단말기에 적용된다. 구별의 편의성을 위해, 상기 더블 카메라는 각각 제1카메라(first camera) 및 제2카메라(second camera)로 지칭될 수 있다. 상기 제1카메라와 상기 제2카메라에서, 하나는 이미징을 위해 구성된 상기 제1이미지를 획득하기 위한 메인 카메라로서 기능하고, 다른 하나는 참조로서 피사계 심도(field depth)를 계산하도록 구성된 상기 제2이미지를 획득하기 위한 보조 카메라로서 기능한다.
가능한 구현 모드로서 상대적으로 양호한 이미징 효과를 얻기 위해, 상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 ISO(International Organization for Standardization) 값은 상기 제1카메라의 ISO 값보다 높다. 상기 메인 카메라 및 상기 보조 카메라는 촬영 시나리오에 따라 상기 제1카메라 및 상기 제2카메라 중에서 선택될 수 있다. 구체적으로, 상기 메인 카메라에 의해 상기 제1이미지가 획득되고 상기 보조 이미지에 의해 상기 제2이미지가 획득되기 전에, 주변 휘도(ambient luminance)를 판단하고, 상기 주변 휘도에 따라 상기 더블 카메라들에서 상기 메인 카메라와 보조 카메라를 판단해야 하며, 상기 판단된 메인 카메라 및 보조 카메라에 따라 이미징을 위해 촬영된 상기 제1이미지 및 상기 피사계 심도를 계산하기 위해 촬영된 상기 제2이미지가 각각 획득된다. 후속 실시 예에서, 이러한 처리는 더 상세하게 설명될 것이고, 본 실시 예에서 상세하게 설명되지 않을 것이다.
(S102)에서, 선택된 촬영 모드가 판단된다.
구체적으로, 상기 촬영 모드(shooting mode)는 전체-길이 모드(full-length mode)와 절반-길이 모드(half-length mode)를 포함한다. 상기 전체-길이 모드는 인물 사진(portrait) 촬영 중에 전체-길이 인물 사진을 촬영해야 하는 시나리오에 적용된다. 사용자가 상기 전체-길이 모드를 선택하면, 일반적으로 뷰 탐색(view finding) 중에 파인더 프레임(finder frame)에서 상기 전체 인물 사진을 찾을 수 있다.
상기 절반-길이 모드는 인물 사진 촬영 중에 절반-길이 인물 사진을 촬영해야 하는 시나리오에 적용된다. 본 명세서에서 언급된 상기 절반-길이 인물 사진은 일반적으로 상체(upper body), 즉 상기 머리와 상기 상체 부분이다. 상기 사용자가 상기 절반-길이 모드를 선택할 때, 상기 사용자는 일반적으로 뷰 탐색 동안 상기 파인더 프레임에서 상체 인물 사진을 찾을 수 있다.
가능한 구현 모드로서, 상기 사용자가 상기 제어를 통해 상기 촬영 모드를 선택할 수 있도록, 상기 이동 단말기의 촬영 미리 보기 인터페이스(shooting preview interface)에 제어가 제공될 수 있다.
(S103)에서, 메인 이미지 해상도는 상기 촬영 모드 및 상기 메인 카메라의 해상도에 따라 판단되며, 보조 이미지 해상도는 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 판단된다.
구체적으로, 상기 촬영 모드가 상기 전체-길이 모드인 경우, 상기 판단된 메인 카메라의 상기 해상도에 따라 상기 메인 카메라의 상기 해상도 및 상기 전체-길이 모드에 대응하는 조절 계수(regulation coefficient)에 대해 곱셈 연산(multiplication operation)을 수행하여, 상기 메인 이미지 해상도를 획득하고; 및 상기 판단된 보조 카메라의 상기 해상도에 따라 상기 보조 카메라의 상기 해상도 및 상기 전체-길이 모드에 대응하는 상기 조절 계수에 대해 상기 곱셈 연산을 수행하여, 상기 보조 이미지 해상도를 획득한다.
본 명세서에서 언급된 상기 조절 계수는 이미지 해상도 조절 프로세스에서 조절된 해상도(regulated resolution)와 조절되지 않은 해상도(unregulated resolution) 사이의 비례 관계를 나타내도록 구성된다. 여기서, 상기 조절 계수의 값은 1보다 큰 범위와, 0 내지 1범위이다. 구체적으로, 상기 조절된 해상도가 상기 조절되지 않은 해상도보다 높으면 상기 조절 계수의 값이 1보다 크고, 상기 조절된 해상도가 상기 조절되지 않은 해상도보다 낮으면 상기 조절 계수의 값은 0내지 1이다.
구체적으로, 상기 촬영 모드가 상기 절반-길이 모드인 경우, 상기 판단된 메인 카메라의 상기 해상도에 따라 카메라의 상기 해상도 및 상기 절반-길이 모드에 대응하는 조절 계수에 대해 상기 곱셈 연산이 수행되어 메인 이미지 해상도를 획득하고; 및 상기 보조 카메라의 상기 해상도 및 상기 판단된 보조 카메라의 상기 해상도에 따라 상기 절반-길이 모드에 대응하는 조절 계수에 대해 상기 곱셈 연산이 수행된다.
상기 전체-길이 모드에 대응하는 상기 조절 계수는 상기 절반-길이 모드에 대응하는 상기 조절 계수보다 높다는 것에 주의해야 한다.
(S104)에서, 상기 제1이미지는 상기 메인 이미지 해상도를 가지고 메인 이미지로 변환된다.
상기 제1이미지는 상기 메인 카메라에 따라 촬영되고, 상기 제1이미지의 해상도는 상기 메인 카메라의 상기 해상도와 동일하며, 및 상기 메인 이미지 해상도는 상기 메인 카메라의 상기 해상도에 상기 촬영 모드에 대응하는 상기 조절 계수를 곱함으로써 획득된다. 그러므로, 상기 촬영 모드에 대응하는 상기 조절 계수가 1 이하의 양수인 조건 하에서, 상기 제1이미지의 상기 해상도는 상기 메인 이미지 해상보다 높거나 같다. 구체적으로, 상기 제1이미지의 상기 해상도가 상기 메인 이미지 해상도보다 높은 경우, 상기 제1이미지에서 메인 이미지 해상도를 가지는 타깃 영역이 크롭되어(cropped) 상기 메인 이미지를 획득하고; 및 상기 제1이미지의 상기 해상도가 상기 메인 이미지 해상도와 동일한 경우, 상기 제 1 이미지는 상기 메인 이미지이다.
(S105)에서, 상기 제2이미지는 상기 보조 이미지 해상도를 가지는 보조 이미지로 변환된다.
상기 제2이미지는 상기 보조 카메라에 따라 촬영되고, 상기 제2이미지의 해상도는 상기 보조 카메라의 상기 해상도와 동일하며, 상기 보조 이미지 해상도는 상기 보조 카메라의 상기 해상도에 상기 촬영 모드에 대응하는 상기 조절 계수를 곱함으로써 획득된다. 그러므로, 상기 촬영 모드에 대응하는 상기 조절 계수가 1 이하의 양수인 조건 하에서, 상기 제2이미지의 상기 해상도는 상기 보조 이미지 해상도 이상이다. 구체적으로, 상기 제2이미지의 상기 해상도가 상기 보조 이미지 해상도보다 높은 경우, 상기 제2이미지에서 상기 보조 이미지 해상도를 가지는 타깃 영역이 크롭되어 상기 보조 이미지를 획득하고; 및 상기 제2이미지의 상기 해상도가 상기 보조 이미지 해상도와 동일하면, 상기 제2이미지는 상기 보조 이미지이다.
단계(S106)에서, 상기 메인 이미지의 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 계산된다.
구체적으로, 상기 메인 이미지와 상기 보조 이미지는 각각 다른 카메라들로 촬영되며, 상기 두 카메라들 사이에는 일정한 거리(certain distance)가 있어, 시차(parallax)가 형성된다. 삼각 측량 레인징 원칙(triangulation ranging principle)에 따르면, 상기 메인 이미지와 상기 보조 이미지에서 동일한 피사체의 심도 정보, 즉, 상기 메인과 보조 카메라들이 위치하는 평면(plane)과 상기 피사체(object) 사이의 거리(distance)가 계산될 수 있다.
상기 프로세스를 명확하게 설명하기 위해, 상기 삼각 측량 레인징 원칙을 아래에 간략하게 소개한다.
실제 시나리오에서, 사진 피사계 심도(depth of a photographic field)는 주로 눈(eyes)으로 해결되는 경우, 양안시(binocular vision)로 해결된다. 이것은 상기 더블 카메라들로 상기 심도를 해결하는 원리와 동일하다. 본 실시 예에서, 상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 상기 심도 정보를 계산하는 주요 방법은 상기 삼각 측량 레인징 원리이다. 도 2는 상기 삼각 측량 레인징 원리의 개략도이다.
도 2에서, 이미징 피사체(imaging object), 상기 두 카메라들의 위치들(OR 및 OT) 및 상기 두 카메라들의 초점면(focal plane)이 실제 공간에 그려지고, 상기 초점면과 상기 두 카메라들이 위치한 상기 평면 사이의 거리는 f이며, 상기 두 카메라들은 상기 초점면의 위치에서 이미징을 수행하여 두 샷 이미지들(two shot images)을 획득한다.
P와 P '는 각각 상이한 샷 이미지들에서 동일한 피사체의 위치이다. P와 상기 대응하는 샷 이미지의 좌측-경계 사이의 거리는 XR이며, P'와 상기 대응하는 샷 이미지의 좌측-경계 사이의 거리는 XT이다. OR과 OT는 각각 두 카메라들이며, 두 카메라들은 거리(B)에서 동일한 평면에 있다.
상기 삼각 측량 레인징 원칙에 기초하여, 도 2에서 상기 피사체와 상기 두 카메라들이 위치하는 평면 사이의 거리(Z)에 대해 다음 관계가 존재한다:
Figure pct00001
이러한 기준에 따라,
Figure pct00002
이 계산될 수 있고, 여기서 d는 상이한 샷 이미지들에서 동일한 피사체의 상기 위치들 사이의 거리 차이이다. B와 f는 고정 값들이므로, 상기 피사체의 상기 거리(Z)는 d에 따라 결정 수 있다.
(S107)에서, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리가 수행되어, 요구된 타깃 이미지를 획득한다.
구체적으로, 상기 메인 이미지의 상기 심도 정보가 계산된 후, 상기 메인 이미지에서 피사체의 상기 심도 정보에 따라 상기 피사체가 전경(foreground)인지 또는 배경(background)인지 판단할 수 있다. 일반적으로, 상기 심도 정보가 상기 피사체가 상기 메인 및 보조 카메라들이 위치한 상기 평면에 상대적으로 가깝고, 심도 값이 상대적으로 작음을 나타내는 경우, 상기 피사체가 전경인 것으로 판단될 수 있고, 그렇지 않으면 상기 피사체는 배경인 것으로 판단될 있다.
상기 인식된 배경에 대해 블러링 처리를 수행하여, 타깃 이미지를 획득할 수 있다. 상기 타깃 이미지에서, 상기 전경이 더 강조되고, 상기 배경이 흐려지며, 전경에 초점을 맞춘 이미징 효과가 나타난다.
본 출원의 상기 실시 예의 더블 카메라 기반 이미징 방법에서, 상기 메인 카메라는 상기 제1이미지를 획득하고, 상기 보조 카메라는 제2이미지를 획득하며, 상기 메인 이미지 해상도 및 상기 보조 이미지 해상도는 상기 판단된 촬영 모드 및 상기 메인 카메라 및 상기 보조 카메라의 상기 해상도들에 따라 각각 판단되며, 상기 제1이미지는 상기 메인 이미지 해상도를 가지는 상기 메인 이미지로 변환되고, 상기 제2이미지는 상기 보조 이미지 해상도를 가지는 상기 보조 이미지로 변환되며, 상기 메인 이미지의 상기 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 획득되며, 상기 요구된 타깃 이미지를 획득하기 위해 상기 메인 이미지에 대해 블러링 처리가 수행된다. 상기 메인 이미지 해상도 및 상기 보조 이미지 해상도는 상기 샷 이미지의 해상도 조절을 구현하기 위해, 상기 촬영 모드 및 상기 메인과 보조 카메라들의 상기 해상도들에 따라 판단되며, 상기 고정된 해상도는 일반적으로 이미지가 촬영된 후 후속 이미지 처리를 위해 더블 카메라들에 의해 채택되어 상대적으로 다양하지 않은 기능을 초래하고 사용자가 요건에 따라 상기 해상도를 조절하는 것을 불가능하게 한다는 종래 기술의 기술적 문제점을 해결한다.
상기 이전 실시 예에 기초하여, 상이한 촬영 모드들에서 상기 메인 이미지와 상기 보조 이미지의 상기 해상도들을 판단하는 방법을 보다 명확하게 설명하기 위해, 이미징 효과가 보장될 뿐만 아니라 샷 이미지의 해상도가 유연하게 조절될 수 있는 방법을 구현하기 위해, 본 출원의 실시 예는 더블 카메라 기반 이미징 방법의 다른 가능한 구현 모드를 제공한다.
도 3은 본 발명의 일 실시 예에 따른 더블 카메라 기반 다른 이미징 방법의 순서도를 도시한다. 도 3을 참조하면, 상기 방법은 다음 동작들을 포함한다.
(S301)에서, 더블 카메라들의 메인 카메라와 보조 카메라는 주변 휘도에 따라 판단된다.
구체적으로, 가능한 구현 형태로서, 상기 주변 휘도를 측정하기 위해 독립적인 측광 장치(photometer)가 채택될 수 있다.
또 다른 가능한 구현 형태로서, 제1카메라 및 제2카메라에 의해 자동으로 조절되는 ISO 값들이 판독될 수 있고, 상기 주변 휘도는 상기 판독된 ISO 값들에 따라 판단된다. 일반적으로, 상기 제1카메라와 상기 제2카메라는 동일한 ISO 값을 채택해야 하므로, 상기 ISO 값을 채택함으로써 상기 대응하는 주변 휘도가 판단될 수 있다. 그러나, 상기 제1카메라의 상기 판독된 ISO 값과 상기 제2카메라의 ISO 값이 상이하면, 상기 대응하는 주변 휘도는 둘의 평균값에 따라 판단될 수 있다.
ISO 값은 카메라의 ISO 값을 나타내도록 구성됨에 유의해야 한다. 일반적인 ISO 값들은 50, 100, 200, 400, 1,000 등을 포함한다. 주변 휘도에 따라 카메라가 자동으로 ISO 값일 수 있다. 따라서, 본 실시 예에서, 상기 주변 휘도는 상기 ISO 값들에 따라 역으로(reversely) 계산될 수 있다. 일반적으로, 충분한 조명 조건에서 상기 ISO 값은 50 또는 100이고, 불충분한 조명 조건에서 상기 ISO 값은 400 이상일 수 있다.
상기 더블 카메라들은 상기 제1카메라와 상기 제2카메라를 포함한다. 상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 ISO 값은 상기 제1카메라의 ISO 값보다 높다. 예를 들면, 상기 제1카메라는 16MP 카메라일 수 있고, 상기 제2카메라는 8MP 카메라일 수 있다.
구체적으로, 상기 주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라는 상기 메인 카메라로 판단되고, 상기 제2카메라는 상기 보조 카메라로 판단된다. 상기 주변 휘도가 상기 임계 휘도보다 높지 않으면, 상기 제2카메라는 메인 카메라로 판단되고, 상기 제1카메라는 상기 보조 카메라로 판단된다.
즉, 상기 주변 휘도가 상기 임계 휘도보다 높지 않은 조건 하의 불충분한 조명인 경우, 상기 고-해상도 카메라를 메인 카메라로 촬영할 때, 노이즈가 많아져서 이미징 효과가 열악해질 수 있기 때문이다. 따라서, 충분한 조명인 경우, 상기 고-ISO 카메라가 메인 카메라로서의 촬영에 채택될 수 있어, 상기 이미지에서 노이즈를 줄이고, 상기 이미징 효과를 향상시킨다.
반대로 상기 주변 휘도가 상기 임계 휘도보다 높은 조건 하의 충분한 광이 있는 경우, 상기 고해상도 카메라의 상기 해상도가 비교적 높고, 노이즈가 적은 비교적 선명한 이미지가 형성될 수 있어서, 상기 고해상도 카메라가 상기 메인 카메라로서의 촬영에 채택될 수 있고, 상기 고-ISO 카메라는 상기 보조 카메라로서 채택되어, 비교적 정확한 심도 정보를 계산할 수 있다. 따라서, 상기 이미징 효과가 향상된다.
(S302)에서, 제1이미지는 상기 메인 카메라에 의해 획득되고, 제2이미지는 상기 보조 카메라에 의해 획득된다.
예를 들면, 상기 주변 휘도가 상기 임계 휘도보다 높을 때, 상기 해상도가 16M인 상기 제1카메라가 상기 메인 카메라로 판단되고, 그에 의해 촬영된 상기 제1이미지의 해상도는 16M이고; 및 상기 해상도가 8M인 상기 제2카메라는 상기 보조 카메라로 판단되고, 그에 의해 촬영된 상기 제2이미지의 해상도는 8M이다.
상기 주변 휘도가 상기 임계 휘도보다 낮은 경우, 상기 해상도가 8M인 상기 제2카메라는 상기 메인 카메라로 판단되고, 그에 의해 촬영된 상기 제1이미지의 상기 해상도는 8M이고; 및 상기 해상도가 16M인 상기 제1카메라는 상기 보조 카메라로 판단되며, 그에 의해 촬영된 상기 제2이미지의 상기 해상도는 16M이다.
(S303)에서, 메인 이미지 해상도 및 보조 이미지 해상도는 선택된 촬영 모드(shooting mode)에 따라 획득되고, 그리고 상기 메인 카메라의 해상도, 상기 보조 카메라의 해상도 및 상기 촬영 모드에 대응하는 조절 계수(regulation coefficient)에 따라 획득된다.
구체적으로, 상기 촬영 모드는 전체-길이 모드와 절반-길이 모드를 포함한다. 상기 전체-길이 모드에 대응하는 조절 계수는 상기 절반-길이 모드에 대응하는 조절 계수보다 높다. 가능한 구현 모드로서, 상기 전체-길이 모드에 대응하는 상기 조절 계수는 1이고, 상기 절반-길이 모드에 대응하는 상기 조절 계수는 0.5이다.
예를 들면, 사용자가 선택한 상기 촬영 모드가 상기 전체-길이 모드인 경우, 상기 주변 휘도가 상기 임계 휘도보다 높은 경우, 상기 메인 카메라의 상기 해상도 16M 및 상기 보조 카메라의 상기 해상도 8M에 상기 전체-길이 모드에 대응하는 상기 조절 계수 1을 곱하여, 상기 메인 이미지 해상도 16M 및 상기 보조 이미지 해상도 8M을 각각 획득하며; 및 상기 주변 휘도가 상기 임계 휘도보다 낮은 경우, 상기 메인 카메라의 상기 해상도 8M 및 상기 보조 카메라의 상기 해상도 16M에 상기 전체-길이 모드에 대응하는 상기 조절 계수 1을 곱하여, 상기 메인 이미지 해상도 8M 및 상기 보조 이미지 해상도 16M을 각각 획득한다.
예를 들면, 상기 사용자가 선택한 상기 촬영 모드가 상기 절반-길이 모드인 경우, 상기 주변 휘도가 상기 임계 휘도보다 높은 경우, 상기 메인 카메라의 상기 해상도 16M 및 상기 보조 카메라의 상기 해상도 8M에 절반-길이 모드에 대응하는 조절 계수 0.5를 곱하여, 상기 메인 이미지 해상도 8M 및 상기 보조 이미지 해상도 4M을 각각 획득하고; 및 상기 주변 휘도가 상기 임계 휘도보다 낮은 경우, 상기 메인 카메라의 상기 해상도 8M 및 상기 보조 카메라의 상기 해상도 16M에 절반-길이 모드에 대응하는 조절 계수 0.5를 곱하여, 메인 이미지 해상도 4M 및 상기 보조 이미지 해상도 8M을 각각 획득한다.
상기 전체-길이 모드 및 상기 절반-길이 모드에 대응하는 상기 조절 계수는 또한 특정 조건에 따라 당업자에 의해 설정될 수 있고, 이는 실시 예에서 구체적으로 제한되지 않음에 유의해야 한다. 동일한 원리가 채택되었으므로, 본 명세서에서 상술하지 않는다.
(S304)에서, 상기 제1이미지의 해상도가 상기 메인 이미지 해상도보다 높은 경우, 상기 제1이미지는 크롭되어, 상기 메인 이미지 해상도를 가지는 메인 이미지를 획득한다.
타깃 영역은 상기 제1이미지에서 중심 영역이다. 상기 샷 이미지의 주변이 왜곡되고, 상기 중심 영역의 이미지 품질이 비교적 높기 때문에, 상기 메인 이미지로서 상기 제1이미지의 중심 영역을 크롭하면 상기 메인 이미지의 이미징 품질을 보장할 수 있다.
구체적으로, 상기 주변 휘도가 상기 임계 휘도보다 높은 경우, 상기 제1이미지의 상기 해상도는 16M이다. 상기 사용자가 현재 상기 전체-길이 모드를 선택한 경우, 상기 메인 이미지 해상도는 16M이고, 상기 제1이미지의 상기 해상도는 상기 메인 이미지 해상도와 동일하고, 상기 제1이미지를 크롭하는 것이 불필요하고, 상기 제1이미지는 상기 메인 이미지로 직접 판단되며, 상기 메인 이미지 해상도는 16M이고; 및 상기 사용자가 현재 상기 절반-길이 모드를 선택한 경우, 상기 메인 이미지 해상도는 8M이고, 상기 제1이미지의 상기 해상도는 상기 메인 이미지 해상도보다 높고, 상기 메인 이미지 해상도 8M를 가지는 영역은 상기 제1이미지의 상기 중심 영역으로부터 메인 이미지로서 크롭되고, 상기 메인 이미지 해상도는 8M이다.
상기 주변 휘도가 상기 임계 휘도보다 낮을 때, 상기 제1이미지의 해상도는 8M이다. 상기 사용자가 현재 전체-길이 모드를 선택한 경우, 상기 메인 이미지 해상도는 8M이고, 상기 제1이미지의 상기 해상도는 상기 메인 이미지 해상도와 동일하고, 상기 제1이미지를 크롭하는 것이 불필요하고, 상기 제1이미지는 상기 메인 이미지로 직접 판단되며, 상기 메인 이미지 해상도는 8M이고; 및 상기 사용자가 현재 절반-길이 모드를 선택한 경우, 상기 메인 이미지 해상도는 4M이고, 상기 제1이미지의 상기 해상도 8M는 상기 메인 이미지 해상도 4M보다 높고, 상기 메인 이미지 해상도 4M를 가지는 영역은 상기 제1이미지의 중앙 영역으로부터 상기 메인 이미지로서 크롭되고, 상기 메인 이미지 해상도는 4M이다.
(S305)에서, 상기 제2이미지의 해상도가 상기 보조 이미지 해상도보다 높은 경우, 상기 제2이미지는 크롭되어 보조 이미지 해상도를 가지는 보조 이미지를 획득한다.
상기 주변 휘도가 임계 휘도보다 높은 경우, 제 2 이미지의 상기 해상도는 8M이다. 상기 사용자가 현재 전체-길이 모드를 선택한 경우, 상기 보조 이미지 해상도는 8M이고, 상기 제2이미지의 상기 해상도는 상기 보조 이미지 해상도와 동일하고, 상기 제2이미지를 크롭할 필요가 없으며, 상기 제2이미지는 상기 보조 이미지로 직접 판단되며, 상기 보조 이미지 해상도는 8M이고; 및 상기 사용자가 현재 절반-길이 모드를 선택한 경우, 상기 보조 이미지 해상도는 4M이고, 상기 제2이미지의 상기 해상도는 상기 보조 이미지 해상도보다 높고, 상기 보조 이미지 해상도 4M를 가지는 영역은 상기 보조 이미지로서 상기 제2이미지의 상기 중심 영역으로부터 크롭되고, 상기 보조 이미지 해상도는 4M이다.
상기 주변 휘도가 상기 임계 휘도보다 낮을 때, 상기 제2이미지의 상기 해상도는 16M이다. 상기 사용자가 현재 전체-길이 모드를 선택한 경우, 상기 보조 이미지 해상도는 16M이고, 상기 제2이미지의 상기 해상도는 상기 보조 이미지 해상도와 동일하고, 상기 제2이미지를 크롭할 필요가 없으며, 상기 제2이미지는 상기 보조 이미지로 직접 판단되며, 상기 보조 이미지 해상도는 16M이고; 및 상기 사용자가 현재 절반-길이 모드를 선택한 경우, 상기 보조 이미지 해상도는 8M이고, 상기 제2이미지의 상기 해상도 16M는 상기 보조 이미지 해상도 8M보다 높고, 상기 보조 이미지 해상도 8M를 가지는 영역은 상기 보조 이미지로서 상기 제2이미지의 상기 중심 영역으로부터 크롭되고, 상기 보조 이미지 해상도는 8M이다.
(S306)에서, 상기 메인 이미지의 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 획득된다.
구체적으로, 상기 메인 이미지의 상기 심도 정보는 상기 메인 이미지와 상기 보조 이미지에서 동일한 피사체의 위치 편차(position deviation) 및 상기 더블 카메라들의 파라미터들에 따라 판단된다.
특정 계산 프로세스는 전술한 실시 예에서의 동작(S106)에 관한 관련 설명을 참조하고, 본 실시 예에서는 상세하게 설명하지 않을 것이다.
(S307)에서, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리가 수행되어 요구된 타깃 이미지를 획득한다.
구체적으로, 상기 메인 이미지의 상기 심도 정보가 계산된 후, 상기 메인 이미지에서 상기 피사체의 심도 정보에 따라 피사체가 전경인지 또는 배경인지 여부가 판단될 수 있다. 일반적으로, 상기 심도 정보가 상기 피사체가 상기 메인 카메라와 상기 보조 카메라가 위치한 상기 평면에 상대적으로 가깝고, 심도 값이 상대적으로 작음을 나타내는 경우, 상기 피사체가 전경인 것으로 판단될 수 있고, 그렇지 않으면 상기 피사체는 배경인 것으로 판단될 수 있다.
상기 인식된 배경에 대해 블러링 처리를 수행하여 타깃 이미지를 획득할 수 있다. 상기 타깃 이미지에서, 상기 전경이 더 강조되고, 상기 배경이 블러링되어 상기 전경에 초점을 맞춘 이미징 효과가 나타난다.
(S308)에서, 상기 메인 이미지 해상도가 상기 보조 이미지 해상도보다 낮은 경우, 업-샘플링(up-sampling)은 상기 타깃 이미지에 대해 수행되며, 상기 업-샘플링된 타깃 이미지의 해상도는 상기 보조 이미지 해상도와 동일하다.
구체적으로, 동작(S303)에 기술된 바와 같이, 상기 주변 휘도가 상기 임계 휘도보다 낮을 때, 상기 획득된 메인 이미지 해상도는 상기 보조 이미지 해상도보다 낮고, 상기 타겟 이미지의 상기 해상도에 대해 업-샘플링이 수행되며, 예를 들어 업-샘플링에 보간법(interpolation method)이 채택되고, 업-샘플링에 의해 획득된 상기 타깃 이미지의 상기 해상도는 상기 보조 이미지 해상도와 동일하다.
예를 들면, 상기 전체-길이 모드에서, 상기 메인 이미지 해상도는 8M이고, 상기 보조 이미지 해상도는 16M이며, 상기 메인 이미지에 대한 블러링 처리로 획득된 상기 타깃 이미지의 상기 해상도는 8M이고, 상기 타깃 이미지에 대해 업-샘플링이 수행되어 상기 해상도가 16M인 상기 타깃 이미지를 획득하며, 및 상기 업-샘플링된 타깃 이미지의 상기 해상도는 상기 보조 이미지 해상도와 동일하며, 16M이다.
즉, 어두운 환경에서 상기 메인 이미지를 획득하기 위해 상대적으로 낮은 해상도와 상대적으로 높은 ISO 값을 가진 제2카메라가 선택되고, 상기 메인 이미지의 해상도는 낮지만 이미징 품질은 높기 때문이다. 상기 메인 이미지에 대해 업-샘플링이 수행되므로 상기 어두운 환경에서 이미지 품질이 보장되고, 상기 타깃 이미지의 상기 해상도가 향상되며, 상기 타깃 이미지의 상기 해상도는 비교적 높은 보조 이미지 해상도와 동일하다.
본 출원의 실시 예의 더블 카메라 기반 이미징 방법에서, 상기 메인 카메라는 상기 제1이미지를 획득하고, 상기 보조 카메라는 상기 제2이미지를 획득하며, 상기 메인 이미지 해상도 및 상기 보조 이미지 해상도는 상기 판단된 촬영 모드 및 상기 메인 카메라 및 상기 보조 카메라의 해상도에 따라 각각 판단되며, 상기 제1이미지는 상기 메인 이미지 해상도를 가지는 상기 기본 이미지로 변환되고, 상기 제2이미지는 상기 보조 이미지 해상도를 가지는 상기 보조 이미지로 변환되며, 상기 메인 이미지의 상기 심도 정보는 상기 메인 이미지 및 상기 보조 이미지에 따라 획득되며, 상기 요구된 타깃 이미지를 획득하기 위해 상기 메인 이미지에 블러링 처리가 수행된다. 상기 메인 이미지 해상도 및 상기 보조 이미지 해상도는 샷 이미지의 해상도 조절을 구현하기 위해 상기 촬영 모드 및 상기 메인과 보조 카메라들의 상기 해상도에 따라 판단된다. 상기 전체-길이 모드는 전체-해상도 이미징을 나타내고, 더 선명한 이미지가 형성될 수 있으며; 및 상기 절반-길이 모드는 이미징을 위해 원본 이미지에서 중앙 영역을 크롭하는 것을 말하고, 상기 이미지 주변 왜곡의 영향이 줄어들 수 있으며, 주제가 더 강조될 수 있고, 그 사이, 처리 속도가 증가된다. 마찬가지의 줌 효과(zooming effect)를 획득하기 위해 또한 두 모드들이 전환될 수 있다.
상술한 실시 예들을 구현하기 위해, 본 발명은 더블 카메라 기반 이미징 장치를 추가로 개시한다.
도 4은 본 발명의 일 실시 예에 따른 더블 카메라 기반 이미징 장치의 구조도이다. 도 4를 참조하면, 상기 장치는 획득 모듈(acquisition module)(41), 판정 모듈(determination module)(42), 변환 모듈(conversion module)(43), 피사계 심도 모듈(field depth module)(44) 및 처리 모듈(processing module)(45)을 포함한다.
상기 획득 모듈(41)은 메인 카메라에 의해 제1이미지를 획득하고, 보조 카메라에 의해 제2이미지를 획득하도록 구성된다.
상기 판정 모듈(42)은 선택된 촬영 모드를 판단하고, 상기 촬영 모드 및 상기 메인 카메라의 해상도에 따라 메인 이미지 해상도를 판단하며, 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 보조 이미지 해상도를 판단하도록 구성된다. 상기 촬영 모드는 전체-길이 모드와 절반-길이 모드를 포함한다.
상기 변환 모듈(43)은 상기 제1이미지를 상기 메인 이미지 해상도를 가지는 메인 이미지로 변환하고, 상기 제2이미지를 상기 보조 이미지 해상도를 가지는 보조 이미지로 변환하도록 구성된다.
상기 피사계 심도 모듈(44)은 상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 심도 정보를 획득하도록 구성된다.
상기 처리 모듈(45)은 상기 메인 이미지의 상기 심도 정보에 따라 메인 이미지에 대해 블러링 처리를 수행하여 요구된 타깃 이미지를 획득하도록 구성된다.
상기 전술한 방법 실시 예에 대한 설명들 및 기술들은 또한 본 실시 예의 상기 장치에 적용되며, 본 명세서에서 상세하게 설명되지 않을 것임을 유의해야 한다.
본 출원의 상기 실시 예의 더블 카메라 기반 이미징 장치에서, 상기 획득 모듈은 상기 메인 카메라에 의해 상기 제1이미지를 획득하고, 상기 보조 카메라에 의해 상기 제2이미지를 획득하도록 구성되고, 상기 판정 모듈은 상기 선택된 촬영 모드를 판단하고, 상기 촬영 모드 및 상기 메인 카메라의 상기 해상도에 따라 상기 메인 이미지 해상도를 판단하고, 상기 촬영 모드 및 상기 보조 카메라의 상기 해상도에 따라 상기 보조 이미지 해상도를 판단하며, 상기 변환 모듈은 상기 제1이미지를 상기 메인 이미지 해상도를 가지는 상기 메인 이미지로 변환하고 제2이미지를 상기 보조 이미지 해상도를 가지는 상기 보조 이미지로 변환하도록 구성되고, 상기 피사계 심도 모듈은 상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 상기 피사계 심도 정보를 획득하도록 구성되고, 상기 처리 모듈은 상기 요구된 타깃 이미지를 획득하기 위해 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하도록 구성된다. 본 실시 예에서, 상기 메인 이미지 해상도 및 상기 보조 이미지 해상도는 상기 샷 이미지의 해상도 조절을 구현하기 위해 상기 촬영 모드 및 상기 메인과 보조 카메라들의 상기 해상도에 따라 판단되며, 고정된 해상도는 일반적으로 이미지가 촬영된 후 후속 이미지 처리를 위해 더블 카메라들에 의해 채택되어, 상대적으로 다양하지 않은 기능을 초래하고, 사용자가 요건에 따라 상기 해상도를 조절하는 것을 불가능하게 한다는 종래 기술의 기술적 문제점을 해결한다.
전술한 실시 예들에 기초하여, 본 출원은 더블 카메라 기반 이미징을 위한 장치의 가능한 구현 모드를 추가로 개시한다. 도 5는 본 발명의 일 실시 예에 따른 더블 카메라 기반 이미징을 위한 다른 장치의 구조도이다. 도 5를 참조하면, 이전 실시 예에 기초하여, 상기 장치는 스위칭 모듈(switching module)(46) 및 업-샘플링 모듈(up-sampling module)(47)을 더 포함할 수 있다.
상기 스위칭 모듈(46)은, 주변 휘도가 임계 휘도보다 높은 경우, 제1카메라를 상기 메인 카메라로 판단하고, 제2카메라를 상기 보조 카메라로 판단하며; 및 상기 주변 휘도가 상기 임계 휘도보다 낮은 경우, 상기 제2카메라를 상기 메인 카메라로 판단하고, 상기 제1카메라를 보조 카메라로 판단한다.
상기 업-샘플링 모듈(47)은 상기 메인 이미지 해상도가 상기 보조 이미지 해상도보다 낮은 경우, 상기 타깃 이미지에 대해 업-샘플링을 수행하고, 상기 업-샘플링된 타깃 이미지의 해상도는 상기 보조 이미지 해상도와 동일하도록 구성된다. 본 출원의 상기 실시 예의 가능한 구현 모드에서, 상기 판정 모듈(42)은 제1조작 유닛(first operation unit)(421) 및 제2조작 유닛(second operation unit)(422)을 더 포함할 수 있다.
상기 제1조작 유닛(421)은 상기 메인 카메라의 해상도, 및 상기 촬영 모드에 대응하는 조절 계수에 따라 상기 메인 이미지 해상도를 획득하도록 구성된다.
상기 제2조작 유닛(422)은 상기 보조 카메라의 해상도, 및 상기 촬영 모드에 대응하는 조절 계수에 따라 상기 보조 이미지 해상도를 획득하도록 구성된다.
또한, 본 출원의 상기 실시 예의 가능한 구현 모드에서, 상기 변환 모듈(43)은 구체적으로, 상기 제1이미지의 해상도가 상기 메인 이미지 해상도보다 높은 경우, 상기 제1이미지를 크롭하여 상기 메인 이미지 해상도를 가지는 상기 메인 이미지를 획득하고; 및 상기 제2이미지의 해상도가 상기 보조 이미지 해상도보다 높은 경우, 상기 제2이미지를 크롭하여 상기 보조 이미지 해상도를 가지는 상기 보조 이미지를 획득한다.
전술한 방법 실시 예에 대한 설명들 및 기술들은 또한 실시 예의 장치에 적용되며, 본 명세서에서 상세하게 설명되지 않을 것임을 유의해야 한다.
본 출원의 상기 실시 예의 더블 카메라 기반 이미징 장치에서, 상기 획득 모듈은 상기 메인 카메라에 의해 상기 제1이미지를 획득하고, 상기 보조 카메라에 의해 상기 제2이미지를 획득하도록 구성되고, 상기 판정 모듈은 상기 선택된 촬영 모드를 판단하고, 상기 촬영 모드 및 상기 메인 카메라의 상기 해상도에 따라 상기 메인 이미지 해상도를 판단하고, 상기 촬영 모드 및 상기 보조 카메라의 상기 해상도에 따라 상기 보조 이미지 해상도를 판단하며; 상기 변환 모듈은 상기 제1이미지를 상기 메인 이미지 해상도를 가지는 상기 메인 이미지로 변환하고, 상기 제2이미지를 상기 보조 이미지 해상도를 가지는 상기 보조 이미지로 변환하도록 구성되고, 상기 피사계 심도 모듈은 상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 상기 심도 정보를 획득하도록 구성되고, 및 상기 처리 모듈은 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하여 상기 요구된 타깃 이미지를 획득하도록 구성된다. 본 실시 예에서, 상기 메인 이미지 해상도 및 상기 보조 이미지 해상도는 상기 촬영 모드 및 상기 메인과 보조 카메라들의 상기 해상도들에 따라 판단되어, 샷 이미지의 해상도의 조절을 구현한다. 상기 전체-길이 모드는 전체-해상도 이미징을 나타내며, 더 선명한 이미지가 형성될 수 있고; 및 상기 절반-길이 모드는 이미징을 위해 원본 이미지로부터 중심 영역을 크롭하는 것을 나타내며, 상기 이미지 주변의 왜곡의 영향이 감소될 수 있고, 주제가 더 강조될 수 있으며, 그 사이에 처리 속도가 증가된다. 유사한 줌 효과를 획득하기 위해, 또한 상기 두 모드들을 전환할 수 있다.
전술한 실시 예들을 구현하기 위해, 본 발명은 이동 단말기를 추가로 개시한다. 도 6은 본 발명의 다른 실시 예에 따른 단말 기기의 구조도이다. 도 6을 참조하면, 상기 단말 기기(1000)는 쉘(shell)(1100), 및 쉘(1100)에 위치한 제1카메라(first camera)(1112), 제2카메라(second camera)(1113), 메모리(memory)(1114) 및 프로세서(processor)(1115)를 포함한다.
실행 가능한 프로그램 코드는 상기 메모리(1114)에 저장되고; 및 상기 프로세서(1115)는 상기 메모리(1114)에 저장된 상기 실행 가능한 프로그램 코드를 판독하여 상기 실행 가능한 프로그램 코드에 대응하는 프로그램을 실행하여 상기 더블 카메라들의 메인 카메라 및 보조 카메라를 판단하고, 전술한 방법 실시 예의 더블 카메라 기반 이미징 방법을 구현하기 위해, 상기 메인 카메라 및 상기 보조 카메라를 촬영하도록 제어한다
상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 ISO 값은 상기 제1카메라의 ISO 값보다 높다.
상기 제1카메라에 고해상도를 부여하기 위해 16M 카메라가 채택될 수 있고, 물론 다른 고-해상도 카메라가 또한 채택될 수 있다. 실시 예에서 이에 대한 제한은 없다.
또한, 상기 제2카메라에 고-ISO 값을 부여하기 위해, 더 큰 픽셀 입자들 및 고-ISO 값을 보장하는 8M 카메라가 채택될 수 있고, 물론 다른 고-ISO 카메라가 또한 채택될 수 있다. 실시 예에서 이에 대한 제한은 없다.
전술한 실시 예들을 구현하기 위해, 본 발명은 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 저장 매체를 추가로 개시한다. 상기 프로그램은 전술한 실시 예에서 더블 카메라 기반 이미징 방법을 구현하기 위해 이동 단말기의 프로세서에 의해 실행된다.
상기 이동 단말기는 이미지 처리 회로를 더 포함하고, 상기 이미지 처리 회로는 하드웨어 및/또는 소프트웨어 컴포넌트를 사용하여 구현될 수 있고, 상기 이미지 신호 처리(ISP) 파이프 라인을 정의하는 다양한 처리 유닛을 포함할 수 있다. 도 7은 일 실시 예에 따른 이미지 처리 회로(image processing circuit)의 개략도이다. 도 7을 참조하면, 본 발명의 실시 예와 관련된 이미지 처리 기술의 각 측면은 설명의 편의를 위해 단지 도시되어 있다.
도 7을 참조하면, 상기 이미지 처리 회로는 ISP 유닛(Image Signal Processing unit)(940) 및 제어 로직 유닛(control logic unit)(950)을 포함한다. 이미징 기기(910)에 의해 캡처된 이미지 데이터는 먼저 상기 ISP 유닛(940)에 의해 처리되고, 상기 ISP 유닛(940)은 상기 ISP 유닛 및/또는 이미징 장치(910)의 하나 이상의 제어 파라미터들을 판단하도록 구성 가능한 이미지 통계 정보를 캡처하기 위해 상기 이미지 데이터를 분석한다. 상기 이미징 기기(910)는 구체적으로 두 카메라들을 포함할 수 있고, 각각의 카메라는 하나 이상의 렌즈들(lenses)(912) 및 이미지 센서(sensor)(914)를 포함할 수 있다. 상기 이미지 센서(914)는 컬러 필터 어레이(예를 들어, 베이어 필터)를 포함할 수 있고, 상기 이미지 센서(914)는 상기 이미지 센서(914)의 각각의 이미징 픽셀에 의해 캡처된 광 강도(light intensity) 및 파장 정보(wavelength information)를 획득할 수 있고, 상기 ISP 유닛(940)에 대해 처리 가능한 원본 이미지 데이터 세트를 제공한다. 센서(920)는 상기 센서(920)의 인터페이스 유형에 기초하여 상기 ISP 유닛(940)에 대한 상기 원본 이미지 데이터를 제공할 수 있다. 상기 센서(920)의 인터페이스는 표준 모바일 이미징 아키텍처(Standard Mobile Imaging Architecture: SMIA) 인터페이스, 다른 직렬 또는 병렬 카메라 인터페이스(serial or parallel camera interface) 또는 상기 인터페이스들의 조합을 채택할 수 있다.
상기 ISP 유닛(940)은 복수의 포맷들에 따라 픽셀 단위로 상기 원본 이미지 데이터를 처리한다. 예를 들면, 각각의 이미지 픽셀은 8, 10, 12 또는 14 비트의 비트 깊이(bit depth)를 가질 수 있다. 상기 ISP 유닛(940)은 상기 원본 이미지 데이터에 대해 하나 이상의 이미지 처리 조작들을 수행하고, 상기 이미지 데이터에 대한 상기 이미지 통계 정보(image statistical information)를 수집할 수 있다. 상기 이미지 처리 조작들은 동일하거나 상이한 비트 깊이 정확도에 따라 실행될 수 있다.
상기 ISP 유닛(940)은 이미지 메모리(930)로부터 상기 픽셀 데이터를 더 수신할 수 있다. 예를 들면, 상기 센서(920)의 상기 인터페이스는 상기 원본 픽셀 데이터를 상기 이미지 메모리(930)로 전송하고, 상기 이미지 메모리(930)의 상기 원본 픽셀 데이터는 처리를 위해 상기 ISP 유닛(940)에 제공된다. 상기 이미지 메모리(930)는 메모리 장치, 저장 기기 또는 전자 장치의 독립적인 전용 메모리의 일부일 수 있으며, DMA(Direct Memory Access) 특징을 포함할 수 있다.
상기 센서(920)의 상기 인터페이스 또는 이미지 메모리(930)로부터 상기 원본 이미지 데이터를 수신할 때, 상기 ISP 유닛(940)은 하나 이상의 이미지 처리 조작들, 예를 들어 시간-도메인 필터링(time-domain filtering)을 실행할 수 있다. 상기 처리된 이미지 데이터는 디스플레이 전에 다른 처리를 위해 상기 이미지 메모리(930)로 전송될 수 있다. 상기 ISP 유닛(940)은 상기 이미지 메모리(930)로부터 상기 처리된 데이터를 수신하고, 원본 도메인에서 이미지 데이터를 처리를 수행하고, 및 상기 처리된 데이터에 대해 RGB(Red, Green and Blue) 및 YCbCr 컬러 공간을 처리한다. 상기 처리된 이미지 데이터는 GPU(Graphics Processing Unit)에 의해 사용자가 뷰 및/또는 추가 처리를 위해 디스플레이(970)에 출력될 수 있다. 또한, 상기 ISP 유닛(940)의 출력은 상기 이미지 메모리(930)로 더 전송될 수 있고, 상기 디스플레이(970)는 상기 이미지 메모리(930)로부터 상기 이미지 데이터를 판독할 수 있다. 본 실시 예에서, 상기 이미지 메모리(930)는 하나 이상의 프레임 버퍼들(frame buffers)을 구현하도록 구성될 수 있다. 더욱이, 상기 ISP 유닛(940)의 상기 출력은 상기 이미지 데이터를 코딩/디코딩하기 위해 코더/디코더(coder/decoder)(960)로 전송될 수 있다. 상기 코딩된 이미지 데이터는 저장될 수 있고, 상기 디스플레이(970) 상에 디스플레이되기 전에 압축 해제된다. 상기 코더/디코더(960)는 CPU(Central Processing Unit) 또는 GPU 또는 코 프로세서(coprocessor)에 의해 구현될 수 있다.
상기 ISP 유닛(940)에 의해 판단된 상기 통계 정보는 상기 제어 로직 유닛(950)으로 전송될 수 있다. 예를 들면, 상기 통계 정보는 상기 이미지 센서(914)의 자동 노출, 자동 화이트 밸런스, 자동 초점, 섬광 검출, 블랙 레벨 보상, 상기 렌즈(912)의 그림자 보정 등의 통계 정보를 포함할 수 있다. 상기 제어 로직 유닛(950)은 하나 이상의 루틴들(예를 들어, 펌웨어)을 실행하는 프로세서 및/또는 마이크로 컨트롤러를 포함할 수 있고, 하나 이상의 루틴들은 상기 수신된 통계 데이터에 따라 상기 이미징 기기(910)의 상기 제어 파라미터 및 ISP 유닛의 상기 제어 파라미터를 판단할 수 있다. 예를 들면, 상기 제어 파라미터는, 상기 센서(920)에 대한 제어 파라미터(예를 들어, 이득 및 노출 제어를 위한 적분 시간), 카메라 섬광 제어 파라미터, 상기 렌즈(912)에 대한 제어 파라미터(예를 들어, 포커싱 또는 줌을 위한 초점 길이) 또는 이러한 파라미터들의 조합을 포함할 수 있다. 상기 ISP 유닛에 대한 상기 제어 파라미터는 (예를 들어, RGB 처리 동안) 자동 화이트 밸런스 및 컬러 조절을 위해 구성된 이득 레벨 및 컬러 보정 매트릭스 및 렌즈(912)에 대한 그림자 보정 파라미터를 포함할 수 있다.
본 명세서의 상기 설명들에서, "실시 예", "일부 실시 예", "예시", "구체 예시", "일부 예시"등의 용어를 참조하여 이루어진 설명들은, 상기 실시 예 또는 상기 예시와 조합하여 기술된 특정 특징들, 구조들, 재료들 또는 특성들은 본 발명의 적어도 하나의 실시 예 또는 예시에 포함된다는 것을 의미한다. 본 명세서에서, 이들 용어는 반드시 동일한 실시 예 또는 예시에 대해 개략적으로 표현되는 것은 아니다. 또한, 구체적으로 설명된 특징들, 구조들, 재료들 또는 특성들은 임의의 하나 이상의 실시 예들 또는 예시들에서 적절한 방식으로 결합될 수 있다. 또한, 당업자는 본 명세서에 기술된 상이한 실시 예들 또는 예시들 및 상이한 실시 예들 또는 예시들의 특징들을 충돌없이 통합하고 결합할 수 있다.
또한, "제1" 및 "제2" 라는 용어들은 단지 설명을 위해 채택된 것으로서, 상대적 중요성을 나타내거나 암시하거나 상기 지시된 기술적 특징들의 수를 암시적으로 나타내는 것으로 이해되어서는 안 된다. 따라서, "제1" 및 "제2"에 의해 정의된 특징은 그러한 특징 중 적어도 하나의 포함을 명시적 또는 암시적으로 나타낼 수 있다. 본 발명의 상기 설명들에서, "다수"는 달리 명확하고 구체적으로 제한되지 않는 한, 적어도 둘 예를 들어 둘 및 셋을 의미한다.
상기 순서도들에서 또는 다른 방식으로 본 명세서에 기술된 임의의 프로세스 또는 방법은 상기 프로세스의 특정 논리 기능들 또는 동작들을 실현하도록 구성된 하나 이상의 실행 가능한 명령어들의 코드들을 포함하는 모듈, 세그먼트 또는 파트를 나타내는 것으로 이해될 수 있고, 또한, 본 발명의 바람직한 구현 모드의 범위는 상기 관련된 기능에 따른 기본적으로 동시에 또는 반대 순서로 상기 기능들의 실행을 포함하여, 본 명세서에서 도시되거나 논의된 순서가 아닌 다른 구현을 포함한다. 이는 본 발명의 실시 예들의 당업자에 의해 이해되어야 한다.
상기 순서도들에서 또는 다른 방법으로 본 명세서에 기술된 논리들 및/또는 동작들은, 예를 들어, 상기 논리 기능들을 실현하도록 구성된 실행 가능한 명령어들의 고정된 순서 목록으로서 간주될 수 있고, 명령어 실행 시스템, 장치 또는 기기가 명령어 실행 시스템, 장치 또는 기기(예를 들어, 컴퓨터 기반 시스템으로서, 상기 시스템은 명령어 실행 시스템, 장치 또는 기기로부터 명령어들을 읽고 상기 명령어들을 실행할 수 있는 프로세서 또는 다른 시스템을 포함함)와 함께 사용하거나 사용하기 위해 임의의 컴퓨터 판독 가능 매체에서 구체적으로 구현될 수 있다. 본 명세서에 대해서, "컴퓨터 판독 가능 매체"는 명령어 실행 시스템, 장치 또는 기기가 사용할 프로그램 또는 상기 명령어 실행 시스템, 장치 또는 기기와 조합하여 사용할 목적의 프로그램을 포함, 저장, 통신, 전파 또는 전송할 수 있는 임의의 장치일 수 있다. 상기 컴퓨터 판독 가능 매체의 보다 구체적인 예(비 제한 목록)는, 하나 이상의 전선을 가지는 전기 연결부(전자 장치), 휴대용 컴퓨터 디스크(자기 장치), 랜덤 액세스 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(EPROM) (또는 플래시 메모리), 광섬유 장치, 및 휴대용 콤팩트 디스크 읽기 전용 메모리(CD-ROM)를 포함한다. 또한, 상기 컴퓨터 판독 가능 매체는 심지어 종이 또는 프로그램이 인쇄될 수 있는 다른 매체일 수 있고, 이는 예를 들어, 상기 컴퓨터 메모리에 저장할 목적으로 전자 방식으로 프로그램을 획득하기 위해 상기 종이 또는 상기 다른 매체는 광학적으로 스캔된 후 편집, 설명 또는 필요할 때 다른 적절한 방식으로 처리될 수 있기 때문이다.
본 발명의 각 부분은 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 구현될 수 있음을 이해해야 한다. 전술한 구현 모드에서, 다수의 동작들 또는 방법들은 메모리에 저장된 소프트웨어 또는 펌웨어에 의해 구현되고, 적절한 명령어 실행 시스템에 의해 실행될 수 있다. 예를 들면, 상기 하드웨어로 구현하는 경우, 다른 구현 모드와 같이 당업계에 공지된 데이터 신호의 논리 기능을 실현하기 위한 논리 게이트 회로를 가지는 이산 논리 회로(discrete logic circuit), 적절한 조합 논리 게이트 회로를 가지는 어플리케이션-특정 집적 회로(application-specific integrated circuit), 프로그래머블 게이트 어레이(PGA), FPGA (Field Programmable Gate Array) 등의 기술 중 임의의 하나 또는 조합이 구현을 위해 채택될 수 있다.
당업자는 전술한 실시 예의 상기 방법에서 상기 동작들의 전부 또는 일부가 프로그램에 의해 지시된 관련 하드웨어를 통해 완료될 수 있음을 이해해야 하고, 상기 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 상기 프로그램이 실행될 때, 상기 방법 실시 예의 동작 중 하나 이상의 동작들이 포함된다.
또한, 본 발명의 각 실시 예에서의 각각의 기능 유닛은 처리 모듈에 통합될 수 있고, 각각의 유닛은 또한 물리적으로 독립적으로 존재할 수 있고, 둘 이상의 유닛들이 또한 하나의 모듈에 통합될 수 있다. 상기 통합 모듈은 하드웨어 형태로 구현될 수 있고, 소프트웨어 기능 모듈 형태로도 구현될 수 있다. 소프트웨어 기능 모듈의 형태로 구현되고, 독립적인 제품으로서 판매 또는 사용되는 경우, 상기 통합 모듈은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다.
상기 저장 매체는 읽기 전용 메모리, 자기 디스크, 광 디스크 등일 수 있다. 본 발명의 실시 예는 위에서 예시되거나 설명되었다. 그러나, 전술한 실시 예들은 예시적인 것이며 본 발명에 대한 제한으로서 이해되어서는 안 되며, 당업자는 본 발명의 범위 내에서 상기 언급된 실시 예에 대한 변형, 수정, 대체, 전환을 행할 수 있음을 이해할 수 있다.

Claims (15)

  1. 메인 카메라로 제1이미지를 획득하고, 보조 카메라로 제2이미지를 획득하는 동작;
    선택된 촬영 모드를 판단하는 동작;
    상기 촬영 모드 및 상기 메인 카메라의 해상도에 따라 메인 이미지 해상도를 판단하고, 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 보조 이미지 해상도를 판단하는 동작;
    상기 제1이미지를 상기 메인 이미지 해상도를 가지는 메인 이미지로 변환하는 동작;
    상기 제2이미지를 상기 보조 이미지 해상도를 가지는 보조 이미지로 변환하는 동작; 및
    상기 메인 이미지 및 상기 보조 이미지에 따라 요구된 타깃 이미지를 획득하는 동작;
    을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  2. 제 1 항에 있어서,
    상기 메인 이미지 및 상기 보조 이미지에 따라 상기 요구된 타깃 이미지를 획득하는 동작은:
    상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 심도 정보를 획득하는 동작;
    상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하여 상기 요구된 타깃 이미지를 획득하는 동작;
    을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  3. 제 1 항에 있어서,
    상기 촬영 모드 및 상기 메인 카메라의 상기 해상도에 따라 상기 메인 이미지 해상도를 판단하는 동작은:
    상기 메인 카메라의 상기 해상도 및 상기 촬영 모드에 대응하는 조절 계수에 따라 상기 메인 이미지 해상도를 획득하는 동작;
    을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  4. 제 1 항에 있어서,
    상기 촬영 모드 및 상기 보조 카메라의 상기 해상도에 따라 상기 보조 이미지 해상도를 판단하는 동작은:
    상기 보조 카메라의 상기 해상도 및 상기 촬영 모드에 대응하는 상기 조절 계수에 따라 상기 보조 이미지 해상도를 획득하는 동작;
    을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  5. 제 3 항 또는 제 4 항에 있어서,
    상기 촬영 모드는 전체-길이 모드 및 절반-길이 모드를 포함하고;
    상기 전체-길이 모드는 상기 절반-길이 모드에 대응하는 조절 계수보다 높은 조절 계수를 가지는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  6. 제 1 항에 있어서,
    상기 제1이미지를 상기 메인 이미지 해상도를 가지는 상기 메인 이미지로 변환하는 동작은:
    상기 제1이미지의 해상도가 상기 메인 이미지 해상도보다 높은 경우, 상기 제1이미지를 크로핑(cropping)하여 상기 메인 이미지 해상도를 가지는 상기 메인 이미지를 획득하는 동작을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  7. 제 1 항에 있어서,
    상기 제2이미지를 상기 보조 이미지 해상도를 가지는 상기 보조 이미지로 변환하는 동작은:
    상기 제2이미지의 해상도가 상기 보조 이미지 해상도보다 높은 경우, 상기 제2이미지를 크로핑하여 상기 보조 이미지 해상도를 가지는 상기 보조 이미지를 획득하는 동작;
    을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  8. 제 1 항에 있어서,
    상기 더블 카메라들은 제1카메라 및 제2카메라를 포함하고,
    상기 제1카메라의 해상도가 상기 제2카메라의 해상도보다 높고,
    상기 제2카메라의 ISO(International Organization for Standardization) 값이 상기 제1카메라의 ISO 값보다 높으며; 및
    상기 메인 카메라로 상기 제1이미지를 획득하고, 상기 보조 카메라로 상기 제2이미지를 획득하는 동작 전에,
    상기 방법은,
    주변 휘도가 임계 휘도보다 높은 경우, 상기 제1카메라를 상기 메인 카메라로 판단하고, 상기 제2카메라를 상기 보조 카메라로 판단하는 동작; 및
    상기 주변 휘도가 상기 임계 휘도보다 높은 경우, 상기 제2카메라를 상기 메인 카메라로 판단하고, 상기 제1카메라를 상기 보조 카메라로 판단하는 동작;
    을 더 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  9. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 블러링 처리를 수행하여 요구된 상기 타깃 이미지를 획득하는 동작 후에,
    상기 방법은,
    상기 메인 이미지 해상도가 상기 보조 이미지 해상도보다 낮은 경우, 상기 타깃 이미지에 대해 업-샘플링을 수행하는 동작-상기 업-샘플링된 타깃 이미지의 해상도는 상기 보조 이미지 해상도와 동일함-;
    을 더 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 방법.
  10. 메인 카메라로 촬영된 제1이미지를 획득하고, 보조 카메라로 촬영된 제2이미지를 획득하도록 구성된 획득 모듈;
    선택된 촬영 모드를 판단하고, 상기 촬영 모드 및 상기 메인 카메라의 해상도에 따라 메인 이미지 해상도를 판단하고, 상기 촬영 모드 및 상기 보조 카메라의 해상도에 따라 보조 이미지 해상도를 판단하도록 구성된 판정 모듈-상기 촬영 모드는 전체-길이 모드 및 절반-길이 모드를 포함함-;
    상기 제 1이미지에 따라 상기 메인 이미지 해상도를 가지는 메인 이미지를 생성하고, 상기 제2이미지에 따라 상기 보조 이미지 해상도를 가지는 보조 이미지를 생성하도록 구성된 생성 모듈; 및
    상기 메인 이미지 및 상기 보조 이미지에 따라 요구된 타깃 이미지를 획득하도록 구성된 처리 모듈;
    을 포함하는 것을 특징으로 하는, 더블 카메라 기반 이미징 장치.
  11. 제 10 항에 있어서,
    상기 메인 이미지 및 상기 보조 이미지에 따라 상기 메인 이미지의 심도 정보를 획득하도록 구성된 피사계 심도 모듈;
    을 더 포함하고,
    상기 처리 모듈은, 상기 메인 이미지의 상기 심도 정보에 따라 상기 메인 이미지에 대해 블러링 처리를 수행하여 상기 요구된 타깃 이미지를 획득하도록 구성되는 것을 특징으로 하는, 더블 카메라 기반 이미징 장치.
  12. 제 10 항에 있어서,
    상기 판정 모듈은, 상기 메인 카메라의 상기 해상도 및 상기 촬영 모드에 대응하는 상기 조절 계수에 따라 상기 메인 이미지 해상도를 획득하고, 상기 보조 카메라의 상기 해상도 및 상기 촬영 모드에 대응하는 상기 조절 계수에 따라 상기 보조 이미지 해상도를 획득하도록 구성되는 것을 특징으로 하는, 더블 카메라 기반 이미징 장치.
  13. 프로세서 및 명령어들을 저장하는 메모리를 포함하고, 상기 프로세서에 의해 실행될 때, 상기 명령어들은 상기 프로세서로 하여금 제 1 항 내지 제 9 항 중 어느 한 항에 따른 방법을 수행하게 하는 것을 특징으로 하는, 이동 단말기.
  14. 제 14 항에 있어서,
    더블 카메라들은 제1카메라 및 제2카메라를 포함하고,
    상기 제1카메라의 해상도는 상기 제2카메라의 해상도보다 높고, 상기 제2카메라의 ISO는 상기 제1카메라의 ISO보다 높으며, 상기 제1카메라와 상기 제2카메라의 시야각들은 동일하고, 및
    상기 프로세서(1115)는 상기 더블 카메라에서 메인 카메라 및 보조 카메라를 판단하는 상기 명령어들을 실행하고, 상기 메인 카메라 및 상기 보조 카메라가 촬영하도록 제어하는 것을 특징으로 하는, 이동 단말기.
  15. 컴퓨터 프로그램이 저장되고, 상기 컴퓨터 프로그램은 프로세서에 의해 실행되어, 제1항 내지 제9항 중 어느 한 항에 따른 방법을 구현하는 것을 특징으로 하는, 컴퓨터 판독 가능 저장 매체.
KR1020207008576A 2017-11-30 2018-11-09 더블 카메라 기반 이미징 방법 및 장치 Active KR102304784B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201711240088.4 2017-11-30
CN201711240088.4A CN108024056B (zh) 2017-11-30 2017-11-30 基于双摄像头的成像方法和装置
PCT/CN2018/114924 WO2019105209A1 (en) 2017-11-30 2018-11-09 Method and device for double-camera-based imaging

Publications (2)

Publication Number Publication Date
KR20200041371A true KR20200041371A (ko) 2020-04-21
KR102304784B1 KR102304784B1 (ko) 2021-09-24

Family

ID=62077530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207008576A Active KR102304784B1 (ko) 2017-11-30 2018-11-09 더블 카메라 기반 이미징 방법 및 장치

Country Status (6)

Country Link
US (1) US10742860B2 (ko)
EP (1) EP3493524B1 (ko)
JP (1) JP6999802B2 (ko)
KR (1) KR102304784B1 (ko)
CN (1) CN108024056B (ko)
WO (1) WO2019105209A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108024056B (zh) 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置
CN112770042B (zh) * 2019-11-05 2022-11-15 RealMe重庆移动通信有限公司 图像处理方法及装置、计算机可读介质、无线通信终端
CN113194242B (zh) * 2020-01-14 2022-09-20 荣耀终端有限公司 一种长焦场景下的拍摄方法及移动终端
CN111491095B (zh) * 2020-02-24 2021-08-20 RealMe重庆移动通信有限公司 图像虚化方法、装置和电子设备
CN111464679B (zh) * 2020-04-09 2021-05-25 Oppo广东移动通信有限公司 电子设备及其监控方法
KR102812748B1 (ko) 2020-05-15 2025-05-26 삼성전자주식회사 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
CN113206960A (zh) * 2021-03-24 2021-08-03 上海闻泰电子科技有限公司 拍摄方法、装置、计算机设备和计算机可读存储介质
CN113987231B (zh) * 2021-10-29 2025-02-14 北京爱笔科技有限公司 图像数据存储方法、装置、计算机设备和存储介质
KR20240047294A (ko) 2022-10-04 2024-04-12 오영식 이동하는 카메라로 다중 촬영한 사진들의 해상도 향상 방법, 장치, 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130008441A (ko) * 2010-03-30 2013-01-22 소니 주식회사 화상 처리 장치 및 방법, 및 프로그램
US20150097981A1 (en) * 2009-03-19 2015-04-09 Digitaloptics Corporation Dual Sensor Camera
US20150104074A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Depth map generation and post-capture focusing

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6178272B1 (en) * 1999-02-02 2001-01-23 Oplus Technologies Ltd. Non-linear and linear method of scale-up or scale-down image resolution conversion
JP2005286770A (ja) * 2004-03-30 2005-10-13 Canon Inc 撮影装置及びその制御方法
JP3713039B1 (ja) * 2004-04-30 2005-11-02 メキキ・クリエイツ株式会社 勤務情報処理システム、装置、方法及びコンピュータプログラム
CN101616310B (zh) * 2009-07-17 2011-05-11 清华大学 可变视角及分辨率的双目视觉系统目标图像稳定化方法
CN102480593B (zh) * 2010-11-25 2014-04-16 杭州华三通信技术有限公司 双镜头摄像机切换方法及装置
US8274552B2 (en) * 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2013011608A1 (ja) * 2011-07-19 2013-01-24 パナソニック株式会社 画像符号化装置とその集積回路、および画像符号化方法
US9270875B2 (en) * 2011-07-20 2016-02-23 Broadcom Corporation Dual image capture processing
US20130235223A1 (en) * 2012-03-09 2013-09-12 Minwoo Park Composite video sequence with inserted facial region
US20130235226A1 (en) * 2012-03-12 2013-09-12 Keith Stoll Karn Digital camera having low power capture mode
KR101954192B1 (ko) 2012-11-15 2019-03-05 엘지전자 주식회사 어레이 카메라, 휴대 단말기 및 그 동작 방법
US9842423B2 (en) * 2013-07-08 2017-12-12 Qualcomm Incorporated Systems and methods for producing a three-dimensional face model
CN106133750B (zh) * 2014-02-04 2020-08-28 弗劳恩霍夫应用研究促进协会 用于确定视线方向的3d图像分析器
CN104333700B (zh) 2014-11-28 2017-02-22 广东欧珀移动通信有限公司 一种图像虚化方法和图像虚化装置
US9319585B1 (en) * 2014-12-18 2016-04-19 Omnivision Technologies, Inc. High resolution array camera
JP6436783B2 (ja) * 2015-01-09 2018-12-12 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN106034207A (zh) 2015-03-19 2016-10-19 联想(北京)有限公司 图像获得方法以及电子设备
CN105100615B (zh) 2015-07-24 2019-02-26 青岛海信移动通信技术股份有限公司 一种图像的预览方法、装置及终端
CN105141841B (zh) * 2015-08-25 2018-05-08 上海兆芯集成电路有限公司 摄像设备及其方法
CN105245775B (zh) * 2015-09-25 2018-04-24 小米科技有限责任公司 摄像头成像方法、移动终端及装置
JP2017069927A (ja) 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2017069926A (ja) 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6590628B2 (ja) * 2015-10-09 2019-10-16 キヤノン株式会社 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
TWI554105B (zh) * 2015-11-17 2016-10-11 緯創資通股份有限公司 電子裝置與影像處理方法
JP6788469B2 (ja) * 2016-10-05 2020-11-25 キヤノン株式会社 画像形成装置
US20180139369A1 (en) * 2016-11-16 2018-05-17 Motorola Mobility Llc Backlit face detection
CN106851104B (zh) 2017-02-28 2019-11-22 努比亚技术有限公司 一种根据用户视角进行拍摄的方法及装置
CN106993112B (zh) * 2017-03-09 2020-01-10 Oppo广东移动通信有限公司 基于景深的背景虚化方法及装置和电子装置
CN106791341A (zh) 2017-03-27 2017-05-31 上海与德科技有限公司 基于双摄像头的拍摄方法及装置
CN107155064B (zh) * 2017-06-23 2019-11-05 维沃移动通信有限公司 一种拍摄方法及移动终端
CN107343120A (zh) * 2017-06-30 2017-11-10 维沃移动通信有限公司 一种图像数据的处理方法和移动终端
CN108024056B (zh) 2017-11-30 2019-10-29 Oppo广东移动通信有限公司 基于双摄像头的成像方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150097981A1 (en) * 2009-03-19 2015-04-09 Digitaloptics Corporation Dual Sensor Camera
KR20130008441A (ko) * 2010-03-30 2013-01-22 소니 주식회사 화상 처리 장치 및 방법, 및 프로그램
US20150104074A1 (en) * 2013-10-16 2015-04-16 Broadcom Corporation Depth map generation and post-capture focusing

Also Published As

Publication number Publication date
CN108024056A (zh) 2018-05-11
WO2019105209A1 (en) 2019-06-06
US20190166288A1 (en) 2019-05-30
US10742860B2 (en) 2020-08-11
CN108024056B (zh) 2019-10-29
EP3493524B1 (en) 2021-04-14
EP3493524A1 (en) 2019-06-05
JP6999802B2 (ja) 2022-02-10
JP2020533883A (ja) 2020-11-19
KR102304784B1 (ko) 2021-09-24

Similar Documents

Publication Publication Date Title
KR102306272B1 (ko) 듀얼 카메라 기반 이미징 방법, 이동 단말기 및 저장 매체
KR102306283B1 (ko) 이미지 처리 방법 및 장치
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
KR102304784B1 (ko) 더블 카메라 기반 이미징 방법 및 장치
US10997696B2 (en) Image processing method, apparatus and device
KR102279436B1 (ko) 이미지 처리 방법, 장치 및 기기
KR102293443B1 (ko) 듀얼 카메라를 이용한 이미지 처리 방법 및 이동 단말기
CN108024057B (zh) 背景虚化处理方法、装置及设备
HK1251748B (zh) 基於双摄像头的成像方法和装置
HK1251746A1 (zh) 基於双摄像头的成像方法、装置、移动终端和存储介质

Legal Events

Date Code Title Description
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5