KR20140114501A - 영상 데이터 처리 방법 및 이를 지원하는 전자 장치 - Google Patents

영상 데이터 처리 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20140114501A
KR20140114501A KR20130027602A KR20130027602A KR20140114501A KR 20140114501 A KR20140114501 A KR 20140114501A KR 20130027602 A KR20130027602 A KR 20130027602A KR 20130027602 A KR20130027602 A KR 20130027602A KR 20140114501 A KR20140114501 A KR 20140114501A
Authority
KR
South Korea
Prior art keywords
image
data
image data
processing
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR20130027602A
Other languages
English (en)
Inventor
이우용
박현재
송재윤
조상흠
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR20130027602A priority Critical patent/KR20140114501A/ko
Priority to US14/202,334 priority patent/US9491367B2/en
Priority to PCT/KR2014/001968 priority patent/WO2014142495A1/en
Priority to AU2014201365A priority patent/AU2014201365A1/en
Priority to CN201410092877.8A priority patent/CN104052922B/zh
Priority to JP2014050515A priority patent/JP2014179991A/ja
Priority to EP20140159772 priority patent/EP2778898A1/en
Publication of KR20140114501A publication Critical patent/KR20140114501A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/02—Handling of images in compressed format, e.g. JPEG, MPEG
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/10—Display system comprising arrangements, such as a coprocessor, specific for motion video images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Studio Devices (AREA)

Abstract

본 개시는 영상 처리에 관한 것으로, 특히 본 개시는 복수개의 이미지 센서를 포함하는 이미지 센서 모듈, 하나의 이미지 센서로부터의 영상 데이터 처리 시 시스템 제어 유닛에 해당하는 프로세서를 통하여 영상 처리를 지원하며, 복수의 이미지 센서로부터의 영상 데이터들 처리 시 그래픽 처리 유닛에 해당하는 프로세서를 경로를 통해 영상 처리를 수행하도록 제어하는 제어부를 포함하는 영상 데이터 처리 지원 전자 장치 및 이의 운용 방법의 구성을 개시한다.

Description

영상 데이터 처리 방법 및 이를 지원하는 전자 장치{Image Data Processing Method And Electronic Device supporting the same}
본 개시의 다양한 실시예들은 이미지 센서가 수집한 영상 데이터 처리에 관한 것이다.
전자 장치는 사용자 기능을 지원하면서도 그 크기가 휴대할 수 있을 정도로 작아 많은 산업 및 생활 분야에서 각광받고 있다. 그리고 최근 들어 다양한 사용자 기능을 통합적으로 지원하는 전자 장치가 등장하고 있다. 이러한 전자 장치는 영상 수집 기능을 제공하기 위하여 이미지 센서 모듈을 포함하는 형태로 마련될 수 있다.
본 개시의 다양한 실시예들은 영상 데이터 처리에 있어서 전류 소모를 저감할 수 있고 보다 개선된 사용자 인터페이스를 제공할 수 있다.
본 개시에 따르면, 하나의 이미지 센서로부터의 영상 데이터 처리 요청을 수신하는 과정, 시스템 제어 유닛에 해당하는 프로세서를 포함하는 상기 영상 데이터 처리를 위한 싱글 모드 경로를 구성하는 과정, 상기 싱글 모드 경로에 따라 영상 데이터 처리를 수행하는 싱글 모드 지원 과정을 포함하는 영상 데이터 처리 방법의 구성을 개시한다.
본 개시는 또한, 복수개의 이미지 센서를 포함하는 이미지 센서 모듈, 하나의 이미지 센서로부터의 영상 데이터 처리 시 시스템 제어 유닛에 해당하는 프로세서를 통하여 영상 처리를 지원하며, 복수의 이미지 센서로부터의 영상 데이터들 처리 시 그래픽 처리 유닛에 해당하는 프로세서를 경로를 통해 영상 처리를 수행하도록 제어하는 제어부를 포함하는 영상 데이터 처리 지원 전자 장치의 구성을 개시한다.
본 개시의 실시 예에 따르면, 효과적인 하드웨어 운용을 통하여 데이터 처리를 보다 효율적으로 운용할 수 있다.
본 개시의 실시 예는 영상 데이터 처리의 부하를 저감하며 또한 전류 소모를 저감할 수 있다.
본 개시는 보다 편리한 사용자 인터페이스 제공을 지원할 수 있다.
도 1은 본 개시의 다양한 실시 예에 따른 영상 데이터 처리 장치를 포함하는 전자 장치의 구성을 나타낸 도면.
도 2는 도 1의 제어부 구성을 보다 상세히 설명하기 위한 도면.
도 3은 본 개시의 실시 예에 따른 영상 데이터 처리 장치 운용 방법을 설명하기 위한 도면.
도 4는 본 개시의 싱글 모드 수행에서의 제어부 경로 형성을 설명하기 위한 도면.
도 5는 본 개시의 듀얼 모드 수행에서의 제어부 경로 형성을 설명하기 위한 도면.
도 6은 본 개시의 전자 장치가 제공할 수 있는 화면 인터페이스의 일예를 나타낸 도면.
이하, 본 개시의 다양한 실시 예를 첨부된 도면에 의거하여 상세히 설명한다. 실시 예를 설명함에 있어서 본 개시가 속하는 기술분야에 익히 알려져 있고 본 개시와 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 개시는 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.
도 1은 본 개시의 실시 예에 따른 이미지 센서 모듈을 포함하는 전자 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 개시의 전자 장치(100)는 통신부(110), 입력부(120), 오디오 처리부(130), 표시부(140), 저장부(150) 및 제어부(160)의 구성을 포함하며, 카메라 기능 지원을 위하여 이미지 센서 모듈(170)을 포함할 수 있다. 이미지 센서 모듈(170)은 복수개의 이미지 센서들(171, 172)을 포함할 수 있다. 도 1에서는 두 개의 이미지 센서들(171, 172)을 예시하였으나 본 개시가 이에 한정되는 것은 아니다. 즉 보다 많은 이미지 센서들이 이미지 센서 모듈(170)에 포함될 수 있다. 여기서 상기 전자 장치(100)가 카메라 기능만을 지원하고 별도의 통신 기능을 지원하지 않는 경우 상기 통신부(110)의 구성은 생략될 수 있다. 여기서 제어부(160)는 AP(Application Processor)를 포함하며, 본 개시의 카메라 기능 지원은 AP에서 처리될 수 있다.
이하 본 개시의 설명에서 제어부는 CPU에 해당하는 프로세서가 복수개로 존재할 수 있고, CPU(Central Processing Unit)외 그래픽만 처리하기 위한 유닛으로 GPU(Graphic Processing Unit)가 포함될 수 있다. 도 1의 도면에서 제1 프로세서(161) 및 제2 프로세서(162) 등은 전자 장치(100) 운용을 위한 CPU에 해당될 수 있으며, 제3 프로세서(163)는 GPU에 해당될 수 있다. CPU에 해당하는 제1 프로세서(161) 및 제2 프로세서(162)는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터의 시스템 제어 유닛일 수 있다. GPU에 해당하는 제3 프로세서(163)는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛일 수 있다. CPU와 GPU는 각각 두 개 이상의 독립 코어(예, 쿼드 코어(quad??core))가 단일 직접 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC: System on chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(Multi layer)로 패키징(packaging)된 것일 수 있다. 한편 CPU 및 GPU를 포함하는 구성은 AP(Application Processor)라고 지칭될 수 있다.
이와 같은 구성을 가지는 본 개시의 전자 장치(100)는 이미지 센서 모듈(170)이 이미지 센서들(171, 172) 중 적어도 하나가 수집한 영상 데이터를 처리하는 과정에서 싱글 모드와 듀얼 모드에 따른 하드웨어 운용 패스를 다르게 지원할 수 있다. 여기서 싱글 모드는 복수개의 이미지 센서 중 어느 하나의 이미지 센서를 이용하여 영상을 획득(Obtain) 또는 수집(Collect)하는 모드가 될 수 있다. 듀얼 모드는 복수개의 이미지 센서를 이용하여 영상을 획득 또는 수집하는 모드가 될 수 있다. 예컨대 전자 장치(100)는 이미지 센서들(171, 172) 중 하나의 이미지 센서만을 운용하는 싱글 모드 운용 시에는 GPU에 해당하는 제3 프로세서(163)을 이용하지 않고 제1 프로세서(161) 또는 제2 프로세서(162)를 기반으로 직접적인 영상 합성을 수행하도록 지원할 수 있다. 그리고 전자 장치(100)는 이미지 센서들(171, 172) 모두를 이용하는 듀얼 모드 운용 시에는 GPU에 해당하는 제3 프로세서(163)를 이용하여 영상 합성과 출력 및 저장 중 적어도 하나를 수행하도록 지원할 수 있다. 즉 본 개시의 전자 장치(100)는 싱글 모드 운용 시에는 CPU에 해당하는 제1 프로세서(161) 등을 기반으로 영상 처리를 지원할 수 있다. 그리고 본 개시의 전자 장치(100)는 듀얼 모드 운용 시에는 GPU에 해당하는 다른 프로세서 예컨대 제3 프로세서(163)를 기반으로 영상 처리를 지원할 수 있다.
이에 따라 본 개시의 전자 장치(100)는 이미지 센서 모듈(170) 운용 과정에서 싱글 모드 운용 시에는 전류 소모가 상대적으로 큰 GPU를 운용하지 않음으로써 전류 소모 저감을 달성할 수 있다. 한편 본 개시의 전자 장치(100)는 이미지 센서 모듈(170) 운용에서 듀얼 모드의 경우 보다 개선된 영상 처리를 수행함으로써 다양한 사용자 인터페이스 제공을 지원할 수 있다.
통신부(110)는 앞서 언급한 바와 같이 상기 전자 장치(100)가 통신 기능을 지원하는 전자 장치인 경우 추가될 수 있는 구성으로서, 상기 전자 장치(100)가 통신 기능을 지원하지 않는 경우 생략될 수도 있다. 이러한 통신부(110)는 전자 장치의 통신 기능 지원을 위하여 기지국 또는 무선액세스 포인트와의 통신 채널 형성을 수행할 수 있다. 그리고 통신부(110)는 사용자 제어에 따라 또는 설정된 정보에 따라 외부로부터 정보를 수신하거나, 전자 장치(100)에 저장된 또는 전자 장치(100)가 수집한 정보를 외부로 전송하도록 지원할 수 있다. 또한 통신부(110)는 근거리 통신 기능을 지원하는 통신 모듈로서 구성되어 타 전자 장치와 근거리 통신 채널을 형성하고 저장된 영상을 전송하도록 지원할 수 있다.
통신부(110)는 이미지 센서 모듈(170)에 의해 수집된 정지 영상 또는 동영상 데이터를 타 전자 장치에 전송하기 위한 통신 채널을 형성하도록 지원할 수 있다. 또한 통신부(110)는 타 전자 장치로부터 동영상 데이터를 수신할 수 있으며, 수신된 정지 영상 또는 동영상 데이터는 제어부(160) 제어에 따라 저장부(150)에 저장될 수 있다. 저장부(150)에 저장되는 데이터는 싱글 모드 기반으로 마련된 경우 하나의 영상이 될 수 있으며, 듀얼 모드 기반으로 마련된 경우 복수의 이미지 센서들이 수집한 영상들을 포함할 수 있다.
입력부(120)는 상기 전자 장치(100) 운용에 필요한 다양한 입력 신호를 생성하는 구성이다. 이러한 입력부(120)는 전자 장치(100)의 호환 가능 여부에 따라 키보드나 키패드, 키버튼 등의 다양한 입력 수단으로 구성될 수 있다. 또한 상기 입력부(120)는 상기 표시부(140)가 터치스크린으로 제공되는 경우 터치스크린에 출력되는 터치 맵의 형태로 구성될 수도 있다. 본 개시의 입력부(120)는 이미지 센서 운용 제어를 위한 셔터키 입력 신호, 이미지 센서 설정을 위한 키 입력 신호 등을 생성할 수 있다. 상술한 키 입력 신호들은 전자 장치(100)의 전면 일측이나 측면 등에 배치된 하드웨어 키로부터 생성되거나 표시부(140)가 터치스크린의 형태로 제공되는 경우 상기 각 키 입력 신호들을 생성하기 위한 가상 터치 패드 또는 가상 터치 맵이 표시부(140)에 출력되고 사용자 선택에 의해 생성될 수 있다. 입력부(120)는 싱글 모드 선택을 위한 입력 신호, 듀얼 모드 선택을 위한 입력 신호를 사용자 선택에 따라 생성할 수 있다.
오디오 처리부(130)는 전자 장치(100)의 운용과정에서 설정된 다양한 오디오 데이터 및 저장부(150)에 저장된 오디오 파일 재생에 따른 오디오 데이터, 외부로부터 수신된 오디오 데이터 등을 출력하기 위하여 스피커(SPK)를 포함할 수 있다. 또한 오디오 처리부(130)는 오디오 데이터 수집 기능을 지원할 수 있다. 이를 위하여 오디오 처리부(130)는 마이크(MIC)를 포함할 수 있다. 오디오 처리부(130)에 의해 출력되는 오디오 데이터는 이미지 센서 모듈(170) 제어와 관련된 다양한 안내음이나 효과음 등이 될 수 있다. 예컨대 오디오 처리부(130)는 싱글 모드 설정을 안내하는 오디오 신호, 듀얼 모드 설정을 안내하는 오디오 신호 등을 출력할 수 있다. 오디오 처리부(130)의 안내음 출력은 설계자의 의도에 따라 제공되지 않거나 제공되더라도 사용자 설정에 따라 생략될 수도 있다. 또한 마이크(MIC)에 의해 수집되는 오디오 데이터는 동영상 수집 등의 과정에서 수집되는 오디오 신호로 이용될 수 있다. 그리고 전자 장치(100)가 통신 기능을 지원하는 경우 마이크(MIC)는 통신 기능 지원을 위한 음성 신호 수집을 지원할 수 도 있다.
표시부(140)는 전자 장치(100) 운용에 필요한 다양한 화면을 제공하는 구성이다. 예를 들어 상기 표시부(140)는 전자 장치(100) 운용에 필요한 대기 화면, 메뉴 화면 등을 지원한다. 본 개시의 표시부(140)는 카메라 제어 관련 화면, 카메라 운용 화면, 카메라 설정 화면 등 다양한 화면을 제공할 수 있다. 본 개시의 표시부(140)는 이미지 센서 모듈(170)의 프리뷰 기능, 캡쳐 기능, 동영상 촬영 기능 중 적어도 하나의 기능 지원을 위한 화면을 출력할 수 있다. 여기서 표시부(140)는 싱글 모드에서의 프리뷰 기능, 캡쳐 기능, 동영상 촬영 기능 각각에 대응하는 화면을 출력할 수 있다. 또한 표시부(140)는 듀얼 모드에서의 프리뷰 기능, 캡쳐 기능, 동영상 촬영 기능 각각에 대응하는 화면을 출력할 수 있다. 표시부(140)를 통해 제공될 수 있는 화면 인터페이스의 일예에 대해서는 후술하는 도면을 참조하여 보다 상세히 설명하기로 한다.
저장부(150)는 전자 장치(100) 운용에 필요한 다양한 기본 운영체제 및 다양한 사용자 기능에 해당하는 데이터 또는 응용 프로그램과 알고리즘 등을 저장할 수 있다. 상기 저장부(150)는 본 개시의 카메라 제어 기능 지원을 위한 영상 처리 프로그램(151)을 저장할 수 있다. 그리고 저장부(150)는 영상 처리 프로그램(151) 운용에 따라 수집되는 캡쳐 데이터 및 동영상 데이터 중 적어도 하나를 저장할 수 있다.
영상 처리 프로그램(151)은 전자 장치(100)의 카메라 기능에 필요한 다양한 루틴들을 저장할 수 있다. 예를 들어, 영상 처리 프로그램(151)은 이미지 센서 모듈(170) 턴??온에 따라 활성화된 이미지 센서 모듈(170)이 수집하여 전송한 데이터를 프리뷰 영상으로 출력하는 프리뷰 출력 루틴을 포함할 수 있다. 프리뷰 출력 루틴은 싱글 모드 프리뷰 지원 루틴, 듀얼 모드 프리뷰 지원 루틴을 포함할 수 있다.
또한 영상 처리 프로그램(151)은 싱글 모드 캡쳐 지원 루틴과 듀얼 모드 캡쳐 지원 루틴을 포함할 수 있다. 또한 영상 처리 프로그램(151)은 싱글 모드 동영상 운용 루틴과 듀얼 모드 동영상 운용 루틴을 포함할 수 있다. 각각의 루틴들은 사용자 요청에 따라 제어부(160)의 하드웨어 장치들을 운용을 제어하여 해당 루틴에 따른 영상 처리를 수행하도록 지원할 수 있다. 상술한 루틴들의 동작에 대하여 후술하는 제어부(160) 도면과 함께 보다 상세히 설명하기로 한다.
이미지 센서 모듈(170)은 이미지를 정지 영상으로 또는 동영상으로 수집하도록 지원하는 모듈이다. 이러한 이미지 센서 모듈(170)은 복수개의 이미지 센서들(171, 172)을 포함할 수 있다. 각각의 이미지 센서들(171, 172)은 카메라 기능 지원을 위한 구성 예컨대 렌즈, 조리개 및 조리개 구동부, 렌즈 조절부 등 영상 수집을 위한 구성들을 기본적으로 포함할 수 있다.
이미지 센서들(171, 172)은 다수의 포토 센서들이 매트릭스 형태로 배치되어 렌즈를 통하여 전달되는 광을 수집하는 구성이다. 그리고 이미지 센서들(171, 172)는 수집된 광을 해당 매트릭스 형태로 배열된 포토 센서들에 대응하도록 마련된 카메라용 메모리 장치에 전달한다. 카메라용 메모리 장치는 포토 센서들에 맺힌 광학 정보를 디지털화하여 저장하며, 각각의 위치에 저장된 정보를 읽기 위하여 어드레스 라인들이 배치될 수 있다. 여기서 제1 이미지 센서(171)는 전자 장치(100)의 전면에 배치되어 영상 통화 등을 지원하는 센서가 될 수 있다. 제1 이미지 센서(171)는 제2 이미지 센서(172)에 비하여 상대적으로 저해상도의 영상을 촬영하도록 구현될 수 있다. 제2 이미지 센서(172)는 전자 장치(100)의 후면에 배치되어 영상 촬영을 지원하는 센서가 될 수 있다. 제2 이미지 센서(172)는 제1 이미지 센서(171)에 비하여 상대적으로 고해상도의 영상을 촬영하도록 지원할 수 있다. 제1 이미지 센서(171) 및 제2 이미지 센서(172)는 동시 활성화가 가능하다. 이에 따라 제1 이미지 센서(171)가 획득한 영상 및 제2 이미지 센서(172)가 획득한 영상은 동시에 또는 각각 표시부(140)에 출력될 수 있다.
도 2는 본 개시의 제어부(160) 구성 중 이미지 센서 모듈(170) 운용을 위해 제공되는 구성을 보다 상세히 나타낸 도면이다.
도 2를 참조하면, 본 개시의 제어부(160)는 카메라 앱(80), 카메라 드라이버(10), 카메라 프레임워크(20), 듀얼 카메라 프레임워크(30), GPU(41)와 이를 포함하는 OpenGL(40), 서페이스 텍스처 버퍼(51)(Surface texture buffer), 콤포저(52)(Hardware composer), 미디어 서페이스 텍스처 버퍼(Media surface texture buffer), 미디어 리코더(62)(Media Recorder), 캡쳐 버퍼(71), JPEG 인코더(21), 하드웨어 인코더(63)를 포함할 수 있다. 그리고 제어부(160)는 카메라 프레임워크(20)와 연결되는 CPU(42)를 포함할 수 있다. CPU(42)는 앞서 도 1에서 설명한 제1 프로세서(161) 및 제2 프로세서(162) 중 적어도 하나를 포함할 수 있다. CPU(42)는 싱글 모드 지원 시 데이터를 서페이스 텍스처 버퍼(51), 미디어 서페이스 텍스처 버퍼(61), 캡쳐 버퍼(71)에 제공할 수 있다. 또는 CPU(42)는 버퍼들에 해당 데이터를 저장하지 않고 콤포저(52) 및 미디어 리코더(62)에 직접 전달할 수 있다. 즉 CPU(42)는 싱글 모드에서 프리뷰 모드 지원 시, 프리뷰 데이터를 콤포저(52)에 직접 전달할 수 있다. 그리고 CPU(42)는 싱글 모드에서 비디오 모드 지원 시 비디오 데이터를 미디어 리코더(62)에 직접 전달할 수 있다.
카메라 앱(80)은 사용자 요청에 따라 또는 설정된 정보에 따라 카메라 기능 호출을 위한 입력 신호가 발생하면 제어부(160)에 로드될 수 있다. 이때 카메라 앱(80)은 도시된 바와 같이 어플리케이션 레이어에 배치될 수 있다. 카메라 앱(80)은 싱글 모드 및 듀얼 모드 선택을 위한 메뉴 제공, 이미지 센서들(171, 172)의 설정 메뉴 제공, 촬영된 영상의 저장 여부 제어를 위한 메뉴 제공, 셔터 입력 가상 키 출력 등을 지원할 수 있다. 그리고 카메라 앱(80)은 입력부(120) 또는 입력 기능의 표시부(140)로부터 상술한 메뉴 선택 입력 신호가 수신되면 이를 네이티브 레이어(Native Layer)에 전달할 수 있다. 예컨대 카메라 앱(80)은 싱글 모드 또는 듀얼 모드 프리뷰 기능 호출, 캡쳐 기능 호출, 동영상 촬영 기능 호출 등을 위한 입력 신호를 수집하고, 이를 카메라 프레임워크(20)에 전달할 수 있다.
한편 듀얼 모드에서 제1 이미지 센서(171)가 전면 카메라이고 제2 이미지 센서(172)가 후면 카메라로 가정하기로 하면 동일한 도면 번호를 할당하기로 한다. 이 경우, 카메라 앱(80)은 전면 카메라(171)로부터 수집되는 전면 프리뷰 데이터 및 전면 비디오 데이터, 후면 카메라(172)로부터 수집되는 후면 프리뷰 데이터, 후면 비디오 데이터, 후면 캡쳐 데이터들에 대한 상태 정보를 저장 관리할 수 있다. 특히 카메라 앱(80)은 전면 프리뷰 데이터와 후면 프리뷰 데이터의 표시부(140)에서의 위치 정보와 현재 크기 정보, 전면 비디오 데이터와 후면 비디오 데이터의 표시부(140)에서의 위치 정보와 현재 크기 정보를 저장 관리할 수 있다.
여기서 전면 프리뷰 데이터는 전면 카메라(171)가 획득한 프리뷰 데이터이며, 후면 프리뷰 데이터는 후면 카메라(172)가 획득한 프리뷰 데이터일 수 있다. 전면 비디오 데이터는 전면 카메라(171)가 수집한 동영상 데이터이며, 후면 비디오 데이터는 후면 카메라(172)가 수집한 동영상 데이터일 수 있다. 후면 캡쳐 데이터는 후면 카메라(172)가 수집한 정지 영상 데이터가 될 수 있다. 전자 장치(100)에서 프레임 데이터 또는 비디오 데이터는 상대적으로 캡쳐 데이터에 비하여 저해상도가 될 수 있다. 특히 비디오 데이터의 경우 사용자 조작에 따라 전면 비디오 데이터와 후면 비디오 데이터의 해상도가 다르게 설정될 수 있다. 카메라 앱(80)은 상술한 각각의 데이터들에 대한 정보를 관리하여, 해당 영상의 출력과 저장 시 해당 정보를 기반으로 영상 출력과 저장이 수행되도록 지원할 수 있다.
카메라 드라이버(10)는 카메라 프레임워크(20)의 제어에 따라 이미지 센서 모듈(170)로부터 전달되는 영상을 수신하고 이를 카메라 프레임워크(20)에 전달하는 구성이다. 카메라 드라이버(10)는 이미지 센서 모듈(170)이 제공하는 신호들을 이미지 센서별로 구분하여 카메라 프레임워크(20)에 전달할 수 있다. 즉 카메라 드라이버(10)는 전면 카메라(171)로부터 수집되는 전면 프리뷰 데이터 및 전면 비디오 데이터, 후면 카메라(172)로부터 수집되는 후면 프리뷰 데이터, 후면 비디오 데이터, 후면 캡쳐 데이터를 카메라 프레임워크(20)에 전달할 수 있다.
카메라 프레임워크(20)는 카메라 드라이버(10)로부터 전면 및 후면 관련 영상 데이터를 수신하고 이를 듀얼 카메라 프레임워크(30)에 선택적으로 전달할 수 있다. 즉 카메라 프레임워크(20)는 전면 카메라(171)로부터 수집되는 전면 프리뷰 데이터 및 전면 비디오 데이터, 후면 카메라(172)로부터 수집되는 후면 프리뷰 데이터, 후면 비디오 데이터, 후면 캡쳐 데이터를 듀얼 카메라 프레임워크(30)에 전달할 수 있다. 한편 카메라 프레임워크(20)는 카메라 앱(80)으로부터 싱글 모드 수행을 요청받는 경우, 전면 카메라(171) 또는 후면 카메라(172) 중 어느 하나로부터 제공되는 데이터를 듀얼 카메라 프레임워크(30)에 전달하지 않고 직접 처리하도록 지원할 수 있다. 카메라 프레임워크(20)의 싱글 모드 지원에 대해서는 후술하는 도면을 참조하여 보다 상세히 설명하기로 한다.
듀얼 카메라 프레임워크(30)는 카메라 프레임워크(20)로부터 전달받은 데이터들 중 전면 카메라(171) 관련 데이터, 후면 카메라(172) 관련 데이터를 OpenGL(40)의 GPU(41)에 전달할 수 있다. 이때 듀얼 카메라 프레임워크(30)는 이펙트 이미지 또는 이펙트 이미지 마스크를 OpenGL(40)의 GPU(41)에 전달할 수 있다. 듀얼 카메라 프레임워크(30)는 제1 이미지 센서(171) 및 제2 이미지 센서(172) 각각을 위한 이펙트 이미지들을 적어도 하나씩 마련하고 이를 해당 영상 데이터들에 적용할 수 있다. 예컨대 듀얼 카메라 프레임워크(30)는 제1 이미지 센서(171)가 수집한 제1 영상 데이터 상에 제2 이미지 센서(172)가 수집한 제2 영상 데이터를 합성하는 경우 합성되는 영역 주변이 보다 자연스러운 이미지를 가지도록 또는 기 설정된 특정 무늬를 가지도록 이펙트 이미지를 적용할 수 있다.
듀얼 카메라 프레임워크(30)는 이펙트 이미지들 중 어떠한 이미지를 쓸 것인지 선택할 수 있도록 이펙트 이미지 선택 메뉴를 제공할 수 있다. 예컨대 듀얼 카메라 프레임워크(30)는 카메라 앱(80)을 통하여 이펙트 이미지들에 대한 적어도 하나의 아이콘을 표시부(140)에 출력하도록 요청할 수 있다. 아이콘은 각 이펙트 이미지에 대한 예시 이미지를 포함할 수 있다. 예컨대 아이콘은 꽃무늬 적용 아이콘, 그림자 적용 아이콘, 블러 적용 아이콘, 색상 적용 아이콘 등 사용자가 아이콘에 포함된 이미지 확인을 통하여 해당 아이콘 적용이 어떠한 형태로 나타날 것인지 확인할 수 있도록 제공될 수 있다.
OpenGL(40)은 GPU(41) 제어를 위한 표준 인터페이스가 될 수 있다. 본 개시에서는 OpenGL(40)을 예시적으로 설명하지만 본 개시가 이에 한정되는 것은 아니다. 즉 GPU(41) 제어를 위한 다양한 API들로 구성된 인터페이스 역시 본 개시에 적용 가능할 것이다.
OpenGL(40)은 듀얼 이미지 적용 중 듀얼 프리뷰 모드를 위하여 복수개의 버퍼 할당을 수행할 수 있다. OpenGL(40)은 전면 카메라(171)의 프리뷰 이미지 및 후면 카메라(172)의 프리뷰 이미지를 각각의 버퍼에 기입하여 표시부(140)에 출력하도록 지원할 수 있다. 또한 OpenGL(40)은 듀얼 이미지 적용 중 듀얼 캡쳐 모드를 위하여 크기가 다른 복수개의 버퍼 할당을 수행할 수 있다. 즉 OpenGL(40)은 후면 카메라(172)의 캡쳐 데이터 기입을 위하여 상대적으로 크기가 큰 버퍼를 할당하고, 전면 카메라(171)의 캡쳐 데이터 기입을 위하여 상대적으로 크기가 작은 버퍼를 할당할 수 있다. 그리고 OpenGL(40)은 후면 캡쳐 데이터 및 전면 캡쳐 데이터를 하나의 공용 버퍼에 기입하고, 이를 기반으로 데이터의 출력과 저장을 지원할 수 있다.
GPU(41)는 OpenGL(40) 제어에 따라 듀얼 모드에서 데이터들의 처리를 지원하는 구성이다. 즉 GPU(41)는 전면 카메라(171) 관련 데이터와 후면 카메라(172) 관련 데이터의 합성, 이펙트 이미지의 적용 등을 지원할 수 있다.
서페이스 텍스처 버퍼(51)는 듀얼 모드 수행 과정에서 프리뷰 영상을 출력하기 위해 할당되는 구성이다. 이러한 서페이스 텍스처 버퍼(51)는 듀얼 모드에서 복수개가 할당될 수 있다. 예컨대 이미지 센서 모듈(170)에 두 개의 이미지 센서들(171, 172)이 배치된 경우 서페이스 텍스처 버퍼(51)는 듀얼 모드 진행 중 두 개가 할당될 수 있다.
콤포저(52)는 프리뷰 데이터와 사전 정의된 표시부(140) UI(User Interface) 레이어를 합성하여 프리뷰 영상을 생성할 수 있다. 그리고 콤포저(52)는 합성된 프리뷰 영상을 표시부(140)에 출력할 수 있다. 특히 본 개시의 콤포저(52)는 싱글 모드 지원 시 카메라 프레임워크(20) 제어에 따라 카메라 드라이버(10)로부터 직접 제공되는 프리뷰 영상과 UI 레이어를 합성하여 프리뷰 영상을 생성하고 이를 표시부(140)에 출력하도록 지원할 수 있다. 그리고 콤포저(52)는 듀얼 모드 시 복수의 서페이스 텍스처 버퍼(51)에 기입된 프리뷰 데이터들과 UI 레이어를 합성하여 프리뷰 영상을 생성하고 이를 표시부(140)에 출력하도록 지원할 수 있다.
미디어 서페이스 텍스처 버퍼는 듀얼 모드 수행 과정에서 프리뷰 영상을 출력하기 위해 할당되는 구성이다. 이러한 미디어 서페이스 텍스처 버퍼는 이미지 센서들(171, 172)이 제공하는 비디오 데이터들을 각각 버퍼링한다. 예컨대 미디어 서페이스 텍스처 버퍼는 전면 비디오 데이터 버퍼링을 위한 버퍼와 후면 비디오 데이터 버퍼링을 위한 버퍼를 포함할 수 있다. 또한 미디어 서페이스 텍스처 버퍼는 전면 비디오 데이터와 후면 비디오 데이터를 통합하여 기입하기 위한 공용 버퍼를 포함할 수 있다. 한편 듀얼 모드의 비디오 데이터 처리 모드의 경우 미디어 서페이스 텍스처 버퍼가 프리뷰 데이터 처리 및 비디오 데이터 처리를 위한 공용 버퍼로 이용될 수 있다. 즉 OpenGL(40)은 전면 비디오 데이터와 후면 비디오 데이터를 미디어 서페이스 텍스처 버퍼에 공통으로 기입하여 버퍼링을 수행하도록 제어하되, 미디어 서페이스 텍스처 버퍼에 기입된 데이터를 콤포저(52) 및 미디어 리코더(62)가 동시 접근할 수 있도록 지원할 수 있다. 이에 따라 미디어 서페이스 텍스처 버퍼에 기입된 비디오 데이터를 프리뷰 데이터로서 사용하면서 비디오 데이터로 저장하도록 지원할 수 있다.
미디어 리코더(62)는 비디오 데이터를 하드웨어 인코더(63)에 전달하여 비디오 데이터를 저장하도록 지원하는 구성이다. 특히 미디어 리코더(62)는 싱글 모드 지원 과정에서 카메라 프레임워크(20) 제어에 따라 카메라 드라이버(10)가 제공하는 비디오 데이터를 직접 하드웨어 인코더(63)에 전달할 수 있다. 그리고 미디어 리코더(62)는 듀얼 모드 지원 과정에서는 미디어 서페이스 텍스처 버퍼에 기입된 비디오 데이터를 하드웨어 인코더(63)에 전달할 수 있다. 특히 미디어 리코더(62)는 공용 버퍼에 기입된 전면 비디오 데이터와 후면 비디오 데이터가 합성된 비디오 데이터를 하드웨어 인코더(63)에 전달할 수 있다.
캡쳐 버퍼(71)는 캡쳐 기능 지원을 위한 버퍼이다. 전면 카메라(171)가 별도 캡쳐 기능을 지원하지 않는 경우 후면 카메라(172)를 위하여 할당되는 버퍼이다. 후면 카메라(172)가 상대적으로 높은 화소의 데이터를 운용하므로 캡쳐 버퍼(71)는 해당 캡쳐 데이터에 대응하는 크기로 할당될 수 있다. 캡쳐 버퍼(71)는 싱글 모드 지원 시 OpenGL(40) 및 GPU(41)를 거치지 않고 카메라 드라이버(10)에서 제공하는 캡쳐 데이터를 직접 전달 받아 버퍼링할 수 있다. 그리고 캡쳐 버퍼(71)는 버퍼링된 캡쳐 데이터를 카메라 프레임워크(20) 제어에 따르는 JPEG 인코더(21)에 전달하여 인코딩할 수 있다.
듀얼 모드 지원시 캡쳐 버퍼(71)에는 전면 카메라(171)의 캡쳐 데이터와 후면 카메라(172)의 캡쳐 데이터가 버퍼링될 수 있다. 특히 캡쳐 버퍼(71)는 전자 장치(100)의 설계 방식이나 또는 사용자 설정에 따라 다양한 형태의 캡쳐 데이터를 저장할 수 있다. 예컨대 전자 장치(100)가 후면 캡쳐 모드만을 지원하는 경우 캡쳐 버퍼(71)는 후면 캡쳐 데이터만을 버퍼링하도록 지원할 수 있다. 한편 전자 장치(100)가 전후면 동시 캡쳐 모드를 지원하는 경우 캡쳐 버퍼(71)는 후면 캡쳐 데이터와 전면 캡쳐 데이터 각각을 버퍼링하거나, 후면 캡쳐 데이터에 전면 캡쳐 데이터가 합성된 데이터를 버퍼링할 수 있다.
합성된 캡쳐 데이터가 저장되는 경우 캡쳐 버퍼(71)에에 저장되는 전면 캡쳐 데이터는 후면 캡쳐 데이터의 크기에 맞도록 적절한 보정이 적용될 수 있다. 예컨대 표시부(140)를 통해 보여지는 후면 프리뷰 데이터는 2M 화소로 보이지만 저장을 위한 후면 캡쳐 데이터는 13M 화소로 구성되며 전면 캡쳐 데이터는 2M 화소로 구성될 수 있다. 이 경우 표시부(140)를 통해 보이는 영상에 대한 캡쳐 수행을 요청한 것과 실제 저장되는 화소의 차이가 크기 때문에 전자 장치(100)는 프리뷰로 보여지는 영상에 어느 정도 대응되도록 전면 캡쳐 데이터의 화소 확장을 위한 보정을 수행할 수 있다.
이때 전자 장치(100)는 전면 캡쳐 데이터의 화소 확장을 한계를 두어 일정 화소 이상 확장되지 않도록 지원할 수 있다. 화소 확장의 한계는 전자 장치(100)의 프리뷰 영상 화소에 따라 다를 수 있다. 그리고 상술한 후면 캡쳐 데이터 및 후면 프리뷰 데이터, 전면 프리뷰 데이터 등의 화소량은 예시한 것으로 전자 장치(100)의 설계에 따라 달라질 수 있을 것이다.
JPEG 인코더(21)는 캡쳐 버퍼(71)에 기입된 캡쳐 데이터를 인코딩한다. 그리고 JPEG 인코더(21)는 인코딩된 캡쳐 데이터를 저장부(150)에 저장하도록 지원할 수 있다. 하드웨어 인코더(63)는 미디어 리코더(62)가 제공하는 비디오 데이터를 인코딩한다. 그리고 하드웨어 인코더(63)는 인코딩된 비디오 데이터를 저장부(150)에 저장하도록 지원할 수 있다.
상술한 구성의 전자 장치(100)에 대하여 본 개시의 영상 처리 개선 기능과, 다양한 사용자 인터페이스 개선 기능 등에 대하여 도 3 내지 도 5의 영상 데이터 처리 방법 설명과 함께 보다 상세히 설명하기로 한다.
도 3은 본 개시의 영상 데이터 처리 방법을 설명하기 위한 순서도이다. 도 4는 본 개시의 영상 데이터 처리 기능 중 싱글 모드 운용에서의 제어부(160) 운용을 설명하기 위한 도면이며, 도 5는 본 개시의 영상 데이터 처리 기능 중 듀얼 모드 운용에서의 제어부(160) 운용을 설명하기 위한 도면이다.
도 3을 참조하면, 본 개시의 영상 데이터 처리 방법은 전자 장치(100)의 제어부(160)가 301 동작 과정에서 기능 대기를 수행한다. 기능 대기 과정은 전자 장치(100)의 카메라 기능 활성화 이전 동작으로서 전자 장치(100)가 제공 가능한 다양한 기능 중 적어도 하나의 기능 실행 상태가 될 수 있다. 예컨대 기능 대기 과정은 전원 공급 이전 상태 또는 전원 공급 후 부팅 완료 상태가 될 수 있다. 또한 기능 대기 과정은 파일 재생 상태, 파일 검색 기능 지원 상태 등이 될 수도 있다.
제어부(160)는 303 동작 과정에서 이미지 센서 모듈(170) 활성화를 위한 이벤트가 발생하는지 확인한다. 이 단계에서 이미지 센서 모듈(170) 활성화를 위한 이벤트가 발생하지 않으면 제어부(160)는 305 동작 과정으로 분기하여 이벤트 특성과 종류에 따른 기능 수행을 지원할 수 있다. 예컨대 제어부(160)는 이벤트 종류에 따른 통신 기능 또는 갤러리 기능 등을 지원할 수 있다.
303 동작 과정에서 이미지 센서 모듈(170) 활성화를 위한 이벤트가 발생하면 제어부(160)는 307 동작 과정으로 분기하여 싱글 모드 설정이 있는지 확인한다. 이 단계에서 싱글 모드 설정이 있는 경우 제어부(160)는 309 동작 과정으로 분기하여 GPU 제외 영상 처리를 지원할 수 있다. 제어부(160)는 싱글 모드 설정에 따라 제1 이미지 센서(171) 또는 제2 이미지 센서(172) 중 어느 하나의 이미지 센서를 활성화한다. 그리고 제어부(160)는 해당 이미지 센서 활성화에 따른 기능 수행을 지원할 수 있다. 예컨대 제어부(160)는 전면 카메라에 해당하는 제1 이미지 센서(171)를 기반으로 영상 통화를 수행할 수 있다. 이때 제어부(160)는 제1 이미지 센서(171)가 획득한 영상을 GPU 처리 없이 표시부(140)에 출력할 데이터를 생성하도록 지원할 수 있다. 또한 제어부(160)는 제2 이미지 센서(172)를 기반으로 피사체에 대한 프리뷰 모드나 캡쳐 모드 또는 비디오 모드 지원을 수행할 수 있다. 이때 제어부(160)는 제2 이미지 센서(172)가 수집한 영상에 대하여 GPU 처리 없이 표시부(140)에 출력할 영상을 생성하거나 저장부(150)에 저장할 영상을 생성하도록 제어할 수 있다.
한편 307 동작 과정에서 싱글 모드 설정이 없는 경우 제어부(160)는 311 동작 과정으로 분기하여, 듀얼 모드 설정 여부를 확인할 수 있다. 듀얼 모드 설정이 있는 경우 제어부(160)는 313 동작 과정으로 분기하여 GPU 기반 영상 처리를 수행할 수 있다. 예컨대 제어부(160)는 제1 이미지 센서(171) 및 제2 이미지 센서(172)로부터 전달된 데이터를 기반으로 표시부(140)에 출력하거나 비디오 데이터로 저장하거나 캡쳐 데이터로 저장할 영상 합성을 수행할 수 있다. 311 동작 과정에서 듀얼 모드 설정이 없는 경우 제어부(160)는 321 단계로 분기하여 전자 장치(100) 종료 여부를 확인할 수 있다. 그리고 제어부(160)는 전자 장치(100) 종료를 위한 이벤트 발생 또는 설정이 없으면 301 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다.
한편 309 동작 과정 또는 313 동작 과정 이후 제어부(160)는 315 단계로 분기하여 생성된 영상에 대한 출력을 수행할 수 있다. 여기서 영상 출력은 표시부(140) 및 저장부(150) 중 적어도 하나를 대상으로 수행될 수 있다.
다음으로 제어부(160)는 317 동작 과정에서 모드 전환을 위한 이벤트가 발생하는지 확인할 수 있다. 모드 전환을 위한 이벤트가 없으면 제어부(160)는 303 단계 이전으로 분기하여 이하 과정을 재수행하도록 지원할 수 있다. 한편 모드 전환을 위한 이벤트가 발생하면 제어부(160)는 319 동작 과정으로 분기하여 텍스처 운용 처리를 지원할 수 있다. 이를 보다 상세히 설명하면, 제어부(160)는 싱글 모드 운용 중에 현재 획득 또는 수집된 데이터를 버퍼링을 수행하고, 버퍼링된 데이터를 표시부(140)에 출력할 수 있다. 그리고 제어부(160)는 모드 변경 시간 동안 표시부(140)에 출력된 데이터에 대하여 점진적인 투명화 처리, 또는 투명화 상태에서 점진적으로 색을 가지도록 처리, 디밍(Dimming) 처리 등을 수행하거나, 점진적으로 사라짐(Fade out)을 수행하도록 지원할 수 있다. 이와 함께 제어부(160)는 변경할 모드에 의해 획득 또는 수집된 데이터 역시 버퍼링을 수행하고 이를 점진적으로 나타남(fade in) 처리할 수 있다. 이를 통하여 전자 장치(100)는 모드 변경 과정에서 발생할 수 있는 깜빡임을 제거할 수 있다.
도 4는 본 개시의 영상 데이터 처리 중 싱글 모드 운용에 있어서 하드웨어 운용을 설명하기 위한 도면이다. 이하 설명에서 카메라 프레임워크(20)를 통해 전달되는 데이터들은 앞서 도 2에서 설명한 CPU 프로세서를 거쳐서 콤포저(52), 미디어 리코더(62), 캡쳐 버퍼(71) 등에 전달될 수 있다. 이하 설명에서 CPU 프로세서의 구성을 제외하고 싱글 모드 운용에 대하여 설명하기로 한다.
도 4를 참조하면, 제어부(160)는 사용자 요청에 따라 카메라 기능을 활성화하도록 지원한다. 이때 제어부(160)는 카메라 앱(80)을 어플리케이션 레이어에 배치할 수 있다. 그리고 제어부(160)는 입력부(120) 등으로부터 입력되는 입력 신호 또는 설정된 정보에 따라 카메라 기능 중 특정 모드 예컨대 싱글 모드 또는 듀얼 모드 중 어느 하나의 모드에 따른 기능 수행을 지원할 수 있다.
싱글 모드가 설정되었거나, 싱글 모드 설정을 위한 입력 신호가 발생하면 제어부(160)는 도시된 바와 같이 이미지 센서 모듈(170) 중 어느 하나의 이미지 센서로부터 영상 데이터를 수신할 수 있다. 이하 설명에서 이미지 센서 모듈(170) 중 제2 이미지 센서(172)로부터 영상 데이터를 수신하는 것을 예시하여 설명하기로 한다. 제1 이미지 센서(171)로부터 영상 데이터가 수신되는 상황에서도 제어부(160)는 유사하게 영상 데이터 처리를 지원할 수 있다.
카메라 드라이버(10)는 제2 이미지 센서(172)로부터 베이어 타입 영상 데이터를 수신하거나 또는 베이어 타입의 포맷을 변경한 YUV 타입 영상 데이터를 수신할 수 있다. 카메라 드라이버(10)는 수신된 영상 데이터를 카메라 프레임워크(20)에 전달할 수 있다. 이때 카메라 프레임워크(20)는 싱글 모드 설정인 경우 해당 영상 데이터를 콤포저(52), 미디어 리코더(62) 및 캡쳐 버퍼(71) 중 적어도 하나로 공급되도록 지원할 수 있다. 이 과정에서 카메라 드라이버(10)는 카메라 프레임워크(20)에 실제 영상 데이터를 전달하지 않고 영상 데이터의 포인터를 전달함으로써 메모리 복사 과정을 수행하지 않을 수 있다(zero copy). 한편 카메라 드라이버(10)는 싱글 모드 지원 과정에서 제2 이미지 센서(172)가 제공한 영상 중 프리뷰 영상을 콤포저(52)에 전달할 수 있다. 그리고 카메라 드라이버(10)는 동영상 데이터 기록을 위한 비디오 모드 지원을 요청받는 경우 영상 데이터를 미디어 리코더(62)에 전달할 수 있다. 카메라 드라이버(10)는 캡쳐 데이터 저장을 위한 요청을 수신하는 경우 영상 데이터를 캡쳐 버퍼(71)에 전달하고, 다시 캡쳐 버퍼(71)에 기록된 영상을 JPEG 인코더(21)에 전달하도록 지원할 수 있다.
상술한 바와 같이 본 개시의 영상 데이터 처리 방식은 싱글 모드 지원 과정에서는 듀얼 카메라 프레임워크(30), 그래픽 처리부(GPU) 및 이를 지원하는 버퍼들을 이용하지 않는 싱글 모드 경로를 구성할 수 있다. 즉 본 개시의 영상 데이터 처리 방식은 프리뷰 모드, 비디오 모드, 캡쳐 모드 지원을 위한 하드웨어 구성을 직접적으로 이용하도록 경로(Path)를 구성할 수 있다. 이에 따라 본 개시의 영상 데이터 처리 방식은 싱글 모드에서 영상 데이터 처리를 위한 GPU 운용을 수행하지 않아 GPU 운용에 따른 전류 소모를 최소화할 수 있다.
도 5는 본 개시의 영상 데이터 처리 중 듀얼 모드 운용에 있어서 하드웨어 운용을 설명하기 위한 도면이다.
도 5를 참조하면, 제어부(160)는 사용자 요청에 따라 카메라 기능을 활성화하도록 지원한다. 이때 제어부(160)는 싱글 모드 또는 듀얼 모드에 관계 없이 카메라 앱(80)을 어플리케이션 레이어에 배치할 수 있다. 그리고 제어부(160)는 입력부(120) 등으로부터 입력되는 입력 신호 또는 설정된 정보에 따라 카메라 기능 중 특정 모드 예컨대 듀얼 모드 설정에 따른 기능 수행을 지원할 수 있다.
이 과정에서 제어부(160)는 도시된 바와 같이 이미지 센서 모듈(170)에 포함된 복수개의 이미지 센서들(171, 172)로부터 영상 데이터를 수신할 수 있다. 여기서 이미지 센서들(171, 172)에 제1 이미지 센서(171) 및 제2 이미지 센서(172)가 포함된 상태를 나타내었으나 본 개시가 이에 한정되는 것은 아니다. 즉 본 개시의 전자 장치(100)는 이미지 센서 모듈(170)에 2개 이상의 이미지 센서가 포함된 상태에서도 영상 합성 및 처리를 지원할 수 있다.
한편, 제어부(160)의 카메라 드라이버(10)는 제1 이미지 센서(171) 및 제2 이미지 센서(172)로부터 수신된 영상 데이터들을 카메라 프레임워크(20)에 전달할 수 있다. 카메라 프레임워크(20)는 듀얼 모드 수행을 위하여 수신된 영상 데이터들을 듀얼 카메라 프레임워크(30)에 전달할 수 있다. 듀어 카메라 프레임워크(20)는 수신된 영상 데이터들에 대한 버퍼 할당과 이펙트 이미지 지원을 수행할 수 있다. 이펙트 이미지 지원은 사용자 요청에 따라 수행되거나 디폴트로 수행될 수 있다. 이펙트 이미지는 큐빅, 하트, 포스트카드 등 다양한 형태로 제공 가능하며, 크기와 위치 조정이 가능하도록 지원될 수 있다.
듀얼 카메라 프레임워크(30)는 듀얼 모드 중 현재 실행이 요구된 기능에 따라 영상 데이터를 OpenGL(40)에 전달할 수 있다. 즉 듀얼 카메라 프레임워크(30)는 듀얼 프리뷰 모드 지원 시에는 제1 이미지 센서(171) 및 제2 이미지 센서(172)의 프리뷰 데이터만을 OpenGL(40)에 전달할 수 있다. 프리뷰 데이터 처리를 위하여 OpenGL(40)은 각각의 이미지 센서들(171, 172)로부터의 프리뷰 데이터를 각각의 서페이스 텍스처 버퍼(51)에 기입하도록 제어할 수 있다. 각각의 서페이스 텍스처 버퍼(51)에 기입된 프리뷰 데이터들은 콤포저(52)에서 UI 레이어 요소들과 합성되어 표시부(140)를 통해 출력될 수 있다.
그리고 듀얼 카메라 프레임워크(30)는 듀얼 비디오 모드 지원 시에는 제1 이미지 센서(171) 및 제2 이미지 센서(172)의 비디오 데이터를 OpenGL(40)에 전달할 수 있다. OpenGL(40)은 듀얼 비디오 모드 수행 시 듀얼 카메라 프레임워크(30)가 전달한 비디오 데이터를 GPU(41)를 이용하여 합성한 후 공용 버퍼에 기입할 수 있다. 그리고 공용 버퍼에 기입된 비디오 데이터를 콤포저(52) 및 미디어 리코더(62)에 전달함으로써 프리뷰 데이터와 비디오 데이터의 중복 처리를 방지할 수 있다. 한편 OpenGL(40)의 GPU(41)는 제1 이미지 센서(171)의 비디오 데이터와 제2 이미지 센서(172)의 비디오 데이터의 해상도가 상이한 경우 해상도 차이에 따른 합성을 수행하도록 지원할 수 있다. 예컨대 OpenGL(40)은 상대적으로 고해상도의 영상 즉 제2 이미지 센서(172) 기준의 버퍼 할당 및 영상 합성을 지원할 수 있다.
캡쳐 모드 지원 시, 제어부(160)는 해당 전자 장치(100)의 설계 형태에 따라 또는 사용자 요청에 따라 특정 형태의 패스를 형성하도록 지원할 수 있다. 예컨대 전자 장치(100)는 듀얼 캡쳐 모드, 제1 이미지 센서(171) 기반의 싱글 캡쳐 모드, 제2 이미지 센서(172) 기반의 싱글 캡쳐 모드 중 적어도 하나를 지원하도록 설계될 수 있다. 듀얼 캡쳐 모드 지원 시 제어부(160)는 제1 이미지 센서(171)가 제공한 캡쳐 데이터와 제2 이미지 센서(172)가 제공한 캡쳐 데이터를 합성하여 합성 캡쳐 데이터를 생성하고 이를 인코딩하여 저장할 수 있다. 이때 제어부(160)는 고해상도의 캡쳐 데이터를 기준으로 저해상도의 캡쳐 데이터를 현재 표시부(140)에 표시되고 있는 비율 기준으로 보정하여 합성 캡쳐 데이터를 생성할 수 있다. 여기서 제어부(160)는 표시부(140)에 표시된 듀얼 프리뷰 모드 기반의 영상들에 대하여 상대적인 비율 값 예컨대 제2 이미지 센서(172)의 프리뷰 데이터 크기 대비 제1 이미지 센서(171)의 프리뷰 데이터 크기를 0 ~ 1 사이의 값으로 평균화(Normalization)하여 합성 캡쳐 데이터에 적용할 수 있다. 이때 제어부(160)는 제1 이미지 센서(171)의 캡쳐 데이터가 부자연스럽지 않도록 일정 크기 이하까지만 확장하도록 제한을 둘 수 있다. 여기서 부자연스러움의 정도는 실험적 및 통계적으로 산출될 수 있다. 산출 값은 제1 이미지 센서(171)와 제2 이미지 센서(172)의 해상도 차이로 인하여 각 전자 장치(100)별로 조정될 수 있을 것이다.
상술한 바와 같이 본 개시의 전자 장치(100)는 듀얼 모드 지원 시 그래픽 처리부를 포함하는 듀얼 모드 경로를 구성하여 복수의 영상 데이터를 합성하는 등의 처리를 지원할 수 있다.
도 6은 본 개시의 전자 장치가 제공하는 카메라 기능 관련 화면 인터페이스의 일예를 설명하기 위한 도면이다.
도 6을 참조하면, 본 개시의 전자 장치(100)는 601 화면에서와 같이 제1 이미지 센서 영상(601) 기반의 싱글 모드, 603 화면에서와 같이 제1 이미지 센서 영상(601) 및 제2 이미지 센서 영상(602) 기반의 듀얼 모드, 605 화면에서와 같이 이펙트 이미지(603) 적용 및 위치 변경이 적용된 듀얼 모드, 제2 이미지 센서 영상(602) 기반의 싱글 모드 중 적어도 하나를 지원할 수 있다. 그리고 전자 장치(100)는 각각의 모드 전환을 제공할 수 있다. 여기서 이펙트 이미지(603)를 603 화면에서만 적용되는 형태로 나타내었으나 본 개시가 이에 한정되는 것은 아니다. 즉 이펙트 이미지(603)는 605 화면에서의 듀얼 모드에도 동일하게 적용될 수 있다. 듀얼 모드 지원 화면에서는 이미지 센서 영상들(601, 602)을 메인 화면과 PIP 영역으로 제공되는 화면을 예시하였으나 본 개시가 이에 한정되는 것은 아니다. 즉 본 개시의 전자 장치(100)에서 표시부(140)는 사용자 설정에 따라 화면 분할 형태 예컨대 표시부(140)를 중앙 가로선 또는 중앙 세로선 기준으로 분할하고 분할된 영역에 이미지 센서 영상들(601, 602)을 표시할 수도 있다. 또한 PIP 영역이 제공되는 영역은 타 이미지 센서 영상의 얼굴 영역과 중첩되지 않도록 기 정의된 위치 및 크기를 가지며 제공될 수도 있다.
상술한 본 개시의 전자 장치(100)는 싱글 모드 지원에서는 그래픽 처리부(GPU)를 이용하지 않고 프리뷰 데이터와 UI 레이어를 오버레이하는 한 후 콤포저(52)를 운용할 수 있다. 한편 본 개시의 전자 장치(100)는 듀얼 모드 지원시에는 그래픽 처리부를 기반으로 제1 이미지 센서(171) 및 제2 이미지 센서(172) 지원을 위한 영상 텍스처(Texture)를 운용할 수 있다. 이때 전자 장치(100)는 텍스처 운용을 위한 버퍼 할당을 지원할 수 있다.
본 개시의 전자 장치(100)는 듀얼 캡쳐 모드 지원 시 제1 이미지 센서(171)와 제2 이미지 센서(172)로부터의 영상 데이터들을 GPU(41) 기반 연산을 통해 합성(Merging)하고 사용자 선택에 따라 적어도 하나의 이펙트 이미지(603)를 적용한 텍스처를 버퍼에 저장할 수 있다. 그리고 버퍼에 기입된 텍스처를 표시부 버퍼에 전송하여 프리뷰를 적용함과 동시에 해당 텍스처를 JPEG 인코더에 제공하여 듀얼 프리뷰 모드에서의 끊김 없는 캡쳐 기능을 제공할 수 있다.
한편 본 개시의 전자 장치(100)는 싱글 모드에서 듀얼 모드로 전환할 때 제1 이미지 센서(171) 및 제2 이미지 센서(172)의 영상 데이터에 대한 텍스처를 확보할 수 있다. 그리고 전자 장치(100)는 듀얼 프리뷰 모드 혹은 듀얼 비디오 모드 진행 중에 미리 준비한 텍스처를 전환함으로써 별도 텍스처 생성 없이 텍스처 전달을 수행할 수 있어 끊김 없는(Seamless)한 배경과 PIP 전환을 지원할 수 있다. 이와 함께 전자 장치(100)는 배경과 PIP 전환을 수행하면서 GPU(41) 기반 연산 및 리코딩을 수행하여 다양한 모드 전환 시에도 끊김없는 스위칭이 가능하도록 지원할 수 있다. 이때 전자 장치(100)는 비활성화 상태의 이미지 센서 예컨대 제2 이미지 센서(172) 기반의 싱글 모드 운용 시 제1 이미지 센서(171)의 영상에 대한 PIP 텍스처를 미리 생성해 놓고 음성 인식이나 UI 터치 또는 기타 물리적 키 입력 발생에 따라 PIP 텍스처를 싱글 모드 화면에 바로 적용할 수 있도록 지원할 수 있다.
본 개시의 전자 장치(100)는 이펙트 이미지(603) 적용을 위하여 다수의 이펙트 이미지(603)에 대한 마스크(Mask)를 각각 텍스처로 생성하여 운용할 수 있다. 이러한 텍스처 운용 방식은 이펙트 이미지(603)들 간의 전환 시간을 절약할 수 있도록 지원한다. 또한 듀얼 비디오 코드 중에 PIP 영역의 온/오프를 자유롭게 운용할 수 있다. 한편 전자 장치(100)는 이펙트 이미지(603)의 전환 과정에서 사전 정의된 방식에 따라 이펙트 이미지(603)가 적용된 PIP 위치 결정을 다르게 수행할 수 있다. 예컨대 전자 장치(100)는 듀얼 모드에서 이펙트 이미지(603) 적용을 위한 입력 신호가 발생하면 디폴트로 정의된 일정 위치에 이펙트 이미지(603)가 적용된 PIP 영역을 출력하도록 지원할 수 있다. 이 경우 이펙트 이미지(603)가 적용된 PIP 영역을 사용자 지정에 따라 표시부(140) 상에서 위치 변경을 적용하더라도 새로운 이펙트 이미지(603) 적용이 요청되는 경우 디폴트로 지정된 위치에 PIP 영역이 출력될 수 있다. 또는 전자 장치(100)는 이펙트 이미지(603) 적용을 PIP 영역의 위치에 종속적으로 지원할 수 있다. 이를 위하여 카메라 앱(80)은 PIP 영역에 대한 위치 값과 이펙트 이미지(603) 적용 상태 등에 대한 상태(Status) 관리를 수행할 수 있다. 이 경우 새로운 이펙트 이미지(603) 적용이 요청되더라도 이전 PIP 영역의 위치가 유지된 상태에서 새로운 이펙트 이미지(603)가 적용될 수 있다.
본 개시의 전자 장치(100)는 앞서 설명한 바와 같이 복수개의 이미지 센서들에 대하여 각각의 이미지 센서들이 제공한 영상 데이터들에 대한 텍스처를 생성하고 이를 기반으로 합성 및 이펙트 적용을 지원할 수 있다. 그리고 전자 장치(100)는 사용자 요청에 따라 PIP 영역의 크기와 위치 변경을 지원할 수 있다. 여기서 전자 장치(100)는 이펙트 이미지(603)의 크기가 화면을 벗어나지 않도록 한계 범위를 지정하여 관리할 수 있다.
한편 상술한 전자 장치(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 전자 장치(100)는 근거리 무선 통신을 위한 근거리통신모듈, 상기 전자 장치(100)의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 개시의 전자 장치(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.
또한 본 개시의 실시 예에 따른 상기 전자 장치(100)는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 전자 장치들(mobile communication terminals)을 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.
한편, 본 명세서와 도면을 통해 본 개시의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 개시의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 개시의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 개시의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.
100 : 전자 장치 110 : 통신부
120 : 입력부 130 : 오디오 처리부
140 : 표시부 150 : 저장부
160 : 제어부 170 : 이미지 센서 모듈

Claims (20)

  1. 복수개의 이미지 센서를 포함하는 이미지 센서 모듈;
    하나의 이미지 센서로부터의 영상 데이터 처리 시 시스템 제어 유닛에 해당하는 프로세서를 기반으로 영상 처리를 지원하며, 복수의 이미지 센서로부터의 영상 데이터들 처리 시 그래픽 제어 유닛에 해당하는 프로세서를 기반으로 영상 처리를 수행하도록 제어하는 제어부;를 포함하는 영상 데이터 처리 지원 전자 장치.
  2. 제1항에 있어서,
    상기 이미지 센서 모듈이
    전면 카메라 형태로 배치되는 제1 이미지 센서;
    후면 카메라 형태로 배치되는 제2 이미지 센서;를 포함하는 영상 데이터 처리 지원 전자 장치.
  3. 제2항에 있어서,
    상기 제1 이미지 센서가 상기 제2 이미지 센서에 비하여 상대적으로 저해상도 영상 획득을 지원하는 영상 데이터 처리 지원 전자 장치.
  4. 제3항에 있어서,
    상기 제어부가
    상기 복수의 영상 데이터들의 캡쳐 데이터 저장 시 프리뷰 상태로 표시되는 화면을 기준으로 상대적으로 저해상도의 영상에 대한 영상 보정을 수행하는 영상 데이터 처리 지원 전자 장치.
  5. 제1항에 있어서,
    상기 제어부가
    하나의 이미지 센서로부터 제공되는 영상 데이터를 수신하는 카메라 드라이버와;
    상기 카메라 드라이버로부터 제공되는 영상 데이터를 기 정의된 화면 구성 요소와 합성하는 콤포저, 상기 카메라 드라이버로부터 제공되는 영상 데이터를 기반으로 비디오 리코딩을 수행하는 미디어 리코더 및 상기 카메라 드라이버로부터 제공되는 영상 데이터를 기반으로 캡쳐 데이터 저장을 지원하기 위한 캡쳐 버퍼 및 JPEG 인코더 중 적어도 하나를 포함하는 영상 데이터 처리 지원 전자 장치.
  6. 제1항에 있어서,
    상기 제어부가
    복수의 영상 데이터들을 각각에 대한 텍스처를 저장할 복수개의 버퍼를 할당하는 영상 데이터 처리 지원 전자 장치.
  7. 제1항에 있어서,
    복수의 영상 데이터들의 합성된 영상 데이터를 저장할 공용 버퍼;를 더 포함하며,
    상기 제어부가
    상기 공용 버퍼에 저장된 영상 데이터를 프리뷰 데이터 및 비디오 데이터로 이용하도록 제어하는 것을 영상 데이터 처리 지원 전자 장치.
  8. 제1항에 있어서,
    복수의 영상 데이터들의 합성에 적용할 각 영상 데이터별 이펙트 이미지를 저장하는 버퍼;를 더 포함하는 영상 데이터 처리 지원 전자 장치.
  9. 제1항에 있어서,
    상기 제어부가
    하나의 이미지 센서를 이용하는 싱글 모드에서 복수개의 영상 데이터들을 처리하는 듀얼 모드 전환을 요청받는 경우, 복수의 이미지 센서들의 영상 데이터들에 대한 텍스처들을 버퍼에 저장하고, 저장된 텍스처들을 기반으로 합성된 영상 데이터 출력 또는 저장을 지원하는 영상 데이터 처리 지원 전자 장치.
  10. 제9항에 있어서,
    상기 제어부가
    상기 듀얼 모드 및 상기 싱글 모드 간의 전환 시 상기 텍스처를 유지한 후 점진적 표시 처리를 수행하는 영상 데이터 처리 지원 전자 장치.
  11. 하나의 이미지 센서로부터의 영상 데이터 처리 요청을 수신하는 과정;
    시스템 제어 유닛에 해당하는 프로세서를 통하여 상기 영상 데이터 처리를 위한 싱글 모드 경로를 구성하는 과정;
    상기 싱글 모드 경로에 따라 영상 데이터 처리를 수행하는 싱글 모드 지원 과정;을 포함하는 영상 데이터 처리 방법.
  12. 제11항에 있어서,
    상기 싱글 모드 지원 과정은
    하나의 이미지 센서와 연결된 카메라 드라이버가 제공하는 영상 데이터를 기 정의된 화면 구성 요소와 합성하여 프리뷰 데이터를 생성하는 과정;
    상기 카메라 드라이버로부터 제공되는 영상 데이터를 기반으로 비디오 리코딩을 수행하는 과정;
    상기 카메라 드라이버로부터 제공되는 영상 데이터를 캡쳐 버퍼에 저장한 후 인코딩하는 과정; 중 적어도 하나의 과정을 포함하는 영상 데이터 처리 방법.
  13. 제11항에 있어서,
    복수의 이미지 센서로부터의 영상 데이터들 처리 요청을 수신하는 수신 과정;
    그래픽 처리 유닛에 해당하는 프로세서를 포함하는 듀얼 모드 경로를 구성하는 과정;
    상기 듀얼 모드 경로를 통해 영상 처리를 수행하는 과정;을 더 포함하는 영상 데이터 처리 방법.
  14. 제13항에 있어서,
    상기 수신 과정은
    상기 복수의 이미지 센서로부터 서로 다른 해상도의 영상을 수신하는 과정;을 포함하는 영상 데이터 처리 방법.
  15. 제14항에 있어서,
    상기 복수의 영상 데이터들의 캡쳐 데이터 저장 요청을 수신하는 과정;
    상기 복수의 영상 데이터들의 프리뷰 상태 표시 화면을 기준으로 상대적으로 저해상도의 영상에 대한 영상 보정을 수행하는 과정;을 더 포함하는 영상 데이터 처리 방법.
  16. 제13항에 있어서,
    복수의 영상 데이터들을 각각에 대한 텍스처를 저장할 복수개의 버퍼를 할당하는 과정;을 더 포함하는 것을 특징으로 하는 영상 데이터 처리 방법.
  17. 제13항에 있어서,
    복수의 영상 데이터들의 합성된 영상 데이터를 저장할 공용 버퍼를 할당하는 과정;
    상기 공용 버퍼에 저장된 영상 데이터를 프리뷰 데이터 및 비디오 데이터로 이용하는 과정;을 더 포함하는 영상 데이터 처리 방법.
  18. 제13항에 있어서,
    복수의 영상 데이터들의 합성에 적용할 각 영상 데이터별 이펙트 이미지를 저장하는 버퍼를 할당하는 과정;을 더 포함하는 영상 데이터 처리 방법.
  19. 제13항에 있어서,
    하나의 이미지 센서를 이용하는 싱글 모드에서 복수개의 영상 데이터들을 처리하는 듀얼 모드 전환을 요청받는 과정;
    상기 복수의 이미지 센서들의 영상 데이터들에 대한 텍스처들을 버퍼에 저장하는 과정;
    상기 저장된 텍스처들을 기반으로 합성된 영상 데이터 출력 또는 저장을 지원하는 과정;을 더 포함하는 영상 데이터 처리 방법.
  20. 제3항에 있어서,
    상기 듀얼 모드 및 상기 싱글 모드 간의 전환 시 상기 텍스처를 유지한 후 점진적 표시 처리를 수행하는 과정;을 더 포함하는 영상 데이터 처리 방법.
KR20130027602A 2013-03-14 2013-03-14 영상 데이터 처리 방법 및 이를 지원하는 전자 장치 Ceased KR20140114501A (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR20130027602A KR20140114501A (ko) 2013-03-14 2013-03-14 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
US14/202,334 US9491367B2 (en) 2013-03-14 2014-03-10 Image data processing method and electronic device supporting the same
PCT/KR2014/001968 WO2014142495A1 (en) 2013-03-14 2014-03-11 Image data processing method and electronic device supporting the same
AU2014201365A AU2014201365A1 (en) 2013-03-14 2014-03-11 Image data processing method and electronic device supporting the same
CN201410092877.8A CN104052922B (zh) 2013-03-14 2014-03-13 图像数据处理方法和支持图像数据处理方法的电子设备
JP2014050515A JP2014179991A (ja) 2013-03-14 2014-03-13 映像データ処理方法及びこれをサポートする電子装置
EP20140159772 EP2778898A1 (en) 2013-03-14 2014-03-14 Image data processing method and electronic device supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130027602A KR20140114501A (ko) 2013-03-14 2013-03-14 영상 데이터 처리 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
KR20140114501A true KR20140114501A (ko) 2014-09-29

Family

ID=50513659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130027602A Ceased KR20140114501A (ko) 2013-03-14 2013-03-14 영상 데이터 처리 방법 및 이를 지원하는 전자 장치

Country Status (7)

Country Link
US (1) US9491367B2 (ko)
EP (1) EP2778898A1 (ko)
JP (1) JP2014179991A (ko)
KR (1) KR20140114501A (ko)
CN (1) CN104052922B (ko)
AU (1) AU2014201365A1 (ko)
WO (1) WO2014142495A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019136A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 인코딩 방법
US10944908B2 (en) 2016-08-31 2021-03-09 Samsung Electronics Co., Ltd. Method for controlling camera and electronic device therefor
WO2021230567A1 (ko) * 2020-05-15 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
WO2025264093A1 (ko) * 2024-06-21 2025-12-26 삼성전자주식회사 복수의 카메라들을 포함하는 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102146857B1 (ko) * 2014-04-07 2020-08-21 삼성전자주식회사 촬영 장치 및 이의 제어 방법
CN104349063B (zh) * 2014-10-27 2018-05-15 东莞宇龙通信科技有限公司 一种控制摄像头拍摄的方法、装置及终端
CN105791764A (zh) * 2015-03-19 2016-07-20 广州市三川田文化科技股份有限公司 一种基于三维图像视频监控图像显示方法
US10142533B2 (en) * 2015-03-27 2018-11-27 Intel Corporation Technologies for controlling user access to image sensors of a camera device
KR101667736B1 (ko) 2015-09-25 2016-10-20 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105872365A (zh) * 2016-03-29 2016-08-17 努比亚技术有限公司 移动终端拍照方法及装置
US10187568B1 (en) * 2016-05-02 2019-01-22 Bao Tran Video smart phone
CN106027894B (zh) * 2016-06-08 2019-02-22 上海兆芯集成电路有限公司 处理多相机模组的感测影像的方法及装置
US20190364221A1 (en) * 2016-12-24 2019-11-28 Huawei Technologies Co., Ltd. Camera Control Method and Terminal
US11049219B2 (en) * 2017-06-06 2021-06-29 Gopro, Inc. Methods and apparatus for multi-encoder processing of high resolution content
US10681273B2 (en) 2017-08-24 2020-06-09 Samsung Electronics Co., Ltd. Mobile device including multiple cameras
US10694197B2 (en) 2018-01-17 2020-06-23 Qualcomm Incorporated Composition based dynamic panel mode switch
CN110225258B (zh) * 2018-04-28 2021-08-20 Oppo广东移动通信有限公司 数据处理方法、装置、计算机可读存储介质和电子设备
KR102611722B1 (ko) 2019-01-07 2023-12-07 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법
US11109067B2 (en) 2019-06-26 2021-08-31 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11228781B2 (en) 2019-06-26 2022-01-18 Gopro, Inc. Methods and apparatus for maximizing codec bandwidth in video applications
US11481863B2 (en) 2019-10-23 2022-10-25 Gopro, Inc. Methods and apparatus for hardware accelerated image processing for spherical projections
CN110784674B (zh) 2019-10-30 2022-03-15 北京字节跳动网络技术有限公司 视频处理的方法、装置、终端及存储介质
WO2021083146A1 (zh) 2019-10-30 2021-05-06 北京字节跳动网络技术有限公司 视频处理方法、装置、终端及存储介质
CN111669502B (zh) * 2020-06-19 2022-06-24 北京字节跳动网络技术有限公司 目标对象显示方法、装置及电子设备
KR102555845B1 (ko) * 2021-06-01 2023-07-17 주식회사 인포쉐어 지능형 cctv 및 이를 이용하는 감시시스템
CN115811656B (zh) * 2021-06-16 2025-10-24 荣耀终端股份有限公司 一种拍摄视频的方法及电子设备
CN115484390B (zh) * 2021-06-16 2023-12-19 荣耀终端有限公司 一种拍摄视频的方法及电子设备
CN113573120B (zh) 2021-06-16 2023-10-27 北京荣耀终端有限公司 音频的处理方法及电子设备、芯片系统及存储介质
CN115484424B (zh) * 2021-06-16 2024-07-02 荣耀终端有限公司 一种视频数据的转场处理方法及电子设备
WO2022262550A1 (zh) 2021-06-16 2022-12-22 荣耀终端有限公司 一种拍摄视频的方法及电子设备
CN115484392B (zh) * 2021-06-16 2023-12-19 荣耀终端有限公司 一种拍摄视频的方法及电子设备
US20230245549A1 (en) * 2022-02-03 2023-08-03 Bi Incorporated Systems and Methods for Dual Direction Individual Monitoring
US20230262300A1 (en) * 2022-02-16 2023-08-17 Lenovo (Singapore) Pte. Ltd Information processing apparatus and control method
CN115334265A (zh) * 2022-06-30 2022-11-11 武汉高德智感科技有限公司 一种红外可见光画中画视频录制的方法与电子设备
CN117425057A (zh) * 2022-07-07 2024-01-19 抖音视界(北京)有限公司 用于影像拍摄的方法、装置、设备和存储介质
CN117407596A (zh) 2022-07-07 2024-01-16 抖音视界(北京)有限公司 用于内容呈现的方法、装置、设备和存储介质
CN115334246B (zh) * 2022-09-06 2025-07-01 抖音视界有限公司 用于影像拍摄的方法、装置、设备和存储介质

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032542A (ja) * 2001-07-19 2003-01-31 Mitsubishi Electric Corp 撮像装置
JP2004004796A (ja) * 2002-04-25 2004-01-08 Matsushita Electric Ind Co Ltd 画像処理装置
JP3948387B2 (ja) * 2002-10-24 2007-07-25 松下電器産業株式会社 ディジタルカメラおよびディジタルカメラ付き携帯電話装置
JP4309740B2 (ja) * 2003-10-22 2009-08-05 パイオニア株式会社 撮影装置および撮影方法
KR100836616B1 (ko) 2006-11-14 2008-06-10 (주)케이티에프테크놀로지스 영상 합성 기능을 가지는 휴대용 단말기 및 휴대용단말기의 영상 합성 방법
KR101335626B1 (ko) 2007-01-03 2013-12-03 삼성전자주식회사 사용자의 얼굴이 모니터링되는 디지털 영상 처리 장치
US8009200B2 (en) * 2007-06-15 2011-08-30 Microsoft Corporation Multiple sensor input data synthesis
US7991285B2 (en) * 2008-01-08 2011-08-02 Sony Ericsson Mobile Communications Ab Using a captured background image for taking a photograph
US8223796B2 (en) 2008-06-18 2012-07-17 Ati Technologies Ulc Graphics multi-media IC and method of its operation
ES2313860B1 (es) 2008-08-08 2010-03-16 Nilo Garcia Manchado Camara digital y procedimiento asociado.
KR101356269B1 (ko) 2009-09-08 2014-01-29 주식회사 팬택 듀얼 카메라를 지원하는 이동 단말 및 그 이동 단말의 이미지 처리 방법
US8451312B2 (en) * 2010-01-06 2013-05-28 Apple Inc. Automatic video stream selection
KR20110088914A (ko) * 2010-01-29 2011-08-04 삼성전자주식회사 휴대용 단말기에서 카메라 기능을 제공하기 위한 장치 및 방법
US9264659B2 (en) 2010-04-07 2016-02-16 Apple Inc. Video conference network management for a mobile device
CN102215217B (zh) * 2010-04-07 2014-09-17 苹果公司 在通话期间建立视频会议
EP2567287B1 (en) * 2010-05-03 2019-08-21 InVisage Technologies, Inc. Devices and methods for high-resolution image and video capture
JP2012003619A (ja) * 2010-06-18 2012-01-05 Sony Corp 情報処理装置、情報処理装置の制御方法、およびプログラム
US8493482B2 (en) * 2010-08-18 2013-07-23 Apple Inc. Dual image sensor image processing system and method
US20120092351A1 (en) 2010-10-19 2012-04-19 Apple Inc. Facilitating atomic switching of graphics-processing units
US9584735B2 (en) * 2010-11-12 2017-02-28 Arcsoft, Inc. Front and back facing cameras
US8520080B2 (en) * 2011-01-31 2013-08-27 Hand Held Products, Inc. Apparatus, system, and method of use of imaging assembly on mobile terminal
KR20120091550A (ko) 2011-02-09 2012-08-20 주식회사 글로벌미디어테크 범용 그래픽 처리장치의 병렬 프로세서를 이용한 고속 영상 처리 장치 및 방법
KR101764372B1 (ko) 2011-04-19 2017-08-03 삼성전자주식회사 휴대용 단말기에서 영상 합성 방법 및 장치
US8988558B2 (en) * 2011-04-26 2015-03-24 Omnivision Technologies, Inc. Image overlay in a mobile device
JP2012256223A (ja) 2011-06-09 2012-12-27 Sony Corp 情報処理装置および情報処理方法
KR20130019674A (ko) 2011-08-17 2013-02-27 삼성전자주식회사 단말 및 그 단말에서 어플리케이션 수행 방법
JP5659304B2 (ja) * 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US8866943B2 (en) * 2012-03-09 2014-10-21 Apple Inc. Video camera providing a composite video sequence
US8953079B2 (en) * 2012-12-31 2015-02-10 Texas Instruments Incorporated System and method for generating 360 degree video recording using MVC

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170019136A (ko) * 2015-08-11 2017-02-21 삼성전자주식회사 전자 장치 및 전자 장치의 이미지 인코딩 방법
US10944908B2 (en) 2016-08-31 2021-03-09 Samsung Electronics Co., Ltd. Method for controlling camera and electronic device therefor
US11350033B2 (en) 2016-08-31 2022-05-31 Samsung Electronics Co., Ltd. Method for controlling camera and electronic device therefor
WO2021230567A1 (ko) * 2020-05-15 2021-11-18 삼성전자 주식회사 복수의 카메라를 이용한 이미지 촬영 방법 및 그 전자 장치
US11877072B2 (en) 2020-05-15 2024-01-16 Samsung Electronics Co., Ltd. Image capturing method using plurality of cameras, and electronic device
US12267599B2 (en) 2020-05-15 2025-04-01 Samsung Electronics Co., Ltd. Image capturing method using plurality of cameras, and electronic device therefor
WO2025264093A1 (ko) * 2024-06-21 2025-12-26 삼성전자주식회사 복수의 카메라들을 포함하는 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Also Published As

Publication number Publication date
AU2014201365A1 (en) 2014-10-02
CN104052922B (zh) 2018-10-09
US20140267842A1 (en) 2014-09-18
EP2778898A1 (en) 2014-09-17
JP2014179991A (ja) 2014-09-25
CN104052922A (zh) 2014-09-17
US9491367B2 (en) 2016-11-08
WO2014142495A1 (en) 2014-09-18

Similar Documents

Publication Publication Date Title
KR20140114501A (ko) 영상 데이터 처리 방법 및 이를 지원하는 전자 장치
EP4224831B1 (en) Image processing method and electronic device
CN113741840B (zh) 多窗口投屏场景下的应用界面显示方法及电子设备
CN109559270B (zh) 一种图像处理方法及电子设备
EP4465647A1 (en) Photographing method and electronic device
CN113986162B (zh) 图层合成方法、设备及计算机可读存储介质
CN115373777A (zh) 显示方法及相关装置
CN113837920B (zh) 一种图像渲染方法及电子设备
CN113225616B (zh) 视频播放方法、装置、计算机设备及可读存储介质
CN111010588B (zh) 直播处理方法、装置、存储介质及设备
WO2022206600A1 (zh) 一种投屏方法、系统及相关装置
CN116700578A (zh) 图层合成方法、电子设备以及存储介质
CN111935542A (zh) 视频处理方法、视频播放方法、装置、设备及存储介质
CN108492339B (zh) 获取资源压缩包的方法、装置、电子设备及存储介质
EP4274224B1 (en) Multi-scene video recording method and apparatus, and electronic device
CN112822544A (zh) 视频素材文件生成方法、视频合成方法、设备及介质
WO2023185636A1 (zh) 图像显示方法及电子设备
CN111294509A (zh) 视频拍摄方法、装置、终端及存储介质
CN111641824A (zh) 视频倒放方法及装置
CN111125571A (zh) 图片显示方法及装置
WO2025201357A1 (zh) 一种图层合成方法及相关装置
CN118674647A (zh) 图片模糊的方法和电子设备
CN115713919A (zh) 背光调整方法、装置、终端及存储介质

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130314

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180314

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130314

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190430

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20191007

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190430

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I