KR20120068024A - 장치 - Google Patents
장치 Download PDFInfo
- Publication number
- KR20120068024A KR20120068024A KR1020127009041A KR20127009041A KR20120068024A KR 20120068024 A KR20120068024 A KR 20120068024A KR 1020127009041 A KR1020127009041 A KR 1020127009041A KR 20127009041 A KR20127009041 A KR 20127009041A KR 20120068024 A KR20120068024 A KR 20120068024A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- encoded
- additional
- file
- decoded
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000000034 method Methods 0.000 claims description 81
- 230000015654 memory Effects 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 5
- 230000004044 response Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 24
- 230000006835 compression Effects 0.000 description 14
- 238000007906 compression Methods 0.000 description 14
- 238000013461 design Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 101100055496 Arabidopsis thaliana APP2 gene Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 101100016250 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) GYL1 gene Proteins 0.000 description 1
- 102100038359 Xaa-Pro aminopeptidase 3 Human genes 0.000 description 1
- 101710081949 Xaa-Pro aminopeptidase 3 Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005316 response function Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
- H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
- H04N19/43—Hardware specially adapted for motion estimation or compensation
- H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
장치는, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 관련된 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하도록 구성된 카메라 모듈; 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하도록 구성된 레퍼런스 이미지 인코더; 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하도록 구성된 추가 이미지 인코더; 및 제 1 인코딩된 이미지와 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하도록 구성된 파일 컴파일러를 포함한다.
Description
본 출원은 방법 및 장치에 관한 것이다. 몇몇 실시예들에서, 방법 및 장치는 이미지 프로세싱에 관한 것으로, 상세하게는, 배타적으로 한정되지 않지만, 몇몇 실시예들은 멀티-프레임 이미지 프로세싱에 관한 것이다.
이미지 캡처 디바이스 및 카메라가 일반적으로 알려져 있고, 다수의 전기 디바이스에서 구현되었다. 멀티-프레임 이미징은 카메라 및 이미지 캡처링 디바이스에 의해 이용될 수도 있는 기법이다. 이러한 멀티-프레임 이미징 애플리케이션들은 예를 들어, 동일한 장면의 여러 이미지들이 상이한 노출 시간으로 캡처된 후, 더 양호한 시각 품질을 갖는 단일의 이미지로 결합될 수 있는 높거나 넓은 동적 범위 이미징이다. 높은 동적 범위/넓은 동적 범위 애플리케이션의 사용은 카메라가 대상물을 둘러싸는 그 대상물에 대한 강한 백라이트를 필터링하게 하고 대상물에 대한 특징들 및 형상들을 구별하기 위한 능력을 강화시키게 한다. 따라서, 예를 들어, 광이 다양한 각도들로부터 방에 입사하는 경우, 방의 내부에 배치된 카메라는 방에 입사하는 강한 태양광 또는 인공광을 통해 보고 방안의 대상물을 볼 것이다. 종래의 단일 프레임 이미지는, 이들이 너무 어두워서 대상물을 볼 수 없는 이미지를 생성하거나 배경이 방에 입사하는 광에 의해 지워지기 때문에, 수용가능한 레벨의 성능을 제공하지 못한다.
다른 멀티-프레임 애플리케이션은, 동일한 장면의 여러 이미지들이 상이한 초점 설정들로 캡처되는 멀티-프레임 확장 깊이의 초점 또는 필드 애플리케이션들이다. 이들 애플리케이션들에서, 다중 프레임들이 결합되어 어디에서나 선명한 출력 이미지를 획득할 수 있다.
다른 멀티-프레임 애플리케이션은, 동일한 장면의 여러 이미지들이 다른 레벨의 광학 줌으로 캡처되는 멀티-줌 멀티-프레임 애플리케이션들이다. 이들 애플리케이션들에서, 다중의 프레임들은 단일의 프레임 디지털 줌 동작에서 생성된 디테일의 부족으로부터 손상을 받지 않고 뷰어가 이미지로 줌하게 하도록 결합될 수도 있다.
다중의 이미지들을 단일 출력 이미지로 결합하기 위한 효율적인 방법을 찾기 위해 많은 노력이 시도되었다. 그러나, 현재의 접근방식은 더 양호한 품질 출력들을 발생시킬 수도 있는 나중의 프로세싱을 배제한다.
나중의 프로세싱/뷰잉을 허용하더라도 원래의 미가공 데이터에 다중의 이미지의 저장은, 모든 이미지들을 저장하기 위해 필요한 메모리의 양과 관련하여 문제가 있다. 또한, 모든 캡처된 이미지들을 개별 인코딩된 파일들로서 독립적으로 인코딩하여서 각 이미지의 '사이즈'를 감소시키고 모든 파일들을 세이브하는 것이 물론 가능하다. 알려진 하나의 이러한 인코딩 시스템이 JPEG(joint photographic experts group) 인코딩 포맷이다. 도 1은, 구조 테이블 1이 사용된 압축 알고리즘 및 파라미터들에 따라 압축된 이미지 데이터를 포함하는 '압축된 데이터' 4라 칭하는 파일 구조 엘리먼트를 나타내는 압축된 파일 JPEG 포맷의 구조를 도시한다. 파일 구조는 또한, 압축된 풀 해상도(full resolution) 이미지 데이터에 대응하는 옵션의 섬네일(thumbnail) 이미지를 포함할 수도 있는 제 1 이미지 파일 디렉토리(IFD) 데이터 필드 3을 포함하는 애플리케이션 마커 세그먼트 1을 나타낸다.
JPEG와 같은 압축을 사용할 때에도 멀티-프레임 이미지로부터의 각 이미지를 개별적으로 인코딩하고 개별적으로 저장함으로써, 메모리의 사용은 통상적으로 비율적이고, 또한, 동일한 장면의 다중의 이미지들의 저장은 처음 볼 때, 이들 다중의 이미지들이 사용자에게 유사한 것으로 보이고 사용자로 하여금 이들 이미지들 중 일부를 실수로 삭제하게 할 수도 있기 때문에 사용자에 의해 에러로 결정될 수도 있다.
따라서, 본 출원은 개선된 멀티-프레임 이미징 프로세싱 구조가 멀티-프레임 이미지들을 더욱 효율적으로 코딩하고 저장하도록 구성될 수도 있고, 또한, 기존의 디코더들이 장치를 사용하여 인코딩된 이미징 파일들을 적어도 부분적으로 디코딩하게 할 수도 있다는 고려로부터 비롯된다.
본 발명의 제 1 양태에 따르면, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 대응하는 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하는 단계; 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 단계; 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하는 단계; 및 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계를 포함하는 방법이 제공된다.
적어도 하나의 추가 이미지를 인코딩하는 단계는, 제 1 인코딩된 이미지를 제 1 디코딩된 이미지로 디코딩하는 단계; 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 제 1 디코딩된 이미지의 적어도 일부 사이의 차이를 결정하는 단계; 및 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 제 1 디코딩된 이미지의 적어도 일부 사이의 차이를 인코딩하는 단계를 더 포함할 수도 있다.
제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계는, 제 1 알고리즘 및 제 2 알고리즘에 따라 디코딩가능한 제 1 파일을 구성하는 단계를 포함할 수도 있고, 제 1 인코딩된 이미지는 제 1 알고리즘 및 제 2 알고리즘에 따라 제 1 이미지를 나타내는 제 1 디코딩된 이미지로 디코딩가능하며, 적어도 하나의 추가 인코딩된 이미지는 제 2 알고리즘에 따라서만 적어도 하나의 추가 이미지를 나타내는 적어도 하나의 추가 디코딩된 이미지로 디코딩가능하다.
제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계는, 제 1 파일에서 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 논리적으로 링크하는 단계를 포함할 수도 있다.
제 1 이미지 및 적어도 하나의 추가 이미지를 캡처하는 단계는 바람직하게는 사용자 액션에 응답한다.
제 1 이미지 및 적어도 하나의 추가 이미지를 캡처하는 단계는, 일정 기간내에서 제 1 이미지 및 적어도 하나의 추가 이미지를 캡처하는 단계를 포함할 수도 있고, 일정 기간은 단일 이벤트로서 인지된다.
제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지는 바람직하게는 동일한 코딩된 데이터 구조를 공유하도록 구성된다.
방법은, 캡처될 적어도 하나의 추가 이미지들의 수를 결정하는 단계를 더 포함할 수도 있다.
방법은, 캡처될 각 이미지에 대한 이미지 캡처 파라미터 값을 선택하는 단계를 더 포함할 수도 있다.
각 이미지 캡처 파라미터는, 노출 시간, 초점 설정, 줌 팩터, 배경 플래시 모드, 아날로그 이득, 및 노출값 중 적어도 하나를 포함할 수도 있다.
방법은, 제 1 이미지 캡처 파라미터 및 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 제 1 표시자를 제 1 파일에 삽입하는 단계를 더 포함할 수도 있다.
방법은, 제 1 이미지 캡처 파라미터 중 적어도 하나의 값 및 적어도 하나의 추가 이미지 캡처 파라미터 중 적어도 하나의 값을 나타내는 적어도 하나의 표시자를 제 1 파일에 삽입하는 단계를 더 포함할 수도 있다.
제 1 이미지 및 적어도 하나의 추가 이미지를 캡처하는 단계는, 제 1 이미지를 캡처하고 이어서 적어도 하나의 추가 이미지 각각을 캡처하는 단계, 및 적어도 하나의 추가 이미지를 캡처하는 것과 실질적으로 동시에 제 1 이미지를 캡처하는 단계를 포함할 수도 있다.
본 발명의 제 2 양태에 따르면, 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하는 단계를 포함하는 방법이 제공되고, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지가 캡처되고 적어도 하나의 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지가 캡처되고, 제 1 파일을 디코딩하는 단계는, 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하는 단계, 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 디코딩하는 단계를 포함한다.
방법은, 제 1 디코딩 알고리즘에 의해 제 1 인코딩된 이미지를 디코딩하여 제 1 디코딩된 이미지를 형성하는 단계, 적어도 하나의 추가 인코딩된 이미지를 디코딩하여 적어도 하나의 추가 이미지 예측 데이터를 생성하는 단계, 및 제 1 디코딩된 이미지 및 적어도 하나의 추가 이미지 예측 데이터를 결합함으로써 적어도 하나의 추가 디코딩된 이미지를 생성하는 단계를 더 포함할 수도 있다.
제 1 파일은 바람직하게는, 제 1 이미지 캡처 파라미터 타입 및 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 적어도 하나의 제 1 표시자, 및 제 1 이미지 캡처 파라미터 값 및 적어도 하나의 추가 이미지 캡처 파라미터 값 중 적어도 하나를 나타내는 적어도 하나의 제 2 표시자를 포함하고, 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하는 단계는 제 1 표시자 및 제 2 표시자 중 적어도 하나를 해석하는 단계를 포함한다.
방법은, 디코딩될 제 1 인코딩된 파일로부터 디코딩된 이미지들의 수를 결정하는 단계를 더 포함할 수도 있고, 디코딩될 디코딩된 이미지들의 수는 사용자에 의해 선택된다.
제 1 인코딩된 파일로부터의 모든 인코딩된 이미지들은 바람직하게는 디코딩된다.
방법은, 디코딩될 제 1 인코딩된 파일로부터의 인코딩된 이미지들을 선택하는 단계를 더 포함할 수도 있고, 디코딩될 인코딩된 이미지들은 사용자에 의해 선택된다.
본 발명의 제 3 양태에 따르면, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 관련된 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하도록 구성된 카메라 모듈, 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하도록 구성된 레퍼런스 이미지 인코더, 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하도록 구성된 추가 이미지 디코더, 및 제 1 인코딩 이미지 및 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하도록 구성된 파일 컴파일러를 포함하는 장치가 제공된다.
추가 이미지 인코더는, 제 1 인코딩된 이미지를 제 1 디코딩된 이미지로 디코딩하도록 구성된 이미지 디코더, 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 제 1 디코딩된 이미지의 적어도 일부 사이의 차이를 결정하도록 구성된 비교기; 및 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 제 1 디코딩된 이미지의 적어도 일부 사이의 차이를 인코딩하도록 구성된 예측 인코더를 더 포함할 수도 있다.
파일 컴파일러는, 제 1 파일에서 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 논리적으로 링크하도록 구성된 이미지 링커를 포함할 수도 있다.
장치는 카메라 모듈을 인에이블하는 이미지 캡처 인터페이스를 더 포함할 수도 있다.
카메라 모듈은 바람직하게는, 일정 기간내에서 제 1 이미지 및 적어도 하나의 추가 이미지를 캡처하도록 또한 구성되고, 일정 기간은 단일 이벤트로서 인지된다.
레퍼런스 이미지 인코더 및 추가 이미지 인코더는 바람직하게는, 동일한 코딩된 데이터 구조를 갖는 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 출력하도록 구성된다.
장치는, 캡처될 적어도 하나의 추가 이미지의 수를 결정하도록 구성된 멀티 이미지 프레임 결정기를 더 포함할 수도 있다.
장치는, 캡처될 각 이미지에 대한 이미지 캡처 파라미터 값을 선택하도록 구성된 이미지 캡처 파라미터 선택기를 더 포함할 수도 있다.
각 이미지 캡처 파라미터는, 노출 시간, 초점 설정, 줌 팩터, 배경 플래시 모드, 아날로그 이득, 및 노출값 중 적어도 하나를 포함할 수도 있다.
장치는, 제 1 이미지 캡처 파라미터 및 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 제 1 표시자를 제 1 파일에 삽입하도록 구성된 파라미터 타입 표시자 삽입기를 더 포함할 수도 있다.
장치는, 제 1 이미지 캡처 파라미터 중 적어도 하나의 값 및 적어도 하나의 추가 이미지 캡처 파라미터 중 적어도 하나의 값을 나타내는 적어도 하나의 파라미터 값 표시자를 제 1 파일에 삽입하도록 구성된 파라미터 값 표시자 삽입기를 더 포함할 수도 있다.
카메라 모듈은 바람직하게는, 적어도, 제 1 이미지 및 이어서 하나 이상의 추가 이미지들을 캡처하고, 추가 이미지들 각각의 캡처와 실질적으로 동시에 제 1 이미지를 캡처하도록 구성된다.
본 발명의 제 4 양태에 따르면, 제 1 이미지 캡처 파라미터를 갖는 대상물의 캡처된 제 1 이미지 및 적어도 하나의 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 캡처된 적어도 하나의 추가 인코딩된 이미지를 포함하는 파일을 디코딩하도록 구성된 장치가 제공되고, 이 장치는, 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하도록 구성된 프로세서, 및 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 디코딩하도록 구성된 디코더를 포함한다.
디코더는 바람직하게는, 제 1 디코딩 알고리즘에 의해 제 1 인코딩된 이미지를 디코딩하여 제 1 디코딩된 이미지를 형성하도록 구성된 제 1 디코더, 적어도 하나의 추가 인코딩된 이미지를 디코딩하여 적어도 하나의 이미지 예측 데이터를 생성하도록 구성된 적어도 하나의 추가 디코더, 및 제 1 디코딩된 이미지 및 적어도 하나의 이미지 예측 데이터를 결합함으로써 적어도 하나의 추가 디코딩된 이미지를 생성하도록 구성된 이미지 생성기를 포함한다.
제 1 파일은, 제 1 이미지 캡처 파라미터 타입 및 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 적어도 하나의 제 1 표시자, 및 제 1 이미지 캡처 파라미터 값 및 적어도 하나의 추가 이미지 캡처 파라미터 값 중 적어도 하나를 나타내는 적어도 하나의 제 2 표시자를 포함하고, 프로세서는 제 1 표시자 및 적어도 하나의 제 2 표시자 중 적어도 하나의 해석에 의존하여 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하도록 구성된다.
프로세서는 바람직하게는, 디코딩될 제 1 인코딩된 파일로부터의 디코딩된 이미지들의 수를 결정하도록 또한 구성되고, 디코딩될 디코딩된 이미지들의 수는 사용자에 의해 선택된다.
제 1 인코딩된 파일로부터의 모든 인코딩된 이미지들은 바람직하게는 디코딩된다.
프로세서는 바람직하게는, 디코딩될 제 1 인코딩된 파일로부터의 인코딩된 이미지들을 선택하도록 또한 구성되고, 디코딩될 인코딩된 이미지들은 사용자에 의해 선택된다.
적어도 하나의 추가 디코더 각각은 바람직하게는, 적어도 하나의 추가 인코딩된 이미지들 중 관련된 하나를 디코딩하여 하나 이상의 이미지 예측 데이터를 생성하도록 구성된다.
전자 디바이스가 상술한 바와 같은 장치를 포함할 수도 있다.
칩세트가 상술한 바와 같은 장치를 포함할 수도 있다.
컴퓨터 판독가능 매체가 컴퓨터 프로그램을 포함하고, 그 컴퓨터 프로그램은 상술한 바와 같은 방법을 수행할 수도 있다.
본 발명의 제 5 양태에 따르면, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 대응하는 이미지 캡처 파라미터를 각각 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지들을 캡처하는 캡처 수단; 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 인코딩 수단; 추가 이미지들 각각을 대응하는 인코딩된 이미지들로 인코딩하는 제 2 인코딩 수단; 및 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지들을 제 1 파일로 결합하는 프로세싱 수단을 포함하는 장치가 제공된다.
본 발명의 제 6 양태에 따르면, 제 1 인코딩된 이미지 및 하나 이상의 추가 인코딩된 이미지들을 포함하는 제 1 파일을 수신하는 수신 수단을 포함하는 장치가 제공되고, 제 1 파일의 디코딩은, 제 1 디코딩된 이미지를 생성하기 위해 제 1 디코딩 알고리즘에 의해 제 1 인코딩된 이미지를 디코딩하는 제 1 디코딩 수단, 대응하는 이미지 예측 데이터를 생성하기 위해 추가 인코딩된 이미지 중 적어도 하나를 디코딩하는 추가 디코딩 수단, 및 제 1 디코딩된 이미지 및 대응하는 이미지 예측 데이터 중 적어도 하나를 결합함으로써 하나 이상의 디코딩된 이미지들을 생성하는 이미지 생성 수단을 포함한다.
본 발명의 제 7 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되고, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금 적어도, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 대응하는 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하는 단계를 수행하게 하고; 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 단계를 수행하게 하고; 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하는 단계를 수행하게 하며; 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지들을 제 1 파일로 결합하는 단계를 수행하게 하도록 구성된다.
본 발명에 제 8 양태에 따르면, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치가 제공되고, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는, 적어도 하나의 프로세서를 사용하여, 장치로 하여금 적어도, 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하는 단계를 수행하게 하도록 구성되고, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지가 캡처되고 적어도 하나의 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지가 캡처되고, 제 1 파일을 디코딩하는 단계는, 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하는 단계, 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 디코딩하는 단계를 포함한다.
본 출원의 더 양호한 이해를 위해, 그리고 이것이 어떻게 효율적으로 실행될 수 있는지에 관하여, 이제 예로서 첨부한 도면들을 참조할 것이다.
도 1은 JPEG 파일 포맷에 따른 압축된 이미지의 구조를 개략적으로 도시한다.
도 2는 본 출원의 몇몇 실시예들을 구현하는데 적합한 장치의 개략도를 도시한다.
도 3은 본 출원의 실시예들에 따른 장치의 개략도를 도시한다.
도 4는 몇몇 실시예들에 따라 실행된 프로세스들의 흐름도를 도시한다.
도 5는 본 출원의 실시예들에 따른 장치의 개략도를 도시한다.
도 6은 몇몇 실시예들에 따라 실행된 프로세스의 흐름도를 도시한다.
도 7은 본 출원의 몇몇 실시예들에 따른 압축된 이미지 파일의 구조를 개략적으로 도시한다.
도 1은 JPEG 파일 포맷에 따른 압축된 이미지의 구조를 개략적으로 도시한다.
도 2는 본 출원의 몇몇 실시예들을 구현하는데 적합한 장치의 개략도를 도시한다.
도 3은 본 출원의 실시예들에 따른 장치의 개략도를 도시한다.
도 4는 몇몇 실시예들에 따라 실행된 프로세스들의 흐름도를 도시한다.
도 5는 본 출원의 실시예들에 따른 장치의 개략도를 도시한다.
도 6은 몇몇 실시예들에 따라 실행된 프로세스의 흐름도를 도시한다.
도 7은 본 출원의 몇몇 실시예들에 따른 압축된 이미지 파일의 구조를 개략적으로 도시한다.
본 출원은 동일한 장면의 여러 정적 이미지들을 캡처하고 이들을 하나의 파일로 효율적으로 인코딩하기 위한 장치들 및 방법들을 설명한다. 이하 설명되는 실시예들은 동일한 장면의 여러 이미지들이 캡처되고 저장되는 다양한 애플리케이션들 및 상황들에서 활용될 수도 있다. 예를 들어, 이러한 애플리케이션들 및 상황들은 하나는 섬광을 이용하고 다른 하나는 섬광을 이용하지 않는 2개의 후속 이미지들을 캡처하고, 상이한 노출 시간들로 여러 후속 이미지들을 촬영하고, 상이한 초점들로 여러 후속 이미지들을 촬영하고, 상이한 줌 팩터들로 여러 후속 이미지들을 촬영하고, 상이한 아날로그 이득들로 여러 후속 이미지들을 촬영하고, 상이한 노출값들로 여러 후속 이미지들을 촬영하는 것을 포함할 수도 있다. 이하 설명되는 바와 같은 실시예들은, 기존의 이미지 뷰어들이 레퍼런스 이미지를 디스플레이할 수도 있고 추가의 이미지들을 생략할 수도 있는 방식으로 이미지들을 파일에 저장한다. 따라서, 본 출원의 메인 실시예는 카메라 애플리케이션 프레임워크내에 설명된 바와 같은 다중의 이미지들을 저장하는 개념이다.
다음은, 개선된 멀티-프레임 이미징 기법의 제공을 위한 장치들 및 방법들을 설명한다. 이와 관련하여, 예시적인 전자 디바이스(10) 또는 장치의 개략 블록도를 개시하는 도 2를 먼저 참조한다. 전자 디바이스는 본 출원의 몇몇 실시예들에 따라 멀티-프레임 이미징 기법들을 수행하도록 구성된다.
몇몇 실시예들에서, 전자 디바이스(10)는 모바일 단말기, 모바일 전화 또는 무선 통신 시스템에서 동작을 위한 사용자 장비이다. 다른 실시예들에서, 전자 디바이스는 디지털 카메라이다.
전자 디바이스(10)는 프로세서(15)에 링크되는 집적 카메라 모듈(11)을 포함한다. 프로세서(15)는 디스플레이(12)에 더 링크된다. 프로세서(15)는 트랜시버(TX/RX)(13), 사용자 인터페이스(UI)(14) 및 메모리(16)에 더 링크된다. 몇몇 실시예들에서, 카메라 모듈(11) 및/또는 디스플레이(12)는 전자 디바이스로부터 분리되고, 프로세서는 트랜시버(13) 또는 다른 적합한 인터페이스를 통해 카메라 모듈(11)로부터 신호들을 수신한다.
프로세서(15)는 다양한 프로그램 코드들(17)을 실행하도록 구성될 수도 있다. 몇몇 실시예들에서, 구현된 프로그램 코드들(17)은 이미지 캡처 디지털 프로세싱 또는 구성 코드를 포함한다. 몇몇 실시예들에서, 구현된 프로그램 코드들(17)은 이미지들의 추가 프로세싱을 이한 추가의 코드를 더 포함한다. 몇몇 실시예들에서, 구현된 프로그램 코드들(17)은 예를 들어, 필요할 때 마다 프로세서(15)에 의해 검색을 위해 메모리(16)에 저장될 수도 있다. 몇몇 실시예들에서, 메모리(15)는 데이터, 예를 들어, 본 출원에 따라 프로세싱된 데이터를 저장하기 위한 섹션(18)을 더 제공할 수도 있다.
카메라 모듈(11)은 전하 결합 소자(CCD)와 RX은 디지털 이미지 캡처 수단에 이미지를 포커싱하는 렌즈를 갖는 카메라(19)를 포함한다. 다른 실시예들에서, 디지털 이미지 캡처 수단은 상보적 금속 산화물 반도체(CMOS) 이미지 센서와 같은 임의의 적합한 이미지 캡처링 디바이스일 수도 있다. 카메라 모듈(11)은 오브젝트의 이미지를 캡처하기 이전에 오브젝트를 조명하는 플래시 램프(20)를 더 포함한다. 플래시 램프(20)는 카메라 프로세서(21)에 링크된다. 카메라(19)는 또한, 카메라로부터 수신된 신호들을 프로세싱하는 카메라 프로세서(21)에 링크된다. 카메라 프로세서(21)는 이미지를 캡처할 때 실행하기 위해 카메라 프로세서(21)에 대한 프로그램 코드들을 저장할 수도 있는 카메라 메모리(22)에 링크된다. 몇몇 실시예들에서, 구현된 프로그램 코드들(미도시)은 예를 들어, 필요할 때 마다 카메라 프로세서(21)에 의한 검색을 위해 카메라 메모리(22)에 저장될 수도 있다. 몇몇 실시예들에서, 카메라 프로세서(21) 및 카메라 메모리(22)는 장치(10), 프로세서(15) 및 메모리(16) 각각내에서 구현된다.
실시예들에서, 장치(10)는 소프트웨어 또는 펌웨어를 필요로 하지 않고 적어도 부분적으로 하드웨어에서 멀티-프레임 이미징 기법들을 구현할 수도 있다.
몇몇 실시예들에서, 사용자 인터페이스(14)는 예를 들어, 키패드, 사용자 조작 버튼들 또는 스위치들을 통해, 또는 디스플레이(12)상의 터치 인터페이스에 의해 사용자가 전자 디바이스(10)에 커맨드들을 입력할 수 있게 한다. 하나의 이러한 입력 커맨드는, 예를 들어, 장치상의 '셔터' 버튼의 누름에 의해 멀티프레임 이미지 캡처 프로세스를 시작하는 것일 수도 있다. 또한, 몇몇 실시예들에서, 사용자는 예를 들어, 장치(10)의 조작의 디스플레이(12)를 통해 전자 디바이스(10)로부터 정보를 획득할 수도 있다. 예를 들어, 디스플레이상의 적절한 표시자에 의해 멀티프레임 이미지 캡처 프로세스가 동작중이다는 것이 장치에 의해 사용자에게 통지될 수도 있다. 몇몇 다른 실시예들에서, 스피커(미도시)를 통해 사운드 또는 오디오 샘플에 의해 동작들이 사용자에게 통지될 수도 있고, 예를 들어, 동일함 멀티프레임 이미지 캡처 동작이 기계적 렌즈 셔터의 시뮬레이팅된 사운드에 의해 사용자에게 표시될 수도 있다.
트랜시버(13)는 예를 들어, 몇몇 실시예들에서, 무선 통신 네트워크를 통해 다른 전자 디바이스들과의 통신을 가능하게 한다.
전자 디바이스(10)의 구조가 다수의 방식으로 보완되고 변화될 수 있다는 것이 또한 이해되어야 한다.
전자 디바이스(10)의 사용자는 몇몇 다른 전자 디바이스들로 송신되거나 메모리(16)의 데이터 섹션(18)에 저장될 이미지들을 캡처하기 위해 카메라 모듈(11)을 사용할 수도 있다. 몇몇 실시예들에서 대응하는 애플리케이션이 사용자 인터페이스(14)를 통해 사용자에 의해 이를 위해 활성화될 수도 있다. 몇몇 실시예들에서, 프로세서(15)에 의해 구동될 수도 있는 이러한 애플리케이션은 프로세서(15)로 하여금 메모리(16)에 저장된 코드를 실행하게 한다.
그 후, 프로세서(!5)는 도 4를 참조하여 설명한 바와 동일한 방식으로 디지털 이미지를 프로세싱할 수도 있다.
몇몇 실시예들에서, 결과적인 이미지가 다른 전자 디바이스로의 송신을 위해 트랜시버(13)에 제공될 수도 있다. 다르게는, 프로세싱된 디지털 이미지는 예를 들어, 동일한 전자 디바이스(10)에 의한 추후의 송신 또는 디스플레이(10)상의 후추의 프리젠테이션을 위해 메모리(16)의 데이터 섹션(18)에 저장될 수 있다.
몇몇 실시예들에서, 전자 디바이스(10)는 그것의 트랜시버(13)를 통해 다른 전자 디바이스로부터 디지털 이미지들을 또한 수신할 수도 있다. 이들 실시예들에서, 프로세서(15)는 메모리(16)에 저장된 프로세싱 프로그램 코드를 실행한다. 그 후, 프로세서(15)는 몇몇 실시예들에서, 도 4를 참조하여 설명한 바와 동일한 방식으로 수신된 디지털 이미지들을 프로세싱할 수도 있다. 수신된 디지털 이미지들을 프로세싱하기 위한 프로세싱 프로그램 코드의 실행은 몇몇 실시예들에서, 사용자 인터페이스(14)를 통해 사용자에 의해 호출된 애플리케이션에 의해 또한 트리거될 수 있다.
도 3에 설명된 개략적 구조 및 도 4에서의 방법 단계들이 도 2에 도시된 전자 디바이스에서 구현된 바와 같은 애플리케이션의 몇몇 실시예들을 포함하는 완벽한 시스템의 동작의 일부만을 나타낸다는 것이 이해될 것이다.
도 3은 적어도 하나의 실시예에 따른 멀티-프레임 디지털 이미지 프로세싱 장치에 대한 개략적 구성을 도시한다. 멀티-프레임 디지털 이미지 프로세싱 장치는 카메라 모듈(11), 디지털 이미지 프로세서(300), 레퍼런스 이미지 선택기(302), 레퍼런스 이미지 인코더(304), 잔류 이미지 인코더(306) 및 파일 컴파일러(308)를 포함할 수도 있다.
본 출원의 몇몇 실시예들에서, 멀티-프레임 디지털 이미지 프로세싱 장치는 상기 부품들 전부는 아니지만 일부를 포함할 수도 있다. 예를 들어, 몇몇 실시예들에서, 장치는 디지털 이미지 프로세서(300), 레퍼런스 이미지 선택기(302), 레퍼런스 이미지 인코더(304) 및 잔류 이미지 인코더(306)만을 포함할 수도 있다. 이들 실시예들에서, 디지털 이미지 프로세서(300)는 파일 컴파일러(308)의 액션을 수행할 수도 있고, 프로세싱된 이미지를 송신기/저장 매체/디스플레이로 출력할 수도 있다.
다른 실시예들에서, 디지털 이미지 프로세서(300)는 멀티-프레임 디지털 이미지 프로세싱 장치의 "코어" 엘리먼트일 수도 있고, 다른 부품들 또는 모듈들이 현재의 애플리케이션에 의존하여 추가되거나 제거될 수도 있다. 다른 실시예들에서, 부품들 또는 모듈들은 동일하거나 상이한 칩세트들에 위치되는 후술하는 프로세스들을 수행하도록 구성된 프로세서들 또는 프로세서들의 부품들을 나타낸다. 다르게는, 디지털 이미지 프로세서(300)는 모든 프로세스들을 수행하도록 구성되고, 도 3은 멀티-프레임 이미지들의 프로세싱 및 인코딩을 예시한다.
적어도 하나의 실시예에 따른 멀티-프레임 디지털 이미지 프로세싱 장치 부품들의 동작이 도 4를 참조하여 더욱 상세히 설명될 것이다. 아래의 예에서, 멀티-프레임 이미지 애플리케이션은 넓은 노출(wide-exposure) 이미지이고, 다시 말해, 이미지는 상이한 노출 레벨들 또는 시간의 범위로 캡처된다. 상술한 바와 같은 임의의 다른 멀티-프레임 디지털 이미지들이 유사한 프로세스들을 사용하여 또한 반송될 수도 있다는 것이 이해될 것이다. 도 2에 도시된 바와 유사한 엘리먼트들이 설명되는 경우에, 동일한 참조 부호들이 사용된다.
카메라 모듈(11)은 카메라 애플리케이션의 시작에서 디지털 이미지 프로세서(300)에 의해 초기화될 수도 있다. 상술한 바와 같이, 카메라 애플리케이션 초기화는 예를 들어, 버튼 또는 스위치를 통해 또는 사용자 인터페이스(14)를 통해 전다 디바이스(10)에 사용자가 커맨드들을 입력함으로써 시작될 수도 있다.
카메라 애플리케이션이 시작될 때, 장치(10)는 장면 및 환경에 관한 정보의 수집을 시작할 수도 있다. 이러한 스테이지에서, 카메라 모듈(11)의 상이한 설정들은, 카메라가 동작의 자동 모드에 있는 경우에 자동으로 설정될 수도 있다. 넓은 노출 멀티-프레임 디지털 이미지의 예에 대해, 카메라 모듈(11) 및 디지털 이미지 프로세서(300)는 이미지 대상물의 결정에 기초하여 캡처된 이미지들의 노출 시간을 결정할 수도 있다. 상이한 아날로그 이득들 또는 상이한 노출값들은 멀티프레임 모드에서 카메라 모듈(11) 및 디지털 이미지 프로세서(300)에 의해 자동으로 검출될 수 있다. 여기서, 노출값은 노출 시간과 아날로그 이득의 조합이다.
넓은 초점 멀티-프레임 예들에서, 렌즈의 초점 설정은 카메라 모듈(11) 및 디지털 이미지 프로세서(300)에 의해 자동으로 유사하게 결정될 수도 있다. 몇몇 실시예들에서, 카메라 모듈(11)은 사용자가 사용자 인터페이스(14)를 통해 멀티-프레임 이미지가 동작할 카메라 설정들 및 범위를 전체적으로 또는 부분적으로 선택하는 경우에 동작의 반자동 또는 수동 모드를 가질 수도 있다. 사용자에 의해 변경될 수 있는 이러한 설정들의 예들은, 수동 포커싱, 주밍, 플래시(20)를 동작시키기 위한 플래시 모드 설정의 선택, 노출 레벨의 선택, 아날로그 이득의 선택, 노출값의 선택, 자동 화이트 밸런스, 또는 상술한 임의의 설정들을 포함한다.
또한, 카메라 애플리케이션이 시작될 때, 장치(10), 예를 들어, 카메라 모듈(11) 및 디지털 이미지 프로세서(300)는 캡처될 이미지들 또는 프레임들의 수 및 각 이미지들에 대해 사용된 설정들을 또한 자동으로 결정할 수도 있다. 이러한 결정은 몇몇 실시예들에서, 장면 및 환경에 대해 이미 수집한 정보에 기초할 수도 있다. 다른 실시예들에서, 이러한 결정은 이미징 센서, 또는 장치의 포지션을 위치지정할 수 있는 포지셔닝 센서와 같은 다른 센서들로부터의 정보에 기초할 수도 있다. 이러한 포지셔닝 센서의 예들이, 글로벌 포지셔닝 시스템(GPS) 위치 추정기들 및 셀룰러 통신 시스템 위치 추정기들, 및 가속도계들이다.
따라서, 몇몇 실시예들에서, 카메라 모듈(11) 및 디지털 이미지 프로세서(300)는 노출 레벨들의 범위, 및/또는 어느 노출 레벨들의 범위가 멀티-프레임 디지털 이미지 애플리케이션에 대해 취해질 수도 있는지에 관한 노출 레벨 궤적(예를 들어, '시작 노출 레벨', '완료 노출 레벨' 또는 '중간점 노출 레벨')을 결정할 수도 있다. 몇몇 실시예들에서, 카메라 모듈(11) 및 디지털 이미지 프로세서(300)는 아날로그 이득의 범위 및/또는 어느 아날로그 이득이 멀티-프레임 디지털 이미지 애플리케이션을 위해 설정될 수도 있는지에 관한 아날로그 이득 궤적(예를 들어, '시작 아날로그 이득', '완료 아날로그 이득' 또는 '중간점 아날로그 이점')을 결정할 수도 있다. 몇몇 실시예들에서, 카메라 모듈(11) 및 디지털 이미지 프로세서(300)는 노출값의 범위 및/또는 어느 노출값이 멀티-프레임 디지털 이미지 애플리케이션을 위해 설정될 수도 있는지에 관한 노출값 궤적(예를 들어, '시작 노출값', '완료 노출값' 또는 '중간점 노출값')을 결정할 수도 있다. 유사하게는, 몇몇 실시예들에서, 넓은 초점 멀티-프레임 예들에서, 카메라 모듈(11) 및 디지털 이미지 프로세서(300)는 초점 설정들의 범위, 및/또는 어느 초점 설정이 멀티-프레임 디지털 이미지 애플리케이션을 위해 설정될 수도 있는지에 관한 초점 설정 궤적(예를 들어, '시작 초점 설정', '완료 초점 설정' 또는 '중간점 초점 설정')을 결정할 수도 있다.
몇몇 실시예들에서, 사용자는 또한, 이들 설정들을 변경하거나 선택할 수도 있어서, 캡처될 이미지들의 수 및 이들 이미지들 각각의 설정들 또는 이들 이미지들을 정의하는 범위를 수동으로 정의할 수 있다.
카메라 모듈(11)내에서 카메라 애플리케이션의 초기화 또는 시작이 도 4에서 단계 401로 나타난다.
그 후, 몇몇 실시예들에서, 디지털 이미지 프로세서(300)는, 프로세서가 이미지들의 캡처링을 시작하기 위한 표시의 수신을 대기하는 폴링(polling) 또는 대기 동작을 수행할 수도 있다. 본 발명의 몇몇 실시예들에서, 디지털 이미지 프로세서(300)는 '캡처' 버튼으로부터 수신될 수도 있는 표시자 신호를 대기한다. 캡처 버튼은 장치(10)상에 탑재된 물리적 버튼 또는 스위치일 수도 있거나 상술한 사용자 인터페이스(14)의 일부일 수도 있다.
디지털 이미지 프로세서(300)가 표시자 신호를 대기하는 동안, 동작은 폴링 단계에 있다. 디지털 이미지 프로세서(300)가 (캡처 버튼의 누름에 후속하여) 표시자 신호를 수신할 때, 디지털 이미지 프로세서는 카메라 애플리케이션 동작의 시작에서 결정된 바와 같은 카메라 모듈의 설정들에 의존하여 여러 이미지들의 캡처를 시작하도록 카메라 모듈(11)에 통신할 수도 있다. 몇몇 실시예들에서, 프로세서는 이미지 캡처 동작의 추가의 지연을 수행할 수도 있고, 여기서, 몇몇 실시예들에서, 타이머 기능이 선택되고 프로세서는 타이머 기간의 종료에서 이미지들의 캡처를 시작하도록 카메라 모듈에 통신할 수도 있다.
눌려질 캡처 버튼을 대기하는 폴링 단계가 도 4에서 단계 403으로 나타난다.
디지털 이미지 프로세서(300)로부터 이미지들의 캡처를 시작하기 위한 신호의 수신시에, 카메라 모듈(11)은 그 후, 이전의 설정값들에 의해 결정된 바와 같은 여러 이미지들을 캡처한다. 넓은 노출 멀티-프레임 이미지 프로세싱을 이용하는 실시예들에서, 카메라 모듈은 동일하거나 실질적으로 동일한 시점의 여러 후속 이미지들을 촬영할 수도 있고, 각 프레임은 노출 시간 또는 레벨 설정들에 의해 결정된 상이한 노출 시간 또는 레벨을 갖는다. 예를 들어, 설정들은 제 1 노출 시간으로부터 시작하여 제 5 노출시간으로 종료하는 선형적으로 이격된 노출 시간들을 갖는 5개의 이미지들이 촬영된다는 것을 결정할 수도 있다. 실시예들이 이미지들의 그룹에서 임의의 적합한 수의 이미지들 또는 프레임들을 가질 수도 있다는 것이 이해된다. 또한, 캡처된 이미지 차이가 선형이 아닐 수도 있고, 예를 들어, 이미지들 사이에 대수 또는 다른 비선형 차이가 존재할 수도 있다는 것이 이해된다.
카메라 플래시가 이미지 캡처 프레임들 사이의 결정 팩터인 다른 예에서, 카메라 모듈(11)은 하나는 섬광을 이용하고 다른 하나는 섬광을 이용하지 않는 2개의 후속 이미지들을 캡처할 수도 있다. 다른 예에서, 카메라 모듈(11)은 각각이 섬광 진폭, 컬러, 컬러 온도, 플래시의 길이, 플래시들 사이의 인터 펄스 기간과 같은 상이한 섬광 파라미터를 이용하는 임의의 적합한 수의 이미지들을 캡처할 수도 있다.
초점 설정이 이미지 캡처 프레임들 사이의 결정 팩터인 다른 실시예들에서, 카메라 모듈(11)은 상이한 초점 설정들을 이용하여 여러 후속 이미지들을 촬영할 수도 있다. 줌 팩터가 결정 팩터인 다른 실시예들에서, 카메라 모듈(11)은 상이한 줌 팩터들(또는 초점 길이들)을 이용하여 여러 후속 이미지들을 촬영할 수도 있다. 다른 실시예들에서, 카메라 모듈(11)은 상이한 아날로그 이득들 또는 상이한 노출값들을 이용하여 여러 후속 이미지들을 촬영할 수도 있다. 또한, 몇몇 실시예들에서, 캡처된 후속 이미지들은 상기 팩터들 중 하나 이상의 사용하여 다를 수도 있다.
몇몇 실시예들에서, 후속 이미지들을 촬영하기 보다는, 다시 말해, 차례로 이미지들을 직렬로 캡처하기 보다는, 카메라 모듈(11)은, 제 1 설정 노출 시간으로 제 1 이미지를 캡처하기 위한 제 1 이미지 캡처 장치 및 상이한 노출 시간으로 실질적으로 동일한 이미지를 캡처하기 위한 제 2 캡처 장치를 사용하여 실질적으로 동시에 다중의 이미지들을 캡처할 수도 있다. 몇몇 실시예들에서, 2개 보다 많은 캡처 장치들이 사용될 수도 있고, 상이한 노출 시간을 갖는 이미지가 각 캡처 장치에 의해 캡처된다. 각 캡처 장치는 개별 카메라 모듈(11)일 수도 있거나, 몇몇 실시예에서, 동일한 카메라 모듈(11)에서의 개별 센서일 수도 있다.
다른 실시예들에서, 상이한 캡처 장치들이 동일한 물리적 카메라 모듈(11)을 사용할 수도 있지만, 캡처 디바이스로부터의 출력의 프로세싱으로부터 생성될 수도 있다. 이들 실시예들에서, CCD 또는 CMOS와 같은 광학 센서는 샘플링될 수도 있고, 그 결과는 일련의 '이미지 프레임들'을 구축하도록 프로세싱된다. 예를 들어, 센서들로부터의 샘플링된 출력은 상이한 결정 팩터들로 연속 이미지들을 촬영함으로써 가능한 것 보다 빠른 값들의 범위를 생성하도록 조합될 수도 있다. 예를 들어, 넓은 노출 멀티-프레임 프로세싱에서, 3개의 상이한 노출 프레임들이 제 1 노출 시간 이후에 제 1 이미지를 획득하기 위해 제 1 기간 이후에 제 1 이미지 샘플 출력, 제 2 노출 시간으로 제 2 이미지를 획득하기 위해 제 1 기간 이후에 제 2 기간의 제 2 이미지 샘플 출력을 취하고, 조합된 제 1 및 제 2 노출 시간과 거의 동일한 제 3 노출 시간으로 제 3 이미지 샘플 출력을 생성하기 위해 제 2 이미지 샘플 출력에 제 1 이미지 샘플 출력을 가산함으로써 캡처될 수도 있다.
그 후, 카메라 모듈(11)은 모든 캡처된 이미지 프레임 데이터에 대한 디지털 이미지 프로세서(300)로 캡처된 이미지 데이터를 전달할 수도 있다.
멀티-프레임 이미지들을 캡처하는 동작이 도 4에 단계 405로 나타난다.
그 후, 디지털 이미지 프로세서(300)는 캡처된 이미지 데이터를 레퍼런스 이미지 선택기(302)로 전달할 수도 있고, 여기서, 레퍼런스 이미지 선택기(302)는 캡처된 복수의 이미지로부터 레퍼런스 이미지를 선택하도록 구성된다.
몇몇 실시예들에서, 레퍼런스 이미지 선택기(302)는 각 이미지의 이미지 시각 품질의 추정치를 결정하고, 최상의 시각 품질을 갖는 이미지가 레퍼런스로서 선택된다. 몇몇 실시예들에서, 레퍼런스 이미지 선택기는 초점이 맞는 중심부를 갖는 이미지에 기초하도록 이미지 시각 품질을 결정할 수도 있다. 다른 실시예들에서, 레퍼런스 이미지 선택기(302)는 이미지와 관련된 임의의 적합한 메트릭들 또는 파라미터에 따라 이미지로서 레퍼런스 이미지를 선택한다. 몇몇 실시예들에서, 레퍼런스 이미지 선택기(302)는 사용자 인터페이스(14)를 통한 사용자 입력의 수신에 의존하여 이미지들 중 하나를 선택한다. 다른 실시예들에서, 레퍼런스 이미지 선택기(302)는 이미지들의 몇몇 메트릭 또는 파라미터에 기초하여 이미지들의 제 1 필터링을 수행하고, 그 후, 사용자는 나머지 이미지들 중 하나를 레퍼런스 이미지로서 선택한다.
몇몇 실시예들에서의 이들 수동 또는 반자동 레퍼런스 이미지 선택들은, 디지털 이미지 프로세서(300)가 캡처된 이미지들의 범위를 디스플레이(12)를 통해 사용자에게 디스플레이하고, 사용자가 임의의 적합한 선택 수단에 의해 이미지들 중 하나를 선택하는 경우에 수행된다. 선택 수단의 예들은 터치 스크린, 키패드, 버튼 또는 스위치와 관련하여 사용자 인터페이스(14)의 형태일 수도 있다.
레퍼런스 이미지 선택이 도 4에 단계 407로 나타난다.
그 후, 디지털 이미지 프로세서(300)는 선택된 레퍼런스 이미지를 레퍼런스 이미지 인코더(304)로 전송하고, 여기서, 레퍼런스 이미지 인코더는 레퍼런스 이미지에 대해 임의의 적합한 인코딩 알고리즘을 수행하여 인코딩된 레퍼런스 이미지를 생성할 수도 있다. 몇몇 실시예들에서, 레퍼런스 이미지 인코더는 자동으로, 반자동으로 또는 사용자에 의해 수동으로 결정된 JPEG 인코딩 파라미터들로 레퍼런스 이미지에 대한 표준 JPEG 인코딩을 수행한다. 인코딩된 레퍼런스 이미지는 몇몇 실시예들에서, 디지털 이미지 프로세서(300)로 되전달될 수도 있다.
레퍼런스 이미지의 인코딩이 도 4에 단계 409로 나타난다.
몇몇 실시예들에서, 디지털 이미지 프로세서(300)는 넌-레퍼런스(non-reference) 이미지들을 나중에 인코딩하는 잔류 이미지 인코더(306)로 넌-레퍼런스 이미지들을 전송한다. 몇몇 실시예들에서, 디지털 이미지 프로세서(300)는 레퍼런스 이미지의 카피를 잔류 이미지 인코더(306)로 또한 전송할 수도 있어서, 잔류 이미지 인코더(306)는 예측 레퍼런스 이미지로서 레퍼런스 이미지를 사용하여 나머지 이미지들을 예측적으로 인코딩할 수도 있다.
따라서, 몇몇 실시예들에서, 레퍼런스 이미지와 다른 캡처된 이미지들 각각 사이의 픽셀 단위(pixel by pixel)의 차이들이 잔류 이미지 인코더(306)에 의해 계산된다. 예를 들어, 컬러 이미지들에서, 차이는 몇몇 실시예들에서, 각 컬러 성분에 대해 계산될 수도 있다. 몇몇 실시예들에서, 잔류 이미지 인코더(306)는 그 후, 공간-주파수 도메인 변환을 수행할 수도 있다. 캡처된 이미지들이 동일한 장면일 때, 이미지들은 유사하고, 따라서, 계산되고 변환된 이미지들은 약간 높은 주파수(디테일) 차이들만을 포함하기 쉽고, 이들 차이들의 인코딩은 매우 효율적이다. 이들 실시예들에서, 잔류 이미지 인코더(306)는 JPEG 인코딩 기법들을 사용하여 차이들을 인코딩할 수도 있다.
넌-레퍼런스 이미지들이 레퍼런스 이미지에 대해 유사하지 않고, 예를 들어, 이미지들이 상이한 노출 시간들 또는 상이한 아날로그 이득으로 캡처되는 몇몇 실시예들에서, 잔류 이미지 인코더(306)는 레퍼런스 이미지에 대해 더욱 유사하게 되도록 유사하지 않은 이미지들을 프리코딩할 수도 있다. 예를 들어, 전류 이미지 인코더(306)는 라디언스 맵(radiance map) 도메인에서 모든 캡처된 이미지들을 변환하기 위해 카메라 응답 함수의 역을 적용할 수도 있다. 다른 실시예들에서, 잔류 이미지 인코더(306)는 레퍼런스 프레임에 유사한 추가 이미지 프레임들을 렌더링하기 위해 프리코딩의 일부로서 임의의 적합한 변환을 적용할 수도 있다. 잔류 이미지 인코더(306)는 프리코딩 프로세스의 타입 및 파라미터 값들을 파일에 저장할 수도 있다. 저장된 타입 및 파라미터 값들은 디코더가 역 프리코딩 프로세스를 수행할 수 있게 할 수도 있고, 따라서, 원래의 이미지 프리코딩 및 코딩 이전에 캡처된 이미지에 유사한 디코딩된 이미지를 재구성할 수 있다.
몇몇 실시예들에서, 잔류 이미지 인코더는 다른 넌-레퍼런스 이미지들에 모션 보상 전환 코딩을 적용할 수도 있다. 이러한 모션 보상 변환 코딩은 단일 레퍼런스 이미지 소스로서 레퍼런스 이미지를 사용할 수도 있다. 다르게는 또는 추가로, 모션 보상 변환 코딩은 인코딩된 이미지의 특정한 부분에 대한 레퍼런스 이미지 소스로서 이전에 인코딩된 이미지들 중 하나를 선택할 수도 있고, 모션 보상 변환 코딩은 인코딩 이미지의 다른 부분에 대한 레퍼런스 이미지 소스로서 다른 이전에 인코딩된 이미지를 선택할 수도 있다. 다르게는 또는 추가로, 모션 보상 변환 코딩은 인코딩된 이미지의 특정한 부분에 대한 모션 보상 변환 레퍼런스 이미지(2차 레퍼런스 이미지)로서 1개 보다 많은 이전의 인코딩된 이미지를 사용할 수도 있다. 통상적으로, 2개의 레퍼런스 이미지 소스의 픽셀 단위(pixel-wise) 평균이 쌍예측(bi-prediction) 모션 보상 인코딩 시스템을 형성하기 위해 수행될 수도 있다. 다르게는, 몇몇 실시예들에서, 픽셀 단위 가중 평균이 쌍예측 모션 보상 인코딩에서 사용될 수도 있고, 여기서, 가중치들은 예를 들어, 인코딩된 이미지에 대한 양호한 예측 신호를 형성하기 위해 명시적으로 선택되거나 파라미터들의 캡처링으로부터 암시적으로 유도될 수도 있다. 가중치들이 명시적으로 선택될 때, 가중치들은 또한 이미지들이 저장되는 동일한 파일에 표시될 수도 있다.
잔류 이미지 인코더에 의해 적용된 모션 보상 변환의 타입은 이미지 또는 이미지 세그먼트에 기초하여 변화할 수도 있다. 모션 보상 변환의 타입은 몇몇 실시예에서 병진 운동에 제한되지 않을 수도 있지만, 임의의 더 높은 정도의 모션 모델이 사용될 수도 있다. 잔류 이미지 인코더는 파일에서의 모든 넌-레퍼런스 이미지들에 대해, 각 넌-레퍼런스 이미지에 대해 개별적으로, 동일한 타입의 모션 보상 변환을 공유하는 이미지 세그먼트들의 그룹에 대해 또는 각 이미지 세그먼트에 대해, 파일에서 모션 보상 변환의 타입의 표시를 생성할 수도 있다. 몇몇 실시예들에서, 잔류 이미지 인코더는 또한, 모션 벡터들과 같은 모션 보상 변환의 다른 파라미터 값들을 파일에 저장할 수도 있다.
다른 실시예들에서, 잔류 이미지 인코더(306)는 상술한 바와 같은 레퍼런스 이미지에 더욱 유사하게 되도록 넌-레퍼런스 이미지들 중 적어도 하나를 먼저 프리코딩할 수도 있고, 그 후, 쌍예측 또는 인터-예측 인코딩을 위한 2차 레퍼런스 이미지들로서 프리코딩된 넌-레퍼런스 이미지를 사용할 수도 있다.
다른 실시예들에서, 잔류 이미지 인코더(306)는 모션 보상 및 차이 인코딩 양자를 인코딩된 이미지의 부분들에 적용할 수도 있다.
다른 실시예들에서, 잔류 이미지 인코더(306)는 상술한 바와 같이 예측 코딩을 적용하기 이전에 예측 레퍼런스 이미지들을 재샘플링할 수도 있다. 레퍼런스 이미지의 이러한 재샘플링은 특히, 상이한 이미지들 및 프레임들이 상이한 줌 팩터들을 갖는 실시예들에서 유용할 수도 있다. 레퍼런스 화상 재샘플링 프로세스의 예가 ITU-T recommendation H.263의 Annex P에 의해 제공된다.
그 후, 잔류 이미지 인코더(306)는 인코딩된 잔류 이미지를 디지털 이미지 프로세서(300)에 출력한다.
다른 이전에 인코딩된 이미지들로부터 다른 캡처된 이미지들의 예측적 인코딩은 도 4에서 단계 411로 나타난다.
그 후, 디지털 이미지 프로세서(300)는 인코딩된 이미지 파일들을 파일 컴파일러(308)로 전달할 수도 있다. 인코딩된 레퍼런스 이미지 및 인코딩된 넌-레퍼런스 이미지의 수신시에 파일 컴파일러(308)는 데이터를 단일 파일을 컴파일하여, 기존의 파일 뷰어가 레퍼런스 이미지를 여전히 디코딩하고 렌더링할 수 있다.
따라서, 몇몇 실시예들에서, 파일 컴파일러(308)는, 레퍼런스 이미지가 표준 JPEG 화상으로서 인코딩되고, 예측적으로 인코딩된 넌-레퍼런스 이미지들이 교환가능한 이미지 파일 포맷(EXIF) 데이터 또는 추가 데이터로서 동일한 파일에 추가되도록 파일을 컴파일할 수도 있다.
몇몇 실시예들에서, 파일 컴파일러는 예측적으로 인코딩된 넌-레퍼런스 이미지들이 EXIF 정보의 제 2 또는 추가 이미지 파일 디렉토리(IFD) 필드로서 위치되는 파일을 컴파일할 수도 있고, 도 1에 도시된 바와 같은 파일의 부분은 JPEG 파일 구조의 제 1 애플리케이션 데이터 필드(APP1)의 일부일 수도 있다. 다른 실시예들에서, 컴파일러(308)는 인코딩된 레퍼런스 이미지들이 추가의 애플리케이션 세그먼트 예를 들어, 명칭 APP3를 갖는 애플리케이션 세그먼트로서 파일에 저장되도록 단일의 파일을 컴파일할 수도 있다. 다른 실시예들에서, 파일 컴파일러(308)는 CIPA(Camera & Image Products Association)에 의한 CIPA DC-007-2009 표준에 따라 포맷된 멀티-화상(MP) 파일을 컴파일할 수도 있다. MP 파일은 JPEG 및 EXIF 표준들에 따라 각각 포맷되고, 동일한 파일로 연접되는 다중의 이미지들 (제 1 개별 이미지)(651), (개별 이미지 #2)(653), (개별 이미지 #3)(655), (개별 이미지 #4)(657)을 포함한다. 파일에서의 제 1 이미지(651)의 애플리케이션 데이터 필드(APP2)는 도 7에 표시된 바와 동일한 파일에서의 추가 이미지들에 액세스하기 위해 사용될 수 있는 멀티-화상 인덱스 필드(MP 인덱스 IFD)(603)를 포함한다. 파일 컴파일러(308)는 몇몇 실시예들에서, 멀티-화상 인덱스 필드에서의 대표 이미지 플래그를 레퍼런스 이미지에 대해서는 1로 설정할 수도 있고, 넌-레퍼런스 이미지들에 대해서는 0으로 설정할 수도 있다. 파일 컴파일러(308)는 또한, 몇몇 실시예들에서, 멀티-프레임 이미지를 나타내도록 MP 타입 코드값을 설정할 수도 있고, 동일한 파일에 저장된 이미지들의 차이를 특징으로 하는 카메라 설정을 나타내도록 각각의 서브-타입을 설정할 수도 있고, 즉, 서브-타입은 노출 시간, 초점 설정, 줌 팩터, 섬광 모드, 아날로그 이득, 및 노출값 중 하나일 수도 있다.
몇몇 실시예들에서, 파일 컴파일러(308)는 2개의 파일들을 컴파일할 수도 있다. 제 1 파일은 JPEG 및 EXIF 표준들에 따라 포맷될 수도 있고, 레퍼런스 이미지 또는 추정된 최상의 시각 품질을 갖는 이미지일 수도 있는 캡처된 복수의 이미지들 중 하나를 포함한다. 제 1 파일은 레거시 JPEG 및 EXIF 호환가능 디코더들로 디코딩될 수도 있다. 제 2 파일은 JPEG 및/또는 EXIF 표준들의 확장에 따라 포맷될 수도 있고, 캡처된 복수의 이미지를 포함한다. 제 2 파일은 파일이 레거시 JPEG 및 EXIF 호환가능 디코더들로 디코딩되지 않게 할 수 있는 방식으로 포맷될 수도 있다. 다른 실시예들에서, 파일 컴파일러(308)는 캡처된 복수의 이미지 각각에 대한 파일을 컴파일할 수도 있다. 파일들은 JPEG 및 EXIF 표준들에 따라 포맷될 수도 있다.
파일 컴파일러(308)가 캡처된 복수의 이미지로부터 적어도 2개의 파일들을 컴파일하는 이들 실시예들에서, 이것은 파일들을 논리적으로 더 링크할 수도 있고/있거나 이들을 동일한 컨테이너 파일로 캡슐화(encapsulate)할 수도 있다. 몇몇 실시예들에서, 파일 컴파일러(308)는 파일 명칭들이 확장자에 의해서만 차이가 있고, 하나의 파일이 .jpg 확장자를 갖고, 따라서, 레거시 JPEG 및 EXIF 호환가능 디코더들에 의해 프로세싱될 수 있는 방식으로 적어도 2개의 파일들을 명명할 수도 있다. 따라서, 파일들은 일본 전자 정보 기술 산업 협회(JEITA)에 의한 "카메라 파일 시스템에 대하 설계 규칙" 사양에 따라 DCF 오브젝트를 형성할 수도 있다.
다양한 실시예들에서, 파일 컴파일러(308)는 넌-레퍼런스 예측적으로 코딩된 이미지들에 대한 압축 태그의 새로운 값을 생성하거나 전용할 수도 있다. 압축 태그는 JPEG 파일들의 애플리케이션 마커 세그먼트 1(APP1)에 포함된 헤더 필드들 중 하나이다. 압축 태그는 통상적으로, 파일에 저장된 압축 이미지로부터 디코딩된 이미지를 재구성하기 위해 사용되어야 하는 압축해제 알고리즘을 나타낸다. 레퍼런스 이미지의 압축 태그는 몇몇 실시예들에서, JPEG 압축/압축해제 알고리즘을 나타내도록 설정될 수도 있다. 그러나, JPEG 디코딩이 넌-레퍼런스 이미지 또는 이미지들의 정확한 재구성을 위해 충분하지 않을 수도 있기 때문에, 압축 태그의 별개 또는 개별 값이 넌-레퍼런스 이미지들에 대해 사용될 수도 있다.
이들 실시예들에서, 그 후, 표준 JPEG 디코더는 종래의 JPEG 표준들에 따라 인코딩된 단지 하나의 이미지, 레퍼런스 이미지만을 검출하거나 '확인'할 수도 있다. 이들 실시예들을 지원하는 임의의 디코더들은 넌-레퍼런스 이미지들 뿐만 아니라 레퍼런스 이미지를 '확인'하고 디코딩할 수 있다.
몇몇 다른 실시예들에서, 파일 컴파일러(308)는 레퍼런스 이미지 데이터 및 차이 데이터를 수신할 수도 있고, 레퍼런스 이미지 데이터를 계산된 차이 데이터와 연접시켜 더 큰 이미지를 형성할 수도 있다. 그 후, 결과적인 이미지가 레퍼런스 이미지 인코더(304)로 전달될 수도 있고 JPEG 인코딩될 수도 있다. 이러한 실시예들에서, 레퍼런스 이미지는 JPEG 인코딩된 이미지의 좌측 상부 코너에 존재하고, 이미지 파일 포맷으로 삽입된 픽셀 x 치수 및 픽셀 y 치수 EXIF 태그들에 의해 표시될 수도 있다. 이들 실시예들에서, 종래의 JPEG 디코더는 풀 JPEG 인코딩된 이미지를 디코딩할 수도 있지만, 픽셀 x 치수 및 픽셀 y 치수 EXIF 태그에 의해 표시된 바와 같은 이미지를 잘라낼 수도 있다. 다시 말해, 종래의 JPEG 디코더는 레퍼런스 이미지를 출력할 것이다.
그러나, 다른 디코더에서, JPEG 인코딩된 이미지는 통상적으로 먼저 디코딩될 수도 있고, 그 후, 디코딩된 이미지는 디코딩된 레퍼런스 이미지(및/또는 이미지들) 및 나머지 차이 이미지들로 스플릿될 수도 있다. 원래의 넌-레퍼런스 이미지들은 디코딩된 레퍼런스 이미지와 디코딩된 차이 이미지 데이터를 개별적으로 합산함으로써 획득될 수도 있다.
단일 파일로의 레퍼런스와 넌-레퍼런스 이미지들의 컴파일링 동작이 도 4에서 단계 413으로 나타난다.
그 후, 디지털 이미지 프로세서(300)는, 예를 들어, 카메라 애플리케이션에 대한 사용자 인터페이스상의 종료 버튼의 누름을 검출함으로써 카메라 애플리케이션이 종료되는지 여부를 결정할 수도 있다. 종료 버튼이 눌려졌다는 것을 프로세서(300)가 검출하면, 프로세서는 카메라 애플리케이션을 중지하지만, 종료 버튼이 눌려진 것으로 검출되지 않으면, 프로세서는 이미지 캡처 신호에 대한 폴링의 동작으로 역으로 진행한다.
카메라 애플리케이션 종료 표시에 대한 폴링이 도 4에서 단계 415로 나타난다.
카메라 애플리케이션의 중지가 도 4에서 단계 417로 나타난다.
본 발명에 따라 파일을 디코딩하는 장치가 도 5에 개략적으로 도시된다. 장치는 프로세서(451), 레퍼런스 이미지 디코더(453) 및 잔류 이미지 디코더(455)를 포함한다. 몇몇 실시예들에서, 부분들 또는 모듈들은 동일하거나 상이한 칩세트들에 위치되는 후술된 프로세스들을 실행하도록 구성된 프로세서들 또는 단일 프로세서의 부분들을 나타낸다. 다르게는, 프로세서(451)는 모든 프로세스들을 실행하도록 구성되고, 도 5는 멀티-프레임 이미지들의 프로세싱 및 디코딩을 예시한다.
프로세서(451)는 수신기 또는 기록 매체로부터 인코딩된 파일을 수신할 수도 있다. 몇몇 실시예들에서, 인코딩된 파일은 다른 디바이스로부터 수신될 수 있고, 다른 실시예에서는, 인코딩된 파일은 예를 들어, 인코딩된 파일이 프로세서를 포함하는 디바이스에 저장될 때, 동일한 장치 또는 디바이스로부터 프로세서(451)에 의해 수신될 수 있다. 몇몇 실시예들에서, 프로세서(451)는 인코딩된 파일을 레퍼런스 이미지 디코더(453)로 전달한다. 레퍼런스 이미지 디코더(453)는 인코딩된 파일로부터의 레퍼런스 이미지를 디코딩한다. 본 발명의 몇몇 실시예들에서, 프로세서(451)는 인코딩된 파일로부터 적어도 하나의 잔류 이미지를 추출하고 디코딩하는 잔류 이미지 디코더(453)로 인코딩된 파일을 전송한다. 몇몇 다른 실시예들에서, 레퍼런스 및 잔류 이미지들의 디코딩은 프로세서(451)에서 적어도 부분적으로 실행된다.
본 출원의 몇몇 실시예들에 따른 멀티-프레임 인코딩된 파일을 디코딩하는 동작이 도 6을 참조하여 개략적으로 설명된다. 멀티-프레임 인코딩된 파일의 디코딩 프로세스는 예를 들어, 사용자가 이미지 뷰어 또는 갤러리 애플리케이션에서 파일로 스위칭할 때 프로세서(451)에 의해 시작될 수도 있다. 디코딩을 시작하는 동작이 도 6에서 단계 501로 나타난다.
디코딩 프로세스는 예를 들어, "종료" 버튼을 누르거나, 이미지 뷰어 또는 갤러리 애플리케이션을 종료함으로써 프로세서(451)에 의해 중지될 수도 있다. "종료" 버튼이 눌려졌는지를 결정하기 위한 "종료" 버튼의 폴링이 도 6에서 단계 503으로 나타난다. "종료" 버튼이 눌려졌으면, 디코딩 동작은 도 6에서 단계 505로 나타낸 바와 같은 디코딩 동작 중지로 진행한다.
이러한 도면에 따르면, 디코딩 프로세스가 시작되고, "종료" 버튼이 눌려지지 않은 경우(또는 디코딩 프로세스가 어떤 다른 수단에 의해 중지되지 않은 경우), 제 1 동작은 디코딩 모드를 선택하는 것이다. 몇몇 실시예들에 따른 디코딩 모드의 선택은 단일-프레임 또는 멀티-프레임에서의 디코딩의 선택이다. 몇몇 실시예들에서, 모드 선택은 인코딩된 파일에 저장된 이미지들의 수에 기초하여 자동으로 행해질 수 있고, 즉, 파일이 다중의 이미지들을 포함하면, 멀티-프레임 디코딩 모드가 사용된다. 몇몇 다른 실시예들에서, 파일에 저장된 다양한 이미지들의 캡처링 파라미터들은 검사될 수도 있고, (예를 들어, 사용자 인터페이스(UI)를 통해 조정가능한) 사용자 선호도들, 시청 디바이스 또는 애플리케이션의 능력들, 및/또는 주위 광의 양과 같은 시청 조건들에 적합하도록 추정된 캡처링 파라미터 값들을 갖는 이미지가 디코딩을 위해 선택된다. 예를 들어, 파일이 2개의 이미지들을 포함하고, 2개의 이미지들이 입체 디스플레이 디바이스상의 디스플레이용으로 의도되지만, 시청 디바이스만이 종래의 모노스코픽(monoscopic)(2차원) 디스플레이이다는 표시를 또한 포함하는 것으로 표시되면, 프로세서(451)는 단일-프레임 디코딩 모드가 사용된다는 것을 결정할 수도 있다. 다른 예에서, 파일은 이미지들이 그들의 노출 시간에서 상이하다는 것을 나타내는 표시자를 가질 수도 있는 상이한 2개의 이미지들을 포함한다. 더 긴 노출 시간을 갖는 이미지, 따라서 더 짧은 노출 시간을 갖는 이미지에 비하여 밝은 화상은, 시청 디바이스에 의해 검출된 큰 주위 광의 양이 존재할 때 시청을 위해 프로세서(451)에 의해 선택될 수도 있다. 이러한 예에서, 프로세서는, 디코딩을 위해 선택된 이미지가 레퍼런스 이미지이면, 단일-프레임 디코딩 모드를 선택할 수도 있고, 그렇지 않으면, 프로세서는 멀티-프레임 디코딩 모드가 사용되는 것을 선택할 수도 있다. 다른 실시예들에서, 모드의 선택은 예를 들어, 사용자 인터페이스(UI)를 통해 사용자에 의해 행해진다. 디코딩하는 모드의 선택은 도 6에서 단계 507로 나타난다.
선택된 모드가 단일-프레임이면, 레퍼런스 이미지만이 디코딩되고 디스플레이상에 나타난다. 디코딩이 단일 또는 멀티-프레임인지의 결정이 도 6에서 단계 509로 나타난다. 레퍼런스 이미지만의 디코딩이 도 6에서 단계 511로 나타난다. 레퍼런스 이미지만의 표시 또는 디스플레이가 도 6에서 단계 513으로 나타난다.
선택된 모드가 멀티-프레임이면, 레퍼런스 이미지 및 적어도 하나의 잔류 이미지가 디코딩된다. 멀티-프레임 디코딩 동작에 대한 디코딩될 제 1 이미지로서 레퍼런스 이미지의 디코딩이 도 6에서 단계 515로 나타난다. 몇몇 실시예들에서, 인코딩된 파일로부터 추출되는 잔류 이미지들의 수는 잔류 이미지 디코더(455)에 의해 자동으로 선택될 수 있고, 몇몇 다른 실시예에서, 이러한 수는 적절한 UI를 통해 사용자에 의해 선택될 수 있다. 몇몇 다른 실시예들에서, 레퍼런스 이미지와 함께 디코딩될 잔류 이미지들은 UI를 통해 사용자에 의해 수동으로 선택될 수 있다. 수의 선택 및 이미지들 중 어느 것이 디코딩될지가 도 6에서 단계 517로 나타난다.
몇몇 실시예들에서, 잔류 이미지의 디코딩은 잔류 이미지를 생성하기 위해 사용된 압축 타입을 식별하는 동작을 포함한다. 잔류 이미지에 대해 사용된 압축 타입의 식별의 동작은 파일에 저장된 각각의 표시자를 해석하는 것을 포함할 수도 있다. 압축 타입 표시자가, 추가 이미지들로부터의 예측이 JPEG 압축의 경우에서와 같은 압축에서 사용되지 않는다는 것을 나타내면, 잔류 이미지의 디코딩은, 양자화된 변환 계수들의 리스케일링(rescaling) 및 변환 도메인으로부터 픽셀 도메인으로의 역변환과 같은 이미지 디코딩을 위한 프로세싱 단계들을 잔류 이미지 디코더(455)에서 수행하는 것을 포함할 수도 있다.
압축 타입 표시자가, 추가 이미지들로부터의 예측이 파일을 생성하기 위해 사용된다는 것을 나타내면, 잔류 이미지의 디코딩은, 차이 또는 예측 에러 이미지를 디코딩하는 단계, 파일로부터의 모션 벡터들과 같은 예측 코딩의 타입 및 파라미터들을 디코딩하는 단계, 및 예측 코딩의 타입 및 파라미터들에 기초하여 차이 이미지와 이전에 디코딩된 이미지 또는 이미지들을 적응적으로 결합하는 단계의 프로세싱 단계들을 잔류 이미지 디코더(455)에서 수행하는 것을 포함한다. 잔류 이미지를 디코딩하는 단계는, 블록 단위로 행해질 수도 있다. 차이 이미지의 디코딩은 상술한 바와 같은 단일의 넌-레퍼런스 이미지에 대한 이미지 디코딩을 위한 프로세싱 단계들을 잔류 이미지 디코더(455)에서 수행하는 것을 포함한다.
차이 이미지와 이전에 디코딩된 이미지의 적응형 결합의 동작은 모션 벡터에 기초하여 이전에 디코딩된 이미지내의 예측 블록을 결정하고, 예측 블록 및 차이 블록의 각각의 컬러 성분 값들을 픽셀 단위로 합산하는 프로세싱 단계들을 잔류 이미지 디코더(455)에서 수행하는 것을 포함할 수도 있다. 프리코딩 타입 및 파라미터들이 파일에 표시되면, 잔류 이미지의 디코딩은 프리코딩에 대한 역 프로세스를 잔류 이미지 디코더(455)에서 수행하는 것을 더 포함할 수도 있다. 프리코딩에 대한 역 프로세스는 또한 거의 정확할 수도 있고, 즉, 프리코딩 및 역 프리코딩의 순차적 프로세스에서, 원래의 픽셀 값들이 반드시 정확하지는 않지만 근사적으로 재구성될 수도 있다는 것에 유의한다. 디코딩의 멀티-프레임 코드에서의 이미지를 디코딩하는 동작은 도 6에서 단계 519로 나타난다.
따라서, 본 출원의 몇몇 실시예들에서, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 대응하는 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하는 동작, 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 동작, 적어도 하나의 추가 이미지를 적어도 하나의 다른 인코딩된 이미지로 인코딩하는 동작, 및 제 1 인코딩된 이미지와 적어도 하나의 다른 인코딩된 이미지를 제 1 파일로 결합하는 동작을 포함하는 방법이 있다.
본 출원 몇몇 다른 실시예들에서, 제 1 인코딩된 이미지 및 적어도 하나의 다른 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하는 동작들을 포함하는 방법이 있고, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지가 캡처되고, 적어도 하나의 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지가 캡처된다. 이러한 실시예에서, 제 1 파일을 디코딩하는 동작은, 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 다른 인코딩된 이미지 중 적어도 하나를 결정하는 동작, 및 제 1 인코딩된 이미지 및 적어도 하나의 다른 인코딩된 이미지 중 적어도 하나를 디코딩하는 동작을 포함한다.
또한, 몇몇 실시예들에서, 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드들 포함하는 적어도 하나의 메모리를 포함하는 장치가 있을 수도 있고, 적어도 하나의 메모리 및 컴퓨터 프로그램 코드는 적어도 하나의 프로세서를 이용하여, 장치로 하여금 상술한 동작들을 적어도 수행하게 하도록 구성된다.
예를 들어, 몇몇 실시예들에서, 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 관련된 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하도록 구성된 카메라 모듈, 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하도록 구성된 레퍼런스 이미지 인코더, 적어도 하나의 추가 이미지를 적어도 하나의 다른 인코딩된 이미지로 인코딩하도록 구성된 추가 이미지 인코더, 및 제 1 인코딩 이미지 및 적어도 하나의 다른 인코딩된 이미지를 제 1 파일로 결합하도록 구성된 파일 컴파일러를 포함하는 장치가 있을 수도 있다.
또한, 몇몇 실시예들에서, 제 1 이미지 캡처 파라미터를 갖는 대상물의 캡처된 제 1 인코딩된 이미지 및 적어도 하나의 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 캡처된 적어도 하나의 다른 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하도록 구성된 장치가 있을 수도 있고, 이 장치는 디코딩될 제 1 인코딩된 이미지 및 적어도 하나의 다른 인코딩된 이미지 중 적어도 하나를 결정하도록 구성된 프로세서, 및 제 1 인코딩된 이미지 및 적어도 하나의 다른 인코딩된 이미지 중 적어도 하나를 디코딩하도록 구성된 디코더를 포함한다.
몇몇 실시예들에서, 레퍼런스 및 선택된 잔류 이미지들이 디코딩된 이후에, 이들 중 적어도 하나는 디스플레이 상에 표시되고, 디코딩 프로세스는 다음의 인코딩된 파일에 대해 재시작된다. 디코딩된 이미지들 중 일부 또는 전부를 표시하거나 디스플레이하는 동작이 도 6에서 단계 521로 나타난다.
다른 실시예들에서, 레퍼런스 및 선택된 잔류 이미지들은 디스플레이상에 표시되지 않지만, 다양한 수단에 의해 프로세싱될 수도 있다. 예를 들어, 레퍼런스 및 선택된 잔류 이미지들은 예를 들어, JPEG 인코더에 의해 인코딩될 수도 있는 하나의 이미지로 결합될 수도 있고, 이것은 저장 매체에 위치되거나 다른 장치로 송신된 파일에 저장될 수도 있다.
용어 사용자 장비가 모바일 전화, 휴대용 데이터 프로세싱 디바이스들 또는 휴대용 웹 브라우저들과 같은 임의의 적절한 타입의 무선 사용자 장비를 커버하도록 의도된다는 것을 이해해야 한다. 또한, 사용자 장비, 유니버설 시리얼 버스(USB) 스틱들, 및 모뎀 데이터 카드들은 상기 실시예들에 설명된 장치와 같은 장치를 포함할 수도 있다.
일반적으로, 본 발명의 다양한 실시예들은 하드웨어 또는 특수용 회로들, 소프트웨어 로직 또는 이들의 임의의 조합에서 구현될 수도 있다. 예를 들어, 몇몇 양태들은 하드웨어에서 구현될 수도 있지만, 다른 양태들은 제어기, 마이크로프로세서 또는 다른 컴퓨팅 디바이스에 의해 실행될 수도 있는 펌웨어 또는 소프트웨어에서 구현될 수도 있고, 본 발명의 이에 한정되지 않는다. 본 발명의 다양한 양태들이 블록도들, 플로우차트들로서, 또는 몇몇 다른 회화적 표현을 사용하여 예시되고 설명될 수도 있지만, 여기에 설명된 이들 블록들, 장치들, 시스템들, 기법들 또는 방법들이 제한하지 않는 예들로서, 하드웨어, 소프트웨어, 펌웨어, 특수용 회로들 또는 로직, 범용 하드웨어 또는 제어기 또는 다른 컴퓨팅 디바이스들, 또는 이들의 어떤 조합에서 구현될 수도 있다.
본 발명의 실시예들은 프로세서 엔티티에서와 같이 모바일 디바이스의 데이터 프로세서에 의해 실행가능한 컴퓨터 소프트웨어에 의해, 또는 하드웨어에 의해, 또는 소프트웨어와 하드웨어의 조합에 의해 구현될 수도 있다. 또한 이와 관련하여, 도면들에서와 같은 논리 흐름의 임의의 블록들이 프로그램 단계들, 또는 상호접속된 논리 회로들, 블록들 및 기능들, 또는 프로그램 단계 및 논리 회로들, 블록들 및 기능들의 조합을 표현할 수도 있다. 소프트웨어는 메모리 칩들, 프로세서내에서 구현된 메모리 블록들과 같은 물리적 매체, 하드 디스크 또는 플로피 디스크들과 같은 자기 매체, 및 예를 들어, DVD 및 이것의 데이터 변동물, CD와 같은 광학 매체상에 저장될 수도 있다.
메모리는 로컬 기술 환경에 적합한 임의의 타입일 수도 있고, 반도체 기반 메모리 디바이스들, 자기 메모리 디바이스들 및 시스템, 광학 메모리 디바이스들 및 시스템들, 고정 메모리 및 착탈식 메모리와 같은 임의의 적합한 데이터 저장 기술을 사용하여 구현될 수도 있다. 데이터 프로세서들은 로컬 기술 환경에 적합한 임의의 타입일 수도 있고, 제한하지 않는 예들로서, 범용 컴퓨터들, 특수용 컴퓨터들, 마이크로프로세서들, 디지털 신호 프로세서들(DSP), 응용 주문형 집적 회로들(ASIC), 게이트 레벨 회로들 및 멀티-코어 프로세서 아키텍처에 기초한 프로세서들 중 하나 이상의 포함할 수도 있다.
본 발명의 실시예들은 집적 회로 모듈들과 같은 다양한 컴포넌트들에서 실시될 수도 있다. 집적 회로들의 설계는 대체로 매우 자동화된 프로세스이다. 복잡하고 강력한 소프트웨어 툴들이 반도체 기판상에서 에칭되고 형성될 준비가 된 반도체 회로 설계로 논리 레벨 설계를 변환하기 위해 이용가능하다.
캘리포니아 마운틴 뷰 소재의 Synopsys, Inc 및 캘리포니아 새너제이 소재의 Cadence Design에 의해 제공된 바와 같은 프로그램들은, 도체들을 자동으로 경로지정하며, 사전 저장된 설계 모듈들의 라이브러리들 뿐만 아니라 설계의 양호하게 확립된 규칙들을 사용하여 반도체 칩상에 컴포넌트들을 위치시킨다. 반도체 회로에 대한 설계가 완료되면, 표준화된 전자 포맷(예를 들어, Opus, GDSII 등)에서 결과적인 설계가 제조를 위해 반도체 제조 설비 또는 "fab"으로 송신될 수도 있다.
상술한 설명은 본 발명의 예시적인 실시예의 전체적이고 유익한 설명을 예시적이고 비제한적인 예들의 형태로 제공하였다. 그러나, 다양한 변형물들 및 적응물들이 첨부한 도면들과 첨부한 청구범위와 함께 읽을 때 상술한 설명의 관점에서 당업자에게 명백해질 수도 있다. 그러나, 본 발명의 교시들의 모든 이러한 그리고 유사한 변형물들은 여전히 첨부한 청구범위에서 정의된 바와 같은 본 발명의 범위내에 있다.
본 출원에서 사용되는 바와 같이, 용어 회로는 다음: (a) (오직 아날로그 및/또는 디지털 회로에서의 구현물들과 같은) 하드웨어 전용 회로 구현물들 및 (b) (ⅰ) 프로세서(들)의 조합물 또는 (ⅱ) (모바일 전화 또는 서버와 같은 장치로 하여금 다양한 기능들을 수행하게 하도록 함께 작동하는 디지털 신호 프로세서(들), 소프트웨어, 및 메모리(들)를 포함하는) 프로세서(들)/소프트웨어의 일부들에 적용가능한 회로들과 소프트웨어(및/또는 펌웨어)의 조합물, 및 (c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않더라도, 동작을 위해 소프트웨어 또는 펌웨어를 요구하는 마이크프로세서(들)의 일부를 모두 칭할 수도 있다.
회로의 이러한 정의는 임의의 청구범위에 포함하는 본 출원에서의 이러한 용어의 모든 사용에 적용된다. 다른 예로서, 본 출원에서 사용된 바와 같이, 용어 회로는 또한, 단지 프로세서(또는 다중의 프로세서들) 또는 프로세서의 일부 및 그것의(또는 그들의) 수반하는 소프트웨어 및/또는 펌웨어의 구현물을 커버한다. 용어 회로는 또한, 예를 들어, 특정한 청구항 엘리먼트에 적용가능하면, 기저대역 집적 회로 또는 모바일 전화에 대한 애플리케이션 프로세서 집적 회로 또는 서버, 셀룰러 네트워크 디바이스, 또는 다른 네트워크 디바이스에서의 유사한 집적 회로를 커버한다.
용어 프로세서 및 메모리는 본 출원에서, (1) 하나 이상의 마이크로프로세서들, (2) 하나 이상의 디지털 신호 프로세서(들)를 수반하는 하나 이상의 프로세서(들), (3) 디지털 신호 프로세서(들)를 수반하지 않는 하나 이상의 프로세서(들), (4) 하나 이상의 특수용 컴퓨터 칩들, (5) 하나 이상의 필드 프로그램가능한 게이트 어레이들(FPGA), (6) 하나 이상의 제어기들, (7) 하나 이상의 응용 주문형 집적 회로들 (ASIC), 또는 검출기(들), (듀얼 코어 및 다중 코어 프로세서들을 포함하는) 프로세서(들), 디지털 신호 프로세서(들), 제어기(들), 수신기, 송신기, 인코더, 디코더, 메모리(및 메모리들), 소프트웨어, 펌웨어, RAM, ROM, 디스플레이, 사용자 인터페이스, 디스플레이 회로, 사용자 인터페이스 회로, 사용자 인터페이스 소프트웨어, 디스플레이 소프트웨어, 회로(들), 안테나, 안테나 회로, 및 회로를 포함할 수도 있지만, 이에 제한되지 않는다.
11 : 카메라 모듈
300 : 디지털 이미지 프로세서
302 : 레퍼런스 이미지 선택기
304 : 레퍼런스 이미지 인코더
306 : 잔류 이미지 인코더
308 : 파일 컴파일러
453 : 레퍼런스 이미지 디코더
451 : 디지털 이미지 프로세서
455 : 잔류 이미지 디코더
300 : 디지털 이미지 프로세서
302 : 레퍼런스 이미지 선택기
304 : 레퍼런스 이미지 인코더
306 : 잔류 이미지 인코더
308 : 파일 컴파일러
453 : 레퍼런스 이미지 디코더
451 : 디지털 이미지 프로세서
455 : 잔류 이미지 디코더
Claims (45)
- 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 대응하는 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하는 단계;
상기 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 단계;
상기 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하는 단계; 및
상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계를 포함하는
방법.
- 제 1 항에 있어서,
상기 적어도 하나의 추가 이미지를 인코딩하는 단계는,
상기 제 1 인코딩된 이미지를 제 1 디코딩된 이미지로 디코딩하는 단계;
상기 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 상기 제 1 디코딩된 이미지의 적어도 일부 사이의 차이를 결정하는 단계; 및
상기 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 상기 제 1 디코딩된 이미지의 적어도 일부 사이의 상기 차이를 인코딩하는 단계를 포함하는
방법.
- 제 1 항 및 제 2 항에 있어서,
상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계는,
상기 제 1 파일을 제 1 알고리즘 및 제 2 알고리즘에 따라 디코딩가능하도록 구성하는 단계를 포함하고,
상기 제 1 인코딩된 이미지는, 상기 제 1 알고리즘 및 상기 제 2 알고리즘에 따라 상기 제 1 이미지를 나타내는 제 1 디코딩된 이미지로 디코딩가능하고,
상기 적어도 하나의 추가 인코딩된 이미지는 상기 제 2 알고리즘만에 따라 상기 적어도 하나의 추가 이미지를 나타내는 적어도 하나의 추가 디코딩된 이미지로 디코딩가능한
방법.
- 제 1 항 내지 제 3 항에 있어서,
상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계는,
상기 제 1 파일에서, 상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 논리적으로 링크하는 단계를 포함하는
방법.
- 제 1 항 내지 제 4 항에 있어서,
상기 제 1 이미지 및 상기 적어도 하나의 추가 이미지를 캡처하는 단계는, 사용자 액션에 응답하는
방법.
- 제 1 항 내지 제 5 항에 있어서,
상기 제 1 이미지 및 상기 적어도 하나의 추가 이미지를 캡처하는 단계는, 단일 이벤트로서 인지되는 소정 기간 내에 상기 제 1 이미지 및 상기 적어도 하나의 추가 이미지를 캡처하는 단계를 포함하는
방법.
- 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지는 동일한 코딩된 데이터 구조를 공유하도록 구성되는
방법.
- 제 1 항 내지 제 7 항에 있어서,
캡처될 적어도 하나의 추가 이미지들의 수를 결정하는 단계를 더 포함하는
방법.
- 제 1 항 내지 제 8 항에 있어서,
캡처될 각 이미지에 대한 이미지 캡처 파라미터 값을 선택하는 단계를 더 포함하는
방법.
- 제 1 항 내지 제 9 항에 있어서,
각 이미지 캡처 파라미터는,
노출 시간;
초점 설정;
줌 팩터;
배경 플래시 모드;
아날로그 이득; 및
노출값
중 적어도 하나를 포함하는
방법.
- 제 1 항 내지 제 10 항에 있어서,
상기 제 1 이미지 캡처 파라미터 및 상기 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 제 1 표시자를 상기 제 1 파일에 삽입하는 단계를 더 포함하는
방법.
- 제 1 항 내지 제 11 항에 있어서,
상기 제 1 이미지 캡처 파라미터 중 적어도 하나의 값 및 상기 적어도 하나의 추가 이미지 캡처 파라미터 중 적어도 하나의 값을 나타내는 적어도 하나의 표시자를 상기 제 1 파일에 삽입하는 단계를 더 포함하는
방법.
- 제 1 항 내지 제 12 항에 있어서,
상기 제 1 이미지 및 상기 적어도 하나의 추가 이미지를 캡처하는 단계는,
상기 제 1 이미지를 캡처하고, 후속하여 상기 적어도 하나의 추가 이미지 각각을 캡처하는 단계; 및
상기 적어도 하나의 추가 이미지 각각의 캡처와 실질적으로 동시에 상기 제 1 이미지를 캡처하는 단계
중 적어도 하나를 포함하는
방법.
- 제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하는 단계 - 상기 제 1 인코딩된 이미지는 대상물에 대해 제 1 이미지 캡처 파라미터로 캡처되고, 상기 적어도 하나의 추가 인코딩된 이미지는 실질적으로 동일한 대상물에 대해 적어도 하나의 추가 이미지 캡처 파라미터로 캡처됨 - 를 포함하고,
상기 제 1 파일을 디코딩하는 단계는,
디코딩될 상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하는 단계; 및
상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 디코딩하는 단계를 포함하는
방법.
- 제 14 항에 있어서,
상기 제 1 인코딩된 이미지를 제 1 디코딩 알고리즘에 의해 디코딩하여 제 1 디코딩된 이미지를 형성하는 단계;
상기 적어도 하나의 추가 인코딩된 이미지를 디코딩하여 적어도 하나의 추가 이미지 예측 데이터를 생성하는 단계; 및
상기 제 1 디코딩된 이미지 및 상기 적어도 하나의 추가 이미지 예측 데이터를 결합함으로써 적어도 하나의 추가 디코딩된 이미지를 생성하는 단계를 포함하는
방법.
- 제 14 항 및 제 15 항에 있어서,
상기 제 1 파일은,
제 1 이미지 캡처 파라미터 타입 및 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는, 적어도 하나의 제 1 표시자; 및
제 1 이미지 캡처 파라미터 값 및 적어도 하나의 추가 이미지 캡처 파라미터 값 중 적어도 하나를 나타내는, 적어도 하나의 제 2 표시자를 포함하고,
디코딩될 상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하는 단계는 상기 적어도 하나의 제 1 표시자 및 상기 적어도 하나의 제 2 표시자를 해석하는 단계를 포함하는
방법.
- 제 14 항 내지 제 16 항에 있어서,
디코딩될 제 1 인코딩된 파일로부터 디코딩된 이미지들의 수를 결정하는 단계를 더 포함하고, 디코딩될 상기 디코딩된 이미지들의 수는 사용자에 의해 선택되는
방법.
- 제 14 항 내지 제 17 항 중 어느 한 항에 있어서,
상기 제 1 인코딩된 파일로부터의 모든 인코딩된 이미지들은 디코딩되는
방법.
- 제 14 항 내지 제 17 항 중 어느 한 항에 있어서,
디코딩될 상기 제 1 인코딩된 파일로부터 상기 인코딩된 이미지들을 선택하는 단계를 더 포함하고, 디코딩될 상기 인코딩된 이미지들은 사용자에 의해 선택되는
방법.
- 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 관련된 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하도록 구성된 카메라 모듈;
상기 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하도록 구성된 레퍼런스 이미지 인코더;
상기 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하도록 구성된 추가 이미지 인코더; 및
상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하도록 구성된 파일 컴파일러를 포함하는
장치.
- 제 20 항에 있어서,
상기 추가 이미지 인코더는,
상기 제 1 인코딩된 이미지를 제 1 디코딩된 이미지로 디코딩하도록 구성된 이미지 디코더;
상기 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 상기 제 1 디코딩된 이미지의 적어도 일부 사이의 차이를 결정하도록 구성된 비교기; 및
상기 적어도 하나의 추가 이미지 중 하나의 적어도 일부와 상기 제 1 디코딩된 이미지의 적어도 일부 사이의 상기 차이를 인코딩하도록 구성된 예측 인코더를 포함하는
장치.
- 제 20 항 및 제 21 항에 있어서,
상기 파일 컴파일러는,
상기 제 1 파일에서, 상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 논리적으로 링크하도록 구성된 이미지 링커를 포함하는
장치.
- 제 20 항 내지 제 22 항 중 어느 한 항에 있어서,
상기 카메라 모듈을 인에이블하는 이미지 캡처 인터페이스를 더 포함하는
장치.
- 제 20 항 내지 제 23 항에 있어서,
상기 카메라 모듈은, 단일 이벤트로서 인지되는 소정 기간 내에서 상기 제 1 이미지 및 상기 적어도 하나의 추가 이미지를 캡처하도록 또한 구성되는
장치.
- 제 20 항 내지 제 24 항에 있어서,
상기 레퍼런스 이미지 인코더 및 상기 추가 이미지 인코더는, 동일한 코딩된 데이터 구조를 갖는 상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지를 출력하도록 구성되는
장치.
- 제 20 항 내지 제 25 항에 있어서,
캡처될 적어도 하나의 추가 이미지들의 수를 결정하도록 구성된 멀티 이미지 프레임 결정기를 더 포함하는
장치.
- 제 20 항 내지 제 26 항에 있어서,
캡처될 각 이미지에 대한 이미지 캡처 파라미터 값을 선택하도록 구성된 이미지 캡처 파라미터 선택기를 더 포함하는
장치.
- 제 20 항 내지 제 27 항에 있어서,
각 이미지 캡처 파라미터는,
노출 시간;
초점 설정;
줌 팩터;
배경 플래시 모드;
아날로그 이득; 및
노출값
중 적어도 하나를 포함하는
장치.
- 제 20 항 내지 제 28 항에 있어서,
상기 제 1 이미지 캡처 파라미터 및 상기 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 제 1 표시자를 상기 제 1 파일에 삽입하도록 구성된 파라미터 타입 표시자 삽입기를 더 포함하는
장치.
- 제 20 항 내지 제 29 항에 있어서,
상기 제 1 이미지 캡처 파라미터 중 적어도 하나의 값 및 상기 적어도 하나의 추가 이미지 캡처 파라미터 중 적어도 하나의 값을 나타내는 적어도 하나의 파라미터 값 표시자를 상기 제 1 파일에 삽입하도록 구성된 파라미터 값 표시자 삽입기를 더 포함하는
장치.
- 제 20 항 내지 제 30 항에 있어서,
상기 카메라 모듈은 적어도,
상기 제 1 이미지를 캡처하고, 후속하여 하나 이상의 추가 이미지들을 캡처하며,
상기 추가 이미지들의 캡처와 실질적으로 동시에 상기 제 1 이미지를 캡처하도록 구성되는
장치.
- 제 1 이미지 캡처 파라미터를 갖는 대상물의 캡처된 제 1 인코딩된 이미지 및 적어도 하나의 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 캡처된 적어도 하나의 추가 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하도록 구성된 장치로서,
디코딩될 상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하도록 구성된 프로세서; 및
상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 디코딩하도록 구성된 디코더를 포함하는
장치.
- 제 32 항에 있어서,
상기 디코더는,
상기 제 1 인코딩된 이미지를 제 1 디코딩 알고리즘에 의해 디코딩하여 제 1 디코딩된 이미지를 형성하도록 구성된 제 1 디코더;
상기 적어도 하나의 추가 인코딩된 이미지를 디코딩하여 적어도 하나의 이미지 예측 데이터를 생성하도록 구성된 적어도 하나의 추가 디코더; 및
상기 제 1 디코딩된 이미지 및 상기 적어도 하나의 이미지 예측 데이터를 결합함으로써 적어도 하나의 추가 디코딩된 이미지를 생성하도록 구성된 이미지 생성기를 포함하는
장치.
- 제 32 항 및 제 33 항에 있어서,
상기 제 1 파일은,
제 1 이미지 캡처 파라미터 타입 및 적어도 하나의 추가 이미지 캡처 파라미터 타입 중 적어도 하나를 나타내는 적어도 하나의 제 1 표시자; 및
제 1 이미지 캡처 파라미터 값 및 적어도 하나의 추가 이미지 캡처 파라미터 값 중 적어도 하나를 나타내는 적어도 하나의 제 2 표시자를 포함하고,
상기 프로세서는, 상기 적어도 하나의 제 1 표시자 및 상기 적어도 하나의 제 2 표시자의 해석에 의존하여 디코딩될 상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하도록 구성되는
장치.
- 제 32 항 내지 제 34 항에 있어서,
상기 프로세서는, 디코딩될 제 1 인코딩된 파일로부터 디코딩된 이미지들의 수를 결정하도록 더 구성되고, 디코딩될 상기 디코딩된 이미지들의 수는 사용자에 의해 선택되는
장치.
- 제 32 항 내지 제 35 항에 있어서,
상기 제 1 인코딩된 파일로부터의 모든 인코딩된 이미지들은 디코딩되는
장치.
- 제 32 항 내지 제 36 항에 있어서,
상기 프로세서는, 디코딩될 상기 제 1 인코딩된 파일로부터 상기 인코딩된 이미지들을 선택하도록 더 구성되고, 디코딩될 상기 인코딩된 이미지들은 사용자에 의해 선택되는
장치.
- 제 33 항에 있어서,
상기 적어도 하나의 추가 디코더 각각은, 상기 적어도 하나의 추가 인코딩된 이미지들 중 관련된 하나를 디코딩하여 하나 이상의 이미지 예측 데이터를 생성하도록 구성되는
장치.
- 제 20 항 내지 제 38 항에 기재된 장치를 포함하는
전자 디바이스.
- 제 20 항 내지 제 38 항에 기재된 장치를 포함하는
칩세트.
- 컴퓨터 프로그램을 포함하는 컴퓨터 판독가능한 매체로서,
상기 컴퓨터 프로그램은 제 1 항 내지 제 19 항에 기재된 방법을 수행하는
컴퓨터 판독가능한 매체.
- 제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 대응하는 이미지 캡처 파라미터를 각각 갖는 실질적으로 동일한 대상물의 하나 이상의 추가 이미지를 캡처하는 이미지 캡처 수단;
상기 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 인코딩 수단;
상기 추가 이미지들 각각을 대응하는 인코딩된 이미지들로 인코딩하는 제 2 인코딩 수단; 및
상기 제 1 인코딩된 이미지와 상기 추가 인코딩된 이미지들 중 적어도 하나를 제 1 파일로 결합하는 프로세싱 수단을 포함하는
장치.
- 제 1 인코딩된 이미지 및 하나 이상의 추가 인코딩된 이미지들을 포함하는 제 1 파일을 수신하는 수신 수단을 포함하고,
상기 제 1 파일의 디코딩은,
제 1 디코딩된 이미지를 생성하기 위해 상기 제 1 인코딩된 이미지를 제 1 디코딩 알고리즘에 의해 디코딩하는 제 1 디코딩 수단,
대응하는 이미지 예측 데이터를 생성하기 위해 상기 추가 인코딩된 이미지 중 적어도 하나를 디코딩하는 추가 디코딩 수단, 및
상기 제 1 디코딩된 이미지와 상기 대응하는 이미지 예측 데이터 중 적어도 하나를 결합함으로써 하나 이상의 디코딩된 이미지들을 생성하는 이미지 생성 수단을 포함하는
장치.
- 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치로서,
상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
제 1 이미지 캡처 파라미터를 갖는 대상물의 제 1 이미지 및 적어도 하나의 대응하는 추가 이미지 캡처 파라미터를 갖는 실질적으로 동일한 대상물의 적어도 하나의 추가 이미지를 캡처하는 단계;
상기 제 1 이미지를 제 1 인코딩된 이미지로 인코딩하는 단계;
상기 적어도 하나의 추가 이미지를 적어도 하나의 추가 인코딩된 이미지로 인코딩하는 단계; 및
상기 제 1 인코딩된 이미지와 상기 적어도 하나의 추가 인코딩된 이미지를 제 1 파일로 결합하는 단계
를 수행하게 하도록 구성되는
장치.
- 적어도 하나의 프로세서 및 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치로서,
상기 적어도 하나의 메모리 및 상기 컴퓨터 프로그램 코드는, 상기 적어도 하나의 프로세서를 사용하여, 상기 장치로 하여금 적어도,
제 1 인코딩된 이미지 및 적어도 하나의 추가 인코딩된 이미지를 포함하는 제 1 파일을 디코딩하는 단계를 수행하게 하도록 구성되고,
대상물의 제 1 인코딩된 이미지는 제 1 이미지 캡처 파라미터로 캡처되고 실질적으로 동일한 대상물의 적어도 하나의 추가 인코딩된 이미지는 적어도 하나의 추가 이미지 캡처 파라미터로 캡처되고,
상기 제 1 파일을 디코딩하는 단계는,
디코딩될 상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 결정하는 단계, 및
상기 제 1 인코딩된 이미지 및 상기 적어도 하나의 추가 인코딩된 이미지 중 적어도 하나를 디코딩하는 단계를 포함하는
장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/EP2009/061551 WO2011026527A1 (en) | 2009-09-07 | 2009-09-07 | An apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20120068024A true KR20120068024A (ko) | 2012-06-26 |
Family
ID=41138712
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020127009041A Ceased KR20120068024A (ko) | 2009-09-07 | 2009-09-07 | 장치 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20120194703A1 (ko) |
| EP (1) | EP2476248A1 (ko) |
| KR (1) | KR20120068024A (ko) |
| CN (1) | CN102577353A (ko) |
| CA (1) | CA2773156A1 (ko) |
| RU (1) | RU2012113252A (ko) |
| WO (1) | WO2011026527A1 (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180049028A (ko) * | 2015-09-07 | 2018-05-10 | 톰슨 라이센싱 | 광 필드 기반 이미지를 인코딩 및 디코딩하기 위한 방법과 디바이스, 및 대응하는 컴퓨터 프로그램 제품 |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| JP5743696B2 (ja) * | 2011-05-06 | 2015-07-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6140709B2 (ja) | 2011-09-28 | 2017-05-31 | ペリカン イメージング コーポレイション | 明視野画像ファイルを符号化および復号するためのシステムおよび方法 |
| US9563966B2 (en) | 2011-12-23 | 2017-02-07 | Nokia Technologies Oy | Image control method for defining images for waypoints along a trajectory |
| WO2013126578A1 (en) | 2012-02-21 | 2013-08-29 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| EP3869797B1 (en) | 2012-08-21 | 2023-07-19 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
| US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
| US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| KR102031284B1 (ko) * | 2013-03-14 | 2019-11-08 | 삼성전자주식회사 | 연속 촬영된 이미지를 합성하는 전자 장치 및 방법 |
| WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| EP4604059A3 (en) | 2013-03-15 | 2025-09-17 | Adeia Imaging LLC | Systems and methods for stereo imaging with camera arrays |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
| EP3075140B1 (en) | 2013-11-26 | 2018-06-13 | FotoNation Cayman Limited | Array camera configurations incorporating multiple constituent array cameras |
| CN103826060A (zh) * | 2014-01-24 | 2014-05-28 | 宇龙计算机通信科技(深圳)有限公司 | 一种拍照方法及终端 |
| WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
| JP2017531976A (ja) | 2014-09-29 | 2017-10-26 | フォトネイション ケイマン リミテッド | アレイカメラを動的に較正するためのシステム及び方法 |
| CN105611268B (zh) * | 2015-12-15 | 2018-02-27 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CA3109406C (en) | 2019-09-17 | 2023-01-10 | Boston Polarimetrics, Inc. | Systems and methods for surface modeling using polarization cues |
| EP4042366A4 (en) | 2019-10-07 | 2023-11-15 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR AUGMENTING SENSOR SYSTEMS AND IMAGING SYSTEMS WITH POLARIZATION |
| KR102558903B1 (ko) | 2019-11-30 | 2023-07-24 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
| CN115552486A (zh) | 2020-01-29 | 2022-12-30 | 因思创新有限责任公司 | 用于表征物体姿态检测和测量系统的系统和方法 |
| CN115428028B (zh) | 2020-01-30 | 2026-05-19 | 因思创新有限责任公司 | 合成用于在不同成像模态下训练模型的数据的系统和方法 |
| KR102995539B1 (ko) * | 2020-02-05 | 2026-07-24 | 삼성전자주식회사 | 이미지 센서 모듈, 그것의 영상 압축 방법 및 전자 장치 |
| WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
| US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
| US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
| US12175741B2 (en) | 2021-06-22 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
| US12340538B2 (en) | 2021-06-25 | 2025-06-24 | Intrinsic Innovation Llc | Systems and methods for generating and using visual datasets for training computer vision models |
| US12172310B2 (en) | 2021-06-29 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-D geometry and segmentation |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| US12293535B2 (en) | 2021-08-03 | 2025-05-06 | Intrinsic Innovation Llc | Systems and methods for training pose estimators in computer vision |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6292512B1 (en) * | 1998-07-06 | 2001-09-18 | U.S. Philips Corporation | Scalable video coding system |
| KR100481732B1 (ko) * | 2002-04-20 | 2005-04-11 | 전자부품연구원 | 다 시점 동영상 부호화 장치 |
| EP1650977B1 (en) * | 2003-07-24 | 2019-06-26 | Nippon Telegraph And Telephone Corporation | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, recording medium containing the image encoding program, and recording medium containing the image decoding program |
| US7787026B1 (en) * | 2004-04-28 | 2010-08-31 | Media Tek Singapore Pte Ltd. | Continuous burst mode digital camera |
| US7680349B2 (en) * | 2004-08-18 | 2010-03-16 | Cisco Technology, Inc. | Variable length coding for clustered transform coefficients in video compression |
| US7444025B2 (en) * | 2004-12-24 | 2008-10-28 | Gateway Inc. | Motion encoding of still images |
| KR100703749B1 (ko) * | 2005-01-27 | 2007-04-05 | 삼성전자주식회사 | 잔차 재 추정을 이용한 다 계층 비디오 코딩 및 디코딩방법, 이를 위한 장치 |
| KR100667830B1 (ko) * | 2005-11-05 | 2007-01-11 | 삼성전자주식회사 | 다시점 동영상을 부호화하는 방법 및 장치 |
| JP2008300953A (ja) * | 2007-05-29 | 2008-12-11 | Sanyo Electric Co Ltd | 画像処理装置およびそれを搭載した撮像装置 |
-
2009
- 2009-09-07 KR KR1020127009041A patent/KR20120068024A/ko not_active Ceased
- 2009-09-07 CA CA2773156A patent/CA2773156A1/en not_active Abandoned
- 2009-09-07 EP EP09782693A patent/EP2476248A1/en not_active Withdrawn
- 2009-09-07 CN CN2009801618831A patent/CN102577353A/zh active Pending
- 2009-09-07 RU RU2012113252/08A patent/RU2012113252A/ru unknown
- 2009-09-07 US US13/394,771 patent/US20120194703A1/en not_active Abandoned
- 2009-09-07 WO PCT/EP2009/061551 patent/WO2011026527A1/en not_active Ceased
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180049028A (ko) * | 2015-09-07 | 2018-05-10 | 톰슨 라이센싱 | 광 필드 기반 이미지를 인코딩 및 디코딩하기 위한 방법과 디바이스, 및 대응하는 컴퓨터 프로그램 제품 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20120194703A1 (en) | 2012-08-02 |
| CA2773156A1 (en) | 2011-03-10 |
| WO2011026527A1 (en) | 2011-03-10 |
| RU2012113252A (ru) | 2013-10-20 |
| EP2476248A1 (en) | 2012-07-18 |
| CN102577353A (zh) | 2012-07-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20120194703A1 (en) | Apparatus | |
| KR102944423B1 (ko) | 광 필드 기반 이미지를 인코딩 및 디코딩하기 위한 방법과 디바이스, 및 대응하는 컴퓨터 프로그램 제품 | |
| JP6630891B2 (ja) | 明視野画像ファイルを符号化および復号するためのシステムおよび方法 | |
| WO2012035371A1 (en) | A multi frame image processing apparatus | |
| KR20190052089A (ko) | 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스 | |
| JP6576122B2 (ja) | データ記録装置およびその制御方法、撮像装置 | |
| TWI682660B (zh) | 影像處理裝置及影像處理方法 | |
| WO2012147621A1 (ja) | 符号化装置および符号化方法、並びに、復号装置および復号方法 | |
| KR20150063126A (ko) | 비디오 인코딩 및 디코딩 방법, 장치 및 시스템 | |
| JPWO2012111757A1 (ja) | 画像処理装置および画像処理方法 | |
| JP2023508368A5 (ko) | ||
| CN105100595B (zh) | 摄像设备及其控制方法 | |
| TW201342884A (zh) | 編碼裝置及編碼方法、以及解碼裝置及解碼方法 | |
| US9445085B2 (en) | Imaging apparatus, method for controlling imaging apparatus, and system therefor | |
| JP2021118403A (ja) | 画像処理装置、その制御方法、プログラム並びに画像処理システム | |
| CN119110078A (zh) | 用于对代表光场内容的信号进行编码的方法和设备 | |
| JP6351212B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
| CN114391259B (zh) | 信息处理方法、终端设备及存储介质 | |
| JP6351213B2 (ja) | 撮像装置、撮像装置の制御方法及びシステム | |
| EP2485495A2 (en) | Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information | |
| EP3203742A1 (en) | System and method for encoding and decoding information representative of a focalization distance associated to an image belonging to a focal stack representative of a light field content | |
| JP7076983B2 (ja) | 符号化装置、画像処理装置及び画像処理方法 | |
| CN105306814A (zh) | 一种拍照方法及装置 | |
| KR101419419B1 (ko) | 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20120406 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20120419 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20130625 Patent event code: PE09021S01D |
|
| E601 | Decision to refuse application | ||
| PE0601 | Decision on rejection of patent |
Patent event date: 20130930 Comment text: Decision to Refuse Application Patent event code: PE06012S01D Patent event date: 20130625 Comment text: Notification of reason for refusal Patent event code: PE06011S01I |