KR101241971B1 - 화상 신호 처리장치, 카메라 시스템, 및 화상 신호처리방법 - Google Patents

Abstract

화상 데이터를 압축할 때에, 고효율이면서, 화질을 손상시키지 않고, 처리에 시간이 너무 걸리지 않으며, 1 패스에 가까운 처리가 행해지며, 워스트 케이스(worst case)의 경우 대역 및 기억에 필요로 하는 용량을 보증할 수 있으며 또한, 랜덤 억세스성을 손상시키지 않는 화상 신호 처리 장치 및 그 방법, 및 카메라 시스템을 제공하고, 입력 화상 데이터를 복수의 비트 정도 부분으로 분할하고, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처리를 실행하는 신호 처리부를 포함한다.

Description

화상 신호 처리장치, 카메라 시스템, 및 화상 신호 처리방법{Image signal processing apparatus, camera system and image signal processing method}

도 1은, 일반적인 집적회로내의 데이터 전송 구조를 설명하기 위한 도면이다.

도 2는, 본 실시 형태와 관련되는 화상 신호 처리 장치를 채용한 카메라 시스템의 구성예를 나타내는 블록도이다.

도 3은, 본 실시 형태에 있어서의 대역 압축 신장부를 포함한 화상 신호 처리 장치의 개념적인 블록 구성을 나타내는 도면이다.

도 4는, 본 실시 형태에서 채용하는 대역 보증 압축법에 대해 설명하기 위한 도면이며, 12비트 정도(12 bit resolution)의 화소 화상 데이터(RAW 데이터)를 상위측 비트와 하위측 비트로 2분할하는 상태를 나타내는 도면이다.

도 5는, 본 실시 형태에서 채용하는 대역 보증 압축법에 대해 설명하기 위한 도면이며, 화소 데이터를 2분할한 후에 적용되는 부호화 알고리즘예를 나타내는 도면이다.

도 6은, 본 실시 형태의 상위측 비트 성분(정도 보증 부분)의 부호화 방식을 설명하기 위한 도면이다.

도 7은, 본 실시 형태의 하위측 비트 성분(레이트 제어 부분)의 부호화 방식 을 설명하기 위한 도면이다.

도 8은, 라운드된(rounded) 하위 비트 생략 처리(손실 압축)가 필요한 이유를 설명하기 위한 도면이다.

도 9는, 본 실시 형태의 대역 보증 압축법의 처리 개요를 나타내는 도면이다.

도 10은, 본 실시 형태의 대역 압축 신장부의 구체적인 구성예를 나타내는 블록도이다.

도 11은, 도 10의 대역 압축 신장부의 동작을 설명하기 위한 흐름도이다.

본 발명은, 화상 압축 기술을 채용한 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리 방법에 관한 것이다.

디지털 카메라, 디지털 비디오 카메라, 디지털 TV등의 근년의 화상 처리 장치의 고화질화/고정밀화에 따라, 이러한 장치내에 탑재되는 집적회로가 처리하는 화상 데이터량이 증대하고 있다.

막대한 화상 데이타를 취급할 때에, 집적회로내의 데이터 전송 용량의 대역을 확보하기 위해서, 일반적으로 넓은 폭의 데이터 버스, 높은 동작 주파수, 대용량의 기록 장치등, 고가이고 대량의 회로 자원이 필요하다.

기록 장치에 대해서는 대용량화에 수반하는 속도 성능의 문제도 생긴다. 특히, 휴대 전화, PDA, 디지털 카메라나 휴대용 AV 플레이어등의 휴대성이 요구되는 장치에 대해서는, 속도 성능과 함께 크기의 소형화, 저소비 전력성을 확보할 필요가 있으며, 이러한 요건을 모두 높은 수준으로 만족시키면서 근년의 메가픽셀 단위의 화상 데이타를 취급하는 것이 어렵게 되고 있다.

그러므로, 일반적으로는, 화상 데이터는 예를 들어 집적회로내에서의 화상 처리를 종료한 후에, 플래쉬 메모리등의 외부 기록 장치에 기록할 때에 압축 처리를 실시한다.

이에 의해, 비압축에 비해 보다 큰 화상 사이즈, 긴 촬영 시간, 많은 매수의 화상 데이터를 같은 용량의 외부 기록 장치에 저장하는 것이 가능하게 된다.

이 압축 처리 실현에는, JPEG, MPEG, GIF, LHA, ZIP라고 하는 부호화 방식이 이용되고 있다.

일반적으로, 화상 데이터를 집적회로내의 복수의 모듈간에 주고 받는 경우, 도 1에 도시한 바와같이, 화상 데이터의 출력측 모듈(1)과 입력측 모듈(2)에서는, 시간적으로 처리하는 타이밍이 다른 경우가 많다.

이러한 경우의 상당수는, 도 1에 도시한 바와같이, 화상 데이터를 일단 메모리(13)를 통해 주고 받는 것이 많으므로, 일시적으로 메모리(3)에 화상 데이터를 보존하게 된다.

그러나, 근년은 LSI의 메모리 인터페이스(I/F)에 사용 가능한 핀 수와 메모리에 대한 액세스 주파수가 한계점 도달하는 경향에 있으므로, 많은 경우 메모리 대역은 부족하다.

외부 기록 장치외에도, 집적회로내의 데이타 버스나 내부 기록 장치상에서 압축 데이터를 취급할 때에, 일반적인 부호화 방식으로는 해결할 수 없는, 다음에 기술하는 제 1에서 제 4의 과제가 생긴다.

제 1의 과제는, 압축 성능 및 화상 품질의 유지가 곤란한 것이다.

제 2의 과제는, 처리에 시간이 걸려, 처리 속도가 늦어지는 것이다.

제 3의 과제는, 대역의 보증이 곤란한 것이다.

제 4의 과제는, 랜덤 억세스성의 유지가 곤란한 것이다.

이하, 이러한 제 1에서 제 4의 과제에 대해 상세하게 말한다.

우선 제 1의 과제는, 압축 성능 및 압축 데이터의 품질의 유지에 관한 과제이다.

데이터를 압축하여, 대역 감소를 실시하는 경우, 압축 효율이 좋지 않은, 즉 압축 후의 데이터 용량이 작게 되면, 대역이나 기억장치 자원의 감소를 충분히 달성할 수 없게 된다.

일반적으로, 화상 데이터를 무손실 압축했을 경우, 개개의 화상의 특징에 따라 다르지만, 베스트 케이스(best case)에서도 압축후 용량 50%를 달성하는 것이 곤란한 경우가 대부분이다. 그러므로, 보다 높은 압축율을 달성하기 위해서, 손실 압축을 이용하는 방법이 있다.

그러나, 이 손실 압축의 경우는 품질의 문제가 생긴다는 것을 쉽게 알 수 있다. 손실 압축시의 원래 데이터와 압축후의 데이터는 달라진다. 차이가 크면, 우리 인간이 화상 데이터를 보았을 경우에, 다양한 정보가 없어진 아름답지 않은 장면을 보게 된다. 손실 압축을 이용할 때는, 우리가 지각적으로 차이를 인식하기 어려운 범위내에서만 데이터가 변화된다.

제 2의 과제는, 처리 속도에 관한 과제이다.

높은 압축 효율을 부여하기 위한 압축 수법을 고안했다고 해도, 그 처리가 너무나 복잡하고, 많은 회로 자원, 그리고 많은 소요 시간을 필요로 하면 대역을 감소시키는 목표를 달성할 수 없다.

예를 들어, 1초간에 30매의 화상을 표시해야 하는 동영상 재생장치에 서는, 1/30 초의 사이에 1매 장면을 처리할 수 없으면, 데이터 압축에 성공해도 대역이 감소된다고 말할 수 없으므로, 소기의 목적은 달성되지 않는다.

일반적인 방송에서는, 압축 데이터의 전개(expansion)가 제한 시간내에 종료 하면, 압축에는 상당한 시간을 필요로 하는 경우가 있다.

이 경우는, 2개의 경로(2 pass)의 화상 처리를 실시하는 것이 가능하다. 즉, 제 1경로에 있어서 모든 화상 데이터를 주사하고, 그에 의해 압축 처리에 유용한 화상 특징량(characteristics amount), 예를 들어, 화면 전체의 밝기, 특히 세밀함이 요구되는 복잡한 화상 부위의 좌표 정보등을 추출한다.

제 2경로에 있어서의 처리에서는, 이미 얻은 제 1경로에 의한 정보를 활용하면서, 효율이 좋은 압축을 실행할 수 있다.

그러나, 녹화와 동시에 재생을 실시하는 장치, 또는 집적회로내에서의 데이터의 취급에 대해서는, 이러한 여유있는 조사를 실시할 만한 시간이 존재하지 않는 다.

따라서, 기본적으로 매우 좁은 범위내에서 데이터 주사만 허용되는 하나의 경로(1 pass)에 의한 처리가 바람직하다.

제 3의 과제는, 대역의 워스트 케이스 보증의 문제이다.

일반적으로 화상을 포함한 각종 데이터의 압축에 이용되는 가변길이 부호화 수법에 대해서는, 압축 후의 데이터 용량이 정해지지 않고, 실제로 한 번 압축을 적용해 보지 않으면 압축 후의 데이터 용량을 알 수 없다.

게다가, 이 때 압축에는 확률적인 편향(polarization)을 이용하고 있기 때문에, 극단적인 데이터를 취급했을 경우 (예：기하학적인 지그재그 패턴), 압축전보다 데이터 용량이 반대로 커져 버리는 것이 논리적으로 가능하게 된다.

그러나, 집적회로에 대해서는, 사전에 예측되는 처리 데이터 용량에 의거한 유한량의 회로 자원밖에 이용할 수 없다. 가장 압축 효율이 좋지 않았던 경우에도, 최저한 보증할 수 있는 압축후 용량을 결정하고, 이 압축 후 용량이, 대역 감소의 목표에 도달해야 한다.

마지막으로, 제 4의 과제는, 랜덤 억세스성 유지의 문제이다.

일반적으로, 화상 압축때는, 어느 순서에 따라 화면상의 화소를 주사하여, 압축 처리를 실시한다. 주사 방식의 예로서는, 화상의 좌상(left top)으로부터 행 → 렬(line -> column)의 순서로 우하(right bottom)로 향해 주사하는 라스터 주사(Raster scan)가 자주 이용된다.

반대로, 압축 데이터를 전개할 때, 일반적인 가변길이 부호화에서는, 압축된 부호 데이터의 선두로부터, 압축시의 화소 주사순서를 완전히 동일하게 수행함으로써 전개를 실시하게 된다.

한편, 한 개의 화상으로부터 그 부분 화상을 절단할 때에, 화소의 상하간의 참조 및 상관(correlation)을 필요로 하는 화상 처리를 실시하는 경우와 화상의 윤곽부에 볼 수 있는 촬영시의 렌즈에 의한 교정 편차를 처리하는 경우에는, 임의 부위의 화소를 자유롭게 취득할 수 있는 기능이 요구되지 않는다.

이 때, 현재의 가변길이 부호화 데이터에서는, 임의 부위를 취득하기 위해서 부호화 데이터의 도중부터 전개를 개시하지 못하므로, 랜덤 억세스성을 완전하게 손실하게 된다.

이 문제를 해결하기 위해, 어느 부위를 취득할 때에 발생할 수 있는 선두 부분으로부터의 전개에 의한 대역의 소비, 혹은 라인 보관 유지용 메모리의 소비를 방지하지 않으면 안 된다.

본 발명은, 화상 데이터를 압축할 때에, 고효율이면서, 화질을 해치지 않고, 처리에 시간이 너무 걸리지 않고, 1 패스에 가까운 처리가 수행되며, 워스트 케이스에서, 대역/기억에 필요로 하는 용량을 보증할 수 있고 또, 랜덤 억세스성을 해치지 않는 화상 신호 처리 장치, 카메라 시스템, 및 화상 신호 처리 방법을 제공하는 것에 있다.

본 발명의 실시예의 제 1관점에 따라서, 입력 화상 데이터를 복수의 비트 정도 부분으로 분할하고, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처 리를 실행하는 신호 처리부를 가지는 화상 데이터상에 압축 처리를 실행하는 화상 신호 처리장치가 제공된다.

선호하게는, 상기 신호 처리부는 화상 데이터를 상위측 비트와 하위측 비트로 분할하고, 분할된 상위측 비트를 무손실 압축 방식에 기초하여 무손실 압축을 실행한다.

선호하게는, 상기 신호 처리부는 입력 화상 데이터를 소정 화소수의 블록 단위로 압축한다.

선호하게는, 상기 신호 처리부는 목표 압축율을 달성하기 위하여 대역 압축 처리를 실행하고, 무손실 압축 방식에 기초하여 압축 처리에 의해 목표 압축율을 달성할 때는 무손실 압축을 실행하고, 무손실 압축으로 목표 압축율이 채워지지 않을 때에만 손실 압축 방식에 기초하여 압축 처리를 실행한다.

선호하게는, 상기 신호 처리부는 각 블럭을 위한 목표 압축율을 달성하기 위하여 대역 압축 처리를 실행하고, 무손실 압축 방식에 기초하여 압축 처리에 의해 목표 압축율을 달성할 때는 무손실 압축을 실행하고, 무손실 압축으로 목표 압축율이 채워지지 않을 때에만 손실 압축 방식에 기초하여 압축 처리를 실행한다.

선호하게는, 상기 신호 처리부는 각 블럭을 위한 화상의 복잡성에 따라서 화소의 비트 정도를 적응적으로 가변시킨다.

선호하게는, 상기 신호 처리부는 하위 비트 정도의 화소의 비트 정도를 감소시킬 때, 화소치에 의해 판단을 실행하고, 고화소치보다 저화소치의 하위 비트 정도가 감소되기 어렵다.

선호하게는, 상기 신호 처리부는 고화소치를 가지는 화소로부터 단계적으로 비트 정도를 감소시키는 처리를 실행한다.

선호하게는, 상기 신호 처리부는 복수의 감소안으로 부호량의 시산(trial calculation)을 행한 다음에, 목표를 채우도록 하나를 채용하고, 상기 감소안에 따른 실제의 부호화를 실행한다.

선호하게는, 상기 신호 처리부는 모든 감소안의 결과가 좋지 않은 경우는, 상기 상위 데이터를 있는 그대로 저장한다.

선호하게는, 상기 장치는 기억부를 더 포함하고, 상기 신호 처리부는 유한한 화소수의 블록 단위로 압축을 실행하고, 상기 기억부의 상기 블록 단위마다 소정의 저장 영역에 동일하게 저장한다.

본 발명의 실시예의 제 2관점에 따라서, 피사체의 화상을 촬영하고, 화상 데이터를 출력하는 촬상부와, 상기 화상 데이터에 소정의 처리를 실행하는 화상 신호 처리장치를 가지는 카메라 시스템을 제공하고, 상기 화상 신호 처리장치는 입력 화상 데이터를 복수의 비트 정도 부분으로 분할하고, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처리를 실행하는 신호 처리부를 포함한다.

본 발명의 실시예의 제 3관점에 따라서, 화상 데이터에 소정의 압축 처리를 실행하는 화상 신호 처리방법을 제공하고, 입력 화상 데이터를 복수의 비트 정도 부분으로 분할하는 단계와, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처리를 실행하는 단계를 포함한다.

이하, 본 발명의 실시 형태를 도면을 참조하여 설명한다.

도 2는, 본 실시 형태와 관련되는 화상 신호 처리 장치를 채용한 카메라 시스템의 구성예를 나타내는 블록도이다.

본 카메라 시스템(10)은, 광학계(11), CCD나 CMOS 센서로 구성되는 이미지 센서(촬상 장치)(12), 아나로그 신호 처리부(13), 아나로그／디지털(A／D) 컨버터(14), 디지털 신호 처리부(15), 화상 압축 신장부(16), 화상 메모리(17), 표시장치 인터페이스(I／F)(18), 표시장치(19), 제어 CPU(20), 조작 디바이스(21), 휴먼 인터페이스(22), 스토리지 인터페이스(23), 및 외부 보존용 메모리(24)를 가지고 있다.

카메라 시스템 (10)에 대하고, 디지털 신호 처리부(15), 화상 압축 신장부(16), 화상 메모리(17), 및 표시장치 인터페이스(18)가 버스(25)를 통해 접속되어 있다.

광학계(11), CCD나 CMOS 센서로 구성되는 이미지 센서(촬상 장치) (12), 아나로그 신호 처리부(13)등에 의해 촬상부가 구성된다.

기본적으로, 제 1의 신호 처리부로서의 디지털 신호 처리부(15), 제2의 신호 처리부로서의 화상 압축 신장부(16), 및 기억부로서의 화상 메모리 (17)에 의해 화상 신호 처리 장치를 구성한다.

그리고, 본 실시 형태에서는, 데이터 신호 처리부(15)가 화상 메모리(17)와의 인터페이스 부분에 대역 보증 압축 신장부(200)를 갖추고 있으므로, 메모리 버스 대역을 보증하면서, 화질의 열화를 해치지 않고, 처리시간이 너무 걸리지 않고, 1 패스에 가까운 처리가 실행되며, 워스트 케이스에서 대역/기억에 필요로 하는 용량을 갖추고 랜덤 억세스성을 확보하고 있다.

우선, 도 2의 카메라 시스템(10)의 각부의 기능의 개요에 대해 설명한다.

광학계(11)는, 렌즈를 주체(main body)로서 구성되며, 도시하지 않는 피사체의 상을 촬상 소자인 이미지 센서(12)의 수광면에 결상시킨다(focus).

이미지 센서(12)는, 광학계(11)를 통해 결상한 피사체상의 정보를 광전 변환해, 아나로그 신호 처리부(13)에 출력한다.

아나로그 신호 처리부(13)는, 이미지 센서(12)의 아나로그 출력을 상관 이중 샘플링 처리(correlated double sampling processing : CDS), 아나로그 증폭 처리등을 실시하고, 처리 후의 아나로그 화상 데이터를 A／D컨버터(14)에 출력한다.

A／D컨버터(14)는, 아나로그 신호 처리부(13)에 의한 아나로그 화상 데이터를 디지털 신호로 변환해, 디지털 신호 처리부(15)에 출력한다.

디지털 신호 처리부(15)는, 촬영에 앞서 촬영의 셔터 스피드를 결정하는 처리나 촬영한 화상의 밝기나 색을 조정하기 위한 처리나, 촬영한 화상 데이터를 다음에 상술하는 압축 방식에 따라서 압축 처리하여 기록 매체인 화상 메모리(17)에 기입하고, 기입된 화상 데이터를 화상 메모리(17)로부터 읽어내 신장(전개 : expansion)하는 처리등을 실시한다.

디지털 신호 처리부(15)는, 데이터 신호 처리부(15)가 화상 메모리 (17)와의 인터페이스 부분에, 대역 보증 압축 신장부(200)를 갖추고 있어, 메모리 버스 대역을 보증하면서, 화질의 열화를 해치지 않고, 처리시간이 너무 걸리지 않고, 1 패스에 가까운 처리가 실행되며, 워스트 케이스에서, 대역/기억에 필요로 하는 용량을 갖추고, 랜덤 억세스성을 확보하고 있다.

이 디지털 신호 처리부(15)의 대역 보증 압축 신장부(200)의 구체적인 구성 및 기능에 대해서는, 다음에 상술한다.

화상 압축 신장부(16)는, 화상 메모리(17)에 기억된 압축 데이터를 읽어내 신장 처리하는 디코더의 기능이나, 카메라의 신호등의 복수의 화상 데이터로부터 압축 신호 처리하여, 화상 소스를 작성하는 부호화 기능을 가진다.

화상 압축 신장부(16)는, 스토리지 인터페이스(23)를 통해 화상 보존용 메모리(24)에 화상 데이터의 보존하거나, 혹은 메모리(24)로부터의 재생을 실시할 수 있다.

화상 보존용 메모리(24)로서는, 불휘발성의 메모리인 플래쉬 메모리나 HDD, DVD가 적용 가능하다.

표시장치 인터페이스(18)는, 표시해야할 화상 데이터를 표시장치(19)에 출력해 표시시킨다.

표시장치(19)로서는, 액정표시장치(LCD)등이 적용 가능하다.

제어 CPU(20)는, 디지털 신호 처리부(15), 화상 압축 신장부(16)가 회로 전체의 제어를 실시한다.

제어 CPU(20)는, 휴먼 인터페이스(22)를 통해 조작 디바이스(21)의 조작에 대응하는 제어를 실시한다.

조작 디바이스(21)로서는, 셔터 버튼, 조그 다이얼, 터치 패널등을 포함하여 구성된다.

이하에, 디지털 신호 처리부(15)에 있어서의 대역 압축 신장부 (200)의 처리 기능등에 대해 구체적으로 설명한다.

본 실시 형태에 있어서의 대역 압축 신장부(200)는, 개념적으로는, 도 3에 도시한 바와같이, 데이터 압축부(201a)를 갖춘 데이터 송신측 블록 (201)과 데이터 신장부(전개부)(202a)를 갖춘 데이터 수신측 블록(202)을 가지고 있다.

이 송신측 블록(201)과 수신측 블록(202)이 버스(25)를 통해 화상 메모리(기억부)(17)에 접속되며, 데이터 전송을 한다.

본 실시 형태에 대해서는, 후술하는 바와같이, 대역 압축 신장부 (200)의 압축(신장)처리에 의해, 버스(25)상에 흐르는 데이터 량이 적고, 화상 메모리(17)를 구성하는 기억장치의 대역, 용량을 감소할 수 있다.

또, 본 실시 형태에서는, 대역 압축 신장부(200)와는 별도로, 화상 압축 신장부(16)가 버스(25)에 접속되어 있다.

즉, 화상 압축 처리부(16)는, 디지털 신호 처리부(15)에 있어서의 처리와는 완전히 다른 처리를 실시하는 기능 블록으로서, 화상 메모리(17)로부터 데이터를 판독하며, 기입을 위한 데이터 전송 처리를 실시하도록 배치되어 있다.

즉, 본 실시 형태에서는, 데이터 전송 용량의 대역을 감소하기 위해서, 예를 들어 집적회로내에서 처리 데이터를 용량적으로 압축해 취급한다.

근년에는, LSI의 메모리 인터페이스에 사용 가능한 핀 수와 메모리에 대한 액세스 주파수가 한계점에 도달하는 경향에 있으므로, 많은 경우 메모리 대역은 부족하다.

집적회로내에서 압축한 화상 데이타를 취급하면, 데이터 버스를 통과하는 데이터 용량이 적게 되어, 필요한 대역의 감소를 도모할 수 있다.

게다가 데이터를 압축하여, 집적회로내의 기록 장치의 필요 용량도 감소하는 것이 가능하게 된다.

본 실시 형태에서는, 전제 조건으로서 예를 들어 RGB 각 색의 12비트 정도를 가지는 색필터 배열내의 화상 데이터를, 각 색의 8비트 레벨로 압축한다고 가정한다.(목표 압축율 66.7％, 원래 데이터의 2／3에 해당한다.)

화상 데이터를 구성하는 개개의 요소에는, 8비트 정도의 것이 표준으로 사용되어 왔다. 화상 데이터의 구성요소로서는, 대표적인 원색계(R/G/B)나 휘도색 차이(Y/Cb/Cr) 혹은 이미지 센서 고유의 색필터 배열(Color Filter Array:CFA)등이 있다.

그런데, 근년, 고화질화의 요구에 수반해 10-12비트, 혹은 그 이상으로의 고정밀화가 중시되고 있다.

그러나, 본 실시 형태는, 이 고화질화, 고정밀화의 요구에 대해서도 충분히 대응 가능한 기능을 가진다.

다만, 단순하게 화상 데이터가 취급하는 정도를 높이는 것만으로는 데이터량이 증가해 버리게 되므로, 화상 데이터를 보관 유지하는 메모리 영역이나 전송하는 메모리 버스 대역등의 증대를 불러일으킨다.

그러므로, 본 실시 형태의 디지털 신호 처리부(15)에 있어서의 대역 압축 신장부(200)는, 효율적인 화상 데이터 압축 방법을 채용하고, 일반적인 화상 압축 기 술에 존재하는 문제를 해소한, 이하의 A)-D)의 4항목의 목표를 달성하는 것이 가능한 기능을 가지고 있다.

＜4가지 목표＞

A) 시각상의 특성에 맞춘 부호화 알고리즘에 의해, 가능한한 고화질을 유지한다.

B) 입력 화상 전체에 대해서 1패스에 의한 부호화 방식에 의해, 버스 대역 증가를 억제한다.

C) 임의의 입력 화상에 대해서 항상, 일정한 압축율을 보증한다.

D) 랜덤 억세스성을 해치지 않는다.

본 실시 형태의 대역 압축 신장부(200)에서는, 이 4항목의 실현을 위해서 이하의 처리 기능을 갖춘 화상 데이터 압축 방법을 채용하고 있다.

1) 유한의 화소수(블록) 단위로 압축을 실시한다.

이 제 1의 기능에 의해 상기 A)-D)의 4개의 목표는 달성 가능하다.

2) 화상 전체에 대해서 1패스에 의한 부호화 처리를 실현해, 대역 증가를 막는다. 이 제 2의 기능에 의해 상기 B)의 목표는 달성 가능하다.

3) 1화상내의 각 블록에 대해서는 멀티 패스에 의한 부호화 처리에 의해 고화질을 보관 유지한다. 이 제 3의 기능에 의해 상기 B)의 목표는 달성 가능하다.

4) 블록마다 결정된 어드레스에 기록함으로써, 랜덤 억세스성을 해치지 않는다. 이 제 4의 기능에 의해 상기 D)의 목표는 달성 가능하다.

5) 데이터를 상위 비트측, 하위 비트측등 복수의 비트 정도 부분으로 분할하 고, 다른 최적인 압축 방법을 이용한다. 이 제 5의 기능에 의해 상기 A)의 목표는 달성 가능하다.

6) 목표 압축율을 달성하는 범위내에서 화질 열화를 최소한도로 억제하도록, 최적의 압축 방법을 블록마다 적응적으로 이용한다. 이 제 6의 기능에 의해 상기 A), C)의 목표는 달성 가능하다.

7) 화소가 가지는 비트 정도를 감소시킬 때, 화소치의 크기에 의한 판단을 실시하며, 고휘도(화소)값보다 저휘도(화소)값의 비트 정도를 보다 감소시키기 어렵게 하여, 시각적인 화질 열화를 방지한다. 이 제 7의 기능에 의해 상기 A)의 목표는 달성 가능하다.

8) 상위 비트측은 무손실 압축되어, 최저한의 화질을 보증한다.

모든 감소안의 결과가 좋지 않은 경우, 상위 데이터를 있는 그대로 보존하여, 최저한의 압축후 용량을 보증한다. 이 제 8의 기능에 의해 상기 C)의 목표는 달성 가능하다.

이하에, 제 1 - 제 8의 기능에 대해 더욱 상세하게 설명한다.

＜제 1의 기능＞

목표 A), B), C), D)를 달성하기 위해, 한정된 화소수(블록) 단위로 압축을 실시한다.

일반적으로, 화상 데이터는 인접하는 화소끼리는 상관성이 높다. 따라서, 인접하는 수십 화소 정도로 구성되는 블록 단위로, 인접 상관성을 이용하는 고효율 압축 처리를 실시하는 방법이 유효하다. 예를 들어, JPEG등의 압축 방식으로 는, 8(폭) x 8(세로)의 블록 형상 단위로 압축 처리를 실시하고 있다.

본 실시 형태의 압축 방식에 대해서는, 미리 정한 블록 형상 단위 마다 압축을 실시한다.

블록의 화소들의 형상 및 화소수는 각 시스템마다 최적으로 선택된다. 그리고 본 실시 형태에서는 특히 한정하지 않는다. 가능한 범위에서 프로그램이 되는 것이 바람직하다.

다만, 일반적인 화상 압축 알고리즘에서는, 블록내의 패턴의 복잡도에 따라 블록의 압축율이 변동해 버린다. 따라서, 모든 복잡도의 화상에 대해서 일정한 압축율을 보증하지 못하고, 기억 영역이나 버스 대역을 보증하는 것이 곤란하게 된다.

이 점을 고려해, 본 실시 형태의 방식에 대해서는, 블록마다 목표 압축율을 반드시 달성한다는 점이 큰 특징이 되고 있다. 즉, 블록 단위의 보존에 필요한 메모리의 데이터양과 블록 단위의 전송에 필요한 메모리 버스 대역을 보증할 수 있다.

블록 단위의 목표 압축율은 시스템마다 최적인 값을 선정할 수 있으며, 본 실시 형태에서는 특히 한정하지 않는다. 가능한 범위에서 프로그램이 되는 것이 바람직하다.

데이터 압축 방식에는, 무손실 압축(Lossless) 방식과 손실 압축(Lossy) 방식이 있다.

무손실 압축 방식으로는 화질을 열화 시키지 않기 위해 압축 효율을 저감시 키며, 손실 압축 방식은, 압축 효율을 향상시키기 위해서 화질을 열화시킨다.

본 실시 형태의 방식으로는, 무손실 압축으로 목표 압축율을 달성하는 경우, 무손실 압축을 실시하고, 무손실 압축으로 목표 압축율을 달성할 수 없는 경우에만, 손실 압축을 실시하여, 화질 열화를 최소한으로 억제하는 방법을 채용하고 있다.

대표적인 무손실 압축 방식으로서 인접 상관성(correlation in neighbors)을 이용하는 무손실 JPEG (JPEG Annex.H)가 있다. 무손실 JPEG에서는, 인접 화소(neighboring pixels)와의 차분(DPCM)을 허프만(Huffman) 부호화 하여 데이터량을 압축하고 있다.

대표적인 비무손실 압축 방식으로서는, JPEG 베이스라인(baseline)이 있다. JPEG 베이스 라인에서는, 블록내를 DCT(이산 코사인 변환 : discrete cosine transformation)／양자화／허프만 부호화 하여 데이터량을 압축하고 있다.

무손실 압축 및 손실압축에 이용하는 내부 방식(상술의 DPCM, DCT, 허프만등에 상당하는 것)은, 시스템마다 최적인 것을 채용할 수 있으며, 본 실시 형태에서는 특히 한정하지 않는다.

＜제 2의 기능＞

목표 B)를 달성하기 위해, 화상 전체에 대해서는 1패스에 의한 부호화 처리를 실행하고, 대역 증가를 막는다.

일반적으로, 높은 압축 효율을 실현하는 수법으로서 2패스 부호화 방식 혹은 멀티 패스 부호화 방식이 있다.

2패스(2 path) 부호화 방식의 경우, 1 패스의 처리시에 화상 데이터내의 패턴의 복잡도의 분포 상황등의 정보를 수집하고, 1 패스에서 수집한 통계 정보를 기본으로 하여, 2패스에서 비트 레이트(bit rate) 제어를 실시하여, 고압축율/고화질 유지를 실현하고 있다. 다만, 버스를 통해 메모리상에 화상 데이터를 배치하는 경우, 화상 데이터 입력에 필요한 메모리 대역이 2배로 증가해 버린다.

그러므로, 본 방식에서는 화상 전체에 대해서는 1 패스에 의한 부호화 처리를 실현하고, 화상 데이터 입력 대역의 증가를 막는다.

＜제 3의 기능＞

목표 B)를 달성하기 위해서, 1 화상내의 각 블록에 대해서는 멀티 패스에 의한 부호화 처리를 수행하고, 고화질을 보관 유지한다.

본 방식에서는, 1 화상내의 각 블록에 대해서는 멀티 패스에 의한 부호화 처리 방법을 적용한다. 다른 압축 변수중에서 멀티 패스에 의해 최적인 변수를 선택하여, 일정한 압축율을 달성하는 범위내에서 가능한한 화질 열화를 막는 것이 가능해진다.

압축 변수의 종류나 수, 혹은 최적인 변수의 선택 알고리즘은 본 실시 형태에서는 특히 한정하지 않는다. 가능한 범위내에서 프로그램되는 것이 바람직하다.

이하에서 실시의 구체적인 예를 든다.

블록의 압축후 데이터 용량을 계산하는 회로를 복수 개 병렬로 준비함으로써, 다른 압축 변수에 의해 큰 데이터량 감소방법을, 1 패스상에서 동시에 계산하 는 것이 가능해진다.

이에 의해, 블록의 압축 처리가 2 패스에 가까운 처리에 의해 실현 가능해진다.

2 패스에서는, 1 패스의 계산으로부터 얻어지는 최적 압축 변수를 이용하여, 실제의 압축 처리를 실행하면 좋다.

＜제 4의 기능＞

목표 D)를 달성하기 위해서, 블록마다 소정의 어드레스에 기록함으로써 랜덤 억세스성을 해치지 않는다. 블록 단위로 일정한 압축율을 보증한다는 일은, 실제로는 목표 압축율에 상당하는 데이터량 또는 그 이하로 압축하는 것이다. 그러므로, 준비한 데이터 용량분이 완전하게 가득하게 되기까지는 아직 다른 데이터를 수용하는 공간이 남아 있는 경우도 있을 수 있다. 다음의 블록을 배치할 수도 있지만, 본 방식에서는 굳이 그러한 일은 하지 않는다.

다음의 블록은 다음의 블록용으로 미리 확보된 기억 영역에 기록하며, 각 블록의 실제의 압축율에 관계없이, 각 블록의 최초의 데이터의 어드레스가 메모리내에 고정이 되므로, 블록 단위로 랜덤 억세스가 가능하게 된다.

블록 단위의 애드레싱 방법은 시스템마다 최적인 방법을 이용할 수 있으며, 본 실시 형태에서는 특히 한정하지 않는다. 가능한 범위내에서 프로그램되는 것이 바람직하다.

＜제 5의 기능＞

목표 A)를 달성하기 위해서, 본 실시 형태의 대역 보증 압축법(band assuring compression method)은, 데이터를 상위 비트측/하위 비트측등 복수의 비트 정도 부분(resolution parts)으로 분할하고, 각각 다른 최적인 압축 방법을 이용한다.

일반적으로, 화상 데이터는 상위 비트측으로부터 하위 비트측으로 진행되면서 인접 상관성이 희미해진다. 이 때문에, 8비트 정도의 화상 데이터 압축에 이용되어 유효성이 입증된 인접 상관성에 근거하는 압축 방식은, 반드시 8비트 정도를 넘은 고정밀도 화상 데이터의 하위 비트측에는 항상 유효하지 않다.

실제, 8비트 정도와 12비트 정도등 고정밀도 화상 데이터의 인접 상관성에 근거하는 압축 효율을 비교해 보면, 고정밀도가 됨에 따라 압축 효율이 저하하는 경향이 나타난다.

그러므로, 본 실시 형태의 방식으로는, 고정밀의 화상 데이터를 상위 비트측과 하위 비트측등의 복수의 정도 부분으로 분할하고, 각각 다른 최적인 압축 방법을 이용하도록 구성하고 있다.

상위 비트측과 하위 비트측등으로 분할하는 데이터의 분할점으로, 시스템마다 최적인 포인트를 선정할 수 있으며, 본 실시 형태에서는 데이터의 분할점 및 분할 수를 특히 한정하지 않는다. 가능한 범위에서 프로그램되는 것이 바람직하다.

이하에 실시의 구체적인 예를 든다.

12비트 정도의 화상 데이터를 취급하는 경우, 상위측 8비트 부분과 하위측 4비트의 부분으로 2분할하고, 상위측 8비트 부분에는 인접 상관성에 근거한 차분 PCM(DPCM)과 허프만 부호화의 조합에 의한 무손실 압축을 이용하고, 하위측 4비트 부분에는 비압축 데이터(PCM)를 그대로 이용한다.

＜제 6의 기능＞

목표 A), C)를 달성하기 위해, 목표 압축율을 달성하는 범위내에서 화질 열화를 최소한으로 억제하도록, 최적인 압축 방법을 블록마다 적응적으로 이용한다.

일반적인 화상 압축 방법에서는, 단순한 패턴에 대해서는 압축 효율이 높지만, 패턴이 복잡하게 됨에 따라, 압축 효율이 감소하게 되므로, 패턴의 복잡함과 압축 효율이 상층되는 요인이 되고 있다.

한편, 고압축율과 화소의 고비트 정도 보관 유지(고화질 유지)의 양자도 상반되는 요인이며, 이것들은 서로 트레이드 오프(trade-off)의 관계에 있다.

3요소, 즉 "패턴의 복잡함/압축 효율/고화질 유지" 의 관계를 근거로 하여 화질 열화를 최소함으로 억제하면서, 패턴의 복잡함에 관계없이 일정한 목표 압축율을 달성하는 수법이 필요하다.

본 발명에서는, 패턴의 복잡함에 따라 화소가 가지는 비트 정도를 블록마다 적응적으로 감소시키는 방법을 채용하고 있다.

목표 압축율에 알맞도록 비트 정도(bit resolution)의 감소레벨(reduction degree)을 최적 포인트로 제어함으로써, 패턴의 복잡함에 관계없이 일정한 압축율을 달성하는 것이 가능해지며, 게다가 가능한한 화질 열화를 억제할 수 있다.

본 실시 형태에서는, 화소가 가지는 비트 정도의 최적 감소 포인트를 도출하는 알고리즘을 특히 한정하지 않는다. 실시예의 구체적인 알고리즘에 대해서는 후술한다.

＜제 7의 기능＞

목표 A)를 달성하기 위해, 화소가 가지는 비트 정도를 감소시킬 때, 화소치의 크기에 의한 판단을 실시하고, 고휘도(화소)치보다 저휘도(화소) 치의 비트 정도를 보다 감소시키기 어렵게 하여, 시각적인 화질 열화를 방지한다.

화소가 가지는 비트 정도를 감소시킬 때에 이용하는 지표로서 휘도(화소)치의 크기를 들 수 있다.

일반적으로, 인간의 눈이 어두운 부분의 미묘한 계조 변화(tone change)에 민감하다는 시각적 특성에 근거하여, 고휘도(화소)치보다 저휘도(화소)치의 비트 정도를 우선적으로 보관 유지하는 압축 방법이 고화질 유지에 유효하게 된다.

그러므로, 본 실시 형태에서는, 블록내에 포함되는 저휘도측의 화소치의 비트 정도를 가능한한 보관 유지하면서, 목표 압축율을 달성할 때까지 고휘도측의 화소치로부터 조금씩 하위 비트를 감소시키고, 비트 정도의 감소 정도를 블록마다 최적 포인트로 제어하는 단계적인 알고리즘을 채용하고 있다.

본 실시 형태에서는, 휘도(화소)치의 크기에 대해서 감소되는 비트 정도를 도출하는 알고리즘을 특히 한정하지 않는다.

이하에, 구체적인 알고리즘예를 설명한다.

화소치의 상위 비트측 부분의 값의 크기에 따라, 하위 비트측 부분의 데이터의 감소 상태를 결정하는 알고리즘 예를 설명한다.

우선, 상위 비트측의 데이터를 값에 따라 몇 개의 레벨로 분할하고, 레벨마 다 하위 비트측의 정도를 몇 비트로 보관 유지할 까를 결정하는 변환 레코드를 준비한다.

이 레코드는, 저압축률로부터 고압축율에 이를 때까지 압축 효율순서로 배열되어 있으므로, 목표 압축율에 이를 때까지 순서대로 레코드를 적응함으로써, 목표 압축율내에서 비트 감소가 가장 적은 고화질의 압축이 가능해진다.

본 실시 형태에 대해서는, 레코드내의 레벨 및 감소 비트 정도등의 값을 특히 한정하지 않는다. 이러한 값은 화상 데이터의 특성에 맞추는 것이 바람직하기 때문에, 소프트웨어로 프로그램되는 것이 바람직하다.

＜제 8의 기능＞

목표 C)를 달성하기 위해, 상위 비트측은 무손실 압축하고, 최저한의 화질을 보증하며, 모든 감소 방법의 결과가 좋지 않은 경우, 상위 데이터를 그대로 보존하며, 최저한의 압축후 용량을 보증한다.

가변길이 부호화 방식에는, 정적인(static) 가변길이 테이블을 이용하는 것과 데이터에 맞추어 동적으로 가변길이 테이블을 변화시키는 것이 있다.

동적인 테이블을 이용하는 방식이 압축 효율은 높지만, 그 이상으로 매우 복잡한 처리 및 시간이 필요하다. 이것은 본 방식의 목적인 리얼타임(real-time)에 지장을 초래할 수 있다.

그에 대해 정적인 테이블을 이용하는 방식은, 적은 회로 자원으로도 동적 테이블을 이용하는 방식과 유사한 효과를 발휘한다. 그러므로, 본 방식에서는 정적인 가변길이 부호화 테이블을 이용하는 가변길이 부호화를 채용하고 있다.

정적인 가변길이 부호화 테이블은, 여러가지 화상의 통계 정보를 근거로 하여, 평균적인 복잡도의 화상을 효율적으로 압축할 수 있도록 설정된다.

그러므로, 그 설정에 대해서 워스트 케이스의 통계 분포를 가지는 화상에 대해서는, 압축 전보다 반대로 데이터량이 증가해 버리는 일이 있다.

이러한 경우는 정적인 가변길이 부호화를 이용한 압축 처리를 실행하는 것보다 압축 처리를 실행하지 않는 것이, 데이터량이 적고 유리하다.

본 방식에서는, 이러한 경우, 압축전 상위 비트측의 데이터를 하위 비트측의 값으로 라운드하고(round), 이것을 압축후의 데이터로 한다.

이와 같이, 하위 비트측의 데이터를 보존하지 않고 굳이 감소시킴으로써, 데이터 용량을 목표 압축율 이내로 압축한다.

다음에, 상술한 본 실시 형태에 대해 채용하는 대역 보증 압축법에 대해 도면을 참조하여 설명한다.

여기서, 목표 압축율은 66.7％(원래 데이터량의 2／3)이며, 1화소당 평균, 12비트를 8비트로 압축하는 것에 상당한다.

도 4는, 본 실시 형태에 대해 채용하는 대역 보증 압축법에 대해 설명하기 위한 도면이며, 12비트 정도의 화소 화상 데이터(RAW 데이터)를 상위측 비트와 하위측 비트로 2분할하는 상태를 나타내는 도면이다.

도 5는, 본 실시 형태에 대해 채용하는 대역 보증 압축법에 대해 설명하기 위한 도면이며, 화소 데이터를 2분할한 후에 적용되는 부호화(부호화) 알고리즘예를 나타내는 도면이다.

도 4에서는, 화소 배열의 왼쪽 화소측으로부터 오른쪽 화소측의 1라인(옆라인)을 편의상 세로 방향으로 스캔하도록 도시하고 있다.

도 4의 예에 대해서는, 12비트의 로 데이터(raw data)를, 정도 보증 부분(302)을 상위측 8비트 부분으로, 레이트 제어 부분(302)을 하위측 4비트 부분으로 2분할하고, 각각 다른 부호화 알고리즘을 적용한다.

본 실시 형태에서는, 도 4에 도시한 바와같이, 레이트 제어 부분 (302)의 정도에 관해서는 상위측의 8비트로 언급되며, 하위측의 레이트 제어 부분(302)의 정도는 휘도치가 높은 데이터로부터 우선적으로 감소된다. 휘도치가 낮은 데이터는 레이트 제어 부분(302)의 정도를 가능한한 보관 유지한다.

도 4의 예에서, 휘도치가 높은지 낮은지에 대해서 살펴보면, 상위측의 정도 보증 부분(301)의 8비트를 MSB측 4비트와 LSB측 4비트로 분할하고, MSB측 4비트의 몇 개의 비트가 논리 1에 세트 되어 있는 경우에, 휘도치가 높다고 판단하며, MSB측 4비트의 어느 비트도 1에 세트 되어 있지 않은 경우에는 휘도치가 낮다고 판단한다.

이것은 일례이며, 여러 가지의 실시예가 가능하다.

부호화의 시행순서는, 도 5에 도시한 바와같이, 상위측 8비트 부분이 되는 정도 보증 부분(301)과 하위측 4비트 부분이 되는 레이트 제어 부분 (302)에 각각 다른 부호화 알고리즘을 적용하지만, 목표 압축율을 달성할 때까지 (1)무손실 압축, (2) 제 1의 손실 압축, (3) 워스트 케이스의 대역 보증용으로서의 제 2의 손실 압축을 순서대로 적용한다.

우선, 무손실 압축 처리 스텝에 대해서는, 상위측 8비트 부분이 되는 정도 보증 부분(301)에는 인접 상관성에 근거한 차분 PCM(DPCM)와 허프만 부호화의 조합에 의한 무손실 압축을 채용하고, 하위측 4비트 부분이 되는레이트 제어 부분(302)에는 비압축 데이터(PCM)를 그대로 채용한다.

다음에, 제 1의 손실 압축 처리 스텝에 대해서는, PCM(DPCM)과 허프만 부호화의 조합에 의한 무손실 압축을 채용하며, 그 부호량이 최대 허용 부호량 이하이며, 목표 압축율에 도달하지 않는 경우, 상위측 8비트 부분인 정도 보증 부분(301)에는 인접 상관성에 근거한 차분 PCM(DPCM)과 허프만 부호화의 조합에 의한 손실 압축을 채용하고, 하위측 4비트 부분인 레이트 제어 부분(302)에는 레이트에 따라 감소된 정도를 가지는 데이터를 부호화 하지 않고 그대로 기록한다.

제 2의 손실 압축 처리 스텝은, 워스트 케이스의 대역 보증용의 처리 스텝이며, PCM(DPCM)과 허프만 부호화의 조합에 의한 무손실 압축을 채용하며, 그 부호량이 최대 허용 부호량보다 크고, 목표 압축율에 도달하지 않는 경우, 상위측 8비트 부분인 정도 보증 부분(301)에 있어서의 8비트 로 데이터(PCM)를 그대로 기록하고, 하위측 4비트 부분인 레이트 제어 부분(302)에 관해서는 모두 기록하지 않는다.

다음에, 본 실시 형태에 있어서의 상위측 비트 성분(정도 보증 부분)의 부호화 방식, 및 하위측 비트 성분(레이트 제어 부분)의 부호화 방식의 일례에 대해 설명한다.

우선, 상위측 비트 성분(정도 보증 부분)의 부호화 방식의 일례에 대해 설명한다.

도 6은, 본 실시 형태의 상위측 비트 성분(정도 보증 부분)의 부호화 방식을 설명하기 위한 도면이다.

압축의 기본 방식으로는, 현재 화소와 이전 화소와의 차분을 허프만 코딩화하는 방식을 채용한다.

우선, 도 6a에 도시한 바와같이, 화소 배열(입력 화상 데이터)의 1 라인(1개의 수평라인)을 블록 단위로 가정하면, 압축전 데이터를 블록 단위로 라스터 순서대로 처리한다.

다음에, 도 6b에 도시한 바와같이, 보관 유지부(303)에서 유지하고 있던 이전 화소(prev pxl)와 현재 화소(cur pxl)와의 차분(difference)을 감산기(subtractor : 304)에 의해 구한다.

도 6c에 도시한 바와같이, 얻어진 차분치를 허프만 테이블(305)에 도시한 바와같이 부호화한다. 허프만 테이블은 통상 3각형이며, 차분치가 작게 되면 부호길이는 더욱 짧아진다.

다음에, 도 6d에 도시한 바와같이, 상위측 비트 성분의 압축율이 어느 정도가 될까를 견적하기 위해, 부호길이(length)를 적산기(accumulator : 306)로 각각 적산한다.

다음에, 도 6 e에 도시한 바와같이, 블록 마다의 상위측 비트 성분의 압축율을 견적한다.

견적의 결과, 상위측 비트 성분의 압축율이 목표 압축율 이하의 경우에는, 나머지 비트를 하위측 비트 성분으로 할당한다. 상위측 비트 성분의 압축율이 목표 압축율보다 큰 경우, 워스트 케이스로서(이전 화소 차분＋허프만 부호화)의 처리를 실시하지 않고, PCM에 의해 상위 비트측 성분만을 보존한다.

다음에, 하위측 비트 성분(레이트 제어 부분)의 부호화 방식의 일례에 대해 설명한다.

도 7a - 7d는, 본 실시 형태의 하위측 비트 성분(레이트 제어 부분)의 부호화 방식을 설명하기 위한 도면이다.

상술한 것처럼, 본 실시 형태에서, 휘도치를 판단하고, 휘도치에 따라 레이트 제어 부분(302)의 정도를 떨어뜨리거나, 또는 가능한한 정도를 보관 유지하는 처리를 실시한다.

본 실시 형태에 대해서는, 휘도치를 산출하면, 그 값의 범위에 따라, 휘도 정보를 복수의 범위로 분류할 수 있다.

예로서, 상위측 8비트의 데이터를 2-0, 2-1, 2-2, ... 2-8의 구간 경계(- 는 팩토리얼(factorial)을 나타낸다)로 분할한 8개의 범위로 나눌 수 있다.

이 범위를 휘도 레벨이라고 부른다. 후의 공정에서는, 휘도 레벨에 따라, 화소 데이터의 정도 감소수준을 결정하게 된다.

유한한 회로 자원을 고려할 때에, 수십에 이르는 범위의 휘도치를 분류하는 것이, 처리량의 면에서 유익하다. 물론, 처리 부하가 허용한다면, 분류를 실시하지 않고 휘도치, 즉 휘도 레벨로서 취급하고, 감소 수준으로 변환하는 연속적인 함수(도 7b - 7d)에 입력해도 괜찮다.

도 7b - 7d에 관계하는 휘도 레벨이 감소 수준으로의 변환하는 단계에 대해 서 설명한다.

본 실시 형태에서는, 도 7a에 도시한 바와같이, 휘도레벨/압축도의 대응 테이블(또는 함수)이 준비되어 있다. 휘도 레벨을 입력함으로써 얻어지는 이 테이블을 참조하면, 하위측 데이터에서 정도가 얼마나 남아있는지를 나타내는 「감소 수준」을 얻을 수 있다.

도 7a에서는, 테이블내에서 점선으로 둘러싸여진 각 라인에 해당하는 수열(numeric sequence)을, 「레코드」라고 부른다. 각 레코드는, 한 개의 감소 수준에 대응한다. 도 7a에서는, 위쪽의 레코드는, 감소 수준이 크다. 즉, 정도의 감소가 많게 된다. 기본적으로, 감소 수준이 작은 레코드부터 차례차례, 압축이 검토된다. 레코드 하나가, 한 개의 방식에 상당한다.

각 레코드에서는, 도 7b -7d에 도시한 바와같이, 휘도에 따라 하위 데이터의 감소후 비트 수를 얻을 수 있다.

여기에서는, 인간의 시각 특성에 따라, 입력된 데이터가 저휘도가 되도록, 즉 데이터가 어두우면 어두울수록, 감소 수준을 줄이지 않고 정도를 보관 유지하도록, 레코드를 조정한다.

도 7b - 7d는, 도 7a와는 달리, 연속적인 함수와 같은 이미지가 그려져 있지만, 시스템이 허락한다면, 함수적인 처리를 해도 상관없다.

감소 수준이 커지면, 저휘도 부분을 포함한 감소 비트의 전체 수가 커지게 된다.

어쨌든, 여기서의 휘도 레벨의 분류 방법, 테이블내의 감소 수준의 결정 방 침이, 화질의 유지에 큰 역할을 한다.

이 테이블은 가변으로 설정할 수 있는 것이 바람직하고, 설정치는 요구 시스템에 의해 검토된 것이 바람직하다.

감소 수준(reduction degree)을 얻으면, 화소의 하위측을 몇 비트 남겨야하는 지가 정해지게 된다. 비트를 감소할 때는, 하위측 데이터의 LSB측으로부터, 지정 비트분을 라운딩(rounding)하여 감소한다.

예를 들어, 어느 감소 수준에 따라 한 개의 레코드가 선택되고, 지금 취급하고 있는 상위 데이터의 휘도 레벨에 근거하여 하위 비트의 감소후 비트수 「3」을 얻었을 경우, 여기에서는 하위 데이터의 원래 정도(original resolution)는 4비트이기 때문에, 4비트로부터 압축후의 비트수는 3비트가 된다.

LSB측의 1비트를 라운딩하여 감소하게 된다. 이것을 블록내의 모든 화소에 대해서 반복하면, 그 블록의 하위 데이터측의 압축후 용량을 연산할 수 있다.

여기서, 라운드된 하위 비트 감소처리가 필요한 이유를 도 8을 참조하여 설명한다.

전술한 것처럼, 정도 보증 부분(301)이 8비트인 경우, 무손실 압축에 의한 평균적인 압축율은, 8비트 부분이 5.33비트가 된다(66.7％). 그러마, 경우에 따라서는 이것보다 압축율이 낮아지는 경우도 있다.

그러므로, 본 실시 형태에서는, 레이트 제어 부분(302)내에서 목표 압축율을 조정하는 처리를 실시한다. 본 예에서는, 레이트 제어 부분 (302)에 대해 평균 4비트를 2.67비트(66.7％)로 압축하는 손실 압축(라운드된 하위 비트 감소)이 필요 하다.

도 9는, 상술한 본 실시 형태에 있어서의 대역 보증 압축법의 처리 개요를 나타내는 도면이다.

본 실시 형태의 대역 보증 압축법에 대해서는, 도 9a에 도시한 바와같이, 1매의 화상을 처리 단위 블록으로 분할하고, 도 9b에 도시한 바와같이, 각 블록을 압축하여, 목표 압축율 α％ 를 각 블록내에서 달성하고, 압축된 각 블록의 부호를 도 9c에 도시한 바와같이, 화상 메모리(17)에 배치한다.

화상 메모리(17)는, 블록 마다의 배치 영역(용량α％)을 확보하면, 블록단위로 선두 화소 단위로부터 랜덤 억세스가 가능해진다.

화상 메모리(17)에서는, 도 9d에 도시한 바와같이, 블록마다 선두 어드레스가 고정되며, 항상 이 단위로 랜덤 억세스가 가능하다. 또한, 압축 효율이 높고, α％이하일 때에, 블록 마다의 영역을 모두 사용하지 않게 된다. 또한, 블록마다 확보되는 용량은(원래의 블록 용량)×α％이며, 압축후 용량은 α％로 보증되고 있으므로, 이 영역을 초과하는 일은 없다.

다음에, 본 실시 형태의 디지털 신호 처리부(15)에 있어서의 대역 압축 신장부(200)의 구체적인 구성예 및 그 동작에 대해 설명한다.

도 10은, 본 실시 형태의 대역 압축 신장부(200)의 구체적인 구성예를 나타내는 블록도이다.

도 10의 대역 압축 신장부(200)는, 도 3의 송신측 블록(201)내의 구체적인 예이며, 처리 단위(블록 취득부)(211), 화소 데이터 분할부 (212), 화소간 용장 도(redundancy) 감소부(213), 휘도치 판정부(214), 상위측 연산부(215), 하위측 연산부(216), 이용 압축도 판정부(217), 상위측 가변길이 부호화 실행부(218), 하위측 가변길이 부호화 실행부(219), 및 얼라인먼트 조정 및 헤더 부가부(220)를 주로 포함한다.

처리 단위 취득부(211)는, 화상 데이터를 미리 설정한 처리 단위 규모 설정치에 근거하는 화소수의 단위를 취득하고, 화소 데이터 분할부 (212)에 출력한다.

이 취득 단위를 블록이라고 부르며, 블록마다 소망하는 압축율이 얻어진다. 블록마다의 화소수, 형상은 가변으로 설정할 수 있는 것이 바람직하다.

화소 데이터 분할부(212)는, 취득한 블록 화상 데이터를 상위측 8비트의 정도 보증부분(301)과, 하위측 4비트의 레이트 제어 부분(302)으로 분할하고, 상위측 비트 데이터를 화소간 용장도 감소부(213)에 출력하고, 하위측 비트 데이터를 하위측 가변길이 부호화 실행부(219)에 출력한다.

화소간 용장도 감소부(213)는, 주변의 화소 데이터를 참조하여, 화상 특유의 용장도 감소 처리를 실시하며, 그 결과를 상위측 연산부(215)에 출력한다.

본 방식에서는, 용장도의 감소 처리 방식, 및 감소 처리후의 데이터 형식을 규정하지 않았지만, 일례로서, 바로 인접하는 화소사이에서 뺄셈에 의해서 용장도를 감소시키는 DPCM 방식이 있다.

이 방식은 JPEG 규격의 DCT 계수 DC성분의 용장도 감소 수단으로서 이용되고 있다. 또, 색필터 배열 데이터(color filter array data)의 경우, 동일색간의 용장도를 특별히 이용하는 방식이 바람직하다.

휘도치 판정부(214)는, 화소 데이터 분할부(212)로부터의 상위측 데이터를 휘도를 나타내는 값으로 변환하고, 그 결과를 하위측 연산부(216)에 출력한다.

상위측 연산부(215)는, 가변길이 부호 테이블을 참조하여, 용장도가 감소된 후의 데이터에 대해, 부호화후의 용량 견적(estimate)을 실시하며, 그 결과를 채용 압축도 판정부(217)에 출력한다.

하위측 연산부(216)는, 휘도 레벨을 입력으로서 수신하고, 휘도레벨/압축도의 대응 테이블(또는 함수)을 참조하고, 하위측 데이터내에 어느 정도(resolution)가 남아있는지를 나타내는 "감소 수준"을 얻고 나서, 그 결과를 채용 압축도 판정부(217)에 출력한다.

채용 압축도 판정부(217)는, 압축율이 목표에 도달할 때까지, 차례차례 압축도를 증가시키고, 목표로 도달한 시점의 압축도를 합격점으로 결정하고, 판정 결과를 상위측 가변길이 부호화 실행부(218), 및 하위측 가변길이 부호화 실행부(219)에 출력한다.

상위측 가변길이 부호화 실행부(218)는, 채용 압축도 판정부(217)의 판정 결과를 받고, 이용되는 압축도에 따라, 실제로 상위측 데이터를 압축 처리하여 압축된 부호화 데이터를 작성한다. 상위측 데이터는, 가변길이 부호화에 의해서 무손실 압축을 거치게 된다. 무손실 가변길이 부호화로는, 전형적인 예로서 허프만 코딩화를 들 수 있다.

하위측 가변길이 부호화 실행부(219)는, 휘도레벨/압축도의 대응 테이블에 따라 하위측 데이터의 비트 수를 각 화소 마다 연속적으로 감소하여 손실압축을 실 시하고, 그에 의해 감소된 데이터를 단순하게 연결하여 부호를 작성한다.

얼라인먼트 조정 및 헤더 부가부(220)는, 디코드에 필요한 데이터등을 헤더로서 화소 데이터 부호에 부가하고, 최종적인 압축된 부호를 완성시키고, 버스(25)를 통해 화상 메모리(17)에 송신한다.

이하에서, 상기 구성을 가지는 대역 압축 신장부(200)의 동작에 대해 도 11의 흐름도를 참조하여 상세하게 설명한다.

여기에서는, 전제 조건으로서, 각 색내에서 12비트 정도를 가지는 색필터 배열에 의한 화상 데이터를, 각 색내에서 8비트로 압축한 것으로 가정한다.

우선, 화상 데이터를 미리 결정한 화소수의 단위분을, 블록(처리 단위)취득부(211)에서 취득한다(ST1). 이 블록 마다 소망한 압축율을 달성시킨다.

취득한 블록 데이터내의 화소를, 화소 데이터 분할부(212)에서, 상위 비트측과 하위 비트측으로 분할한다(ST2).

여기에서는, 상위측을 8비트, 하위측을 4비트로 한다. 분할 방법은 단순하게 비트의 경계에서 단순하게 2분할하는 것이며, 상위측과 하위측을 단순하게 연결하면 원래의 형태로 돌아가는 방식이다. 이 분할 경계는 압축후 용량의 최대치, 및 화상의 최저 품질과 밀접하게 관계한다.

즉, 압축후 용량의 최대치는, 상위측 비트의 용량에 대응되며, 화상의 최저 품질은, 상위측의 비트 몇 개에 있는 정도가 된다.

본 예에서는, 최종적으로 한 화소당 8비트에 대응하는 압축율/화상 품질을 목표로 하기 때문에, 이와 같이 경계가 설정된다. 여러가지 용도/목표에 대응하 기 위해서, 경계 위치는 임의로 설정할 수 있는 것이 바람직하다.

화소 데이터 분할부(212)에 의해 취득한 상위측 데이터를, 휘도치 판정부(214)에서 휘도를 나타내는 값으로 변환한다.

여기서 가정된 색필터 배열에서는, 상위측 데이터의 값을 그대로 휘도로 취급해도 괜찮다. 휘도치를 더욱 정확하게 산출하려면, 주변의 화소 데이터를 포함하는 연산을 실시할 수 있다. 휘도/색 차이 표현(YC)의 휘도 성분등이, 여기서의 연산 결과의 좋은 일례이다.

휘도치를 산출하면, 휘도 정보를 그 값의 범위에 따라 복수의 범위로 분류한다.

예로서, 전술한 것처럼, 상위측 8비트의 데이터를 2-0, 2-1, 2-2,..2-8의 구간 경계(- 는 팩토리얼을 나타낸다)에서 분할된 8개의 범위(휘도 레벨)로 나눈다. 후의 공정에서, 휘도 레벨에 따라, 화소 데이터의 정도 감소 수준을 결정하게 된다.

유한한 회로 자원을 생각하면, 수십까지의 범위로 휘도치를 분류하는 것이, 처리량의 면에서 유익하다. 물론, 처리 부하가 허락한다면, 분류를 실시하지 않고 휘도치, 즉 휘도 레벨로 취급하고, 감소 수준로 변환하는 연속적인 함수(도 7a - 7d)에 입력해도 괜찮다.

휘도치 판정부(214)에서 얻어지는 휘도 레벨을, 하위측 가변길이 부호 연산부(216)에 입력한다. 여기에는, 도 7a에 도시한 휘도레벨/압축도의 대응 테이블(또는 함수)이 준비되어 있다. 휘도 레벨을 입력하여 이 테이블을 참조함으로 써, 하위측 데이터내에 몇 개의 정도가 남아있어야 되는지를 나타내는 「감소 수준」을 얻을 수 있다(ST3).

도 7a에 도시한 테이블내에서 점선에 둘러싸여진 각 라인의 수열을, 「레코드」라고 부르며, 각 레코드는, 한 개의 감소 수준에 대응한다. 도 7a에서는, 위쪽의 레코드는, 감소 수준이 크다. 즉, 정도의 감소가 많게 된다. 기본적으로, 감소 수준이 작은 레코드부터 차례차례, 압축이 검토된다. 레코드 하나가, 한 개의 방식에 상당한다.

각 레코드에서는, 도 7b -7d에 도시한 바와같이, 휘도에 따라 하위 데이터의 감소후 비트 수를 얻을 수 있다.

여기에서는, 인간의 시각 특성에 따라, 입력된 데이터가 저휘도가 되도록, 즉 데이터가 어두우면 어두울수록, 감소 수준을 줄이지 않고 정도를 보관 유지하도록, 레코드를 조정한다.

휘도 레벨의 분류 방법, 테이블내의 감소 수준의 결정 방침이, 화질의 유지에 큰 역할을 하게 된다.

이 테이블은 가변으로 설정할 수 있는 것이 바람직하고, 설정치는 요구 시스템의 평가를 통해 검토되는 것이 바람직하다.

감소 수준(reduction degree)을 얻으면, 화소의 하위측을 몇 비트 남겨야하는 지가 정해지게 된다. 비트를 감소할 때는, 하위측 데이터의 LSB측으로부터, 지정 비트분을 라운딩(rounding)하여 감소한다.

예를 들어, 어느 감소 수준에 따라 한 개의 레코드가 선택되고, 지금 취급하 고 있는 상위 데이터의 휘도 레벨에 근거하여 하위 비트의 감소후 비트수 「3」을 얻었을 경우, 여기에서는 하위 데이터의 원래 정도(original resolution)는 4비트이기 때문에, 4비트로부터 압축후의 비트수는 3비트가 된다.

LSB측의 1비트를 라운딩하여 감소하게 된다. 이것을 블록내의 모든 화소에 대해서 반복하면, 그 블록의 하위 데이터측의 압축후 용량을 연산할 수 있다.

알고리즘적으로 생각하면, 도 11의 흐름도에 도시된 바와같이, 압축후 용량의 연산은, 감소 수준이 작은 방식으로부터 차례차례, 연산 결과가 목표에 도달할 때까지 실행된다.

그러나, 집적회로상의 전용 회로에 하드웨어를 실장하는 경우, 도 10에 도시한 바와같이, 각 감소방식에 대해서, 즉 테이블내의 레코드수 마다, 압축후에 용량의 연산기를 병렬로 제공할 수 있다.

도 10의 예에서는, 이 연산기가 하위측 가변길이 부호량 연산기 (216-1)－(216－n)의 n개가 병렬로 준비되어 있다. 이에 의해, 연산을 단지 한 번 실시하는데 소요되는 시간내에, 모든 감소방식의 결과를 한 번에 얻을 수 있으므로, 속도 성능면에서 매우 유리하다.

전용 회로에 의한 병렬처리를 예측할 때에, 이 처리 부분을 「연산부」라고 부른다. 여기에서는, 압축후의 데이터 용량을 산출하지만, 실제의 압축후 데이터를 얻는 부호화 처리는 실시하지 않는다.

실제의 부호화 처리는, 감소 방식이 적용된 데이터에 대해서만 실시할 수 있다. 이에 의해, 연산부에는 한 개의 블록내의 화소의 연산 결과를 단지 가산하기 위해 병렬로 누적기(accumulators)를 제공하게 되면 그것으로 충분하다. 그리고, 병렬처리에 의한 속도 향상과 함께, 회로 자원의 감소도 동시에 실시할 수 있다.

본 방식에서는, 반드시 이 연산부의 병렬화를 필수로 하지 않지만, 강하게 추천하는 구성이다.

여기까지, 하위측 데이터의 압축후 용량을 얻을 수 있었다. 지금까지는 하위측 데이터를 참조할 필요는 없다.

다음에, 상위측 데이터의 압축후 용량 연산을 실행한다.

하위측 데이터의 부호화 산 결과에 따라, 하위측 데이터의 비트 모두가 감소 대상이 되는 일도 있을 수 있다.

그 경우, 단지 하위측 데이터 모두가 삭제되면, 남겨진 상위측 데이터는, 단지 하위 데이터를 라운딩하는 것이 아니라 단순히 삭제함으로써 얻어지는 값이 되므로, 화상 품질에 영향을 미친다.

따라서, 흐름도에 도시된 바와같이, 만약 완전하게 삭제되는 하위 데이터가 발생했을 경우는, 하위측 데이터의 최상위비트를 참조하고, 상위측 비트로 라운드 오프(round off) 또는 라운드 업(round up)하는 라운딩 처리를 실행하는 것이 추천된다. 이 라운딩 처리에 의해 얻어지는 상위측 비트가, 부호화의 대상 데이터가 된다(ST4, ST5).

하위측 데이터를 참조하여 라운딩 처리가 실행된 후에 상위 데이터는, 화소간 용장도 감소부(213)로 전송된다.

화소간 용장도 감소부(213)에서는, 주변의 화소 데이터를 참조하여 화상 특유의 용장도 감소 처리를 실시한다. 본 방식에서는, 용장도의 감소 처리 방식, 및 감소 처리후의 데이터 형식을 규정하지 않지만, 일례로서는, 바로 인접 화소사이에서 뺄셈에 의해서 용장도를 감소하는 DPCM 방식이 있다.

용장도가 감소된 후의 데이터에 대해, 상위측 가변길이 부호량 연산부(215)에서는 부호화 후의 용량 견적을 한다(ST8).

여기서의 압축 방식은, 무손실 압축이 된다. 여기에서도, 실제의 부호화는 실시하지 않고, 가변길이 부호화 후의 데이터 용량의 연산만을 실시한다.

예로서 허프만 코딩화의 경우, 허프만 테이블이 주어지면, 실제의 부호를 작성하지 않아도, 부호화를 가정했을 때의 부호길이를 얻을 수 있다. 그렇게 해서 얻은 부호길이를, 각 데이터에 대해 한 블록내에서 가산하고,그 결과는 이 블록의 상위측 부호화 연산 결과가 된다.

여기에서도 연산기를 병렬 배열하는 것이 유효하며, 실제의 부호화 처리부를 가지지 않고, 누산기만을 제공함으로써, 연산 결과를 산출할 수 있다.

이상으로, 상위측, 하위측 모두에 대해서 압축된 부호의 데이터 용량이 연산되었다.

이러한 연산 결과를 압축도 판정부(217)에서 합계한다(ST9). 그 합계 결과를, 당초의 목표 압축율로서 결정정 데이터 용량과 비교한다(ST10).

목표의 데이터량보다, 연산 결과의 데이터량이 적은(이하의)경우, 즉 목표를 달성한 경우는, 그 압축을 연산했을 때의 감소 수준을 합격이라고 판전하고 이용한 다.

목표를 달성하지 않은 경우, 감소 수준을 한 층 증가시켜, 압축율이 보다 좋은 압축안을 실행한다. 즉, 정도가 떨어지는 압축안에 대해서, 한번 더 상위/하위의 압축후 용량을 연산한다. 이 감소 수준을 한층 증가시키는 조작은, 도 7a의 테이블 이미지내에 있는 한 층 더 높은 감소 수준을 가지는 레코드를 이용하는 것에 대응한다.

상술한 바와같이, 압축도 판정부(217)에서는, 압축율이 목표에 도달할 때까지, 차례차례 압축도를 증가시켜서, 목치에로 도달한 시점에서 압축도를 합격이라고 판정하고 이용한다. 실제로 논리 회로로서 실장하는 경우는, 도 10에 도시한 바와같이, 각 압축안에 있어서의 결과를 연산하는 부호량 연산부를 병렬로 제공한다.

이에 의해, 압축도 판정부(217)에서는, 각 압축안의 연산 결과를 동시에 얻을 수 있고 한 번에 압축안의 이용 판정을 내릴 수 있다.

가장 감소 수준이 적은 것은, 상위측의 무손실 압축뿐만 아니라 하위측 데이터의 1비트도 감소되지 않는 경우이며, 이 경우는 전체적으로 완전한 무손실 부호화가 된다.

한편, 압축도를 정의한 범위에서 최고까지 증가시켜도, 목표의 압축율에 도달하지 않는 경우가 있을 수 있다. 이 경우, 데이터의 압축을 단념하고 원래의 데이터 형식을 부호화된 데이터로 간주하게 된다. 자세한 것은 후에 기술한다.

압축도 판정부(217)에서 이용되는 압축안이 결정되면, 상위차 및 하위차 가 변길이 부호화 실행부(218, 219)에서, 그 압축안의 압축도에 따라, 실제로 데이터를 압축 처리해 압축된 부호화 데이터를 작성한다.

상위측 데이터는, 가변길이 부호화에 의해서 무손실 압축과정을 거친다. 그리고 무손실 가변길이 부호화로서, 전형적인 예가 되는 허프만 코딩화를 들 수 있다(ST11).

하위측 데이터는, 도 7a의 테이블에 따라 비트수를 각 화소마다 감소해 나가는, 손실 압축을 실시하고, 그렇게 해서 감소된 데이터를 단순하게 연결해 나가면서 부호를 작성한다. 이 때, 단순하게 감소된 데이터를 연결하는 대신에, 어떤 압축 수단을 동작시킴으로써 부호가 작성된다. (ST12).

그런데, 통상의 데이터 압축 순서는 상술한 바와같지만, 그 밖에 압축도 판정부(217)에서는, 모든 압축안에 의해 목표치가 얻어지지 않는 경우에 대한 처리가 있다.

이 경우, 상위측의 데이터를 그대로 부호내에 기입한다. 본 보기에서는, 8비트 분의 상위측 데이터가 그대로 부호에 기입되지만, 이 때도 한 화소당 8비트를 달성하는 압축율 조건이 만족된다.

이렇게 기입된 상위측 데이터는, 단지 원래 데이터로부터 상위측 비트내의 데이터를 삭제하고, 하위측 데이터를 고려하여, 원래 데이터를 상위측 8비트에 라운드 업시킴으로써, 얻어진다.

이상, 화소 데이터의 부호화를 끝내면, 얼라인먼트 조정 및 헤더 부가부(220)내에서, 디코드에 필요한 데이터등을 헤더로서 화소 데이터 부호에 부가함 으로써, 최종적인 압축 부호를 완성시킨다.

압축 부호는, 부호 기입이 된 기록 장치(메모리)나, 기록 장치에 도달할 때까지의 데이터 버스폭에 따라 얼라인먼트가 조정되고 기억장치에 기입된다. 지금까지의 순서를, 블록마다, 화상 한 개에 대해서 반복 실행한다(ST10-ST19).

부가하는 데이터에 대한 최소한 필수 내용은 디코드시에 필요한 정보이다. 디코드시에 필요한 정보는, 우선 크게 둘로 나눌 수 있다. 하나는, 화상 데이터 전체에 공통되는 정보, 다른 하나는, 블록 마다 특유의 정보이다.

화상 데이터 전체에 공통의 정보로서는, 부호화시에 이용하는 테이블 정보가 있다. 상위측, 하위측을 압축하기 위한 각 압축용 테이블의 정보를 부호내에 기록하지 않으면, 디코드시에 전개할 수 없다.

만약, 시스템에 있어서의 사용의 형편상, 테이블을 고정으로서 사용한다면, 그것이 부호화측, 디코드측에 대해 규정되어 있는 한, 테이블 정보를 부호에 기록할 필요는 없어진다.

그 외, 화상 데이터 전체에 공통되는 정보로서는, 타임 스탬프등이 생각되지만, 이것들은 필수의 정보가 아니고, 시스템이나 경우에 따라 부가하면 좋다.

블록마다 특유의 정보로서 필수의 것이 두 개 있다. 우선, 보존 형식으로서 압축한 데이터가 부호화 되었는지, 혹은 압축하지 않는 그대로의 데이터가 부호화 되었는지를 나타내는 플래그이다. 둘째의 정보는, 만약 첫째의 정보로서 압축된 데이터가 블록내에 기입되어 있는 경우, 어느 감소 수준으로 압축했는지를 나타내는 값이다. 디코드측에서는, 이 값을 압축시의 테이블과 매칭시킴으로써, 하 위측 데이터의 전개를 실시할 수 있다.

마지막으로, 기억장치에 부호화 데이터를 기입할 때에, 각 블록 마다 결정된 어드레스 위치로부터 기입을 실시한다(도 9a - 9d참조). 각 블에 할당된 기억장치내의 영역의 사이즈는, 가장 압축 효율이 나빴던 경우의 부호화 데이터, 즉 목표로 제시된 압축후 용량분이다.

이에 의해, 데이터 판독시에, 각 블록 단위로 큐(cue)가 가능하게 되어, 블록 단위 간격로 랜덤 억세스가 가능하게 된다. 판독측에서는, 목적하는 화소를 포함한 블록을 그 선두로부터 읽어내어 전개함으로써, 그 화소를 얻을 수 있다.

이상 설명한 것처럼, 본 실시 형태에 의하면, 데이터 신호 처리부 (15)에는, 화상 메모리(17)와의 인터페이스 부분에서 대역 보증 압축 신장부(200)가 제공된다. 그리고, 압출처리는 화상 데이터를 상위측 비트와 하위측 비트로 분할하고, 소정의 압축 방법을 각 분할된 부분에 적용시킴으로써 실행된다. 1패스에 가까운 처리는, 메모리 버스 대역을 보증하면서, 화질의 열화를 해치지 않고, 처리에 시간이 너무 걸리지 않으면서, 실행된다. 워스트 케이스에서 압축율, 대역, 기억에 필요로 하는 용량이 제공되며, 게다가 랜덤 억세스성을 확보할 수 있다.

따라서, 본 실시 형태에 대해서는, 이하의 효과를 얻을 수 있다.

화면을 보관 유지하기 위한 기억 영역이 보증된 일정량 이하로 감소할 수 있다.

화면을 전송하기 위한 버스 대역이 보증된 일정량 이하로 감소할 수 있다.

화상내의 얼라이먼트된 임의의 부분 영역에 대해서, 랜덤 억세스성을 보관 유지할 수 있다.

화상의 최저 품질/정도를 보증할 수 있다.

화소의 휘도에 따라 정도의 감소 수준을 변화시켜, 지각적인 화질 열화를 억제할 수 있다.

화상의 복잡도에 의해서 정해지는 압축의 난이도에 근거하여 정도가 적응적으로 가변하는 결과로서, 화상의 품질을 유지하면서 목표 압축율이 달성될 수 있다.

적은 회로 자원에 의해서, 상기 내용을 실시간으로 처리할 수 있다.

첨부된 청구항과 그와 동등한 것들의 범위내에 있는 한 여러가지 변경, 조합, 소조합, 변경들은 설계 요구사항 및 다른 인자들에 따라 이루어진다는 것을 알 수 있다.

Claims (20)

1. 삭제
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 화상 데이터상에 압축 처리를 실행하며,

   입력 화상 데이터를 복수의 비트 정도 부분으로 분할하고, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처리를 실행하는 신호 처리부를 포함하고,

   상기 신호 처리부는, 화상 데이터를 상위측 비트와 하위측 비트로 분할하고, 분할된 상위측 비트를 무손실 압축 방식에 기초하여 무손실 압축을 실행하며,

   상기 신호 처리부는, 입력 화상 데이터를 소정 화소수의 블록 단위로 압축하며,

   상기 신호 처리부는, 각 블럭을 위한 화상의 복잡성에 따라서 화소의 비트 정도를 적응적으로 가변시키도록 구성된 화상 신호 처리장치에 있어서,

   상기 신호 처리부는 하위 비트 정도의 화소의 비트 정도를 감소시킬 때, 화소치에 의해 판단을 실행하고, 고화소치보다 저화소치의 하위 비트 정도가 감소되기 어렵도록 구성된 것을 특징으로 하는 화상 신호 처리장치.
9. 화상 데이터상에 압축 처리를 실행하며,

   입력 화상 데이터를 복수의 비트 정도 부분으로 분할하고, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처리를 실행하는 신호 처리부를 포함하고,

   상기 신호 처리부는, 화상 데이터를 상위측 비트와 하위측 비트로 분할하고, 분할된 상위측 비트를 무손실 압축 방식에 기초하여 무손실 압축을 실행하며,

   상기 신호 처리부는 각 블록을 위한 목표 압축율을 달성하기 위하여 대역 압축 처리를 실행하고, 무손실 압축 방식에 기초하여 압축 처리에 의해 목표 압축율을 달성할 때는 무손실 압축을 실행하고, 무손실 압축으로 목표 압축율이 채워지지 않을 때에만 손실 압축 방식에 기초하여 압축 처리를 실행하며,

   상기 신호 처리부는, 각 블럭을 위한 화상의 복잡성에 따라서 화소의 비트 정도를 적응적으로 가변시키도록 구성된 화상 신호 처리장치에 있어서,

   상기 신호 처리부는 하위 비트 정도의 화소의 비트 정도를 감소시킬 때, 화소치에 의해 판단을 실행하고, 고화소치보다 저화소치의 하위 비트 정도를 감소되기 어렵도록 구성된 것을 특징으로 하는 화상 신호 처리장치.
10. 제 8항에 있어서,

    상기 신호 처리부는 고화소치를 가지는 화소로부터 단계적으로 비트 정도를 감소시키는 처리를 실행하도록 구성된 것을 특징으로 하는 화상 신호 처리장치.
11. 제 9항에 있어서,

    상기 신호 처리부는 고화소치를 가지는 화소로부터 단계적으로 비트 정도를 감소시키는 처리를 실행하도록 구성된 것을 특징으로 하는 화상 신호 처리장치.
12. 화상 데이터상에 압축 처리를 실행하며,

    입력 화상 데이터를 복수의 비트 정도 부분으로 분할하고, 분할된 부분마다 소정의 압축 방식을 적용함으로써 압축 처리를 실행하는 신호 처리부를 포함하며,

    상기 신호 처리부는, 화상 데이터를 상위측 비트와 하위측 비트로 분할하고, 분할된 상위측 비트를 무손실 압축 방식에 기초하여 무손실 압축을 실행하도록 구성된 화상 신호 처리장치에 있어서,

    상기 신호 처리부는, 복수의 감소안으로 부호량의 시산을 행한 다음에, 목표를 달성하기 위해 하나를 채용하고, 상기 감소안에 따라 실제의 부호화를 실행하도록 구성된 것을 특징으로 하는 화상 신호 처리장치.
13. 제 12항에 있어서,

    상기 신호 처리부는 모든 감소안의 결과가 좋지 않은 경우는, 상기 상위 데이터를 있는 그대로 저장하도록 구성된 것을 특징으로 하는 화상 신호 처리장치.
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제

Images