KR101545005B1 - 이미지 압축 및 압축해제 - Google Patents

Abstract

픽셀들의 클러스터들은 이미지 압축 및 압축해제에서 사용을 위해 규정된다. 클러스터들을 규정하기 위해 사용된 이미지 정보는 픽셀 또는 관련 모션 벡터들, 그래디언트들, 텍스쳐 등에 대해 미리 결정된 위치들에서의 픽셀값을 포함할 수 있다. 이미지들의 압축 동안에, 픽셀들에 대한 이미지 정보는 픽셀이 속하는 클러스터를 결정하도록 검사된다. 따라서, 픽셀들은 그들의 이미지 정보에 대한 클러스터에 따라 분류될 수 있다. 일 실시예에서, 클러스터들의 규정들은 이미지 콘텐트에 의존하여, 동적으로 선택된다. 각 클러스터에 대해, 제어 파라미터 세트는 필터링을 위한 필터 계수들 또는 국부적인 텍스쳐 생성을 위한 통계적인 데이터와 같은, 사후-처리 작동을 위해 계산된다. 제어 파라미터 세트는 이미지 콘텐트에 의존하여 선택되어, 압축해제 후에, 사후-처리 작동이 이미지에 적용될 때, 제어 파라미터 세트는 클러스터에 속하는 바와 같이 분류되는 픽셀들에 대해 이미지 품질을 개선할 것이다. 압축된 이미지 및 제어 파라미터 세트들은 압축해제 장치에 전송된다. 압축해제 시에, 압축해제된 이미지를 나타내는 이미지 정보는 클러스터들에 따라 픽셀들을 분류하도록 검사되고, 선택된 클러스터들에 대한 상이한 제어 파라미터 세트들은 픽셀들의 위치들에서 사후-처리를 제어하기 위해 사용된다.

이미지 정보, 클러스터, 제어 파라미터 세트

Description

이미지 압축 및 압축해제{IMAGE COMPRESSION AND DECOMPRESSION}

본 발명은 이미지 압축 및 압축해제를 위한 방법들 및 장치들에 관한 것이다.

비디오 압축의 콘텍스트(context)에서와 개별 이미지들에 대해, 손실이 많은 이미지 압축 방법들이 공지되어 있다. 지배적인 예들은 다양한 MPEG 및 JPEG 압축/압축해제 표준들에 규정된 방법들이고, 이들은 이미지 데이터의 조잡한 양자화(coarse quantization)를 포함한다. 이들 손실이 많은 압축 방법들은 아티팩트들(artefacts), 즉 압축 및 압축해제 후에 획득되는 재구성된 이미지들과 원 이미지들 사이의 차이들을 도입한다.

ISP/IEC MPEG & ITU-T VCEG(문서 번호 JVT S030)의 JVT(Joint Video Team)의 18 번째 회의에서, S. Wittmann 및 T. Wedi에 의한 명칭이 "Post filter SEI message for 4:4:4 코딩"인 공보에서, 이들 차이들을 감소시키는 방법이 설명되어 있다.

이 공보에서, 압축 아티팩트들을 감소시키기 위해 디코더 측 상에서 디코딩된 이미지들에 적용된 유한 임펄스 응답(Finite Impulse Response; FIR) 사후-필터(post-filter)에 대한 필터 계수들을 규정하는 메시지들을 MPEG 비디오 스트림에 부가하는 것이 제안되었다. 위너 필터링(Wiener filtering)이 사용되고, 즉, 원 이미지와 사후-필터링된, 압축해제된 이미지 사이의 차이에 대한 통계적인 측정이 규정되고 필터 계수들이 선택되어, 필터 계수들이 이 측정의 값을 최소화하도록 한다. 언급한 바와 같이, 이것은 필터 계수들의 값이 이미지의 콘텐트(content)에 의존한다는 것을 의미한다. 필터 계수들은 인코더에서 계산되고 비디오 스트림 내에 포함된다. 디코더는 스트림으로부터 계수들을 추출하고 추출된 계수들을 사용하여 사후-필터링을 적용한다.

불행하게도, 이 유형의 사후-필터링은 압축 아티팩트들의 제한된 감소만을 제공한다.

그 중에서도 본 발명의 목적은 압축 아티팩트들을 감소시키는 방법을 제공하는 것이다.

제 1 항에 따른 압축해제 장치가 제공된다. 여기서, 압축해제된 이미지의 복수의 픽셀들 각각에 대해, 픽셀들은 픽셀에 대해 각각의 윈도우의 이미지의 콘텐트에 기초하여 분류된다. 분류는 이미지와 함께 전송되었던 복수의 제어 파라미터 세트들(control parameter sets)로부터 하나의 제어 파라미터 세트를 선택하기 위해 사용된다. 선택된 제어 파라미터 세트는 픽셀들에 대해 사후-처리(post-processing)를 제어하기 위해 사용된다. 이 방식에서, 이미지의 상이한 픽셀들에서 상이한 사후-처리가 이용되는 것이 가능하다. 상이한 클래스들의 피쳐들(features)이 검출되는 픽셀들에서, 사후-필터링에 대해 상이한 제어 파라미터 세트들이 예를 들면 사용될 수 있다. 유사하게, 상이한 방향들의 그래디언트들(gradients)이 발생하는 경우에, 사후-필터링에 대한 상이한 제어 파라미터 세트들이 사용될 수 있다.

본 발명의 프레임워크(framework) 내에서, "사후-필터링" 및 "사후-처리"은 이미지의 완전한 디코딩 후, 즉, 완전한 디코딩 프로세스 후의 필터링 단계 및 처리 단계를 포함한다. 종종 이미지들은 루프 프로세스를 사용하여 디코딩되고, 여기서, 초기 디코딩 후에, 최종 디코딩된 이미지를 획득하기 위해 루프 프로세스가 수행된다. 최종 디코딩된 이미지는 루프 외부에서 필터링된다. 본 발명의 '루프 외부(out-of-loop)' 실시예들은 실시예들의 일 바람직한 그룹을 형성한다.

본 발명의 개념 내에서, 내부-루프 필터들(in-loop filters)의 애플리케이션(application)이 또한 포함되고, 예를 들면, 디블로킹 필터들(deblocking filters)의 내부-루프 애플리케이션이 또한 포함된다. 그 다음, "사후-필터링"은 초기 디코딩 단계 후에 내부-루프에 적용된다. 본 발명의 이러한 "내부-루프" 실시예들은 실시예들의 일 바람직한 그룹을 또한 형성한다.

실시예에서, 제어 파라미터들의 세트들은 압축된 이미지와 함께 이미지 스트림으로 멀티플렉싱된다. 대안적으로, 제어 파라미터들의 세트들 및 압축된 이미지들은 압축해제 장치의 사용자가 사후-처리를 적용하기 위해 이미지를 수신하도록 가입될 때, 예를 들면, 압축해제 장치의 입력의 서브-입력들을 분리하기 위해 압축해제 장치에 개별적으로 제공될 수 있다.

일 실시예에서, 사후-처리는 필터, 예를 들면, 유한 임펄스 응답 필터를 갖는 필터링 단계를 포함하고, 필터 계수들은 제어 파라미터 세트에 의해 규정된다. 그러나, 대안적으로 제어 파라미터 세트에 의해 규정된 통계적인 파라미터들을 갖는 텍스쳐(texture)의 로컬 부가들과 같은, 다른 형태들의 사후-처리가 사용될 수 있다.

제 18 항에 따른 압축해제 장치가 제공된다. 이 압축해제 장치는 상이한 클래스들에 대한 제어 파라미터 세트들을 선택하고 그들을 압축된 이미지 신호에 부가한다. 일 실시예에서, 압축해제 장치는 이미지의 콘텐트에 의존하여 클래스 규정(class definition)을 또한 선택하고 이를 압축된 이미지 신호에 부가한다. 클래스 규정은 예를 들면, 압축해제된 이미지의 윈도우들(windows)에서 픽셀값들의 대표 벡터들(representative vectors)을 포함할 수 있다. 일 실시예에서, 복수의 제어 파라미터 세트들은 복수의 입력 이미지들에 대해 공통으로 계산된다. 이 방식에서, 제어 파라미터 세트는 상이한 이미지들에 대해 재사용될 수 있다. 이것은 압축된 신호에 대해 요구되는 대역폭을 감소시킨다. 제어 파라미터 세트들은 입력 이미지 및 압축해제된 이미지 신호에 의해 규정된 압축해제된 이미지 사이의 차이를 규정하는 사후-처리 작동들을 규정하기 위해, 이러한 차이에 의존하여 선택될 수 있다.

이들 및 다른 목적들 및 이로운 양태들은 다음의 도면들을 사용하여 설명되는 예시적인 실시예들로부터 명백해질 것이다.

도 1은 압축 장치를 도시한 도면.

도 2는 압축해제 장치를 도시한 도면.

도 3은 사후 필터의 일 실시예를 도시한 도면.

도 3a는 픽셀들의 클러스터링(clustering)을 예시한 도면.

도 3b 및 도 3c는 긍정적인(positive)의 효과를 예시한 도면들.

도 4는 압축해제 장치를 도시한 도면.

도 5는 파라미터 추정기(16)의 다이어그램을 도시한 도면.

도 6은 사후-프로세서를 도시한 도면.

도 7은 압축-압축해제 시스템을 도시한 도면.

도 8은 압축 장치를 도시한 도면.

도 9는 압축해제 장치를 도시한 도면.

도 10는 압축-압축해제 시스템을 도시한 도면.

도 11은 그래디언트들이 선택 기준들로서 사용되는 일 실시예를 예시한 도면.

도 12는 그래디언트들이 선택 기준들로서 사용될 때 클러스터 중심들의 위치를 예시한 도면.

도 13은 선택 기준들로서 그래디언트들을 사용하는 이점들을 예시한 도면.

도 14는 계층 구조를 예시한 도면.

도 15a, 도 15b 및 도 15c는 디블로킹 함수를 사용하는 또 다른 실시예를 예시한 도면들.

도 16은 픽셀들(p₀ 및 q₀)이 서브-블록 에지(BE)에 이웃하는지의 여부를 결정하기 위해 사용된 조건들의 일례를 예시한 도면.

도 17은 비트-레이트 감소의 측정들을 제공하는 도면.

도 18은 또 다른 실시예를 예시한 도면.

도 19는 회전 대칭을 도시하는 패턴들을 예시한 도면.

도 20은 시프팅(shifting)에 의한 대칭을 도시하는 패턴들을 예시한 도면.

도 21은 플립핑(flipping)에 의한 대칭을 도시하는 패턴들을 예시한 도면.

도 22a 내지 도 22c는 변환들 하에서 불변성을 도시하는 패턴들의 예들을 예시한 도면들.

도 23은 신호를 개략적으로 예시한 도면.

도 1은 압축 장치를 도시한 도면이다. 압축 장치는 스트림 입력부(10), 압축기(12), 압축해제기(14), 파라미터 추정기(16), 스트림 멀티플렉서(18) 및 압축된 스트림 출력부(19)를 포함한다. 압축기(12)는 스트림 입력부(10)에 결합된 입력부 및 스트림 멀티플렉서(18)에 결합된 출력부를 갖는다. 압축해제기(14)는 압축기(12)의 출력부에 결합된 입력부를 갖는다. 파라미터 추정기(16)는 스트림 입력부(10) 및 압축해제기(14)의 출력부에 결합된 입력부들을 갖는다. 파라미터 추정기(16)는 파라미터 데이터(17)를 제공하기 위해 스트림 멀티플렉서(18)에 결합된 출력부를 갖는다. 스트림 멀티플렉서(18)는 압축된 스트림 출력부(19)에 결합된 출 력부를 갖는다.

도 2는 압축해제 장치를 도시한 도면이다. 압축해제 장치는 압축된 스트림 입력부(20), 스트림 디멀티플렉서(22), 압축해제기(24), 사후-필터(26), 및 압축해제된 출력부(28)를 포함한다. 스트림 디멀티플렉서(22)는 압축된 스트림 입력부(20)에 결합된 입력부, 및 압축해제기(24)의 입력부 및 사후-필터(26)의 제어 입력부에 결합된 출력부들을 갖는다. 사후-필터(26)는 압축해제기(24)의 출력부에 결합된 신호 입력부 및 압축된 스트림 출력부에 결합된 출력부를 갖는다.

도 1 및 도 2 둘 모두에서, 이미지 압축 및 압축해제에 관련된 구성요소들만이 도시되었다. 예를 들면, 오디오 압축 및 압축해제, 데이터 관리 등에 대한 다른 구성요소들이 존재할 수 있다는 것이 이해되어야 한다. 또한, 상이한 구성요소들이 하나 이상의 프로그래밍가능한 처리 회로들을 사용하여 구현되고, 처리 회로가 관련 구성요소로서 동작하도록 하는 프로그램으로 프로그래밍될 수 있다는 것이 인식되어야 한다. 하나의 프로그래밍가능한 처리 회로는 상이한 프로그램들의 제어 하에서 구성요소들 중 상이한 구성요소들로서 동작하기 위해 사용될 수 있거나, 상이한 처리 회로들이 사용될 수 있다. 일 대안으로서, 구성요소들은 전용 회로들을 사용하거나 프로그래밍된 및 전용 회로들의 혼합으로서 구현될 수 있다.

작동 시에, 압축 장치는 압축된 스트림을 생성하고 압축된 스트림은 압축해제 장치에 인가된다. 임의의 결합 방식이 사용될 수 있다. 예를 들면, 압축 장치로부터의 압축된 스트림은 브로드캐스트(broadcast)되거나 임의의 매체(도시되지 않 음)를 통해 일 대 일로 전송되고 압축해제 장치에 제공될 수 있거나, 압축된 스트림은 저장 디바이스(storage device)에 저장되고, 저장장치로부터 압축해제 장치에 인가될 수 있다. 물론, 저장 및 브로드캐스트 또는 전송의 임의의 혼합이 사용될 수 있다.

압축기(12) 및 압축해제기들(14, 24)는 이미지들의 압축 및 대응하는 압축해제를 수행한다. 예를 들면, 임의의 MPEG 표준에 의해 규정된 것과 같은 임의의 형태의 압축 및 압축해제가 사용될 수 있다. 스트림 멀티플렉서(18)는 압축된 이미지 데이터와 임의의 원하는 다른 데이터를 압축된 스트림으로 조합한다. 스트림 디멀티플렉서(22)는 압축된 이미지 데이터를 추출하고 추출된 데이터를 압축해제기(24)에 제공한다. 압축해제기는 이미지 데이터를 압축해제하고 압축해제된 이미지 데이터를 사후-필터(26)에 제공한다. 사후 필터(26)는 데이터를 필터링하고 필터링된 이미지 데이터를 출력하고, 이것은 스크린 상에 이미지를 렌더링하기 위해, 예를 들면 디스플레이 디바이스(도시되지 않음)를 제어하기 위해 사용될 수 있다.

멀티플렉서(18) 및 디멀티플렉서(22)가 도시되어, 압축된 이미지 및 그 이미지를 사후-처리하기 위한 제어 파라미터들의 세트들이 하나의 이미지 신호로 조합될 수 있지만, 압축된 이미지 및 제어 파라미터들의 세트들이 예를 들면, 압축 장치 및 압축해제 장치에 이들 신호들에 대한 개별적인 서브-출력부들 및 서브-입력부들을 제공함으로써 또한 개별적으로 제공될 수 있다는 것이 인식되어야 한다. 이것은 신호들을 전송하는 더 복잡한 방법이 요구되는 단점을 갖지만, 요구되지 않을 때, 제어 파라미터들의 세트들이 생략될 수 있고 예를 들면, 압축된 이미지가 사후-처리 옵션을 갖는 그리고 갖지 않는 가입자들에게 제공되는 이점을 갖는다.

사후 필터링

파라미터 추정기(16)는 사후 필터(26)에 의한 사후-필터링을 제어하기 위한 파라미터들을 선택한다. 파라미터 추정기(16)는 선택된 파라미터들을 스트림 멀티플렉서(18)에 제공하고, 스트림 멀티플렉서(18)는 파라미터들을 압축된 스트림에 부가한다. 스트림 디멀티플렉서(22)는 파라미터들을 추출하고 추출된 파라미터들을 사후 필터(26)에 제공한다. 사후 필터(26)는 사후-필터링을 제어하기 위해 파라미터들을 이용한다.

도 3은 사후 필터의 일 실시예를 도시한 도면이다. 이 실시예에서, 사후 필터는 윈도우 수집기(30), 클러스터 선택기(32), 클러스터 규정 메모리(34), 계수 메모리(36), 제어 인터페이스(38) 및 FIR 필터(39)를 포함한다. 윈도우 수집기(30)는 압축해제기(도시되지 않음)의 출력부에 결합되고 FIR 필터(39)에 결합된 출력부를 갖는다. 클러스터 선택기(32)는 윈도우 수집기(30)의 출력부 및 클러스터 규정 메모리(34)에 결합된 입력부들을 갖는다. 클러스터 선택기(32)는 계수 메모리(36)의 입력부에 결합된 출력부를 갖는다. 계수 메모리(36)는 FIR 필터(39)의 계수 입력부에 결합된 출력부를 갖는다. 제어 인터페이스(38)는 스트림 디멀티플렉서(도시되지 않음)로부터 제어 데이터를 수신하기 위한 입력부, 및 클러스터 규정 메모리(34) 및 계수 메모리(36)에 결합된 출력부들을 갖는다. 메모리들(34, 36)과 같은, 도 1의 다양한 소자들이 사후 필터(26)의 부분들로서 도시되었지만, 그들이 사 후-필터의 부분이 아니고 압축해제 장치의 개별적인 부분들로서 또한 간주될 수 있다는 것이 이해되어야 한다.

작동 시에, 윈도우 수집기(30)는 이미지(예를 들면, 3x3 픽셀 위치 윈도우)의 픽셀 위치들의 움직이는 윈도우의 픽셀 위치들에 대한 픽셀값들을 수집한다. 윈도우 수집기(30)는 윈도우에 대한 픽셀값들을 FIR 필터(39)에 적용한다. FIR 필터(39)는 픽셀값들과 필터 계수들의 곱들(products)의 합으로서 출력 픽셀값을 계산한다. 각 곱은 윈도우의 각각의 위치에 대해 픽셀값 및 위치와 연관된 필터 계수로부터 계산된다. 곱들의 합이 정규화될 수 있고, 윈도우의 위치에 대응하는 픽셀 위치에 대한 사후-필터링된 픽셀값으로서 출력된다. 이것은 윈도우 위치들(예를 들면, 3x3 윈도우들의 중심 포인트들에서의 출력 픽셀 위치들, 그러나 다른 미리 결정된 상대적인 위치들이 사용될 수 있음)에 대해 미리 결정된 상대적 위치들에서 일련의 픽셀 위치들에 대한 출력 픽셀값들을 생성하기 위해, 일련의 윈도우 위치들에 대해 반복된다.

클러스터 선택기(32) 및 계수 메모리(36)는 FIR 필터(39)에 의해 사용되는 계수들을 제어한다. 클러스터 규정 메모리(34)의 정보는 복수의 클러스터들을 규정하고, 각 클러스터는 윈도우의 픽셀값들의 가능한 조합들의 세트에 대응한다. 계수 메모리(36)는 각 클러스터에 대한 필터 계수들의 각각의 세트를 저장한다. 클러스터 선택기(32)는 압축해제기(도시되지 않음)에 의해 생성된 현재 윈도우의 픽셀값들의 조합을 수신하고 이들 픽셀값들로부터 클러스터 선택기(32)는 윈도우의 콘텐트를 분류하고, 즉, 클러스터 선택기(32)는 이 조합이 속하는 클러스터를 결정한 다. 클러스터 선택기(32)는 계수 메모리(36)를 어드레싱(addressing)하기 위해 이 클러스터의 식별을 사용하고, 응답하여 계수 메모리(36)는 필터 계수들의 대응하는 세트를 FIR 필터(39)에 제공한다. 이것은 일련의 윈도우 위치들에 대해 반복된다. 따라서, 각 윈도우 위치에 대해, 픽셀값들은 각각의 픽셀 위치에 대한 출력 픽셀값을 생성하기 위해, 윈도우 위치(윈도우 위치에 대해 선택된 클러스터)의 분류에 따라 필터링된다.

일 실시예에서, 클러스터 규정 메모리(34)는 각 클러스터에 대한 픽셀값들의 대표 조합들을 저장한다. 이러한 실시예에서, 클러스터들은 이들 각각의 조합들에 대한 간격(distance)에 의해 규정된다. 픽셀값들의 임의의 주어진 조합은 픽셀값들의 대표 조합들 중 상이한 것들에 대해 상이한 간격들을 갖는다. 주어진 조합은 최소 간격에서 대표 조합을 갖는 클러스터들 중 하나에 속한다.

이 실시예에서, 클러스터 선택기(32)는 대표 조합을 식별함으로써 적어도 간격을 분류한다. 또 다른 실시예에서, 픽셀값 중 휘도 구성요소만이 클러스터들을 규정하기 위해 사용된다. 따라서, 예를 들면, 3x3 윈도우들이 사용되면, 각 대표 조합은 9개의 휘도값들

(Y1(j), Y2(j),...Y9(j))을 포함한다.

여기서, "j"는 클러스터의 라벨이다. 이 실시예에서, 클러스터 선택기(32)는 현재 윈도우의 픽셀 위치들에 대한 휘도값들(L1, L2,...L9)을 수신하고 간격,

을 최소화하는 클러스터 j를 선택한다(┃┃는 절대값을 나타낸다). 이 실시예에서, 클러스터 선택기(32)는 필터 계수들의 세트를 선택하기 위해 라벨 j을 사용한다.

도 3a는 필터 계수들을 찾기 위해 장면에서 몇몇 키 프레임들이 선택되는 일례를 도시한 도면이다. 클러스터링을 위한 피쳐 벡터(feature vector)는 상술된 바와 같이 픽셀 주위의 로컬 3x3 윈도우에서의 휘도이다. 도 3a의 상위 열은 원 프레임들을 제시하고, 바닥 열은 디코딩된 프레임들을 제시한다. 몇몇 클러스트들의 엘리먼트들(elements)이 바닥 열에 표시된다. 클러스터들은 유사한 패턴들을 갖는 영역들 또는 픽셀들을 포함한다. 이 예에서 20개의 클러스터들이 사용된다. 도 3a는 유사한 패턴들이 클러스터들로 클러스터링되는 것을 도시한 도면이다. 클러스터들은 이미지 위에 분산되고, 이는 흔한 경우이고, 클러스터들이 이미지들 위에 유사한 패턴들로 구성되기 때문이다. 클러스터링 알고리즘들(clustering algorithms)은 상이한 방식들에 기초하고 유사한 패턴들을 찾기 위해 공식화될 수 있다. 이 예에서, 알고리즘은 휘도값들에 기초한다.

도 3b는 이 장면에 대해 긍정적인 효과를 도시한다. 그래프는 평균 PSNR-Y, 왜곡에 대한 측정을 형성한다. 곡선 A는 디코딩된 신호에 대한 PSNR-Y 값을 예시하고, 곡선 B는 클러스터링의 적용 및 적응 필터의 적용 후 PSNR-Y 값을 예시한다. 평균 PSNR-Y는 32.38Db에서 32.89Db로 증가되고, 0.5 dB의 개선이다.

장면 전환이 프레임 315 주위에서 제공되고 상기 장면 전환 후에 이전 장면의 클러스터링은 더 이상 최상이 아니라는 것을 유의해야 된다. 저하(degradation) 의 검출은 클러스터 선택 및 대응하는 필터 계수들을 동적으로 업데이트하기 위해 사용될 수 있다. 오프-라인 시나리오(off-line scenario)에서, 가능한 장면 전환은 장면 분할에 의해 미리 결정될 수 있다.

도 3c는 비트 레이트(bit rate)의 함수로서 H.264 인코딩된 비디오에 대한 PSNR-Y 값에서의 증가를 예시한 도면이다. 모든 비트 레이트들에서, PSNR-Y 값에서의 주목할 만한 증가가 나타난다.

도 3d는 클러스터들의 수의 함수로서 PSNR-Y 값에서의 증가를 예시한 도면이다. 바람직한 클러스터들의 수는 5 이상이고, 30 이하가 가장 바람직하다. 클러스터들의 수가 증가함에 따라, 계산 부하가 증가하며, 반면에 부가적인 이득이 더 작아진다.

이 예에서, 하나의 비디오 장면에 대해, 사후-처리 함수는 40개의 부동 소수점(floating point) 수들(클러스터 중심들 및 필터 계수들)을 포함한다. 이 정보는 비트 비용들을 더 감소시키기 위해 더 양자화 및 엔트로피-코딩될 수 있다(entropy-coded). 동일한 데이터와 사후-처리될 있는 (하나의 장면에 속하는) 이미지 프레임들의 양을 고려하여, 이 여분의 비용들은 실제 장면에서 무시될 수 있고, 반면에, 이점이 상당하고 측정가능하다.

이 실시예가 단지 일례라는 것이 강조되어야 한다. 클러스터들을 규정하는 임의의 다른 방법이 사용될 수 있다. 예를 들면, 윈도우의 상이한 위치들로부터의 픽셀값들은 간격의 계산에서 상이하게 가중될 수 있거나, 컬러 구성요소들이 (예를 들면, 클러스터에 대한 단지 하나의 컬러 구성요소를 사용함으로써) 상이하게 가중 될 수 있다. 절대값들의 합 대신에, 제곱의 합이 예를 위해 사용될 수 있다.

휘도값들의 세트에 대한 간격 대신에, 휘도값들과 휘도값들의 표준 벡터들의 조합의 스칼라 곱들의 세트에 대한 간격이 사용될 수 있다. 개별적인 클러스터들에 대한 대표 벡터들 대신에, 기준 벡터들의 시스템은 결정 트리(decision tree)를 따라 클러스터들의 그룹들 사이에서의 선택들을 제어하기 위해 사용될 수 있다. 대표 벡터들 대신에, 클러스터들 또는 클러스터들의 그룹들 등 사이에서의 선택을 위해 차이 벡터들이 제공될 수 있다. 여기서, "벡터 분류(classifying a vector)"는 벡터의 관련 구성요소들을 벡터로 먼저 그룹화하거나 단지 구성요소들을 고려함으로써 분류가 수행되는지의 여부에 상관없이, 임의의 이러한 유형의 분류에 사용될 것이고: "분류"에 콘텍스트에서, 용어 "벡터"는 다수의 구성요소들이 분류를 위해 사용된다는 것을 나타내기 위해 사용된다. 대응적으로, 클러스터 선택기(32)는 클러스터 및 "클러스터 벡터들"의 구성요소를 선택하기 위해 다른 방법들을 사용할 수 있고, 클러스터 벡터들은 분류에 사용된다.

클러스터가 인접한 픽셀 위치들의 윈도우에 대해 압축해제된 값들 Y1, Y2...에 의해 선택되지만, 대안적으로, 위치들의 상이한 조합들에 대한 신호 값들이 사용될 수 있다는 것을 인식해야 한다. 예를 들면, 3x3 윈도우로부터의 개별적인 픽셀값들의 조합 대신에, 픽셀 위치들의 블록들의 세트 중 각각의 하나에 대한 평균 픽셀값들의 조합이 사용될 수 있다. 예를 들면, 이러한 블록들의 3x3 윈도우의 8x8 픽셀 블록들. 또 다른 예로서, 3x3 윈도우로부터의 개별적인 픽셀값들의 조합 대신에, 현재 픽셀 위치에 대해 미리 결정된 인접하지 않은 위치들로부터의 서브-샘플 링된 값들이 클러스터를 선택하기 위해 사용될 수 있다.

또 다른 예로서, 다음 단계들이 클래스들을 유도하기 위해 사용될 수 있다:

1. 주어진 이미지 정보를 구성하는 디코딩된 프레임들의 서브세트(subset)로부터의 각 픽셀의 모든 MXM 인접 윈도우들은 이미지 정보로부터 추출된다. 각 윈도우는 그의 휘도로 구성된 피쳐 벡터 x'에 의해 표시된다. 벡터는 각 벡터로부터 모든 구성요소들의 평균(mean)을 감산함으로써 정규화될 수 있다. 따라서, 픽셀 주위의 4x4 윈도우는 그의 모든 축들 상에 (256 컬러들에 대해) 0...255 값들을 갖는 16차원 벡터들에 의해 표시된다. 5x5 윈도우는 25차원 벡터 등에 의해 표시된다.

2. 피쳐 벡터들은 미리 규정된 수의 클래스들 N로 샘플링되어, 클래스 내의 변동의 총합은 다음과 같다.

상기에서, N 클래스들 C_i(1≤i≤N)의 총합이 존재하고, x'는 샘플 16 또는 25 차원 벡터(4x4, 5x5 윈도우들 각각에 대해)이고, μ_i ^'는 클래스 C_i에 속하는 모든 벡터들 x'의 평균 벡터이다. 이러한 분류는 반복 접근법을 사용함으로써 용이하게 이루어질 수 있다. 결과적으로, 각 클래스 또는 클러스터의 중심, 동일한 것을 나타내는 클러스터 및 클래스, 즉, 다수의 엘리먼트들이 발견된다. 클래스를 나타내는 이 중심이 저장된다. 각 중심에 가장 근접한 벡터들은 클러스터 또는 클래스 의 일부를 형성한다. 이 예에서, 제곱들의 합이 사용되고, 이전의 예에서, 절대값들의 합이 사용된다. 각 예에서, N 클래스들의 총합이 사용된다.

3. 각 식별된 클래스에 대해 필터 계수들이 결정된다. 필터의 디코딩된 프레임들로의 적용은 디코딩된 낮은 res 프레임의 각 픽셀에 대해 새로운 픽셀값 p"을 제공하고, p"는 픽셀의 MxM 이웃에 기초한다. 본 목적은 각 클래스의 모든 샘플들에 대해 예측된 값 p"와 대응하는 원 픽셀값 p 사이의 평균 제곱 오차(Mean Square Error; MSE)를 최소화하는 것이다. 이것은 다변수 선형 회귀(multivariate linear regression) 및 최소 제곱 문제들(least-squares problems)을 해결하기 위한 다른 공지된 기술들로 해결될 수 있는 표준 최소-제곱 문제로서 보여질 수 있다.

다른 공지된 기술들과 비교하여, 5x5 윈도우 및 5 클래스들의 총합에 기초한 필터들을 사용하여 PSNR-Y 값들에서 약 1 dB의 전형적인 개선이 발견되었다.

또한, 클러스터를 선택하기 위해 사용된 윈도우는 FIR 필터에서 사용된 윈도우와 동일할 필요가 없다. 이들 윈도우들이 적어도 중첩되어, 픽셀 위치에 대한 선택된 필터 계수들이 그 위치의 근처 콘텍스트에 의존하는 것이 바람직하지만, 클러스터는 FIR 필터에 의해 사용된 윈도우와 중첩하지 않는 윈도우에 기초하여 또한 선택될 수 있다.

또한, 픽셀값들 대신에(또는 부가하여), 모션 벡터들(motion vectors)이 위치들을 분류하기 위해 사용될 수 있다. 그 자체로 알려진 바와 같이, 비디오 스트림의 이미지는, 픽셀값들이 블록으로 복제되어야 하는 또 다른 이미지의 블록의 위치를 각 블록에 대해 규정하는 픽셀들의 블록들에 대해 모션 벡터들에 의해 인코딩 될 수 있다. 일 실시예에서, 픽셀 위치에 대해 미리 결정된 위치들에서의 복수의 블록들의 모션 벡터들은 픽셀 위치를 클러스터에 할당하기 위해 사용될 수 있다. 이는 픽셀값에 따른 클러스터링과 동일한 방식으로 이루어질 수 있다.

도 4는 일 실시예를 도시한 도면이고, 여기서 압축해제기(24)는 이미지 압축해제기(240), 모션 벡터 추출기(242) 및 기준 이미지 메모리(244)를 포함한다. 여기서, 모션 벡터 추출기(242)는 인입하는(imcoming) 비디오 정보로부터 모션 벡터들을 추출하고 기준 이미지 메모리(244)에서 픽셀들의 블록들이 패치(fetch)되어야 하는 곳을 나타내기 위해 추출된 모션 벡터들을 이미지 압축해제기(240)에 제공한다. 게다가, 압축된 모션 벡터들은 클러스터 선택기(32)에 제공되고, 클러스터 선택기(32)는 상이한 클러스터들에 대한 모션 벡터들 중 대표 벡터들을 갖는 픽셀 위치에 대해 미리 결정된 위치들에서의 블록들에 대한 "모션 벡터들의 벡터" 사이의 모션 벡터들 차이들을 사용한다. 물론, 모션 벡터들에 기초한 클러스터 선택은 대표 벡터들을 갖는 차이들의 결정 이외의 방법들에 의해 또한 수행될 수 있다. 또한, 이미지의 모션에 대한 모션 벡터들 및/또는 이미지로부터의 모션에 대한 벡터들 둘 모두가 클러스터링을 위해 사용될 수 있다는 것이 이해되어야 한다. 또한, 비디오 스트림으로부터 바람직하게 인코딩된 모션 벡터들이 사용될 수 있지만, 비디오 스트림의 이미지들의 이미지 콘텐트로부터 미리 결정된 방식으로 결정되는 모션 벡터들이 대안적으로 사용될 수 있다는 것이 인식되어야 한다.

또 다른 실시예에서, 선택기(32)는 픽셀값들 및 모션 벡터들 둘 모두를 포함하는 대표 벡터들을 갖는 차이들을 사용하고, 차이의 결정에서 대표 벡터들의 상이 한 구성요소들에 대해 상이한 가중치들이 사용될 수 있다.

사용된 클러스터들이 윈도우의 픽셀값들의 가능한 조합들의 공간의 클러스터들이고 픽셀 위치들의 클러스터들이 아니라는 것을 주의해야 한다. 실제적으로, 이웃하는 윈도우 위치들에서의 윈도우들에 대한 픽셀값들의 조합들이 종종 동일한 클러스터를 선택을 야기하지만, 이는 클러스터들을 규정하지 않는다는 것이 관찰된다. 이미지 영역이 대개 하나의 할당된 클러스터를 갖는 윈도우 위치들을 가질 때, 그 영역 내의 많은 윈도우 위치들이 상이한 할당된 클러스터들을 갖더라도, 이 형태의 사후 필터링은 잘 작동한다. 결국, 이는 중요한 필터링된 픽셀 값이고, 이를 획득하기 위해 사용되었던 클러스터가 아니다.

또한, FIR 필터(39)가 예를 위하여 사용되었지만, 다른 유형의 필터가 대신 사용될 수 있다는 것을 인식해야 한다. 예를 들면, 비-선형 필터 또는 순환 필터(recursive filter)가 사용될 수 있고, 여기서 출력은 하나 이상의 이웃하는 위치들에 대한 필터 출력에 의존한다. 또한, 물론 3x3과 다른 임의의 크기의 윈도우, 예를 들면, 3x1 크기 윈도우(3개의 수평적인 픽셀 위치들 및 하나의 수직 픽셀 위치)가 사용될 수 있다.

이전 예들에서, 픽셀값들, 모션 벡터들 등과 같은, 이미지들을 규정하는 정보는 클러스터들을 선택하기 위해 사용되었다. 또한, 명시적인 클러스터 선택 정보는 압축된 이미지 신호에 또한 포함될 수 있다. 이는 신호의 크기를 증가시키지만, 분류를 간략화하는데 도움을 줄 수 있다. 일 실시예에서, 이러한 명시적인 클러스터 선택 신호들은 클러스터들을 선택하기 위해 다만 압축해제 장치에 의해 사용된 정보일 수 있다.

사후 필터의 구성요소들의 임의의 편리한 구현이 사용될 수 있다. 일례에서, 사후 필터는 메모리의 완전한 저장 이미지를 사용하고 윈도우 수집기(30)는 메모리로부터 윈도우에 대한 픽셀값을 검색한다. 또 다른 실시예에서, 윈도우 수집기(30)는 단지 윈도우들에 대한 픽셀값들을 제공하기 위해 충분한 수의 이미지 라인들로부터 픽셀값들을 버퍼링한다. 상이한 구성요소들은 처리 회로가 관련 구성요소로서 동작하게 하는 프로그램으로 프로그래밍된, 하나 이상의 프로그래밍가능한 처리 회로들을 사용하여 구현될 수 있다. 하나의 프로그래밍가능한 처리 회로는 상이한 프로그램들의 제어 하에서 구성요소들 중 상이한 것들로서 동작하기 위해 사용될 수 있거나, 상이한 처리 회로가 사용될 수 있다. 일 대안으로서, 구성요소들은 전용 회로들을 사용하거나 프로그래밍된 회로 및 전용 회로의 혼합으로서 구현될 수 있다.

도시된 바와 같이, 사후-필터(26) 및 연관된 것은 전체 압축해제 장치의 일부이다. 그러나, 이는 개별 디바이스로 구현될 수 있다는 것을 인식해야 한다. 일 실시예에서, 이러한 디바이스는 모바일 전화(mobile telephone)과 같은, 모바일 디바이스와 더 높은 품질의 디스플레이 디바이스(예를 들면, 텔레비전 모니터) 사이의 인터페이스로서 사용될 수 있다. 또 다른 실시예에서, 압축해제 장치는 개선된 품질의 비디오 스트림을 생성하기 위해 사후-필터링의 결과를 재압축할 수 있다.

파라미터 추정

도 5는 파라미터 추정기(16)의 다이어그램을 도시한 도면이다. 파라미터 추 정기(16)는 클러스터링 유닛(clustering unit)(40), 윈도우 수집기(42), 계수 선택기(44) 및 출력 인터페이스(46)를 포함한다. 계수 선택기(44)는 스트림 입력부(10) 및 압축해제기(14), 윈도우 수집기(42)를 통한 압축해제기에 결합된 입력부들, 및 클러스터링 유닛(40)에 결합된 제어 입력부를 갖는다.

작동 시에, 계수 선택기(44)는 각각의 클러스터들에 대한 필터 계수들의 세트들을 선택한다. 각 클러스터에 대해, 압축기(12) 및 압축해제기(14)에 의해 압축 및 압축해제의 결과들을 사후 필터링하기 위해 필터 계수들의 세트를 사용함으로써 획득된 픽셀값들과 스트림 입력(10)으로부터의 픽셀값들 사이의 차이의 평균화된 측정을 최소화하는 계수들의 세트가 선택될 수 있다. 차이의 평균 측정은 동일한 클러스터에 할당되는 픽셀 위치들에 걸쳐 평균화된다. 평균 제곱 차이가 사용될 수 있지만, 예를 들면, 지각적 차이의 통계적 측정과 같은, 임의의 다른 측정이 사용될 수 있다. 주어진 픽셀들의 세트에 대한 평균화된 측정을 최소화하는 계수들의 세트들을 선택하기 위한 기술들은 이미 공지되어 있다.

클러스터링 유닛(40)은 픽셀들이 할당되는 클러스터들을 결정한다. 이는 압축해제 장치에서의 클러스터 선택에 대응하는 방식으로 이루어질 수 있다. 일 실시예에서, 클러스터링 유닛(40)은 클러스터들을 또한 선택한다. 임의의 클러스터링 기술이 사용될 수 있다(클러스터링으로, 우리는 분리된 클러스터들의 블라인드 파인딩(blind finding) 뿐만 아니라, 미리 규정된 클러스터들에 대한 분류가 작동할 것임을 의미하지 않는다). 복수의 상이한 클러스터들을 사용함으로써, 사후-필터링의 결과들과 각각의 클러스터들 내의 원 픽셀값 사이의 차이를 최소화한 필터 계수 들의 세트들과 조합되어, 전체 이미지에 대해 필터 계수들의 단일 세트가 사용되면, 사후 필터링된 이미지와 원 이미지 간의 차이(예를 들면, 제곱된 차이들의 합)의 전체 측정이 획득된 것보다 작다는 것이 보장된다. 이는 임의대로 선택된 클러스터들에 대한 전체 차이를 이미 감소시킨다. 그러나, 몇몇 실시예들에서 차이의 감소를 최적화하기 위한 클러스터들이 선택된다. 클러스터의 선택은 클러스터들에 대한 필터 계수들이 선택되기 전에, 또는 필터 계수 선택과 조합하여 수행될 수 있다.

본 발명의 일반 개념은 원 이미지에 존재하는 구조의 종류, 및 압축된 버전이 이미지 최적화된/트레이닝된 필터들의 세트 중 특정한 필터를 적용함으로써 디코더 측에서 개선될 수 있는 방법(예를 들면, 통상적으로 원 이미지와 보다 유사한 것을 찾고; 또는 일반적으로 더 높은 이미지 품질, 예를 들면, 선명도를 가짐)에 기초하고, 필터들의 계수들/파라미터들은 신호에 부가된다. 다만 제한된 여분의 데이터는 그들 필터들; 및 예를 들면, 그들 중 일부가 적용되는 두 개의 이미지 위치들을 지정하도록 전송될 필요가 있다.

본 발명의 개념들 중 많은 변동들이 가능하고 수가 이하에 설명되고, 이러한 변동들은 H265와 같은 기존의 코딩 방식들을 개선할 수 있다.

일반적으로, 하나는 모든 발생하는 구조들을 몇몇 클래스들(예를 들면, 에지, 고주파수 수평 텍스쳐,...), 그러나, 본 발명의 보다 넓은 개념 내에서, 하나는 보다 구조적/계층적인 파라미터 방식(parametric way)으로 분류를 행할 수 있고, 이러한 방식은 예를 들면, 최상의 분류 유형을 먼저 알아내고, 그 다음 분류를 수행하는 계층 구조화 단계를 포함하거나, 예를 들면, 클러스터들 및 대응하는 필터 또는 사후-처리 파라미터들의 선택이 반복적인 방식으로 행해질 수 있는 또한 재분류 또는 상이하게 분류하는 것이다.

제 1 단계에서, 클러스터들이 규정되고, 다음에 클러스터들과 연관된 사후-처리 파라미터들이 규정될 수 있다.

이 방식은 일반적으로 양호한 결과를 제공할 것이지만, 본 발명의 프레임워크 내에서, 반복적인 프로세스들이 적용될 수 있다. 예를 들면, 불확실한 클러스터링을 찾고, 불확실한 클러스터들에 대한 필터 파라미터들의 세트는 찾는 것은, 보다 적합한 클러스터들을 찾기 위해 클러스터링을 정련(refine)하고, 필터 파라미터들의 세트들을 정련하는 것, 등이다;

다수의 가능한 반복 프로세스들의 예는 다음과 같다:

- 클러스터 내의 초기 모든 엘리먼트들에 사후-처리 파라미터들의 결정에 대해 동일한 가중치가 주어진다. 파라미터들의 초기 세트들 및 대응하는 클러스터 중심들이 결정되면, 원 픽셀값들과 사후-처리 후의 픽셀값들 사이의 평균 차이에 대한 초기 결과를 제공하여, 가변 가중치들이, 예를 들면, 미리 결정되지만 클러스터 중심에 대한 간격 측정에 의존한 조절가능한 방식으로 클러스터 내의 각 엘리먼트에 할당된다. 이러한 가중치들을 사용하여 필터 계수들이 재계산되고; 결과가 개선되면, 어떠한 또 다른 이득이 획득되지 않거나 이득에서의 증가가 문턱치 아래로 떨어질 때까지 프로세스가 반복된다. 이 방식의 간단한 실시예는 클러스터 또는 사후-처리 파라미터들에 대한 계산으로부터 클러스터 내의 '남은(odd)' 포인트들을 제거하고, 즉, 이러한 엘리먼트들에 대한 가중치들을 0으로 놓는다.

- 상기 실시예에서, 클러스터들의 엘리먼트들은 여전히 동일하지만, 계수들의 계산에 대한 그들의 효과가 변경된다. 일 대안적인 방식은, 클러스터 중심들 뿐만 아니라, 결정된 필터 계수들을 동일하게 유지하지만, 하나의 클러스터에서 또 다른 클러스터로 엘리먼트들을 시프트하여, 클러스터들 사이의 경계들을 시프팅하고, 원 픽셀값들과 사후-처리 후의 픽셀값들 사이의 차이를 재계산하는 것이다. 개선이 존재하면, 경계들이 또 다른 곳으로 시프팅된다.

- 클러스터 중심들 및 클러스터들이 규정되는 방식은 클러스터링 알고리즘에 의존한다. 상기 뿐만 아니라, 이하에 설명되는 바와 같이, (픽셀값들, 모션 벡터들, 에지, 텍스쳐 등에 대한) 클러스터링 뿐만 아니라, 클러스터링이 결정되는 방식(절대값들의 합의 최소화, 또는 제곱들의 합의 최소화)의 기반과 상이한 가능한 다양한 클러스터링 알고리즘들이 존재한다. 또 다른 실시예는, 픽셀값들 및 모션 벡터들과 같은, 다양한 기준들 및/또는 또 다른 기준들을 조합하는 클러스터링 알고리즘을 사용하고, 이러한 기준의 혼합을 사용하고, 반복 프로세스에서 기준들의 최적 혼합 및 파라미터들의 대응하는 세트들이 발견된다.

본 발명의 프레임워크 내에서 예를 들면, 계수 공간, Pinput/Pcompressed의 공간 해석을 통한 트래킹(tracking)에 의해 인코딩 측에서 최적 필터들을 빨리 찾는 것에 대한 변형들이 또한 개시된다.

일 실시예에서, 클러스터링 유닛(40)은 각각의 대표 조합들에 가장 근접한 간격에서 가능한 조합들의 공간의 부분들로의 분할을 규정하는 픽셀값들의 대표 조 합들을 식별하는 클러스터링 기술을 적용한다. 대표 조합들은 미리 결정된 클러스터 품질 기준에 기초하여 선택된다. 클러스터 품질 기준은 예를 들면, 각 분할 내에서 실제 관찰된 조합들의 수가 일부 미리 결정된 에러 마진 내에서 동일할 수 있거나, 각 분할 내의 실제 관찰된 조합들의 스프레드(spread)의 측정(예를 들면, 중심 픽셀값에 대한 제곱된 간격들의 합)이 문턱치 아래라는 것이다. 예를 들면, 윈도우들에서 발생하는 압축해제된 픽셀값들의 조합들을 그룹화하는 k-평균 클러스터링 알고리즘이 사용될 수 있다. 이러한 클러스터들을 사용함으로써, 필터 계수들의 각 세트가 유사한 콘텐트를 갖는 윈도우들에 적용되는 것이 보장된다. 이것은 사후-필터링 후의 에러를 최소화한다.

또 다른 실시예에서, 사후-필터링 후의 잔여 에러에 기초한 품질 기준을 사용하는 클러스터링 방법이 사용된다. 이러한 실시예의 일례에서, 클러스터들의 초기 규정이 이루어지고, 각 클러스터들에 대해 필터 계수들의 세트들이 선택되고, 상이한 픽셀 위치들에 대한 잔여 에러들의 크기가 계산된다. 클러스터에 대한 평균 크기가 문턱치 이상이면, 원 클러스터로부터 2개의 실제 관찰된 조합들을 새로운 대표 조합들로 취함으로써 클러스터가 분할된다. 유사하게, 이웃하는 클러스터들의 에러들의 평균 크기가 문턱치 아래이거나 및/또는 이러한 클러스터들에 대한 필터 계수들의 세트 사이의 차이가 문턱치 아래이면, 클러스터들이 합병될 수 있다. 이 절차를 여러번 반복함으로써, 클러스터들의 세트가 최적화될 수 있다. 이는 반복 프로세스의 또 다른 예이다.

출력 인터페이스(46)는 클러스터링 유닛(40) 및 계수 선택기(44)에 결합된 입력부들을 갖는다. 출력 인터페이스(46)는 압축해제 장치에 제공하기 위해 클러스터들 및 필터 계수들을 나타내는 정보를 스트림 멀티플렉서(18)에 제공하고, 그들은 사후-필터(26)에 의해 사용될 것이다.

비디오 이미지들의 스트림이 압축되는 실시예에서, 클러스터들 및 계수들은 스트림의 각 이미지에 대해 선택된다. 그러나, 이는 필요하지 않다. 클러스터들 및 계수들은 통상적으로 장면에 의존한다. 장면들(또는 유사한 장면들)이 일련의 이미지들로 묘사될 때, 모든 이들 이미지들에 대해 동일한 클러스터들 및 계수들이 사용될 수 있다. 또 다른 실시예에서, 파라미터 추정기(16)는 이미지들의 그룹들을 검출하도록 구성되고, 여기서 동일한 클러스터들 및 계수들이 사용될 수 있고, 클러스터들 및 계수들이 변경될 때, 단지 신호들을 검출하도록 구성된다. 이 경우에, 사후 필터(26)는 이전 수신된 클러스터 규정 및 필터 계수들의 세트를 보관하고 클러스터들 및 계수들이 변경되었다고 시그널링될 때까지 이전 수신된 클러스터 규정 및 필터 계수들의 세트를 사후 필터 압축해제들 이미지들에 적용한다.

이 실시예에서, 파라미터 추정기(16)는 각 인입하는 이미지에 대한 현재 세트를 사용하여 사후-필터링 후의 잔여 에러들의 크기를 계산하고 크기가 문턱치를 초과한 경우에만(및 선택적으로, 또한 마지막 클러스터 및 계수들의 새로운 세트 이후 미리 결정된 수의 이미지들 후에), 클러스터들 및 계수들의 새로운 세트의 계산으로 스위칭할 수 있다. 또 다른 실시예에서, 파라미터 추정기(16)는 비디오 스트림의 섹션들을 먼저 선택하고, 각 섹션에 대한 클러스터들 및 계수들의 세트를 계산할 수 있다. 이 경우에, 파라미터 추정기(16)는 섹션의 이미지들 중 하나의 서브세트 또는 섹션의 이미지들 중 단지 하나의 이미지를 처리함으로써 클러스터들 및 계수들을 선택할 수 있다.

일 대안으로서, 그룹들은 미리 결정된 함수들에 따라 이미지 특징들을 평가하고 이미지 특징들이 미리 결정된 문턱치 미만으로 상이하면 이미지들을 동일한 그룹에 할당함으로써 검출될 수 있다. 각 새롭게 수신된 이미지의 이미지 특징들이 수신될 수 있고, 클러스터들 및 계수들의 현재 세트가 사용되는 이미지의 특징들과 비교될 수 있으며, 클러스터들 및 계수들의 세트는 이미지 특징들이 문턱치 미만으로 상이하면 동일하게 유지된다.

일 실시예에서, 상이하게 압축된 이미지들 및/또는 상이한 오브젝트 평면들(object planes)에 대해 상이한 클러스터들 및 계수들의 세트들이 사용될 수 있다. 따라서, 예를 들면, 인트라-코딩된 이미지들(intra-coded images)(MPEG의 경우에서 I-프레임들)에 대해 클러스터들 및 계수들의 제 1 세트들이 규정될 수 있고 근처의 이미지들 및 선택적인 나머지들로부터의 예측에 의해 코딩된 이미지들(MPEG의 경우에서 P 프레임들 및 B 프레임들)에 대해 클러스터들 및 계수들의 제 2 세트가 규정될 수 있다. 또 다른 예로서, 출력 이미지를 형성하기 위해 중첩될 수 있는 복수의 평면들에 대한 이미지 콘텐트가 비디오 스트림에서 규정되면, 클러스터들 및 계수들의 상이한 세트들이 상이한 평면들에 대해 사용될 수 있다.

일 실시예에서, 클러스터들의 세트는 이들 이미지들 또는 평면들에 대해 동일할 수 있지만, 상이한 계수들이 사용될 수 있고, 각각은 상이한 유형의 프레임에서 에러들을 감소시키도록 선택된다. 이 실시예에서, 사후-필터(26)는 복수의 클러 스터들 규정들 및/또는 계수들을 동시에 저장하고 코딩 유형(I 또는 B, P) 및/또는 평면에 의존하여 이 복수들로부터 선택한다. 유사하게, 파라미터 추정기(16)는 코딩 유형 및/또는 평면에 기초하여 클러스터들 및 계수들을 선택한다.

일 실시예에서, 압축해제 장치는 클러스터들 및/또는 계수들의 복수의 세트들을 예를 들면, 클러스터 규정 메모리(34), 및 사후 필터(26)의 계수 메모리(36)에 동시에 저장하도록 구성된다. 압축해제 장치는 사후 필터로의 현재 이미지의 사용을 위해 세트 선택 신호에 의존하여 복수의 저장된 세트들로부터 현재 세트를 선택한다. 세트 선택 신호는 압축 장치로부터 제공된 선택 신호에 기초하거나 이미지 및/또는 평면의 유형에 기초하여 스트림 디멀티플렉서(22)로부터 제공될 수 있다.

또 다른 실시예에서, 압축 장치는 대응하는 클러스터들 및/또는 계수들의 복수의 세트들을 저장하도록 구성된다. 새로운 이미지(또는 오브젝트 평면)가 수신될 때, 파라미터 추정기는 이것이 클러스터들 및/또는 계수들의 저장된 세트들 중 하나에 할당될 수 있는지의 여부를 먼저 검사한다. 이는 예를 들면, 새로운 이미지를 압축하고, 이를 압축해제하고, 클러스터들 및 계수들의 저장된 세트들 각각에 따라 이를 사후-필터링하고, 결과들을 원 새로운 이미지와 비교함으로써 행해질 수 있고, 최소 차이를 이끌어내는 클러스터들 및 계수들의 세트가 선택된다. 이 차이가 미리 결정된 문턱치 아래이면, 압축 장치는 클러스터들 및/또는 계수들의 선택된 세트가 사용되어야 함을 압축해제 장치에 시그널링한다. 그러나, 대안적으로 일부 미리 결정된 이미지 특성들에 따라 새로운 이미지를 분류하고 이미지의 선택된 클래스와 연관된 클러스터들 및/또는 계수들의 세트를 선택함으로써 클러스터들 및/ 또는 계수들의 세트의 선택이 수행될 수 있다.

새로운 이미지와 압축, 후속 압축해제 및 클러스터들 및/또는 계수들의 선택된 세트를 갖는 사후-필터링의 결과 사이의 차이가 문턱치를 초과하는 경우, 메모리의 클러스터들 및/또는 계수들의 이전 세트를 대체하기 위해, 클러스터들 및/또는 계수들의 새로운 세트들이 추정되고 압축해제 장치에 전송되고, 이전 세트는 적어도 최근 사용된 세트, 또는 거의 유사한 세트 등을 사용함으로써, 예를 들면 압축 장치로부터 압축해제 장치로의 신호의 이 이전 세트를 명백히 식별함으로써 압축 장치 및 압축해제 장치의 동일한 기준에 따라 선택된다.

압축해제 후의 사후-필터가 압축 장치에 의해 표시된 정보를 사용하여 제어되는 일례가 설명되었지만, 다른 형태들의 사후-처리가 물론 사용될 수 있다는 것이 이해되어야 한다.

도 6은 사후-필터(26) 대신에 사용될 수 있는 사후 처리 회로의 일례를 도시한 도면이다. 이 사후 처리 회로에서, (유사(pseudo)-) 랜덤 신호 생성기(50) 및 가산기(52)가 부가된다. 랜덤 신호 생성기(50)는 계수 메모리(36)로부터의 하나 이상의 계수들의 제어 하에서 (유사-) 랜덤 신호를 생성한다. 가산기(52)는 이들 계수들을 압축해제된 신호에 부가한다. 랜덤 신호 생성기(50)는 랜덤 신호의 평균 및/또는 표준 변이 및/또는 생성된 랜덤 신호의 공간 상관 및/또는 공간 엔벨로프(spectral envelope) 및/또는 다른 통계적인 속성들을 계수 또는 계수들의 함수로서 제어하도록 구성될 수 있다. 이 방식으로, 국부적으로 생성된 텍스쳐는 압축해제된 신호에 부가될 수 있다. 관련 계수 또는 계수들은 원 이미지와 압축해제-압축된 이미지 사이의 차이의 통계들로부터 압축 장치의 파라미터 추정기에서 추정된다. 추정된 관련 계수 또는 계수들은 인코딩 장치로부터 디코딩 장치에 전송된다. 따라서, 실제 픽셀값들을 나타내는 데이터 대신에, 통계적인 속성들을 나타내는 계수들이 전송된다.

이것은 단지 텍스쳐 생성의 하나의 예라는 것이 강조되어야 한다. (유사-) 랜덤 신호 생성기(50) 대신에, 국부적으로 생성된 신호들을 압축해제된 이미지에 부가 또는 부분적으로 감산하기 위해 다른 유형들의 신호 생성기가 사용될 수 있고, 국부적으로 생성된 신호들은 압축해제 장치에 의해 시그널링된 계수들의 제어 하에서 생성된다. 예를 들면, 랜덤 생성기는 랜덤 선택들이 픽셀값들을 생성하도록 하는 값들의 세트를 제어하거나, 픽셀들을 출력 신호에 임의대로 매핑하는 기본 텍스쳐 패턴들을 제어하기 위해 계수들을 사용할 수 있다. 텍스쳐 생성에 더 많은 자유도를 제공하기 위해, 텍스쳐 생성이 일 실시예와 조합될 수 있고, 여기서 계수들의 세트들은, 픽셀 위치들(예를 들면, 이러한 블록들의 3x3 윈도우에 대해, 예를 들면, 8x8 픽셀 블록들을 이용하여)의 블록들의 세트 중 블록 각각에 대한 평균 픽셀값들, 또는 비-인접한 픽셀 위치들에 대한 서브-샘플링된 값들의 조합들에 대한 압축해제된 신호값들에 의해 선택된다.

또 다른 실시예에서, 텍스쳐 생성과 필터링의 조합이 사용되고, 계수들은 검출된 클러스터의 제어 하에서 선택된다. 또 다른 실시예에서, 단지 사후-필터링 또는 단지 텍스쳐 생성은 클러스터에 의존하여 사용된다.

상술된 실시예들에서, 사후-필터링과 같은 사후-처리는 압축해제의 결과적인 최종 이미지에 적용된다. 이는 임의의 형태의 압축 및 압축해제가 사용될 수 있다는 이점을 갖는다. 그러나, 대안적으로 사후-처리가 압축해제의 중간 결과들에 적용될 수 있다는 것을 인식해야 한다. 예를 들면, 압축해제된 주파수 계수들의 역 이산 코사인 변환(Discrete Cosine Transform; DCT)이 압축해제의 일부로서 사용될 때, 사후-처리는 예를 들면, 상이한 주파수들에 대한 계수들을 상이한 팩터들(factors)과 곱셈함으로써 주파수 계수들에 또한 적용될 수 있다. 유사하게, 텍스쳐 정보는 이러한 계수들에 부가될 수 있다.

파라미터 추정기 및 사후-필터는 다양한 유형들의 압축기 및 압축해제기와 조합될 수 있다. 일 실시예에서, 압축기는 양자화 압축기 예를 들면, 픽셀들의 블록에 대한 이산 코사인 변환(DCT) 계수들을 계산하고 이들 계수들을 양자화하는 압축기, 또는 픽셀값들을 양자화하는 압축기이다. 또 다른 실시예에서, 압축기는 이미지의 공간 해상도를 감소시키는 압축기일 수 있다. 대응하여, 압축해제기들은 압축해제된 이미지들을 재구성하기 위해 역 양자화 또는 보간법(interpolation)을 적용할 수 있다.

도 7은 해상도 스케일링(resolution scaling) 및 양자화를 포함하는 압축에 대한 애플리케이션을 도시한 도면이다. 여기서, 필터 계수들의 세트들은 두 형태들의 압축의 아티팩트들을 감소시키기 위해 사용된다. 도면은 압축 장치(66) 및 압축해제 장치(69)를 도시한다. 압축 장치(66)에서, 압축기(12)는 해상도 스케일러(60) 및 양자화 압축기(61)를 직렬로 포함한다. 일 실시예에서, 양자화 압축기(61)는 픽셀들의 블록들에 대한 이산 코사인 변환(DCT) 계수들을 계산하고 이들 계수들을 양 자화한다. 해상도 스케일러(60)는, 안티-알리아스 필터(anti-alias filter) 및 서브-샘플링 유닛(sub-sampling unit)을 포함할 수 있다. 압축해제기는 역 양자화 압축기(63) 및 역 해상도 스케일러(62)를 직렬로 포함한다. 압축해제 장치(68)에서, 압축해제기는 사후-필터(26) 전면에 역 양자화 압축해제기(65) 및 역 해상도 스케일러(64)를 직렬로 포함한다.

작동 시에, 안티-알리아스 필터 및 서브-샘플링 유닛을 포함할 수 있는 해상도 스케일러(60)는, 이미지들을 압축하기 전에 수신된 이미지들이 표시되는 해상도를 감소시킨다. 역 해상도 스케일러(62)는 원 해상도, 또는 압축 및 연속적으로 압축해제된 감소된 해상도 이미지들보다 적어도 더 높은 해상도의 이미지들을 재구성한다.

파라미터 추정기(16)는 재구성된 이미지들에 적용될 때, 이들 이미지들을 원 입력 이미지들에 대응하는 이미지들에 보다 근접하게 대응하게 하는 사후 필터 작동을 위해 필터 계수들의 세트들 및 선택적으로 클러스터들을 선택한다.

압축해제 장치(68)에서, 이미지들은 압축해제되고, 후속적으로 해상도가 스케일링 업된다(scaled up). 스케일링 업된 이미지들은 선택된 필터 계수들의 세트들을 사용하여 사후-필터링된다. 사후-필터(26) 및 역 해상도 스케일러(64)가 개별 유닛들로서 도시되었지만, 그들이 통합될 수 있다는 것을 인식해야 하고, 필터 계수들은 픽셀값들이 업스케일링 동안 보간되어야 하는 방법을 규정한다.

예시된 실시예에서, 적용가능한 클러스터가 스케일링 업된 이미지의 픽셀값들의 제어 하에서 선택되지만, 대안적으로, 클러스터들은 압축해제된 감소된 해상 도 이미지, 즉, 역 양자화 압축해제기(65)로부터의 이미지로부터의 픽셀값들에 기초하여 선택될 수 있다는 것이 이해되어야 한다. 일 실시예에서, 이것은 압축 장치(66) 및 압축해제 장치(68) 둘 모두에서 행해진다.

일 실시예에서, 양자화 압축기(61) 및 역 양자화 압축해제기(63)는 생략되어, 해상도 감소가 단지 압축의 형태일 수 있게 한다. 이 경우에, 사후-필터(26)는 해상도 감소 및 더 높은 해상도 이미지의 후속 재구성으로 인해 아티팩트들만을 감소시키기 위해 사용된다. 도 7에서, 사후-필터(26)는 해상도 감소 및 양자화로 인한 아티팩트들을 감소시키기 위해 모두 사용될 수 있다.

또한, 도 8에 도시된 바와 같이, 일 대안적인 실시예로서, 개별적인 사후-필터들(39a, 39b)은 압축기(12)에 의한 압축으로 인한 아티팩트들 및 해상도 스케일러(60)에 의한 해상도 감소로 인한 아티팩트들의 정정을 위해 압축해제 장치(68)의 서브-필터들로서 직렬로 사용될 수 있다. 이 실시예에서, 필터 계수들의 개별 세트들은 이들 상이한 사후 필터 작동들을 위해 제공될 수 있다. 이는 상이한 세트들이 상이한 함수들에 대해 최적화될 수 있는 이점을 갖는다. 일 실시예에서, 클러스터들의 상이한 세트들은 사후-필터들(39a, b)의 상이한 필터들에 대해 규정될 수 있고, 사후-필터들에 대한 사후-필터 계수들은 사후-필터(39a, b)에 대해 규정된 클러스터들에 대해 제공될 수 있다. 따라서, 사실상, 제 1 및 제 2 사후-필터(39a, b)의 조합에 대한 클러스터들은 개별적인 사후-필터들에 대한 클러스터들의 서브-클러스터링을 규정한다. 서브-클러스터링에서 상이한 서브-클러스터들은 동일한 필터 계수들의 세트를 공유한다. 대안적으로, 서브-클러스터들이 먼저 결정되고, 그 다음 선택된 사후-필터에 대한 수퍼 클러스터들에 후속적으로 결합될 수 있고, 각 수퍼 클러스터의 서브-클러스터들은 선택된 사후 필터에 대한 필터 계수들의 세트를 공유한다. 이 경우에, 어떠한 개별 필터 계수들의 세트들도 상이한 서브-클러스터들에 대해 전송될 필요가 없고, 이는 전송 대역폭을 절약한다.

도 9는 이러한 복수의 세트들을 생성하기 위한 압축 장치의 또 다른 실시예를 도시한 도면이다. 이 실시예에서, 압축 장치에는 부가 파라미터 추정기(16a) 및 사후-필터(600)가 부가된다. 사후-필터(600)는 역 양자화 압축해제기(63)와 역 해상도 스케일러(64) 사이에 결합된다. 부가 파라미터 추정기(16a)는 해상도 스케일러(60)의 출력부 및 역 양자화 압축해제기(63)의 출력부 및 사후-필터(600) 및 멀티플렉서(18)의 제어 입력부에 결합된 출력에 결합된 입력부들을 갖는다.

이 실시예에서, 부가 파라미터 추정기(16a)는 압축으로 인한 아티팩트들을 감소시키기 위해 제어 파라미터들의 세트들을 제공하는 역할을 하는 반면에, 파라미터 추정기(16)는 주로 해상도 감소 및 업-스케일링으로 인한 나머지 아티팩트들을 감소시키기 위해 제어 파라미터 세트들을 제공하는 역할을 한다. 부가 파라미터 추정기(16a)는 양자화 압축기(61)에 의한 압축 전 및 역 양자화 압축해제기(63) 후의 이미지 사이의 차이를 감소시키는 사후-필터 작동의 제어 파라미터들의 세트들을 선택한다. 사후-필터(600)는 이미지를 역 해상도 스케일러(62)에 전달하기 전에 이들 제어 파라미터 세트들에 의해 선택된 사후 필터 작동을 압축해제된 이미지에 적용한다. 멀티플렉서(18)는 압축해제 장치의 사후 필터들에 의한 사용을 위해 이들 제어 파라미터 세트들을 스트림에 부가한다.

해상도 스케일러(60), 사후-필터(600), 역 해상도 스케일러(62) 및 파라미터 추정기(16)를 제외한 도 9의 부분이 도 1의 압축 장치와 본질적으로 동일하다는 것을 유의하고, 여기서 압축해제기(14)의 입력은 이미지 입력을 형성한다. 도시된 바와 같이, 도 9의 실시예는 압축해제 후의 대응하는 파라미터 추정으로 압축의 부가층을 부가한다. 인식될 바와 같이, 각 경우에, 파라미터 추정기는 압축 처리 작동 전 및 이 압축 처리 작동의 역인 압축해제 처리 작동 후의 이미지를 비교함으로써 제어 파라미터 세트들을 유도하기 위해 사용된다. 제어 파라미터들의 세트들은 국부 이미지 구성들의 상이한 클러스터들에 대해 선택된다.

도 9에 도시된 바와 같이, 연속적인 압축 작동들이 적용될 때, 파라미터 추정은 복수의 횟수들로 적용될 수 있고, 각각은 각각의 압축 작동에 대한 것이다. 압축 작동들이 데시메이션(decimation) 및 양자화인 일례가 도시되었지만, 다른 압축 작동들이 사용될 수 있다. 일 실시예에서, 압축 작동, 또는 사후 필터링 및 파라미터 추정이 사용되는 압축 작동들 중 하나는 예상 압축일 수 있고, 사후-필터링은 기준 이미지, 또는 복수의 기준 이미지들에 대해 모션 벡터들과 같은, 기준들에 의해 표시된 이미지에 적용된다.

클러스터들의 선택은 상이한 파라미터 추정기들에 의해 개별적으로 수행될 수 있다. 이 경우에, 클러스터 규정 정보는 제어 파라미터들의 모든 세트들에 대한 스트림에 포함될 것이다. 이는 클러스터 선택을 최적화하고 스트림에 대해 증가된 대역폭 사용의 비용에서 가능하게 한다. 일 대안적인 실시예에서, 파라미터 추정기들은 동일한 클러스터 선택을 공유한다. 이 실시예에서, 이는 연속하여 적용된 사 후-필터 작동들에 대한 제어 파라미터들의 복수의 세트들에 대한 공유된 클러스터 규정 정보를 포함하는데 충분하다. 이는 대역폭 사용을 감소시킨다.

도 10은 예상 압축에 대한 애플리케이션을 도시한 도면이고, 사후 필터링은 기준 이미지에 적용된다. 여기서, 사후-필터링된 압축해제된 인트라-코딩된 이미지들은 예상 압축 및 압축해제에 대한 기준으로서 사용된다. 도면은 기준 이미지에 대한 메모리(72, 74)를 각각 포함하는 압축 장치 및 압축해제 장치를 도시한다. 압축 장치는 압축기(14)의 출력부와 메모리(72) 사이에 결합된 사후-필터(70)를 포함한다. 압축 장치의 메모리(72)는 압축기(12)의 입력부에 결합된다. 파라미터 추정기(16)의 출력부는 사후-필터(70)의 제어 입력부에 결합되고, 사후-필터(70)의 기능은 압축해제 장치의 사후-필터(26)의 기능과 유사하다. 작동 시에, 메모리(72)는 필터 계수들의 세트들에 따라 사후 필터링에 의해 획득된 선택된 이미지들을 저장하고 압축기(12)는 저장된 이미지들에 대해 모션 벡터들 및 선택적인 나머지 정보에 관하여 다른 이미지들을 인코딩하기 위해 저장된 이미지들을 사용한다.

유사하게, 압축해제 장치의 메모리(74)는 사후-필터(26)의 출력부 및 압축해제기(24)의 입력부로부터의 피드백 루프에 결합된다. 작동 시에, 메모리(74)는 선택된 사후-필터링된 이미지들을 저장하고 압축해제기(24)는 저장된 이미지들에 대해 모션 벡터들 및 선택적인 나머지 정보에 관하여 인코딩된 다른 이미지들을 디코딩하기 위해 저장된 이미지들을 사용한다. 이 방식으로, 예상 압축 및 압축해제에서 사용하기 위한 개선된 기준 이미지가 제공된다. 예상 압축 및 압축해제에서, 예상된 이미지는 다만 하나의 기준 이미지를 사용하여 예상될 수 있지만, 대안적으로 복수의 기준 이미지들로부터의 예상이 사용될 수 있다.

본원에 설명된 방법 및 장치들은 압축 장치에 의해 규정된 사후-처리 계수들을 사용하여, 적어도 부분적인 압축해체 후에 사후-처리에 의한 압축 아티팩트들을 감소시키는 것을 가능하게 한다. 사후-처리의 품질은 압축해제된 이미지의 콘텐트의 제어 하에서 선택된, 이미지의 상이한 위치들에서의 상이한 계수들의 세트들을 사용함으로써 개선된다. 예를 들면, 양호한 내장 카메라로 모바일 폰 상에서 픽쳐(picture)를 찍지만, 낮은 품질로 측면 정보를 가산하여 픽쳐를 저장하고, 그 다음 (고화질(high definition)) 텔레비전 또는 pc 상에서 픽쳐를 볼 친구에게 픽쳐를 전송하는 것과 같이, 낮은 품질의 이미지 및 높은 품질의 이미지를 링크하는 많은 애플리케이션들이 가능하다.

하나는 상이한 픽쳐들의 서브그룹들(subgroups)에 대한 상이한 최적의 필터 세트들을 사용할 수 있다. 예를 들면, B-픽쳐들은 I 및 P 픽쳐들과 상이하게 필터링될 필요가 있을 수 있다. 이 경우에, 신호는 통상적으로 클래스들 및 예를 들면, B 픽쳐: 클러스터 1: 계수 1, 계수 2,...; 클러스터 2: 계수 3, 계수 4,...; 클러스터 X; I 픽쳐: 클러스터 Y:... 와 같은 태그들을 갖는 대응하는 필터링 파라미터들(필터들은 다양한 방식들 예를 들면, 아래에 놓이는 필터링된 영역 상에서 수행하기 위한 절차들을 포함하는 알고리즘 설명으로 지정될 수 있기 때문에 실제 포맷은 좌측 개방임)을 그룹화하기 위한 또 다른 정보를 가질 것이다.

구성된 클러스터링들의 다른 예들은 압축 파라미터들 예를 들면, 고 및 저 양자화, 또는 고 및 저 모션 등에 대한 상이한 세트들에 대해 행해질 수 있다.

클러스터링 선택은 픽셀 값들, 모션 벡터들 및 픽셀값들 및 모션 벡터들 둘 모두 중에서의 다양한 선택 기준들에 의해 상술되었다. 본 발명은 이러한 예시적인 선택/분류 기준들에 제한되지 않는다.

예를 들면, 적응 필터링을 위한 또 다른 분류 기준들이 개선된 시각적 품질로, 디코딩 프로세스에 대해 상당히 감소된 계산 비용을 이끌어 낼 수 있다. 이는 인코딩에서 계산 비용을 또한 감소시키고 분류에 대해 보다 적합한 성능을 제안한다. 이러한 필터링은, 사후-처리된 시퀀스들(post-processed sequences)의 품질 상의 개선이 그래디언트 변화들을 갖는 영역들 상에 주로 집중된다는 통찰에 기초한다.

바람직한 일 실시예에서, 수평 그래디언트 값 및/또는 수직 그래디언트 값이 계산되고 이들은 선택 프로세스에서 사용된다. 선택기는 수평 그래디언트 값 및/또는 수직 그래디언트 값에 기초하여 분류함으로써 위치에 대해 이미지 정보를 분류하도록 구성된다.

예를 들면, 인코더 측에서 장면-적응 클러스터들을 유도할 때, 클러스터링 통계들에 대한 기본 패턴으로서 직접적으로 정규화된 어퍼쳐(aperture)(예를 들면, 5x5) 윈도우를 사용하는 대신에, 수평 그래디언트 값(ex) 및 수직 그래디언트 값(ey)은 다음과 같이 규정된 2개의 Sobel 에지 필터들(수평 및 수직)로 각 윈도우를 컨볼브(convolve)함으로써 계산된다.

-1 -2 -1 -1 0 1

0 0 0 및 -2 0 2

1 2 1 -1 0 1

결과적으로, 각 어퍼쳐는 피쳐 벡터 {ex, ey}로 표시된다. 그 다음, 클러스터링 알고리즘, 예를 들면, k-평균은 이들 클러스터들에 대해 수행된다. 도 11은 두 개의 시퀀스들에 대한 전형적인 클러스터링 결과들을 도시한 도면이다. 십자 기호들(crosses)은 클러스터들 중심들을 나타낸다. 포인트들은 매우 많은 포인트들에 대한 결과들을 도시한다.

발견된, 부가적인 이점은 클러스터 중심들이 상이한 시퀀스들에 대해 꽤 일관적이라는 것이다. 따라서, 시퀀스들과 관계없이 몇몇 클러스터 프로파일들을 규정하는 것이 가능하다. 예를 들면, 도 12에서, 5-클러스터-프로파일 및 21-클러스터-프로파일들의 예시적인 규정들이 도시된다. 이들 프로파일들의 규정은 다수의 시퀀스들의 자체-클러스터링 결과들을 평균화함으로써 획득된다. 이들 2차원 플롯들에서, 다양한 시퀀스들에 대한 k-평균에 의해 유도된 클러스터 중심들이 실제적으로 도 12에 도시된 바와 같이 매우 유사한 분포들을 공유한다는 것을 알 수 있다. 십자 기호들은 클러스터 중심들의 위치를 나타낸다. 이것은 클러스터 중심들의 사전 규정(predefining)을 허용한다.

클러스터-프로파일들이 미리 규정되고 따라서 표준화될 수 있기 때문에, 스트림들을 따라 클러스터 중심들의 위치를 더 이상 전송할 필요가 없다. 따라서, 단지 장면-적응 필터들(또는 보다 일반적으로 제어 파라미터 세트들)은, 예를 들면 스트림을 따른 부가적인 정보(side information)로서 전송된다. 필터들의 파라미터들과 같은, 제어 파라미터 세트들은 상이한 비디오들(다양한 장면 특징들, 인코딩 설정들 등을 갖는)의 상이한 특징들을 반영하기 위해 인코딩 동안 각 클러스터에 대해 여전히 동적으로 생성될 필요가 있다.

상술된 방식을 적용함으로써, 디코더에서의 절약들이 명백하고: 올바른 클러스터들의 선택은 단지 2-차원 피쳐 간격들(5x5=25차원 피쳐 간격들 대신에)을 포함하여 더 간략화된다. 또한, 미리 규정된 클러스터 프로파일들을 사용하는 바람직한 실시예에서, 분류는 예를 들면, 미리 규정된 2차원 룩-업 테이블 T,

T(ex, ey) = 클래스-라벨, 에 의해 구현될 수 있다.

여기서 (ex, ey)는 픽셀(x,y)에서의 그래디언트 값들이고, T(ex, ey)는 주어진 프로파일에 대한 그의 연관된 클래스 라벨을 직접 제공한다. 따라서, 디코더 측에서, 클러스터 선택에 대한 계산 비용은 거의 무시된다.

또 다른 이점은 보다 안정된 분류 결과들이다. 그래디언트 피쳐들이 시각적으로 보다 어필하는(appealing) 사후-처리된 시퀀스들을 이끌어 내어, 원 휘도 어퍼쳐보다 더 시각적으로 안정된 국부 패턴들의 분류를 제공하는 것이 밝혀진다.

미리 규정된 그래디언트 기반 프로파일들을 적용할 때, 어떠한 클러스터 중심 정보가 전송될 필요가 없기 때문에, 부가적인 정보에 대한 부가 비트 비용이 절반으로 감소된다. 어떠한 자체 클러스터링이 계산되지 않고 단지 MSE 최적화가 수행되기 때문에, 인코더 측에서의 계산 비용 또한 감소된다.

디코더 측에서, 올바른 필터들의 선택은 계산 시간의 대부분을 차지한다. 우리는 N개의 클러스터들을 이용한다고 가정하면, 필터의 선택은 필터링 자체보다 N배의 계산 비용을 차지한다. 그래디언트 기반 방식을 적용함으로써, 필터들의 선택 은 올바른 클러스터에 대한 Sobel 컨볼루션 및 테이블 룩업만을 수반한다. 선택 절차는 통상적으로 필터링 프로세스의 계산 시간의 1/6 미만이 걸린다. 이는 디코더 측에서 사후-필터링에 대해 실시간 구현이 가능하게 한다.

그래디언트 기반 선택 방법을 적용함으로써 시각적 품질은 픽셀값 기반 방법들보다 0.5 내지 0.7 dB까지 더 좋아진다. 소위 쉴즈 시퀀스(Shields sequence)의 크롭된(cropped) 예들이 디스플레이되는 일례가 도 13에 도시된다. 그래디언트 정보가 원 휘도보다 양호한 표현이고 X-Y 그래디언트 좌표에서의 유사성이 MxM 차원 휘도 공간에서의 MSE 메트릭보다 클래스들을 결정하는데 더 적합하다는 사실에 의해 개선된 시작 품질이 설명될 수 있다.

대안적인 또는 부가적인 간단한 클러스터링이 텍스쳐에 기초하여 또한 행해질 수 있다. 텍스쳐는 종종 적은 수의 파라미터들로 검출하기에 간단하다. 예를 들면 다음과 같다.

1. 휘도가 얼마나 거칠게 변동하는지를 특징으로 하는, 표준 편차

2. 패턴이 얼마나 자주 오르고 내리는지의 하나의 가능한 측정인 연속 누적 그래디언트(running accumulative gradient)

3. 평균 컬러

그래디언트 유형의 선택에서, 2차원 공간의 다수의 클러스터 중심들이 규정되고(도 11 및 12 참조), 텍스쳐 클러스터들은 3차원 공간의 클러스터 중심 포인트들에 의해 규정될 수 있고, 세 개의 축들은, 예를 들면, 표준 편차, 연속 누적 그래디언트 및 평균 컬러이다. 하나의 포인트는 예를 들면, 파란 하늘(작은 표준 편 차, 작은 누적 그래디언트, 파란 평균 컬러)에 대응할 수 있다. 또 다른 포인트는 잔디에 대응할 수 있다.

본 발명에 따른 방법 및 디바이스의 또 다른 실시예에서, 선택은 계층 구조로 수행된다.

실제 분류 절차 전에, 선택을 위한 가장 적합한 형태의 제 1 거친 분류 예를 들면, 분류가 휘도값들, 모션 벡터들, 그래디언트들, 텍스쳐 또는 이러한 기준들의 임의의 조합에 대해 이루어지는지의 여부가 행해진다. 제 1 계층 결정이 취해지면, 선택 절차가 수행된다.

파일의 임의의 부분, 이미지, 이미지의 일부, 이미지들의 시퀀스에 대해 계층 결정이 취해질 수 있다. 또한, 선택 기준은 이미지 데이터의 유형 예를 들면, 프레임의 유형에 의존할 수 있다.

도 14는 다양한 가능한 선택 방법들이 선택되는 계층 구조를 개략적으로 도시한 도면이다.

이미지 또는 이미지 일부의 인입하는 데이터는 먼저 단계(110)에서 사전-선택기(110)의 에지 필터에서 처리된다. 이 사전-선택 시에, 패턴이 우선 에지 캐릭터를 갖는지 우선 텍스쳐인지의 여부에 대한 결정이 이루어진다.

이미지 또는 이미지 일부가 우선 에지 캐릭터를 갖는 것으로 분석이 도시하면, 데이터는 최종 선택기(111)에 전송되고, 클러스터 선택 및 클러스터들에 대한 제어 파라미터들의 세트들의 결정이 그래디언트(ex, ey)에 기초하여 수행되고, 도 11 및 도 12를 참조하라. 패턴이 우선 텍스쳐인 것으로 분석이 도시하면, 데이터가 최종 선택기(112)에 전송되고, 클러스터 선택 및 클러스터들에 대한 제어 파라미터들의 세트들의 결정이 텍스쳐 파라미터들에 기초하여 수행된다.

도 15a 내지 도 15c는 본 발명의 또 다른 실시예를 예시한 도면들이다.

많은 압축 기술들에서, 압축은 블록에 기반한다. 압축해제 시에, 블록 에지 에러들이 발생하고, 즉, 블록들의 에지들이 가시화될 수 있다. 이미지의 분할 및 블록 기반 처리는 블로킹 아티팩트들(blocking artifacts)로서 공지된 에러들을 유발한다. 이들 블로킹 아티팩트들은 특히 낮은 비트 레이트들에서 지각된 이미지 품질을 저하시킨다. 디블로킹 필터를 사용하는 것은 이러한 블로킹 에러들을 감소시킨다. 표준 H.264에서 디코더에서 디블로킹 필터를 적용하는 것이 공지되어 있고, 디코더 단부에서 에지 조건들에 기초한 분류가 이루어진다. 분류는 다수의 가능한 표준 프리픽스된(prefixed) 블로킹 필터들로부터 하나를 선택하기 위해 사용된다. 상이한 필터들 자체는 고정되고 디코더 측에서의 필터들의 선택은 인코더로부터의 임의의 부가적인 정보 없이 수행될 수 있다.

도 15a는 본 발명의 일 실시예를 예시한 도면이다. 인코더 단부에서 인입하는 신호(150)는 압축된 신호(151)를 제공하기 위해 압축기(152)에서 압축된다. 압축된 신호는 압축해제기(154)에서 압축해제된다. 압축해제 후에, C 클러스터들은 블록의 위치, 에지 스텝 크기 및 이웃하는 블록들의 코딩 모드들과 같은 특성들에 의존하여 형성된다. 클러스터들 각각에 대해, 적응 필터 파라미터들(F(C))을 갖는 적응 필터들은 블록 내의 위치에 의존하여 식별되고, 필터 파라미터들(F(C))을 갖는 적응 필터들이 사용된다. 디블로킹 필터들의 출력은 압축-압축해제-필터링된 이 미지와 원 이미지를 비교하는 비교기(154)에 제공된다. 비교기는 에러 신호(E)를 제공한다. 다양한 클래스들에 대한 분류(C) 및 필터 파라미터들(F(C))은 에러(E)를 최소화하도록 적응된다. 디블로킹 필터는 내부-루프, 루프-외부에서 사용될 수 있고, 도 15a는 루프 외부에서 필터를 사용하는 일례, 즉, 완전한 압축해제 후의 일례를 도시한 도면이다. 디블로킹 필터는 내부 루프에서 또한 사용될 수 있다.

도 15b 및 도 15c는 디코더 단부에서 본 발명을 예시한 도면들이다.

VLD는 가변 길이 디코더를 의미하고, IQ는 역 양자화를 의미하고, IDCT는 역 DCT를 의미하고, DF는 디블로킹 필터를 의미하고, MC는 모션 보상을 의미한다. 필터 작동들은 데이터(C)(분류) 및 F(C), 즉, 상이한 클래스들에 대한 필터 파라미터들의 세트들에 의해 지배된다. 도 15b에서, 처리 회로는 루프 외부에서 디블로킹 필터(DF)를 적용하도록 구성되고, 도 15c에서, 디블로킹 필터(DF)는 내부 루프에 적용된다.

간단한 형태의 이 실시예는 공지된 디블로킹 필터와 같은 필터들을 선택하는 동일한 기준들을 사용하지만, 적응 파라미터들을 갖는 필터들로 고정 필터들을 대체한다. 이 간단한 형태의 공지된 분류에서, 디코더 단부에서 팩터들을 결정하는 것은 간단한 표준이지만, 필터 파라미터들은 적응적이다.

선택 절차는 예를 들면, 경계 세기 파라미터를 각 4x4 휘도 서브-블록의 에지들에 할당하면서 시작한다. 경계 세기는 각 서브-블록의 모드 및 코딩 조건들 및 그의 이웃하는 블록들(예를 들면, 인터(inter) 또는 인트라(intra), 코딩된 나머지 또는 모션 벡터들의 크기)에 의해 배타적으로 결정되고 블로킹 아티팩트들에 의해 야기되기 쉬운 에지들에 대한 강한 필터링, 블로킹에 의해 영향 받을 수 있는 에지들에 대한 정상 필터링, 및 관련된 콘텐트일 수 있는 에지들에 대한 비필터링 사이에서 제 1 선택을 한다. 이 초기 세분화 후에, 에지 활성 즉, 에지의 두 측면에 대한 픽셀값들 사이의 절대 차이에 대한 불균형 조건들은, 필터들을 적용하는지의 여부를 결정한다. 도 16은 서브-블록 에지(BE)를 이웃하는 픽셀들(p₀ 및 q₀)이 정상 필터링 모드에서 필터링되는지의 여부를 결정하기 위해 사용된 조건들의 일례를 제공한다. 픽셀(q₀)은 조건들(1) 및 (2)가 만족되는 경우에만 필터링된다. 마찬가지로, p₀은 조건들(1) 및 (3)이 만족되는 경우에만 필터링된다. 공지된 방법에서, 디블로킹 필터로부터의 고정 필터들의 세트가 선택될 수 있고, 이들 모두는 동일한 구조를 갖는다. 그들은 유한 임펄스 응답(FIR) 유형의 1-차원 필터들이고, 필터링되는 픽셀에 대해 최대 2 스탭들(steps) 변위를 갖는다. 상이한 고정 필터들은 블록 에지에 대한 상이한 간격을 갖는 픽셀들에 적용된다. 에지로부터의 또 다른 픽셀들은 블로킹 아티팩트들에 의해 덜 영향을 받고, 따라서 더 약한 필터링을 수신할 것이다. 이 방식으로, 디블로킹 필터는 블록-변환에서 관련 위치가 갖는 통계들의 변동에 대해 매우 기초적인 방식으로 어카운트(account)한다. 필터링은 매크로-블록 레벨에서 적소에 수행되고, 먼저 수직 에지들의 수평 필터링이 수행되고, 다음에 수평 에지들의 수직 필터링이 수행된다.

어느 필터들을 적용할지를 결정하는 절차는 분류 프로세스로서 볼 수 있고, 임의의 부가 정보에 대한 요구 없이 디코더 측에서 수행될 수 있다. 이는 분류에 대한 어떠한 정보도 전송될 필요가 없고, 디코더 단부에서 공지된 분류 방식들이 사용될 수 있는 이점을 갖는다. 본 발명의 접근법은 디코더에서만 표준 고정 필터들을 사용하는 대신에, 표준 필터들을 적응 필터들로 대체하고 각 클래스에 대해 파라미터들의 최적 세트를 확립하는 것으로 요약할 수 있다. 디코더 단부에서 분류에 대한 계산적 요구는 변하지 않고, 이는 이점이다.

간단한 실시예에서, 디코더 단부에서의 공지된 결정 팩터들은 간단히 복제되지만, 필터 파라미터들은 적응적이고, 보다 진보된 실시예들에서, 클래스 선택을 위한 결정 팩터들 예를 들면, 조건들(1) 및 (2)을 적응시킴으로써 또한 적응적이다.

일 실시예에서, 방법은 두 개의 통과 절차로 구현된다. 제 1 단계에서, 알고리즘(algorithm)은 각 픽셀에 적용될 필터의 유형을 결정하기 위해 모든 매크로블록들(macroblocks)을 처리한다.

다음 단계에서, 특정한 필터에 의해 영향을 받는 모든 픽셀들이 수집되고 최적 필터 계수들이 평균 제곱 오차(Mean Square Error; MSE) 센스로 추정된다. 이 프로세스는 모든 필터들에 대해 반복된다. 그러나, 필터링이 적소에서 수행되기 때문에, 기분 프레임은 바람직하게 사이에서 업데이트된다. 즉, 픽셀들의 클래스에 대한 필터의 계수들이 계산된 후의 각 시간에서, 다음 필터에 대한 계수들을 계속하여 결정하기 전에, 필터는 현재 기준 프레임에 적용된다.

장면-적응 필터가 내부 루프에서 동작되면, 인코더 및 디코더 측에서의 필터링 프로세스의 순서가 매칭(matching)되는 것이 중요하다. 일 실시예에서, 이는 필 터들을 적용하는 순서를 정함으로써 달성된다. 이러한 구현의 간단한 확장은 인코더 측에서 최적의 필터링 순서를 결정하고 필터 순서를 스트림으로 시그널링하는 것이고, 그 다음 출력(157)은 F(C), 즉, 필터 계수들 및 S(F), 즉, 필터들이 적용될 순서일 것이다. 적소 필터링으로 인해, 필터링 작동은 대용되지 않고, 필터링 순서를 변동하는 것은 성능을 개선할 수 있다. 내부루프 작동의 결과로서 비-선형성들을 회피하기 위해, 최적의 필터 계수들이 프레임마다 추정된다.

내부루프 작동의 결과로서 비-선형성들을 회피하기 위해, 최적의 필터 계수들이 프레임마다 추정된다. 동등한 사후-필터와 비교하여, 내부루프 작동에서 이는 1 내지 1.5%의 부가적인 비트 레이트 감소를 유발한다. 이는 필터가 최종 이미지를 개선할 뿐만 아니라, 기준 이미지가 모션 보상에 대해 더 높은 품질을 제공한다는 사실에 의해 설명될 수 있다. 내부루프 필터링의 또 다른 이점은 사후-필터링이 항상 선택적이면서 어떤 레벨의 성능을 보장한다는 것이다. 에지 유형 및 선택된 코딩 모드 둘 모두에 기초하여, 고정된 계수들을 갖는 미리 규정된 필터들의 세트 중에서 선택하는 디블로킹 필터 알고리즘과 비교하여, 이들 필터들 각각과 연관된 최적의 계수들을 추정하고 이들을 비디오 스트림으로 시그널링하는 것에 의한 디블로킹의 성능은 5 내지 10% 정도였다. 도 17은 비디오 기술에 대한 회로들 및 시스템들에 대한 IEEE 트랜잭션(transaction), 13(7): 614 내지 619에서 List 등에 의해 제안된 분류 알고리즘을 사용하는 표준 분류 방법들을 사용하는 표준 H.264 고정 블로킹 필터들과 비교하여, 적응 활성 필터들을 이용하여 비트-레이트에서의 감소의 측정들을 제공한다. 곡선들(C 및 D)은 고정된 인덱스(index) A 및 인덱스 B의 상이한 선택들에 관한 것이고, 도 16을 참조하라. 본 발명의 이점은 명백하고, 고정 필터들 대신에 적응 필터 계수들을 사용하는 것은 비트 레이트에서 상당한 감소를 유발한다.

상술된 바와 같이, 필터가 적용되는 순서를 최적화함으로써 또 다른 개선들이 획득될 수 있다.

분류의 적응 최적화, 예를 들면, 적응 활성 필터들의 분류를 블록-변환에서 관련 위치에 의존하도록 함으로써 또 다른 개선들이 획득될 수 있다. 도 17은 표준 고정된 블로킹 필터들의 분류 기준들이 본 발명에 대해 최적화되지 않고 간단히 복제되는 일 실시예에 대한 결과를 도시한 도면이다. 비트 레이트의 감소에서의 다소 상당한 효과는 분류 및/또는 필터 선택 기준들의 또 다른 최적화에 의한 개선에 대해 여전히 여지가 존재한다는 것을 제안한다.

블록 기반 분류의 상기 실시예는 분류 및/또는 필터링이 위치(이러한 경우, 블록 내의 위치)에 의존하여 이루어지는 실시예들의 더 큰 그룹의 일례이다.

상기 실시예들의 그룹 내에서, 다른 예들은 다음과 같다:

이미지 내, 예를 들면 경계 근처의 위치에 의존하여 상이한 다수의 클래스들을 분류하고, 중심 영역들과 비교하여, 적응 필터들의 상이한, 단순한 세트가 사용되고, 중심 영역들에서 더 많은 수의 클래스들이 사용되고/사용되거나 더 복잡한 필터들이다. 이는 전송되야할 데이터에 대해 안전할 수 있다.

오브젝트에 의존하여 분류하고 예를 들면, 하늘 영역은 덜 복잡한 필터들을 사용할 수 있다. 일 실시예에서, 필터들은 그들이 안면의 분할된 영역에서 얼마나 중앙에 있는지 따라 적응된다(예를 들면, 안면의 경계 상의 그림자 영역 근처). 또는 잔디 또는 벽돌 패턴 내에서, 상이한 필터들은 선명한 잔디 영역인 전체 내에서 잔디 잎사귀 에지들(보다 선명함을 요구할 수 있음) 대 내부들[및 디코더는 예를 들면, 벽돌 내부들로부터 벽돌 세그먼트 에지들을 재추정할 수 있음] 상에 적용된다.

모든 실시예들에서, 소위 클러스터링으로 칭해지는 분류가 데이터에 대해 수행되고, 적응가능한 필터들 또는 보다 일반적으로 사후-처리 프로세스들이 각 클래스에 대해 생성되고 필터들의 파라미터들 또는 보다 일반적으로 사후-처리는 인코더 측에서 변동되고, 데이터의 대응하는 클래스들에 적용되고 원 이미지와 비교하여, 클래스들 중 대응하는 클래스 내의 위치들에 대해 (압축) 아티팩트들의 감소에 관하여, 낮거나 최소의 왜곡 또는, 더 일반적으로 품질 측정에서의 증가 또는 최적 조건을 생성하기 위해 최적화된다.

디코더는 인코더에서 사용된 분류를 재생성하기 위해 정보(명시적이거나 암시적으로)가 주어지고 클러스터들 또는 클래스들에 대한 필터들에 대한 파라미터들이 디코더에 전송되고 디코더에서 적용된다. 상술된 바와 같이, 다수의 경로들은 상이한 개념들(값, 에지, 모션, 패턴, 위치뿐만 아니라 이러한 개념들의 조합들)에 기초하여, 분류를 위해 뒤따를 수 있다. 분류를 위한 기초의 또 다른 예는 국부 영역에 대한 압축의 선택에 의존한 분류를 행하는 것이다. 다시, 디코딩 측에서는 다음과 같은 팩터들: 어떤 양자화가 사용되었는지, 무엇이 블록의 모션인지(그리고 가능한 예측 에러들, 또는 감소된 에러 가시성) 등을 알고, 다시 필터들은 그들 파 라미터들에 의존하여 상이할 수 있다(예를 들면, 디블로킹 쪽으로 더 바이어스/최적화되고 선명함 쪽으로 덜 바이어스/최적화되는 필터를 사용하는 고 양자화에 대해).

또 다른 실시예들이 도 18에 예시된다. 도 18은 픽셀 주위의 2개의 윈도우들(I 및 II)을 개략적으로 예시한 도면이다. 윈도우는 어떤 패턴을 도시한다. 윈도우(II)는 '플립 오버(flip over)'된 윈도우(I)와 동일한 것으로서 보여질 수 있다. 즉, 두 개의 윈도우들을 비교할 때, 두 개의 윈도우들 사이에 어떤 유형의 대칭이 존재한다.

본 발명의 이들 실시예들에서, 이로운 사용은 대칭적인 규칙들로 구성된다.

분류-기반 사후-필터링 프레임워크에서, 분류는 종종 자체-클러스터링 전략에 기초하고, 픽셀들은 nxn 윈도우들 및 윈도우 내의 평균과 같은, 픽셀들 주위의 윈도우들을 사용하여 분류된다. 임의의 수의 클래스들이 미리 지정될 수 있으므로, 이는 꽤 융통성있는 분류 방법이다. 그러나, 많은 애플리케이션들에서, 대역폭 및/또는 저장 제한으로 인해, 사용될 수 있는 클래스들의 총수가 제한된다. 제한된 수의 클래스들로, 하나 (또는 그 이상) 프레임들에서 발생하는 국부 이미지 패턴들의 큰 변동을 포착하는 것은 매우 어려울 수 있다. 이 큰 변동을 감소시키는 하나의 방식은 분류 및 실제 필터링 전에 그들의 방위(orientation)에 관하여 픽셀들 주위의 윈도우들을 정규화하는 것이다. 그 다음, 이들 윈도우들은 하나의 클래스를 형성하고 동일한 필터로 사후-필터링될 수 있다. 이 방식에서, 동일한 수의 클래스들은 보다 더 다양한 이미지 패턴들을 나타낼 수 있다. 회전에 부가하여, 시프 팅(shifting) 및 미러링(mirroring)과 같은, 다른 유형들의 기하학적 정규화가 또한 고려될 수 있다.

도 19는 90, 180 또는 270 도의 회전에 대해 사실상 동등한 다수의 패턴들을 제공하는 도면이다.

도 20은 서로 플립된 버전들(flipped versions)인 동일하거나 유사한 패턴들을 도시한 도면이고, 도 21은 서로 시프트된 버전들인 패턴들을 도시한 도면이다. 이러한 실시예가 기초하는 식견은 다양한 대칭들은 분류 및 실제 필터링 전에 윈도우들의 방위에 대해 윈도우들을 정규화함으로써 이 큰 변동을 감소시키기 위해 사용될 수 있다는 것이다. 그 다음, 이들 윈도우들은 하나의 클래스를 형성하고 동일한 필터로 사후-필터링될 수 있다. 이 방식에서, 동일한 수의 클래스들은 보다 더 다양한 이미지 패턴들을 나타낼 수 있다. 회전에 부가하여, 도 19에서 같이, 시프팅(도 21) 및 미러링(도 20)과 같은, 다른 유형들의 기하학적 정규화가 또한 고려될 수 있다.

이러한 실시예에서, 파라미터 추정기는 분류에 대한 대칭적 작동을 수행하도록 구성된다.

다음에서, 우리는 더 적은 클래스들을 유도하기 위해 기하학-불변 분류를 생성하는 방법을 예시하는 일례를 제공한다. 본 설명은 픽셀들 주위의 nxn 윈도우들을 사용하는 상술된 바와 같은 클러스터링 및 제곱들의 합을 최소화할 때의 분류에 관계된 것이다. 그러나, 물론 추론(reasoning)의 유사한 라인이 다른 유형들의 분류 방법들에 대해 또한 적용될 수 있다는 것이 쉽게 이해될 수 있다.

일례의 절차는 다음과 같다.

단계 1: 압축된 프레임들로부터 윈도우 샘플들 수집한다.

단계 2: 각 윈도우에 대해, 샘플 x은 3개의 회전 패턴들, 4개의 미러링 패턴들 및 시프팅된 패턴들에 대응하는 그의 변환 버전들 xi을 유도한다(a는 어퍼쳐 크기이다). 어퍼쳐 크기 a=5라고 가정하면, 이는 전체로서 N=3+4+8=15 개의 부가 변환된 패턴들이 생성되어야 한다는 것을 의미한다.

단계 3: 클러스터링 알고리즘에서 사용된 간격 메트릭(distance metric)을 확장한다. 주어진 샘플(x)과 클러스터 중심(y) 사이의 간격이 계산되면, 우리는 샘플(x 및 y)의 각 변환된 버전 사이의 간격을 계산하고, 그 다음 최소 간격을 선택한다.

단계 4: 상술된 바와 같은 수정된 K-평균 알고리즘의 결과로서, 우리는 기하학-불변 패턴들에 관하여 최적인(MSE 센스에서) 다수의 클러스터 (클래스) 중심들을 획득한다. 그러나, 필터 생성 동안에, 클러스터 중심에 대한 최소 간격을 유도하는 각 샘플(x)의 변환된 버전이 필터 계수들을 최적화하기 위해 사용될 것이다.

유도된 클러스터(클래스) 중심들 및 대응하는 필터 계수들은 사후-처리를 위해 디코더 측에 전송될 것이다. 디코더 측에서, 각 픽셀 위치에 대해, 분류를 위한 기본 피쳐 벡터를 이용하는 것 외에, 다수의 변동들이 생성되어야 하고(단계 2에서와 같이), 이들 각각은 모든 변동들 및 클러스터 중심들 중에서 가장 작은 간격을 유도하기 위해 클러스터(클래스) 중심들과 비교되어야 한다. 그 다음, 대응하는 필터 계수들이 선택되고 선택된 변환 변동에 적용된다. 필터링된 결과들이 디코딩된 프레임에 적용되도록 다시 변환될 필요가 있다는 것을 주의한다.

상기 예가 간격들을 최소화하는 것을 이용하는 예에 기초하지만, 예를 들면, 도 11 및 도 12에 개략적으로 예시된 것과 같은 그래디언트-기반 분류 전략으로 쉽게 확장될 수 있다. 이 경우에, 단계 2 후에, 각 후보 변환된 패턴에 대해, 대응하는 그래디언트-기반 피쳐 벡터가 계산되어야 하고, 이후 클러스터링을 위해 사용되어야 한다.

제안된 방법이 내부 루프 필터링에 또한 적용될 수 있다는 것을 주의한다.

실험적 결과들이 발견되었다.

상술된 실시예는 SD-해상도 시퀀스들 및 28 내지 34의 양자화 파라미터(QP) 세트로 H.264 기준 소프트웨어 및 실험 내에서 구현되었다. 기하학-불변 필터링은 내부 루프 사후-필터링에 대한 부가적인 피쳐 선택 사항으로서 구현되었다. 각 프레임 및 대부분의 프레임들에 대해 PSNR 이득이 측정되었고, 기하학 불변(동일한 수의 클래스들을 갖는)을 이용하지 않는 것과 비교된 바와 같이 0.03 dB 내지 0.06 dB의 이득이 관찰된다. 일부 프레임들에서, 0.1 dB까지의 이득이 성취된다. 기하학-불변을 부가하는 것은 어떠한 부가적인 비트 레이트 증가를 요구하지 않기 때문에, 기하학 불변은 역행들(setbacks)이 없이 기존의 내부 루프 필터링에 부가적인 개선을 제공한다.

우리의 실험들에서 기하학-불변 필터링 선택 사항을 인에이블하는 일부 프레임들이 PSNR에 대해 부정적 효과를 제공할 수 있다는 것을 또한 주의한다. 이는 프레임에서 패턴 다양성의 부족의 결과일 수 있고, 기하학 불변을 사용하는 것은 품 질에 긍정적으로 기여하지 않을 수 있다. 그러나, 분류 및 내부 루프 필터링이 인코더 측에서 수행되기 때문에, 이러한 부정적인 이득이 발생하면 인코더는 현재 프레임에 대한 기하학 불변의 사용을 디스에이블(disable)하도록 결정할 수 있다. 이것은 부가적인 것 '신호 비트'가 기하학 불변이 사용되는지의 여부를 나타내도록 각 프레임에 대해 전송되어야 한다는 것을 의미한다. 총 비트 레이트와 비교한 바와 같이, 이것은 평균 이득이 증가하면서, 명백하게 무시할 수 있는 오버헤드(overhead)이다.

모든 변환 모드들(예를 들면, 3개의 회전 모드들, 4개의 미러링 모드들, 및 다수의 시프팅 모드들)에 대한 스위칭은 PSNR에 대해 최적의 성능을 제공하지 않을 수 있다. 예를 들면, 시퀀스 헬리콥터(sequence Helicopter)에 대해, 우리는 2개의 미러링 모드들(수직 및 수평 플립핑) 및 시프팅 모드들을 사용하는 것이 평균에서 최상의 성능을 제공할 수 있다는 것을 발견했다. 그러나, 이는 다른 것들을 디스에이블하면서 어떤 모드들을 스위치 온(switch on)하기 위해 시퀀스-의존형 결정일 수 있다. 이러한 미세-튜닝(fine-tuning)은 기하학 불변을 이용하거나 이용하지 않는 것과 동등하다.

대칭 불변 변환(플립핑, 시프팅, 회전)은 패턴 불변 변환들의 큰 클래스 중 서브-클래스이다.

또 다른 간단한 패턴 불변 작동은 스케일링(scaling)이다.

변환들 하에서 어떤 불변을 도시하는 패턴들의 다른 예들은 도 22a 내지 도 22c에 예시된다.

예 A: 정확하지는 않지만 유사한 벌레형 구조들: "정확하지 않은 회전"의 변환은, 예를 들면 다음과 같이 행해질 수 있다: 블록의 픽셀들을 어두운 색 및 밝은 색[예를 들면, 블록 평균 이상]으로 분류하고, 및 유사성을 테스트(test)하기 위해 "체인 방위 코드(chain orientation code)"를 사용하고: 예를 들면,: 방향 변화가 동일한 나침반 방향이고, 픽셀의 각 지향된 방향에 대해 길이가 많아야 1 픽셀 정도 상이하다면(예를 들면, 2 대 3 픽셀 시작 세그먼트), 패턴은 유사하게 간주되고, 유사한 필터(예를 들면, 어떤 블러 커널 크기(certain blur Kernel size))로 처리될 수 있다.

예 B: 하나는 에지의 높이(회색값)를 또한 정규화할 수 있다. 일부 필터 경우들에서 [예를 들면, 필터는 에지 강도 변화를 구현하지만], 이는 에지의 높이에 필터를 또한 적응시키는 것이 더 현명할 수 있지만, 그들 경우들에서, 하나는 에지 스텝 높이를 다수 서브클래스들(강함, 중간, 약한 에지)로 분류할 수 있다.

예 C는 예를 들면, (유사) 주기적 텍스쳐들을 처리하기 위해 사용될 수 있는 또 다른 예를 제공한다(예를 들면, 상단 부분들에 그들의 회색값을 남기지만 그들의 골짜기들을 깊게 하는 비선형 함수로[예를 들면, 잔디의 잎사귀들 사이에 어두운 영역들을 깊게 할 수 있음]).

패턴은 어떤 높이 h[가장 밝은 픽셀 회색/휘도/컬러값-예를 들면, 240-마이너스 가장 어두운 픽셀 회색값 - 예를 들면, 10 -]의, 기울기 alfa(상단 간의 간격 D를 유도하는)의 정현 격자로서 예시적으로 모델링되고(이는 하부 데이터(underlying data)에 맞추어질 수 있음), 패턴은 블록에서 어떤 나선형의 방향 베타(beta)를 갖는다(여기서, 45도가 상징적으로 도시되지만, 단면 그래프 상에서 회색값이 동시에 도시될 수 없고, 이는 단지 하나의 공간 차원을 갖기 때문이다).

그 다음, 너무 상이하지 않은 값들(alfa, h, D)을 갖는 모든 패턴들은 동일한 텍스쳐 클래스로 분류될 수 있거나, 다시 일부 서브클래스들이 가능한 범위의 값들[선형적으로, 또는 비-선형적으로]을 따라 구성될 수 있고, 그 다음, 파라미터화된 필터들은 f(h, alfa) 트레이닝될 수 있고; 이는 예를 들면, 필터 계수들이 상이한 (h, alfa) 범위 클래스들에 걸쳐 변동하는 방법을 조사하고, 그들을 다항식들로 모델링함으로써 행해질 수 있다.

도 23은 본 발명에 따른 이미지 규정 신호를 개략적으로 예시한 도면이다. 이미지 규정 신호는 이미지 정보, 이 예에서의 CD, 압축된 데이터를 포함하고, 압축된 데이터는 이미지의 콘텐트를 규정한다;

이미지의 각각의 위치들에서 상기 콘텐트를 사후 처리하기 위한 이미지 처리 회로의 제어 파라미터들을 규정하는 복수의 제어 파라미터 세트들, 이 예에서, 예를 들면, 필터 계수들의 세트들과 같은, 각 클래스 F(C)에 대한 클래스 규정 파라미터들(C) 및 파라미터들의 세트들을 규정한다.

클래스 규정 파라미터들은 클래스를 규정하도록 선택된 경로에 의존하여 다양한 형태들을 가질 수 있다. 클래스 규정 파라미터들은, 클래스들이 (값, 에지, 패턴, 블록 기반, 모션 벡터 등에 의해) 규정되는 방식을 규정할 수 있거나 클러스터 중심들을 직접 규정하는 파라미터들을 가질 수 있다(도 12 참조). 일부 실시예들에서, 예를 들면, 인코더 및 디코더에서 클래스들을 규정하기 위한 고정 방식이 사용되면, 클래스 규정 파라미터들이 존재하지 않을 수 있다.

각 세트에 대한 파라미터들의 세트들은 필터 계수들일 수 있다. 파라미터 세트들은 절대적 방식 예를 들면, 각 파라미터의 정확한 값, 또는 상대적 방법 예를 들면, 이전 값에 비교하여 파라미터들의 세트 내에서 파라미터들의 변화로 규정될 수 있다.

실시예들 내에서, 이미지 규정 신호는 클래스들에 대해 개별적인 분류 및 파라미터들의 세트들을 각각 갖는 다양한 개별 작동들에 대한 정보를 포함할 수 있다. 예를 들면, 내부 루프 디블로킹 작동은 디코딩 루프 후에 이미지에서 그래디언트들 기반 클러스터링에 기초한 또 다른 처리를 따를 수 있다. 두 개의 언급된 프로세스 단계들 각각에 대해, 다양한 클래스들에 대한 분류 및 계수들의 세트들에 대한 정보는 이미지 규정 신호 내에 존재할 수 있다. 분류들 각각은 상이한 원칙에 기초하고 계수들이 또한 상이할 것이고, 그래서 정보가 상이할 것이다.

클래스 규정 데이터 및 파라미터들의 세트들은 임의의 적합한 방식, 예를 들면, 헤더로서, 플래그들(flags)에 의해 또는 개별 신호로서 제공될 수 있다.

본 발명은 청구항들에서 설명된다. 본원에 사용된 용어 "포함하는(comprising)"는 다른 엘리먼트들 또는 단계들을 배제하지 않고, 부정관사("a" 또는 "an")는 복수를 배제하지 않고, 단일 프로세서 또는 다른 유닛은 청구항들에 기술된 몇몇 수단의 기능들을 실행할 수 있다. 용어 "회로(circuit)"가 사용될 때, 이는 회로의 기능을 수행하도록 프로그래밍된 프로그래밍가능한 회로들을 포함한다. 청구항들의 참조 부호들은 범위를 제한하는 것으로서 해석되어서는 안된다.

요약하여, 본 발명은 다음과 같이 설명될 수 있다.

픽셀들의 클러스터들은 이미지 압축 및 압축해제에서의 사용을 위해 규정된다. 클러스터들을 규정하기 위해 사용된 이미지 정보는 픽셀 또는 관련 모션 벡터들, 그래디언트들, 텍스쳐 등에 대해 미리 결정된 위치들에서 픽셀값을 포함할 수 있다. 이미지들의 압축 동안에, 픽셀들에 대한 이미지 정보는 픽셀이 속하는 클러스터를 결정하도록 검사된다. 따라서, 픽셀들은 그들의 이미지 정보에 대한 클러스터에 따라 분류될 수 있다. 일 실시예에서, 클러스터들의 규정들은 이미지 콘텐트에 의존하여, 동적으로 선택된다. 각 클러스터에 대해, 제어 파라미터 세트는 필터링을 위한 필터 계수들 또는 국부적인 텍스쳐 생성을 위한 통계적인 데이터와 같은, 사후-처리 작동을 위해 계산된다. 제어 파라미터 세트는 이미지 콘텐트에 의존하여 선택되어, 압축해제 후에 사후-처리 동작이 이미지에 적용될 때, 이는 클러스터에 속하는 바와 같은 분류되는 픽셀들에 대해 이미지 품질을 개선할 것이다. 압축된 이미지 및 제어 파라미터 세트들은 압축해제 장치에 전송된다. 압축해제 시에, 압축해제된 이미지를 나타내는 이미지 정보는 클러스터들에 따라 픽셀들을 분류하도록 검사되고 선택된 클러스터들에 대한 상이한 제어 파라미터 세트들은 픽셀들의 위치들에서 사후-처리를 제어하기 위해 사용된다.

Claims (46)

1. 압축해제 장치에 있어서:

   이미지 정보 및 상기 이미지 정보에 대한 복수의 제어 파라미터 세트들을 수신하기 위한 입력부 또는 입력부들(20)로서, 상기 이미지 정보는 이미지의 콘텐트를 규정하는, 상기 입력부 또는 입력부들(20);

   상기 수신된 복수의 제어 파라미터 세트들을 저장하기 위한 메모리(36);

   상기 이미지 정보를 적어도 부분적으로 압축해제하도록 구성된 압축해제기(24);

   상기 픽셀에 관련하여 각각의 윈도우 내의 상기 이미지의 컨텐트에 기초하여, 복수의 픽셀들의 각각을 픽셀들의 각각의 클래스들로 분류하고, 픽셀들의 상기 각각의 클래스들에 대해 상기 수신된 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하도록 구성된 선택기(32); 및

   상기 이미지 내의 픽셀들에 대한 사후-처리(post-processing)를 제어하기 위해 상기 메모리(36)로부터 상기 각각의 클래스들로 분류된 상기 픽셀들에 대한 상기 제어 파라미터 세트들 중 상기 선택된 각각의 하나들을 이용하여, 상기 적어도 부분적으로 압축해제된 이미지 정보를 사후-처리하도록 구성된 이미지 처리 회로(39)를 포함하는, 압축해제 장치.
2. 제 1 항에 있어서,

   예상적으로 압축된 이미지의 압축해제에서의 이용을 위한 기준 이미지를 저장하기 위한 기준 메모리(74)로서, 상기 기준 이미지로서의 이용을 위한 사후-처리된 이미지를 저장하기 위해 상기 이미지 프로세서의 출력부에 결합된 입력부를 갖는 상기 기준 메모리(74)를 포함하는, 압축해제 장치.
3. 제 1 항에 있어서,

   상기 선택기(32)는 상기 각각의 픽셀에 대해 미리 결정된 상대적 위치들에서 상기 이미지 내의 픽셀값들을 포함하는 벡터를 분류함으로써 상기 이미지 내의 상기 복수의 픽셀들을 분류하고, 상기 벡터에 대한 상기 분류들에 의존하여 상기 수신된 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하도록 구성되는, 압축해제 장치.
4. 제 1 항에 있어서,

   상기 선택기(32)는 상기 각각의 픽셀에 대해 미리 결정된 상대적 위치들에서 상기 이미지 내의 영역들 내의 비디오 스트림의 상기 이미지와 이웃하는 이미지 사이의 모션(motion)에 특성을 부여하는 모션 벡터들을 포함하는 벡터를 분류함으로써 이미지 내의 상기 복수의 픽셀들을 분류하고, 상기 벡터에 대한 상기 분류들에 의존하여 상기 수신된 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하도록 구성되는, 압축해제 장치.
5. 제 1 항에 있어서,

   상기 선택기(32)는 상기 픽셀에 대해 각각의 윈도우 내의 상기 이미지의 텍스쳐 콘텐트(texture content)를 분류함으로써 상기 이미지 내의 상기 복수의 픽셀들을 분류하고, 상기 텍스쳐에 대한 상기 분류들에 의존하여 상기 수신된 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하도록 구성되는, 압축해제 장치.
6. 제 1 항에 있어서,

   상기 선택기(32)는 수평 그래디언트 값(horizontal gradient value) 및 수직 그래디언트 값 중 적어도 하나에 기초하여 분류함으로써 상기 이미지 내의 상기 복수의 픽셀들을 분류하고, 수평 및 수직 그래디언트 중 적어도 하나의 분류들에 의존하여 상기 수신된 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하도록 구성되는, 압축해제 장치.
7. 제 1 항에 있어서,

   상기 압축은 블록 기반이고, 상기 선택기(32)는 블록 내의 위치 및 에지 활동(edge activity)에 대해 분류함으로써 상기 이미지 내의 상기 복수의 픽셀 위치들을 분류하고, 상기 블록 내의 위치 및 에지 활동의 분류들에 의존하여 상기 수신된 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하도록 구성되는, 압축해제 장치.
8. 압축 장치에 있어서:

   입력 이미지를 규정하는 입력 신호를 수신하기 위한 이미지 입력부(10);

   상기 이미지 입력부(10)에 결합된 압축기 입력부 및 상기 이미지를 적어도 부분적으로 압축하기 위한 압축기 출력부를 갖는 이미지 신호 압축기(12);

   상기 이미지 입력부에 결합된 입력부를 갖는 파라미터 추정기(16)로서, 픽셀에 대해 각각의 윈도우 내의 상기 이미지의 콘텐트에 기초하여, 상기 이미지 내의 픽셀들을 각각의 클래스들로 분류하고, 복수의 제어 파라미터 세트들을 계산하도록 구성되고, 상기 압축된 이미지와 상기 입력 이미지의 비교에 기초하여, 픽셀들의 상기 클래스들 중 대응하는 하나에 대한 각각이 상기 복수의 제어 파라미터 세트들은 픽셀들의 상기 클래스들 중 상기 대응하는 하나 내의 픽셀들에 대한 압축 아티팩트들(compression artefacts)을 감소시키기 위한 사후 처리 동작을 규정하는, 상기 파라미터 추정기(16);

   상기 압축된 이미지를 출력하기 위한 출력부; 및

   상기 복수의 제어 파라미터 세트들을 출력하기 위한 출력부를 포함하는, 압축 장치.
9. 제 8 항에 있어서,

   상기 클래스들의 규정들은 상대적인 픽셀 위치들의 구성들에 대한 모션 벡터들을 포함하는 클러스터 벡터들을 포함하는, 압축 장치.
10. 제 8 항에 있어서,

    상기 클래스들의 규정들은 상대적인 픽셀 위치들의 구성들에 대한 수평 그래디언트 값 및 수직 그래디언트 값 중 적어도 하나를 포함하는, 압축 장치.
11. 제 8 항에 있어서,

    상기 클래스들의 규정들은 블록 내의 위치 및 에지 활동을 포함하고, 상기 파라미터 세트들은 디블로킹 필터 파라미터 세트들(deblocking filter parameter sets)인, 압축 장치.
12. 제 8 항에 있어서,

    상기 압축된 이미지 신호를 상기 압축기 출력부로부터 수신하도록 구성된 압축해제기(14)를 포함하고, 상기 파라미터 추정기(16)는 압축해제된 이미지 신호를 수신하기 위해 상기 압축해제기에 결합된 다른 입력부를 갖고, 상기 파라미터 추정기(16)는 상기 입력 이미지와 상기 압축해제된 이미지 신호에 의해 규정된 압축해제된 이미지 사이의 차이에 의존하여 상기 파라미터 세트들을 선택하도록 구성되는, 압축 장치.
13. 이미지를 압축해제하는 방법에 있어서:

    이미지의 콘텐트를 규정하는 이미지 정보, 및 상기 이미지 정보에 대한 제어 파라미터 세트들을 수신하는 단계;

    복수의 상기 제어 파라미터 세트들을 저장하는 단계;

    상기 이미지 정보를 적어도 부분적으로 압축해제하는 단계;

    픽셀에 관련하여 각각의 윈도우 내의 상기 이미지의 컨텐트에 기초하여, 상기 이미지 내의 복수의 픽셀들 각각을 픽셀들의 각각의 클래스들로 분류하는 단계;

    픽셀들의 상기 각각의 클래스들에 대해 상기 이미지 정보에 대한 상기 복수의 제어 파라미터 세트들 중 각각의 하나를 선택하는 단계; 및

    상기 이미지의 픽셀들에 대한 사후-처리를 제어하기 위해 메모리로부터의 상기 이미지의 픽셀들의 상기 각각의 클래스들로 분류된 상기 픽셀들에 대한 상기 수신된 제어 파라미터 세트들 중 상기 선택된 각각의 하나들을 이용하여, 상기 적어도 부분적으로 압축해제된 이미지 정보를 사후-처리하는 단계를 포함하는, 이미지 압축해제 방법.
14. 이미지를 압축하는 방법에 있어서:

    입력 이미지를 규정하는 입력 신호를 수신하는 단계;

    상기 입력 신호를 압축하는 단계;

    픽셀들에 대해 각각의 윈도우 내의 상기 이미지의 콘텐트에 기초하여, 상기 이미지 내의 픽셀들을 픽셀들의 각각의 클래스들로 분류하는 단계;

    복수의 제어 파라미터 세트들을 계산하는 단계로서, 픽셀들의 상기 클래스들 중 대응하는 하나에 대해 각각이 픽셀들의 상기 클래스들 중 상기 대응하는 하나 내의 상기 픽셀들에 대한 압축 아티팩트들을 감소시키기 위한 사후 처리 동작을 규정하는, 상기 복수의 제어 파라미터 세트들 계산 단계;

    상기 압축된 이미지 신호와 상기 복수의 제어 파라미터 세트들을 출력하는 단계를 포함하는, 이미지 압축 방법.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제
26. 삭제
27. 삭제
28. 삭제
29. 삭제
30. 삭제
31. 삭제
32. 삭제
33. 삭제
34. 삭제
35. 삭제
36. 삭제
37. 삭제
38. 삭제
39. 삭제
40. 삭제
41. 삭제
42. 삭제
43. 삭제
44. 삭제
45. 삭제
46. 삭제

Images