KR20040105595A

KR20040105595A - 비디오 신호내의 움직임 보상에 부적당한 영역을 검출하는방법 및 장치

Info

Publication number: KR20040105595A
Application number: KR1020040041183A
Authority: KR
Inventors: 김영택
Original assignee: 삼성전자주식회사
Priority date: 2003-06-06
Filing date: 2004-06-05
Publication date: 2004-12-16
Anticipated expiration: 2024-06-05
Also published as: US7336707B2; US20040247028A1; KR100677117B1

Abstract

한 이미지 프레임과 다른 이미지 프레임간의 움직임을 예측하는 움직임 보상 방법이다. 각 프레임은 수 개의 블록으로 분할되고, 하나의 프레임의 한 블록에 대한 매치가 다른 프레임의 탐색 영역 내에서 찾아진다. 프레임 내의 패턴형 대상 근방에서 움직임 보상이 수행되고 있는지를 결정함에 의해서, 두 개의 매치되는 블록간의 기하학적 변위를 나타내는 움직임 벡터가 결정된다. 움직임 벡터와 프레임 내에 패턴형 대상이 있는 정도에 기초하여 두 기존의 프레임의 함수로서 보간에 의해 새로운 프레임이 재구축된다.

Description

비디오 신호내의 움직임 보상에 부적당한 영역을 검출하는 방법 및 장치{Method and apparatus for detecting improper area for motion compensation in video signal}

본 발명은 일반적으로 영상 처리에 관한 것으로서, 특히 움직임 보상에 관한 것이다.

영상 처리에 있어서, 전형적으로는 픽처 프레임(picture frame)에서 다음 픽처 프레임으로 이미지의 단지 일부분만이 변화하며, 이전 프레임들로부터의 예측을 가능하게 한다. 움직임 보상은 예측 처리의 일부분으로 사용된다. 만약 이미지 시퀀스가 움직이는 대상들을 보여준다면, 씬(scene) 내에서의 그들의 움직임이 측정될 수 있고, 그 정보가 시퀀스 사이의 또는 시퀀스 내의 나중의 프레임 들의 내용을 예측하는데 사용된다.

비디오 부호화에서는, 영상 재료의 시간적 덧붙임(temporal redundancy)을 제거하기 위하여 움직임 예측이 적용되며, 따라서 움직임 예측은 비디오 부호화 표준의 중심적인 부분이다. 움직임 보상은 많은 영상 처리 응용들을 위한 영상 예측에 기초하고 있다. 움직임 보상의 예로는 MPEG-2 와 MPEG-4, 프레임 율 전환(frame rate conversion), 소음 감소, 디인터레이싱(de-interlacing), 포맷 전환 등이 있다. 움직임 보상 및 움직임 예측의 핵심적인 기능은 픽처들 사이의 움직임을 발견하는 것, 다시 말해, 움직임 벡터를 발견하는 것이다.

많은 움직임 예측 방법들이 개발되어 왔다. 가장 단순한 움직임 예측 방법은 블록 매칭 알고리즘(block matching algorithm)인데, 이 방법에서는 각 프레임의 블록들 내의 화소값들이 지나간 프레임의 유사한 형태 및 크기를 갖는 변위된(displaced) 블록에 의해서 예측된다. 이렇게 하여, 이 방법은 기준 픽처 프레임의 탐색 영역 내부에서 타깃(target) 픽처 프레임의 블록에 대한 최적의 매치(best match)를 발견한다. 움직임 예측의 결과 움직임 벡터가 얻어지는데, 이는 두 매치되는 블록간의 기하학적인 변위를 나타낸다. 움직임 벡터는 비용 함수를 실질적으로 최소화하는 벡터를 발견하는 것에 의해 결정되는데, 비용 함수는 기준 블록과 타깃 블록간의 불일치(mismatch)의 척도이다.

블록 매칭에 기반한 종래의 움직임 예측의 주된 단점은 어떤 경우에는 결정된 움직임 벡터가 정확하지 않다는 것이다. 움직임 벡터를 부정확하게 예측하게 되면 응용에 따라서는 심각한 시각적인 아티팩트들을 야기할 수 있다. 그러한 경우들의 예로는 영상 확대(video zooming), 회전하는 대상 , 빠르거나 큰 움직임에 대한 움직임 보상, 그리고 패턴형 대상(pattern-like objects) 근방에서의 움직임 예측 등이 있다.

따라서, 움직임 벡터 예측의 신뢰성을 향상시키기 위해 화면에서의 패턴형 대상을 검출하기 위한 방법이 필요하다. 또한, 예측된 움직임 벡터의 신뢰도를 지정(designation)할 수 있도록 하는 방법도 필요하다.

본 발명은 이러한 필요성에 응한 것으로서, 본 발명의 하나의 목적은 예측된 움직임 벡터의 신뢰성을 향상시키기 위해 또한 하이브리드(hybrid) 움직임 예측을 제공하기 위하여, 화면 내의 패턴형 대상을 검출하는 방법을 제공하는 것이다. 본 발명의 추가적인 목적은 예측된 움직임 벡터의 신뢰도를 지정할 수 있도록 하는 방법을 제공하는 것이다.

도 1은 시간적으로 분리된 두 이미지 프레임의 예를 보인다.

도 2는 도 1의 이미지 프레임들에 대한 블록 매칭(matching)의 예를 보인다.

도 3은 전방향(forward) 움직임 예측에 대한 블록 매칭의 예를 보인다.

도 4는 후방향(backward) 움직임 예측에 대한 블록 매칭의 예를 보인다.

도 5는 양방향(bi-directional) 움직임 예측에 대한 블록 매칭의 예를 보인다. 도 6은 절대 차의 합(sum of absolute difference, SAD) 플롯(plot)의 예를 보인다.

도 7은 패턴형 대상을 포함하는 픽처의 예를 보인다

도 8은 도 7의 픽처에 대한 SAD 플롯을 보인다.

도 9는 하나의 극소값(local minimum)을 갖는 SAD 플롯의 예를 보인다.

도 10은 복수개의 극소값을 갖는 SAD 플롯의 예를 보인다.

도 11은 본 발명의 한 실시예에 따른 움직임 예측의 예를 보인다.

도 12는 본 발명의 한 실시예에 따른 픽처 재구축을 위한 보간의 예를 보인다.

도 13은 본 발명의 한 실시예에 따른 픽처 재구축을 위해 보간하는 방법의 예를 보인다.

도 14는 본 발명의 한 실시예에 따른 움직임 보상 장치를 보인 블록도이다.

도 15는 본 발명의 한 실시예에 따른, 도 14의 패턴 검출기의 블록도이다.

하나의 실시예에서 본 발명은 하나의 이미지 프레임과 또 다른 이미지 프레임 사이의 움직임을 예측하기 위한 움직임 보상 방법을 제공한다. 각 프레임은 서로 겹치거나 겹치지 않을 수 있는 몇 개의 블록으로 분할되며, 하나의 프레임의 블록에 대한 다른 프레임의 탐색 영역 내부의 매치가 발견된다. 프레임들 내의 패턴형 대상 근처에서 동작 예측이 수행되고 있는지 여부를 결정함에 의해서, 두 일치하는 블록들 간의 기하학적 변위를 나타내는 움직임 벡터가 결정된다. 움직임 벡터와 프레임에서 패턴형 대상인 정도(degree of being a pattern-like object)에 기초하여, 보간법에 의해 새로운 프레임이 두 기존의 프레임들의 함수로 재구축(reconstruct)된다.

본 발명에는 다양한 형태의 실시예들이 존재할 수 있으나 이하에서는 도면에 보여진 바람직한 실시예들을 설명한다. 하지만 이는 본 발명의 범위를 도시된 실시예로 한정하고자 하는 것은 아니며, 이하의 실시예들은 단지 본 발명의 원리가 적용된 예들로 생각되어야 할 것이다.

상술한 바와 같이, 영상 픽처 프레임들 내의 영상 이미지 정보를 갖는 블록들에 도시된 대상들의 움직임을 예측하기 위해 블록 매칭 방법이 사용될 수 있다. 블록 매칭 방법의 한 예는 타깃 픽처/이미지 프레임 내의 한 블록에 대해서, 기준 픽처 내의 탐색 영역 내부에서의 가장 잘 매칭되는 블록을 찾는다. 움직임 예측에 의해, 두 매칭되는 블록들간의 기하학적 변위를 나타내는 움직임 벡터가 얻어진다. 움직임 벡터는 비용 함수를 실질적으로 최소화하는 벡터를 찾는 것에 의해 결정되는데, 비용 함수는 기준 블록과 타깃 블록간의 불일치의 척도이다. 여러 다른 종류의 블록 형태(예를 들면, 직사각형, 정사각형, 원형, 다이아몬드형 등)를 사용하는 것이 가능하지만, 이하에서는 설명의 편의를 위해서 사각형 블록이 사용된다. 이하의 설명에서 프레임 과 픽처 는 동일한 의미로 사용된다.

각각의 화상 프레임은 어떤 고정된 개수의 사각형 블록들로 분할된다. 타깃 프레임 내의 각 블록에 대해서, 시스템이 사용할 수 있는 최대의 병진(translation)을 허용하는 이미지 영역에 걸쳐 기준 프레임에서 탐색이 행해진다. 상기의 탐색은, 최저의 비용 오류를 주는, 통상적으로 평균 제곱 차(mean square difference), 평균 절대 차(mean absolute difference), 절대 차의 합(sum of absolute difference) 등을 최소화하는 최적 매칭 블록을 찾기 위한 것이다.

도 1을 참조하면, 시간 t에서,는 t 번째 픽처(10)를 나타내고,는 픽처내의 위치 (x,y)에서의 화소(12)의 값을 나타내며,는 t 번째 픽처(10) 내의 위치 (x,y)에서의 블록(14)을 나타낸다. 도 2의 예에서 보는바와 같이, 일반적으로, 어떤 블록(14)을 매칭하는 것은 t 번째 픽처(10)(타깃 픽처) 내의 하나의 블록(14),와 t-1 번째 픽처(18)(기준 픽처) 내의 또 하나의 블록(16),를 적절하게 정의된 비용 함수를 사용하여 비교하는 단계를 포함한다. 두 개의 블록들(14,16)은 모두 각각의 픽처(10,18) 내의 동일한 미리 정의된 탐색 영역들(20,22) 내부에 있다. 그 다음에는, 움직임 벡터 예측은 동일한 탐색 영역들(20,22) 내에서 최적의 매칭 블록을 찾는 것에 관련된다. 이를 위하여, 탐색 영역 내의 수개의 위치에서 비용 함수의 값이 계산된다.

이하에서는, 후방향(backward) 움직임 예측, 전방향(forward) 움직임 예측, 및 양방향(bi-directional) 움직임 예측을 사용한 블록 매칭의 예들을 보인다. 설명의 편의상 NxM 화소들(12)로 구성된 사각형 블록(14,16)을 가정한다. 본 발명은 위에서 밝힌 바와 같이 다른 형태의 블록들에도 적용 가능하다.

도 3은픽처(10) 내의블록(14)이픽처(18) 내의블록(16)과 비교되는 후방향 움직임 예측을 위한 블록 매칭 방법의 예를 보이고 있으며, 여기서는 다음의 관계:

를 만족하는 탐색 위치들을 나타내고, 여기서와는 탐색 영역(20,22)에 관련되는 파라미터들이다.

와블록(14,16)은 벡터만큼 변위되어있다. 임의의 비용 함수가 움직임 예측을 위해 사용될 수 있지만, 이 예에서는, 절대 차의 합(sum of absolute difference, SAD)이 사용된다. 그리하여, 블록 차 신호는 다음식:

으로 결정되며,

여기서,

이다.

그러면 SAD는 다음식:

으로 표현되거나, 또 다르게는 다음식:

으로 표현될 수 있다.

논의된 바와 같이, 움직임 예측은 최소 SAD를 제공하는 움직임 벡터를 결정하는 것과 관련된다. 움직임 벡터는, 탐색 범위(영역) 내의의 모든 또는 어떤 가능한 위치들에 대해서인 조건을 만족하는로 결정될 수 있다. 만약 전체 탐색 범위가 움직임 예측을 위해 고려된다면, 움직임 벡터는인 모든에 대해서인 조건을 만족하는이고, 여기서이며, 탐색 위치들의 집합(즉, 탐색 영역/범위)을 나타낸다.

전방향 움직임 예측은 후방향 움직임 예측과 유사하다. 도 4는픽처(18) 내의블록(16)이픽처(10) 내의블록과 비교되는 전방향 움직임 예측을 위한 블록 매칭 방법의 예를 보이고 있다.와블록(16,14)은 벡터만큼 변위되어 있다. 블록 차 신호는 다음식:

으로 결정되며

전방향 움직임 예측을 위한 SAD는 다음식:

으로 표현될 수 있다. 여기서D _i,j 는 위에서 정의된D(d _x , d _y )의(i,j)번째 요소이다.

전방향 움직임 예측은 최소의 SAD를 제공하는 움직임 벡터를 결정하는 것을 포함한다. 움직임 벡터는 탐색 범위 내의의 모든 또는 어떤 가능한 위치들에 대해서인 조건을 만족하는로 결정될 수 있다. 만약 전체 탐색 범위가 움직임 예측을 위해 고려된다면, 움직임 벡터는인 모든에 대해서인 조건을 만족하는 것일 수 있다.

양방향 움직임 예측은 움직임 예측에 기초한 프레임 보간을 위한 유용한 방법이다. 이 방법은, 비교될 블록들의 위치들이에 관해 기하학적으로 대칭이라는 점을 제외하고는 전방향 혹은 후방향 움직임 예측과 유사하다. 도 5는 양방향 움직임 예측을 위한 블록 매칭의 한 예를 보인다.픽처(10) 내의블록(14)이픽처(18) 내의블록(16)과 비교된다.과블록(14,16)은만큼 변위되어 있다. 블록 차 신호는 다음식:

으로 결정되며

양방향 움직임 예측을 위한 SAD는 다음식:

으로 표현될 수 있다.

양방향 움직임 예측은 최소의 SAD를 제공하는 움직임 벡터를 결정하는 것을 포함한다. 움직임 벡터는 탐색 범위 내의의 모든 또는 어떤 가능한 위치들에 대해서인 조건을 만족하는로 결정된다. 만약 전체 탐색 범위가 움직임 예측을 위해 고려된다면, 움직임 벡터는인 모든에 대해서인 조건을 만족하는 것이다.

위의 예들에서는, 사용된 움직임 예측의 유형(예를 들어, 후방향, 전방향,양방향 등)에 무관하게, 수학식 2, 4, 6으로 나타내어진 동일한 형의 SAD이 사용되었다. 만약 전체 탐색 범위가 사용되는 경우에는, 그들 식에서의 SAD는 변수와를 가지며, 정의구역(domain)이인 2-D 함수로서 표현될 수 있다. 그러면 움직임 예측(움직임 벡터 결정)은 SAD가 최소값을 갖는 벡터를 결정하는 것을 포함한다.

도 6은 최소점(26) 및 그에 관련된 움직임 벡터(28),를 보이는 SAD들의 플롯(24)의 예를 보인다. 위에서 밝힌 바와 같이, 종래의 움직임 예측 방법의 하나의 단점은, 결정된 움직임 벡터가 부정확하거나 모호한 경우가 있다는 것이다. 움직임 벡터를 부정확하게 예측하는 경우에는 응용에 따라 심각한 시각적인 아티팩트들이 야기될 수 있다. 그러한 경우들의 예로는 영상 확대(video zooming), 회전하는 대상 , 빠르거나 큰 움직임, 그리고 패턴형 대상(pattern-like objects) 근방을 위한 움직임 보상 등이 있다. 패턴형 대상들(30,31)을 포함한 포함하고 있는 픽처의 예가 도 7에 보여진다. 도 8은 도 7의 수직 막대들(31) 근방의 위치에서의 SAD 플롯(32)을 보인다. 도 8에서는, 서로 인접한 극소값들(34)이 복수개 존재하므로 플롯(32) 내에서 최소점을 발견하는 것이 모호할 수 있음을 쉽게 알 수 있다. 따라서, 올바른 움직임 벡터를 발견하는 것이 모호하다. 이 예에서는 단지 최소점을 발견하는 것은 원치 않는 시각적인 아티팩트들을 야기하게 된다. 도 8에서의 축은 도 6의 축과 동일한 개념을 나타낸다.

그리하여, 하나의 실시예에서, 본 발명은 픽처 내의 패턴형 대상을 검출하고, 움직임 벡터 예측의 신뢰도를 향상시키기 위하여 그 정보를 이용하기 위한 방법을 제공하여, 하이브리드 움직임 예측을 제공한다. 또 다른 측면에서, 본 발명은 예측된 움직임 벡터의 신뢰도를 지정하는 것을 가능하게 하는 방법을 제공한다.

도 9,도 10, 도 11을 참조하여, 본 발명에 따른 패턴형 대상 검출 방법을 설명한다. 도 11을 참조하면, 상기 방법은 하기의 단계들: 상기 픽처들와를 포함해서 픽처 정보 프레임들을 수신하며, 여기서 픽처 정보는 메모리로부터의 블록 인출(fetching)으로 블록(즉, 효과적인 인출(fetching) 및 캐칭(catching)에 적절한 작은 사각형 영역)단위로 액세스 되고 캐싱되는 단계(50); 블록 매칭(즉, 후방향, 전방향, 양방향 움직임 예측 등)에 의해서 움직임 예측을 수행하여 블록들에 대한 SAD 값들을 결정하는 단계(52); 수평 및 수직 투영 함수들와를 각각 생성함에 의해서 픽처 내의 패턴형 대상을 검출하는 단계(54)를 포함하며, 하나의 예에서, 수평 투영 함수는 다음의 식:

로 정의되고, 수직 투영 함수는 다음의 식:

로 정의된다.

수평 투영 함수의 플롯들의 예가 도 9 및 10에 보여진다. 도 9의 플롯(36)은 단지 하나의 극소값(37)을 포함하며, 따라서 관련된 움직임 벡터를 결정함에 있어 모호함을 야기하지 않는다. 그러나, 도 10의 플롯(38)은 서로 비슷한 복수개의 극소값(39)을 포함하며, 따라서 종래의 방법을 사용하여 정확한 움직임 벡터를 결정하는데 모호함을 야기한다. 도 9 및 10에서, 수평축은를 나타내고 수직축은 SAD를 나타낸다.

모호성의 문제를 해결하기 위해서, 본 발명의 한 측면에 따라, 움직임 예측이 패턴형 대상 근처에서 수행되고 있는지를 결정하기 위하여 투영 함수들와의 형태를 시험한다. 패턴형 대상을 검출하기 위하여, 투영 함수들을 사용하여와를 계산한다(도 11의 58,60). 이들은 투영 함수들와의 "길이(length)" 를 각각 나타내며, 다음의 수학식들:

으로 나타내어진다.

값이 증가함에 따라, 수평 투영 함수가 복수개의 극소값을 가질 가능성이 높으며,값이 증가함에 따라, 수직 투영 함수가 복수개의 극소값을 가질 가능성이 높다. 그러므로, SAD(예를 들면, 도 10의 SAD 플롯(38))내의 전체 복수개의 극소값을 평가하기 위하여, 다음의 수학식:

으로 결정되는 양를 결정한다.

여기서,값이 증가함에 따라, SAD는 복수개의 극소값을 가질 가능성이 높다.

그 다음, 픽처 내에 패턴형 대상이 존재하는 정도를 나타내는 어떤 값가 다음의 수학식:

으로 계산된다(도 11의 62). 여기서 K는및에 기초하여 미리 결정된 상수이다.

상기의 팩터 값는 본 발명의 또 다른 측면에 따른 픽처 재구축(picture reconstruction)에 사용될 수 있다. 움직임 예측의 하나의 응용예에서, 본 발명에 따른, 보간에 기초한 움직임 예측(즉, 움직임 보상)기술이 이용된다. 이 예에서,50 Hz 비디오 시퀀스를 60 Hz 비디오 시퀀스로 전환하는 것이 필요한데, 여기서 움직임 보상이 매우 유용하다. 왜냐하면, 신뢰성 있는 알고리즘은 부드러운 움직임을 만들 수 있기 때문이다. 도 12를 참조하면, 일반적으로,와픽처들(10,18)에 기초하여픽처(15)를 재구축(예를 들면, 보간)하는 것이 문제가 된다. 여기서와픽처들(10,18)은 각각 t 번째 및 t-1 번째 픽처들이고, 재구축될 픽처(15)인는 순서상 와 픽처들(10,18) 사이에 있다.하나의 예에서,픽처(15)의 재구축은 상기에서 구해진 양방향 움직임 벡터에 기초하여화소들(13)을 보간하는 것에 의해서 다음의 식:

으로 표현될 수 있다. 이 예에서 k 는픽처(15)의 시간상의 상대적인 위치에 관련되는 0과 1 사이의 미리 결정된 상수이다.

도 13의 예를 참조하면, 상기의 재구축 방법을 앞에서 언급한 패턴형 대상 검출 방법과 결합하여서, 본 발명은 하기의 단계들을 포함하는픽처(15)의 재구축 방법의 예를 추가적으로 제공한다. 즉, 상기 픽처들와를 포함해서 픽처 정보 프레임들을 수신하며, 여기서 픽처 정보는 블록 인출(fetching)을 수행함에 의해서 블록(즉, 효과적인 인출(fetching) 및 캐칭(catching)에 적절한 작은 사각형 영역)단위로 액세스 되고 캐싱되는 단계(70); 블록 매칭 움직임 예측을 수행하여 블록들에 대한값들을 결정하는 단계(72); 상기값들에 기초하여 움직임 벡터를 결정하는 단계(74); 픽처 내의 패턴형 대상을 검출하고 팩터를 생성하는 단계(76); 그리고, 다음의 예제 수학식:

(여기서이고,

임)

에 따라, 움직임 벡터, 팩터,및와픽처들(10,18)에 기초하여픽처(15)를 계산하는 단계를 포함한다.

수학식 13에서,인 경우(즉, 패턴형 대상이 검출된 경우)에는,화소값(13)은가 된다. 여기서는 동일한 기하학적 위치에서와픽처들(10,18) 내의 화소들(샘플들)의 평균이다.픽처(15)는 보간된값(13)에 기초하여 재구축된다(80).

도 14는 부호화 장치를 위한 본 발명의 일 실시예에 의한 움직임 보상 장치(100)의 블록도이다. 이 장치(100)는, 상기 픽처들와를 포함해서 픽처 정보 프레임들을 수신하는 메모리 버퍼(101); 블록 단위로 프레임들에 액세스하고 캐싱하는 블록 인출기(fetcher)(102); 블록들에 대한값을 결정하기 위해서 블록 매칭을 수행하는 움직임 예측기(104); 수학식 6에 따른값에 기초하여 움직임 벡터를 결정하는 움직임 벡터 발생기(106); 픽처 내의 패턴형 대상을 검출하여 수학식 12에 따른 팩터를 생성하는 패턴 검출기(108); 움직임 벡터, 팩터,및와픽처들(10,18)를 사용하여 수학식 13에 따라 화소값(13),을 보간하는 보간기(110); 그리고, 보간된 화소값에 기초하여픽처(15)를 재구축하는 재구축기(112)를 포함하여 구성된다.

도 15는 도 14의 패턴 검출기(108)의 한 예를 보인 블록도이다. 패턴 검출기(108)는, 움직임 예측기(104)로부터 SAD 값들을 수신하여 수학식 7 및 8에 따라 수평 및 수직 투영 함수 값와를 각각 발생하는 X 투영 블록(120) 및 Y 투영 블록(122); 수학식 9 및 10에 따라와값을 각각 결정하는 제 1 길이 계산 블록(124)과 제 2 길이 계산 블록(126); 그리고, 수학식 11 및 12에 따라 팩터를 결정하는 패턴형 검출 블록(128)을 포함한다.

도 14 및 도 15의 장치에서의 다양한 구성요소들은 예를 들어, 프로세서에 의해서 처리되기 위한 프로그램 명령어나 ASIC와 같은 논리 회로와 같이 당업자에게 알려진 다양한 방식으로 구현될 수 있다.

이와 같이 하여, 본 발명은 움직임 벡터 예측의 신뢰도를 향상시키기 위해서 픽처 내의 패턴형 대상을 검출하기 위한 개선된 방법 및 장치를 제공한다.

본 발명의 바람직한 실시예에 관하여 상세한 설명이 행해졌으나 다른 실시예들도 가능하다. 그러므로, 첨부된 청구범위의 본지와 범위는 본원에서 설명된 실시예들에 한정되어서는 안된다.

Claims

하나의 이미지 프레임과 다른 이미지 프레임 사이의 움직임을 예측하기 위한 방법으로서,

각 프레임을 어떤 수의 블록들로 분할하는 단계;

하나의 프레임의 한 블록에 대해 다른 프레임의 탐색 영역 내부의 매치를 찾는 단계;

프레임들 내의 패턴형 대상 근방에서 움직임 예측이 수행되고 있는지를 결정함에 의해서, 두 매치되는 블록들 사이의 기하학적 변위를 나타내는 움직임 벡터를 결정하는 단계를 포함하는,

움직임 보상 방법.
제 1 항에 있어서, 매치되는 블록을 찾는 단계는 추가적으로,

하나의 프레임 내의 각 블록에 대해서, 낮은 오류를 갖는 매치되는 블록을 찾아서 다른 하나의 프레임의 이미지 탐색 영역에 걸쳐 탐색하는 단계를 포함하는,

움직임 보상 방법.
제 2 항에 있어서,

시간 t에서,는 t 번째 프레임을 나타내고,는프레임 내의 (x,y) 위치에서의 화소값을 나타내고,는 t 번째 프레임 내의 (x,y) 위치에서의 블록을 나타낼 때;

일치하는 블록을 찾는 단계는,

두개의 매치되는 블록들 사이의 불일치의 척도인 비용 함수를 사용해서, t 번째 프레임 내의 한 블록을 t-1 번째 프레임 내의 다른 한 블록과 비교하는 단계를 추가적으로 포함하는,

움직임 보상 방법.
제 3 항에 있어서,

(a) 매치되는 블록을 찾는 단계는:

프레임내의 블록를 프레임내의 블록과 비교하는 단계(여기서, 블록들와는 벡터만큼 변위되고,와를 탐색 영역에 관련된 차이 신호들이라 할 때는를 만족하는 탐색 위치들을 나타냄)를 추가적으로 포함하고;상기 비용 함수는 아래의 절대차의 합(SAD) 함수:

, for NxM 화소로 된 블록

으로 되고,

;

이며;

(b) 상기 움직임 벡터를 결정하는 단계는 최소 SAD를 제공하는 움직임 벡터를 결정하는 단계를 추가적으로 포함하며, 여기서, 움직임 벡터는 탐색 범위 내의 하나 이상의 탐색 위치들에 대해서의 관계를 만족시키는,

움직임 보상 방법.
제 4 항에 있어서, 전체 탐색 범위에 대해서, 움직임 벡터는인 임의의에 대해서의 관계를 만족시키며, 여기서R은 탐색 위치들의 집합을 나타내며,인,

움직임 보상 방법.
제 4 항에 있어서, 움직임 예측이 프레임들 내의 패턴형 대상 근방에서 수행되고 있는지를 결정하는 단계는,

수평 및 수직 투영 함수들와를 이용하여 프레임 내의 패턴형 대상을 검출하는 단계를 추가적으로 포함하며, 여기서,

이고

인,

움직임 보상 방법.
제 6 항에 있어서, 패턴형 대상을 검출하는 단계는:

(a)및를 결정하되,

값이 증가함에 따라 수평 투영 함수가 다수의 극소값을 가질 가능성이 높아지고,값이 증가함에 따라 수직 투영 함수가 다수의 극소값을 가질 가능성이 높아지도록

이고

로 결정하는 단계와;

(b) SAD에서의 전체 극소값를,값이 증가함에 따라 SAD가 다수의 최소값을 가질 가능성이 높아지며 프레임 내의 패턴형 대상을 표시하게 되도록,

로 계산하는 단계를 추가적으로 포함하는,

움직임 보상 방법.
제 7 항에 있어서, 패턴형 대상을 검출하는 단계는 추가적으로,

다음의 식,

로 프레임 내에 패턴형 대상이 있는 정도를 나타내는 값를 결정하고, 여기서 K 는 미리 결정된 상수인,

움직임 보상 방법.
제 3 항에 있어서,

(a) 매치를 찾는 단계는:

프레임내의 블록를내의 블록과 비교하는 단계를 추가적으로 포함하고; 여기서, 블록들와는 벡터만큼 변위되고; 블록 차이 신호가

로 표현되고,

상기 비용 함수는 아래의 절대 차의 합(SAD) 함수:

, for NM 화소로 된 블록

로 표현되며;

(b) 상기 움직임 벡터를 결정하는 단계는 최소 SAD를 제공하는 움직임 벡터를 결정하는 단계를 포함하며, 여기서, 움직임 벡터는 탐색 범위 내의 하나 이상의 탐색 위치들에 대해서의 관계를 만족시키는 것으로 결정되는,

움직임 보상 방법.
제 9 항에 있어서, 움직임 예측에서의 전체 탐색 범위에 대해서, 움직임 벡터는인 임의의에 대해서의 관계를 만족시키며,인,

움직임 보상 방법.
제 9 항에 있어서, 움직임 예측이 프레임들 내의 패턴형 대상 근방에서 수행되고 있는지를 결정하는 단계는,

수평 및 수직 투영 함수들와를 이용하여 프레임 내의 패턴형 대상을 검출하는 단계를 추가적으로 포함하며, 여기서,

이고

인,

움직임 보상 방법.
제 11 항에 있어서, 패턴형 대상을 검출하는 단계는:

(a)및를 결정하되,

값이 증가함에 따라 수평 투영 함수가 다수의 극소값을 가질 가능성이 높아지고,값이 증가함에 따라 수직 투영 함수가 다수의 극소값을 가질 가능성이 높아지도록

이고

로 결정하는 단계와;

(b) SAD에서의 전체 극소값를,값이 증가함에 따라 SAD가 다수의 최소값을 가질 가능성이 높아져서, 프레임 내에 패턴형 대상이 있음을 표시하게 되도록,

로 계산하는 단계를 추가적으로 포함하는,

움직임 보상 방법.
제 12 항에 있어서, 패턴형 대상을 검출하는 단계는 추가적으로,

다음의 식,

로 프레임 내의 패턴형 대상이 있는 정도를 나타내는 값를 결정하고, 여기서 K는 미리 결정된 상수인,

움직임 보상 방법.
제 3 항에 있어서,

(a) 매치되는 블록을 찾는 단계는:

프레임내의 블록를내의 블록과 비교하는 단계를 추가적으로 포함하고; 여기서, 블록들와는 벡터만큼 변위되고; 블록 차이 신호가

로 표현되고,

상기 비용 함수는 아래의 절대 차의 합(SAD) 함수:

, for NM 화소로 된 블록

로 표현되며;

(b) 상기 움직임 벡터를 결정하는 단계는 최소 SAD를 제공하는 움직임 벡터를 결정하는 단계를 추가적으로 포함하며, 여기서, 움직임 벡터는탐색 범위 내의 하나 이상의 탐색 위치들에 대해서의 관계를 만족시키는 것으로 결정되는,

움직임 보상 방법.
제 14 항에 있어서, 움직임 예측에서의 전체 탐색 범위에 대해서, 움직임 벡터는인 임의의에 대해서의 관계를 만족시키며,인,

움직임 보상 방법.
제 14 항에 있어서, 움직임 예측이 프레임들 내의 패턴형 대상 근방에서 수행되고 있는지를 결정하는 단계는,

수평 및 수직 투영 함수들와를 이용하여 프레임 내의 패턴형 대상을 검출하는 단계를 추가적으로 포함하며, 여기서,

이고

인,

움직임 보상 방법.
제 16 항에 있어서, 패턴형 대상을 검출하는 단계는:

(a)및를 결정하되,

값이 증가함에 따라 수평 투영 함수가 다수의 극소값을 가질 가능성이 높아지고,값이 증가함에 따라 수직 투영 함수가 다수의 극소값을 가질 가능성이 높아지도록

이고

로 결정하는 단계와;

(b) SAD에서의 전체 극소값를,값이 증가함에 따라 SAD가 다수의 최소값을 가질 가능성이 높아지며 프레임 내의 패턴형 대상을 표시하게 되도록,

로 계산하는 단계를 추가적으로 포함하는,

움직임 보상 방법.
제 17 항에 있어서, 패턴형 대상을 검출하는 단계는 추가적으로,

다음의 식,

로 프레임 내의 패턴형 대상이 있는 정도를 나타내는 값를 결정하고, 여기서 K는 미리 결정된 상수인,

움직임 보상 방법.
제 3 항에 있어서, 프레임들와에 기초하여 프레임를 보간하는 단계를 추가적으로 포함하며, 여기서 프레임들와는 각각 t 번째 및 t-1 번째 프레임이며, 재구축될 프레임는 순서적으로 프레임들와사이에 있는,

움직임 보상 방법.
제 19 항에 있어서, 프레임 화소는 아래의 식:

으로 표현되고, 여기서v _x 와v _y 는 상기 움직임 벡터의 성분들을 나타내고, k는 프레임의 시간상의 상대적인 위치에 관련되는 0과 1 사이의 미리 결정된상수인,

움직임 보상 방법.
제 20 항에 있어서, 움직임 예측이 프레임 내의 패턴형 대상 근방에서 수행되고 있는지를 결정하는 단계는 프레임 내에 패턴형 대상이 있는 정도를 나타내는 팩터를 결정하는 단계를 추가적으로 포함하고;

보간하는 단계는,

,

라 할 때,

이 되도록 팩터에 기초하여 화소를 결정하는 것을 추가적으로 포함하는,

움직임 보상 방법.
제 1 항에 있어서, 움직임 벡터와 프레임 내에 패턴형 대상이 존재하는 정도에 기초하여 새로운 프레임을 두 개의 기존 프레임들의 함수로서 보간하는 단계를 추가적으로 포함하는,

움직임 보상 방법.
두 개의 기존 프레임들에 기초하여 새로운 프레임을 보간하기 위한 것으로서,

각각의 기존 프레임을 수 개의 블록들로 분할하는 단계(여기서, 시간 t에서,는 t 번째 프레임을 나타내고,는프레임 내의 (x,y) 위치에서의 화소값을 나타내고,는 t 번째 프레임 내의 (x,y) 위치에서의 블록을 나타냄);

두개의 매치되는 블록간의 불일치의 척도인 비용 함수를 사용하여 프레임내의 블록를 프레임내의 블록과 비교함에 의해서 다른 하나의 프레임의 탐색 영역 내에서 하나의 프레임의 한 블록에 대한 매치를 찾는 단계;

움직임 예측이 프레임 내의 패턴형 대상 근방에서 수행되고 있는지를 결정함에 의해서, 두개의 매치되는 블록간의 기하학적 변위를 나타내는 움직임 벡터를 결정하는 단계; 및,

기존의 프레임들와에 기초하여 프레임를 보간하는 단계(여기서 프레임 화소는 아래의 식:

으로 표현되고, 여기서v _x 와v _y 는 상기 움직임 벡터의 성분들을 나타내고,k는 프레임의 시간상의 상대적인 위치에 관련되는 0과 1 사이의 미리 결정된 상수임)

를 포함하는 움직임 보상 방법.
제 23 항에 있어서, 움직임 예측이 프레임 내의 패턴형 대상 근방에서 수행되고 있는지를 결정하는 단계는 프레임 내에 패턴형 대상이 있는 정도를 나타내는 팩터를 결정하는 단계를 추가적으로 포함하고;

보간하는 단계는,

,

라 할 때,

이 되도록 팩터에 기초하여 화소를 결정하는 것을 추가적으로 포함하는,

움직임 보상 방법.
이미지 엔코더 내에서 사용되기 위한 것으로서,

하나의 프레임의 한 블록에 대해 다른 프레임의 탐색 영역 내부의 매치를 찾음에 의해서 하나의 이미지 프레임과 다른 하나의 이미지 프레임 사이의 움직임을 예측하는 움직임 예측기;

프레임들 내의 패턴형 대상 근방에서 움직임 예측이 수행되고 있는지를 결정하는 패턴 검출기를 포함하여 구성되는,

움직임 보상 부호화 장치.
제 25 항에 있어서,

두개의 매치되는 블록간의 기하학적 변위를 나타내는 움직임 벡터를 결정하는 움직임 벡터 발생기를 추가적으로 포함하는,

움직임 보상 부호화 장치.
제 26 항에 있어서,

시간 t에서,는 t 번째 프레임을 나타내고,는프레임 내의 (x,y) 위치에서의 화소값을 나타내고,는 t 번째 프레임 내의 (x,y) 위치에서의 블록을 나타낼 때;

움직임 예측기는 두개의 매치되는 블록들 사이의 불일치의 척도인 비용 함수를 사용해서, t 번째 프레임 내의 한 블록을 t-1 번째 프레임 내의 다른 한 블록과 비교함에 의해서 매치를 찾는,

움직임 보상 부호화 장치.
제 27 항에 있어서,

상기 움직임 예측기는 프레임내의 블록를 프레임내의 블록과 비교하되, 여기서, 블록들와는 벡터만큼 변위되고,와가 탐색 영역에 관련된 차이 신호들이도록는를 만족하는 탐색 위치들을 나타내고;

상기 비용 함수는 아래의 절대 차의 합(SAD) 함수:

, for NM 화소로 된 블록

이고,여기서,

;

이며;

상기 움직임 벡터 발생기는 최소 SAD를 제공하는 움직임 벡터를결정하되, 움직임 벡터를 탐색 범위 내의 하나 이상의 탐색 위치들에 대해서의 관계를 만족시키도록 결정하는,

움직임 보상 부호화 장치.
제 28 항에 있어서, 전체 탐색 범위에 대해서는, 움직임 벡터는인 임의의에 대해서의 관계를 만족시키며, 여기서R은 탐색 위치들의 집합을 나타내며,인,

움직임 보상 부호화 장치.
제 28 항에 있어서, 상기 패턴 검출기는 수평 및 수직 투영 함수들와를 생성하는 투영 함수 블록을 추가적으로 포함하며, 여기서,

이고

인,

움직임 보상 부호화 장치.
제 30 항에 있어서, 패턴 검출기는 추가적으로,

(a)및를 결정하되,값이 증가함에 따라 수평 투영 함수가 다수의 극소값을 가질 가능성이 높아지고,값이 증가함에 따라 수직 투영 함수가 다수의 극소값을 가질 가능성이 높아지도록

이고

로 결정하는 극소값 함수 블록과;

(b) SAD에서의 전체 극소값를,값이 증가함에 따라 SAD가 다수의 최소값을 가질 가능성이 높아지며 프레임 내의 패턴형 대상을 표시하게 되도록,

로 정하는 극소값 예측기를 포함하는,

움직임 보상 부호화 장치.
제 31 항에 있어서, 패턴 검출기는 다음의 식,

로 프레임 내에 패턴형 대상이 있는 정도를 나타내는 값를 결정하고, 여기서 k는 미리 결정된 상수인,

움직임 보상 부호화 장치.
제 27 항에 있어서,

(a) 상기 움직임 예측기는 프레임내의 블록를내의 블록과 비교하는 것에 의해서 매치를 찾고, 여기서, 블록들와는 벡터만큼 변위되고; 블록 차이 신호 는,

로 표현되고,

상기 비용 함수는 아래의 절대 차의 합(SAD) 함수:

, for NM 화소로 된 블록

로 표현되며;

(b) 상기 움직임 벡터 발생기는 최소 SAD를 제공하는 움직임 벡터를 결정하되, 움직임 벡터를 탐색 범위 내의 하나 이상의 탐색 위치들에 대해서의 관계를 만족시키는 것으로 결정하는,

움직임 보상 부호화 장치.
제 33 항에 있어서, 움직임 예측에서의 전체 탐색 범위에 대해서는, 움직임 벡터는인 임의의에 대해서의 관계를 만족시키며,인,

움직임 보상 부호화 장치.
제 33 항에 있어서, 상기 패턴 검출기는 수평 및 수직 투영 함수들와를 이용하는 투영 함수 블록을 추가적으로 포함하며, 여기서,

이고

인,

움직임 보상 부호화 장치.
제 35 항에 있어서, 상기 패턴 검출기는 추가적으로,

(a)및를 결정하되,

값이 증가함에 따라 수평 투영 함수가 다수의 극소값을 가질 가능성이 높아지고,값이 증가함에 따라 수직 투영 함수가 다수의 극소값을 가질 가능성이 높아지도록

이고

로 결정하는 극소값 함수 블록과;

(b) SAD에서의 전체 극소값를,값이 증가함에 따라 SAD가 다수의 최소값을 가질 가능성이 높아지며 프레임 내의 패턴형 대상을 표시하게 되도록,

로 정하는 극소값 예측기를 포함하는,

움직임 보상 부호화 장치.
제 36 항에 있어서, 패턴 검출기는 다음의 식,

로 프레임 내의 패턴형 대상이 있는 정도를 나타내는 값를 결정하고, 여기서 K는 미리 결정된 상수인,

움직임 보상 부호화 장치.
제 27 항에 있어서,

(a) 상기 움직임 예측기는 프레임내의 블록를내의 블록과 비교함에 의해서 매치를 찾으며, 여기서, 블록들와는 벡터만큼 변위되고; 블록 차이 신호가

로 표현되고, 상기 비용 함수는 아래의 절대 차의 합(SAD) 함수:

, for NM 화소로 된 블록

로 표현되며;

(b) 상기 움직임 벡터 발생기는 최소 SAD를 제공하는 움직임 벡터를 결정하되, 움직임 벡터를 탐색 범위 내의 하나 이상의 탐색 위치들에 대해서의 관계를 만족시키는 것으로 결정하는,

움직임 보상 부호화 장치.
제 38 항에 있어서, 움직임 예측에서의 전체 탐색 범위에 대해서, 움직임 벡터는인 임의의에 대해서의 관계를 만족시키며,인,

움직임 보상 부호화 장치.
제 38 항에 있어서, 상기 패턴 검출기는 수평 및 수직 투영 함수들와를 이용하는 투영 함수 블록을 추가적으로 포함하며, 여기서,

이고

인,

움직임 보상 부호화 장치.
제 40 항에 있어서, 상기 패턴 검출기는 추가적으로,

(a)및를 결정하되,값이 증가함에 따라 수평 투영 함수가 다수의 극소값을 가질 가능성이 높아지고,값이 증가함에 따라 수직 투영 함수가 다수의 극소값을 가질 가능성이 높아지도록

이고

로 결정하는 극소값 함수 블록과;

(b) SAD에서의 전체 극소값를,값이 증가함에 따라 SAD가 다수의 최소값을 가질 가능성이 높아지며 프레임 내의 패턴형 대상을 표시하게 되도록,

로 정하는 극소값 예측기를 포함하는,

움직임 보상 부호화 장치.
제 41 항에 있어서, 패턴 검출기는 다음의 식,

로 프레임 내에 패턴형 대상이 있는 정도를 나타내는 값를 결정하고, 여기서 K는 미리 결정된 상수인,

움직임 보상 부호화 장치.
제 27 항에 있어서, 프레임들와에 기초하여 프레임를 보간하는 보간기를 추가적으로 포함하며, 여기서 프레임들와는 각각 t 번째 및 t-1 번째 프레임이며, 재구축될 프레임는 순서적으로 프레임들와사이에 있는,

움직임 보상 부호화 장치.
제 43 항에 있어서, 프레임 화소는 아래의 식:

으로 표현되고, 여기서v _x 와v _y 는 상기 움직임 벡터의 성분들을 나타내고, k는 프레임의 시간상의 상대적인 위치에 관련되는 0과 1 사이의 미리 결정된 상수인,

움직임 보상 부호화 장치.
제 44 항에 있어서, 상기 패턴 검출기는 프레임 내에 패턴형 대상이 있는 정도를 나타내는 팩터를 추가적으로 결정하고;

보간기는,

,

라 할 때,

이 되도록 팩터에 기초하여 화소를 결정하는 것을 추가적으로 결정하는,

움직임 보상 부호화 장치.
제 25 항에 있어서, 움직임 벡터와 프레임 내에 패턴형 대상이 존재하는 정도에 기초하여 새로운 프레임을 두 개의 기존 프레임들의 함수로서 보간하는 보간기를 추가적으로 포함하는,

움직임 보상 부호화 장치.
이미지 엔코더 내에서 사용되기 위한 것으로서,

하나의 프레임의 한 블록에 대해 다른 프레임의 탐색 영역 내부의 매치를 찾음에 의해서 하나의 이미지 프레임과 다른 하나의 이미지 프레임 사이의 움직임을 예측하는 움직임 예측기;

프레임들 내의 패턴형 대상 근방에서 움직임 예측이 수행되고 있는지를 결정하는 패턴 검출기를 포함하여 구성되는,

움직임 보상 장치.
이미지 엔코더 내에서 사용되기 위한 것으로서,

시간 t에서,는 t 번째 프레임을 나타내고,는프레임 내의 (x,y) 위치에서의 화소값을 나타내고,는 t 번째 프레임 내의 (x,y) 위치에서의 블록을 나타낼 때;

두개의 매치되는 블록들 사이의 불일치의 척도인 비용 함수를 사용해서, t 번째 프레임 내의 한 블록을 t-1 번째 프레임 내의 다른 한 블록과 비교함에 의해서 매치를 찾는 움직임 예측기;

두개의 매치되는 블록간의 기하학적 변위를 나타내는 움직임 벡터를 결정하는 움직임 벡터 발생기;

프레임들 내의 패턴형 대상 근방에서 움직임 예측이 수행되고 있는지를 결정하는 패턴 검출기; 및,

프레임들와에 기초하여 프레임를 보간하는 보간기를 포함하며, 여기서 프레임 화소는 아래의 식:

으로 표현되고, 여기서v _x 와v _y 는 상기 움직임 벡터의 성분들을 나타내고, k는 프레임의 시간상의 상대적인 위치에 관련되는 0과 1 사이의 미리 결정된 상수인,

움직임 보상 부호화 장치.
제 48 항에 있어서, 상기 패턴 검출기는 프레임 내에 패턴형 대상이 있는 정도를 나타내는 팩터를 추가적으로 결정하고;

보간기는,

,

라 할 때,

이 되도록 팩터에 기초하여 화소를 결정하는 것을 추가적으로 결정하는,

움직임 보상 부호화 장치.