KR19990077203A - 이미지 세그멘테이션 - Google Patents

Abstract

이미지 인코더나 다른 이미지 처리 장치는 지정된 표준에 따라 이미지 화소들을 영역들로 분배하는 세그멘테이션 장치를 포함한다. 상기 세그멘테이션 장치는 동화상 시이퀀스를 통한 시-정합 세그멘테이션을 제공하며, 또한 상기 선행 프레임의 세그멘테이션(S1) 및 추정된 모션 벡터들(M)에 기초하여 현재 프레임(F0)에 대한 세그멘테이션을 예측하는 수단(102)과, 상기 모션 벡터들(M)에 기초하여 상기 현재 프레임에 대한 예측된 화소값들(F0')의 정확도에 의존하여 상기 예측 세그멘테이션을 수정하는 수단(104 내지 106)을 포함한다. 특히, 상기 모션 벡터들에 의해 화소값이 정확하게 예측되지 않는 상기 이미지의 부분들에 대해, 상기 예측 세그멘테이션은 무효라고 가정되므로, 상기 부분들은 재-세그멘트되고 상기 시-정합 세그멘테이션을 얻도록 상기 예측 세그멘테이션으로 병합된다. 본 실시예에서, 상기 예측 세그멘테이션내 영역들의 경계상의 화소들도 고려되며 다양한 표준에 따라 인접 영역들로 재-분배된다.

Description

이미지 세그멘테이션

이미지는 각 이미지 화소(image pixel)의 특성들(특히, 화소-색)을 정의함으로써 기술되는 것이 보통이다. 단색 이미지(monochrome image)에서는 각 화소를 정의하는 특성들이 화소의 그레이 스케일 값(grey scale value)으로 구성되나, 컬러 이미지에서는 화소당 복수의 컬러 인자 값(colour component value)이 정의되어야 한다. 본 발명은 상기한 종래의 이미지 및 특성들에 한정되지 않을 뿐만 아니라, 공간적 특성(spatial attribute)에도 적용되어 2 차원 이상의 화소 배열(pixel array) 형태로 표시될 수 있다. 마찬가지로, 단층 이미지(tomographic image) "슬라이스(slices)"의 세그멘테이션이 제 3 공간 차원상의 이미지 시이퀀스(image sequence)(시 시이퀀스(time sequence)일 필요는 없다)에 대해 수행될 때와 같이, 시간 및 시-정합성이라는 개념은 근사 차원들을 포함하는 것으로 이해되어야 한다.

이미지 세그멘테이션은 화소들을 영역들(regions)로 분류하고 각 영역들은 유사 특성을 가지는 화소들만을 포함하도록 하는 공지 기술이다. 상기 기술에는 많은 응용례들(특히, 이미지 부호화(image coding: 압축(compression)) 분야)이 있다. 이미지 세그멘테이션을 사용하는 이미지 부호화 체계(image coding schemes)는, 저-데이터 전송 속도(low data rate)를 가지는 이미지 모션(image motion)의 전송에 특히 적합하다. 데이터 전송 속도는 보통 64[kbits/s] 정도로 낮다. 그들은 실시간 비디오 정보(real time video information)를 전화선의 좁은 대역폭으로 다운시키는 것을 요구하는 비디오-폰(video-phone)과 같은 응용례에 적합하다. 만약 세그멘테이션 자체가 부호화되지는 않더라도, 상기 세그멘테이션은 대화에 있어서의 얼굴과 같은 이미지의 '중요한' 부분에 이용 가능한 대역폭을 집중하는데 유용하다. 이미지 세그멘테이션을 명시적으로 사용하는 이미지 부호화 체계는 공개된 특허 출원 EP-A-0437002(PHB 33610) 및 EP-A-0454234(PHB 33626)에 기재된 영역 및 텍스처(texture) 부호화이다. 상기 세그멘테이션 체계가 동화상내 프레임 시이퀀스(frame suquence)의 부호화에 사용되면, 세그멘테이션이 개별 프레임에서 수행됨으로 인해 발생하는 가시적 아티팩트(visual artifact)는 각 프레임마다 변화될 수 있고 주관적으로는 매우 불쾌한 이미지 시이퀀스 표시를 발생할 수도 있다. 따라서 상기 세그멘테이션은 시-정합적인 것이 바람직하다. 즉, 해당 화소 그룹은 후속 프레임내의 해당 영역에 속해야 한다. 또한 이미지 세그멘테이션은 이미지 부호화에 한정하여 사용되지 않으며, 이미지 향상(image enhancement), 객체 트랙킹(object tracking), 이미지로부터 추출된 3차원적 배치(3-D geometry), 컴퓨터 원용 에니메이션(computer-aided animation) 및 색상화(colourization)와 같은 다양한 이미지 처리 응용례들에 보편적으로 사용된다.

시-정합 이미지 세그멘테이션 문제로 접근하는 공지된 방법은, 이미지를 균일한 모션 영역들로 세그멘트하여 객체를 유도하는 것이다. 그 후 상기 객체들에 대한 모션 벡터(motion vector)가 계산 및 출력된다. 상기 예들은 노버트 디일(Norbert Diehl)저, "이미지 시이퀀스내의 세그멘테이션 및 모션 추정(Segmentation and Motion Estimation in Image Sequences)"(SPIE Volume 1260, Sensing and Reconstruction of Three-dimensional Objects and Scenes 1990) 및 본 출원인 명의의 EP 0 579 319(PHB 33802)에 기재되었다.

상술한 접근 방법은, 이 방법이 이미지를 그 함유 객체들로 양호하게 구획할 수 있는지 여부에 의존한다는 문제점을 지닌다. 즉, 상기 방법은 이미지내 객체들의 존재 가능성에 관한 사전 지식이나 복수의 후속 이미지 프레임들의 복합 처리에서 도출되는 사전 지식에 의존한다는 문제점을 지닌다. 상기 객체들에 관한 최소한의 지식밖에 없는 경우, 상기한 모델링은 매우 곤란하며, 상기 객체들로의 이미지 분할도 만족스런 결과를 얻을 수 없다. 양호한 이미지 세그멘트에 실패하면, 주관적으로는 매우 불쾌한 결과들이 야기될 수 있다. 예컨데, 비디오-폰의 실험중에 전송면의 서두로부터 잡음이 증폭되는 것이 발견되었다. 따라서 상기한 접근에는 객체 모델들에 관한 복잡하고 광범위한 데이터베이스(database)가 요구되며, 상기 모델들과 이미지내 객체들의 매칭(matching)에는 과도한 계산이 필요하다. 따라서 현재는 상기한 접근을 보편적 이미지 부호화를 위한 양호한 기술로 인정하지 않는다.

본 발명은 시-정합성(temporal consistency)이 향상된 이미지 세그멘테이션(image segmentation)에 관한 것이며, 또한 상기 세그멘테이션에 의존하는 단계들을 포함하는 이미지 처리(image processing)에 관한 것이다.

도 1은 본 발명의 일 실시예의 세그멘테이션 프로세스의 개요의 블록도.

도 2A, 2B 및 2C는 상기 실시예의 시-정합 이미지 세그멘테이션의 상세한 블록도.

도 3은 모션 벡터의 계산 방법 및 모션 예측치가 틀린 곳의 화소의 검출을 도시한 블록도.

도 4A 및 4B는 본 발명의 일 실시예의 각 화소 그레디언트(gradient)의 계산을 도시한 도면.

도 5는 상기 실시예의 에지 화소 할당 프로세스(process of edge pixel allocation)의 흐름도.

도 6A 및 6B는 도 5에 도시된 프로세스에 관한 기술을 보조하기 위해 화소 휘도(pixel intensity) 및 그레디언트를 도시한 도표.

도 7은 도 1 내지 도 6의 이미지 세그멘테이션 프로세스를 채용한 이미지 부호화 장치(image encoding apparatus)의 블록도.

본 발명의 목적은 이미지내 객체들의 특별한 모델링이 불필요한 시-정합 세그멘테이션의 접근 방법을 제공함에 있다. 본 발명의 실시에는 시-정합성이 필요하며, 이에 의해 상기 가정들이 무효인 경우 에러가 검출 및 정정되도록 메카니즘이 제공되므로, 이미지 시이퀀스내 모션과 관련된 단순한 가정들의 제공에 포함되는 계산은 감소될 수 있다.

청구항에 정의된 본 발명으로 인해, 이동 객체를 포함하는 동화상 시이퀀스의 세그멘테이션에 관한 시-정합성의 제공처럼, 관련된 일련의 화상들에 대한 정합 세그멘테이션의 제공이 가능하다.

본 실시예에서, 세그멘테이션 방법은 이하의 단계 전부나 일부를 포함한다:

(a) 복수의 영역들 중에 화상 화소를 분배하는 초기 세그멘테이션을 제공하도록 시이퀀스의 초기 화상을 세그멘트하는 단계;

(b) 상기 시이퀀스의 초기 및 후속 화상으로부터의 모션 벡터를 계산하는 단계;

(c) 상기 후속 화상에 대한 예측 세그멘테이션을 제공하도록 상기 모션 벡터를 상기 초기 세그멘테이션에 적용하는 단계;

(d) 후속 화상의 예측 화소값을 얻도록 상기 초기 화상 및 모션 벡터를 사용하는 단계;

(e) 후속 프레임에 대한 예측 화소값과 실제 화소값을 비교하여 상기 모션 벡터가 무효인 화소들을 식별하는 단계;

(f) 또 다른 화상 영역들을 제공하도록 상기 식별된 화소를 세그멘트하는 단계;

(g) 상기 후속 화상에 대한 향상된 세그멘테이션을 제공하도록 예측 세그멘테이션의 부분들을 상기 화상 영역들로 대체하는 단계;

(h) 후속 세그멘트 화상을 초기 화상으로 사용하고 향상된 세그멘테이션을 초기 세그멘테이션으로 사용하여 단계 (b)로부터 단계 (g)까지를 반복하는 단계.

단계 (f)에 선행하여, 다양한 발견물들(heuristics)이 인접 화소들과 동일한 영역들로 할당됨으로써, 식별된 화소의 수를 감소시키도록 적용되고/적용되거나 단계 (f)에서 고려되는 화소들을 지정할 수 있다.

본 발명에 따라 수행되는 세그멘테이션은 시-정합성을 향상시키므로, 비록 아티팩트가 상기 이미지 세그멘테이션에 여전히 존재하더라도, 프레임에서 프레임까지 일관되어, 시청자에게는 보다 덜 불쾌한 결과를 제공할 것이다.

예컨데, 본 발명에 따른 방법의 일 실시예는 프레임간의 모든 모션을 2 차원 평면 운동이라 가정하여, 블록 매칭 추정량(block matching estimator)과 같은 종래의 2 차원 운동 추정량을 이미지의 각 화소에 대한 모션 벡터 계산에 사용될 수 있게 하였다. 상기 가정은 실제 시이퀀스에서는 항상 유효한 것이 아니며, 모션 벡터가 블록에 의해서만 계산되는 것 처럼, 설령 프레임간 모션이 2 차원 평면 모션을 배타적으로 구성되더라도, 각 블록내 모든 개별 화소에 대한 정확한 모션 벡터가 계산될 가능성은 적다. 본 실시예에서는, 부정확한 모션 벡터의 검출을 위해, 각 화소의 변위 프레임-차(displaced frame difference, DFD)가 계산된다. DFD는 프레임과, 모션 벡터에 의해 제공되며 인접한 프레임에 근거한 상기 프레임의 예측치간의 단위 화소당 에러를 표시한다. 그래서 과다 DFD는 특정 화소에 대한 모션 벡터가 무효라는 것을 나타낸다. DFD는 상기 모션 벡터에 의해 예측 세그멘테이션이 정정을 요구하는 곳을 식별하기 위해 사용된다.

도 1은 일련의 동화상 프레임들을 위한 이미지 세그멘테이션 프로세스의 개요를 제공한다. 상기한 실시예에서 이미지는 단색이며, 각 화소의 휘도는 단일 그레이 스케일 값에 의해 정의된다. 그러나 본 발명은 단색 처리, 컬러 이미지 또는 어떤 형태의 화소 배열을 허여함에 필요한, 당업자에게는 자명한 변형예에 한정되지 않는다.

도면에서, 수행될 프로세스 단계들은 타원형 박스들과, 사각형 박스에 포함된 주요 데이터 구조들(data structures)에 의해 지정된다.

F1은 시간 t = n-1에서의 프레임에 대한 그레이 스케일 값의 화소 배열을 지정한다. 즉, 상기 배열은 상기 프레임내의 각 화소의 그레이 스케일 값을 포함한다. t = n에서의 프레임 F1 및 F2에 대한 세그멘테이션은 시-정합적으로 제공된다고 예측된다.

프레임 F1이 시이퀀스의 제 1 프레임이 되면, 상기 프레임은 후술할 방식으로 세그멘테이션 데이터 S1을 제공하도록 초기 세그멘테이션 프로세스 100을 필요로 한다.

프레임 F1과 후속 프레임 F0간의 모션(시간 t = n)에 관하여, 그레이 스케일 프레임 데이터 F1 및 새로운 회색 스케일 프레임 데이터 F0로부터, 모션 벡터 M은 도 3 및 단계 21에 비해 자세한 후술한 종래 방식으로 계산된다. 즉, 상기 벡터들의 계산에 관한 다수의 상이한 기술들이 공지되었으나, 본 실시예의 모션은 작은 화소 블록의 2 차원 번역으로 모델링된다.

상기 모션 벡터들이 계산되면, 그들은 모션 보상 프로세스(motion compensation process; 102)에 의해 초기 세그멘테이션 S1에 적용된다. 이는 프레임 F0에 대한 목적 세그멘테이션 S0의 제 1 예측 S0¹을 제공한다. 그러나 상기 예측 S0¹은, 화소들의 블록화와 같이, 모션 검출 프로세스내에서 만들어지는 임의의 근사 및 가정으로 인해, 다수의 화소들에 대한 무효 엔트리를 포함할 것이다. 에러는 또한 잡음(외부 또는 이미지 처리 시스템내) 및 예측할 수 없는 "공개된 배경(uncovered background)"에 의해서 발생될 수도 있다. 따라서 본 실시예는 세그멘테이션이 무효(무효에 대한 표준은 후술한다)로 될 수 있는 화소들을 식별하고 스테이지내의 다양한 선택적 프로세스들을 상기 화소들에 적용하여 그들을 기존 영역(existing region)들로 할당한다. 성공적으로 할당되지 않은 화소들은, 비할당된 화소상의 스크랫치로부터의 세그멘테이션 프로세스를 수행하여 제공되는 새로운 영역들로 할당된다.

2개의 특별한 범주의 화소들이 식별되어, 예측 세그멘테이션 데이터가 무효로 취급받을 것이다. 본 실시예에서, 비록 하나 또는 다른 범주들을 무시하거나 다양한 방법으로 그들의 취급을 결합하는 것이 실제로는 똑같이 가능하더라도, 기존 영역들로의 화소들의 재할당을 시도함에 있어, 상기 각 범주는 독립된 프로세스에 의해 다루어진다.

제 1 범주의 화소들은 상기 예측된 영역들의 경계상에 놓여진 화소들이다. 본 발명자들은 상기 화소들을 특별히 잡음에 민감하도록 식별하였다. 또한 모션 벡터는 개별 화소 보다 화소 블록으로 계산되는 것이 보통이므로, 블록이 다른 객체에 적합하게 속한 화소들을 포함하는 영역(객체) 경계의 주위에는 에러가 발생되는 경향이 있다.

제 2 범주는 모션 보상에 실패했다고 판정된 화소들이다. 이미지 프레임의 모션 벡터 및 화소 데이터는 모션 보상의 실패를 결정하는 표준이다. 이에 대해서는 상세히 후술한다.

프로세스 104는 영역의 경계상에 놓여진 화소들을 넓게 식별하며, 상기 영역에서 상기 화소들(범주 1의 화소)은 예측 세그멘테이션내에 할당된다. 상세히 후술하겠지만, 본 실시예는 화소값 및 계산된 영역 통계에 따라, 상기 화소들이 보다 적합한 영역들로 재분배되도록 한다.

프로세스 106은, 상기 블록의 모션 벡터가 화소(범주 2의 화소)의 모션을 정확하게 표시하지 않는 것으로 보이면, 상기 화소들이 적합한 영역들로 분배되도록 하는데, 프로세스 104에서는 상기 화소들이 고려의 대상에서 제외되었다. 특히 화소들에 있어서, 그들이 속한 블록의 모션 벡터에 의해 화소값이 정확히 예측되지 않으면, 예측 세그멘테이션내 상기 화소들의 영역도 정확히 예측되지는 않을 것이라는 가정이 제기된다.

모션 보상에 실패한 화소들은, 하나 또는 또 다른 기존 영역의 경계 위나 그 근방에 위치하여, 상기 영역들 중의 하나에 분배될 수 있다. 상세히 후술되듯이, 상기는 각 화상에서의 화상값 그레디언트를 고려하여 본 실시예에 구현될 수 있다.

비록 영역 경계에 위치하거나(범주 1) 무효 모션 벡터를 가지는(범주 2) 다수의 화소들이 기존 영역들에 할당되더라도, 일정 화소들은 어떤 기존 영역들로도 분배될 수 없는 상태로 남아있다. 이는 출현된 객체 및 배경과 관련해 일반적으로 나타날 것이다. 그래서 상기 화소들은 새로운 영역을 제공하도록 새로운 세그멘테이션 프로세스에 따른다.

세그멘테이션 후 작은 영역들은 소거되는 것이 바람직하다. 상기 소거는 소영역을 이의 가장 적합한 이웃과 병합하여 수행되므로, 후속 수행되어야 하는 처리의 양이 현저히 감소한다. 또한 이는 세그멘테이션에 의해 정의되는 상이한 영역들의 (한편으로 과도해질 수 있는)수를 조절하는 메카니즘을 제공한다. 본 실시예에서, 상기 새로운 영역들은 기존 영역들과의 병합에 선행하여 상호 병합되는데, 물론 이는 필요적 단계가 아님이 명백하다.

도 1에서 점선으로 표시된 것처럼, 모션 시이퀀스(motion sequence)의 각 후속 프레임에 대해, 새로운 세그멘테이션 S0는 초기 세그멘테이션 S1로 수용되고 상기 프로세스는 반복된다.

도 2A, 2B 및 2C는 본 실시예의 이미지 세그멘테이션을 보다 상세히 도시한다.

도 2A를 참조하면, 프레임 F1에 대한 그레이 스케일 데이터는 이미지 내용 및 세그멘테이션의 목적에 의존하여 적절한 방식으로 초기 세그멘테이션 프로세스 11을 따른다. 상기 세그멘테이션의 일 예는 브라이스-피네머 기술(Brice-Fennema technique)이라 지칭되며 "영역들을 사용한 장면 분석(Scene analysis using regions)"(Artificial Intelligence 1 (1970) 205-226)에 기재되었다. 본 실시예에서는, 화상 배열(pixel array)이 제공되고 소속된 영역들을 식별하도록 값(value)이 각 화소로 들어간다. 본 발명의 후속 단계들에 대한 단순화로서, 세그멘테이션의 상기한 표시는 상기 논문에 기재된 일련의 "경계 세그멘트(boundary segments)"에 우선하여 사용된다. 그러나 상기한 표시는 필수적인 것은 아니며, 연쇄 표시(chain representation)로 대체하여 사용될 수 있다. 특히, 연쇄 표시는 초기 세그멘테이션동안 사용되며, 상기 세그멘테이션을 갱신하는 화소 배열 형태로 프레임에서 프레임으로의 전환을 기대할 수 있다. 어떤 경우든, 세그멘테이션 프로세스 11의 결과는 세그멘테이션 데이터 S1이다.

프로세스 13에서는 S1의 영역들에 대한 다양한 영역 통계(STATS)가 계산된다. 본 실시예에서, 상기 계산된 통계는 각 영역내 화소들의 수, 각 영역들의 평균 그레이 스케일 값 및 각 영역의 표준 편차이다. 각 영역에 명시적으로 저장되는 평균 및 표준 편차 대신, 총합 및 화소 그레이 스케일 값의 제곱의 총합이 저장된다. 이로써, 화소들이 상기 영역에 결합 또는 이탈시 표준 편차의 후속 계산과, 후기 관계를 사용하여 용이하게 계산될 수 있는 상기 표준 편차가 단순화된다는 것이 이해될 것이다.

σ ²= - μ ²= - ( )²

여기서 σ 는 표준 편차, χ 값은 상기 영역에 속한 화소의 개별 그레이 스케일 값, n은 상기 영역내의 화소들의 수 그리고 μ 는 상기 영역의 평균 그레이 스케일 값을 나타낸다.

소영역들은 단계 15에서 "소거(eliminated)"된다. 본 실시예에서, 5개의 화소 크기보다 작은 영역은 - 비록 실험에 의해 결정된 값이고 한계로 해석되어서는 안되지만 - 제거된다. 실제로 이는 360×280 화소들의 이미지에 대해 1000개의 영역을 프레임상에 허여한다. 소영역의 소거로 현재 프레임을 위한 후속 처리는 감소되는 것은 물론, 이미지들의 연속동안 영역들의 수가 증가되는 경향에 대한 반작용이 야기된다. 선택적으로 상기 소거는 상기 방법의 후-스테이지에서도 수행될 수 있으나, 상기 스테이지가 중요하지 않은 소영역들의 후속 처리를 소거하므로, 상기 스테이지에서의 수행이 바람직하다. 선택적으로, 세그멘테이션 프로세스 및 상기 프로세스에 적용되는 표준을 세심하게 선택하여, 소영역들이 제공되는 것을 방지할 수 있다.

소거 프로세스는 각 소영역을 제거될 영역의 평균 그레이 스케일 값에 근접한 평균 그레이 스케일 값을 가지는 인접 영역과 병합함으로써 수행된다. 세그멘테이션 배열 S1은 새로운 영역 구조 S1¹으로 표시된다.

또한 각 영역에 대한 통계 기록 STATS는 단계 17에서 갱신된다. 본 실시예에서, 상기 통계 기록은 단순히 어떤 화소가 제거되고 어떤 화소가 각 영역에 결합되었는지를 고려하여 갱신된다. 실제로 상기 단계는 소영역의 소거 단계(단계 15)와 통합될 수 있다. 또한 소거 단계 15가 완료되면 각 영역에 대한 상기 통계를 재계산할 수 있다는 사실도 알 것이다. 예컨데, 이는 상기 통계가 하드웨어에서 계산될 때 바람직 할 것이다. 또 다른 선택례로서, 인접 영역은 소거된 작은 영역보다 큰 것이 보통이기 때문에, 상기 인접 영역의 통계는 새로운 영역 통계를 위한 합리적 근사치로서 어떤 변경도 없이 사용될 수 있다. 즉 단계 17은 선택적이다.

도 2B 및 2C는, 현재의 프레임 F0에 대한 출력 세그멘트 데이터 S0를 제공하도록 초기 세그멘테이션 S1¹이 설정된 후 세그멘테이션 프레임 S1¹상에서 수행되는 다양한 프로세스를 도시한 도면이다.

단계 19에서, 모션 벡터 M은, 프레임 F1에 대한 세그멘트 데이터의 제 1 예측를 주도록 화소 베이시스(pixel basis)에 의해 화소상의, 프레임 F1에 대한 세그멘트 데이터 S1을 모션 보상하는데 사용된다. 상기 예측은 S0¹으로 나타난다. 모션 보상의 상이한 방법들은 종래 기술로 공지되었다. 본 발명에서, 모션 벡터 M은, 비록 모션 추정량(motion estimator)에 의해 수행되는 블록 매칭(block matching)이 불량한 매치를 초래하더라도, 현재의 프레임 F0의 각 블록중 하나에 제공되고 세그멘테이션 데이터 S1내의 화소들의 상대적 위치를 표시할 것이며, 그 영역 ID는 배열 S0¹로 현재 고찰중인 블록의 화소들을 복사할 수 있다는 가정을 할 수 있다. 다른 실시예들은 모션 검출에 실패하면 상기 모션 추정량에 의해 플랙되는 일정 블록내에서 가능하며, 숙련된 자는 본 실시예가 이에 알맞도록 적응될 수 있다는 것을 용이하게 이해할 것이다. 마찬가지로, 본 방법은 "정방향(forward)" 모션 벡터(본 실시예의 "역방향(backward)" 모션 벡터 대신)가 이용 가능한 곳(선행 프레임의 블록당 하나)이나 모션 측정량 정보(motion estimation information)가 완전히 다른 형태를 가지는 곳에 적응될 수 있을 것이다.

비록 STATS의 값들이 예측 세그멘테이션 S0¹을 참조하여 상기 스테이지에서 갱신될 수 있더라도, 이는 실현되지 않는다는 것을 알아야 한다. 비록 상기 통계들이 선행 세그멘테이션 데이터로부터 발생되더라도, 합리적 오차 범위내에서, 그들은 상기 현재의 세그멘테이션 데이터에 적용될 수 있다.

단계 21은, 플랙(flag)들의 제 1 열에 의해 무효가 되면 플랙되는 S0¹의 개별적 화소들을 지운다.

도 3은 각 화소의 변위된 프레임차(displaced frame difference: DFD)와 관련된 플랙 U10의 결정을 도시한다. 데이터 F1 및 F0는 모션 벡터 M을 계산하도록 모션 검출기 1로 입력된다. 모션 검출기의 예들은 종래 기술로 공지되었고, 고해상도 TV와, 주지된 MPEG 및 H.261 표준들과 같이 저-비트레이트 이미지 부호화 체계에 종래 사용되었다. 상기한 모션 검출기의 예들은 제랄드 드 한(Gerard de Haan)의 저서 "모션 측정량 및 보상(Motion Estimation and Compensation)"(1992, ISBN 90-74445-01-2)과, 한스 무스만, 페터 피르쉬 및 한스 요아킴 그랄러트(Hans Musmann, Peter Pirsch and Hans Joachim Grallert)의 저서 "화상 부호화의 진보(Advances in Picture Coding)"(IEEE, Vol 73, No.4, April 1995)에 기술되어 있다.

본 실시예에 사용된 상기 모션 검출기는 2 차원 평면 운동에 대해서만 작동하고, x 및 y 방향으로의 8×8 화소 블록의 번역을 계산한다. 그러나 보다 복잡한 모션 검출기는 단순한 번역보다 복잡한 변환(transformation)을 모델링할 수 있도록 채용되며, 상기 블록들은 다양한 크기를 가지거나 심지어 단일한 화소도 될 수 있다는 사실은 당업자에게는 자명하다. 다른 선택례는 영역에 의한 모션 벡터의 계산이다.

본 실시예에 채용되는 상기한 모션 벡터를 계산하는 간단한 방법은, 선행 프레임 F1을 검색하며 현재의 이미지 프레임 F0내의 화소들의 각 블록을 고려하여, 가장 잘 매칭되는 화소들의 블록을 찾는 것(즉, 화소들의 현재 블록이 어느 곳으로부터 온 것 같은가를 찾는 것)이다. 보통 프레임 F1내의 검색은 F0내 블록 위치로부터의 외측 나선(outward spiral)으로 유도된다. 상기한 역방향 모션 벡터 계산은 벡터가 F0의 각 블록 및 모든 블록에 대해 발생되는 정방향 모션 벡터 계산보다 유리하다. 그러나 정방향 모션 벡터들도, 특히 장치내 이들이 이미 이용 가능한 경우에는, 사용될 수 있다. F0내 일정 화소들에 대한 모션 벡터의 결핍은 치명적이지 않으므로 상기 실시예는 각 화소에 대한 플랙 U10을 직접 설정함에 적응될 수 있다.

상술한 바와 같이, 모션 벡터 1은 F0내 화소들의 각 블록에 대한 모션 벡터를 제공할 것이다. 그 후 프레임 F1은 유도된 모션 벡터 M을 사용하는 모션 보상 프로세스에 따른다. 즉, 상기 모션 벡터들은 상기 프레임 F0의 예측을 주도록 상기 프레임 F1에 적용된다. 상기 예측은 F0¹로 지정된다. 비록 각 화소가 자신의 배타적 모션 벡터를 가지지 않더라도, 상기 블록에 대한 상기 모션 벡터가 사용될 화소들을 포함하는 것은 명백하다. 모션 보상 프로세스는 상기 기술 분야에 주지되었으며, 또한 사용된 모션 보상 프로세스의 타입과 이용 가능한 상기 모션 벡터의 결과적 형태 및 의미에 매칭되는 것만을 필요로 한다. 세그멘테이션 예측 S0¹은 동일한 모션 벡터를 동일한 방식으로 사용하는 세그멘테이션 S1으로부터 발생된다(단계 19).

그 후 F0 및 F0'는 화소 차이 계산 단계(pixel difference calculating step) 5에 따라 두 배열간의 각 화소의 그레이 스케일 값내의 차이(즉, 상기 화소의 실제값과 그 예측값간의 차이)를 검출한다. 본 실시예에서, 각 화소는 번갈아 고려되며, 상기 화소 차이 계산은 화소 차이의 절대값(크기)를 제공한다. 변위 프레임 차이(DFD)의 화소 배열이 제공된다(도면내 지정된 DFD). 실제로, 수행에 따라 상기 DFD 값은 단계 1내 블록 매칭 프로세스의 부산물로서 이용될 수 있다.

단계 7에서 DFD의 값은, 그것이 문턱값 T를 초과하는지를 결정하도록, 각 화소에 대해 테스트된다. 임계화에 의해 제공되는 데이터는 도면의 U10으로 지정된 플랙 배열내에 저장되고, 상기 화소를 포함하는 블록에 대한 모션 벡터가 개별 화소값을 예측하는데 실패했는지 여부를 표시한다. 본 실시예에서, 고정된 문턱값은 DFD의 모든 값에 대해 사용되나, 이는 필수적이지는 않으므로 상기 문턱값은 가변일 수도 있다. 예컨데, 상기 방법의 응용에 있어서, 처리는 객체들(예컨데 전경(foreground) 및 배경(background))을 검출하도록 수행될 수 있으며, 상이한 문턱값들은 상기 상이한 객체들에 적용된다.

선택적 실시예에서, 모션 벡터 계산 단계 1의 일부로서 플랙을 설정함으로써, 블록에 대한 양호한 매칭이 발견됨과, 상기 모션 벡터가 유효할 것이라는 것과, 따라서 화소들의 블록에 대해서 DFD의 계산이 불필요하다는 것을 표시한다. 역으로, 모션 벡터 계산동안 U10 플랙과 같은 플랙을 설정함으로써, 불량한 매칭이 이루어져 상기 모션 벡터가 거의 확실하게 무효임을 표시하는 것도 가능하다. 상기 변형례들은, 비록 복잡성의 증가를 수반하나, (특히 소프트웨어-기초 수행(software-based implementation)에서) 후속 처리 시간을 감소시킬 수 있다.

다시 도 2B를 참조하면, 단계 21은 예측 세그멘테이션 SO¹단계내 U10에 의해 플랙되는 화소들을 지운다. 이는 각 화소에 대한 배열 S0내 "영" 영역 ID를 설정함으로써 성취될 수 있다. 본 단계는 서두에서 언급된 가정을 현실화한다. 즉, 만약 화소값이 양호하게 예측될 수 없다면, 이의 예측된 영역 ID도 역시 오류일 것이다. 본 프로세스로부터의 출력은 세그멘테이션 SO²에 의해 지정된다.

이점에서, SO²데이터 및 플랙 U10을 사용하여, 도 1의 단계 104를 참조해 상기한 영역의 경계를 식별하는 제 2 플랙을 제공하는 것은 편리하다. 상기 제 2 플랙 배열은 U20으로 표시되고 단계 23에서 계산된다. 플랙 U20은 상기 화소들중에서 명목상 유효하나(즉, U10이 설정되지 않았으나) 그들의 영역들에 양호하게 연결되지 않은 영역 ID들을 포함하는 화소를 표시한다. 표준은 상기 불량 연결 화소들에 대해 그 화소가 동일 영역에 속한 화소들에 완전한 8-방법으로 연결되는지 여부를 판단하도록 부과된다. 화소에 연결된 상기 완전한 8-방법은 2 수평 이웃, 2 수직 이웃 및 4 대각 이웃을 가지는데, 이 모두는 동일한 영역 ID를 가진다(SO²내 저장). 만약 상기 화소가 완전한 8-방법으로 연결되지 않는다면, 어느 정도 상기 화소는 영역의 경계에 위치한다. 그래서 플랙 U20의 화소 배열이 제공된다.

그 후 경계상의 화소들은, 만약 경계 분배 단계(border assignment step) 25에 의해 가능하다면, 적합한 영역으로 분배된다. 본 프로세스는 선행 제공된 통계적 데이터 STATS(도 2A의 단계 17 참조) 및 F0 데이터에 부가하여 U20 플랙을 사용한다. 일정 아티팩트는 보통 상기 시스템내 잡음은 물론 소스 이미지(source image)내 "외부" 잡음의해서도 영역 경계에 제공된다. 예컨데, 50[Hz] 소스에 의해 조사되는 객체가 60[Hz] 카메라에 의해 조견되면, 종종 역효과들이 명백해진다. 단계 25는 영역 경계의 화소를 최적 영역으로 재분배함으로써 상기 아티팩트의 제거를 보조하는데, 여기서 상기 최적 영역은 반드시 상기 화소들이 선행 분배된 영역일 필요는 없다.

어느 이웃 영역이 고찰 화소에 대해 (보다) 적합한지를 결정하도록, 단계 25는 화소의 그레이 스케일(X), 영역의 평균 그레이 스케일( μ ) 및 영역의 표준 편차( σ )를 비교한다. 만약 후기 부등식이 성립하면, 인접 영역은 이에 분배된 고찰 화소를 가지기에 적합하다고 판단된다.

< 1.5 σ

만약 하나 이상의 인접 영역이 자격을 얻으면, 그 후 화소는 평균으로부터 편차를 최소화하는 영역으로 분배된다. 인접 영역에 성공적으로 분배된 각 화소에 대해, 적합한 영역 ID는 세그멘테이션으로 들어가며, 배열 S0²는 중복 서술(overwriting)되어 U20 플랙이 지워진다. 다시 말해, 상기 갱신된 세그멘테이션은 S0³로 불리워지고 상기 갱신된 U20 플랙 배열은 U20¹으로 불리워질 것이다.

상기 일정한 U20¹프랙된 화소들은 공백 모션 벡터(null motion vector)가 될 것이다. 단계 27은 상기 화소들이 동일한 영역으로 할당되어 예측 세그멘테이션내 할당되었음을 "확인"한다.

예측된 영역 ID는 여전히 세그멘테이션 배열 SO³에 저장될 것이므로, 상기 데이터상의 작동은 수행되지 않는다. 그러나 플랙 U20¹은 양호하게 할당된(확인된) 화소들을 위해 지워지며 상기 갱신된 플랙 배열은 이하 U20²로 표시한다.

마찬가지 방법으로 단계 21을 지움에 있어서, U20²에 의해 플랙되는 화소들은 세그멘테이션 배열 S0³내 공백 영역 ID의 삽입에 의해 지워진다. 갱신된 세그멘테이션은 도 2B의 S0⁴로 지정된다.

그 후 단계 31은, 이미지내 화소들이 에지 형태상에 놓여있는지 여부 및 적합한 인접 영역에 할당될 수 있는지 여부를 고려하여, 모션 보상에 실패한 화소들(배열 U10내 플랙된 화소들)의 할당을 시도한다. 후술할 바와 같이, 최적 영역은 화소에서의 그레이 스케일 그레디언트을 고려하여 결정된다.

도 4A 및 4B는 본 실시예내의 그레디언트 계산 단계 9를 도시한다. 상기 사용된 그레디언트 계산은 주지되었으며, 또한 그레디언트 G(x 성분 G_x및 y 성분 G_y를 포함)의 화소 배열을 주도록 배열 F0를 통하는 각 3×3 화소 크기를 가지는 2 마스크의 응용례를 포함한다. 상기 마스크는 "소벨 연산자(Sobel operator)"로 알려져 있으며, 또한 도 4B에 도시되었다. 상기 연산자 G_x및 G_y는 상기 마스크의 중심점에 대응한 화소에서의 그레이 스케일 그레디언트의 대표값을 제공한다. 선택적 그레디언트 계산이 사용될 수 있다는 것이 이해될 것이다. 또한, 비록 그레디언트 계산의 상기 프로세스가 이 점에서 전체 이미지 프레임 F0를 가로질러 수행된다고 기술되나, 상기 그레디언트 계산을 사용하는 프로세스에 따를 화소들에 대해 수행되는 것만을 필요로 하리라는 것이 이해될 것이다. 복잡성의 결과적 증가는, 상기 수행의 세부사항에 따라, 처리 시간 및 저장 요건들의 가능한 감소와 균형을 이뤄야 한다.

이제, 그레디언트 G를 사용하는 분배 단계 31은 도 5를 참조하여 매우 상세히 기술될 것이다. 도 5의 단계 3101에서 3119는 각 화소에 대해 수행된다.

단계 3103에서는 화소가 플랙 U10에 의해 플랙되었는지를 고려한다. 단계 31에서는 오로지 U10 플랙된 화소들만이 고려된다. 단계 3105에서는 문제의 화소의 그레디언트 크기가 문턱값을 초과하는지 여부가 고려된다. 가능한 그레이 스케일 값의 범위가 0 ~ 255이면, 15의 문턱값은, 에지 형태가 존재(두 컬러간 대비선)하는지 여부에 대한 적합한 표시를 제공하도록, 발명자에 의해 실험적으로 결정된다. 만약 상이한 범위의 그레이 스케일들이 사용되거나 컬러 이미지가 프로세스되면, 상기 그레디언트의 계산 및/또는 문턱값 크기는 대응하여 조절된다는 것은 자명할 것이다. 상기 크기가 15를 초과하지 않으면, 상기 화소는 도 5에서 더 이상 고려되지 않고, 프로세스는 후속 화소로 이동한다.

단계 3107에서는 상기 식별된 에지 방향내 인접 화소들중 하나 또는 양자가 영역으로 분배되는지 여부가 고려된다. 만약 화소 모두가 분배되면, 프로세스는 후속 화소로 이동한다.

만약 인접 화소들중 하나가 영역에 분배되면, 단계 3109에서는 현재 화소에서의 그레디언트 크기가 이미 영역에 분배된 인접 화소에서의 그레디언트 크기보다 큰지 여부가 고려된다. 만약 상기한 관계가 존재한다면, 상기 화소는 상기 인접 화소와 동일한 영역으로 분배되고(단계 3111) 프로세스는 후속 화소로 이동한다. 만약 3111에서의 테스트가 충족되지 않는다면, 프로세스는, 화소를 영역에 분배함 없이, 후속 화소로 이동한다.

선택적으로, 단계 3107에서는 인접 화소 양자 모두가 이미 영역으로 분배되었다고 결정할 수 있다. 본 경우에서는 프로세스는 단계 3113으로 분기된다.

본 단계 3113에서는 인접 화소들중 하나(양자 모두는 아님)의 그레디언트 크기가 현재 화소의 그레디언트 크기보다 작은지가 고려된다(단계 3109의 테스트와 유사). 만약 하나의 인접 화소가 상기 관계를 충족시키지 못한다면, 더 낮은 그레디언트를 가진 다른 하나의 인접 화소는 단계 3115내 현재 화소로 모사되는 영역 ID를 가진다. 환언하면, 에지는 고-그레디언트 방향에서 가파른 경사를 가짐이 명백하므로, 화소는 저-그레디언트의 화소 영역에 속하기 쉽다.

선택적으로, 단계 3113에서는 인접 화소의 양자 모두가 저-그레디언트를 가지는지, 또는 인접 화소중 어느 것도 저-그레디언트를 가지지 않는지가 결정될 것이다. 상기 경우들에 있어서, 단계 3117은 저-그레디언트를 가지는 인접 화소의 영역과 같은 영역으로 화소를 분배한다. 인접 화소 양자 모두가 고-그레디언트를 가지는 경우, 에지는 양방향으로 가파른 경사를 가지게 됨이 명백하나, 저-그레디언트를 가지는 인접 화상의 방향으로는 덜 가파른 경사를 가지므로, 고찰 화소는 그 화소에 분배된 영역에 속한다. 인접 화소 양자 모두가 저-그레디언트를 가지는 경우, 화소는 에지에 위치되므로, 어느 정도는, 그것이 배분된 영역은 무작위적이다. 그러나 저-그레디언트를 가지는 화소는 관념상의 에지로부터이기 쉬우므로, 고찰 화소는 상기 픽셀처럼 동일한 영역에 분배된다.

상술한 분배 기술의 실제적 효과는 이제 도 6을 참조하여 기술될 것이다. 도 6A는 전형적인 에지 형태 근방의 그레이 스케일 값들의 그래프로서, 상기 에지 형태는 그래프의 좌측면상의 백색 화소들과 그래프의 우측면상의 흑색 화소들 사이에 있다. 도 6B는 도 6A에서 묘사된 에지의 그레디언트를 표시한다. 명백하게, 영역들간의 관념적인 경계는 그레디언트 곡선의 정점과 동조된다. 4개의 인접 화소들의 위치들은 P1, P2, P3 및 P4로 표시된다.

첫 번째 경우는 도시될 것이며, 고찰 화소는 P2가 될 것이다. 본 도면에 있어서, 인접 화소 P1이 특정 영역에 분배되나 P3는 그렇지 않은 것(영역 ID = 공백)이 가정될 것이다. 도 6B에서 볼 수 있는 바와 같이, P2에서의 그레디언트는 P1에서의 그것보다 크다. 본 경우에서는 상기 분배 프로세스는 도 5의 단계 3109에 묘사된 테스트를 처리할 것이다. 상기 테스트는 충족될 것이고 따라서 P2는 P1과 동일한 영역에 분배될 것이다. 그러나 만약 두 번째 경우가 고려되어 P3는 영역으로 분배되나 P1은 그렇지 않다면, P2는 P3와 동일한 영역으로 분배되지 않을 것인데, 이는 P3가 P2보다 큰 그레디언트를 갖기 때문이다. 그레디언트가 P2에서보다 P3에서 보다 크기 때문에, P2는 P3와 동일한 피크면상에 위치하지 않고 따라서 영역들간 관념적 경계의 다른 면에 위치한다고 가정된다.

이제 화소의 인접 화소들 양자 모두가 다른 영역들에 분배됨을 상정한다. 동일 화소 P2는 P1 및 P3가 상이한 영역들에 분배되는 경우에만 고려될 것이다. 상기 분배 프로세스는 단계 3113(도 5)에서 테스트를 처리할 것이고 화소 P2를 P1과 동일한 영역으로 분배할 것이다(단계 3115).

나아가, P3가 할당되지 않은 고찰 화소이고 P2 및 P4는 할당된 경우, P3는 P2와 동일한 영역에 할당되는데(단계 3115), 이는 상기 에지의 동일면상에 위치하기 쉽다.

본 실시예에 사용된 상기한 분배 프로세스는 간략하게 표현되었으므로, 당업자는 이를 보다 복잡한 프로세스(예컨데, 몇 개의 화소상에 맞는 곡선을 채용)로 변형할 수 있을 것이다. 상술한 바와 같이, 도 5의 프로세스는 각 화소에 대해 반복된다. 본 프로세스가 화소를 영역으로 분배함에 성공하면, 이를 표시하도록 U10 플랙을 지운다(도 5에 도시않됨). 변형된 플랙 배열은 U10¹로 표시된다. 단계 31 후의 변형된 세그멘테이션은 도 2B의 SO⁵로 지정된다.

단계 31은 선택적으로 고려되나, 이는 높은 DFD 값을 발생할 에지 형태내 미소 천이(slight shift)에 대한 보상에 효력이 있으며, 이로써 후속 스테이지에서 프로세스될 비배분된 화소의 수는 단순한 발견적 테스트(heuristic test)를 사용하여 감소된다. 물론 상기 특별한 발견들은 검출에 채용될 수 있는 표준 및 에지 형태 근방의 화소들의 배열의 예시에 불과하다. 상기 단계는 원칙적으로 1 회 이상 반복되어, 상기 영역들이 "성장하여" 상기 에지 형태들을 흡수하는 것처럼, 화소들을 분배한다.

다시 도 2B를 참조하면, 단계 33에서 2 플랙 배열 U10¹및 U20²은 단일 플랙 배열 U0으로 결합되어 아직 영역에 성공적으로 분배되지 않은 화소들을 플랙한다. 상기 결합은 단순한 논리적 OR에 의해 성취되며, U10이나 U20에 대한 저장 공간(storage space)은 새로운 배열 U0로 중복 서술될 수 있다.

분배 단계 35에서는 U0 플랙된(비분배된) 화소와 다른 비분배된 화소간의 연결성이 고려된다. 낮은 8-방법 연결성을 가지는 화소들은 인접 영역들에 분배된다.

U0에 의해 플랙되는 각 화소는 다른 U0 플랙된 화소에 대한 8-방법 연결성이 2보다 큰지 여부를 알도록 체크된다. 만약 그렇지 않다면, 상기 화소는, 인접 영역들의 평균 그레이 스케일이 저장된 영역 통계에 따른 화소의 그것에 근접할때마다 할당된다. 그 후 U0 플랙은 상기 화소를 위해 지워진다. 갱신된 플랙은 U0¹으로 표시된다. 그 이유는 다른 비분배된 영역들로부터 유리된 불량 연결된 화소가 중요 고찰 영역을 형성하기는 용이하지 않기 때문이다. 본 실시예에서, 단계 35는 소영역의 발생을 억제하는데 일조하며, 이는 후-스테이지에서만 소거될 것이다. 단계 35는 또한 영역 경계를 따라 발생할 수 있는 가늘고 긴 비분배 화소들의 일정 띠도 소거한다. 단계 35는 또한 선택적이며, 적용된 발견들은 가변이다. 특히, 2와는 다른 값이 연결성 문턱값(conductivity threshold)으로 사용된다. 3 값은 가늘고 긴 영역에 강한 효과를 주고, 1 값은 매우 유리된 화소들을 소거하려고 할 것이다.

본 실시예에서 상기 단계 35는 2 회 반복되는데, 제 1 패스는 새로운 불량 연결 화소로 귀결된다. 제 2 반복 후 갱신된 세그멘테이션은 S0⁶로 지정된다.

상기 스테이지에서, 기존 영역들 중 하나에 아직 성공적으로 분배되지 않은 화소들은, 새로운 영역들을 제공하도록, 단계 37내 세그멘테이션 프로세스에 따른다. 본 실시예에서, 동일한 세그멘테이션 프로세스는, F1 이미지의 초기 세그멘테이션내 사용된 선행 비분배 화소들의 신영역에 대한 세그멘테이션 데이터 SU0를 제공하는데 사용되나(단계 11), 본 경우에 반드시 필요한 것은 아니다.

상기 신영역들은 상호 병합하며, 만약 가능하다면, 단계 39에서, 상기한 브라이스-피네머의 논문에 요약된 것과 같은 병합 표준을 다시 사용한다. 상기 프로세스는 다수의 불필요 영역들을 제거하는 것을 허여한다. 상기 병합 세그멘테이션은 SU0¹으로 지정된다.

단계 41에서, 새로이 제공된 영역 SU0¹은 기존 영역 S0⁶에 병합된다. 상기 병합 표준은 전의 병합 단계 39와 동일하거나 상이할 것이다. 본 실시예에서는 동일한 병합 표준이 사용된다. 병합은 유사한 그레이 스케일 통계의 인접 영역들을 결합하여 불필요 영역들의 수를 감소시킨다.

병합 단계 41 후, 프레임 F0에 대한 최종적인 세그멘테이션이 얻어지며, S0로 지정된다. 그 후 S0는 이미지 부호화이나 응용례에 적합한 다른 처리에 사용된다. 도 1에서 파선으로 표시된 바와 같이, 갱신된 세그멘테이션 S0는 후속 프레임에 대한 초기 세그멘테이션으로 사용되고, 도 2A-2C의 전 프로세스는 동영상 시이퀀스을 통해 시-정합 세그멘테이션을 얻도록 반복된다.

도 7은 상기 시-정합 세그멘테이션 프로세스를 채용한 이미지 인부호화 장치를 도시한 도면이다. 상기 인코더는 영역 및 텍스처 부호화를 채용하며, 보다 상세한 사항은 상기한 EP-A-0454234에서 발견할 수 있다. 여기서는 간단한 설명만이 주어질 것이다.

휘도 화상 신호(luminance picture signal) Y는 상기한 프로세스를 수행하는 세그멘테이션 장치 72에 인가되고, 모드 필터(modal filter) 73은 상기 세그멘테이션을 사용하여 영역 신호(region signal)를 발생한다. 상기 화상 신호 및 영역 신호 모두는 감산기 회로(subtractor curcuit) 75에 인가되어 인코더 77에서 부호화된 텍스처 신호(texture signal)를 발생시킨다. 상기 영역 신호는 에지 사상 장치(edge mapping device) 79에 인가되어 영역 리스트 신호(region list signal) 및 원래 이미지의 에지 사상을 발생시킨다. 상기 에지 사상은 요소 예측 장치(element prediction device) 710내에서 형판(template)에 따라, 메모리 712내의 참조용 테이블로부터의 상기 형판 부근의 고정된 위치의 요소값에 관한 예측을 제공한다. 만약 상기 예측이 맞다면 예측 에러 신호(prediction error signal) 에러의 부존재를 표시하는 반면, 만약 에러가 존재한다면 상기 예측 에러 신호가 실제값을 전송하거나 이를 참조용 테이블에서 발견할 수 있다. 상기 예측 에러 신호는 제 2 인코더 714에서 부호화된다. 716에서의 영역 리스트 신호, 78에서의 텍스처 신호 및 715에서의 에러 신호는 저대역폭에서 디코더로 전송되어 최초 이미지를 재생할 수 있다.

이미지 프레임들의 시이퀀스이 동화상의 전송을 위해 도 7의 인코더에 공급되면, 세그멘테이션 장치 72는 프레임에서 프레임까지 시-정합된 세그멘테이션과 함께 모드 필터 73을 제공한다. 모션 정보는 본 예의 상기 영역 신호나 상기 텍스처 신호를 압축하는데 사용되지는 않는다. 더구나, 동화상 시이퀀스가 상기 영역 및 텍스처 정보로부터 해독되면, 상기 세그멘테이션에 부과된 시-정합으로 인해, 주어진 대역폭내에서 주관적 이미지의 질이 향상된다.

당업자에게 있어, 비록 상기 실시예가 실제로는 소프트웨어내에서 수행되더라도, 상기한 프로세스가 소프트웨어, 하드웨어 또는 이들의 조합으로 실시될 수 있음은 자명할 것이다.

이미 다양한 관점으로 제시된 것 처럼, 당업자는, 상기 실시예들을 수행함에 있어, 이용 가능한 상기 응용례 및 하드웨어에 의존하는 많은 변형물들이 가능할 뿐만 아니라 그것이 실제로 바람직하다는 것을 이해할 것이다. 플랙(U10, U20), 영역 ID(S1, S0), DFD 및 그레디언트 값(G)의 화소-레벨 배열은, 후속 이미지로 이동하기 전에 이미지의 일부에서 화소들을 완전히 처리함으로써 제한될 수 있는 저장 부하(storage burden)를 명백히 부과한다. 코스의 다양한 프로세스들에 대한 조절의 복잡성은 커진다. G의 값들은 특히 모든 화소들을 위해 발생되어야 하는 것은 아니며, 만약 계산내의 저장이 중요하다면, DFD 계산은 특정 화소들, 화소 블록들 또는 화소들의 다른 그룹들로 제한될 수 있다. 반면, 본 발명자들은 실험계내 변수 및 플랙의 완비된 세트의 구비로 인해, 다양한 프로세스들의 모션이 소스 물질 범위에서 매우 효과적으로 디스플레이된다는 사실을 발견했다. 물론 상기 디스플레이는 문턱값들 및 다른 매개 변수들의 미세 튜닝과, 프로세스의 어느 부분들이 질의 저하를 최소화하면서 특정 응용례에서 소거될 수 있는지에 대한 식별에 일조할 것이다. 특히, 단계 23 내지 35 중 일부는, 약간의 질의 저하를 수반하나, 생략될 수 있다.

마찬가지로, 이미지 처리내 세그멘테이션의 사용 가능 범위는 상술한 예들에 국한되지는 않는다는 것을 알 것이다. 이미지 부호화에서, 세그멘테이션은 영역 및 텍스처 부호화의 경우처럼 명시적으로 부호화되거나, 화소 데이터의 부호화을 위한 "힌트"로서 사용될 수 있을 것이다(특히 화소당 또는 블록당 가변 비트 레이트를 가지는 H.261 및 MPEG과 같은 체계들에서 사용된다). 특정 객체들 또는 영상 형태의 분류에 대한 추적은 이미지 향상 또는 그 일반적 처리를 위해 개선될 수 있다. 예컨데, 미시적(microscopic) 또는 방사선(radiographic) 모션 시이퀀스내 특정 컬러 영역의 컨트라스트를 증가하거나, 오직 상기 영역의 처리만을 수행하는 것이 바람직하다. 기계 시각(machine vision) 및 디지틀 필름을 포함하는 다른 다양한 응용례들과 색채화(colourization)와 같은 비디오 특수 효과는 숙련된 독자에게는 자명할 것이다.

상기한 프로세스는 다양한 방법으로 다-색채 이미지를 극복하도록 확장될 수 있다. 특히 색채 이미지에서, 세그멘테이션 루틴에 의해 처리된 화소값은 선처리되어 일정한 특성을 향상시킬 것이다. 예컨데, 특정 컬러 사상은 스킨 톤(skin tone)이 밝은 변형된 "그레이 스케일" 이미지를 제공하며, 이는 상기 프로세스의 하나 이상의 스테이지에서 최초 컬러값 대신 사용될 수 있다. 상기한 기술은 여기서 공개된 발명적 개념에 비해서는 주변적인 것이나, 상기 세그멘테이션 결과들의 질 및 가용성을 크게 확장시키는데 효과적일 수 있다.

또한 본 발명은 소스 동화상 시이퀀스(source motion picture sequence)내의 모든 연속 프레임에 적용될 필요는 없다. 예컨데, 주지된 MPEG 시스템, 인트라프레임 부호화(infraframe coding), 인터프레임 예측(interframe prediction) 및 양방향 예측(bidirection prediction)은 소스 프레임의 다른 서브세트들(I 화상들, P 화상들 및 B 화상들)에 적용된다. 마찬가지로, 세그멘테이션의 시-정합 갱신은 모든 프레임에 적용될 필요는 없고(없으나), 프레임의 다른 서브세트로 상이하게 적용될 수 있다.

당업자에게는 본 발명이 개인용 컴퓨터(PC)와 호환성이 있는 IBM과 같은 컴퓨터나 다른 것에 실시될 수 있다는 것이 자명할 것이다. 상기 실시예에서, 컴퓨터는 보통 하드 및 플로피 디스크 드라이브, 또는 CD-ROM과 같은 고정 및 이탈 저장 매체를 포함한다. 나아가, 컴퓨터의 중앙 처리 장치를 제어하는 내부 메모리를 후속 판독하도록, 컴퓨터가 본 발명에 따라 기능하는데 필요한 명령 시이퀀스는 상기 고정 및 이탈 저장 매체상에 저장될 수 있다. 프로그램 명령들은 선택적으로 원격 저장 장치(remote storage device)로부터의 통신 신호들에 의해 운반될 수 있다.

당업자는 본 명세서로부터 다른 변형례들이 자명할 것이다. 상기 변형례들은 객체 추적 시스템(object tracking system) 및 그 구성 부분의 디자인, 설계 및 사용에 관해 이미 주지된 다른 특징들을 포함하며, 상기 특징들에 부가 또는 갈음하여 사용될 수 있다. 비록 청구항들은 본 출원에서 특징들의 특별한 조합으로 공식화되었지만, 본 출원의 공개 범위는, 청구항에서 주장된 것과 동일한 발명과 관련성 여부 및 본 발명과 동일한 기술적 문제들의 전부 또는 일부를 완화하는지 여부에 무관하게, 명시적으로나 함축적으로나 일반화하여 표현된 상기한 신규 특징들 또는 그들의 신규 조합도 포함한다. 따라서 본 출원인들은, 본 출원 또는 그로부터 도출된 다른 응용례의 계속중, 상기 특징들 및/또는 그들의 조합들을 공식화한 새로운 청구항들이 제공될 수 있다는 것을 알린다.

Claims (43)

1. 정합 세그멘테이션을 관련 이미지 프레임들의 시이퀀스의 영역들로 발생하도록 이미지 처리 장치를 작동하는 방법에 있어서,

   a) 고찰 프레임에 대한 현재 프레임 화소 데이터, 기준 프레임 화소 데이터 및 기준 프레임 세그멘테이션을 수신하는 단계와,

   b) 상기 프레임들 사이에서 발생하는 공간 변환을 표시하도록 상기 현재 프레임 화소 데이터 및 상기 기준 프레임 화소 데이터로부터의 모션 추정 정보를 계산하는 단계와,

   c) 예측 현재 프레임 세그멘테이션을 얻도록 상기 모션 추정 정보 및 상기 기준 프레임 세그멘테이션 데이터를 사용하는 단계와,

   d) 예측 현재 프레임 화소 데이터를 얻도록 상기 모션 추정 정보 및 상기 기준 프레임 화소 데이터를 사용하는 단계와,

   e) 상기 수신된 현재 프레임 화소 데이터 및 상기 예측 현재 프레임 화소 데이터를 비교하여 상기 예측 현재 프레임 세그멘테이션의 부정확하게 예측된 부분들을 식별하는 단계와,

   f) 상기 현재 프레임에 대한 상기 원하는 정합 세그멘테이션을 얻도록 상기 식별된 부분들에 대한 상기 예측 현재 프레임 세그멘테이션을 수정하는 단계를 각 고찰 프레임에 대해 포함하는 작동 방법.
2. 제 1 항에 있어서, 상기 단계 (f)는 상기 식별된 부정확하게 예측된 부분들의 새로운 세그멘테이션을 구성하고 이를 예측 현재 프레임 세그멘테이션으로 삽입하는 단계를 포함하는 작동 방법.
3. 제 2 항에 있어서, 단계 (f)는 상기 새로운 세그멘테이션의 구성에 선행하여 단계 (e)에서 식별되지 않은 인접 부분들과 동일한 영역들로 부분들을 분배하는 예비 단계들을 포함하는 작동 방법.
4. 제 2 항 또는 제 3 항에 있어서, 상기 새로운 세그멘테이션은 상기 예측 세그멘테이션내의 삽입에 선행하여 새로이 만들어진 영역들의 수를 감소시키도록 병합 프로세스에 따르는 작동 방법.
5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 세그멘테이션은 상기 얻어진 세그멘테이션내 영역들의 수를 감소시키도록 상기 식별된 부분들에 대한 상기 새로운 세그멘테이션의 삽입후 병합 프로세스에 따르는 작동 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서, 단계 (e)는 부정확하게 예측된 상기 예측 세그멘테이션의 또 다른 부분들을 지정하도록 상기 예측 세그멘테이션의 사용을 더 포함하는 작동 방법.
7. 제 6 항에 있어서, 부정확하게 예측된 것으로 지정된 상기 또 다른 부분들은 상기 예측 세그멘테이션내 영역들의 경계들에 놓인 부분들인 작동 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 수정 단계 (f)는 상기 인접 부분들의 분배된 영역들에 의존하여 부정확하게 예측된 부분들을 기존 영역들로 분배하는 단계를 포함하는 작동 방법.
9. 제 8 항에 있어서, 상기 단계 (f)는 상기 현재 프레임내 화소 데이터 그레디언트들에 의존하여 상기 부정확하게 예측된 부분들의 최소한 일부를 정확하게 예측된 인접 부분들과 동일한 영역으로 분배하는 단계를 포함하는 작동 방법.
10. 제 9 항에 있어서, 문턱값을 상회하는 그레디언트들을 가지는 부정확하게 예측된 부분들은 상기 인접 부분들의 상기 그레디언트들과 상기 할당들에 의존하여 상기 인접 부분들과 동일한 영역들로 분배되는 작동 방법.
11. 제 8 항 내지 제 10 항 중 어느 한 항에 있어서, 단계 (f)는 상기 영역들에 대한 상기 화소 데이터의 통계에 의존하여 상기 부정확하게 예측된 부분들의 최소한 일부를 정확하게 예측된 인접 부분들과 동일한 영역들로 분배하는 단계를 포함하는 작동 방법.
12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서, 단계 (e) 및 (f)의 상기 부분들은 화소 기초상에서 식별 및 수정되는 작동 방법.
13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서, 상기 현재 프레임 및 상기 얻어진 세그멘테이션은 상기 기준 프레임 및 상기 기준 프레임 세그멘테이션으로 단계 (a) 내지 (f)에 사용되어 후속 고찰 프레임에 대한 상기 정합 세그멘테이션을 얻는 작동 방법.
14. 제 1 항 내지 제 13 항 중 어느 한 항에 있어서, 상기 이미지 프레임 시이퀀스는 동화상을 포함하는 작동 방법.
15. 제 1 항 내지 제 14 항 중 어느 한 항에 있어서, 단계 (f)에서 얻어진 상기 현재 프레임 세그멘테이션을 따라 상기 현재 이미지 프레임의 화소 데이터를 처리하는 단계 및 상기 처리된 화소 데이터를 운반하는 신호를 출력하는 단계를 더 포함하는 작동 방법.
16. 제 15 항에 있어서, 상기 처리된 이미지 프레임을 기록 매체의 위 또는 안에 직접 또는 간접 기록하는 단계를 더 포함하는 작동 방법.
17. 제 15 항 또는 제 16 항에 있어서, 상기 처리 단계는 상기 얻어진 세그멘테이션을 사용한 압축으로 상기 고찰 프레임을 부호화하는 작동 방법.
18. 제 17 항에 있어서, 상기 부호화된 프레임은 상기 얻어진 세그멘테이션의 표시를 포함하는 작동 방법.
19. 제 17 항 또는 제 18 항에 있어서, 상기 얻어진 세그멘테이션은 상기 이미지의 다른 부분들에 대해 대역폭을 다르게 할당하는데 사용되는 작동 방법.
20. 동화상 시이퀀스들에 대한 이미지 처리 방법으로서, 상기 처리는 상기 동화상 시이퀀스의 각 프레임에 대해 결정된 세그멘테이션에 의존하는 상기 이미지 처리 방법에 있어서,

    현재 프레임의 세그멘테이션은 인접 프레임의 세그멘테이션 및 추정된 모션 정보에 기초하여 예측되며, 상기 예측 세그멘테이션은 상기 모션 정보에 기초하여 상기 현재 프레임에 대한 예측된 화소값의 정확도에 의존하여 상기 현재 이미지의 최소한 일부 화소들에 대해 수정되는 이미지 처리 방법.
21. 이미지 세그멘테이션 방법에 있어서,

    영역들의 경계들에서의 이미지 부분들은 예측 세그멘테이션에서 식별되며, 상기 예측 세그멘테이션은 향상된 세그멘테이션을 얻도록 상기 부분들 및 인접 부분들의 화소 데이터에 따라 상기 부분들 안에서 수정되는 이미지 세그멘테이션 방법.
22. 정합 세그멘테이션을 관련 이미지 프레임들의 시이퀀스의 영역들로 발생하는 이미지 처리 장치에 있어서,

    a) 고찰 프레임에 대한 현재 프레임 화소 데이터, 기준 프레임 화소 데이터 및 기준 프레임 세그멘테이션을 수신하는 수단과,

    b) 상기 프레임들 사이에서 발생하는 공간 변환들을 표시하도록 상기 현재 프레임 화소 데이터 및 상기 기준 프레임 화소 데이터로부터의 모션 추정 정보를 계산하는 수단과,

    c) 상기 모션 추정 정보 및 상기 기준 프레임 세그멘테이션 데이터를 사용하여 예측 현재 프레임 세그멘테이션을 얻는 수단과,

    d) 상기 모션 추정 정보 및 상기 기준 프레임 화소 데이터를 사용하여 예측 현재 프레임 화소 데이터를 얻는 수단과,

    e) 상기 수신된 현재 프레임 화소 데이터와 상기 예측 현재 프레임 화소 데이터를 비교하여 상기 예측 현재 프레임 세그멘테이션의 부정확하게 예측된 부분들을 식별하는 수단과,

    f) 상기 현재 프레임에 대한 원하는 정합 세그멘테이션을 얻도록 식별된 부분들에 대한 상기 예측 현재 프레임 세그멘테이션을 수정하는 수단을 포함하는 이미지 처리 장치.
23. 제 22 항에 있어서, 상기 수정 수단 (f)는 상기 식별된 부정확하게 예측된 부분들의 새로운 세그멘테이션을 구성하고 이를 상기 예측된 현재 프레임 세그멘테이션으로 삽입하는 수단을 포함하는 이미지 처리 장치.
24. 제 23 항에 있어서, 상기 수정 수단 (f)는 상기 새로운 세그멘테이션의 구성에 선행하여 상기 식별 수단 (e)에 의해 식별되지 않은 인접 부분들과 동일한 영역들로 부분들을 예비 분배하는 수단을 포함하는 이미지 처리 장치.
25. 제 23 항 또는 제 24 항에 있어서, 상기 예측 세그멘테이션내의 삽입에 선행하여 새로이 만들어진 영역들의 수를 감소시키도록 상기 새로운 세그멘테이션의 영역들을 병합하는 수단을 더 포함하는 이미지 처리 장치.
26. 제 23 항 내지 제 25 항 중 어느 한 항에 있어서, 상기 얻어진 세그멘테이션내 상기 영역들의 수를 감소시키도록 상기 식별된 부분들에 대한 상기 새로운 세그멘테이션의 삽입후 상기 세그멘테이션의 영역들을 병합하는 수단을 더 포함하는 이미지 처리 장치.
27. 제 22 항 내지 제 26 항 중 어느 한 항에 있어서, 상기 식별 수단 (e)는 부정확하게 예측된 상기 예측 세그멘테이션의 또 다른 부분들을 지정하도록 상기 예측 세그멘테이션을 사용하는 수단을 더 포함하는 이미지 처리 장치.
28. 제 27 항에 있어서, 상기 식별 수단 (e)는 부정확하게 예측된 것으로 지정된 또 다른 부분들이 상기 예측 세그멘테이션내 영역들의 경계들에 놓여지는 부분들이 되도록 배열된 이미지 처리 장치.
29. 제 22 항 내지 제 28 항 중 어느 한 항에 있어서, 상기 수정 수단 (f)는 상기 인접 부분들의 분배된 영역들에 의존하여 상기 부정확하게 예측된 부분들을 기존 영역들로 분배하는 수단을 포함하는 이미지 처리 장치.
30. 제 29 항에 있어서, 상기 수정 수단 (f)는 상기 현재 프레임내 화소 데이터 그레디언트들에 의존하여 정확하게 예측된 인접 부분들과 동일한 영역들로 상기 부정확하게 예측된 부분들의 최소한 일부를 분배하는 수단을 포함하는 이미지 처리 장치.
31. 제 30 항에 있어서, 상기 수정 수단 (f)는 인접 부분들의 그레디언트들과 할당들에 의존하여 문턱값을 상회하는 그레디언트들을 가진 부정확하게 예측된 부분들이 상기 인접 부분들과 동일한 영역들로 분배되도록 배열되는 이미지 처리 장치.
32. 제 29 항 내지 제 31 항 중 어느 한 항에 있어서, 상기 수정 수단 (f)는 정확하게 예측된 인접 부분들과 동일한 영역들에 대한 상기 화소 데이터의 통계에 의존하여 상기 부정확하게 예측된 부분들의 최소한 일부가 상기 영역들로 분배되도록 배열되는 이미지 처리 장치.
33. 제 22 항 내지 제 32 항 중 어느 한 항에 있어서, 상기 식별 수단 (e) 및 상기 수정 수단 (f)는 상기 부분들이 화소 기초상에서 식별 및 수정되도록 배열되는 이미지 처리 장치.
34. 제 22 항 내지 제 33 항 중 어느 한 항에 있어서, 상기 장치는 수단 (a) 내지 (f)에 의해 상기 현재 고찰 프레임 및 상기 얻어진 세그멘테이션이 상기 기준 프레임 및 상기 기준 프레임 세그멘테이션으로 이용되게끔 조절되어 후속 고찰 프레임에 대한 상기 정합 세그멘테이션을 얻는 이미지 처리 장치.
35. 제 22 항 내지 제 34 항 중 어느 한 항에 있어서, 상기 장치는 상기 이미지 프레임 시이퀀스가 동화상을 포함하도록 배열된 이미지 처리 장치.
36. 제 22 항 내지 제 35 항 중 어느 한 항에 있어서, 상기 장치는 상기 수정 수단 (f)에 의해 얻어진 상기 현재 프레임 세그멘테이션에 따라 상기 현재 이미지 프레임의 화소 데이터를 처리하는 수단 및 상기 처리된 화소 데이터를 운반하는 신호를 출력하는 수단을 더 포함하는 이미지 처리 장치.
37. 제 36 항에 있어서, 기록 매체 위 또는 안에 상기 처리된 화소 데이터를 직접 또는 간접 기록하는 수단을 더 포함하는 이미지 처리 장치.
38. 제 36 항 또는 제 37 항에 있어서, 상기 처리 수단은 상기 얻어진 세그멘테이션을 사용하여 압축함으로써 상기 고찰 프레임을 부호화하는 인코더인 이미지 처리 장치.
39. 제 38 항에 있어서, 상기 부호화된 프레임은 상기 얻어진 세그멘테이션의 표시를 포함하는 이미지 처리 장치.
40. 제 38 항 또는 제 39 항에 있어서, 상기 이미지의 서로 다른 부분에 대한 대역폭의 할당을 제어하도록 상기 얻어진 세그멘테이션을 사용하는 수단을 더 포함하는 이미지 처리 장치.
41. 동화상 시이퀀스에 대한 이미지 처리 장치에 있어서,

    상기 동화상 시이퀀스의 각 프레임에 대해 결정된 세그멘테이션에 응답하는 처리 수단과,

    인접 프레임의 세그멘테이션 및 추정된 모션 정보에 기초하여 현재 프레임의 세그멘테이션을 예측하는 수단과,

    상기 모션 정보에 기초하여 상기 현재 프레임에 대한 예측된 화소값의 정확도에 의존하여 상기 현재 이미지의 최소한 일부 화소들에 대한 상기 예측 세그멘테이션을 수정하는 수단을 포함하는 이미지 처리 장치.
42. 이미지 세그멘테이션 장치에 있어서,

    영역들의 경계들에 있는 이미지 부분들은 예측 세그멘테이션 안에서 식별되며,

    상기 예측 세그멘테이션은 향상된 세그멘테이션을 얻도록 상기 영역들 및 인접 영역들의 화소 데이터에 따라 상기 영역들 안에서 수정되는 이미지 세그멘테이션 장치.
43. 현재 프레임에 대한 원하는 정합 세그멘테이션을 제공하기 위해 고찰 프레임에 대한 현재 프레임 화소 데이터, 기준 프레임 화소 데이터 및 기준 프레임 세그멘테이션을 정의하는 신호들을 처리하도록 컴퓨터 그래픽 장치내 프로세스를 발생하는 컴퓨터-판독 가능한 명령들(computer-readable instuctions)을 저장하는 컴퓨터-가용 매체(computer-usable medium)에 있어서,

    상기 명령들은 프로세서로 하여금,

    a) 상기 프레임들 사이에서 발생하는 공간 변환들을 표시하도록 상기 현재 프레임 화소 데이터 및 상기 기준 프레임 화소 데이터로부터의 모션 추정 정보를 계산하게 하고,

    b) 예측 현재 프레임 세그멘테이션을 얻도록 상기 모션 추정 정보 및 상기 기준 프레임 세그멘테이션 데이터를 사용하게 하고,

    c) 예측 현재 프레임 화소 데이터를 얻도록 상기 모션 추정 정보 및 상기 기준 프레임 화소 데이터를 사용하게 하고,

    d) 상기 수신된 현재 프레임 화소 데이터와 상기 예측 현재 프레임 화소 데이터를 비교하여 상기 예측 현재 프레임 세그멘테이션의 부정확하게 예측된 부분들을 식별하게 하고,

    e) 상기 현재 프레임에 대한 상기 원하는 정합 세그멘테이션을 얻도록 상기 식별된 부분들에 대한 상기 예측 현재 프레임 세그멘테이션을 수정하게 하는 명령들을 포함하는 컴퓨터-가용 매체.