KR101577703B1 - 흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이방법과 이러한 방법을 구현하는 디바이스 - Google Patents

흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이방법과 이러한 방법을 구현하는 디바이스 Download PDF

Info

Publication number
KR101577703B1
KR101577703B1 KR1020080129370A KR20080129370A KR101577703B1 KR 101577703 B1 KR101577703 B1 KR 101577703B1 KR 1020080129370 A KR1020080129370 A KR 1020080129370A KR 20080129370 A KR20080129370 A KR 20080129370A KR 101577703 B1 KR101577703 B1 KR 101577703B1
Authority
KR
South Korea
Prior art keywords
video
pixel
picture
source
video picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080129370A
Other languages
English (en)
Other versions
KR20090067083A (ko
Inventor
조나단 케르벡
하싸네 구에르모우드
디디에르 도이엔
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20090067083A publication Critical patent/KR20090067083A/ko
Application granted granted Critical
Publication of KR101577703B1 publication Critical patent/KR101577703B1/ko
Assigned to 톰슨 라이센싱 디티브이 reassignment 톰슨 라이센싱 디티브이 권리의 전부이전등록 Assignors: 톰슨 라이센싱
Assigned to 인터디지탈 매디슨 페이튼트 홀딩스 reassignment 인터디지탈 매디슨 페이튼트 홀딩스 권리의 전부이전등록 Assignors: 톰슨 라이센싱 디티브이
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2018—Display of intermediate tones by time modulation using two or more time intervals
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2077—Display of intermediate tones by a combination of two or more gradation control methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Gas Discharge Display Tubes (AREA)

Abstract

본 발명은 화상 디스플레이 주파수가 두 배가 될 경우 흐림(blurring) 및 복합 윤곽(contour)의 효과를 줄이는데 목적을 둔 비디오 화상 디스플레이 방법에 관한 것이다. 본 발명에 따르면, 각각의 소스 비디오 화상에 대해, 비디오 레벨 비대칭이 상기 소스 비디오 화상으로부터의 두개의 화상 사이에, 소스 비디오 화상이 움직일 때 상기 영역에서 주파수를 배로 늘린 이후 생성된다.
흐림, 이중 윤곽, 소스 비디오 화상, 비디오 레벨 비대칭, 화상 디스플레이 주파수, 움직임 추정기, 재생 및 처리 회로, 디스플레이 등.

Description

흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이 방법과 이러한 방법을 구현하는 디바이스{VIDEO PICTURE DISPLAY METHOD TO REDUCE THE EFFECTS OF BLURRING AND DOUBLE CONTOURS AND DEVICE IMPLEMENTING THIS METHOD}
본 발명은 화상 디스플레이 주파수가 증가하는 경우 흐림(blurring)과 복합 윤곽(multiple contour)의 효과를 줄이는 것을 목표로 하는 비디오 화상 디스플레이 방법에 관한 것이다. 더 상세하게는 본 발명은 디스플레이 디바이스에 적용되는데, 이 디스플레이 디바이스에서는, 방출된 광이 LCD(Liquid Crystal Display) 스크린, 플라스마 스크린, DLP(Digital Light Processing) 기술을 이용하는 스크린 또는 100 Hz의 음극선관을 갖는 스크린에 관하여 시간에 따라 확산된다.
오늘날, 새로운 스크린 유형을 위해 개발된 디스플레이 기술은 흔들림(flicker)을 줄이거나 제거하는데 최적화 되어 있다. 처음에는 음극선관 그 다음에는 액정 모니터 또는 스크린에 나타난 스캐닝 주파수의 "100 Hz"컨셉 또는 배가(doubling)는 그들의 지원 유형 어드레싱 모드에 기인한 거의 완전한 흔들 림(flicker)의 사라짐을 이유로 컴퓨터 스크린에 대한 기준이 되었다. 일시적인 변조와 화상 반복에 의한 어드레싱을 갖는 현행의 플라스마 스크린은 육안에 있어서 100 Hz의 음극선관 스크린의 거동에 근접한 거동을 갖는다. 이러한 디스플레이 기술 모두는 움직이는 장면의 디스플레이를 손상시키면서 흔들림을 감소시킬 수 있었다. 물론 움직임 보상 기술이 존재하지만, 이것은 텔레비전 스크린에서 드물게 사용되며 이 기술의 정밀도는 디스플레이된 화상에 뚜렷한 영향을 주는데 있어서 부족한 점이 있다. 더욱이, LCD 스크린에 대해, 이들의 응답 시간을 감소하는 것이 움직이는 화상의 품질을 향상시키는 해법으로 너무 쉽게 가정되지만, 0의 응답 시간을 가지더라도, 상기 LCD 스크린은 지원 유형 어드레싱 모드로 인해 움직이는 대상(object)에 흐림 효과를 계속해서 만들어낸다. 그뿐 아니라 복합 윤곽은 예컨대 스크린 재생 주파수(refresh frequency)가 100 Hz일 경우 이중 윤곽이 대상에 나타나는 것과 같이 상기 재생 주파수가 증가하는 경우에 또한 나타날 수 있다. 이러한 흔들림, 흐림 및 복합 윤곽의 효과 전체는 다음 단락에서 더 상세히 설명된다.
상기 흔들림 효과 및 더 상세하게는 "넓은 영역 흔들림"효과는 재생 주파수 및/또는 스크린 어드레싱 모드와 관련된다. 육안으로 넓은 영역 흔들림을 감지하는 한계선은 대략 60 Hz이다. 상기 재생 주파수가 이 한계선을 넘을 경우, 흔들림 효과는 상기 어드레싱 유형에 상관없이 육안으로 감지되지 않거나 거의 감지되지 않 는다. 마찬가지로, (LCD에 관한) 지원 유형 어드레싱이 존재하는 경우, 상기 흔들림 효과는 감지되지 않는다. 그러므로 표준 LCD 스크린(50 또는 60 Hz 어드레싱)은 흔들림 효과를 끌어들이지 않지만 화상이 움직임을 가지는 경우 흐림 효과를 끌어들인다. 펄스 유형 스크린(프레임 주기의 줄어든 부분에 주로 광이 집중되는 가령 음극선관 스크린과 플라스마 스크린)에서는, 상기 흔들림 효과는 재생 주파수가 60 Hz 미만일 경우에 존재한다. 재생 주파수의 배가(100 Hz 또는 120 Hz)는 이러한 효과를 제거하지만 앞서 설명된 바와 같이 화상에 있는 움직이는 대상에 복합 윤곽을 가져온다.
상기 흐림 효과는 화상에서의 움직임 전이에서 일반적으로 나타난다. 도 1은 LCD 스크린(지원 유형 어드레싱)에 의해 디스플레이된 화상에서의 회색 영역과 검은색 영역 간의 전이에서 이러한 효과를 예시한다. 도 1의 왼쪽 부분은 전이가 하나 이상의 연속 비디오 프레임에서 정지 상태인 경우를 예시하고 오른쪽 부분은 상기 전이가 오른쪽으로 이동하는 경우를 예시한다. 화상의 이러한 두 부분에서, 가로축은 공간을 나타내고 세로축은 시간을 나타낸다. 도면의 왼쪽 부분에서 볼 수 있는 바와 같이, 움직임이 없을 경우, 흐림이 전혀 나타나지 않고 눈에 의해 감지되는 전이가 뚜렷하게 나타난다. 도면의 오른쪽 부분에서, 움직임이 있을 경우, 눈은 이 움직임을 따라가고 그 움직임 방향으로 광을 통합시킨다. 흐림 효과가 그 다음 전이에서 나타난다.
마지막으로 상기 "복합 윤곽(multiple contours)"효과는 상기 흐림 효과와 같은 원인을 갖는다. 그러나 이 효과는 텍스트와 같이 움직이는 미세한 대상에서만 나타난다. 앞서 보인 바와 같이, 이러한 효과는 재생 주파수가 (2보다 크거나 2와 같은)n으로 곱해지는 경우에 나타난다. 도 2는 검은색 배경 상에 회색의 글자 "Thomson"을 디스플레이하는 화상에 대해 이러한 효과를 예시한다. 이러한 텍스트를 디스플레이하는 스크린의 재생 주파수는 배가된다. 도 2의 왼쪽 부분은 텍스트가 여러 연속 비디오 프레임에서 정지 상태에 있는 경우를 예시하고 오른쪽 부분은 상기 텍스트가 오른쪽으로 이동하는 경우를 예시한다. 화상의 이러한 두개의 부분에서, 가로축은 공간을 나타내고 세로축은 시간을 나타낸다. 도면의 왼쪽 부분에서 볼 수 있는 바와 같이, 움직임이 없을 경우, 이중 윤곽이 전혀 나타나지 않는다. 도면의 오른쪽 부분에서 도시되는 바와 같이, 움직임이 있을 경우, 눈은 이 움직임을 따라가고 그 움직임 방향으로 광을 통합시킨다. 이중 윤곽은 상기 단어 "Thomson"에 나타난다.
이러한 흐림과 복합 윤곽의 효과를 줄이기 위해, 움직임 보상의 효용이 알려진다. 이러한 기술은 검출된 움직임에 따라 예컨대 둘 중 하나의 100 Hz 비디오 화상에 대한 비디오 컨텐츠를 수정하는 것을 포함한다. 이러한 기술은 펄스 유형 스크린에 대해 도 3으로 예시된다. 도 3은 화상에서의 회색 영역과 검은색 영역 간의 전이를 보여준다. 도 3의 왼쪽 부분은 전이가 움직임 보상 없이 오른쪽으로 이동하는 경우를 예시하고 오른쪽 부분은 상기 전이가 둘 중 하나의 100 Hz 화상에서 실행되는 움직임 보상을 가지고 오른쪽으로 이동하는 경우를 예시한다. 도면의 두개 의 부분에서, 가로축은 공간을 나타내고 세로축은 시간을 나타낸다. 도면의 왼쪽 부분이 도시하는 바와 같이, 보상이 없을 경우, 눈에 의해 감지되는 전이의 레벨에서는 흐림이 나타나지 않는다. 마찬가지로, 이중 윤곽 효과는 텍스트가 디스플레이되는 경우에 나타난다. 도면의 오른쪽 부분이 도시하는 바와 같이, 보상이 있을 경우, 상기 흐림 효과는 사라진다. 이중 윤곽과 이와 동일하다.
본 발명은 움직임 보상을 사용하지 않고 흐림 및 이중 윤곽의 효과를 줄이려고 하는 방법에 관한 것이다.
본 발명은 비디오 시퀀스로부터의 적어도 하나의 소스 비디오 화상을 디스플레이하기 위한 방법에 관한 것이며, 소스 디스플레이 주파수는 상기 소스 비디오 화상과 연관된다. 상기 방법은:
- 소스 비디오 화상의 픽셀 움직임을 추정하는 단계와,
- n 개의 재생된 비디오 화상을 생성하는 방식으로 상기 소스 비디오 화상을 n번 재생하는 단계(여기서 n은 2보다 크거나 같은 정수)와,
- 0이 아닌 움직임 진폭을 갖는 소스 비디오 화상의 적어도 하나의 픽셀에 대해, 적어도 하나의 첫 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨과 적어도 하나의 두 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨 간의 비대칭을 생성하는 방식으로 n 개의 재생된 비디오 화상을 수정하는 단계로서, 상기 n 개의 재생된 비디오 화상에서의 이러한 픽셀의 평균 비디오 레벨은 현저하게 소스 비디오 픽셀에서의 이러한 픽셀의 비디오 레벨과 동일하고, 상기 첫 번째 생성된 비디오 화상에서의 이러한 픽셀의 비디오 레벨과 상기 두 번째 재생된 비디오 화상에서의 이러한 픽셀의 비디오 레벨 간에 생성된 비대칭은 상기 소스 비디오 화상에서의 이러한 픽셀의 비디오 레벨 및 상기 고려된 픽셀에 대해 추정된 움직임에 의존하는, n 개의 재생된 비디오 화상을 수정하는 단계와,
- 상기 소스 비디오 화상과 연관된 디스플레이 주파수의 n배와 동일한 디스플레이 주파수를 갖는 n 개의 재생된 비디오 화상을 디스플레이하는 단계를
포함한다.
특정 실시예에 따르면, 0이 아닌 움직임 진폭을 갖는 소스 비디오 화상의 적어도 하나의 픽셀에 대해 적어도 하나의 첫 번째 생성된 비디오 화상에서의 이러한 픽셀의 비디오 레벨과 적어도 하나의 두 번째 재생된 비디오 화상에서의 이러한 픽셀의 비디오 레벨 간의 비대칭을 생성하기 위해, 비대칭 파라미터는 이러한 픽셀에 대해 추정된 움직임 진폭으로부터 이러한 픽셀에 대해 한정되고 이러한 픽셀의 비디오 레벨은 상기 계산된 비대칭 파라미터에 기초한 상기 첫 번째 및 두 번째 생성된 비디오 화상에서 수정된다.
유리하게는, 주어진 픽셀에 대해, 상기 비대칭은 픽셀에 대해 추정된 움직임 진폭이 증가함에 따라 증가한다.
본 발명은 또한 비디오 시퀀스의 적어도 하나의 소스 비디오 화상을 위한 디스플레이 디바이스에 관한 것이며, 소스 디스플레이 주파수는 상기 소스 비디오 화상과 연관된다. 상기 디바이스는:
- 소스 비디오 화상의 픽셀 움직임을 추정하기 위한 움직임 추정기와,
- n 개의 재생된 비디오 화상을 생성하는 방식으로 상기 소스 비디오 화상을 n번 재생하고(여기서 n은 2보다 크거나 같은 정수), 0이 아닌 움직임 진폭을 갖는 소스 비디오 화상의 적어도 하나의 픽셀에 대해, 적어도 하나의 첫 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨과 적어도 하나의 두 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨 간의 비대칭을 생성하는 방식으로 n 개의 재생된 비디오 화상을 수정하기 위한 재생 및 처리 회로로서, 상기 n 개의 재생된 비디오 화상에서의 이러한 픽셀의 평균 비디오 레벨은 현저하게 소스 비디오 픽셀에서의 이러한 픽셀의 비디오 레벨과 동일하고, 상기 첫 번째 생성된 비디오 화상에서의 이러한 픽셀의 비디오 레벨과 상기 두 번째 재생된 비디오 화상에서의 이러한 픽셀의 비디오 레벨 간에 생성된 비대칭은 상기 소스 비디오 화상에서의 이러한 픽셀의 비디오 레벨 및 상기 고려된 픽셀에 대해 추정된 움직임에 의존하는, 재생 및 처리 회로와,
- 상기 소스 비디오 화상과 연관된 디스플레이 주파수의 n배와 동일한 디스플레이 주파수를 갖는 n 개의 재생된 비디오 화상을 디스플레이하는 디스플레이를 포함한다.
특정 실시예에 따르면, 상기 재생 및 처리 회로는 픽셀에 대한 비대칭 파라미터를 계산하기 위한 계산 회로를 포함하며, 상기 픽셀은 이러한 픽셀에 대해 추정된 움직임 진폭으로부터 고려되고, 첫 번째와 두 번째 재생된 비디오 화상에서의 상기 픽셀의 비디오 레벨은 그 다음 상기 계산된 비대칭 파라미터에 기초한 재생 및 처리 회로에 의해 수정된다.
비제한적인 예로서 제공되고 본 명세서에서 첨부된 도면에 관한 다음의 상세한 설명을 읽을 때 본 발명이 더 잘 이해될 것이다.
도 4는 본 발명에 따르고 흐림과 복합 윤곽의 효과를 감소하도록 하는 방법을 예시한다. 상기 방법은 미리 결정된 화상 주파수, 전통적으로 50 Hz 또는 60 Hz에서 수신된 소스 비디오 화상 시퀀스에 적용된다.
참조부호 410을 갖는 제1 단계를 따르면, 움직임 진폭(A)은 소스 비디오 화상의 적어도 하나의 픽셀에 대해 추정된다. 이러한 움직임 추정은 현재의 비디오 화상에서 이전의 비디오 화상 및/또는 다음의 화상으로 순서대로 실행된다. 이러한 계산은 매칭 화상 블록에 의한 추정 알고리즘의 예로서 당업자에게 잘 알려진 움직임 추정 알고리즘 또는 재귀적 픽셀 유형 알고리즘(recursive pixel type algorithm)에 의해 실행된다.
참조부호 420을 갖는 다음 단계에 따르면, 소스 비디오 화상은 n 개의 재생된 비디오 화상을 생성하기 위해 n번 재생된다(n은 2보다 크거나 같음). 이러한 재생된 화상을 디스플레이하기 위해 사용될 재생 주파수가 또한 n번 증가될 것이다. 상기 소스 비디오 화상의 화상 주파수를 배가하는 것과 동일한 재생 주파수를 갖는 디스플레이를 위해, 상기 컨텐츠가 소스 비디오 화상의 컨텐츠와 동일한 두개의 비디오 화상이 생성된다. 이러한 화상은 그 다음 재생된 비디오 화상으로 명명된다.
현재 비디오 화상의 주어진 픽셀에 대해 단계 410에서 계산된 움직임 진폭 (A)으로부터의 단계 430에 따르면, 상기 픽셀에 대해 α로 표시된 비대칭 파라미터가 생성된다. 이러한 파라미터는 상기 움직임 진폭(A)이 0이거나 아주 낮을 경우에 예컨대 n-1과 동일하다. 상기 파라미터(α)의 계산 함수의 예는 도 5로 예시된다. 이 도면에서, 상기 계산 함수는 다음과 같다:
Figure 112008087086416-pat00001
두개의 비디오 화상이 각각의 소스 비디오 화상으로부터 재생되는 경우에(n=2), α는 0과 1 사이에서 변한다. 더 일반적으로는, n 개의 비디오 화상이 각각의 소스 비디오 화상으로부터 재생되는 경우에 α는 0과 n-1 사이에서 변한다.
단계 440에 따르면, 단계 430에서 한정된 비대칭 파라미터(α)는 n번째 재생된 비디오 화상에서 고려되는 픽셀의 비디오 레벨을 수정하기 위해 사용된다. 이 픽셀의 비디오 레벨은 재생된 화상 사이에 비디오 레벨 비대칭을 생성할 때 상기 재생된 비디오 화상에서 다르게 수정된다. n=3일 경우에, 하나의 비디오 화상은 다음과 같이 진행된다: X는 소스 비디오 화상에서 고려되는 픽셀의 비디오 레벨을 표시하고 X1과 X2는 첫 수정된 번째 및 두 번째 재생된 비디오 화상에서 고려되는 픽셀의 비디오 레벨을 각각 표시한다. 상기 비디오 레벨(X1, X2)은 다음과 같이 계산된다:
Figure 112008087086416-pat00002
그러므로 비대칭이 두개의 재생된 비디오 화상 사이에서 (2-2α)X와 동일하도록 생성된다.
n=3일 경우에, 하나의 비디오 화상은 다음과 같이 진행된다: X는 소스 비디오 화상에서 고려되는 픽셀의 비디오 레벨을 표시하고 X1, X2 및 X3은 수정된 첫 번째, 두 번째 및 세 번째 재생된 비디오 화상에서 고려된 픽셀의 비디오 레벨을 각각 표시한다. 상기 비디오 레벨(X1, X2 및 X3)은 다음과 같이 계산된다:
더 일반적으로(2보다 크거나 같은 임의의 n에 대해), 하나의 비디오 화상은 다음과 같이 진행된다: X는 소스 비디오 화상에서 고려되는 픽셀의 비디오 레벨을 표시하고 Xi는 수정된 i번째 재생된 비디오 화상에서 상기 고려된 픽셀의 비디오 레벨을 표시한다. 상기 비디오 레벨(X1 내지 Xn)은 다음과 같이 계산된다:
Figure 112008087086416-pat00004
단계 450을 참고하면, 수정된 n번째 재생된 화상은 그 다음, 소스 비디오 화상의 화상 주파수의 n배와 동일한 재생 주파수에서 디스플레이된다.
그러므로 본 발명에 따르면, 비디오 레벨 비대칭은 디스플레이될 비디오 화상의 움직임에 있는 영역의 픽셀에 대해서만 생성된다. 도 6은 흐림과 이중 윤곽의 관점에서 방법의 결과를 예시한다. 이러한 두 화상에서, 디스플레이되는 화상은 검은색 배경에 회색으로 쓴 단어 "Thomson"이다.
도 6은 재생 주파수가 배가되는 경우를 예시한다. 도면의 왼쪽 부분에서, 상기 텍스트 "Thomson"은 정지상태이다. 이 화상은 비대칭의 생성 없이 두 번 재생된다. 그러므로 광의 두개의 동일 피크는 상기 이중 재생 주파수로 인해 프레임 주기 동안에 나타난다. 도면의 오른쪽 부분에서, 상기 화상은 두 번 재생되지만, 상기 단어 "Thomson"의 비디오 레벨은 첫 번째 재생된 비디오 화상에서는 감소되고 두 번째 재생된 비디오 화상에서는 반비례하여 증가되며, 상기 두개의 재생된 비디오 화상에 대한 평균 비디오 레벨은 상기 소스 비디오 화상에서 이러한 단어의 비디오 레벨과 동일하다. 그러므로 비디오 레벨 비대칭은 재생된 비디오 화상 사이에 생성된다. 이러한 예에서, 128과 동일한 평균 비디오 레벨(=소스 비디오 화상에서의 비디오 레벨)에 대해, 예컨대 첫 번째 재생된 비디오 화상에 대한 64의 비디오 레벨과 두 번째 재생된 비디오 화상에 대한 192의 비디오 레벨이 디스플레이된다. 도 6의 밑에서 볼 수 있는 바와 같이, 이중 윤곽 효과는 사라지거나 상기 소스 비디오 화상의 움직임이 있는 영역에서 상당히 감소된다. 흔들림의 관점에서, 화상의 정지 영역에서는 전혀 없고, 움직임의 영역에서는, 움직임으로 인해 눈에 의해 거의 감지되지 않는다.
이러한 방법은 다음의 예로 예시될 수 있다:
예 1
96과 동일한 비디오 레벨(X)을 갖는 픽셀은 화상 주기마다 4 픽셀씩 이동한다. 2개의 비디오 화상은 픽셀 소스마다 생성된다(n=2). 그렇다면 α=0.8이다. 수정된 첫 번째 재생된 비디오 화상에서 픽셀의 비디오 레벨(X1)은 그렇다면 0.8x96의 값인 76과 동일하고, 수정된 두 번째 재생된 비디오 화상의 비디오 레벨(X2)은 그렇다면 1.2x96의 값인 116과 동일하다.
예 2
224와 동일한 비디오 레벨(X)을 갖는 픽셀은 화상 주기 마다 4 픽셀씩 이동한다. 2개의 비디오 화상은 화상 소스 마다 재생된다(n=2). 그렇다면 α=0.8이다. (2-α)·224>255와 같이, 수정된 두 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨(X2)은 그렇다면 255와 동일한 것으로 간주되고 수정된 첫 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨(X1)은 그렇다면 2x224-255의 값인 193과 동일한 것으로 간주된다.
예 3
195와 동일한 비디오 레벨(X)을 갖는 픽셀은 화상 주기마다 10개의 픽셀 씩 이동한다. 3개의 비디오 화상은 픽셀 소스마다 생성된다(n=2). 그렇다면 α=0이다. (3-α)·195>255와 2X'=330>255와 같이, 수정된 세 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨(X3)은 그렇다면 255와 동일한 것으로 간주되고, 수정된 두 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨(X2)은 또한 255와 동일한 것으로 간 주되고, 수정된 첫 번째 재생된 비디오 화상에서의 픽셀의 비디오 레벨(X1)은 330-255의 값인 75와 동일한 것으로 간주된다.
앞서 설명된 방법과 예에서, 픽셀에 의해 생성된 광은 마지막으로 재생된 비디오 화상(일시적인 도메인에서 n번째 재생된 비디오 화상)과 이의 이웃한 화상에 집중된다. 자연적으로, 이러한 광을 첫 번째 재생된 화상 및 이의 이웃 화상 또는 중간 화상 및 이의 이웃 화상에 집중시키는데 대비할 수 있다. 마찬가지로, 예로서 제공되는 대칭 파라미터(α)는 상기 움직임 진폭(A)이 증가함에 따라 감소한다. 자연적으로, 완전히 다른 파라미터가 선택될 수 있다. 주된 조건은, 일정한 비디오 레벨에서 비대칭이 상기 움직임 진폭이 증가함에 따라 증가하는 것이다.
도 7은 본 발명의 방법을 구현할 수 있는 디바이스(700)를 예시한다. 상기 디바이스(700)는 상기 소스 비디오 화상을 수신한다. 이는 소스 비디오 화상의 픽셀의 움직임 진폭(A)을 추정하기 위한 움직임 추정기(710)를 포함한다. 이러한 움직임 추정은 현재 비디오 화상 및 이전의 비디오 화상 및/또는 다음의 화상으로부터 순서대로 실행된다. 이러한 추정기는 예컨대 매칭 화상 블록에 의한 추정 알고리즘 또는 재귀적 픽셀 유형 알고리즘을 구현한다. 상기 움직임 추정기는 움직임 추정기보다 더 신뢰할 수 있는 방식으로 상기 소스 비디오 화상에서의 움직이지 않는 영역을 검출하는 이점을 갖는 움직이지 않는 영역의 검출 회로에 어떻게든 연결될 수 있다. 이러한 영역에서, 서로 다른 재생된 비디오 화상 사이에서 비대칭은 전혀 생성되지 않을 것이다.
상기 디바이스(700)는 본 발명의 방법의 단계(430)에서 앞서 한정된 비대칭 파라미터(α)의 계산 회로(720)를 또한 포함한다. 이러한 파라미터는 소스 비디오 화상의 각 픽셀에 대해 계산된다. 이는 상기 고려된 픽셀에 대해 추정된 움직임 진폭(A)으로부터 한정된다. 이러한 파라미터는 도 5에서 나타낸 바와 같이 계산된다.
상기 디바이스(700)는 n 개의 재생된 비디오 화상(n은 2보다 크거나 같음)을 생성하는 방식으로 상기 디바이스의 입력부에서 소스 비디오 화상을 n번 재생할 수 있는 회로(730)를 또한 포함한다. 이러한 재생된 화상을 디스플레이하도록 사용될 재생 주파수는 또한 n배 증가될 수 있다. 상기 회로(730)는 단계 440에서 앞서 설명된 바와 같이 재생된 화상 사이에 비디오 레벨 비대칭을 생성하는 방식으로 상기 고려된 픽셀에 대해 회로(720)에 의해 계산된 비대칭 파라미터(α)에 따라 n 개의 재생된 비디오 화상에서 상기 고려된 픽셀의 비디오 레벨을 또한 수정한다. 상기 회로(730)에 의해 수정된 n 개의 재생된 화상은 그 다음, 상기 소스 비디오 화상의 화상 주파수의 n배와 동일한 재생 주파수로 디스플레이(740)에 의해 디스플레이된다.
자연적으로, 본 발명은 앞서 언급된 실시예에 제한되지 않는다.
특히, 당업자는 도 5에서 나타낸 것과 다른 비대칭 파라미터(α)의 계산 함수를 사용할 수 있을 것이다. 특히, 이들은 상기 함수의 기울기를 변경할 수 있을 것이다. 이들은 또한, 둘 이상의 파라미터를 사용하거나 및/또는 재생된 비디오 화상에서 비디오 레벨(Xi)의 계산 공식을 수정할 수 있다.
본 발명은 화상 디스플레이 주파수가 증가하는 경우 흐림(blurring)과 복합 윤곽(multiple contour)의 효과를 줄이는 것을 목표로 하는 비디오 화상 디스플레이 방법에 이용 가능하다. 더 상세하게는 본 발명은 디스플레이 디바이스에 적용되는데, 이 디스플레이 디바이스에서는, 방출된 광이 LCD(Liquid Crystal Display) 스크린, 플라스마 스크린, DLP(Digital Light Processing) 기술을 이용하는 스크린 또는 100 Hz의 음극선관을 갖는 스크린에 관하여 시간에 따라 확산 된다.
도 1은 두개의 다른 비디오 레벨 사이의 전이를 포함하는 비디오 화상에서 생성되는 흐림을 예시하는 도면.
도 2는 텍스트를 포함하는 비디오 화상에서 생성되고 이중 재생 주파수(double refresh frequency)로 디스플레이된 이중 윤곽 효과를 예시한 도면.
도 3은 흐림의 효과와 복합 윤곽 효과를 줄이기 위해 알려진 움직임 보상 기술을 예시한 도면.
도 4는 비디오 레벨 비대칭을 생성하도록 의도된 본 발명의 방법의 단계를 도시한 흐름도.
도 5는 도 4의 방법에서 사용되는 비대칭 파라미터의 계산 함수를 도시한 도면.
도 6은 복합 윤곽과 흐림의 관점에서 본 발명의 방법의 결과를 도시한 도면.
도 7은 도 4의 방법을 구현하는 디바이스의 도해를 도시한 도면.

Claims (7)

  1. 비디오 시퀀스의 적어도 하나의 소스 비디오 화상을 디스플레이하는 방법으로서, 소스 디스플레이 주파수는 상기 소스 비디오 화상과 관련(associated)되는, 소스 비디오 화상을 디스플레이하는 방법에 있어서,
    - 상기 소스 비디오 화상의 픽셀 움직임을 추정하는 단계(410)와,
    - n 개의 재생된 비디오 화상을 생성하기 위해 상기 소스 비디오 화상을 n(2 이상의 정수)번 재생하는 단계(420)와,
    - 0이 아닌 움직임 진폭을 갖는 소스 비디오 화상의 움직임에서의 영역의 픽셀에 대해, 적어도 하나의 첫 번째 재생된 비디오 화상에서의 이동하는 픽셀의 비디오 레벨과 적어도 하나의 두 번째 재생된 비디오 화상에서의 대응하는 픽셀의 비디오 레벨 간의 비대칭을 생성하기 위해 상기 n 개의 재생된 비디오 화상을 수정하는 단계(430, 440)로서, n 개의 재생된 비디오 화상에서의 상기 대응하는 픽셀과 상기 이동하는 픽셀의 평균 비디오 레벨은 소스 비디오 화상에서의 움직임에서의 영역의 상기 픽셀의 비디오 레벨과 동일하고, 상기 적어도 하나의 첫 번째 재생된 비디오 화상에서의 상기 이동하는 픽셀의 비디오 레벨과 상기 적어도 하나의 두 번째 재생된 비디오 화상에서의 상기 대응하는 픽셀의 비디오 레벨 간에 생성된 비대칭은 소스 비디오 화상에서의 움직임에서의 영역의 상기 픽셀의 비디오 레벨 및 움직임에서의 영역의 상기 픽셀에 대해 추정된 움직임에 따라 좌우되는, 수정 단계(430, 440)와,
    - 소스 비디오 화상과 관련된 디스플레이 주파수의 n배와 동일한 디스플레이 주파수를 갖는 상기 n 개의 재생된 비디오 화상을 디스플레이하는 단계(450)를
    포함하는 것을 특징으로 하는, 소스 비디오 화상을 디스플레이하는 방법.
  2. 제 1항에 있어서,
    0이 아닌 움직임 진폭을 갖는 소스 비디오 화상의 움직임에서의 영역의 적어도 하나의 픽셀에 대해, 적어도 하나의 첫 번째 재생된 비디오 화상에서의 상기 이동하는 픽셀의 비디오 레벨과 적어도 하나의 두 번째 재생된 비디오 화상에서의 상기 대응하는 픽셀의 비디오 레벨 간의 비대칭을 생성하기 위해, 비대칭 파라미터(α)로서 0과 1 사이의 수치값은 움직임에서의 영역의 상기 픽셀에 대해 추정된 움직임 진폭을 이용하여 상기 이동하는 픽셀과 상기 대응하는 픽셀에 대해 생성되고(430), 상기 이동하는 픽셀과 상기 대응하는 픽셀의 비디오 레벨은 상기 비대칭 파라미터(α)에 기초한 상기 첫 번째와 두 번째 재생된 비디오 화상에서 수정되는(440), 소스 비디오 화상을 디스플레이하는 방법.
  3. 제 1항 또는 제 2항에 있어서,
    주어진 픽셀에 대해, 적어도 하나의 첫 번째 재생된 비디오 화상에서의 상기 이동하는 픽셀의 비디오 레벨과 적어도 하나의 두 번째 재생된 비디오 화상에서의 상기 대응하는 픽셀의 비디오 레벨 사이의 비대칭은, 비대칭 파라미터(α)로서 0과 1 사이의 수치값을 생성하기 위해 추정된 움직임 진폭을 이용함으로써 움직임에서의 영역의 상기 픽셀에 대해 상기 소스 비디오 화상의 추정된 움직임 진폭이 증가함에 따라 증가하는, 소스 비디오 화상을 디스플레이하는 방법.
  4. 제 1항 또는 제 2항에 있어서,
    소스 비디오 화상과 관련된 소스 디스플레이 주파수는 50 Hz이고, 재생된 비디오 화상은 100 Hz와 동일한 주파수에서 디스플레이되고, n은 2와 동일한, 소스 비디오 화상을 디스플레이하는 방법.
  5. 제 1항 또는 제 2항에 있어서,
    소스 비디오 화상과 관련된 소스 디스플레이 주파수는 60 Hz이고, 재생된 비디오 화상은 120 Hz와 동일한 주파수에서 디스플레이되고, n은 2와 동일한, 소스 비디오 화상을 디스플레이하는 방법.
  6. 비디오 시퀀스의 적어도 하나의 소스 비디오 화상을 디스플레이하는 디바이스로서, 소스 디스플레이 주파수는 상기 소스 비디오 화상과 관련되는, 소스 비디오 화상을 디스플레이하는 디바이스에 있어서,
    - 상기 소스 비디오 화상의 픽셀 움직임을 추정하기 위한 움직임 추정기(710)와,
    - n(2보다 크거나 같은 정수) 개의 재생된 비디오 화상을 생성하기 위해 상기 소스 비디오 화상을 n번 재생하고, 0이 아닌 움직임 진폭을 갖는 소스 비디오 화상의 움직임에서의 영역의 픽셀에 대해, 적어도 하나의 첫 번째 재생된 비디오 화상에서의 이동하는 픽셀의 비디오 레벨과 상기 적어도 하나의 두 번째 재생된 비디오 화상에서의 대응하는 픽셀의 비디오 레벨 간의 비대칭을 생성하기 위해 상기 n 개의 재생된 비디오 화상을 수정하기 위한 재생 및 처리 회로(720, 730)로서, n 개의 재생된 비디오 화상의 평균 비디오 레벨은 소스 비디오 화상에서의 움직임에서의 영역의 상기 픽셀의 비디오 레벨과 동일하고, 상기 적어도 하나의 첫 번째 재생된 비디오 화상에서의 상기 이동하는 픽셀의 비디오 레벨과 상기 적어도 하나의 두 번째 재생된 비디오 화상에서의 상기 대응하는 픽셀의 비디오 레벨 간에 생성된 비대칭은 소스 비디오 화상에서의 움직임에서의 영역의 상기 픽셀의 비디오 레벨 및 움직임에서의 영역의 상기 픽셀에 대해 추정된 움직임에 따라 좌우되는, 재생 및 처리 회로(720, 730)와,
    - 소스 비디오 화상과 관련된 디스플레이 주파수의 n배와 동일한 디스플레이 주파수로 상기 n 개의 재생된 비디오 화상을 디스플레이하기 위한 디스플레이를
    포함하는 것을 특징으로 하는, 소스 비디오 화상을 디스플레이하는 디바이스.
  7. 제 6항에 있어서,
    재생 및 처리 회로(720, 730)는 움직임에서의 영역의 상기 픽셀에 대해 추정된 움직임 진폭으로부터 상기 픽셀에 대한 비대칭 파라미터(α)를 계산하기 위한 계산 회로(720)를 포함하고, 상기 첫 번째와 두 번째 재생된 비디오 화상에서의 상기 픽셀의 비디오 레벨은 상기 비대칭 파라미터(α)에 기초한 재생 및 처리 회로에 의해 수정되는, 소스 비디오 화상을 디스플레이하는 디바이스.
KR1020080129370A 2007-12-20 2008-12-18 흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이방법과 이러한 방법을 구현하는 디바이스 Active KR101577703B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0760165 2007-12-20
FR0760165A FR2925813A1 (fr) 2007-12-20 2007-12-20 Procede d'affichage d'image video pour reduire les effets de flou et de double contour et dispositif mettant en oeuvre ce procede

Publications (2)

Publication Number Publication Date
KR20090067083A KR20090067083A (ko) 2009-06-24
KR101577703B1 true KR101577703B1 (ko) 2015-12-15

Family

ID=39626256

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080129370A Active KR101577703B1 (ko) 2007-12-20 2008-12-18 흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이방법과 이러한 방법을 구현하는 디바이스

Country Status (6)

Country Link
US (1) US8194185B2 (ko)
EP (1) EP2079069A1 (ko)
JP (1) JP5506184B2 (ko)
KR (1) KR101577703B1 (ko)
CN (1) CN101465114B (ko)
FR (1) FR2925813A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11222606B2 (en) 2017-12-19 2022-01-11 Sony Group Corporation Signal processing apparatus, signal processing method, and display apparatus
KR20250085391A (ko) * 2023-12-05 2025-06-12 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017460A (ja) 2005-07-05 2007-01-25 Seiko Epson Corp 動き補償表示
JP2008216648A (ja) 2007-03-05 2008-09-18 Matsushita Electric Ind Co Ltd 映像表示装置、映像表示方法、および映像表示システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0525408A3 (en) * 1991-07-01 1993-12-22 Eastman Kodak Co Method for multiframe wiener restoration of noisy and blurred image sequences
US5894330A (en) * 1997-01-23 1999-04-13 Silicon Integrated Systems Corp. Adaptive anti-flicker method for VGA to TV data conversion
US6421097B1 (en) * 1998-07-31 2002-07-16 Intel Corporation Method and apparatus for reducing flicker in a video image sequence
DE10033420A1 (de) * 2000-07-08 2002-01-17 Philips Corp Intellectual Pty Vorrichtung zur Reduktion von Flackerstörungen
US20020131500A1 (en) * 2001-02-01 2002-09-19 Gandhi Bhavan R. Method for determining a motion vector for a video signal
JP4111738B2 (ja) * 2002-04-15 2008-07-02 三洋電機株式会社 プラズマディスプレイ装置
JP3908606B2 (ja) * 2002-06-19 2007-04-25 三菱電機株式会社 撮像装置、撮像方法及びそれらを備える携帯端末装置
JP4079793B2 (ja) * 2003-02-07 2008-04-23 三洋電機株式会社 表示方法、表示装置およびそれに利用可能なデータ書込回路
JP2005024708A (ja) * 2003-06-30 2005-01-27 Fujitsu Hitachi Plasma Display Ltd 多階調化信号処理装置
KR100497234B1 (ko) * 2003-10-01 2005-06-23 삼성에스디아이 주식회사 플라즈마 디스플레이 패널의 화상 표시 방법 및 그 장치
KR100643230B1 (ko) * 2004-08-30 2006-11-10 삼성전자주식회사 디스플레이장치의 제어방법
JP4671715B2 (ja) * 2005-03-04 2011-04-20 シャープ株式会社 表示装置およびその駆動方法
JP4768344B2 (ja) * 2005-05-11 2011-09-07 株式会社 日立ディスプレイズ 表示装置
CN100552753C (zh) * 2005-05-11 2009-10-21 株式会社日立显示器 显示装置
WO2007116370A1 (en) * 2006-04-11 2007-10-18 Koninklijke Philips Electronics N.V. 1d motion compensated dynamic frame insertion
JP2007324763A (ja) * 2006-05-30 2007-12-13 Toshiba Corp テレビジョン受像装置及びテレビジョン受像方法
CN101496088B (zh) * 2006-07-31 2012-11-28 索尼株式会社 图像处理装置和图像处理方法
JP2008111910A (ja) * 2006-10-30 2008-05-15 Mitsubishi Electric Corp 映像処理回路および映像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017460A (ja) 2005-07-05 2007-01-25 Seiko Epson Corp 動き補償表示
JP2008216648A (ja) 2007-03-05 2008-09-18 Matsushita Electric Ind Co Ltd 映像表示装置、映像表示方法、および映像表示システム

Also Published As

Publication number Publication date
JP2009163236A (ja) 2009-07-23
EP2079069A1 (en) 2009-07-15
US20090161018A1 (en) 2009-06-25
CN101465114B (zh) 2013-09-11
US8194185B2 (en) 2012-06-05
KR20090067083A (ko) 2009-06-24
FR2925813A1 (fr) 2009-06-26
CN101465114A (zh) 2009-06-24
JP5506184B2 (ja) 2014-05-28

Similar Documents

Publication Publication Date Title
US8462266B2 (en) Image processing device and method, and image display device and method
CN101589614B (zh) 图像显示装置及方法、图像处理装置及方法
US20100085478A1 (en) Image displaying device and method, and image processing device and method
CN101529902B (zh) 图像显示装置及方法、图像处理装置及方法
CN101518068B (zh) 图像显示装置及方法、图像处理装置及方法
EP2262255B1 (en) Image processing apparatus and image processing method
CN101536508A (zh) 图像显示装置及方法、图像处理装置及方法
CN102124511B (zh) 图像信号处理装置、图像信号处理方法、图像显示装置、电视接收机、电子设备
US9215353B2 (en) Image processing device, image processing method, image display device, and image display method
KR101577703B1 (ko) 흐림과 이중 윤곽의 효과를 줄이는 비디오 화상 디스플레이방법과 이러한 방법을 구현하는 디바이스
JP4764065B2 (ja) 画像表示制御装置、ディスプレイ装置及び画像表示方法
JP5005260B2 (ja) 画像表示装置
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
JP4369971B2 (ja) 画像表示装置及び方法、画像処理装置及び方法
JP4369967B2 (ja) 画像表示装置及び方法、画像処理装置及び方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20081218

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20131210

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20081218

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20141017

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20150327

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150925

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20151209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20151210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20191128

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20191128

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20201126

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20211201

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20221129

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20231128

Start annual number: 9

End annual number: 9