KR20160054530A - 동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템 - Google Patents

동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템 Download PDF

Info

Publication number
KR20160054530A
KR20160054530A KR1020167008909A KR20167008909A KR20160054530A KR 20160054530 A KR20160054530 A KR 20160054530A KR 1020167008909 A KR1020167008909 A KR 1020167008909A KR 20167008909 A KR20167008909 A KR 20167008909A KR 20160054530 A KR20160054530 A KR 20160054530A
Authority
KR
South Korea
Prior art keywords
coding
area
picture
encoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020167008909A
Other languages
English (en)
Inventor
료지 핫토리
요시미 모리야
아키라 미네자와
가즈유키 미야자와
슌이치 세키구치
？이치 세키구치
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20160054530A publication Critical patent/KR20160054530A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

가변 길이 부호화부(23)가, 움직임 벡터의 탐색 가능한 최대 범위를 나타내는 움직임 벡터 제한 정보와, GOP에 속하는 픽쳐의 수인 GOP 사이즈의 최대치를 나타내는 GOP 사이즈 제한 정보와, GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 전체 영역 비트스트림에 다중화한다. 이것에 의해, 전체 영역의 비트스트림의 압축 효율의 저하를 초래하는 일 없이, 낮은 연산량으로 효율적인 부분 영역의 비트스트림의 생성에 적합한 전체 영역의 비트스트림을 생성할 수 있다.

Description

동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템{VIDEO ENCODING DEVICE, VIDEO TRANSCODING DEVICE, VIDEO ENCODING METHOD, VIDEO TRANSCODING METHOD AND VIDEO STREAM TRANSMISSION SYSTEM}
본 발명은, 화상을 압축 부호화하여 부호화 데이터를 생성하는 화상 부호화 장치 및 화상 부호화 방법과, 화상 부호화 장치에 의해 생성된 부호화 데이터로부터, 성질이 상이한 다른 부호화 데이터를 생성하는 동화상 트랜스코드 장치 및 동화상 트랜스코드 방법과, 화상 부호화 장치에 의해 생성된 부호화 데이터를 송수신하는 동화상 스트림 전송 시스템에 관한 것이다.
촬상 기기, 표시 기기, 압축 부호화 기술, 전송 기술 등의 진보에 수반하여, HD(High Definition)를 넘는 해상도(예컨대, 4K, 8K 등의 해상도)를 갖는 UHD(Ultra-High Definition)의 초고해상도 영상의 전달 서비스가 검토되고 있다.
초고해상도 영상에서는, 영상의 정보량이 방대하기 때문에, 영상 신호의 전송이나 축적을 행할 때에는 영상 부호화 기술을 이용하여 압축하는 것이 일반적이다.
이하, 초고해상도 영상을 전송할 때에는, 소정의 영상 부호화 기술에 의해 압축된 비트스트림 형식으로 다루는 것을 전제로 한다.
초고해상도 영상을 시청할 때에는, 영상의 화소수와 비교하여, 표시 기기의 외관의 사이즈가 너무 작은 것에 의해, 영상 중의 미세한 구조(예컨대, 문자 정보, 인물의 얼굴 등)가, 영상 중의 정보로서 존재하고 있더라도, 시청이 곤란하게 되는 경우가 상정된다.
이와 같은 문제를 해결하기 위해, 전송되어 온 초고해상도 영상의 전체 영역을 메인 표시 기기(예컨대, 거실에 설치되어 있는 대화면의 TV 등)에 표시함과 아울러, 초고해상도 영상의 전체 영역 중에서, 유저에 의해 지정된 부분 영역의 영상을 추출하고, 그 부분 영역의 영상을 서브 표시 기기(예컨대, 유저 수중에 있는 태블릿 단말 등)에 전송하여 시청하는 시스템이 생각된다.
상기의 시스템에서는, 메인 표시 기기로부터 서브 표시 기기에 부분 영역 영상이 전송되지만, 그 부분 영역 영상을 전송할 때에는, 그 부분 영역 영상에 관한 정보만이 포함되어 있는 비트스트림의 형식으로 전송하는 것이 바람직하다.
초고해상도 영상의 전체 영역 비트스트림을 부분 영역 비트스트림(부분 영역 영상에 관한 정보만을 포함하는 비트스트림)으로 압축하지 않고, 그 초고해상도 영상의 전체 영역 비트스트림을 그대로 전송하는 경우, 전송 정보량이 매우 많아져 버림과 아울러, 서브 표시 기기가 초고해상도 영상의 전체 영역을 복호할 필요가 있기 때문에, 처리 부하가 커져 버리기 때문이다.
따라서, 상기의 시스템에 있어서의 메인 표시 기기는, 초고해상도 영상의 전체 영역 비트스트림으로부터, 임의의 부분 영역 비트스트림을 생성하는 트랜스코드 기능을 갖는 것이 바람직하다.
전체 영역 비트스트림으로부터 임의의 부분 영역 비트스트림을 생성하는 방법으로서는, 예컨대, 이하의 방법이 생각된다.
[방법 1]
메인 표시 기기가 초고해상도 영상의 전체 영역을 복호한 후, 전체 영역의 복호 화상으로부터 유저에 의해 지정된 부분 영역의 복호 화상을 잘라내고, 그 부분 영역의 복호 화상을 다시 소정의 영상 부호화 기술에 의해 부호화한다.
그리고, 메인 표시 기기가, 그 부호화 결과인 부분 영역의 부호화 데이터와 부호화 파라미터를 포함하는 부분 영역 비트스트림을 생성한다.
단, 방법 1의 경우, 부분 영역의 복호 화상을 다시 부호화할 필요가 있기 때문에, 메인 표시 기기의 처리 부하가 커짐과 아울러, 재부호화에 수반하여 화질이 열화되어 버리는 문제가 있다.
[방법 2]
방법 2는 이하의 특허 문헌 1에 개시되어 있고, 전체 영역 비트스트림을 생성할 때, 타일 분할을 실시하여, 화상의 영역 사이의 참조를 차단하는 방식이다.
즉, 전체 영역을 타일이라고 불리는 직사각형 영역의 화상을 분할하고, 각 직사각형 영역을 부호화하는 것에 의해 전체 영역 비트스트림을 생성하는 것이지만, 각 직사각형 영역을 부호화할 때에 참조하는 국소 복호 화상이나 부호화 파라미터에 대해서는, 타일 경계를 넘는 참조(프레임간 참조, 엔트로피 부호화도 포함한다)를 행하지 않도록 제한하는 것이다.
이와 같은 제한을 마련하는 것에 의해, 각 타일을 완전하게 독립적으로 복호하는 것이 가능하게 되기 때문에, 전체 영역 비트스트림으로부터 유저에 의해 지정된 부분 영역을 포함하는 타일의 부호화 데이터 및 부호화 파라미터를 추출하면, 부분 영역의 부호화 데이터 및 부호화 파라미터를 포함하는 부분 영역 비트스트림을 생성할 수 있다.
단, 방법 2에서는, 부호화 데이터 및 부호화 파라미터의 추출이 타일 단위가 되기 때문에, 유저에 의해 지정된 부분 영역이 복수의 타일에 걸쳐 있는 경우나, 부분 영역보다 타일 사이즈가 큰 경우 등에는, 표시에 불필요한 영역을 많이 포함하는 부분 영역 비트스트림이 생성되어 버려 비효율적이다.
부분 영역 비트스트림의 생성 효율을 높이기 위해 타일 사이즈를 작게 하면, 참조를 차단하는 개소가 많아지기 때문에, 전체 영역 비트스트림의 압축 효율이 저하되어 버리는 문제가 있다.
(선행 기술 문헌)
(특허 문헌)
(특허 문헌 1) 국제 공개 2012/060459호
종래의 동화상 부호화 장치는 이상과 같이 구성되어 있으므로, 전체 영역을 직사각형 영역(타일)의 화상을 분할하고, 타일 경계를 넘는 참조를 제한한 상태에서, 각 직사각형 영역을 부호화하도록 하면, 처리 부하의 증대나 화질의 열화를 억제할 수 있다. 그러나, 유저에 의해 지정된 부분 영역이 복수의 타일에 걸쳐 있는 경우 등에는, 표시에 불필요한 영역을 많이 포함하는 부분 영역 비트스트림이 생성되어 버려서 비효율적으로 되는 과제가 있었다. 한편, 부분 영역 비트스트림의 생성 효율을 높이기 위해 타일 사이즈를 작게 하면, 참조를 차단하는 개소가 많아지기 때문에, 전체 영역 비트스트림의 압축 효율이 저하되어 버리는 과제가 있었다.
본 발명은 상기와 같은 과제를 해결하기 위해 이루어진 것으로, 전체 영역 비트스트림의 압축 효율의 저하를 초래하는 일 없이, 낮은 연산량으로 효율적인 부분 영역 비트스트림의 생성에 적합한 전체 영역 비트스트림을 생성할 수 있는 동화상 부호화 장치 및 동화상 부호화 방법을 얻는 것을 목적으로 한다.
또한, 본 발명은, 효율적인 부분 영역 비트스트림을 낮은 연산량으로 생성할 수 있는 동화상 트랜스코드 장치 및 동화상 트랜스코드 방법을 얻는 것을 목적으로 한다.
또한, 본 발명은, 화상 부호화 장치에 의해 생성된 부호화 데이터를 송수신하는 동화상 스트림 전송 시스템을 얻는 것을 목적으로 한다.
본 발명과 관련되는 동화상 부호화 장치는, GOP(Group Of Pictures)에 속하는 픽쳐 내의 부호화 대상 블록에 대한 부호화 파라미터를 결정하고, 그 부호화 파라미터를 이용하여, 예측 화상을 생성하는 예측 화상 생성 수단과, 부호화 대상 블록과 예측 화상 생성 수단에 의해 생성된 예측 화상의 차분 화상을 압축 부호화하고, 그 부호화 결과인 부호화 데이터와 부호화 파라미터를 다중화하여 비트스트림을 생성하는 비트스트림 생성 수단을 구비하고, 비트스트림 생성 수단이, 움직임 벡터의 탐색 가능한 범위를 나타내는 움직임 벡터 제한 정보와, GOP에 속하는 픽쳐의 수인 GOP 사이즈를 나타내는 GOP 사이즈 제한 정보와, GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 비트스트림에 다중화하도록 한 것이다.
본 발명에 의하면, 비트스트림 생성 수단이, 움직임 벡터의 탐색 가능한 범위를 나타내는 움직임 벡터 제한 정보와, GOP에 속하는 픽쳐의 수인 GOP 사이즈를 나타내는 GOP 사이즈 제한 정보와, GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 비트스트림에 다중화하도록 구성했으므로, 전체 영역의 비트스트림의 압축 효율의 저하를 초래하는 일 없이, 낮은 연산량으로 효율적인 부분 영역의 비트스트림의 생성에 적합한 전체 영역의 비트스트림을 생성할 수 있는 효과가 있다.
도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치 및 동화상 트랜스코드 장치가 적용되는 시스템을 나타내는 구성도이다.
도 2는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치(1)를 나타내는 구성도이다.
도 3은 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 전체 영역 스트림 복호부(3)를 나타내는 구성도이다.
도 4는 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 부분 영역 트랜스코드부(4)를 나타내는 구성도이다.
도 5는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치(1)의 처리 내용(동화상 부호화 방법)을 나타내는 플로차트이다.
도 6은 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 전체 영역 스트림 복호부(3)의 처리 내용을 나타내는 플로차트이다.
도 7은 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 부분 영역 트랜스코드부(4)의 처리 내용을 나타내는 플로차트이다.
도 8은 최대 부호화 블록이 계층적으로 복수의 부호화 대상 블록으로 분할되는 예를 나타내는 설명도이다.
도 9a는 분할 후의 파티션의 분포를 나타내고, b는 계층 분할에 의해 부호화 모드 m(Bn)이 할당되는 상황을 쿼드트리 그래프로 나타내는 설명도이다.
도 10은 GOP 사이즈 제한 정보와 참조 구조 지정 정보가 가리키는 정보의 의미를 나타내는 설명도이다.
도 11은 본 발명의 실시의 형태 2에 의한 동화상 부호화 장치 및 동화상 트랜스코드 장치가 적용되는 시스템을 나타내는 구성도이다.
도 12는 전체 영역 화상이 6개의 서브픽쳐로 분할되어 있는 예를 나타내는 설명도이다.
도 13은 본 발명의 실시의 형태 3에 의한 동화상 스트림 전송 시스템을 나타내는 구성도이다.
도 14는 본 발명의 실시의 형태 3에 의한 동화상 스트림 전송 시스템을 나타내는 구성도이다.
도 15는 본 발명의 실시의 형태 4에 의한 동화상 스트림 전송 시스템을 나타내는 구성도이다.
이하, 본 발명을 보다 상세하게 설명하기 위해, 본 발명을 실시하기 위한 형태에 대하여, 첨부한 도면에 따라 설명한다.
실시의 형태 1.
본 실시의 형태 1에서는, 프레임간 예측을 행할 때의 움직임 벡터의 최대치나, 랜덤 액세스 포인트간의 프레임수에 제한을 마련하는 것에 의해, 랜덤 액세스 포인트간에 있어서의 화소치 정보의 전파 범위가 일정 이내에 들어가도록 부호화를 실시하여 전체 영역 비트스트림을 생성함과 아울러, 움직임 벡터의 최대치의 제한치나, 랜덤 액세스 포인트간의 프레임수의 제한치 등을 나타내는 정보를, 힌트 정보로서, 전체 영역의 비트스트림에 다중화하는 동화상 부호화 장치에 대하여 설명한다.
또한, 상기의 동화상 부호화 장치에 의해 생성된 전체 영역의 비트스트림으로부터 전체 영역의 부호화 데이터를 복호함과 아울러, 전체 영역의 비트스트림에 다중화되어 있는 힌트 정보를 참조하여, 전체 영역의 부호화 데이터 및 부호화 파라미터 중에서, 유저에 의해 지정된 표시 영역을 올바르게 복호할 때에 필요한 부호화 데이터 및 부호화 파라미터를 특정하고, 그 부호화 데이터 및 부호화 파라미터를 유용하는 것에 의해, 낮은 연산량으로 부분 영역의 비트스트림을 생성하는 동화상 트랜스코드 장치에 대하여 설명한다.
도 1은 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치 및 동화상 트랜스코드 장치가 적용되는 시스템을 나타내는 구성도이다.
도 1에 있어서, 동화상 부호화 장치(1)는 입력된 동화상의 전체 영역(프레임 전체를 포함하는 영역)의 픽쳐에 대하여, 후단의 동화상 트랜스코드 장치(2)가 처리할 수 있는 형식으로 부호화 처리를 실시하는 것에 의해 전체 영역 비트스트림을 생성함과 아울러, 트랜스코드용의 힌트 정보(상세는 후술한다)를 전체 영역 비트스트림에 다중화하여, 힌트 정보 다중화 후의 전체 영역 비트스트림을 동화상 트랜스코드 장치(2)에 출력하는 장치이다.
즉, 동화상 부호화 장치(1)는 GOP(Group of pictures)에 속하는 픽쳐 내의 부호화 대상 블록에 대한 부호화 파라미터를 결정하고, 그 부호화 파라미터를 이용하여, 예측 화상을 생성함과 아울러, 부호화 대상 블록과 해당 예측 화상의 차분 화상을 압축 부호화하고, 그 부호화 결과인 부호화 데이터와 해당 부호화 파라미터를 다중화하여 전체 영역 비트스트림을 생성하는 처리를 실시하고, 또한, 움직임 벡터의 탐색 가능한 최대 범위를 나타내는 움직임 벡터 제한 정보와, GOP에 속하는 픽쳐의 수인 GOP 사이즈의 최대치를 나타내는 GOP 사이즈 제한 정보와, GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 전체 영역 비트스트림에 다중화하여, 그 전체 영역 비트스트림을 동화상 트랜스코드 장치(2)에 출력하는 처리를 실시한다.
또, GOP는, 어느 랜덤 액세스 포인트 픽쳐와, 해당 랜덤 액세스 포인트 픽쳐보다 복호 순서로 뒤에 연속되는 랜덤 액세스 포인트가 아닌 픽쳐의 집합을 의미한다.
도 10은 GOP 사이즈 제한 정보와 참조 구조 지정 정보가 가리키는 정보의 의미를 나타내는 설명도이다.
GOP 사이즈 제한 정보는, 상기 정의의 GOP의 사이즈를 나타내는 것이다. 종래의 동화상 부호화 장치가 작성하는 비트스트림 내에는, GOP라고 하는 데이터 구조는 존재하지만, GOP의 사이즈를 나타내는 정보는 존재하지 않는다. 즉, 랜덤 액세스 포인트 픽쳐를 복호하고 나서, 다음의 랜덤 액세스 포인트 픽쳐를 복호할 때까지의 픽쳐수가 GOP 사이즈이고, 복호 장치측에서는, GOP를 모두 복호할 때까지 GOP 사이즈를 알 수 없었다. GOP 사이즈 제한 정보는, 예컨대 GOP의 선두의 프레임의 부호화 데이터에 다중화되는 것에 의해, GOP를 모두 복호하기 전에, 복호 장치측에 GOP 사이즈를 전달하는 효과를 갖는다.
참조 구조 지정 정보는, 픽쳐간의 참조 구조를 기술하고 있다. 종래의 동화상 부호화 장치에서는, 각 프레임 개별적으로, 해당 프레임의 참조처(reference destination) 프레임 정보가 다중화되어 있을 뿐이다. 즉, 어느 GOP가 어떠한 참조 구조로 부호화되어 있는지를 복호 장치측에서 알기 위해서는, GOP를 모두 복호할 필요가 있었다. 참조 구조 지정 정보는, 예컨대, GOP의 선두의 프레임의 부호화 데이터에 다중화되는 것에 의해, GOP를 모두 복호하기 전에, 참조 구조를 복호측에 전송하는 효과를 갖는다.
동화상 트랜스코드 장치(2)는 전체 영역 스트림 복호부(3) 및 부분 영역 트랜스코드부(4)로 구성되어 있고, 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림으로부터 전체 영역의 화상을 복호하여, 전체 영역의 화상(이하, 「전체 영역 복호 화상」이라고 칭한다)을 전체 영역 표시 장치(5)에 출력하는 처리를 실시한다.
또한, 동화상 트랜스코드 장치(2)는 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림으로부터 힌트 정보를 추출하고, 그 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 참조하여, 외부로부터 주어진 표시 영역 정보가 나타내는 픽쳐의 표시 영역을 복호할 때에 필요한 영역인 필수 부호화 영역을 특정하는 처리를 실시한다.
또한, 동화상 트랜스코드 장치(2)는 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림으로부터 필수 부호화 영역에 포함되어 있는 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 추출하고, 그 부호화 데이터 및 부호화 파라미터로부터 미리 설정되어 있는 부호화 코덱에 준거하고 있는 부분 영역 비트스트림을 생성하는 처리를 실시한다.
전체 영역 스트림 복호부(3)는 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림에 포함되어 있는 전체 영역의 부호화 데이터 및 부호화 파라미터와 힌트 정보를 추출하고, 전체 영역의 부호화 데이터 및 부호화 파라미터로부터 전체 영역 복호 화상을 복호하여, 전체 영역 복호 화상을 부분 영역 트랜스코드부(4) 및 전체 영역 표시 장치(5)에 출력함과 아울러, 전체 영역의 부호화 데이터 및 부호화 파라미터와 힌트 정보를 부분 영역 트랜스코드부(4)에 출력하는 처리를 실시한다.
부분 영역 트랜스코드부(4)는 전체 영역 스트림 복호부(3)로부터 출력된 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 참조하여, 외부로부터 주어진 표시 영역 정보가 나타내는 픽쳐의 표시 영역을 복호할 때에 필요한 영역인 필수 부호화 영역을 특정하는 처리를 실시한다.
또, 전체 영역 스트림 복호부(3) 및 부분 영역 트랜스코드부(4)로 필수 부호화 영역 특정 수단이 구성되어 있다.
또한, 부분 영역 트랜스코드부(4)는 전체 영역 스트림 복호부(3)로부터 출력된 전체 영역의 부호화 데이터 및 부호화 파라미터 중에서, 상기의 필수 부호화 영역에 포함되어 있는 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 추출하고, 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터로부터 미리 설정되어 있는 부호화 코덱에 준거하고 있는 부분 영역 비트스트림을 생성하는 처리를 실시한다.
또, 부분 영역 트랜스코드부(4)는 파라미터 추출 수단 및 부분 영역 스트림 생성 수단을 구성하고 있다.
전체 영역 표시 장치(5)는 전체 영역 스트림 복호부(3)로부터 출력된 전체 영역 복호 화상을 표시하는 표시 기기이다.
동화상 복호 장치(6)는 부분 영역 트랜스코드부(4)로부터 출력된 부분 영역 비트스트림으로부터 부분 영역의 화상을 복호하여, 부분 영역의 화상(이하, 「부분 영역 복호 화상」이라고 칭한다)을 부분 영역 표시 장치(7)에 출력하는 장치이다.
부분 영역 표시 장치(7)는 동화상 복호 장치(6)로부터 출력된 부분 영역 복호 화상을 표시하는 표시 기기이다.
구체적인 운용예로서, 동화상 트랜스코드 장치(2)가, 초고해상도 영상의 수신 재생이 가능한 거치형 TV에 내장되어 있는 경우를 설명한다.
이 경우, 동화상 부호화 장치(1)는, 초고해상도 영상을 전달하는 시스템측에 존재하고, 전달 대상의 전체 영역 비트스트림을 생성하는 인코더 장치이다.
따라서, 인코더 장치인 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림이, 소정의 전송 시스템을 통해서, 거치형 TV에 전달된다.
거치형 TV에 내장되어 있는 동화상 트랜스코드 장치(2)가, 동화상 부호화 장치(1)로부터 전달된 전체 영역 비트스트림을 수신하고, 전체 영역 비트스트림으로부터 전체 영역 복호 화상을 복호하는 것에 의해, 전체 영역 복호 화상을 전체 영역 표시 장치(5)에 표시한다.
여기서의 거치형 TV는, 시청자의 태블릿 단말에 대하여, 데이터를 송수신하는 것이 가능하고, 유저가 태블릿 단말을 조작하여, 임의의 표시 영역을 지정하면, 그 표시 영역을 나타내는 표시 영역 정보가 거치형 TV 내의 동화상 트랜스코드 장치(2)에 입력되고, 동화상 트랜스코드 장치(2)가 유저가 지정한 표시 영역의 재생에 필요한 부호화 파라미터 등을 포함하는 부분 영역 비트스트림을 생성하여, 그 부분 영역 비트스트림을 태블릿 단말에 송신한다.
태블릿 단말에는 동화상 복호 장치(6)가 내장되어 있고, 동화상 복호 장치(6)가 동화상 트랜스코드 장치(2)로부터 송신된 부분 영역 비트스트림을 수신하고, 그 부분 영역 비트스트림으로부터 부분 영역 복호 화상을 복호하는 것에 의해, 부분 영역 복호 화상을 부분 영역 표시 장치(7)에 표시한다.
또, 태블릿 단말에서는, 부분 영역 복호 화상을 적당히 확대하여 표시하는 것도 가능하다.
이상에서, 도 1에 나타내는 시스템을 이용하는 것에 의해, 유저는 초고해상도의 TV 영상을 시청하면서, 수중의 태블릿 단말로 임의의 부분 영역을 적당히 확대하여 표시하는 것이 가능하게 된다.
도 2는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치(1)를 나타내는 구성도이다.
도 2에 있어서, 부호화 제어부(11)는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보 등의 정보를 수신하고, GOP에 속하는 픽쳐(입력 화상) 내의 부호화 대상 블록의 사이즈인 부호화 블록 사이즈를 결정하고, 그 부호화 블록 사이즈를 블록 분할부(12)에 출력하는 처리를 실시한다.
또한, 부호화 제어부(11)는 GOP 사이즈 제한 정보, 참조 구조 지정 정보 등에 근거하여, 부호화 파라미터를 결정하는 처리를 실시한다.
즉, 부호화 제어부(11)는 부호화 파라미터로서, 각 부호화 대상 블록의 부호화 모드(인트라 부호화 모드, 인터 부호화 모드, PCM(Pulse Code Modulation) 부호화 모드)나, 예측 파라미터(인트라 예측 파라미터, 인터 예측 파라미터), PCM 부호화 파라미터를 결정하는 처리를 실시한다.
또한, 부호화 제어부(11)는 부호화 파라미터로서, 직교 변환 처리나 양자화 처리 등을 실시할 때에 참조하는 예측 차분 부호화 파라미터를 결정하고, 그 예측 차분 부호화 파라미터를 변환ㆍ양자화부(18), 역 양자화ㆍ역 변환부(19) 및 가변 길이 부호화부(23)에 출력함과 아울러, 부호화 파라미터로서, 필터링 처리를 실시할 때에 참조하는 루프 필터 파라미터를 결정하고, 그 루프 필터 파라미터를 루프 필터부(21) 및 가변 길이 부호화부(23)에 출력하는 처리를 실시한다.
또한, 부호화 제어부(11)는 움직임 벡터 제한 정보를 움직임 보상 예측부(15)에 출력하고, 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)를 가변 길이 부호화부(23)에 출력하는 처리를 실시한다.
블록 분할부(12)는 GOP에 속하는 픽쳐(입력 화상)를 수신할 때마다, 픽쳐를 부호화 제어부(11)에 의해 결정된 부호화 블록 사이즈의 블록으로 분할하여, 예측 처리 단위의 블록인 부호화 대상 블록을 전환 스위치(13) 및 감산부(17)에 출력하는 처리를 실시한다.
전환 스위치(13)는 부호화 제어부(11)에 의해 결정된 부호화 모드가 인트라 부호화 모드이면, 블록 분할부(12)로부터 출력된 부호화 대상 블록을 인트라 예측부(14)에 출력하고, 부호화 제어부(11)에 의해 결정된 부호화 모드가 인터 부호화 모드이면, 블록 분할부(12)로부터 출력된 부호화 대상 블록을 움직임 보상 예측부(15)에 출력하고, 부호화 제어부(11)에 의해 결정된 부호화 모드가 PCM 부호화 모드이면, 블록 분할부(12)로부터 출력된 부호화 대상 블록을 PCM 부호화부(16)에 출력하는 처리를 실시한다.
인트라 예측부(14)는 부호화 제어부(11)에 의해 결정된 인트라 예측 파라미터를 이용하여, 전환 스위치(13)로부터 출력된 부호화 대상 블록에 대한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
움직임 보상 예측부(15)는 전환 스위치(13)로부터 출력된 부호화 대상 블록과 프레임 메모리(22)에 저장되어 있는 루프 필터 처리 후의 국소 복호 화상을 비교하는 것에 의해, 부호화 제어부(11)로부터 출력된 움직임 벡터 제한 정보가 나타내는 최대 범위의 영역 내에서 움직임 벡터를 탐색하고, 그 움직임 벡터와 부호화 제어부(11)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 대상 블록에 대한 인터 예측 처리를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
또, 움직임 보상 예측부(15)는 부호화 파라미터로서, 탐색한 움직임 벡터를 가변 길이 부호화부(23)에 출력하는 처리를 실시한다.
PCM 부호화부(16)는 예측 처리를 실시하지 않고서, 부호화 제어부(11)에 의해 결정된 PCM 부호화 파라미터를 이용하여, 전환 스위치(13)로부터 출력된 부호화 대상 블록에 해당하는 픽쳐(입력 화상) 내의 영역의 화소 데이터를 소정의 비트폭으로 변환하는 것에 의해 PCM 신호(부호화 데이터)를 생성하고, 그 PCM 신호를 가변 길이 부호화부(23)에 출력함과 아울러, 마찬가지로 화소 데이터를 소정의 비트폭으로 변환하는 것에 의해 PCM 화상을 생성하고, 그 PCM 화상을 루프 필터부(21)에 출력하는 처리를 실시한다.
또, 부호화 제어부(11), 블록 분할부(12), 전환 스위치(13), 인트라 예측부(14), 움직임 보상 예측부(15) 및 PCM 부호화부(16)로 예측 화상 생성 수단이 구성되어 있다.
감산부(17)는 블록 분할부(12)에서 출력된 부호화 대상 블록으로부터, 인트라 예측부(14)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(15)에 의해 생성된 인터 예측 화상을 감산하여, 그 감산 결과인 예측 차분 신호(차분 화상)를 변환ㆍ양자화부(18)에 출력하는 처리를 실시한다.
변환ㆍ양자화부(18)는 부호화 제어부(11)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 감산부(17)로부터 출력된 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시하여 변환 계수를 산출함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수(이하, 「양자화 후 계수」라고 칭한다)를 역 양자화ㆍ역 변환부(19) 및 가변 길이 부호화부(23)에 출력하는 처리를 실시한다.
역 양자화ㆍ역 변환부(19)는 부호화 제어부(11)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 변환ㆍ양자화부(18)로부터 출력된 양자화 후 계수를 역 양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 변환 계수에 대한 역 직교 변환 처리를 실시하여, 감산부(17)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출하는 처리를 실시한다.
가산부(20)는 역 양자화ㆍ역 변환부(19)에 의해 산출된 국소 복호 예측 차분 신호가 나타내는 차분 화상과, 인트라 예측부(14)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상 예측부(15)에 의해 생성된 인터 예측 화상을 가산하여, 블록 분할부(12)로부터 출력된 부호화 대상 블록에 상당하는 국소 복호 화상을 산출하는 처리를 실시한다.
루프 필터부(21)는 부호화 제어부(11)로부터 출력된 필터 파라미터에 근거하여, 0종 이상의 필터링 처리를 순차적으로 실시한다. 단, PCM 부호화 모드의 부호화 대상 블록에 대하여 루프 필터 처리를 실시하지 않는 구성으로 되어 있는 경우, PCM 부호화 모드의 부호화 대상 블록에 대해서는 루프 필터 처리를 실시하지 않는다.
프레임 메모리(22)는 루프 필터부(21)에 의한 루프 필터 처리 후의 국소 복호 화상을 저장하는 기록 매체이다.
가변 길이 부호화부(23)는 변환ㆍ양자화부(18)로부터 출력된 양자화 후 계수(부호화 데이터)와, 부호화 제어부(11)로부터 출력된 부호화 모드(인트라 부호화 모드/인터 부호화 모드/PCM 부호화 모드), 예측 파라미터(인트라 예측 파라미터/인터 예측 파라미터)/PCM 부호화 파라미터, 예측 차분 부호화 파라미터 및 필터 파라미터와, 움직임 보상 예측부(15)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)와, PCM 부호화부(16)로부터 출력된 PCM 신호(부호화 데이터)와, 부호화 제어부(11)로부터 출력된 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)를 가변 길이 부호화하여, 그들 부호화 결과를 나타내는 전체 영역 비트스트림을 생성하는 처리를 실시한다.
또, 감산부(17), 변환ㆍ양자화부(18) 및 가변 길이 부호화부(23)로 비트스트림 생성 수단이 구성되어 있다.
도 2에서는, 동화상 부호화 장치(1)의 구성 요소인 부호화 제어부(11), 블록 분할부(12), 전환 스위치(13), 인트라 예측부(14), 움직임 보상 예측부(15), PCM 부호화부(16), 감산부(17), 변환ㆍ양자화부(18), 역 양자화ㆍ역 변환부(19), 가산부(20), 루프 필터부(21) 및 가변 길이 부호화부(23)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 동화상 부호화 장치(1)가 컴퓨터로 구성되어 있더라도 좋다.
동화상 부호화 장치(1)가 컴퓨터로 구성되어 있는 경우, 프레임 메모리(22)를 컴퓨터의 내부 메모리 또는 외부 메모리상에 구성함과 아울러, 부호화 제어부(11), 블록 분할부(12), 전환 스위치(13), 인트라 예측부(14), 움직임 보상 예측부(15), PCM 부호화부(16), 감산부(17), 변환ㆍ양자화부(18), 역 양자화ㆍ역 변환부(19), 가산부(20), 루프 필터부(21) 및 가변 길이 부호화부(23)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 5는 본 발명의 실시의 형태 1에 의한 동화상 부호화 장치(1)의 처리 내용(동화상 부호화 방법)을 나타내는 플로차트이다.
도 3은 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 전체 영역 스트림 복호부(3)를 나타내는 구성도이다.
도 3에 있어서, 가변 길이 부호 복호부(31)는 도 2의 동화상 부호화 장치(1)의 가변 길이 부호화부(23)로부터 출력된 전체 영역 비트스트림을 받으면, 예측 처리 단위의 블록인 복호 대상 블록(부호화 대상 블록)에 관한 부호화 데이터(양자화 후 계수/PCM 신호)와, 부호화 모드(인트라 부호화 모드/인터 부호화 모드/PCM 부호화 모드)와, 인트라 예측 파라미터(부호화 모드가 인트라 부호화 모드인 경우)와, 인터 예측 파라미터(부호화 모드가 인터 부호화 모드인 경우)와, 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)와, PCM 부호화 파라미터(부호화 모드가 PCM 부호화 모드인 경우)와, 예측 차분 부호화 파라미터와, 루프 필터 파라미터와, 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)를 가변 길이 복호하여 출력하는 처리를 실시한다.
전환 스위치(32)는 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인트라 부호화 모드이면, 가변 길이 부호 복호부(31)로부터 출력된 인트라 예측 파라미터를 인트라 예측부(33)에 출력하고, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 인터 부호화 모드이면, 가변 길이 부호 복호부(31)로부터 출력된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(34)에 출력하고, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드가 PCM 부호화 모드이면, 가변 길이 부호 복호부(31)로부터 출력된 PCM 부호화 파라미터 및 PCM 신호를 PCM 복호부(35)에 출력하는 처리를 실시한다.
인트라 예측부(33)는 전환 스위치(32)로부터 출력된 인트라 예측 파라미터를 이용하여, 복호 대상 블록에 대한 인트라 예측 처리를 실시하여 인트라 예측 화상을 생성하는 처리를 실시한다.
움직임 보상부(34)는 프레임 메모리(39)에 저장되어 있는 루프 필터 처리 후의 복호 화상을 참조하면서, 전환 스위치(32)로부터 출력된 움직임 벡터와 인터 예측 파라미터를 이용하여, 복호 대상 블록에 대한 인터 예측 처리를 실시하여 인터 예측 화상을 생성하는 처리를 실시한다.
PCM 복호부(35)는 전환 스위치(32)로부터 출력된 PCM 부호화 파라미터 및 PCM 신호를 이용하여 PCM 화상을 생성하고, 그 PCM 화상을 루프 필터부(38)에 출력하는 처리를 실시한다.
역 양자화ㆍ역 변환부(36)는 가변 길이 부호 복호부(31)로부터 출력된 예측 차분 부호화 파라미터를 참조하여, 가변 길이 부호 복호부(31)로부터 출력된 양자화 후 계수를 역 양자화함과 아울러, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 직교 변환 계수에 대한 역 직교 변환 처리를 실시하여, 복호 예측 차분 신호를 산출하는 처리를 실시한다.
가산부(37)는 역 양자화ㆍ역 변환부(36)에 의해 산출된 복호 예측 차분 신호가 나타내는 차분 화상과, 인트라 예측부(33)에 의해 생성된 인트라 예측 화상, 또는, 움직임 보상부(34)에 의해 생성된 인터 예측 화상을 가산하여, 루프 필터 처리 전의 복호 화상을 생성함과 아울러, 루프 필터 처리 전의 복호 화상을 루프 필터부(38) 및 전체 영역 스트림 복호부(3)의 외부에 출력하는 처리를 실시한다.
루프 필터부(38)는 가변 길이 부호 복호부(31)로부터 출력된 필터 파라미터에 근거하여, 0종 이상의 필터링 처리를 순차적으로 실시한다. 단, PCM 부호화 모드의 복호 대상 블록에 대하여 루프 필터 처리를 실시하지 않는 구성으로 되어 있는 경우, PCM 부호화 모드의 복호 대상 블록에 대해서는 루프 필터 처리를 실시하지 않는다.
프레임 메모리(39)는 루프 필터부(38)에 의한 루프 필터 처리 후의 복호 화상을 저장하는 기록 매체이다.
도 3에서는, 전체 영역 스트림 복호부(3)의 구성 요소인 가변 길이 부호 복호부(31), 전환 스위치(32), 인트라 예측부(33), 움직임 보상부(34), PCM 복호부(35), 역 양자화ㆍ역 변환부(36), 가산부(37) 및 루프 필터부(38)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 전체 영역 스트림 복호부(3)가 컴퓨터로 구성되어 있더라도 좋다.
전체 영역 스트림 복호부(3)가 컴퓨터로 구성되어 있는 경우, 프레임 메모리(39)를 컴퓨터의 내부 메모리 또는 외부 메모리상에 구성함과 아울러, 가변 길이 부호 복호부(31), 전환 스위치(32), 인트라 예측부(33), 움직임 보상부(34), PCM 복호부(35), 역 양자화ㆍ역 변환부(36), 가산부(37) 및 루프 필터부(38)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 6은 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 전체 영역 스트림 복호부(3)의 처리 내용을 나타내는 플로차트이다.
도 4는 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 부분 영역 트랜스코드부(4)를 나타내는 구성도이다.
도 4에 있어서, 트랜스코드 제어부(41)는 전체 영역 스트림 복호부(3)로부터 출력된 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 참조하여, 외부로부터 주어진 표시 영역 정보가 나타내는 픽쳐의 표시 영역으로부터 트랜스코드의 대상이 되는 영역(트랜스코드 대상 영역)을 특정함과 아울러, 그 트랜스코드 대상 영역을 복호할 때에 필요한 영역(트랜스코드시에 부호화 파라미터를 유용할 필요가 있는 영역)인 필수 부호화 영역을 특정하고, 그 트랜스코드 대상 영역을 나타내는 트랜스코드 대상 영역 정보 및 필수 부호화 영역을 나타내는 필수 부호화 영역 정보를 출력하는 처리를 실시한다.
또, 트랜스코드 제어부(41)는, GOP에 속하는 각 픽쳐에 있어서의 필수 부호화 영역의 사이즈가 상이한 경우(예컨대, GOP 사이즈 제한 정보가 나타내는 GOP 사이즈의 최대치가 N이고, 참조 구조 지정 정보가, 각 픽쳐(프레임)를 복호할 때에는, 바로 앞의 픽쳐(프레임)를 참조하는 취지를 나타내고 있는 경우, N개의 픽쳐(프레임)의 필수 부호화 영역 중에서, N번째의 픽쳐(프레임)의 필수 부호화 영역의 사이즈가 가장 작아지고, 1번째의 픽쳐(프레임)의 필수 부호화 영역의 사이즈가 가장 커진다), 예컨대, 사이즈가 가장 큰 필수 부호화 영역을 트랜스코드 대상 영역으로 결정한다. 따라서, 필수 부호화 영역⊆트랜스코드 대상 영역의 관계가 된다.
또한, 트랜스코드 제어부(41)는 트랜스코드 대상 영역 정보에 근거하여 부분 영역 비트스트림의 헤더 정보를 생성하여, 그 헤더 정보를 가변 길이 부호화부(46)에 출력하는 처리를 실시한다.
부호화 파라미터 추출부(42)는 전체 영역 스트림 복호부(3)로부터 출력된 전체 영역의 부호화 데이터 및 부호화 파라미터 중에서, 트랜스코드 제어부(41)로부터 출력된 필수 부호화 영역 정보가 나타내는 필수 부호화 영역에 포함되어 있는 부호화 대상 블록의 부호화 데이터(양자화 후 계수/PCM 신호) 및 부호화 파라미터(부호화 모드(인트라 부호화 모드/인터 부호화 모드/PCM 부호화 모드), 예측 파라미터(인트라 예측 파라미터/인터 예측 파라미터)/PCM 부호화 파라미터, 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터, 루프 필터 파라미터, 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보))를 추출하고, 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 외부 참조 블록 부호화부(43) 및 전환 스위치(45)에 출력하는 처리를 실시한다.
외부 참조 블록 부호화부(43)는 트랜스코드 제어부(41)로부터 출력된 필수 부호화 영역 정보가 나타내는 필수 부호화 영역에 포함되어 있는 부호화 대상 블록(필수 부호화 영역의 경계에 속하고 있는 부호화 대상 블록)이, 필수 부호화 영역의 외부의 화소치를 참조하여 인트라 부호화가 행해지고 있는 외부 참조 블록인 경우, 그 필수 부호화 영역의 외부의 화소치를 예측 참조에 이용하지 않는 부호화 방식으로, 그 부호화 대상 블록의 복호 화상을 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 복호 화상의 부호화에 이용한 부호화 파라미터를 전환 스위치(45)에 출력하는 처리를 실시한다.
예컨대, 필수 부호화 영역의 외부의 화소치를 예측 참조에 이용하지 않는 부호화 방식으로서, 부호화 대상 블록의 화면 가장자리의 화소치를 참조하는 인트라 부호화 방식의 인트라 부호화 모드를 이용하는 경우, 그 인트라 부호화 모드로 인트라 예측 화상을 생성함과 아울러, 전체 영역 스트림 복호부(3)로부터 출력된 루프 필터 처리 전의 전체 영역 복호 화상으로부터 부호화 대상 블록(외부 참조 블록)의 복호 화상을 추출한다. 그리고, 그 부호화 대상 블록의 복호 화상과 상기 인트라 예측 화상의 차분 화상을 압축 부호화하여, 그 부호화 결과인 부호화 데이터(양자화 후 계수)와 상기 인트라 예측 화상을 생성할 때에 이용한 인트라 예측 파라미터(부호화 파라미터)를 전환 스위치(45)에 출력한다.
또한, 필수 부호화 영역의 외부의 화소치를 예측 참조에 이용하지 않는 부호화 방식으로서, PCM 부호화 모드를 이용하는 경우, 전체 영역 스트림 복호부(3)로부터 출력된 루프 필터 처리 전의 전체 영역 복호 화상으로부터 부호화 대상 블록(외부 참조 블록)의 복호 화상을 추출한다. 그리고, 그 복호 화상을 PCM 부호화하여, 그 부호화 결과인 PCM 신호와, 복호 화상의 PCM 부호화에 이용한 PCM 부호화 파라미터(부호화 파라미터)를 전환 스위치(45)에 출력한다.
불요 블록 부호화부(44)는 필수 부호화 영역의 외부에 있고, 트랜스코드 대상 영역의 내부에 있는 부호화 대상 블록(불요 블록)에 대해서는, 예컨대, 인터 부호화 방식에 있어서의 스킵 모드로 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 부호화 대상 블록의 부호화에 이용한 부호화 파라미터를 전환 스위치(45)에 출력하는 처리를 실시한다.
여기서는, 인터 부호화 방식에 있어서의 스킵 모드로 부호화하고, 스킵 모드에서의 부호화에 이용한 부호화 파라미터를 전환 스위치(45)에 출력하는 예를 나타내고 있지만, 이것에 한하는 것이 아니고, 미리 설정되어 있는 더미의 파라미터를 전환 스위치(45)에 출력하도록 하더라도 좋다.
전환 스위치(45)는 트랜스코드 제어부(41)로부터 출력된 트랜스코드 대상 영역 정보 및 필수 부호화 영역 정보를 참조하여, 필수 부호화 영역에 포함되어 있는 부호화 대상 블록이 외부 참조 블록이 아니면, 부호화 파라미터 추출부(42)로부터 출력된 부호화 데이터 및 부호화 파라미터를 선택하고, 필수 부호화 영역에 포함되어 있는 부호화 대상 블록이 외부 참조 블록이면, 외부 참조 블록 부호화부(43)로부터 출력된 부호화 데이터 및 부호화 파라미터를 선택하고, 부호화 대상 블록이 불요 블록이면, 불요 블록 부호화부(44)로부터 출력된 부호화 데이터 및 부호화 파라미터를 선택하고, 그 선택한 부호화 데이터 및 부호화 파라미터를 가변 길이 부호화부(46)에 출력하는 처리를 실시한다.
가변 길이 부호화부(46)는 전환 스위치(45)로부터 출력된 부호화 데이터 및 부호화 파라미터를 가변 길이 부호화하여, 그들 부호화 결과를 나타내는 부분 영역 비트스트림을 생성함과 아울러, 트랜스코드 제어부(41)로부터 출력된 부분 영역 비트스트림의 헤더 정보를 해당 부분 영역 비트스트림에 다중화하여, 헤더 정보 다중화 후의 부분 영역 비트스트림(소정의 부호화 코덱에 준거하고 있는 부분 영역 스트림)을 출력하는 처리를 실시한다.
도 4에서는, 부분 영역 트랜스코드부(4)의 구성 요소인 트랜스코드 제어부(41), 부호화 파라미터 추출부(42), 외부 참조 블록 부호화부(43), 불요 블록 부호화부(44), 전환 스위치(45) 및 가변 길이 부호화부(46)의 각각이 전용 하드웨어(예컨대, CPU를 실장하고 있는 반도체 집적 회로, 혹은, 원 칩 마이크로컴퓨터 등)로 구성되어 있는 것을 상정하고 있지만, 부분 영역 트랜스코드부(4)가 컴퓨터로 구성되어 있더라도 좋다.
부분 영역 트랜스코드부(4)가 컴퓨터로 구성되어 있는 경우, 트랜스코드 제어부(41), 부호화 파라미터 추출부(42), 외부 참조 블록 부호화부(43), 불요 블록 부호화부(44), 전환 스위치(45) 및 가변 길이 부호화부(46)의 처리 내용을 기술하고 있는 프로그램을 컴퓨터의 메모리에 저장하고, 해당 컴퓨터의 CPU가 해당 메모리에 저장되어 있는 프로그램을 실행하도록 하면 된다.
도 7은 본 발명의 실시의 형태 1에 의한 동화상 트랜스코드 장치(2)의 부분 영역 트랜스코드부(4)의 처리 내용을 나타내는 플로차트이다.
다음으로 동작에 대하여 설명한다.
도 2의 동화상 부호화 장치(1)는, 인트라 예측 부호화/인터 예측 부호화/PCM 부호화에 의해, 입력 화상을 압축 부호화하는 부호화 방식을 채용하고 있고, 인터 예측 부호화를 행하는 경우에는, 외부로부터 주어지는 움직임 벡터 제한 정보에 의해, 움직임 벡터의 최대치를 제한(움직임 벡터의 탐색 범위를 제한)하는 것을 특징으로 한다.
또한, 부호화 모드(인트라 부호화 모드/인터 부호화 모드/PCM 부호화 모드)나 부호화 파라미터(인트라 예측 파라미터/인터 예측 파라미터/PCM 부호화 파라미터)를 결정할 때에 베이스가 되는 GOP 사이즈나 참조 구조를 특정한 패턴으로 제한하고, 그 제한 정보를 나타내는 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)를 전체 영역 비트스트림에 다중화하는 것을 특징으로 한다.
화상 부호화 처리에서는, 일반적인 화상은 시공간적으로 근접하는 영역과 화상 특징에 높은 상관이 있는 것을 이용하여 압축 효율을 높이고 있다. 인터 부호화(프레임간 참조 부호화)에서는, 상기의 특징을 이용하여, 시간적으로 근방의 부호화 완료 프레임에 있어서의 공간적으로 가까운 영역을 참조하여 화상 특징을 예측하는 것에 의해 압축 효율을 높이고 있다.
이때, 프레임간에서 화상 내의 오브젝트가 이동하는 경우가 있기 때문에, 상관이 높은 영역을 탐색하고, 예측 대상 영역과 상관이 높은 영역의 위상차를 움직임 벡터라고 하는 정보로 나타내고, 오브젝트의 이동을 흡수하는 처리(움직임 보상 예측 처리)를 실시한다.
따라서, 부호화된 스트림으로부터, 특정한 프레임의 특정한 한정된 영역만을 복호하고 싶은 경우에도, 해당 프레임이 참조하고 있는 프레임에 있어서, 움직임 벡터가 가리키는 곳의 영역도 복호할 필요가 있다.
프레임간 참조에 의해 복호된 프레임이 다음의 프레임에서 참조되는 일도 있기 때문에, 어느 프레임의 복호 화상의 어느 영역의 정보는, 프레임간 참조에 있어서의 다음의 프레임보다 넓은 범위의 영역으로 전파하여 가는 경우가 있다. 예컨대, 움직임 벡터의 최대치에 제한이 마련되어 있지 않은 경우에는, 복호 화상 정보의 전파 범위는 사실상 무제한하게 퍼질 가능성이 있다.
본 실시의 형태 1의 동화상 부호화 장치(1)에서는, 움직임 벡터, GOP 사이즈나 참조 구조에 일정한 제한을 마련하는 것에 의해, 복호 화상 정보의 전파를 일정 범위로 억제하고, 또한, 이들 제한 정보를 힌트 정보로서 복호측에 전송하는 것을 가능하게 하는 구성을 취하고 있다.
도 1의 동화상 부호화 장치(1)가 처리 대상으로 하는 영상 신호 포맷은, 휘도 신호와 2개의 색차 신호로 이루어지는 YUV 신호나, 디지털 촬상 소자로부터 출력되는 RGB 신호 등의 임의의 색공간의 컬러 영상 신호 외에, 모노크롬 화상 신호나 적외선 화상 신호 등, 영상 프레임이 수평ㆍ수직 2차원의 디지털 샘플(화소)열로 구성되는 임의의 영상 신호로 한다.
단, 각 화소의 계조는, 8비트이더라도 좋고, 10비트나 12비트 등의 계조이더라도 좋다.
이하의 설명에서는, 편의상, 특별히 언급하지 않는 한, 입력 화상의 영상 신호는 YUV 신호인 것으로 하고, 또한, 2개의 색차 성분 U, V가 휘도 성분 Y에 대하여, 서브샘플된 4:2:0 포맷의 신호를 취급하는 경우에 대하여 말한다.
또한, 영상 신호의 각 프레임에 대응하는 처리 데이터 단위를 「픽쳐」라고 칭한다.
본 실시의 형태 1에서는, 「픽쳐」는 순차적으로 주사(프로그레시브 스캔)된 영상 프레임 신호로서 설명을 행하지만, 영상 신호가 인터레이스 신호인 경우, 「픽쳐」는 영상 프레임을 구성하는 단위인 필드 화상 신호이더라도 좋다.
이하, 동화상 부호화 장치(1)의 처리 내용을 설명한다.
부호화 제어부(11)는, 소정의 최대 부호화 블록(CTU, 매크로 블록) 사이즈의 화상 영역마다, 소정의 분할 계층수의 상한에 이를 때까지, 계층적으로 부호화 블록 사이즈를 갖는 부호화 대상 블록으로 분할하여, 각 부호화 대상 블록에 대한 부호화 모드를 결정한다(도 5의 스텝 ST1).
여기서, 도 8은 최대 부호화 블록이 계층적으로 복수의 부호화 대상 블록으로 분할되는 예를 나타내는 설명도이다.
도 8에 있어서, 최대 부호화 블록은, 「제 0 계층」이라고 기록되어 있는 휘도 성분이 (L0, M0)의 사이즈를 갖는 부호화 대상 블록이다.
CTU 사이즈의 블록을 출발점으로 하여, 쿼드트리 구조에서 별도로 정하는 소정의 깊이까지, 계층적으로 분할을 행하는 것에 의해 부호화 대상 블록을 얻도록 하고 있다.
깊이 n에 있어서는, 부호화 대상 블록은 사이즈 (Ln, Mn)의 화상 영역이다.
단, Ln과 Mn은, 동일하더라도 좋고, 상이하더라도 좋지만, 도 8에서는, Ln=Mn의 케이스를 나타내고 있다.
이후, 부호화 제어부(11)에 의해 결정되는 부호화 블록 사이즈는, 부호화 대상 블록의 휘도 성분에 있어서의 사이즈 (Ln, Mn)으로 정의한다.
쿼드트리 분할을 행하기 위해, 항상, (Ln+1, Mn+1)=(Ln/2, Mn/2)이 성립한다.
또, RGB 신호 등, 모든 색성분이 동일 샘플수를 갖는 컬러 영상 신호(4:4:4 포맷)에서는, 모든 색성분의 사이즈가 (Ln, Mn)이 되지만, 4:2:0 포맷을 취급하는 경우, 대응하는 색차 성분의 부호화 블록 사이즈는 (Ln/2, Mn/2)이 된다.
이후, 제 n 계층의 부호화 대상 블록을 Bn으로 나타내고, 부호화 대상 블록 Bn에서 선택 가능한 부호화 모드를 m(Bn)으로 나타내는 것으로 한다.
복수의 색성분으로 이루어지는 컬러 영상 신호의 경우, 부호화 모드 m(Bn)은, 색성분마다, 각각 개별 모드를 이용하도록 구성되더라도 좋고, 모든 색성분에 대하여, 공통 모드를 이용하도록 구성되더라도 좋다. 이후, 특별히 언급하지 않는 한, YUV 신호, 4:2:0 포맷의 부호화 블록의 휘도 성분에 대한 부호화 모드를 가리키는 것으로서 설명을 행한다.
부호화 모드 m(Bn)에는, 1개 내지 복수의 인트라 부호화 모드(총칭하여 「INTRA」라고 칭한다)와, 1개 내지 복수의 인터 부호화 모드(총칭하여, 「INTER」라고 칭한다)와, 1개 내지 복수의 PCM 부호화 모드가 있고, 부호화 제어부(11)는, 해당 픽쳐의 픽쳐 타입에서 이용 가능한 모든 부호화 모드, 또는, 그 서브셋 중에서, 부호화 대상 블록 Bn에 대한 부호화 모드를 선택한다.
또한, 부호화 대상 블록 Bn은, 도 9에 나타내는 바와 같이, 블록 분할부(12)에 의해, 1개 내지 복수의 예측 처리 단위(파티션)로 분할된다.
이후, 부호화 대상 블록 Bn에 속하는 파티션을 Pi n(i는, 제 n 계층에 있어서의 파티션 번호)으로 표기한다.
부호화 대상 블록 Bn의 파티션 분할이, 어떻게 이루어져 있는지는, 부호화 모드 m(Bn) 내에 정보로서 포함된다.
파티션 Pi n은, 모두 부호화 모드 m(Bn)에 따라 예측 처리가 행해지지만, 부호화 대상 블록 Bn 내지 파티션 Pi n마다, 예측 파라미터가 선택된다.
부호화 제어부(11)는, 최대 부호화 블록에 대하여, 예컨대, 도 9에 나타내는 바와 같은 블록 분할 상태를 생성하여, 부호화 대상 블록을 특정한다.
도 9a의 사선 부분은, 분할 후의 파티션의 분포를 나타내고 있고, 도 9b는 계층 분할에 의해 부호화 모드 m(Bn)이 할당되는 상황을 쿼드트리 그래프로 나타내고 있다.
도 9b의 □로 둘러싸여 있는 노드는, 부호화 모드 m(Bn)이 할당된 노드(부호화 대상 블록)이다.
또한, 부호화 제어부(11)는, 외부로부터 주어진 움직임 벡터 제한 정보를 움직임 보상 예측부(15)에 출력한다.
움직임 벡터 제한 정보는, 움직임 벡터의 길이의 최대치를 제한하는 것에 의해, 어느 프레임의 복호 화상의 일부 영역의 정보가, 참조 관계에서 다음의 프레임의 어느 영역까지 전파하는지를 제한하는 기능을 실현하기 위한 정보이다. 이 움직임 벡터 제한 정보는, 모든 프레임에서 고정된 값으로 하더라도 좋고, 프레임마다 상이한 값으로 하더라도 좋다.
또한, 부호화 제어부(11)는, 결정한 부호화 모드, 예측 차분 신호 파라미터, 인트라 예측 파라미터, 인터 예측 파라미터, PCM 부호화 파라미터, 루프 필터 파라미터를 가변 길이 부호화부(23)에 출력한다.
또한, 외부로부터 주어진 움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보를 가변 길이 부호화부(23)에 출력한다.
또, 부호화 제어부(11)의 처리는, 동화상 부호화 장치(1)에 입력되는 각 픽쳐에 대하여 실시된다. 픽쳐의 타입, 픽쳐간 참조의 구조 등은, 외부로부터 주어지는 참조 구조 지정 정보, GOP 사이즈 제한 정보나, 그 외의 부호화 제어 정보에 따라 부호화 제어부(11)의 내부에서 제어되고, 이들 픽쳐 타입 정보에 따라 상기와 같이 부호화 모드ㆍ부호화 파라미터의 결정이 행해진다.
픽쳐 타입이 I 픽쳐인 경우, 부호화 모드가 인트라 부호화 모드 또는 PCM 부호화 모드로 한정된다.
또한, 픽쳐 타입이 B 픽쳐 또는 P 픽쳐인 경우, 부호화 모드가 인트라 부호화 모드, 인터 부호화 모드 또는 PCM 부호화 모드로 결정된다.
또한, 픽쳐 타입이 B 픽쳐 또는 P 픽쳐인 경우, 그 외의 부호화 제어 정보에 따라, 인트라 부호화 모드의 사용의 제한이나, 모든 픽쳐에 대한 PCM 부호화 모드의 사용을 제한하도록 제어하는 것도 가능하다.
전환 스위치(13)는, 부호화 제어부(11)에 의해 결정된 부호화 모드 m(Bn)이 인트라 부호화 모드인 경우(m(Bn)∈INTRA의 경우), 블록 분할부(12)로부터 출력된 부호화 대상 블록 Bn을 인트라 예측부(14)에 출력한다(스텝 ST2).
전환 스위치(13)는, 부호화 제어부(11)에 의해 결정된 부호화 모드 m(Bn)이 인터 부호화 모드인 경우(m(Bn)∈INTER의 경우), 블록 분할부(12)로부터 출력된 부호화 대상 블록 Bn을 움직임 보상 예측부(15)에 출력한다(스텝 ST3).
또한, 전환 스위치(13)는, 부호화 제어부(11)에 의해 결정된 부호화 모드 m(Bn)이 PCM 부호화 모드인 경우, 블록 분할부(12)로부터 출력된 부호화 대상 블록 Bn을 PCM 부호화부(16)에 출력한다(스텝 ST3).
인트라 예측부(14)는, 부호화 제어부(11)에 의해 결정된 부호화 모드 m(Bn)이 인트라 부호화 모드이고(m(Bn)∈INTRA의 경우), 전환 스위치(13)로부터 부호화 대상 블록 Bn을 받으면, 부호화 제어부(11)에 의해 결정된 인트라 예측 파라미터를 이용하여, 그 부호화 대상 블록 Bn 내의 각 파티션 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성한다(스텝 ST4).
움직임 보상 예측부(15)는, 부호화 제어부(11)에 의해 결정된 부호화 모드 m(Bn)이 인터 부호화 모드이고(m(Bn)∈INTER의 경우), 전환 스위치(13)로부터 부호화 대상 블록 Bn을 받으면, 그 부호화 대상 블록 Bn 내의 각 파티션 Pi n과, 프레임 메모리(22)에 저장되어 있는 움직임 보상 예측 참조 화상(루프 필터 처리를 실시한 후의 다른 프레임의 국소 복호 화상)을 비교하여 움직임 벡터를 탐색한다.
단, 움직임 벡터를 탐색할 때, 움직임 벡터의 길이가, 부호화 제어부(11)로부터 출력되는 움직임 벡터 제한 정보가 나타내는 최대치를 넘지 않도록 제한한다(움직임 벡터 제한 정보가 나타내는 최대 범위의 영역 내에서 움직임 벡터를 탐색한다).
또, 움직임 벡터 제한 정보가 나타내는 최대치는, 모든 프레임에서 고정이더라도 좋고, 프레임마다 상이하더라도 좋다.
또한, 커런트(current) 프레임과 참조처 프레임의 조합마다 변화시키더라도 좋다. 예컨대, 커런트 프레임의 POC(Picture Order Count : 시계열순으로 프레임마다 1 카운트업하는 카운터값)와 참조처 프레임의 POC의 차분 절대치에 비례하도록, 움직임 벡터의 최대치를 지정하더라도 좋다. 일반적으로, 프레임간의 POC의 차분이 커질수록, 프레임간의 움직임량도 커지기 때문에, 상기와 같은 룰로 최대치를 지정하는 것은 합리적이다.
이와 같이, 어떠한 룰로 움직임 벡터의 최대치를 지정하고 있는지를 알리는 정보도 아울러 움직임 벡터 제한 정보에 포함시키더라도 좋다.
움직임 보상 예측부(15)는, 움직임 벡터를 탐색하면, 그 움직임 벡터와 부호화 제어부(11)에 의해 결정된 인터 예측 파라미터를 이용하여, 그 부호화 대상 블록 Bn 내의 각 파티션 Pi n에 대한 인터 예측 처리를 실시하여, 인터 예측 화상 PINTERi n을 생성한다(스텝 ST5).
PCM 부호화부(16)는, 부호화 제어부(11)에 의해 결정된 부호화 모드 m(Bn)이 PCM 부호화 모드이고, 전환 스위치(13)로부터 부호화 대상 블록 Bn을 받으면, 부호화 제어부(11)로부터 출력된 PCM 부호화 파라미터에 근거하여, 부호화 대상 블록 Bn에 포함되어 있는 화소에 대하여 화소 계조의 저감 처리를 실시하고, 계조를 저감한 화소치를 PCM 신호로서 가변 길이 부호화부(23)에 출력한다(스텝 ST6).
또한, PCM 부호화부(16)는, 계조를 저감한 후에, 다시 원래의 계조로 되돌린 화소치를 PCM 화상(PCM 부호화 모드에 있어서의 국소 복호 화상)으로서 루프 필터부(21)에 출력한다.
또, PCM 부호화 파라미터가 계조 저감을 행하지 않는 취지를 나타내고 있는 경우에는, 화소 계조의 저감 처리를 실시하지 않으므로, 부호화 대상 블록 Bn의 화소치를 열화 없이 부호화할 수 있다.
감산부(17)는, 블록 분할부(12)로부터 부호화 대상 블록 Bn을 받으면, 그 부호화 대상 블록 Bn 내의 파티션 Pi n으로부터, 인트라 예측부(14)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(15)에 의해 생성된 인터 예측 화상 PINTERi n을 감산하여, 그 감산 결과인 예측 차분 신호를 변환ㆍ양자화부(18)에 출력한다(스텝 ST7).
변환ㆍ양자화부(18)는, 감산부(17)로부터 예측 차분 신호를 받으면, 부호화 제어부(11)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 예측 차분 신호에 대한 직교 변환 처리(예컨대, DCT(이산 코사인 변환)나, 미리 특정한 학습 계열에 대하여 기저 설계가 이루어져 있는 KL 변환 등의 직교 변환 처리)를 실시하여, 그 변환 계수를 산출한다.
또한, 변환ㆍ양자화부(18)는, 그 예측 차분 부호화 파라미터를 참조하여, 그 변환 계수를 양자화하고, 양자화 후의 변환 계수인 양자화 후 계수를 역 양자화ㆍ역 변환부(19) 및 가변 길이 부호화부(23)에 출력한다(스텝 ST8).
역 양자화ㆍ역 변환부(19)는, 변환ㆍ양자화부(18)로부터 양자화 후 계수를 받으면, 부호화 제어부(11)에 의해 결정된 예측 차분 부호화 파라미터를 참조하여, 그 양자화 후 계수를 역 양자화한다.
또한, 역 양자화ㆍ역 변환부(19)는, 그 예측 차분 부호화 파라미터를 참조하여, 역 양자화 후의 변환 계수에 대한 역 직교 변환 처리(예컨대, 역 DCT, 역 KL 변환 등)를 실시하여, 감산부(17)로부터 출력된 예측 차분 신호에 상당하는 국소 복호 예측 차분 신호를 산출한다(스텝 ST9).
가산부(20)는, 역 양자화ㆍ역 변환부(19)로부터 국소 복호 예측 차분 신호를 받으면, 그 국소 복호 예측 차분 신호가 나타내는 차분 화상과, 인트라 예측부(14)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상 예측부(15)에 의해 생성된 인터 예측 화상 PINTERi n을 가산하여, 국소 복호 파티션 화상, 혹은, 그 국소 복호 파티션 화상의 집합으로서, 블록 분할부(12)로부터 출력된 부호화 대상 블록 Bn에 상당하는 국소 복호 화상을 산출한다(스텝 ST10).
루프 필터부(21)는, 모든 부호화 대상 블록 Bn에 대한 스텝 ST2~ST10의 처리가 완료되면(스텝 ST11, ST12), 가산부(20)로부터 출력되는 국소 복호 화상(루프 필터 처리 전의 국소 복호 화상)을 이용하여, 부호화 제어부(11)로부터 출력된 루프 필터 파라미터에 근거하여, 0종 이상의 루프 필터 처리를 실시하고, 루프 필터 처리 후의 국소 복호 화상을 프레임 메모리(22)에 출력한다(스텝 ST13).
또, PCM 부호화 모드의 부호화 대상 블록 Bn에 대하여 루프 필터 처리를 실시하지 않는 구성으로 되어 있는 경우, PCM 부호화 모드의 부호화 대상 블록 Bn에 대해서는 루프 필터 처리를 실시하지 않는다.
가변 길이 부호화부(23)는, 변환ㆍ양자화부(18)로부터 출력된 양자화 후 계수(부호화 데이터)와, 부호화 제어부(11)로부터 출력된 부호화 모드 m(Bn)과, 예측 파라미터(인트라 예측 파라미터/인터 예측 파라미터)/PCM 부호화 파라미터와, 예측 차분 부호화 파라미터 및 필터 파라미터와, 움직임 보상 예측부(15)로부터 출력된 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우)와, PCM 부호화부(16)로부터 출력된 PCM 신호(부호화 데이터)와, 부호화 제어부(11)로부터 출력된 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)를 가변 길이 부호화하여, 그들 부호화 결과를 나타내는 전체 영역 비트스트림을 생성한다(스텝 ST14).
다음으로, 동화상 트랜스코드 장치(2)의 전체 영역 스트림 복호부(3)의 처리 내용을 설명한다.
가변 길이 부호 복호부(31)는, 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림을 수신하면, 도 2의 부호화 제어부(11)와 동일한 방법으로, 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 결정한다.
전체 영역 비트스트림 내에, 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 나타내는 정보가 다중화되어 있는 경우에는, 그 정보를 복호하는 것에 의해, 최대 부호화 블록 사이즈 및 분할 계층수의 상한을 결정하도록 하더라도 좋다.
다음으로, 가변 길이 부호 복호부(31)는, 전체 영역 비트스트림에 다중화되어 있는 최대 부호화 블록에 할당되어 있는 부호화 모드를 복호하고, 그 부호화 모드에 포함되어 있는 최대 부호화 블록의 분할 상태를 나타내는 정보(타일 분할 제어 정보)를 복호한다(도 6의 스텝 ST21).
또한, 가변 길이 부호 복호부(31)는, 최대 부호화 블록의 분할 상태를 나타내는 정보를 복호하면, 최대 부호화 블록의 분할 상태에 근거하여, 계층적으로 분할되어 있는 복호 대상 블록(부호화 대상 블록)을 특정한다.
또한, 가변 길이 부호 복호부(31)는, 복호 대상 블록의 분할 상태에 근거하여, 그 복호 대상 블록을 1개 내지 복수의 예측 처리 단위로 더 분할하고, 부호화 대상 블록 단위 또는 예측 처리 단위로 할당되어 있는 부호화 파라미터를 복호한다(스텝 ST21).
가변 길이 부호 복호부(31)는, 복호 대상 블록(부호화 대상 블록)에 할당되어 있는 부호화 모드가 인트라 부호화 모드인 경우, 그 복호 대상 블록에 포함되어 있는 1개 이상의 파티션마다 인트라 예측 파라미터를 복호한다(스텝 ST21).
또한, 복호 대상 블록에 할당되어 있는 부호화 모드가 인터 부호화 모드인 경우, 복호 대상 블록마다, 혹은, 그 복호 대상 블록에 포함되어 있는 1개 이상의 파티션마다 인터 예측 파라미터를 복호한다(스텝 ST21).
또한, 복호 대상 블록에 할당되어 있는 부호화 모드가 PCM 부호화 모드인 경우, 복호 대상 블록에 할당되어 있는 PCM 신호 및 PCM 부호화 파라미터를 복호한다(스텝 ST21).
또한, 가변 길이 부호 복호부(31)는, 복호 대상 블록에 할당되어 있는 부호화 모드가 인트라 부호화 모드 또는 인터 부호화 모드인 경우, 부호화 파라미터에 포함되어 있는 예측 차분 부호화 파라미터 내의 변환 블록 사이즈의 정보에 근거하여, 예측 처리 단위가 되는 파티션을 변환 처리 단위가 되는 1개 내지 복수의 파티션으로 분할하고, 변환 처리 단위가 되는 파티션마다 양자화 후 계수를 복호한다(스텝 ST21).
또한, 가변 길이 부호 복호부(31)는, 전체 영역 비트스트림에 다중화되어 있는 필터 파라미터를 복호하여, 그 필터 파라미터를 루프 필터부(38)에 출력한다(스텝 ST21).
또, 가변 길이 부호 복호부(31)는, 복호한 모든 부호화 파라미터(부호화 모드, 인트라 예측 파라미터, 인터 예측 파라미터, PCM 부호화 파라미터, 움직임 벡터, 예측 차분 부호화 파라미터, 루프 필터 파라미터)와, 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)와, 부호화 데이터(양자화 후 계수, PCM 신호)를 도 4의 부분 영역 트랜스코드부(4)에 출력한다.
전환 스위치(32)는, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인트라 부호화 모드이면(m(Bn)∈INTRA의 경우), 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 인트라 예측 파라미터를 인트라 예측부(33)에 출력한다(스텝 ST22).
전환 스위치(32)는, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인터 부호화 모드이면(m(Bn)∈INTER의 경우), 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 인터 예측 파라미터 및 움직임 벡터를 움직임 보상부(34)에 출력한다(스텝 ST23).
또한, 전환 스위치(32)는, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 PCM 부호화 모드이면, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 PCM 신호 및 PCM 부호화 파라미터를 PCM 복호부(35)에 출력한다(스텝 ST23).
인트라 예측부(33)는, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인트라 부호화 모드이고(m(Bn)∈INTRA의 경우), 전환 스위치(32)로부터 인트라 예측 파라미터를 받으면, 도 2의 인트라 예측부(14)와 동일한 순서로, 그 인트라 예측 파라미터를 이용하여, 복호 대상 블록 Bn 내의 각 파티션 Pi n에 대한 인트라 예측 처리를 실시하여, 인트라 예측 화상 PINTRAi n을 생성하고, 그 인트라 예측 화상 PINTRAi n을 가산부(37)에 출력한다(스텝 ST24).
움직임 보상부(34)는, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 인터 부호화 모드이고(m(Bn)∈INTER의 경우), 전환 스위치(32)로부터 인터 예측 파라미터 및 움직임 벡터를 받으면, 프레임 메모리(39)에 저장되어 있는 루프 필터 처리 후의 복호 화상을 참조하면서, 그 움직임 벡터와 인터 예측 파라미터를 이용하여, 복호 대상 블록 Bn 또는 파티션 Pi n에 대한 인터 예측 처리를 실시하여 인터 예측 화상 PINTERi n을 생성하고, 그 인터 예측 화상 PINTERi n을 가산부(37)에 출력한다(스텝 ST25).
PCM 복호부(35)는, 가변 길이 부호 복호부(31)에 의해 가변 길이 복호된 부호화 모드 m(Bn)이 PCM 부호화 모드이고, 전환 스위치(32)로부터 PCM 신호 및 PCM 부호화 파라미터를 받으면, 그 PCM 부호화 파라미터에 근거하여, 복호 대상 블록 Bn의 각 화소에 대응하는 PCM 신호의 계조를 복호 화상의 계조로 복원하는 처리를 실시하고, 복원된 복호 대상 블록 Bn의 루프 필터 처리 전의 복호 화상을 루프 필터부(38)에 출력한다(스텝 ST26). 또한, 루프 필터 처리 전의 복호 화상을 도 4의 부분 영역 트랜스코드부(4)에 출력한다.
역 양자화ㆍ역 변환부(36)는, 가변 길이 부호 복호부(31)로부터 양자화 후 계수 및 예측 차분 부호화 파라미터를 받으면, 도 2의 역 양자화ㆍ역 변환부(19)와 동일한 순서로, 그 예측 차분 부호화 파라미터를 참조하여, 그 양자화 후 계수를 역 양자화함과 아울러, 역 양자화 후의 변환 계수에 대한 역 직교 변환 처리를 실시하여, 도 2의 감산부(17)로부터 출력된 예측 차분 신호에 상당하는 복호 예측 차분 신호를 산출하고, 그 복호 예측 차분 신호를 가산부(37)에 출력한다(스텝 ST27).
가산부(37)는, 역 양자화ㆍ역 변환부(36)에 의해 산출된 복호 예측 차분 신호가 나타내는 차분 화상과, 인트라 예측부(33)에 의해 생성된 인트라 예측 화상 PINTRAi n, 또는, 움직임 보상부(34)에 의해 생성된 인터 예측 화상 PINTERi n을 가산하여, 복호 대상 블록 내에 포함되는 1개 내지 복수의 복호 파티션 화상의 집합으로서, 복호 화상을 루프 필터부(38)에 출력한다(스텝 ST28). 또한, 루프 필터 처리 전의 복호 화상을 도 4의 부분 영역 트랜스코드부(4)에 출력한다.
루프 필터부(38)는, 픽쳐 내의 모든 부호화 대상 블록 Bn에 대한 스텝 ST21~ST28의 처리가 완료되면(스텝 ST29, ST30), 가변 길이 부호 복호부(31)로부터 출력된 필터 파라미터에 근거하여, 가산부(37) 또는 PCM 복호부(35)로부터 출력된 루프 필터 처리 전의 복호 화상에 대하여, 0종 이상의 루프 필터 처리를 실시하고, 루프 필터 처리 후의 복호 화상을 프레임 메모리(39)에 저장한다(스텝 ST31).
또, 루프 필터 처리 후의 복호 화상은, 동화상 트랜스코드 장치(2)의 외부에 출력하도록 하더라도 좋다.
다음으로, 동화상 트랜스코드 장치(2)의 부분 영역 트랜스코드부(4)의 처리 내용을 설명한다.
트랜스코드 제어부(41)는, 도 3의 전체 영역 스트림 복호부(3)로부터 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보)를 받으면, 그 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 참조하여, 외부로부터 주어진 표시 영역 정보가 나타내는 픽쳐의 표시 영역으로부터 트랜스코드의 대상이 되는 영역(트랜스코드 대상 영역)을 특정함과 아울러, 그 트랜스코드 대상 영역을 복호할 때에 필요한 영역(전체 영역 복호 화상과 동일한 또는 가까운 복호가 보증되는 영역으로서, 트랜스코드시에 부호화 파라미터를 유용할 필요가 있는 영역)인 필수 부호화 영역을 특정하고, 그 트랜스코드 대상 영역을 나타내는 트랜스코드 대상 영역 정보 및 필수 부호화 영역을 나타내는 필수 부호화 영역 정보를 출력한다(도 7의 스텝 ST41).
또, GOP에 속하는 각 픽쳐에 있어서의 필수 부호화 영역의 사이즈가 상이한 경우, 예컨대, 사이즈가 가장 큰 필수 부호화 영역을 각 픽쳐에서 공통의 트랜스코드 대상 영역으로 결정한다.
이하, 트랜스코드 제어부(41)에 의한 트랜스코드 대상 영역 정보 및 필수 부호화 영역의 특정 처리를 구체적으로 설명한다.
동화상 복호 처리에 있어서는, 움직임 보상 예측 처리를 실시하는 것에 의해 얻어지는 예측 화상(복호 완료 프레임을 참조하면서, 움직임 벡터에 근거하여 정해지는 위치의 화상)과 예측 차분 신호를 가산하는 것에 의해 복호 화상을 생성하는 처리를 실시한다.
여기서, GOP의 선두의 프레임인 랜덤 액세스 포인트 프레임을 F1로 하고, 프레임 Fn을 참조하고 있는 프레임을 Fn +1로 하면, 프레임 Fn에 있어서의 복호 대상의 영역이 부분 영역 Pn인 경우, 프레임 Fn -1에서는, 프레임 Fn의 부분 영역 Pn이 참조하고 있는 프레임 Fn -1의 부분 영역 Pn -1의 전부를 복호 대상 영역으로 할 필요가 있다.
이때, 움직임 보상 예측 처리에서의 프레임간 참조는, 프레임 Fn이 프레임 Fn -1을 참조하고, 프레임 Fn -1이 프레임 Fn -2를 참조하고, 아무것도 참조하지 않는 프레임인 F1에 도달할 때까지 GOP 내에서 다단적으로 실행되기 때문에, 프레임간의 의존 관계는 프레임 F1로부터 프레임 Fn까지 전파하여 가게 된다.
이 때문에, GOP 내의 참조 구조에서, 최종단에 속하는 프레임 FN의 부분 영역 PN을 올바르게 복호하기 위해서는, 상기 의존 관계의 전파에 근거하는, 프레임 F1로부터 프레임 FN까지의 부분 영역 P1로부터 PN을 복호 대상 영역으로 할 필요가 있다.
만일, 동화상 트랜스코드 장치(2)가, 도 2의 동화상 부호화 장치(1)로부터 출력된 전체 영역 비트스트림이 아닌, 움직임 벡터ㆍGOP 사이즈ㆍ참조 구조로 제한이 걸려 있지 않은 비트스트림을 처리하는 경우에는, 프레임 Fn의 부분 영역 Pn을 구하기 위해, 프레임 Fn +1의 모든 움직임 벡터를 해석하여, 그들 움직임 벡터가 가리키고 있는 영역을 특정하지 않으면 안 되어서, 해석에 요하는 시간이 커진다.
또한, GOP 사이즈ㆍ움직임 벡터의 최대치나, 참조 구조가 비트스트림에 따라서 상이하기 때문에, 동일한 표시 영역 지정 정보에 대한 각 프레임 Fn의 부분 영역 Pn의 형상ㆍ사이즈가 비트스트림에 따라서 일정하지 않게 되어, 트랜스코드 처리나, 트랜스코드 후의 스트림을 복호하는 처리에 있어서 취급하는 것이 곤란하게 된다.
그러나, 본 실시의 형태 1에서는, 도 2의 동화상 부호화 장치(1)로부터 출력되는 전체 영역 비트스트림은, 상술한 바와 같이, 힌트 정보에 의해 움직임 벡터ㆍGOP 사이즈ㆍ참조 구조로 제한이 걸려 있기 때문에, 이하의 처리로 각 프레임 Fn의 부분 영역 Pn을 낮은 연산량으로 고정적으로 구하는 것이 가능하게 된다.
여기서는, 실장의 간이화를 위해, 각 프레임 Fn의 부분 영역 Pn이 직사각형 영역이 아닌 경우, 부분 영역 Pn을 내포하는 직사각형 영역 PLn을 복호 대상으로 하는 것을 전제로 한다.
또한, 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보가 나타내는 움직임 벡터의 수평 수직 성분 절대치의 최대치가, 모든 프레임에 있어서 V[화소]로 고정인 경우를 생각한다. 또한, 프레임 Fn -1을 참조하는 프레임 Fn의 복호 대상 직사각형 영역이 PLn인 것으로 한다.
이 경우, 프레임 Fn -1의 복호 대상 직사각형 영역 PLn -1은, 움직임 벡터의 값을 해석하는 일 없이, 고정적으로 복호 대상 직사각형 영역 PLn의 주위에 V 화소 추가한 직사각형 영역으로 할 수 있다. 움직임 벡터의 최대치가 V이기 때문에, 복호 대상 직사각형 영역 PLn의 외부를 가리키는 움직임 벡터의 초과량은 많아야 V 화소로 억제되기 때문이다.
참조의 의존 관계는, 랜덤 액세스 포인트 프레임 F1로부터 전파하고 있기 때문에, 프레임 F1의 복호 대상 직사각형 영역 PL1은, 복호 대상 직사각형 영역 PLn의 주위에 V*(n-1) 화소를 추가한 직사각형 영역으로서 구하는 것이 가능하게 된다.
또한, 각 프레임에 있어서, 움직임 벡터의 최대치가 상이한 경우에도, 마찬가지로 각 프레임 Fn의 복호 대상 직사각형 영역 PLn을 구하는 것이 가능하다. 예컨대, 프레임 Fn의 움직임 벡터 최대치가 Vn으로 주어질 때, 프레임 FN의 복호 대상 직사각형 영역 PLN에 대하여, 프레임 Fn(n<N)의 복호 대상 직사각형 영역 PLn은, 복호 대상 직사각형 영역 PLN의 주위에 화소 Vsum을 추가한 직사각형 영역으로서 구해진다.
Figure pct00001
또한, 동화상 부호화 장치(1)의 설명에 있어서 말한 바와 같이, 프레임 Fn과, 그 참조처 프레임 Fn -1의 POC의 차분 절대치에 비례하여 움직임 벡터의 최대치가 지정되어 있는 경우는, 복호 대상 직사각형 영역은 이하와 같이 구해진다.
우선, 프레임 Fn과 참조처 프레임 Fn -1의 POC의 차분 절대치를 d(Fn-Fn - 1)로 두었을 때, Fn으로부터 Fn -1을 참조하는 경우의 움직임 벡터의 최대치가 αd(Fn-Fn-1)로 지정된다고 생각한다(α는 고정 계수).
이 경우, 프레임 FN의 복호 대상 직사각형 영역 PLN에 대하여, 프레임 Fn(n<N)의 복호 대상 직사각형 영역 PLn은, 복호 대상 직사각형 영역 PLN의 주위에 화소 Vsum을 추가한 직사각형 영역으로서 구해진다.
Figure pct00002
또한, 상기의 식은 이하와 같이 간략화할 수 있다.
Figure pct00003
즉, FN과 Fn의 POC의 차분 절대치에 의해 Vsum의 값이 정해진다.
또한, 프레임 Fn의 복호 대상 직사각형 영역 PLn에 대한 프레임 Fm(m<n)의 복호 대상 직사각형 영역 PLm(복호 대상 직사각형 영역 PLN의 주위에 화소 Vsum＇를 추가한 직사각형 영역)을 복호 대상 직사각형 영역 PLn의 프레임 Fm에 대한 의존 직사각형 영역 PDLnm이라고 부르기로 하면, 어느 프레임이 복수의 프레임으로부터 참조되고 있는 참조 구조의 경우, 각각의 참조원(reference source) 프레임으로부터 구해지는 의존 직사각형 영역 중, 최대의 의존 직사각형 영역을 해당 프레임의 복호 대상 직사각형 영역으로 한다.
Figure pct00004
이상에서, GOP 내에서 일관되게, 특정한 부분 영역을 올바르게 복호하는 것이 가능한 부분 영역 비트스트림을 생성하기 위해서는, 적어도 각 프레임의 복호 대상 직사각형 영역의 정보를 비트스트림에 포함시킬 필요가 있다. 또한, GOP 내에서 프레임의 사이즈(수평ㆍ수직의 화소수)를 변경하는 것은 불가능 또는 곤란하기 때문에, GOP 내의 각 프레임의 사이즈는, GOP 내의 모든 프레임의 복호 대상 직사각형 영역 중, 최대의 복호 대상 직사각형 영역(많은 경우, 프레임 F1의 복호 대상 직사각형 영역이 해당된다)을 포함하는 사이즈로 할 필요가 있다.
이들을 근거로 하여, 트랜스코드 제어부(41)는, 외부로부터 표시 영역 정보가 주어지면, 이하의 순서로, 필수 부호화 영역 및 트랜스코드 대상 영역을 구한다.
(1) GOP 내의 프레임 F1 이외의 프레임 중에서, 스스로가 참조되지 않는 프레임(비참조 프레임 : I 픽쳐)의 복호 대상 직사각형 영역을, 표시 영역을 내포하는 영역으로서 설정한다.
(2) (1)의 처리에서 설정한 각 비참조 프레임의 복호 대상 직사각형 영역으로부터, 모든 프레임에 대한 의존 직사각형 영역의 사이즈를 구하고, 각 프레임에 있어서의 최대의 의존 직사각형 영역을, 그 프레임의 복호 대상 직사각형 영역으로 한다.
(3) GOP 내의 각 프레임의 복호 대상 직사각형 영역을, 각 프레임의 필수 부호화 영역으로서 설정한다.
(4) GOP 내의 프레임에서 최대의 복호 대상 직사각형 영역을 내포하는 영역을, GOP 내의 각 프레임의 트랜스코드 대상 영역으로서 통일적으로 설정한다.
부호화 파라미터 추출부(42)는, 트랜스코드 제어부(41)로부터 필수 부호화 영역 정보를 받으면, 전체 영역 스트림 복호부(3)로부터 출력된 전체 영역의 부호화 데이터 및 부호화 파라미터 중에서, 그 필수 부호화 영역 정보가 나타내는 필수 부호화 영역에 포함되어 있는 부호화 대상 블록(부호화 대상 블록의 일부에서도, 필수 부호화 영역 내에 있는 부호화 대상 블록을 포함한다)의 부호화 데이터(양자화 후 계수/PCM 신호) 및 부호화 파라미터(부호화 모드(인트라 부호화 모드/인터 부호화 모드/PCM 부호화 모드), 예측 파라미터(인트라 예측 파라미터/인터 예측 파라미터)/PCM 부호화 파라미터, 움직임 벡터(부호화 모드가 인터 부호화 모드인 경우), 예측 차분 부호화 파라미터, 루프 필터 파라미터, 힌트 정보(움직임 벡터 제한 정보, GOP 사이즈 제한 정보, 참조 구조 지정 정보))를 추출하고, 그 추출한 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 외부 참조 블록 부호화부(43) 및 전환 스위치(45)에 출력한다(스텝 ST42).
외부 참조 블록 부호화부(43)는, 트랜스코드 제어부(41)로부터 필수 부호화 영역 정보를 받으면, 그 필수 부호화 영역 정보가 나타내는 필수 부호화 영역에 포함되어 있는 부호화 대상 블록(필수 부호화 영역의 경계에 속하고 있는 부호화 대상 블록)이, 필수 부호화 영역의 외부의 화소치를 참조하여 인트라 부호화가 행해지고 있는 외부 참조 블록인지 여부를 확인한다(스텝 ST43).
필수 부호화 영역에 포함되어 있는 부호화 대상 블록이 외부 참조 블록인지 여부는, 전체 영역 스트림 복호부(3)로부터 출력된 전체 영역의 부호화 데이터 및 부호화 파라미터 중에서, 해당 부호화 대상 블록의 부호화 파라미터를 추출하고, 그 부호화 파라미터에 포함되어 있는 부호화 모드 및 예측 파라미터를 확인하면, 판별할 수 있다.
외부 참조 블록 부호화부(43)는, 필수 부호화 영역에 포함되어 있는 부호화 대상 블록이 외부 참조 블록인 경우, 필수 부호화 영역의 외부의 화소치를 예측 참조에 이용하지 않는 부호화 방식으로, 그 부호화 대상 블록의 복호 화상을 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 복호 화상의 부호화에 이용한 부호화 파라미터를 전환 스위치(45)에 출력한다(스텝 ST44).
이와 같이, 부호화 대상 블록이 외부 참조 블록인 경우, 전체 영역의 부호화 데이터 및 부호화 파라미터 중에서, 해당 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 추출하는 것이 아니라, 새롭게 부호화 대상 블록의 부호화 데이터와 부호화 파라미터를 재결정하는 이유는, 필수 부호화 영역의 외부 영역은 트랜스코드 전의 복호 화상에 가까운 복호 결과가 보증되지 않기 때문에, 그 영역을 참조하고 있는 인트라 부호화 예측에서는, 예측 결과가 본래의 결과와 상이하여 버리는 것에 의한 것이다.
부호화 데이터와 부호화 파라미터의 재결정 방법으로서, 예컨대, 이하의 방법을 들 수 있다.
(1) 전체 영역 스트림 복호부(3)로부터 출력된 전체 영역의 복호 화상(루프 필터 처리 전)으로부터, 외부 참조 블록의 복호 화상을 추출하고, 동화상 부호화 장치(1)의 PCM 부호화부(16)와 동등한 순서로, 외부 참조 블록의 복호 화상을 PCM 부호화 모드로 부호화한다. 그 부호화 결과인 PCM 신호(부호화 데이터)와, 그 부호화에 이용한 PCM 부호화 파라미터를 전환 스위치(45)에 출력한다.
이 방법의 경우, PCM 부호화의 정밀도에 따라서는, 입력된 복호 화상과 완전히 동일한 결과를 복호하는 것이 가능하다.
(2) 외부 참조 블록이 인트라 예측시에 참조하고 있는 필수 부호화 영역 밖의 부호화 대상 블록 중, 참조에 이용되는 화소 부분만을, 입력된 복호 화상에 근거하여 PCM 부호화하여, 그 부호화 결과인 PCM 신호(부호화 데이터)를 전환 스위치(45)에 출력한다. 단, 인트라 예측 파라미터 등의 부호화 파라미터에 대해서는, 전체 영역의 부호화 파라미터 중에서 외부 참조 블록의 부호화 파라미터를 추출하고, 그 부호화 파라미터를 전환 스위치(45)에 출력한다.
이 방법의 경우, PCM 부호화의 정밀도에 따라서는, 입력된 복호 화상과 완전히 동일한 결과를 복호하는 것이 가능하다. 외부 참조 블록의 사이즈에 따라서는, (1)의 방법보다 부호량을 삭감하는 것이 가능하다.
(3) 필수 부호화 영역 밖의 복호 화상은, 후술하는 불요 블록 부호화부(44)의 결과에 근거하여 정해지기 때문에, 그 복호 화상을 그대로 이용하여, 인트라 부호화 예측 또는 인터 부호화 예측으로, 입력된 복호 화상과 가까운 결과가 되도록 부호화 파라미터를 결정한다.
(3)의 방법에 있어서의 부호화 파라미터 결정은, 도 2의 동화상 부호화 장치(1)에 있어서의 부호화 방식과 동등한 수법에 의해 실시하는 것이 가능하다.
(4) 필수 부호화 영역을 확대시키는 것에 의해, 해당 프레임에 있어서의 필수 부호화 영역과 복호 영역을 일치시켜, 화면 밖을 참조하는 인트라 부호화 예측과 동등한 수법에 의해 외부 참조 블록의 부호화를 실시한다.
불요 블록 부호화부(44)는, 필수 부호화 영역의 외부에 있고, 트랜스코드 대상 영역의 내부에 있는 부호화 대상 블록(불요 블록)에 대해서는, 예컨대, 인터 부호화 방식에 있어서의 스킵 모드로 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 부호화 대상 블록의 부호화에 이용한 부호화 파라미터를 전환 스위치(45)에 출력한다(스텝 ST45).
여기서, 불요 블록은, GOP 내에서의 프레임 사이즈를 통일하는데 있어서 필요한 것이지만, 표시나 다음의 프레임의 참조에 이용되지 않는 화상 영역에 속하는 부호화 대상 블록이기 때문에, 불요 블록의 복호 결과는, 어떠한 결과가 되더라도 상관없다. 따라서, 불요 블록에 대해서는, 부호량이 가능한 한 작아지는 부호화 파라미터를 이용하는 것이 바람직하다.
이 때문에, 불요 블록에 대해서는, 블록 분할을 가능한 한 행하지 않고, 인터 부호화 예측의 스킵 모드(벡터 정보(예측 벡터 정보는 제외하는 경우가 있음), 양자화 후 계수를 부호화하지 않는 모드)로 부호화하는 방법 등이 이용된다.
또, 외부 참조 블록 부호화부(43)에 있어서, 외부 참조 블록의 부호화 파라미터를 결정하는 방법으로서, 상기의 (2)의 방법을 이용하는 경우, 필수 부호화 영역에 포함되어 있지 않은 부호화 대상 블록이더라도, 외부 참조 블록으로부터 참조되는 부호화 대상 블록인 경우는, 상기의 (2)의 방법으로 부호화 파라미터를 결정할 필요가 있다.
전환 스위치(45)는, 트랜스코드 제어부(41)로부터 출력된 트랜스코드 대상 영역 정보 및 필수 부호화 영역 정보를 참조하여, 부호화 대상 블록이 불요 블록인지 여부를 확인함과 아울러, 부호화 대상 블록이 필수 부호화 영역에 포함되어 있으면, 그 부호화 대상 블록이 외부 참조 블록인지 여부를 확인한다(스텝 ST46, ST47).
전환 스위치(45)는, 부호화 대상 블록이 필수 부호화 영역에 포함되어 있고, 부호화 대상 블록이 외부 참조 블록이 아니면, 부호화 파라미터 추출부(42)로부터 출력된 부호화 데이터 및 부호화 파라미터를 가변 길이 부호화부(46)에 출력한다(스텝 ST48).
전환 스위치(45)는, 부호화 대상 블록이 외부 참조 블록이면, 외부 참조 블록 부호화부(43)로부터 출력된 부호화 데이터 및 부호화 파라미터를 가변 길이 부호화부(46)에 출력한다(스텝 ST49).
또한, 전환 스위치(45)는, 부호화 대상 블록이 불요 블록이면, 불요 블록 부호화부(44)로부터 출력된 부호화 데이터 및 부호화 파라미터를 가변 길이 부호화부(46)에 출력한다(스텝 ST50).
가변 길이 부호화부(46)는, 전환 스위치(45)로부터 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 받으면, 그 부호화 데이터 및 부호화 파라미터를 엔트로피 부호화하여, 그들 부호화 결과를 나타내는 부분 영역 비트스트림을 생성한다(스텝 ST51).
부호화 대상 블록은, 트랜스코드 대상 영역의 내부에 포함되어 있는 것이 추출되고 있기 때문에, 본래의 비트스트림에서는 존재하고 있던 인접 부호화 대상 블록이 존재하지 않게 되고 있는 경우가 있다. 이 때문에, 움직임 벡터나 필터 파라미터 등, 인접 부호화 대상 블록의 정보를 이용한 부호화 파라미터의 예측 처리를 다시 할 필요가 있다. 이와 같은 예측 처리도 포함시켜, 가변 길이 부호화부(46)의 처리는, 동화상 부호화 장치(1)의 가변 길이 부호화부(23)와 동등한 수법에 의해 실시한다.
또한, 가변 길이 부호화부(46)는, 부분 영역 비트스트림에 대해서는, 표시 영역 정보가 나타내는 표시 영역보다 넓은 범위를 포함하는 비트스트림으로 되어 있기 때문에, 트랜스코드 제어부(41)로부터, 표시 영역이 어느 영역인지를 나타내는 부분 영역 비트스트림의 헤더 정보를 취득하고, 그 헤더 정보를 해당 부분 영역 비트스트림에 다중화하여, 헤더 정보 다중화 후의 부분 영역 비트스트림(소정의 부호화 코덱에 준거하고 있는 부분 영역 스트림)을 동화상 복호 장치(6)에 출력한다.
또, 가변 길이 부호화부(46)에 의해 생성되는 부분 영역 비트스트림은, 동화상 복호 장치(6)로 복호하는 것이 가능하도록 구성된다.
동화상 복호 장치(6)는, 전체 영역 스트림 복호부(3)와 동등한 기능을 갖고 있다. 단, 동화상 복호 장치(6)는, 전체 영역 스트림 복호부(3)가 갖고 있는 힌트 정보, 부호화 파라미터 및 루프 필터 처리 전의 복호 화상을 외부에 출력하는 기능을 갖고 있지 않더라도 상관없다.
또한, 동화상 복호 장치(6)는, 전체 영역 스트림 복호부(3)와는 상이한 수단으로 복호하도록 구성하더라도 좋고, 그 경우, 부분 영역 트랜스코드부(4)의 가변 길이 부호화부(46)는, 동화상 복호 장치(6)의 복호 수단(부분 영역 비트스트림용 부호화 코덱)에 대응하도록, 부호화 데이터 및 부호화 파라미터의 가변 길이 부호화를 실시한다.
이상에서 분명한 바와 같이, 본 실시의 형태 1에 의하면, 동화상 부호화 장치(1)의 가변 길이 부호화부(23)가, 움직임 벡터의 탐색 가능한 최대 범위를 나타내는 움직임 벡터 제한 정보와, GOP에 속하는 픽쳐의 수인 GOP 사이즈의 최대치를 나타내는 GOP 사이즈 제한 정보와, GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 전체 영역 비트스트림에 다중화하도록 구성했으므로, 전체 영역 비트스트림의 압축 효율의 저하를 초래하는 일 없이, 낮은 연산량으로 효율적인 부분 영역 비트스트림의 생성에 적합한 전체 영역 비트스트림을 생성할 수 있는 효과를 제공한다.
즉, 본 실시의 형태 1에 의하면, 동화상 부호화 장치(1)에서는, 입력 화상에 대하여, 움직임 벡터의 최대치, GOP 사이즈 및 참조 구조가, 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보에 따르도록 제한하여 부호화하므로, 프레임간 참조를 이용한 움직임 보상 예측 처리에 있어서, 어느 프레임의 복호 화상의 특정 영역의 정보가, 프레임간 참조의 다음의 프레임으로 전파하는 범위를 특정한 범위로 억제하는 것이 가능하고, 또한, 가변 길이 부호화부(23)가 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 힌트 정보로서 전체 영역 비트스트림에 다중화하므로, 복호 화상 정보의 전파 범위를 동화상 트랜스코드 장치(2)에 명시적으로 전달할 수 있는 효과를 제공한다.
한편, 동화상 트랜스코드 장치(2)에서는, 동화상 부호화 장치(1)로부터 출력된 전체 영역 비트스트림을 받으면, 전체 영역 스트림 복호부(3)가, 전체 영역의 부호화 데이터, 부호화 파라미터, 힌트 정보 및 루프 필터 처리 전의 복호 화상을 복호하여 부분 영역 트랜스코드부(4)에 출력하고, 부분 영역 트랜스코드부(4)에서는, 입력되는 표시 영역 정보 및 힌트 정보에 근거하여, 각 프레임의 표시 영역 정보를 복호하기 위해 필요하게 되는 영역인 필수 부호화 영역 및 부분 영역 비트스트림의 화상 사이즈를 의미하는 트랜스코드 대상 영역을 특정하고, 필수 부호화 영역의 내부에 속하고 있고, 또한, 필수 부호화 영역의 외부의 정보를 참조할 필요가 없는 부호화 대상 블록은, 전체 영역 스트림 복호부(3)로부터 출력된 부호화 파라미터를 그대로 할당하고, 필수 부호화 영역의 내부에 속하고 있고, 또한, 필수 부호화 영역의 외부의 정보를 참조할 필요가 있는 부호화 대상 블록은, 부호화 데이터 및 부호화 파라미터를 재생성하고, 필수 부호화 영역의 외부이지만, 트랜스코드 대상 영역의 내부의 부호화 대상 블록은, 부호량이 작은 더미의 부호화 파라미터를 할당하고, 이와 같이 할당된 트랜스코드 대상 영역 내의 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를, 적당한 부분 영역 비트스트림의 헤더 정보와 함께 부분 영역 비트스트림으로서 다중화하도록 구성했으므로, 동화상 트랜스코드 장치(2)에 입력된 전체 영역 비트스트림의 복호 화상 중, 표시 영역 정보에 대응하는 부분 영역과 동일한 또는 가까운 화상을 복호할 수 있음과 아울러, 전체 영역 비트스트림보다 작은 사이즈의 부분 영역 비트스트림을 낮은 연산량으로 취득할 수 있는 효과를 제공한다.
실시의 형태 2.
본 실시의 형태 2에서는, 상기 실시의 형태 1에 나타낸 동화상 부호화 장치, 동화상 트랜스코드 장치를, 상기 실시의 형태 1과는 상이한 시스템에 적용한 예에 대하여 설명한다.
도 11은 본 발명의 실시의 형태 2에 의한 동화상 부호화 장치 및 동화상 트랜스코드 장치가 적용되는 시스템을 나타내는 구성도이다.
도 11에 있어서, 동화상 부호화 장치(51)는, 도 1의 동화상 부호화 장치(1)와 동등한 기능을 갖는다. 동화상 부호화 장치(51)는, 작성한 전체 영역 스트림을 동화상 전달 장치(53) 또는 스토리지(52)에 출력한다.
동화상 전달 장치(53)는, 전체 영역 스트림 복호부(54), 부분 영역 트랜스코드부(55) 및 전달 제어부(56)로 구성되어 있고, 동화상 부호화 장치(51)에 의해 생성된 전체 영역 비트스트림 및 동화상 복호 장치(50-1~50-N)에서 입력되는 표시 영역 지정 정보에 근거하여 부분 영역 스트림을 생성하고, 동화상 복호 장치(50-1~50-N)에 대하여 생성한 부분 영역 스트림을 출력하는 기능을 갖는다.
전체 영역 스트림 복호부(54)는 도 1의 전체 영역 스트림 복호부(3)와 동등한 기능을 갖는다. 또한, 생성한 전체 영역 복호 화상을 전체 영역 표시 장치(57)에 출력하는 기능을 갖는다.
부분 영역 트랜스코드부(55)는 도 1의 부분 영역 트랜스코드부(4)와 동등한 기능을 갖는다.
전달 제어부(56)는, 동화상 복호 장치(50-1~50-N)에서 출력된 표시 영역 정보를 받아서, 부분 영역 트랜스코드부(55)에 출력하는 기능을 갖는다. 또한, 부분 영역 트랜스코드부(55)로부터 출력된 부분 영역 비트스트림을 받으면, 해당 부분 영역 비트스트림을 생성할 때에 이용된 표시 영역 정보를 출력한 동화상 복호 장치에 대하여, 해당 부분 영역 비트스트림을 출력하는 기능을 갖는다.
전체 영역 표시 장치(57)는 전체 영역 스트림 복호부(54)로부터 출력된 전체 영역 복호 화상을 표시하는 표시 기기이다.
동화상 복호 장치(50-1~50-N)는, 동화상 전달 장치(53)에 대하여 표시 영역 정보를 출력함과 아울러, 표시 영역 정보에 근거하여 동화상 전달 장치(53)로부터 출력된 부분 영역 비트스트림으로부터 부분 영역의 화상을 복호하여, 부분 영역 복호 화상을 생성하는 장치이다.
부분 영역 표시 장치(51-1~51-N)는, 각각 동화상 복호 장치(50-1~50-N)에 대응하는 부분 영역 복호 화상을 표시하는 표시 장치이다.
구체적인 운용예로서, 동화상 전달 장치(53)가, 고해상도의 감시 영상을 보관하는 감시 카메라 레코더에 내장되어 있는 예를 설명한다.
이 경우, 동화상 부호화 장치(51)는, 카메라 레코더에 대하여 감시 영상 데이터를 공급하는 고해상도의 영상을 취득 가능한 감시 카메라측에 존재하고, 전달 대상의 전체 영역 비트스트림을 생성하는 인코더 장치이다. 인코더 장치인 동화상 부호화 장치(51)에 의해 생성된 전체 영역 비트스트림은, 카메라 레코더에 내장된 스토리지(52)에 저장된다.
카메라 레코더는, 스토리지(52)에 저장된 전체 영역 비트스트림을, 전체 영역 스트림 복호부(54)에 의해 복호하고, 생성한 전체 영역 복호 화상을 카메라 레코더에 직접 접속된 전체 영역 표시 장치(57)에 표시하는 것이 가능하다.
또한, 여기서의 카메라 레코더는, 원격지에 있는 복수의 유저의 표시 단말(태블릿 단말, 스마트폰, PC 등)에 대하여, 감시 영상 데이터를 전달하는 것이 가능하다. 원격지의 유저의 표시 단말에는, 소정의 전송 시스템을 통해서 감시 영상 데이터가 전달되지만, 전송 시스템의 전송 용량에 따라서는, 전체 영역 비트스트림을 모두 전송하는 것이 곤란한 경우가 생각된다. 여기서, 본 시스템에서는, 유저가 표시 단말을 조작하여, 임의의 표시 영역을 지정하여 감시 영상 데이터를 요구하면, 그 표시 영역을 나타내는 표시 영역 정보가 소정의 전송 시스템을 통해서 카메라 레코더의 동화상 전달 장치(53)에 입력되고, 동화상 전달 장치(53)가 유저가 지정한 표시 영역의 재생에 필요한 부호화 파라미터 등을 포함하는 부분 영역 비트스트림을 생성하여, 그 부분 영역 비트스트림을, 소정의 전송 시스템을 통해서 요구원(request source)인 표시 단말에 송신한다.
감시 영상의 필요한 영역만을 지정하는 것에 의해, 전송하는 데이터량을 억제하여 원격지에서 감시 영상을 시청하는 것이 가능하게 된다. 또한, 표시 영역은 유저마다 개별적으로 지정 가능하기 때문에, 예컨대, 전송 용량이 큰 전송로를 사용 가능한 유저는, 보다 큰 표시 영역을 지정하는 것이 가능하게 된다.
동화상 복호 장치(50-1~50-N)의 각각이, 각 유저의 표시 단말에 내장되어 있고, 각 동화상 복호 장치(50-1~50-N)가 동화상 전달 장치(53)로부터 송신된 부분 영역 비트스트림을 수신하고, 그 부분 영역 비트스트림으로부터 부분 영역 복호 화상을 복호하는 것에 의해, 각 표시 단말에서 부분 영역 복호 화상이 표시된다.
이상에서, 도 11에 나타내는 시스템을 이용하는 것에 의해, 유저는 고해상도의 감시 영상을 카메라 레코더에 직결한 표시 장치에서 시청하는 것이 가능하게 됨과 아울러, 소정의 전송 시스템을 통한 원격지에 있어서도, 필요한 영역만을 지정하는 것에 의해, 전송하는 데이터량을 억제하여 감시 영상을 시청하는 것이 가능하게 된다. 또한, 유저마다 개별적으로, 지정하는 표시 영역을 변경하는 것도 가능하게 된다.
실시의 형태 3.
본 실시의 형태 3에서는, 상기 실시의 형태 1, 2에서 나타내고 있는 동화상 부호화 장치 및 동화상 트랜스코드 장치를 보다 효율적으로 운용하기 위한 동화상 스트림 전송 시스템에 대하여 설명한다.
본 실시의 형태 3에서는, 전체 영역 화상이 슬라이스나 타일 등의 서브픽쳐 단위로 분할되어 있는 상태를 상정한다.
도 12는 전체 영역 화상이 6개의 서브픽쳐(Sub-pic)로 분할되어 있는 예를 나타내는 설명도이다.
도 13은 본 발명의 실시의 형태 3에 의한 동화상 스트림 전송 시스템을 나타내는 구성도이고, 도 13에 있어서, 도 1과 동일한 부호는 동일 또는 상당 부분을 나타내므로 설명을 생략한다.
동화상 부호화 장치(1)는, 상기 실시의 형태 1에서 나타내고 있는 동화상 부호화 장치(1)(혹은, 상기 실시의 형태 2에서 나타내고 있는 동화상 부호화 장치(51))이고, 힌트 정보를 다중화하고 있는 비트스트림(서브픽쳐 단위의 비트스트림)을 생성한 후, 서브픽쳐 단위의 비트스트림을 전체 영역 화상분 결합하여, 전체 영역 화상의 비트스트림인 전체 영역 비트스트림(전체 영역 스트림)을 출력한다.
도 12의 예에서는, 전체 영역 화상이 6개의 서브픽쳐로 분할되어 있으므로, 6개의 서브픽쳐의 비트스트림이 결합되어 있는 전체 영역 비트스트림이 출력된다.
MUXER(61)는 동화상 부호화 장치(1)로부터 출력된 전체 영역 비트스트림과, 전체 영역 화상에 있어서의 서브픽쳐의 분할 상태 및 전체 영역 비트스트림에 포함되어 있는 서브픽쳐 단위의 비트스트림의 데이터 위치를 나타내는 서브픽쳐 정보를 미리 설정되어 있는 전송 포맷의 다중화 신호에 다중화하여, 그 다중화 신호를 전송하는 다중화 전송 장치이다.
DEMUXER(62)는 MUXER(61)에 의해 전송된 다중화 신호를 수신하여, 그 다중화 신호에 포함되어 있는 전체 영역 비트스트림과 서브픽쳐 정보를 분리하고, 그 서브픽쳐 정보와 복호 대상의 서브픽쳐를 나타내는 표시 영역 정보를 참조하여, 그 전체 영역 비트스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출하는 다중 분리 장치이다.
다음으로 동작에 대하여 설명한다.
예컨대, 전체 영역 화상이 도 12에 나타내는 바와 같이 6개의 서브픽쳐(Sub-pic)로 분할되어 있는 경우, 동화상 부호화 장치(1)로부터 6개의 서브픽쳐의 비트스트림이 결합되어 있는 전체 영역 비트스트림이 출력된다.
이때, 동화상 복호 장치(6)에 있어서, 전체 영역 화상 내의 일부의 영역만을 복호하는 경우, 복호 대상의 서브픽쳐를 나타내는 표시 영역 정보가 DEMUXER(62) 및 동화상 트랜스코드 장치(2)에 입력된다.
도 12의 예에서는, 점선으로 둘러싸여 있는 영역(필수 부호화 영역)이 복호 대상의 영역이고, 표시 영역 정보는, 점선으로 둘러싸여 있는 영역이 속하는 서브픽쳐가, Sub-pic1, Sub-pic4인 취지를 나타내고 있다.
단, 복호 장치측에서는, 각 서브픽쳐를 독립적으로 복호 가능한 부호화 단위(예컨대, HEVC나 H.264에 있어서의 NAL 등)로 부호화되어 있을 필요가 있지만, 본 실시의 형태 3에서는, 동화상 복호 장치(6)가 NAL 단위로 복호 가능한 것을 상정하고 있으므로, 동화상 트랜스코드 장치(2)가 Sub-pic1, Sub-pic4에 대응하는 NAL만을 이용하여 비트스트림을 생성하더라도, 동화상 복호 장치(6)가 복호 대상의 서브픽쳐를 복호하는 것이 가능하다.
MUXER(61)는, 외부로부터 전체 영역 화상에 있어서의 서브픽쳐의 분할 상태 및 전체 영역 비트스트림에 포함되어 있는 서브픽쳐 단위의 비트스트림의 데이터 위치를 나타내는 서브픽쳐 정보의 입력을 받는다.
도 12의 예에서는, 서브픽쳐 정보는, Sub-pic1~6이 전체 영역 화상의 어느 위치에 존재하고 있는지를 나타내고, 또한, Sub-pic1~6에 대응하는 비트스트림이 전체 영역 비트스트림의 어느 위치에 존재하고 있는지를 나타내고 있다.
여기서는, 서브픽쳐 정보가, 분할 상태를 나타내는 정보와 데이터 위치 정보를 포함하고 있는 예를 나타내고 있지만, 다른 정보를 포함하고 있더라도 좋다.
MUXER(61)는, 동화상 부호화 장치(1)로부터 전체 영역 비트스트림을 받으면, 전체 영역 비트스트림과 서브픽쳐 정보를 미리 설정되어 있는 전송 포맷의 다중화 신호에 다중화하여, 그 다중화 신호를 전송한다.
여기서의 전송 포맷으로서는, 예컨대, MPEG-2 TS나, MMT(MPRG Media Transport) 등으로 정의되는 전송 포맷이 생각된다. 상기의 서브픽쳐 정보는, 이들 전송 시스템의 기술자(descriptor)로서 전체 영역 비트스트림과 다중화된다. 단, 상기 전송 포맷은 일례이기 때문에, 다른 전송 포맷이더라도 좋다.
DEMUXER(62)는, MUXER(61)에 의해 전송된 다중화 신호를 수신하면, 그 다중화 신호에 포함되어 있는 전체 영역 비트스트림과 서브픽쳐 정보를 분리한다.
또한, DEMUXER(62)는, 외부로부터 주어진 복호 대상의 서브픽쳐를 나타내는 표시 영역 정보를 참조하는 것에 의해, 복호 대상의 서브픽쳐를 특정한다. 도 12의 예에서는, Sub-pic1, Sub-pic4가 복호 대상의 서브픽쳐라고 특정한다.
DEMUXER(62)는, 복호 대상의 서브픽쳐를 특정하면, 다중화 신호로부터 분리한 서브픽쳐 정보를 참조하여, 전체 영역 비트스트림에 포함되어 있는 복호 대상의 서브픽쳐의 비트스트림을 특정하고, 전체 영역 비트스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출한다.
도 12의 예에서는, Sub-pic1, Sub-pic4에 대응하는 비트스트림(VCL-NAL1, VCL-NAL4)을 추출한다.
동화상 트랜스코드 장치(2)는, DEMUXER(62)가 복호 대상의 서브픽쳐의 비트스트림을 추출하면, 상기 실시의 형태 1과 마찬가지로, 그들 비트스트림으로부터 부분 영역 비트스트림을 생성하여, 그 부분 영역 비트스트림을 동화상 복호 장치(6)에 출력한다.
이상에서 분명한 바와 같이, 본 실시의 형태 3에 의하면, 동화상 부호화 장치(1)로부터 출력된 전체 영역 비트스트림과, 전체 영역 화상에 있어서의 서브픽쳐의 분할 상태 및 전체 영역 비트스트림에 포함되어 있는 서브픽쳐 단위의 비트스트림의 데이터 위치를 나타내는 서브픽쳐 정보를 미리 설정되어 있는 전송 포맷의 다중화 신호에 다중화하여, 그 다중화 신호를 전송하는 MUXER(61)와, MUXER(61)에 의해 전송된 다중화 신호를 수신하여, 그 다중화 신호에 포함되어 있는 전체 영역 비트스트림과 서브픽쳐 정보를 분리하고, 그 서브픽쳐 정보와 복호 대상의 서브픽쳐를 나타내는 표시 영역 정보를 참조하여, 그 전체 영역 비트스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출하는 DEMUXER(62)를 구비하도록 구성했으므로, 동화상 부호화 장치(1)에 의해 생성된 전체 영역 비트스트림 중, 복호에 필요한 비트스트림만을 전송하면 충분하게 되어, 비트스트림의 전송량을 삭감할 수 있는 효과를 제공한다.
본 실시의 형태 3에서는, DEMUXER(62)가, 전체 영역 비트스트림으로부터 추출한 비트스트림을 동화상 트랜스코드 장치(2)에 출력하는 예를 나타냈지만, 도 14에 나타내는 바와 같이, 동화상 트랜스코드 장치(2)를 생략하여, 전체 영역 비트스트림으로부터 추출한 비트스트림을 동화상 복호 장치(6)에 출력하도록 하더라도 좋다.
이 경우, 도 13의 구성과 비교하면, 동화상 복호 장치(6)에 입력되는 비트스트림의 사이즈가 커지지만, 동화상 트랜스코드 장치(2)에 있어서의 트랜스코드 처리가 실시되지 않게 되기 때문에, 부분 영역의 복호를 고속으로 실시하는 것이 가능하게 된다.
실시의 형태 4.
상기 실시의 형태 3에서는, DEMUXER(62)가, 서브픽쳐 정보와 표시 영역 정보를 참조하여, 전체 영역 비트스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출하는 것을 나타냈지만, 도 15에 나타내는 바와 같이, MUXER(61)가, 서브픽쳐 정보와 표시 영역 정보를 참조하여, 전체 영역 비트스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출하도록 하더라도 좋다.
이 경우, MUXER(61)는, 전체 영역 비트스트림으로부터 추출한 복호 대상의 서브픽쳐의 비트스트림을 미리 설정되어 있는 전송 포맷의 다중화 신호에 다중화하여, 그 다중화 신호를 DEMUXER(62)에 전송한다.
DEMUXER(62)는, MUXER(61)에 의해 전송된 다중화 신호를 수신하여, 그 다중화 신호에 포함되어 있는 복호 대상의 서브픽쳐의 비트스트림을 분리하고, 해당 비트스트림을 동화상 트랜스코드 장치(2) 또는 동화상 복호 장치(6)에 출력한다.
본 실시의 형태 4에 의하면, 상기 실시의 형태 3보다 비트스트림의 전송량을 더 삭감할 수 있는 효과를 제공한다.
또, MUXER(61)가 입수하는 표시 영역 정보는, 예컨대, 복호측인 동화상 복호 장치(6)로부터 취득하도록 하더라도 좋고, 송신측인 동화상 부호화 장치(1)로부터 취득하도록 하더라도 좋다. 혹은, 유저의 입력에 의해 취득하도록 하더라도 좋다.
또, 본원 발명은 그 발명의 범위 내에 있어서, 각 실시의 형태의 자유로운 조합, 혹은 각 실시의 형태의 임의의 구성 요소의 변형, 또는 각 실시의 형태에 있어서 임의의 구성 요소의 생략이 가능하다.
(산업상이용가능성)
본 발명과 관련되는 동화상 부호화 장치는, 전체 영역 비트스트림의 압축 효율의 저하를 초래하는 일 없이, 낮은 연산량으로 효율적인 부분 영역 비트스트림을 생성할 필요가 있는 것에 적합하다.
1 : 동화상 부호화 장치
2 : 동화상 트랜스코드 장치
3 : 전체 영역 스트림 복호부(필수 부호화 영역 특정 수단)
4 : 부분 영역 트랜스코드부(필수 부호화 영역 특정 수단, 파라미터 추출 수단, 부분 영역 스트림 생성 수단)
5 : 전체 영역 표시 장치
6 : 동화상 복호 장치
7 : 부분 영역 표시 장치
11 : 부호화 제어부(예측 화상 생성 수단)
12 : 블록 분할부(예측 화상 생성 수단)
13 : 전환 스위치(예측 화상 생성 수단)
14 : 인트라 예측부(예측 화상 생성 수단)
15 : 움직임 보상 예측부(예측 화상 생성 수단)
16 : PCM 부호화부
17 : 감산부(비트스트림 생성 수단)
18 : 변환ㆍ양자화부(비트스트림 생성 수단)
19 : 역 양자화ㆍ역 변환부
20 : 가산부
21 : 루프 필터부
22 : 프레임 메모리
23 : 가변 길이 부호화부(비트스트림 생성 수단)
31 : 가변 길이 부호 복호부
32 : 전환 스위치
33 : 인트라 예측부
34 : 움직임 보상부
35 : PCM 복호부
36 : 역 양자화ㆍ역 변환부
37 : 가산부
38 : 루프 필터부
39 : 프레임 메모리
41 : 트랜스코드 제어부
42 : 부호화 파라미터 추출부
43 : 외부 참조 블록 부호화부
44 : 불요 블록 부호화부
45 : 전환 스위치
46 : 가변 길이 부호화부
51 : 동화상 부호화 장치
52 : 스토리지
53 : 동화상 전달 장치
54 : 전체 영역 스트림 복호부
55 : 부분 영역 트랜스코드부
56 : 전달 제어부
57 : 전체 영역 표시 장치
50-1~50-N : 동화상 복호 장치
51-1~51-N : 부분 영역 표시 장치
61 : MUXER(다중화 전송 장치)
62 : DEMUXER(다중 분리 장치)

Claims (13)

  1. GOP(Group Of Pictures)에 속하는 픽쳐 내의 부호화 대상 블록에 대한 부호화 파라미터를 결정하고, 상기 부호화 파라미터를 이용하여, 예측 화상을 생성하는 예측 화상 생성 수단과,
    상기 부호화 대상 블록과 상기 예측 화상 생성 수단에 의해 생성된 예측 화상의 차분 화상을 압축 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 부호화 파라미터를 다중화하여 비트스트림을 생성하는 비트스트림 생성 수단
    을 구비하고,
    상기 비트스트림 생성 수단은, 움직임 벡터의 탐색 가능한 범위를 나타내는 움직임 벡터 제한 정보와, 상기 GOP에 속하는 픽쳐의 수인 GOP 사이즈를 나타내는 GOP 사이즈 제한 정보와, 상기 GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 상기 비트스트림에 다중화하는
    것을 특징으로 하는 동화상 부호화 장치.
  2. 제 1 항에 있어서,
    상기 예측 화상 생성 수단은, 상기 부호화 대상 블록에 대한 부호화 모드가 인터 부호화 모드인 경우, 상기 움직임 벡터 제한 정보가 나타내는 영역 내에서 움직임 벡터를 탐색하고, 상기 움직임 벡터와 상기 부호화 파라미터를 이용하여, 상기 부호화 대상 블록에 대한 예측 처리를 실시하여 예측 화상을 생성하는 것을 특징으로 하는 동화상 부호화 장치.
  3. 청구항 1에 기재된 동화상 부호화 장치에 의해 생성된 비트스트림으로부터 힌트 정보를 추출하고, 상기 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 참조하여, 외부로부터 주어진 표시 영역 정보가 나타내는 픽쳐의 표시 영역을 복호할 때에 필요한 영역인 필수 부호화 영역을 특정하는 필수 부호화 영역 특정 수단과,
    상기 동화상 부호화 장치에 의해 생성된 비트스트림으로부터, 상기 필수 부호화 영역 특정 수단에 의해 특정된 필수 부호화 영역에 포함되어 있는 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 추출하는 파라미터 추출 수단과,
    상기 파라미터 추출 수단에 의해 추출된 부호화 데이터 및 부호화 파라미터로부터 미리 설정되어 있는 부호화 코덱에 준거하고 있는 부분 영역 스트림을 생성하는 부분 영역 스트림 생성 수단
    을 구비한 동화상 트랜스코드 장치.
  4. 제 3 항에 있어서,
    상기 파라미터 추출 수단은,
    상기 필수 부호화 영역 특정 수단에 의해 특정된 필수 부호화 영역에 포함되어 있는 부호화 대상 블록이, 상기 필수 부호화 영역의 외부의 화소치를 참조하여 인트라 부호화가 행해지고 있는 외부 참조 블록이 아닌 경우, 상기 동화상 부호화 장치에 의해 생성된 비트스트림으로부터 상기 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 추출하여, 상기 부호화 데이터 및 부호화 파라미터를 출력하는 부호화 파라미터 추출부와,
    상기 필수 부호화 영역 특정 수단에 의해 특정된 필수 부호화 영역에 포함되어 있는 부호화 대상 블록이, 상기 필수 부호화 영역의 외부의 화소치를 참조하여 인트라 부호화가 행해지고 있는 외부 참조 블록인 경우, 상기 필수 부호화 영역의 외부의 화소치를 예측 참조에 이용하지 않는 부호화 방식으로, 상기 부호화 대상 블록의 복호 화상을 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 복호 화상의 부호화에 이용한 부호화 파라미터를 출력하는 외부 참조 블록 부호화부와,
    상기 부호화 파라미터 추출부로부터 출력된 부호화 데이터 및 부호화 파라미터, 또는, 상기 외부 참조 블록 부호화부로부터 출력된 부호화 데이터 및 부호화 파라미터를 선택하고, 그 선택한 부호화 데이터 및 부호화 파라미터를 상기 부분 영역 스트림 생성 수단에 출력하는 전환 스위치
    를 구비한 것을 특징으로 하는
    동화상 트랜스코드 장치.
  5. 제 4 항에 있어서,
    상기 외부 참조 블록 부호화부는, 상기 부호화 대상 블록의 화면 가장자리의 화소치를 참조하는 인트라 부호화 방식으로 인트라 예측 화상을 생성하고, 상기 부호화 대상 블록의 복호 화상과 상기 인트라 예측 화상의 차분 화상을 압축 부호화하여, 그 부호화 결과인 부호화 데이터와 상기 인트라 예측 화상을 생성할 때에 이용한 부호화 파라미터를 출력하는 것을 특징으로 하는 동화상 트랜스코드 장치.
  6. 제 4 항에 있어서,
    상기 외부 참조 블록 부호화부는, 상기 부호화 대상 블록의 복호 화상을 PCM(Pulse Code Modulation) 부호화하고, 그 부호화 결과인 부호화 데이터와 PCM 부호화 파라미터를 출력하는 것을 특징으로 하는 동화상 트랜스코드 장치.
  7. 제 4 항에 있어서,
    상기 파라미터 추출 수단은, 상기 GOP에 속하는 각 픽쳐에 있어서의 필수 부호화 영역의 사이즈가 상이한 경우, 상기 각 픽쳐에 있어서의 필수 부호화 영역 중에서, 상기 사이즈에 근거하여 트랜스코드 대상 영역으로 하는 필수 부호화 영역을 지정하고, 각각의 픽쳐에 있어서, 상기 지정한 필수 부호화 영역의 외부에 있고, 상기 트랜스코드 대상 영역의 내부에 있는 부호화 대상 블록에 대해서는, 인터 부호화 방식에 있어서의 스킵 모드로 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 부호화 대상 블록의 부호화에 이용한 부호화 파라미터를 출력하는 불요 블록 부호화부를 구비하고,
    상기 전환 스위치는, 상기 부호화 파라미터 추출부로부터 출력된 부호화 데이터 및 부호화 파라미터, 상기 외부 참조 블록 부호화부로부터 출력된 부호화 데이터 및 부호화 파라미터, 또는, 상기 불요 블록 부호화부로부터 출력된 부호화 데이터 및 부호화 파라미터를 선택하고, 그 선택한 부호화 데이터 및 부호화 파라미터를 상기 부분 영역 스트림 생성 수단에 출력하는
    것을 특징으로 하는 동화상 트랜스코드 장치.
  8. 예측 화상 생성 수단이, GOP에 속하는 픽쳐 내의 부호화 대상 블록에 대한 부호화 파라미터를 결정하고, 상기 부호화 파라미터를 이용하여, 예측 화상을 생성하고,
    비트스트림 생성 수단이, 상기 부호화 대상 블록과 상기 예측 화상의 차분 화상을 압축 부호화하고, 그 부호화 결과인 부호화 데이터와 상기 부호화 파라미터를 다중화하여 비트스트림을 생성하는
    동화상 부호화 방법으로서,
    상기 비트스트림 생성 수단에서는, 움직임 벡터의 탐색 가능한 범위를 나타내는 움직임 벡터 제한 정보와, 상기 GOP에 속하는 픽쳐의 수인 GOP 사이즈를 나타내는 GOP 사이즈 제한 정보와, 상기 GOP에 속하는 각 픽쳐를 복호할 때에 참조하는 픽쳐를 나타내는 참조 구조 지정 정보를 포함하는 힌트 정보를 상기 비트스트림에 다중화하는
    것을 특징으로 하는 동화상 부호화 방법.
  9. 필수 부호화 영역 특정 수단이, 청구항 8에 기재된 동화상 부호화 방법에 의해 생성된 비트스트림으로부터 힌트 정보를 추출하고, 상기 힌트 정보에 포함되어 있는 움직임 벡터 제한 정보, GOP 사이즈 제한 정보 및 참조 구조 지정 정보를 참조하여, 외부로부터 주어진 표시 영역 정보가 나타내는 픽쳐의 표시 영역을 복호할 때에 필요한 영역인 필수 부호화 영역을 특정하고,
    파라미터 추출 수단이, 상기 동화상 부호화 방법에 의해 생성된 비트스트림으로부터, 상기 필수 부호화 영역에 포함되어 있는 부호화 대상 블록의 부호화 데이터 및 부호화 파라미터를 추출하고,
    부분 영역 스트림 생성 수단이, 상기 파라미터 추출 수단에 의해 추출된 부호화 데이터 및 부호화 파라미터로부터 미리 설정되어 있는 부호화 코덱에 준거하고 있는 부분 영역 스트림을 생성하는
    동화상 트랜스코드 방법.
  10. 제 1 항에 있어서,
    상기 비트스트림 생성 수단은, 상기 부호화 대상 블록이, 전체 영역 화상이 서브픽쳐 단위로 분할되어 있는 블록에 상당하는 경우, 상기 힌트 정보를 다중화하고 있는 서브픽쳐 단위의 비트스트림을 생성한 후, 상기 서브픽쳐 단위의 비트스트림을 전체 영역 화상분 결합하여, 전체 영역 화상의 비트스트림인 전체 영역 스트림을 출력하는 것을 특징으로 하는 동화상 부호화 장치.
  11. 청구항 10에 기재된 동화상 부호화 장치와,
    상기 동화상 부호화 장치로부터 출력된 전체 영역 스트림과, 상기 전체 영역 화상에 있어서의 서브픽쳐의 분할 상태 및 상기 전체 영역 스트림에 포함되어 있는 서브픽쳐 단위의 비트스트림의 데이터 위치를 나타내는 서브픽쳐 정보를 미리 설정되어 있는 전송 포맷의 다중화 신호에 다중화하여, 상기 다중화 신호를 전송하는 다중화 전송 장치와,
    상기 다중화 전송 장치에 의해 전송된 다중화 신호를 수신하여, 상기 다중화 신호에 포함되어 있는 상기 전체 영역 스트림과 상기 서브픽쳐 정보를 분리하고, 상기 서브픽쳐 정보와 복호 대상의 서브픽쳐를 나타내는 표시 영역 정보를 참조하여, 상기 전체 영역 스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출하는 다중 분리 장치
    를 구비한 동화상 스트림 전송 시스템.
  12. 청구항 10에 기재된 동화상 부호화 장치와,
    상기 전체 영역 화상에 있어서의 서브픽쳐의 분할 상태 및 상기 전체 영역 스트림에 포함되어 있는 서브픽쳐 단위의 비트스트림의 데이터 위치를 나타내는 서브픽쳐 정보를 참조하여, 상기 동화상 부호화 장치에서 출력된 전체 영역 스트림으로부터 복호 대상의 서브픽쳐의 비트스트림을 추출하고, 상기 복호 대상의 서브픽쳐의 비트스트림을 미리 설정되어 있는 전송 포맷의 다중화 신호에 다중화하여, 상기 다중화 신호를 전송하는 다중화 전송 장치와,
    상기 다중화 전송 장치에 의해 전송된 다중화 신호를 수신하여, 상기 다중화 신호에 포함되어 있는 상기 복호 대상의 서브픽쳐의 비트스트림을 분리하는 다중 분리 장치
    를 구비한 동화상 스트림 전송 시스템.
  13. 제 12 항에 있어서,
    상기 다중화 전송 장치는, 상기 복호 대상의 서브픽쳐의 비트스트림을 복호하는 동화상 복호 장치로부터 상기 표시 영역 정보를 취득하는 것을 특징으로 하는 동화상 스트림 전송 시스템.
KR1020167008909A 2013-09-06 2014-09-05 동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템 Ceased KR20160054530A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013185196 2013-09-06
JPJP-P-2013-185196 2013-09-06
PCT/JP2014/073532 WO2015034061A1 (ja) 2013-09-06 2014-09-05 動画像符号化装置、動画像トランスコード装置、動画像符号化方法、動画像トランスコード方法及び動画像ストリーム伝送システム

Publications (1)

Publication Number Publication Date
KR20160054530A true KR20160054530A (ko) 2016-05-16

Family

ID=52628522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167008909A Ceased KR20160054530A (ko) 2013-09-06 2014-09-05 동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템

Country Status (6)

Country Link
US (1) US20160234523A1 (ko)
EP (1) EP3043560A4 (ko)
JP (1) JPWO2015034061A1 (ko)
KR (1) KR20160054530A (ko)
CN (1) CN105519117A (ko)
WO (1) WO2015034061A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054811A1 (ko) * 2019-09-20 2021-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6421422B2 (ja) * 2014-03-05 2018-11-14 日本電気株式会社 映像解析装置、監視装置、監視システムおよび映像解析方法
US10678843B2 (en) * 2015-01-06 2020-06-09 Maxell, Ltd. Image display device, image display method and image display system
CN106162167B (zh) * 2015-03-26 2019-05-17 中国科学院深圳先进技术研究院 基于学习的高效视频编码方法
CN116248866B (zh) * 2017-07-03 2025-06-10 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
WO2019009590A1 (ko) 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
US11025942B2 (en) 2018-02-08 2021-06-01 Samsung Electronics Co., Ltd. Progressive compressed domain computer vision and deep learning systems
JP7397211B2 (ja) 2020-02-14 2023-12-12 北京字節跳動網絡技術有限公司 映像ビットストリームにおけるサブピクチャ情報の信号通知
US11533499B2 (en) * 2020-03-31 2022-12-20 Tencent America LLC Method for signaling mixed NAL unit type and subpicture partitioning in coded video stream
US11652994B2 (en) * 2021-01-19 2023-05-16 Tencent America LLC Neural image compression with adaptive intra-prediction
US12167008B2 (en) * 2021-04-20 2024-12-10 Samsung Electronics Co., Ltd. Operation of video decoding engine for EVC
CN118101964A (zh) * 2022-11-25 2024-05-28 京东方科技集团股份有限公司 视频数据处理方法及装置、显示装置和存储介质
JP2024085066A (ja) * 2022-12-14 2024-06-26 キヤノン株式会社 電子機器

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Industrial Co Ltd A method for computational graceful degradation inan audiovisual compression system.
JP4622121B2 (ja) * 2000-03-13 2011-02-02 ソニー株式会社 データ変換装置および方法、並びに、符号化装置および方法
KR100776529B1 (ko) * 2000-03-13 2007-11-16 소니 가부시끼 가이샤 간결한 트랜스코딩 힌트 메타데이터를 생성하는 방법 및 장치
JP2002152749A (ja) * 2000-11-09 2002-05-24 Matsushita Electric Ind Co Ltd 画像再符号化装置
JP2005341093A (ja) * 2004-05-26 2005-12-08 Mitsubishi Electric Corp コンテンツ適応化装置、コンテンツ適応化システム、コンテンツ適応化方法
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
JP5055078B2 (ja) * 2007-10-01 2012-10-24 キヤノン株式会社 画像処理装置及びその方法
CN101453642B (zh) * 2007-11-30 2012-12-26 华为技术有限公司 图像编/解码方法、装置和系统
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
WO2012060459A1 (ja) 2010-11-01 2012-05-10 日本電気株式会社 動画像配信システム、動画像配信方法および動画像配信用プログラム
US9060174B2 (en) * 2010-12-28 2015-06-16 Fish Dive, Inc. Method and system for selectively breaking prediction in video coding
UA109312C2 (uk) * 2011-03-04 2015-08-10 Імпульсно-кодова модуляція з квантуванням при кодуванні відеоінформації
US9414086B2 (en) * 2011-06-04 2016-08-09 Apple Inc. Partial frame utilization in video codecs
JP5678807B2 (ja) * 2011-06-09 2015-03-04 富士通セミコンダクター株式会社 映像・音声データ処理装置およびデータ多重化方法
ES2862898T3 (es) * 2011-06-30 2021-10-08 Mitsubishi Electric Corp Aparato de codificación de imágenes, aparato de decodificación de imágenes, método de codificación de imágenes y método de decodificación de imágenes
US9338474B2 (en) * 2011-09-23 2016-05-10 Qualcomm Incorporated Reference picture list construction for video coding
US10244246B2 (en) * 2012-02-02 2019-03-26 Texas Instruments Incorporated Sub-pictures for pixel rate balancing on multi-core platforms
JP5197864B2 (ja) * 2012-04-12 2013-05-15 株式会社東芝 画像復号化方法及び装置
WO2014057131A1 (en) * 2012-10-12 2014-04-17 Canon Kabushiki Kaisha Method and corresponding device for streaming video data
US10021414B2 (en) * 2013-01-04 2018-07-10 Qualcomm Incorporated Bitstream constraints and motion vector restriction for inter-view or inter-layer reference pictures
EP3562170A1 (en) * 2013-07-29 2019-10-30 Koninklijke KPN N.V. Providing tile video streams to a client

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054811A1 (ko) * 2019-09-20 2021-03-25 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US12192491B2 (en) 2019-09-20 2025-01-07 Electronics And Telecommunications Research Institute Image encoding/decoding method and apparatus, and recording medium storing bitstream

Also Published As

Publication number Publication date
WO2015034061A1 (ja) 2015-03-12
EP3043560A4 (en) 2017-03-01
JPWO2015034061A1 (ja) 2017-03-02
EP3043560A1 (en) 2016-07-13
CN105519117A (zh) 2016-04-20
US20160234523A1 (en) 2016-08-11

Similar Documents

Publication Publication Date Title
KR20160054530A (ko) 동화상 부호화 장치, 동화상 트랜스코드 장치, 동화상 부호화 방법, 동화상 트랜스코드 방법 및 동화상 스트림 전송 시스템
KR101785886B1 (ko) 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법
KR101554792B1 (ko) 동화상 복호 장치 및 동화상 복호 방법
KR101108501B1 (ko) 비디오 시퀀스에서의 움직임 부호화 방법
CN107277524B (zh) 视频解码设备以及视频解码方法
EP2680588B1 (en) Image encoding apparatus, image decoding apparatus, image encoding method and image decoding method
US20120076203A1 (en) Video encoding device, video decoding device, video encoding method, and video decoding method
EP1429564A1 (en) Moving picture encoding/transmission system, moving picture encoding/transmission method, and encoding apparatus, decoding apparatus, encoding method, decoding method, and program usable for the same
KR20110040893A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR20200023501A (ko) 화상 처리 장치 및 방법
WO2006083113A1 (en) Method and apparatus for scalably encoding/decoding video signal
KR20110124199A (ko) 화상 처리 장치 및 방법
US20100104022A1 (en) Method and apparatus for video processing using macroblock mode refinement
JPH09322163A (ja) 画像信号の符号化方法、伝送方法及び復号方法、符号化装置、伝送装置及び復号装置並びに記録媒体
EP3197163A1 (en) Method and device for encoding or decoding multi-layer image, using inter-layer prediction
US20160309173A1 (en) Depth encoding method and apparatus, decoding method and apparatus
KR20020042822A (ko) 엔코딩된 비디오 화상 각각을 각자의 영역으로 포멧하는회로 및 방법
WO2010048544A1 (en) Method and apparatus for video processing using macroblock mode refinement
CA2935303C (en) Conditionally parsed extension syntax for hevc extension processing
JP2000236547A (ja) 画像情報変換装置及び画像情報変換方法
EP4319153A1 (en) Video encoding device, video decoding device, video encoding method, video decoding method, and video system
KR20190093565A (ko) 화상 처리 장치 및 방법
HK1182563B (en) Video encoder, video decoder, video encoding method, video decoding method, and program
HK1220842A1 (zh) 视频解码装置、视频解码方法以及程序

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20160405

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170322

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20170607

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20170322

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I