TWI759280B - 視訊編碼方法及視訊編碼器系統 - Google Patents

視訊編碼方法及視訊編碼器系統 Download PDF

Info

Publication number
TWI759280B
TWI759280B TW106103132A TW106103132A TWI759280B TW I759280 B TWI759280 B TW I759280B TW 106103132 A TW106103132 A TW 106103132A TW 106103132 A TW106103132 A TW 106103132A TW I759280 B TWI759280 B TW I759280B
Authority
TW
Taiwan
Prior art keywords
frame
encoder
frames
instance
encoding
Prior art date
Application number
TW106103132A
Other languages
English (en)
Other versions
TW201728172A (zh
Inventor
費德立克 皮爾
麥特 隆德
Original Assignee
瑞典商安訊士有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞典商安訊士有限公司 filed Critical 瑞典商安訊士有限公司
Publication of TW201728172A publication Critical patent/TW201728172A/zh
Application granted granted Critical
Publication of TWI759280B publication Critical patent/TWI759280B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

揭示一種編碼對應於一序列輸入視訊圖框之數位視訊資料的方法。該等輸入視訊圖框經編碼成一序列輸出視訊圖框。該方法包括在一第一編碼器例項(5)中使用圖框內編碼來編碼一第一輸入視訊圖框以產生一第一框內圖框，解碼該第一框內圖框以產生一第一經解碼圖框，在一第二編碼器例項(9)中編碼該第一經解碼圖框以產生一第一輸出視訊圖框。亦揭示一種數位視訊編碼系統(3)以及包括此一系統之一攝影機，及用於執行該方法之一電腦程式產品。

Description

視訊編碼方法及視訊編碼器系統
本發明係關於視訊編碼之領域。
在數位視訊系統(諸如網路攝影機監視系統)中，使用各種視訊編碼方法在傳輸之前壓縮視訊序列。在許多數位視訊編碼系統中，兩個主要模式用於壓縮一序列視訊圖框之視訊圖框：框內模式(intra mode)及框間模式(inter mode)。在框內模式中，藉由經由預測、變換及熵編碼來利用於一單一圖框之一給定通道中的像素之空間冗餘而編碼照度及色度通道。經編碼圖框稱作框內圖框(intra-frame)，且亦可指稱I圖框。在一框內圖框內，於框內模式中編碼像素之區塊(亦指稱巨集區塊)，意謂其等參考相同影像圖框內之一類似區塊編碼或無參考原始編碼。框間模式反而利用分開之圖框之間的時域冗餘，且依賴於一運動補償預測技術，其藉由編碼針對選定像素之區塊自一個圖框至另一圖框在像素中之運動而預測來自一或多個先前圖框之一圖框之部分。經編碼圖框稱作框間圖框(inter-frame)，且可指稱P圖框(正向預測圖框)，其可係指依解碼順序之先前圖框，或B圖框(雙向預測圖框)，其等可係指兩個或兩個以上先前經解碼圖框，且可具有用於預測之圖框之任何任意顯示順序關係。在一框間圖框內，像素之區塊(亦指稱巨集區塊)可依框間模式編碼，意謂其等可參考一先前經解碼影像中之一類似區塊編碼，或依框內模式編碼，意謂其等可參考相同影像圖框內之一類似區塊編碼或無參考原始編碼。 有時，在經捕獲影像中存在許多雜訊。在低光條件(諸如黃昏或黎明時)中尤其係此情況。在此等低光條件中，需要長曝光時間及高增益，導致經增加雜訊，或換言之一降低信號雜訊比(SNR)。由於雜訊之一顯著部分係動態的，所以其將自一個圖框至另一圖框改變。此針對圖框間編碼(inter-frame encoding)存在挑戰，此係因為雜訊將意謂即使在待編碼之一影像中之一特定巨集區塊描繪經捕獲場景之相同部分為用作參考圖框之一先前經編碼及經解碼影像圖圖框中之對應巨集區塊，該巨集區塊亦將呈現不同。此可當編碼巨集區塊時導致大剩餘，其繼而暗示一高輸出位元率。外觀之不同亦可使在參考圖框中找到待參考之一合適巨集區塊更困難，導致一更久搜尋。有時，在預定搜尋型樣結束之前未找到匹配巨集區塊，使得當前巨集區塊必須以框內模式編碼，亦導致一經增加輸出位元率。 因此，關注於在編碼之前減小影像中之雜訊量。展示各種解決方案，其中在編碼之前空間及/或時域雜訊濾波器應用至影像。許多此等解決方案可導致滿意結果，但一些計算太密集，且不可用於即時編碼，諸如為監視或監控目的。因此，仍需要減小雜訊對編碼之影響的方法及系統。
本發明之一目的係提供一種編碼對應於一序列輸入視訊圖框之數位視訊資料的方法，其減小雜訊，使得編碼可被更有效地執行。另一目的係提供一種數位視訊編碼系統，其實現編碼且無與上文所描述之雜訊相關聯的缺點。 根據一第一態樣，藉由一種編碼對應於一序列輸入視訊圖框之數位視訊資料的方法完全或至少部分達成此等及其他目的，其中該等輸入視訊圖框經編碼成一序列輸出視訊圖框，該方法包括：在一第一編碼器例項中，使用圖框內編碼(intra-frame encoding)來編碼一第一輸入視訊圖框以產生一第一框內圖框；解碼該第一框內圖框以產生一第一經解碼圖框；在一第二編碼器例項中，編碼該第一經解碼圖框以產生一第一輸出視訊圖框。該序列之輸出視訊圖框亦可指稱一經編碼視訊串流。執行於該第一編碼器中之該編碼減小該等輸入視訊圖框之高頻分量，意謂在經輸入至該第二編碼器之該等經解碼影像圖框中存在較少雜訊。就在經輸入至該編碼器之該等影像圖框中較少雜訊而言，依圖框間編碼來編碼的剩餘者將更小。進一步言之，搜尋匹配區塊可更快，此係因為雜訊將不製造巨集區塊，該等巨集區塊描繪經捕獲場景的相同部分呈現不同於由該場景之改變所引起。因此，針對一靜態場景，待編碼之一巨集區塊將基本上呈現相同於該參考影像中之對應巨集區塊。進一步言之，即使在該場景中存在移動，搜尋一匹配區塊可更可能成功，此係因為該雜訊將不添加該參考圖框與該當前圖框之間的人為差。因此，增加編碼框間圖框之區塊作為框間編碼區塊而非框內編碼區塊的可能性。 該第一編碼器例項可為一JPEG編碼器。JPEG編碼大體上不需要複雜硬體，此係因為其並非計算密集。 替代地，該第一編碼器例項可為一基於區塊之混合編碼器，諸如一H.264或H.265編碼器。若該第二編碼器亦為相同類型，則此可特別有利。該兩個編碼器可接著工作朝向相同頻率回應。 該基於區塊之混合編碼器可解碼該第一框內圖框以產生呈可用於圖框間編碼之一第一參考圖框之形式的該第一經解碼圖框。因此，該第一編碼器可操作為正常完成之一基於區塊的混合編碼器，除該等輸出經編碼影像並不是用於儲存或傳輸的該等影像外。 根據一實施例，於該第二編碼器例項中使用圖框內編碼或圖框間編碼來編碼該第一經解碼圖框。依此方式，可產生具包含一框內圖框接著零個或更多框間圖框之群組之圖片之一輸出視訊序列，因此實現位元率有效傳輸。 在一實施例中，該第一編碼器例項使用一第一壓縮比來編碼該第一視訊輸入圖框，且該第二編碼器例項使用一第二壓縮比來編碼該第一經解碼圖框，該第二壓縮比高於或等於該第一壓縮比。依此方式，在該第一編碼步驟中可犧牲小影像品質，且可自該第二編碼器獲得一低輸出位元率用於儲存及/或傳輸。 根據一第二態樣，藉由一種用於編碼對應於一序列輸入視訊圖框之視訊資料的數位視訊編碼系統來完全或至少部分達成此等及其他目的，該系統包括：一第一編碼器例項，其經配置以使用圖框內編碼來編碼該等輸入視訊圖框以產生經編碼圖框；一解碼器例項，其與該第一編碼器例項相關聯，該解碼器例項經配置以解碼該等經編碼圖框；一第二編碼器例項，其經配置以編碼該等經解碼圖框。就此一系統而言，可達成有效編碼，特別有效圖框間編碼，歸因於於該第二編碼器中待編碼之該等影像中之一經降低雜訊位準。待編碼之剩餘者可被降低，且可促進搜尋匹配區塊用於運動評估及補償。 該編碼器系統可基本上依相同於第一態樣之方法的方式來體現，而具有隨附優點。 根據一第三態樣，由一種包括根據第二態樣之一編碼系統的攝影機來完全或至少部分達成此等及其他目的。 根據一第四態樣，由一種包括具有當由一處理器執行時經調適以執行根據第一態樣之方法之指令之一電腦可讀儲存媒體的電腦程式產品來完全或至少部分達成此等及其他目的。該處理器可為任何種類之處理器，例如一中央處理單元(CPU)、一圖形處理單元(GPU)、經實施於一積體電路中之一訂製處理裝置、一ASIC、一FPGA或包含離散組件之邏輯電路。 將自下文提出之詳細描述明白本發明之適用性之一進一步範疇。然而，應瞭解，雖然指出本發明之較佳實施例，但該等詳細描述及具體實例係僅為了說明而給出，因為熟習此項技術者將由該詳細描述知曉在本發明範圍內之各種改變及修改。 因此，應理解，本發明並不限於所描述之裝置的特定組件部分，或所描述之方法的步驟，此係因為此裝置及方法可改變。亦應理解，本文中所使用之術語係僅出於描述特定實施例之目的，且並不意指限制性。必須注意，如說明書及隨附技術方案中所使用，不定冠詞「一」、「該」及「該等」旨在意謂除非上下文另有明確規定否則存在該等元件之一或多者。因此，例如，對「一物件」或「該物件」之一引用可包含若干物件及類似者。此外，文字「包括」並不排除其他元件或步驟。
圖1繪示由一攝影機2監視之一場景1。由攝影機2捕獲之影像在傳輸至(例如)一控制中心之前經編碼，其中一操作者或一警衛可觀看經監視場景之所顯示影像。在編碼之後，該等影像亦可本端地儲存於諸如攝影機2中之一SD卡上或遠端地儲存於諸如該控制中心中之一伺服器上。 當使用一影像感測器來捕獲影像時，一些雜訊總是存在於來自該感測器之信號中。此雜訊之一些係空間的，諸如固定圖案雜訊，而該雜訊之一些係時域的，諸如重設雜訊及熱雜訊。該空間雜訊自一個影像圖框至下一個保持一樣，但該時域雜訊按定義自一個圖框至下一者不同。當使用圖框間編碼來編碼一影像圖框時，此呈現一問題，此係因為圖框間編碼依賴於參考用作一參考圖框之一先前經編碼及經解碼影像圖框。若自一第一圖框之捕獲的時間至一第二隨後圖框之捕獲的時間實際上在該場景中無改變或是非常小的改變，則使用圖框內編碼來編碼可為非常有效的，此係因為該第二圖框中之大多數巨集區塊將看上去像該第一圖框中之對應區塊。然而，時域雜訊將利用非源於該經捕獲場景中之該第一影像與該第二影像之間的差。如此申請案之[先前技術]部分中所討論，此雜訊可導致增加之輸出位元率，以及更久搜尋匹配巨集區塊。 當搜尋待用於圖框間編碼之一匹配區塊時，若該參考圖框中之一區塊將被視作足夠類似於該當前影像中待編碼之待用作參考區塊的區塊，則該當前影像圖框中之區塊與該參考圖框中之潛在區塊之間的差必須低於一預定類似臨限值。該差可(例如)被表達為一絕對差總和(SAD)。藉由在該當前影像圖框中之一像素與該參考圖框中之一比較區塊中之一對應像素之間取得絕對差並針對該區塊中之所有像素計算所有此等差之一總和來計算該SAD。因此，該SAD可表達如下：
Figure 02_image001
此處，N係所研究區塊中之像素的數目，Vc,n 係該當前影像圖框中之像素n的像素值，且Vr,n 係該參考圖框中之對應像素n的像素值。時域雜訊將導致一增加之SAD。 若其中搜尋開始之該區塊笨視作類似於待編碼之區塊，則此第一區塊係用作參考區塊。 在另一方面，若其中搜尋開始之該區塊與待編碼之該區塊大大不同(即，若該SAD係高於該預定臨限值)，則該搜尋繼續至另一區塊。由用於該搜尋之一搜尋型樣來判定哪一區塊待繼續。一般而言，針對該搜尋繼續多遠存在一限制設定。若當到達該搜尋型樣限制時發現無類似區塊，則不以框間模式來編碼待編碼之區塊，而是替代地以框內模式來編碼。 於經捕獲影像圖框中大體上總是存在雜訊，但當需要長曝光時間及使用一高增益時，若影像係以低光條件(諸如在黃昏或黎明時)捕獲則其變得更明顯。雜訊在高溫處亦變得更明顯，此係因為影像感測器中之許多雜訊源被經提高之溫度惡化。根據本發明，可使用將在下文進一步描述之一方法及/或一數位視訊編碼系統來減小該雜訊的影響。 圖2係一數位視訊編碼系統3之一實施例之一方塊圖。源自影像感測器且由預處理程序(諸如Bayer圖案取樣、數位視訊資料、馬賽克、清晰化、增加對比度、色調映射、色彩校正、模糊及HDR合併)預處理之數位視訊資料係經由一影像輸入4提供至一第一編碼器5。第一編碼器5可(例如)為一H.264合規編碼器，但根據本發明經控制以便僅使用圖框內編碼來編碼影像圖框。該等框內圖框被傳遞至與第一編碼器5相關聯之一第一解碼器6，如通常針對產生用於隨後影像圖框之圖框間編碼的參考圖框所進行。因此，針對各輸入影像圖框，產生一對應經編碼及經解碼參考圖框。然而，根據本發明，該等經編碼圖框內自身不被傳輸至該控制中心用於顯示或儲存。替代地，該等經編碼圖框內可僅僅被丟棄，如藉由圖2中之箭頭7象徵。 該等經解碼圖框或參考圖框自第一解碼器6被傳遞至一第二編碼器9之一輸入8。該第二編碼器可類似於或甚至同等於第一編碼器5，但可使用不同參數來控制，使得第二編碼器9編碼一更常見視訊串流，其中圖片群組(GOP)含有框內圖框以及框間圖框。如所知，來自第二編碼器9之該等經編碼影像被傳遞至一相關聯第二解碼器10，用於解碼以形成參考圖框以供在經使用於隨後影像圖框之框間模式編碼中使用，且同時自第二編碼器9透過一輸出11輸出該等經編碼影像。該等輸出視訊圖框可係本端儲存及/或被傳輸至一遠端位置(諸如一控制中心)，在遠端位置處，可觀察及/或儲存該等輸出視訊圖框。 編碼器系統3可被整合於一攝影機中，諸如圖1中所指示之攝影機2。替代地，編碼器系統3可經操作地連接至一攝影機之一分開的單元。 儘管上文已結合發明性編碼系統之一實施例之描述來描述發明性方法之一變體，但現亦將參考圖3來描述該方法之一變體。 圖3係繪示本發明之編碼方法之一變體的一流程圖。在一第一步驟101中，接收對應於一第一視訊圖框或影像圖框之數位視訊資料。接著，在步驟102中，於一第一編碼器中編碼該第一影像圖框作為一第一框內圖框，即，不參考任何其他影像圖框。在步驟103中解碼該框內圖框，如所知用於形成一第一參考圖框。該未經解碼框內圖框自身未被使用，而是可丟棄。在步驟104中，於一第二編碼器中編碼該經解碼圖框(即，該第一參考圖框)。該第二編碼器經配置以產生框內圖框以及框間圖框，因此一GOP中之該第一圖框將編碼為一框內圖框，且隨後圖框將編碼為框間圖框，直至一新的GOP開始。在步驟105中，該經編碼圖框經輸出為一輸出視訊圖框，其可本端儲存及/或傳輸別處用於顯示及/或儲存。 圖3中所繪示之程序經重複用於隨後輸入視訊圖框以便產生一經編碼視訊串流。因此，一第二輸入視訊圖框經接收並接著於該第一編碼器中予以編碼為一框內圖框。此第二框內圖框經解碼以形成一第二參考圖框。該第二參考圖框傳遞至該第二編碼器，而該第二框內圖框自身被丟棄。在該第二編碼器中，該第二參考圖框經編碼為一框內圖框或一框間圖框，此取決於當前GOP長度及該圖框經定位至該GOP多遠。因此，若該第二圖框不開始一新的GOP，則其將經編碼為一框間圖框。 取決於輸入視訊圖框率，程序過程中無需一直通過該第一輸入視訊圖框且當接收一第二輸入視訊圖框時輸出該第一輸入視訊圖框作為一經編碼圖框。正由該第一編碼器處理該第二圖框同時，可由該第二編碼器妥善處理該第一圖框，使得該兩個編碼器可說是聯合地操作。藉此，由本發明之編碼方法未加入任何延遲。 參考圖2以及圖3，第一編碼器5可經控制以使用一第一壓縮比，且第二編碼器9可經控制以使用一第二壓縮比，該第二壓縮比高於或等於該第一壓縮比。因此，由該第一編碼器編碼之框內圖框之影像品質將高於或等於自第二編碼器輸出之視訊圖框之影像品質。例如，若第一編碼器5及第二編碼器9兩者皆係H.264編碼器，則第一編碼器5可使用一第一量化參數QP1 且第二編碼器9可使用一第二量化參數QP2 。僅作為實例，QP1 可為10且QP2 可為15。 由於該第一編碼器使用一第一壓縮比且僅編碼框內圖框，所以該第一編碼器之輸出位元率可為高的。此仍不造成一問題，此係因為該第一編碼器之輸出不意欲傳輸用於觀察或儲存，而是僅用於產生接著於該第二編碼器中編碼之參考圖框。由於該第二編碼器使用之一壓縮比至少與由該第一編碼器使用之一壓縮比一樣高，所以該第二編碼器之輸出位元率可低於來自該第一編碼器之輸出位元率。而且，可藉由除使用框內圖框外亦使用框間圖框而顯著地降低該第二編碼器之輸出位元率。 藉由在圖框內編碼期間在該第一編碼器中完成之量化，移除該視訊資料之高頻率分量，意謂移除雜訊。因此，在該第二編碼器中完成之該編碼可因為一些原因更有效。當移除時域雜訊時，描繪在兩個相繼視訊圖框中之一場景之相同靜態部分之巨集區塊將更加類似，藉此導致更小剩餘者待編碼。進一步言之，搜尋該參考圖框中之一匹配區塊可更快速，此係因為在對應巨集區塊中自一個圖框至下一圖框存在較少變化。此亦意謂更可能的是，在該搜尋達到針對該搜尋型樣之限制設定之前，找到一匹配巨集區塊，因此增加編碼一框間圖框中之一巨集區塊作為一框間編碼區塊而不作為一框內編碼區塊之可能性。 將瞭解，熟習此項技術者可依許多方式修改上文所描述實施例且仍使用本發明之優點，如上文實施例中所展示。作為一實例，該第一編碼器僅需能夠編碼框內圖框，而無需能夠編碼其他者，且該第一編碼器可(例如)為一JPEG編碼器。替代地，該第一編碼器及該第二編碼器可基本上係相等的，但使用不同參數控制，使得該第一編碼器僅編碼框內圖框，且該第二編碼器編碼框內圖框以及框間圖框。 該編碼器系統可體現為軟體、韌體、硬體或其等之一組合。該第一編碼器及該第二編碼器可(例如)體現為運行於一個且相同處理器上之軟體且無需為分開之單元。該等編碼器因此亦指稱一第一編碼器例項及一第二編碼器例項。 本發明係可應用於任何基於區塊之混合編碼解碼器，例如一H.264、H.265、MPEG-4 Part 2或VP9編碼解碼器。 在上文實例中，該第一解碼器經描述為與該第一編碼器相關聯。可注意到，若該第一編碼器係一基於區塊之混合編碼器，則該第一解碼器係有利地整合於該第一編碼器中，如技術中所熟知以便避免藉由四捨五入等所導致之偏移。然而，亦可具有一分開之第一解碼器。若該第一編碼器係一JPEG編碼器，則此特別成立，此係因為一JPEG編碼器不正常地產生參考圖框。 由該第一編碼器執行之該程序步驟無需嚴格地為一編碼步驟。而是，可執行減小該等輸入視訊圖框之空間複雜性之另一程序。例如，可執行該等輸入視訊圖框之一量化，且接著一解量化或逆量化可經執行用於提供該輸入至該第二編碼器。 在上文實例中，本發明結合一攝影機描述。該攝影機可為一監視攝影機。進一步言之，該攝影機可為任何類型之攝影機(例如，利用可見光之一攝影機，一IR攝影機或一熱攝影機)。該攝影機可為一數位攝影機，但本發明亦可與類似攝影機一起使用。在此情況下，來自一類似攝影機之影像可使用一數位單元經轉換成數位格式。 代替在一攝影機中，捕獲影像圖框之影像感測器可配置於另一類型影像捕獲裝置中。 亦可由一可見光感測器、一熱感測器、一飛行時間感測器或能夠產生待使用圖框內視訊壓縮技術編碼及圖框間視訊壓縮技術編碼之影像圖框之資訊代表的其他類型之影像產生感測器來產生影像。 因此，本發明不應限於所展示之實施例，而是應僅藉由隨附申請專利範圍定義。
1‧‧‧場景2‧‧‧攝影機3‧‧‧數位視訊編碼系統4‧‧‧影像輸入5‧‧‧第一編碼器例項6‧‧‧第一解碼器7‧‧‧箭頭8‧‧‧輸入9‧‧‧第二編碼器例項10‧‧‧第二解碼器11‧‧‧輸出101‧‧‧第一步驟102‧‧‧步驟103‧‧‧步驟104‧‧‧步驟105‧‧‧步驟
現將藉由實例且參考隨附示意圖更詳細描述本發明，其中： 圖1係由一攝影機捕獲之一場景之一視圖， 圖2係一數位視訊編碼系統之一實施例之一方塊圖；及 圖3係展示發明性方法之一變體之一流程圖。
3‧‧‧數位視訊編碼系統
4‧‧‧影像輸入
5‧‧‧第一編碼器例項
6‧‧‧第一解碼器
7‧‧‧箭頭
8‧‧‧輸入
9‧‧‧第二編碼器例項
10‧‧‧第二解碼器
11‧‧‧輸出

Claims (19)

  1. 一種編碼對應於一序列輸入視訊圖框之數位視訊資料的方法，其中該等輸入視訊圖框經編碼成一序列輸出視訊圖框，該方法包括：在一第一編碼器例項(instance)(5)中，使用圖框內編碼(intra-frame encoding)(102)來編碼一第一輸入視訊圖框以產生一第一框內圖框(intra-frame)，解碼(103)該第一框內圖框以產生一第一經解碼圖框，在一第二編碼器例項(9)中，編碼(104)該第一經解碼圖框以產生一第一輸出視訊圖框。
  2. 如請求項1之方法，進一步包括在用於顯示之前，丟棄該經編碼第一框內圖框。
  3. 如請求項1或2之方法，進一步包括在該第一編碼器例項(5)中使用圖框內編碼來編碼一第二輸入視訊圖框以產生一第二框內圖框，解碼該第二框內圖框以產生一第二經解碼圖框，在該第二編碼器例項(9)中，編碼該第二經解碼圖框以產生一第二輸出視訊圖框，其中編碼該第一經解碼圖框以產生該第一輸出視訊圖框之該動作(act)係與編碼該第二輸入視訊圖框以產生該第二框內圖框之該動作聯合地(in tandem with)執行。
  4. 如請求項3之方法，進一步包括在用於顯示之前，丟棄該經編碼第二框內圖框。
  5. 如請求項1之方法，其中該第一編碼器例項(5)係一JPEG編碼器。
  6. 如請求項1之方法，其中該第一編碼器例項(5)係一基於區塊之混合編碼器。
  7. 如請求項6之方法，其中該第一編碼器例項(5)解碼該第一框內圖框以產生呈可用於圖框間編碼之一第一參考圖框之形式之該第一經解碼圖框。
  8. 如請求項1之方法，其中於該第二編碼器例項(9)中使用圖框內編碼或圖框間編碼來編碼該第一經解碼圖框。
  9. 如請求項1之方法，其中該第一編碼器例項(5)使用一第一壓縮比來編碼該第一視訊輸入圖框，且其中該第二編碼器例項(9)使用一第二壓縮比來編碼該第一經解碼圖框，該第二壓縮比高於或等於該第一壓縮比。
  10. 一種用於編碼對應於一序列輸入視訊圖框之視訊資料的數位視訊編碼器系統，該系統(3)包括：一第一編碼器例項(5)，其經配置以使用圖框內編碼來編碼該等輸入視訊圖框以產生經編碼圖框，一解碼器例項(6)，其與該第一編碼器例項相關聯，該解碼器例項(6) 經配置以解碼該等經編碼圖框，一第二編碼器例項(9)，其經配置以編碼該等經解碼圖框。
  11. 如請求項10之編碼器系統，其中該第一編碼器例項(5)經組態以在該解碼器例項(6)已解碼該等經編碼圖框之後丟棄該等經編碼圖框。
  12. 如請求項10或11之編碼器系統，其中該第一編碼器例項(5)及該第二編碼器例項(9)經組態以聯合地工作。
  13. 如請求項10之編碼器系統，其中該第一編碼器例項(5)係一JPEG編碼器。
  14. 如請求項10之編碼器系統，其中該第一編碼器例項(5)係一基於區塊之混合編碼器。
  15. 如請求項14之編碼器系統，其中該解碼器例項(6)經配置以解碼該等框內圖框，以產生呈可用於圖框間編碼之參考圖框之形式的經解碼圖框。
  16. 如請求項10之編碼器系統，其中該第二編碼器例項(9)能夠使用圖框內編碼及圖框間編碼來編碼該等經解碼圖框。
  17. 如請求項10之編碼器系統，其中該第一編碼器例項(5)經配置以使用一第一壓縮比來編碼該等視訊輸入圖框，且其中該第二編碼器例項(9)經 配置以使用一第二壓縮比來編碼該等經解碼圖框，該第二壓縮比高於或等於該第一壓縮比。
  18. 一種攝影機，其包括如請求項10之一數位視訊編碼器系統(3)。
  19. 一種電腦程式產品，其包括具經調適以執行請求項1之方法之指令之一電腦可讀儲存媒體。
TW106103132A 2016-01-28 2017-01-26 視訊編碼方法及視訊編碼器系統 TWI759280B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16153161.1A EP3200456A1 (en) 2016-01-28 2016-01-28 Video encoding method and video encoder system for temporal noise reduction
EP16153161.1 2016-01-28

Publications (2)

Publication Number Publication Date
TW201728172A TW201728172A (zh) 2017-08-01
TWI759280B true TWI759280B (zh) 2022-04-01

Family

ID=55299253

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106103132A TWI759280B (zh) 2016-01-28 2017-01-26 視訊編碼方法及視訊編碼器系統

Country Status (6)

Country Link
US (1) US10341675B2 (zh)
EP (1) EP3200456A1 (zh)
JP (1) JP2017163533A (zh)
KR (1) KR20170090355A (zh)
CN (1) CN107018413A (zh)
TW (1) TWI759280B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107454416B (zh) * 2017-09-12 2020-06-30 广州酷狗计算机科技有限公司 视频流发送方法和装置
EP3503548B1 (en) * 2017-12-19 2019-10-23 Axis AB Video encoding method and system
EP3547684B1 (en) * 2018-03-28 2020-02-26 Axis AB Method, device and system for encoding a sequence of frames in a video stream
EP3579553B1 (en) * 2018-06-05 2020-05-20 Axis AB A method, controller, and system for encoding a sequence of video frames
EP3591972A1 (en) * 2018-07-02 2020-01-08 Axis AB Method and system for encoding video with overlay
EP3745706B1 (en) * 2019-05-29 2021-06-30 Axis AB System and method for video processing with picture stabilization and predictive compression
US12101492B2 (en) * 2021-06-23 2024-09-24 Black Sesame Technologies Inc. Unprocessed image coding and decoding
US12339902B2 (en) * 2021-10-05 2025-06-24 Mellanox Technologies, Ltd Hardware accelerated video encoding
CN119854508B (zh) * 2025-01-15 2025-12-19 杭州萧山国际机场有限公司 一种机场监控视频传输方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198851A1 (en) * 2012-12-17 2014-07-17 Bo Zhao Leveraging encoder hardware to pre-process video content
US8948529B1 (en) * 2012-10-30 2015-02-03 Google Inc. Multi-pass encoding

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0523939B1 (en) * 1991-07-15 1998-10-07 Canon Kabushiki Kaisha Image encoding
KR950014858B1 (ko) * 1993-06-04 1995-12-16 대우전자주식회사 디지탈 영상 기록장치
US5990955A (en) 1997-10-03 1999-11-23 Innovacom Inc. Dual encoding/compression method and system for picture quality/data density enhancement
JP2000059731A (ja) * 1998-08-07 2000-02-25 Matsushita Electric Ind Co Ltd 映像編集装置
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
FI114527B (fi) * 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
CN100401778C (zh) * 2002-09-17 2008-07-09 弗拉迪米尔·切佩尔科维奇 具有高压缩率和最小必需资源的快速codec
US20050036548A1 (en) 2003-08-12 2005-02-17 Yong He Method and apparatus for selection of bit budget adjustment in dual pass encoding
US7512182B2 (en) 2004-08-30 2009-03-31 General Instrument Corporation Method and apparatus for performing motion compensated temporal filtering in video encoding
KR100656645B1 (ko) * 2004-12-22 2006-12-11 엘지전자 주식회사 동영상 부호화 장치와 방법
CN101237587A (zh) * 2007-02-02 2008-08-06 中兴通讯股份有限公司 一种视频序列的编码方法及采用其的差错控制系统
JP2010206412A (ja) 2009-03-02 2010-09-16 Olympus Corp 画像処理装置、方法、プログラム、および撮像システム
US8908984B2 (en) * 2009-10-05 2014-12-09 I.C.V.T. Ltd. Apparatus and methods for recompression of digital images
EP2647202A1 (en) * 2010-12-01 2013-10-09 iMinds Method and device for correlation channel estimation
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
JP2012195810A (ja) * 2011-03-17 2012-10-11 Sony Corp 画像処理装置及び方法、並びにプログラム
EP2536143B1 (en) * 2011-06-16 2015-01-14 Axis AB Method and a digital video encoder system for encoding digital video data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8948529B1 (en) * 2012-10-30 2015-02-03 Google Inc. Multi-pass encoding
US20140198851A1 (en) * 2012-12-17 2014-07-17 Bo Zhao Leveraging encoder hardware to pre-process video content

Also Published As

Publication number Publication date
EP3200456A1 (en) 2017-08-02
KR20170090355A (ko) 2017-08-07
US10341675B2 (en) 2019-07-02
CN107018413A (zh) 2017-08-04
US20170223369A1 (en) 2017-08-03
JP2017163533A (ja) 2017-09-14
TW201728172A (zh) 2017-08-01

Similar Documents

Publication Publication Date Title
TWI759280B (zh) 視訊編碼方法及視訊編碼器系統
CN103250182B (zh) 用于色调映射hdr数据视频流的方法和系统
US8681866B1 (en) Method and apparatus for encoding video by downsampling frame resolution
US9332279B2 (en) Method and digital video encoder system for encoding digital video data
JP5869047B2 (ja) デジタルビデオデータを符号化するための方法
WO2009074089A1 (fr) Procédé et appareil de codage ou de décodage d'image ou de mode d'image, et système de codage et de décodage d'image
TWI776867B (zh) 用於編碼視訊串流之方法、視訊編碼器及視訊攝影機
TWI763983B (zh) 用於編碼在一視訊流中之一序列視框之方法、裝置及系統
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
CN108632527B (zh) 控制器、摄像机以及用于控制摄像机的方法
CN108076342B (zh) 用于编码视频的方法和编码器系统
KR20160109617A (ko) 디지털 비디오의 디코딩 장치
TWI863182B (zh) 用於將一個額外影像圖框或一序列之額外影像圖框增加至經編碼影像圖框之一串流的系統及方法
CN100466733C (zh) 对移动通信终端的运动图像进行编码的系统和方法
Hung et al. Blocking-effect reduction in a reversed-complexity video codec based on a mixed-quality framework
Mishra et al. Video Compression Using MPEG
JP5067492B2 (ja) デジタル動画像記録装置
Li et al. Distributed Video Coding with Background Modeling for Wireless Video Surveillance