JP2012147332A - 符号化装置および符号化方法、並びに復号装置および復号方法 - Google Patents

Abstract

【課題】イントラ予測を行う場合の符号化効率を向上させる。
【解決手段】候補予測画像生成部４１は、符号化対象の画像のうちのPUに対して複数のイントラ予測モードのイントラ予測処理を行い、予測画像を生成する。予測モード判定部４３は、イントラ予測処理の対象のPUの最適イントラ予測モードを判定する。MostProbableMode生成部５１は、周辺最適イントラ予測モードを用いてMostProbableModeを生成する。差分モード生成部５２は、イントラ予測処理の対象のPUの最適イントラ予測モードの番号とMostProbableModeの差分を示す最適差分イントラ予測モード情報を生成する。イントラスキップ判定部４５は、最適差分イントラ予測モード情報を伝送する。本技術は、例えば、符号化装置に適用することができる。
【選択図】図２

Description

本技術は、符号化装置および符号化方法、並びに復号装置および復号方法に関し、特に、イントラ予測を行う場合の符号化効率を向上させることができるようにした符号化装置および符号化方法、並びに復号装置および復号方法に関する。

近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するMPEG（Moving Picture Experts Group phase）などの方式を採用して画像を圧縮符号する装置が普及しつつある。

特に、MPEG2（ISO/IEC 13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2圧縮方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

このMPEG2は主として放送用に適合する高画質符号化を対象としていたが、MPEG1より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していない。しかしながら、携帯端末の普及により、今後、そのような符号化方式のニーズは高まると思われ、これに対応してMPEG4符号化方式の標準化が行われた。例えば、MPEG4の画像符号化方式に関しては、1998年12月にISO/IEC 14496-2として、その規格が国際標準に承認されている。

更に、近年、テレビ会議用の画像符号化を目的として、H．26L (ITU-T Q6/16 VCEG(Video Coding Expert Group)）という標準の規格化が進んでいる。H．26LはMPEG2やMPEG4といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、MPEG4の活動の一環として、このH．26Lをベースに、H．26Lではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。これは、2003年3月にH．264/MPEG-4 Part10 Advanced Video Coding（以下H．264/AVCという）という名で国際標準となっている。

更に、その拡張として、RGBや4:2:2、4:4:4といった業務用に必要な符号化ツールや、MPEG-2で規定されていた8×8DCT（Discrete Cosine Transform）や量子化マトリクスをも含んだH．264/AVC FRExt(Fidelity Range Extension)の標準化が、2005年2月に完了している。これにより、H．264/AVC方式は、映画に含まれるフィルムノイズをも良好に表現することが可能な符号化方式となり、Blu-Ray Discのアプリケーション等の幅広いアプリケーションに採用される運びとなった。

しかしながら、昨今、ハイビジョン画像の４倍の、4000×2000画素程度の画像を圧縮したい、あるいは、インターネットのような限られた伝送容量の環境においてハイビジョン画像を配信したいといった、更なる高圧縮率符号化に対するニーズが高まっている。このため、ITU-T傘下のVCEGにおいて、符号化効率の改善に関する検討が継続して行われている。

ところで、H．264/AVC方式の輝度信号のイントラ予測モードには、９種類の４×４イントラ予測モードおよび８×８イントラ予測モード、並びに４種類の１６×１６イントラ予測モードがあり、色差信号のイントラ予測モードには、４種類の８×８イントラ予測モードがある。輝度信号の４×４イントラ予測モードおよび８×８イントラ予測モードについては、４×４画素および８×８画素の輝度信号のブロック毎に１つのイントラ予測モードが定義される。輝度信号の16×16イントラ予測モードと色差信号のイントラ予測モードについては、１つのマクロブロックに対して１つの予測モードが定義される。

また、H．264/AVC方式では、4000×2000画素といった、より高解像度の画像に対しては、マクロブロックのサイズを32×32画素、64×64画素等に拡張して符号化処理を行うことで、符号化効率を向上させることが可能である。マクロブックの拡張をイントラスライスに適用した例については、例えば非特許文献１に記載されている。

一方、現在、H．264/AVCより更に符号化効率を向上させることを目的として、ITU-Tと、ISO/IECの共同の標準化団体であるJCTVC(Joint Collaboration Team Video Coding)により、HEVC（High Efficiency Video Coding）と呼ばれる符号化方式の標準化が進行しており、2010年9月現在、ドラフトとして、非特許文献２が発行されている。

HEVC方式では、H.264/AVC方式に比べてイントラ予測モードのモード数が増加しており、イントラ予測モードの最大モード数は34である。また、HEVC方式において、H．264/AVC方式と同様に、MostProbableModeとイントラ予測処理の対象のブロックのイントラ予測モードが一致する場合、一致することを示すフラグを画像圧縮情報に含め、一致しない場合、イントラ予測モードそのものを画像圧縮情報に含めることが提案されている。なお、MostProbableModeとは、イントラ予測処理の対象のブロックの周辺ブロックのイントラ予測モードのうちの最も小さいものである。

"Intra coding using extended block size",VCEG-AL28,2009年7月 "Test Model under Consideration",JCTVC-B205,21-28 July,2010

しかしながら、HEVC方式のようにイントラ予測モードのモード数が多い方式では、MostProbableModeとイントラ予測処理の対象のブロックのイントラ予測モードが一致する確率は低い。従って、MostProbableModeとイントラ予測処理の対象のブロックのイントラ予測モードが一致しない場合にイントラ予測モードそのものが画像圧縮情報に含められると、符号化効率が低下する。

本技術は、このような状況に鑑みてなされたものであり、イントラ予測を行う場合の符号化効率を向上させることができるようにするものである。

本技術の第１の側面の符号化装置は、符号化対象ブロックの周辺ブロックの最適イントラ予測モードを用いて、前記符号化対象ブロックの最適イントラ予測モードの予測値を生成する予測値生成部と、前記符号化対象ブロックの最適イントラ予測モードと、前記予測値生成部により生成された前記符号化対象ブロックの最適イントラ予測モードの予測値の差分を生成する差分生成部と、前記差分生成部により生成された前記差分を伝送する伝送部とを備える符号化装置である。

本技術の第１の側面の符号化方法は、本技術の第１の側面の符号化装置に対応する。

本技術の第１の側面においては、符号化対象ブロックの周辺ブロックの最適イントラ予測モードを用いて、前記符号化対象ブロックの最適イントラ予測モードの予測値が生成され、前記符号化対象ブロックの最適イントラ予測モードと、前記符号化対象ブロックの最適イントラ予測モードの予測値の差分が生成され、前記差分が伝送される。

本技術の第２の側面の復号装置は、符号化装置から送信されてくる、復号対象ブロックの最適なイントラ予測モードと、前記復号対象ブロックの周辺ブロックの最適なイントラ予測モードを用いて生成された前記復号対象ブロックの最適なイントラ予測モードの予測値との差分を受信する受信部と、前記周辺ブロックの最適なイントラ予測モードを用いて、前記復号対象ブロックの最適なイントラ予測モードの予測値を生成する予測値生成部と、前記受信部により受信された前記差分と、前記予測値生成部により生成された前記復号対象ブロックの最適なイントラ予測モードの予測値を演算することにより、前記復号対象ブロックの最適なイントラ予測モードを生成するイントラ予測モード生成部とを備える復号装置である。

本技術の第２の側面の復号方法は、本技術の第２の側面の復号装置に対応する。

本技術の第２の側面においては、符号化装置から送信されてくる、復号対象ブロックの最適なイントラ予測モードと、前記復号対象ブロックの周辺ブロックの最適なイントラ予測モードを用いて生成された前記復号対象ブロックの最適なイントラ予測モードの予測値との差分が受信され、前記周辺ブロックの最適なイントラ予測モードを用いて、前記復号対象ブロックの最適なイントラ予測モードの予測値が生成され、前記差分と、前記復号対象ブロックの最適なイントラ予測モードの予測値が演算されることにより、前記復号対象ブロックの最適なイントラ予測モードが生成される。

なお、第１の側面の符号化装置および第２の側面の復号装置は、コンピュータにプログラムを実行させることにより実現することができる。

また、第１の側面の符号化装置および第２の側面の復号装置を実現するために、コンピュータに実行させるプログラムは、伝送媒体を介して伝送することにより、又は、記録媒体に記録して、提供することができる。

本技術の第１の側面によれば、イントラ予測を行う場合の符号化効率を向上させることができる。

また、本技術の第２の側面によれば、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 図１のイントラ予測部と予測モード符号化部の構成例を示すブロック図である。 CUを説明する図である。 イントラ予測処理を説明する第１の図である。 イントラ予測処理を説明する第２の図である。 イントラ予測モードの番号を説明する図である。 図１の符号化装置による符号化処理を説明するフローチャートである。 図１の符号化装置による符号化処理を説明するフローチャートである。 図７の予測処理の詳細を説明するフローチャートである。 本技術を適用した復号装置の構成例を示すブロック図である。 図１０のイントラ予測部と予測モード復号部の構成例を示すブロック図である。 図１０の復号装置による復号処理を説明するフローチャートである。 図１２の予測処理の詳細を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示すブロック図である。 テレビジョン受像機の主な構成例を示すブロック図である。 携帯電話機の主な構成例を示すブロック図である。 ハードディスクレコーダの主な構成例を示すブロック図である。 カメラの主な構成例を示すブロック図である。

＜一実施の形態＞
［符号化装置の一実施の形態の構成例］
図１は、本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。

図１の符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、演算部１３、直交変換部１４、量子化部１５、可逆符号化部１６、蓄積バッファ１７、逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、予測モード符号化部２５、動き予測・補償部２６、予測画像選択部２７、およびレート制御部２８により構成される。図１の符号化装置１０は、入力された画像をHEVC方式で圧縮符号化する。

具体的には、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。画面並べ替えバッファ１２は、記憶した表示の順番のフレーム単位の画像を、GOP（Group of Picture）構造に応じて、符号化のための順番に並べ替え、演算部１３、イントラ予測部２４、および動き予測・補償部２６に出力する。

演算部１３は、予測画像選択部２７から供給される予測画像と、画面並べ替えバッファ１２から出力された符号化対象の画像の差分を演算する。具体的には、演算部１３は、画面並べ替えバッファ１２から出力された符号化対象の画像から、予測画像選択部２７から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。なお、予測画像選択部２７から予測画像が供給されない場合、演算部１３は、画面並べ替えバッファ１２から読み出された画像をそのまま残差情報として直交変換部１４に出力する。

直交変換部１４は、演算部１３からの残差情報に対してDCT（Discrete Cosine Transform）,KLT（Karhunen Loeve Transform）等の直交変換を施し、直交変換の結果得られる係数を量子化部１５に供給する。

量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６に入力される。

可逆符号化部１６は、イントラ予測処理の対象のブロック（ユニット）の最適イントラ予測モードの番号と、以下の式（１）で定義されるMostProbableModeの差分を示す情報（以下、最適差分イントラ予測モード情報という）をイントラ予測部２４から取得する。

MostProbableMode=Min(Intra_4x4_pred_modeA, Intra_4x4_pred_modeB)
・・・（１）

なお、式（１）において、Intra_4x4_pred_modeAは、イントラ予測処理の対象のブロックＣの左に隣接するブロックＡの最適イントラ予測モードの番号であり、Intra_4x4_pred_modeBは、ブロックＣの上に隣接するブロックＢの最適イントラ予測モードの番号である。

式（１）によれば、ブロックＡおよびブロックＢの最適イントラ予測モードの番号のうち、より小さな番号がMostProbableModeとされる。

なお、ブロックＡおよびブロックＢは、ブロックＣの周辺のブロックであれば、隣接していなくてもよい。

また、最適インター予測モードを示す情報（以下、インター予測モード情報という）、動きベクトル、参照画像を特定するための情報などを動き予測・補償部２６から取得する。

可逆符号化部１６は、量子化部１５から供給される量子化された係数に対して、可変長符号化（例えば、CAVLC（Context-Adaptive Variable Length Coding）など）、算術符号化（例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）など）などの可逆符号化を行い、その結果得られる情報を圧縮画像とする。また、可逆符号化部１６は、最適差分イントラ予測モード情報、または、インター予測モード情報、動きベクトル、参照画像を特定する情報などを可逆符号化し、その結果得られる情報を圧縮画像に付加されるヘッダ情報とする。

なお、本実施の形態では、最適差分イントラ予測モード情報が0である場合、最適差分イントラ予測モード情報はヘッダ情報に含まれないようにするが、含まれるようにすることもできる。また、本実施の形態では、最適差分イントラ予測モード情報および直交変換部１４による直交変換の結果得られる係数が0である場合、動作モードがイントラスキップモードに設定され、圧縮画像およびヘッダ情報は生成されないようにするが、生成されるようにすることもできる。

また、可逆符号化部１６は、伝送部の一部として機能し、可逆符号化の結果得られるヘッダ情報等が付加された圧縮画像を画像圧縮情報として蓄積バッファ１７に出力し、蓄積させる。

蓄積バッファ１７は、可逆符号化部１６から供給される画像圧縮情報を、一時的に記憶し、例えば、後段の図示せぬ記録装置や伝送路などに伝送する。

また、量子化部１５より出力された、量子化された係数は、逆量子化部１８にも入力され、逆量子化された後、逆直交変換部１９に供給される。

逆直交変換部１９は、逆量子化部１８から供給される係数に対してIDCT(Inverse Discrete Cosine Transform）、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。

加算部２０は、逆直交変換部１９から供給される復号対象の画像としての残差情報と、予測画像選択部２７から供給される予測画像を加算して、局部的に復号された画像を得る。なお、予測画像選択部２７から予測画像が供給されない場合、加算部２０は、逆直交変換部１９から供給される残差情報を局部的に復号された画像とする。加算部２０は、局部的に復号された画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給して蓄積させる。

デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ２１は、その結果得られる画像をフレームメモリ２２に供給し、蓄積させる。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２６に出力される。

イントラ予測部２４は、フレームメモリ２２からスイッチ２３を介して読み出された参照画像を用いて、候補となる全てのイントラ予測モードのADI（Arbitrary Directional Intra）と呼ばれる方式のイントラ予測処理を行い、予測画像を生成する。

なお、HEVC方式では、イントラ予測の単位のサイズとして、4×4画素、8×8画素、16×16画素、32×32画素、および64×64画素が設けられている。従って、候補となるイントラ予測モードは、4×4イントラ予測モード、8×8イントラ予測モード、16×16イントラ予測モード、32×32イントラ予測モード、および64×64イントラ予測モードである。なお、以下では、輝度信号のイントラ予測モードのイントラ予測処理についてのみ説明を行うが、色差信号のイントラ予測モードのイントラ予測処理も同様に行われる。

また、イントラ予測部２４は、画面並べ替えバッファ１２から読み出された画像、予測画像等を用いて、候補となる全てのイントラ予測モードに対してコスト関数値（詳細は後述する）を算出する。そして、イントラ予測部２４は、コスト関数値が最小となるイントラ予測モードを最適イントラ予測モードに決定する。イントラ予測部２４は、最適イントラ予測モードで生成された予測画像、および、対応するコスト関数値を、予測画像選択部２７に供給する。イントラ予測部２４は、予測画像選択部２７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、最適差分イントラ予測モード情報を可逆符号化部１６に供給する。

なお、コスト関数値は、RD(Rate Distortion)コストともいわれる。コスト関数値は、例えば、http://iphome.hhi.de/suehring/tml/index.htmにおいて公開されている、JM (Joint Model)と呼ばれるH．264/AVC方式の参照ソフトウェアで定められているような、High Complexity モード、または、Low Complexity モードのいずれかの手法に基づいて算出される。

具体的には、コスト関数値の算出手法としてHigh Complexity モードが採用される場合、候補となる全ての予測モードに対して、仮に可逆符号化までが行われ、次の式（２）で表わされるコスト関数値が各予測モードに対して算出される。

Cost(Mode∈Ω)=D＋λ・R ・・・（２）

なお、式（２）において、Ωは、候補となる予測モードの全体集合、Dは、原画像と復号画像の差分エネルギー、Rは、各予測モードで符号化された場合の直交変換の係数を含んだ総符号量、λは、量子化パラメータQPの関数として与えられるラグランジュ未定乗数である。

従って、High Complexity モードにおいては、DおよびRを算出するために、各予測モードの仮の符号化を行う必要があり、演算量が多くなる。

一方、コスト関数値の算出手法としてLow Complexity モードが採用される場合、候補となる全ての予測モードに対して、復号画像の生成、および、予測モードを示す情報などのヘッダビットの算出が行われ、次の式（３）で表わされるコスト関数が各予測モードに対して算出される。

Cost(Mode∈Ω)=D＋QP2Quant(QP)・Header_Bit ・・・（３）

なお、式（３）において、Dは、原画像と予測画像の差分エネルギー、Header_Bitは、直交変換係数を含まない、動きベクトルや予測モードといったヘッダに含まれる情報に関する符号量、QP2Quantは、量子化パラメータQPの関数として与えられる関数である。

従って、Low Complexity モードにおいては、全ての予測モードに対して、予測処理を行う必要はあるが、復号画像を生成する必要はないため、仮の符号化を行う必要がない。その結果、演算量が少なくて済む。

以上のようにしてコスト関数値が求められるので、コスト関数値が最小となる予測モードで符号化処理が行われる場合、より高い符号化効率を実現することができる。

また、イントラ予測部２４は、イントラ予測処理の対象のブロック（ユニット）の周辺の符号化済みのブロックの最適イントラ予測モード（以下、周辺最適イントラ予測モードという）と、現在のイントラ予測モードの候補である候補イントラ予測モードを予測モード符号化部２５に供給する。

予測モード符号化部２５は、イントラ予測部２４から供給される周辺最適イントラ予測モードと候補イントラ予測モードを用いて、MostProbableModeと候補イントラ予測モードの番号の差分を示す差分イントラ予測モード情報を生成する。予測モード符号化部２５は、生成された差分イントラ予測モード情報をイントラ予測部２４に供給する。

動き予測・補償部２６は、候補となる全てのインター予測モードの動き予測・補償処理を行う。具体的には、動き予測・補償部２６は、画面並べ替えバッファ６２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。そして、動き予測・補償部２６は、その動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

このとき、動き予測・補償部２６は、候補となる全てのインター予測モードに対してコスト関数値を算出し、コスト関数値が最小となるインター予測モードを最適インター測モードに決定する。そして、動き予測・補償部２６は、最適インター予測モードのコスト関数値と、対応する予測画像を予測画像選択部２７に供給する。また、動き予測・補償部２６は、予測画像選択部２７から最適インター予測モードで生成された予測画像の選択が通知された場合、インター予測モード情報、対応する動きベクトル、参照画像を特定する情報などを可逆符号化部１６に出力する。

予測画像選択部２７は、イントラ予測部２４および動き予測・補償部２６から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちの、対応するコスト関数値が小さい方を、最適予測モードに決定する。このように、コスト関数値が最小となる方が最適予測モードに決定されるので、より高い符号化効率を実現することができる。また、予測画像選択部２７は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。また、予測画像選択部２７は、最適予測モードの予測画像の選択をイントラ予測部２４または動き予測・補償部２６に通知する。

レート制御部２８は、蓄積バッファ１７に蓄積された画像圧縮情報に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部１５の量子化動作のレートを制御する。

［イントラ予測部と予測モード符号化部の構成例］
図２は、図１のイントラ予測部２４と予測モード符号化部２５の構成例を示すブロック図である。

図２に示すように、イントラ予測部２４は、候補予測画像生成部４１、コスト関数値算出部４２、予測モード判定部４３、予測画像生成部４４、イントラスキップ判定部４５、およびモードバッファ４６により構成される。

イントラ予測部２４の候補予測画像生成部４１は、候補となる全てのイントラ予測モードを順に、現在のイントラ予測処理のイントラ予測モード（以下、現在イントラ予測モードという）とする。候補予測画像生成部４１は、図１のスイッチ２３を介して読み出された参照画像を用いて、符号化対象の画像のうちの所定のサイズの各ブロックに対して、現在イントラ予測モードのイントラ予測処理を行う。候補予測画像生成部４１は、その結果得られる予測画像をコスト関数値算出部４２に供給する。

コスト関数値算出部４２は、候補予測画像生成部４１から供給される予測画像と、画面並べ替えバッファ１２から供給される画像とに基づいて、上述した式（２）または（３）によりコスト関数値を求める。また、コスト関数値算出部４２は、現在イントラ予測モードを予測モード符号化部２５に供給する。さらに、コスト関数値算出部４２は、求められたコスト関数値と、予測モード符号化部２５から供給される差分イントラ予測モード情報を予測モード判定部４３に供給する。

予測モード判定部４３は、コスト関数値算出部４２から供給されるコスト関数値と差分イントラ予測モード情報を、現在イントラ予測モードに対応付けて記憶する。予測モード判定部４３は、候補となる全てのイントラ予測モードに対応付けて記憶されているコスト関数値のうちの最小値に対応するイントラ予測モードを最適イントラ予測モードと判定する。予測モード判定部４３は、最適イントラ予測モード、並びに、その最適イントラ予測モードに対応付けて記憶されている差分イントラ予測モード情報である最適差分イントラ予測モード情報およびコスト関数値を予測画像生成部４４に供給する。

予測画像生成部４４は、スイッチ２３を介して供給される参照画像を用いて、符号化対象の画像のうちの所定のサイズの各ブロックに対して、予測モード判定部４３から供給される最適イントラ予測モードのイントラ予測処理を行う。そして、予測画像生成部４４は、イントラ予測処理の結果得られる予測画像と、予測モード判定部４３から供給されるコスト関数値を予測画像選択部２７（図１）に供給する。また、予測画像生成部４４は、図１の予測画像選択部２７から最適イントラ予測モードで生成された予測画像の選択が通知された場合、予測モード判定部４３から供給される最適差分イントラ予測モード情報をイントラスキップ判定部４５に供給する。さらに、予測画像生成部４４は、最適イントラ予測モードをモードバッファ４６に供給する。

イントラスキップ判定部４５は、伝送部の一部として機能し、予測画像生成部４４から供給される最適差分イントラ予測モード情報が0ではない場合、最適差分イントラ予測モード情報を図１の可逆符号化部１６に出力する。一方、イントラスキップ判定部４５は、最適差分イントラ予測モード情報が0である場合、最適差分イントラ予測モード情報の可逆符号化部１６への出力を停止する。その結果、最適差分イントラ予測モード情報が0である場合、最適差分イントラ予測モード情報がヘッダ情報に含まれず、最適差分イントラ予測モード情報が0であり、直交変換部１４により得られる係数が0である場合、画像圧縮情報が生成されない。

モードバッファ４６は、予測画像生成部４４から供給される最適イントラ予測モードを保持する。

予測モード符号化部２５は、MostProbableMode生成部５１と差分モード生成部５２により構成される。

予測モード符号化部２５のMostProbableMode生成部５１は、周辺最適イントラ予測モードをモードバッファ４６から読み出す。MostProbableMode生成部５１は、予測値生成部として機能し、読み出された周辺最適イントラ予測モードを用いて、上述した式（１）で定義されるMostProbableModeを、イントラ予測処理の対象のブロックの最適イントラ予測モードの予測値として生成する。そして、MostProbableMode生成部５１は、MostProbableModeを差分モード生成部５２に供給する。

差分モード生成部５２は、差分生成部として機能し、MostProbableMode生成部５１から供給されるMostProbableModeと、イントラ予測部２４のコスト関数値算出部４２から供給される現在イントラ予測モードとの差分を差分イントラ予測モード情報として生成する。具体的には、差分モード生成部５２は、現在イントラ予測モードをCurrModeとしたとき、CurrMode-MostProbableModeを差分イントラ予測モード情報として生成する。そして、差分モード生成部５２は、生成された差分イントラ予測モード情報をコスト関数値算出部４２に供給する。

［HEVC方式における符号化単位の説明］
図３は、HEVC方式における符号化単位であるCoding UNIT(CU)を説明する図である。

CUは、Coding Tree Block（CTB）とも呼ばれ、H．264/AVCにおけるマクロブロックと同様の役割を果たす。具体的には、CUは、イントラ予測またはインター予測の単位であるPrediction Unit(PU)に分割されたり、直交変換の単位であるTransform Unit(TU)に分割されたりする。

但し、マクロブロックのサイズは16×16画素に固定されているのに対し、CUのサイズは、シーケンスごとに可変の、2のべき乗で表される正方形である。

図３の例では、最大のサイズのCUであるLCU(Largest Coding Unit)のサイズが128であり、最小のサイズのCUであるSCU(Smallest Coding Unit)のサイズが8である。従って、Nごとに階層化された2N×2NのサイズのCUの階層深度（depth）は0乃至4となり、階層深度数は5となる。また、2N×2NのサイズのCUは、split_flagの値が1である場合、1つ下の階層である、N×NのサイズのCUに分割される。

なお、CUのサイズを指定する情報は、画像圧縮情報にシーケンスパラメータセットとして含められる。

［イントラ予測処理の説明］
図４および図５は、図１のイントラ予測部２４によるイントラ予測処理を説明する図である。

なお、図４および図５の例では、イントラ予測のPUのサイズは8×8画素である。また、図中正方形は画素を表し、太枠は、イントラ予測処理の対象のPUを表している。

イントラ予測部２４によるADIと呼ばれる方式のイントラ予測処理では、PUのサイズが8×8画素である場合、図４に示すような33方向の水平方向または垂直方向を基準にした角度に対応するイントラ予測モードのイントラ予測処理が行われる。この場合、図５中三角が付された正方形が表す復号済みの周辺画素を用いて任意のイントラ予測モードのイントラ予測処理を行うためには、1/8画素位置単位の周辺画素が必要となる。従って、イントラ予測部２４は、イントラ予測処理において、1/8画素精度の線形内挿処理を行う。

図４および図５で示したように、HEVC方式におけるイントラ予測処理のイントラ予測モードの数は多い。従って、従来のH．264/AVC方式に比べて、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードとが一致しない可能性が高い。

具体的には、例えば、イントラ予測モードの数が33である場合、イントラ予測モードに対応する、水平方向または垂直方向を基準にした角度のステップは、5.625°である。従って、イントラ予測処理の対象のPUの周辺のPUと、イントラ予測処理の対象のPUの、最適な予測方向の水平方向または垂直方向を基準にした角度の差が、5.625°のように小さい場合であっても、HEVC方式では、MostProbableModeと最適イントラ予測モードは異なってしまう。例えば、イントラ予測処理の対象のPUの周辺のPUと、イントラ予測処理の対象のPUの、最適な予測方向の水平方向または垂直方向を基準にした角度が、それぞれ、11.25°,22.5°である場合、MostProbableModeと最適イントラ予測モードは異なる。

従って、符号化装置１０は、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードの番号の差分を示す最適差分イントラ予測モード情報を画像圧縮情報に含める。これにより、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが一致しない場合であっても、最適イントラ予測モードを示す情報の情報量を削減することができる。その結果、符号化効率が向上する。

［イントラ予測モードの番号の説明］
図６は、イントラ予測モードの番号を説明する図である。

図６に示すように、イントラ予測モードの番号（code number）は、イントラ予測の処理の対象のPUに対する予測画像の方向、即ち予測方向が隣り合うイントラ予測モードの番号が連続するように割り振られる。

これにより、MostProbableModeに対応する方向と、イントラ予測処理の対象のPUの最適イントラ予測モードに対応する方向が近い場合に、最適差分イントラ予測モード情報の情報量を削減することができる。例えば、MostProbableModeと、イントラ予測処理の対象のPUの最適イントラ予測モードに対応する、水平方向または垂直方向を基準にした角度が、それぞれ、11.25°,22.5°である場合、最適差分イントラ予測モード情報は2となる。

［符号化装置の処理の説明］
図７および図８は、図１の符号化装置１０による符号化処理を説明するフローチャートである。この符号化処理は、例えば、入力信号としてフレーム単位の画像が符号化装置１０に入力されるたびに行われる。

図７のステップＳ１１において、符号化装置１０のA/D変換部１１は、入力信号として入力されたフレーム単位の画像をA/D変換し、画面並べ替えバッファ１２に出力して記憶させる。

ステップＳ１２において、画面並べ替えバッファ１２は、記憶した表示の順番のフレームの画像を、GOP構造に応じて、符号化のための順番に並べ替える。画面並べ替えバッファ１２は、並べ替え後のフレーム単位の画像を、演算部１３、イントラ予測部２４、および動き予測・補償部２６に供給する。

なお、以下のステップＳ１３乃至Ｓ１９およびＳ２５乃至Ｓ３０の処理は、例えばCU単位で行われる。但し、参照画像が存在しない場合には、ステップＳ１３乃至Ｓ１５およびＳ２８の処理は行われず、画面並べ替えバッファ１２から出力される画像が、残差情報および局部的に復号された画像とされる。

ステップＳ１３において、符号化装置１０は、イントラ予測処理およびインター予測処理を含む予測処理を行う。この予測処理の詳細は、後述する図９を参照して説明する。

ステップＳ１４において、予測画像選択部２７は、ステップＳ１３の処理によりイントラ予測部２４および動き予測・補償部２６から供給されるコスト関数値に基づいて、最適イントラ予測モードと最適インター予測モードのうちのコスト関数値が最小となる方を、最適予測モードに決定する。そして、予測画像選択部２７は、最適予測モードの予測画像を、演算部１３および加算部２０に供給する。

ステップＳ１５において、演算部１３は、画面並べ替えバッファ１２から供給される画像から、予測画像選択部２７から供給される予測画像を減算する。演算部１３は、減算の結果得られる画像を、残差情報として直交変換部１４に出力する。

ステップＳ１６において、直交変換部１４は、演算部１３からの残差情報に対してDCT,KLT等の直交変換を施し、その結果得られる係数を量子化部１５に供給する。

ステップＳ１７において、量子化部１５は、直交変換部１４から供給される係数を量子化する。量子化された係数は、可逆符号化部１６と逆量子化部１８に入力される。

ステップＳ１８において、予測画像選択部２７は、最適予測モードが最適インター予測モードであるかどうかを判定する。ステップＳ１８で最適予測モードが最適インター予測モードであると判定された場合、予測画像選択部２７は、最適インター予測モードで生成された予測画像の選択を動き予測・補償部２６に通知する。これにより、動き予測・補償部２６は、インター予測モード情報、対応する動きベクトル、および参照画像を特定するための情報を可逆符号化部１６に出力する。

そして、ステップＳ１９において、可逆符号化部１６は、動き予測・補償部２６から供給されるインター予測モード情報、動きベクトル、および参照画像を特定するための情報を可逆符号化し、処理をステップＳ２３に進める。

一方、ステップＳ１８で最適予測モードが最適インター予測モードではないと判定された場合、即ち最適予測モードが最適イントラ予測モードである場合、予測画像選択部２７は、最適イントラ予測モードで生成された予測画像の選択をイントラ予測部２４に通知する。これにより、イントラ予測部２４の予測画像生成部４４（図２）は、ステップＳ１３の処理で予測モード判定部４３から供給される最適差分イントラ予測モード情報をイントラスキップ判定部４５に供給する。

そしてステップＳ２０において、イントラスキップ判定部４５は、PU単位で予測画像生成部４４から供給される最適差分イントラ予測モード情報が0であるかどうかを判定する。

ステップＳ２０で最適差分イントラ予測モード情報が０ではないと判定された場合、イントラスキップ判定部４５は、PU単位で、最適差分イントラ予測モード情報を可逆符号化部１６に出力し、処理をステップＳ２１に進める。

ステップＳ２１において、可逆符号化部１６は、PU単位でイントラ予測部２４から供給される最適差分イントラ予測モード情報を可逆符号化し、処理をステップＳ２３に進める。

一方、ステップＳ２０で最適差分イントラ予測モード情報が０であると判定された場合、ステップＳ２２において、可逆符号化部１６は、PU単位で、ステップＳ１６の処理で得られた係数が０であるかどうかを判定する。ステップＳ２２で係数が０ではないと判定された場合、イントラスキップ判定部４５は、PU単位で、最適差分イントラ予測モード情報の可逆符号化部１６への出力を停止し、処理をステップＳ２３に進める。

ステップＳ２３において、可逆符号化部１６は、PU単位で、量子化部１５から供給される量子化された係数を可逆符号化し、その結果得られる情報を圧縮画像とする。そして、可逆符号化部１６は、その圧縮画像にステップＳ１９またはＳ２１で可逆符号化された情報を付加して画像圧縮情報を生成し、蓄積バッファ１７に供給する。

図８のステップＳ２４において、可逆符号化部１６は、PU単位で画像圧縮情報を蓄積バッファ１７に供給し、蓄積させる。そして、処理はステップＳ２５に進む。

一方、ステップＳ２２で係数が０であると判定された場合、イントラスキップ判定部４５は、PU単位で最適差分イントラ予測モード情報の可逆符号化部１６への出力を停止する。また、可逆符号化部１６は、PU単位で量子化部１５から供給される量子化された係数の可逆符号化を停止することにより、圧縮画像の出力を停止する。その結果、画像圧縮情報は蓄積バッファ１７に蓄積されず、処理はステップＳ２５に進む。

ステップＳ２５において、蓄積バッファ１７は、蓄積されているCU単位の画像圧縮情報を、例えば、後段の図示せぬ記録装置や伝送路などに出力する。

ステップＳ２６において、逆量子化部１８は、量子化部１５から供給される量子化された係数を逆量子化する。

ステップＳ２７において、逆直交変換部１９は、逆量子化部１８から供給される係数に対してIDCT、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部２０に供給する。

ステップＳ２８において、加算部２０は、逆直交変換部１９から供給される残差情報と、予測画像選択部２７から供給される予測画像を加算し、局部的に復号された画像を得る。加算部２０は、得られた画像をデブロックフィルタ２１に供給するとともに、フレームメモリ２２に供給する。

ステップＳ２９において、デブロックフィルタ２１は、加算部２０から供給される局部的に復号された画像に対してフィルタリングを行うことにより、ブロック歪を除去し、フレームメモリ２２に供給する。

ステップＳ３０において、フレームメモリ２２は、フィルタリング前後の画像を蓄積する。具体的には、フレームメモリ２２は、加算部２０から供給される画像とデブロックフィルタ２１から供給される画像を蓄積する。フレームメモリ２２に蓄積された画像は、参照画像としてスイッチ２３を介してイントラ予測部２４または動き予測・補償部２６に出力される。そして、処理は終了する。

図９は、図７のステップＳ１３の予測処理の詳細を説明するフローチャートである。

図９のステップＳ４１乃至Ｓ５１の処理と、ステップＳ５２乃至Ｓ６１の処理は、例えば、並列に行われる。

図９のステップＳ４１において、イントラ予測部２４は、4×4画素、8×8画素、16×16画素、32×32画素、および64×64画素のうちの、まだ決定されていないサイズをPUのサイズとして決定する。また、イントラ予測部２４は、予測処理の対象であるCUを構成する、決定されたサイズのPUのうちの、まだイントラ予測処理の対象とされていないPUをイントラ予測処理の対象とする。

ステップＳ４２において、MostProbableMode生成部５１は、イントラ予測処理の対象のPUに対する周辺最適イントラ予測モードをモードバッファ４６から読み出し、その周辺最適イントラ予測モードに基づいて、上述した式（１）によりMostProbableModeを生成する。そして、MostProbableMode生成部５１は、MostProbableModeを差分モード生成部５２に供給する。また、候補予測画像生成部４１は、候補となる全てのイントラ予測モードを順に、現在イントラ予測モードとし、以降のステップＳ４３乃至Ｓ４５の処理は、現在イントラ予測モードごとに行われる。なお、現在イントラ予測モードは、コスト関数値算出部４２から差分モード生成部５２に供給される。

ステップＳ４３において、差分モード生成部５２は、MostProbableMode生成部５１から供給されるMostProbableModeと、コスト関数値算出部４２から供給される現在イントラ予測モードとを用いて、差分イントラ予測モード情報を生成し、コスト関数値算出部４２に供給する。

ステップＳ４４において、候補予測画像生成部４１は、イントラ予測処理の対象のPUに対して、図１のフレームメモリ２２からスイッチ２３を介して読み出された参照画像を用いて、現在イントラ予測モードのイントラ予測処理を行う。候補予測画像生成部４１は、その結果得られる予測画像をコスト関数値算出部４２に供給する。

ステップＳ４５において、コスト関数値算出部４２は、候補予測画像生成部４１から供給される予測画像と、画面並べ替えバッファ１２から供給される画像とに基づいて、上述した式（２）または（３）によりコスト関数値を算出する。そして、コスト関数値算出部４２は、求められたコスト関数値と、差分モード生成部５２から供給される差分イントラ予測モード情報を予測モード判定部４３に供給する。これにより、予測モード判定部４３は、コスト関数値算出部４２から供給されるコスト関数値と差分イントラ予測モード情報を、現在イントラ予測モードに対応付けて記憶する。

ステップＳ４６において、予測モード判定部４３は、イントラ予測処理の対象のPUについて、候補となる全てのイントラ予測モードに対応付けて記憶されているコスト関数値のうちの最小値に対応するイントラ予測モードを最適イントラ予測モードと判定する。予測モード判定部４３は、最適イントラ予測モードを予測画像生成部４４に供給する。そして、予測画像生成部４４は、最適イントラ予測モードをモードバッファ４６に供給して、記憶させる。この最適イントラ予測モードは、MostProbableModeの決定に用いられる。

ステップＳ４７において、イントラ予測部２４は、予測処理の対象であるCUを構成する、ステップＳ４１で決定されたサイズの全てのPUをイントラ予測処理の対象のPUとしたかどうかを判定する。

ステップＳ４７で、予測処理の対象であるCUを構成する、ステップＳ４１で決定されたサイズの全てのPUをまだイントラ予測処理の対象のPUとしていないと判定された場合、イントラ予測部２４は、まだイントラ予測処理の対象とされていないPUをイントラ予測処理の対象とする。そして、処理はステップＳ４２に戻り、以降の処理が繰り返される。

一方、ステップＳ４７で予測処理の対象であるCUを構成する、ステップＳ４１で決定されたサイズの全てのPUをイントラ予測処理の対象のPUとしたと判定された場合、処理はステップＳ４８に進む。

ステップＳ４８において、イントラ予測部２４は、候補となる全てのPUのサイズ、即ち4×4画素、8×8画素、16×16画素、32×32画素、および64×64画素を、ステップＳ４１でイントラ予測処理の対象のPUのサイズに決定したかどうかを判定する。

ステップＳ４８でまだ候補となる全てのPUのサイズをイントラ予測処理の対象のPUのサイズに決定していないと判定された場合、処理はステップＳ４１に戻り、全てのPUのサイズがイントラ予測処理の対象のPUのサイズに決定されるまで、ステップＳ４１乃至Ｓ４８の処理が繰り返される。

一方、ステップＳ４８で候補となる全てのPUのサイズがイントラ予測処理の対象のPUのサイズに決定されたと判定された場合、処理はステップＳ４９に進む。ステップＳ４９において、予測モード判定部４３は、全てのPUのサイズに対してステップＳ４６で決定された最適イントラ予測モードに対応するコスト関数値に基づいて、コスト関数値が最小となるPUのサイズを最適なPUのサイズと判定する。そして、予測モード判定部４３は、最適なPUのサイズの最適イントラ予測モードと、対応する最適差分イントラ予測モード情報およびコスト関数値を予測画像生成部４４に供給する。なお、最適なPUのサイズは、例えば、可逆符号化され、ヘッダ情報に含められる。

ステップＳ５０において、予測画像生成部４４は、予測処理の対象であるCUを構成する、最適なPUのサイズの各PUに対して、参照画像を用いて、予測モード判定部４３から供給される最適なPUのサイズの最適イントラ予測モードのイントラ予測処理を行う。

ステップＳ５１において、予測画像生成部４４は、ステップＳ５０のイントラ予測処理の結果得られる予測画像と、予測モード判定部４３から供給されるコスト関数値を予測画像選択部２７に出力する。また、予測画像生成部４４は、予測モード判定部４３から供給される最適差分イントラ予測モード情報をイントラスキップ判定部４５に供給する。

また、ステップＳ５２において、動き予測・補償部２６は、候補となる全てのPUのサイズのうちの、まだ決定されていないサイズをPUのサイズとして決定する。また、動き予測・補償部２６は、予測処理の対象であるCUを構成する、決定されたサイズのPUのうちの、まだインター予測処理の対象とされていないPUをインター予測処理の対象とする。

ステップＳ５３において、動き予測・補償部２６は、画面並べ替えバッファ６２から供給される画像と、フレームメモリ２２からスイッチ２３を介して読み出される参照画像に基づいて、候補となる全てのインター予測モードの動きベクトルを検出する。具体的には、動き予測・補償部２６は、インター予測モードに応じて参照画像を決定する。そして、動き予測・補償部２６は、その参照画像と画面並べ替えバッファ６２からの画像とに基づいて動きベクトルを検出する。

ステップＳ５４において、動き予測・補償部２６は、インター予測処理の対象のPUについて、候補となるインター予測モードごとに、ステップＳ５３で検出された動きベクトルに基づいて参照画像に補償処理を施し、予測画像を生成する。

ステップＳ５５において、動き予測・補償部２６は、候補となるインター予測モードごとに、ステップＳ５４で生成された予測画像と、画面並べ替えバッファ１２から供給される画像とに基づいて、上述した式（２）または（３）によりコスト関数値を算出する。

ステップＳ５６において、動き予測・補償部２６は、インター予測処理の対象のPUについて、候補となる全てのインター予測モードのコスト関数値のうちの最小値に対応するインター予測モードを最適インター予測モードと判定する。

ステップＳ５７において、動き予測・補償部２６は、予測処理の対象であるCUを構成する、ステップＳ５２で決定されたサイズの全てのPUをインター予測処理の対象のPUとしたかどうかを判定する。

ステップＳ５７で、予測処理の対象であるCUを構成する、ステップＳ５２で決定されたサイズの全てのPUをまだインター予測処理の対象のPUとしていないと判定された場合、動き予測・補償部２６は、まだインター予測処理の対象とされていないPUをインター予測処理の対象とする。そして、処理はステップＳ５３に戻り、以降の処理が繰り返される。

一方、ステップＳ５７で予測処理の対象であるCUを構成する、ステップＳ５２で決定されたサイズの全てのPUをインター予測処理の対象のPUとしたと判定された場合、処理はステップＳ５８に進む。

ステップＳ５８において、動き予測・補償部２６は、候補となる全てのPUのサイズを、ステップＳ５２でインター予測処理の対象のPUのサイズに決定したかどうかを判定する。

ステップＳ５８でまだ全てのPUのサイズをインター予測処理の対象のPUのサイズに決定していないと判定された場合、処理はステップＳ５２に戻り、全てのPUのサイズがインター予測処理の対象のPUのサイズに決定されるまで、ステップＳ５２乃至Ｓ５８の処理が繰り返される。

一方、ステップＳ５８で全てのPUのサイズがインター予測処理の対象のPUのサイズに決定されたと判定された場合、処理はステップＳ５９に進む。ステップＳ５９において、動き予測・補償部２６は、全てのPUのサイズに対してステップＳ５６で決定された最適インター予測モードに対応するコスト関数値に基づいて、コスト関数値が最小となるPUのサイズを最適なPUのサイズと判定する。なお、最適なPUのサイズは、例えば、可逆符号化され、ヘッダ情報に含められる。

ステップＳ６０において、動き予測・補償部２６は、最適なPUのサイズの最適インター予測モードのインター予測処理を行う。

ステップＳ６１において、動き予測・補償部２６は、インター予測処理の結果得られる予測画像と、最適なPUのサイズの最適インター予測モードのコスト関数値を予測画像選択部２７に出力する。

以上のように、符号化装置１０は、最適イントラ予測モードを示す情報として、最適差分イントラ予測モード情報を出力するので、最適イントラ予測モードを示す情報の情報量を削減することができる。その結果、イントラ予測を行う場合の符号化効率を向上させることができる。

また、符号化装置１０は、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが一致する場合、最適差分イントラ予測モード情報の出力を停止するので、符号化効率をさらに向上させることができる。さらに、符号化装置１０は、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが一致し、そのPUに対応する直交変換後の係数が0である場合、最適差分イントラ予測モード情報および係数の出力を停止するので、符号化効率をさらに向上させることができる。

［復号装置の構成例］
図１０は、図１の符号化装置１０から出力される画像圧縮情報を復号する、本技術を適用した復号装置の構成例を示すブロック図である。

図１０の復号装置１００は、蓄積バッファ１０１、可逆復号部１０２、逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、画面並べ替えバッファ１０７、D/A変換部１０８、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、予測モード復号部１１２、動き予測・補償部１１３、およびスイッチ１１４により構成される。

復号装置１００の蓄積バッファ１０１は、受信部として機能し、図１の符号化装置１０から送信されてくる画像圧縮情報を受信し、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部１０２に供給する。

可逆復号部１０２は、蓄積バッファ１０１からの画像圧縮情報に対して、可変長復号や、算術復号等の可逆復号を施すことで、量子化された係数とヘッダを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。また、可逆復号部１０２は、ヘッダに含まれる最適差分イントラ予測モード情報などをイントラ予測部１１１に供給し、動きベクトル、参照画像を特定するための情報、インター予測モード情報などを動き予測・補償部１１３に供給する。

逆量子化部１０３、逆直交変換部１０４、加算部１０５、デブロックフィルタ１０６、フレームメモリ１０９、スイッチ１１０、イントラ予測部１１１、および、動き予測・補償部１１３は、図１の逆量子化部１８、逆直交変換部１９、加算部２０、デブロックフィルタ２１、フレームメモリ２２、スイッチ２３、イントラ予測部２４、および、動き予測・補償部２６とそれぞれ同様の処理を行い、これにより、画像が復号される。

具体的には、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

逆直交変換部１０４は、逆量子化部１０３からの係数に対して、IDCT、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

加算部１０５は、逆直交変換部１０４から供給される復号対象の画像としての残差情報と、スイッチ１１４から供給される予測画像を加算することにより、復号対象の画像を復号する。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、スイッチ１１４から予測画像が供給されない場合、加算部１０５は、逆直交変換部１０４から供給される残差情報である画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給して蓄積させる。

デブロックフィルタ１０６は、加算部１０５から供給される画像をフィルタリングすることにより、ブロック歪を除去する。デブロックフィルタ１０６は、その結果得られる画像をフレームメモリ１０９に供給し、蓄積させるとともに、画面並べ替えバッファ１０７に供給する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して読み出され、動き予測・補償部１１３またはイントラ予測部１１１に供給される。

画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶する。画面並べ替えバッファ１０７は、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。

D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

イントラ予測部１１１は、可逆復号部１０２から供給される最適差分イントラ予測モード情報を予測モード復号部１１２に供給する。また、イントラ予測部１１１は、フレームメモリ１０９からスイッチ１１０を介して読み出される参照画像を用いて、予測モード復号部１１２から供給される最適イントラ予測モードのイントラ予測処理を行い、予測画像を生成する。そして、イントラ予測部１１１は、予測画像を、スイッチ１１４を介して加算部１０５に供給する。さらに、イントラ予測部１１１は、予測モード復号部１１２から供給される最適イントラ予測モードを保持する。

予測モード復号部１１２は、イントラ予測部１１１に保持されている最適イントラ予測モードのうちの周辺最適イントラ予測モードを読み出す。また、予測モード復号部１１２は、イントラ予測部１１１から供給される最適差分イントラ予測モード情報と、読み出された周辺最適イントラ予測モードに基づいて、イントラ予測処理の対象の最適イントラ予測モードを生成する。予測モード復号部１１２は、生成された最適イントラ予測モードをイントラ予測部１１１に供給する。

動き予測・補償部１１３は、可逆復号部１０２から供給される参照画像を特定するための情報に基づいて、フレームメモリ１０９からスイッチ１１０を介して参照画像を読み出す。動き予測・補償部１１３は、動きベクトルと参照画像を用いて、インター予測モード情報が表すインター予測モードのインター予測処理を行う。動き予測・補償部１１３は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給する。

［イントラ予測部と予測モード符号化部の構成例］
図１１は、図１０のイントラ予測部１１１と予測モード復号部１１２の構成例を示すブロック図である。

図１１に示すように、イントラ予測部１１１は、予測モード情報バッファ１２１、隣接情報バッファ１２２、および予測画像生成部１２３により構成される。

イントラ予測部１１１の予測モード情報バッファ１２１は、可逆復号部１０２から供給される最適差分イントラ予測モード情報を保持する。また、予測モード情報バッファ１２１は、保持している最適差分イントラ予測モード情報を予測モード復号部１１２に供給する。

隣接情報バッファ１２２は、予測モード復号部１１２から供給されるイントラ予測処理の対象のPUの最適イントラ予測モードを保持する。

予測画像生成部１２３は、フレームメモリ１０９からスイッチ１１０を介して供給される参照画像を用いて、復号対象の画像のうちのイントラ予測処理の対象のPUに対して、予測モード復号部１１２から供給される最適イントラ予測モードのイントラ予測処理を行う。予測画像生成部１２３は、イントラ予測処理の結果生成された予測画像を、スイッチ１１４（図１０）を介して加算部１０５に供給する。

予測モード復号部１１２は、MostProbableMode生成部１３１と予測モード再構築部１３２により構成される。

予測モード復号部１１２のMostProbableMode生成部１３１は、イントラ予測部１１１の隣接情報バッファ１２２から周辺最適イントラ予測モードを読み出す。MostProbableMode生成部１３１は、予測値生成部として機能し、読み出された周辺最適イントラ予測モードを用いて、上述した式（１）によりMostProbableModeを生成する。MostProbableMode生成部１３１は、MostProbableModeをイントラ予測処理の対象のPUの最適イントラ予測モードの予測値として、予測モード再構築部１３２に供給する。

予測モード再構築部１３２は、イントラ予測モード生成部として機能する。具体的には、予測モード再構築部１３２は、MostProbableMode生成部１３１から供給されるMostProbableModeと、予測モード情報バッファ１２１から供給される最適差分イントラ予測モード情報とを加算することにより、イントラ予測処理の対象のPUの最適イントラ予測モードを生成する。予測モード再構築部１３２は、生成された最適イントラ予測モードをイントラ予測部１１１の隣接情報バッファ１２２と予測画像生成部１２３に供給する。

［復号装置の処理の説明］
図１２は、図１０の復号装置１００による復号処理を説明するフローチャートである。この復号処理は、例えば、フレーム単位の画像圧縮情報が復号装置１００に入力されるたびに行われる。

図１２のステップＳ１０１において、蓄積バッファ１０１は、符号化装置１０から送信されてくるフレーム単位の画像圧縮情報を受信し、蓄積する。蓄積バッファ１０１は、蓄積されている画像圧縮情報を可逆復号部１０２に供給する。なお、以下のステップＳ１０１乃至Ｓ１０８の処理は、例えばCU単位で行われる。

ステップＳ１０２において、可逆復号部１０２は、蓄積バッファ１０１からの画像圧縮情報を可逆復号し、量子化された係数とヘッダを得る。可逆復号部１０２は、量子化された係数を逆量子化部１０３に供給する。

なお、復号対象のCUを構成するPUのうち、イントラスキップモードで符号化されたPUの画像圧縮情報は存在しないので、可逆復号部１０２は、そのPUの量子化された係数として0を逆量子化部１０３に供給する。これにより、後述するステップＳ１０６で得られる復号結果は、予測画像そのものとなる。

ステップＳ１０３において、逆量子化部１０３は、可逆復号部１０２からの量子化された係数を逆量子化し、その結果得られる係数を逆直交変換部１０４に供給する。

ステップＳ１０４において、逆直交変換部１０４は、逆量子化部１０３からの係数に対してIDCT、逆KLT等の逆直交変換を施し、その結果得られる残差情報を加算部１０５に供給する。

ステップＳ１０５において、復号装置１００は、イントラ予測処理またはインター予測処理を行う予測処理を行う。この予測処理の詳細は、後述する図１３を参照して説明する。

ステップＳ１０６において、加算部１０５は、残差情報と、スイッチ１１４から供給される予測画像を加算することにより、復号を行う。加算部１０５は、その結果得られる画像をデブロックフィルタ１０６に供給するとともに、フレームメモリ１０９に供給する。なお、参照画像が存在しない場合には、ステップＳ１０５およびＳ１０６の処理は行われず、残差情報である画像がデブロックフィルタ１０６に供給されるとともに、フレームメモリ１０９に供給される。

ステップＳ１０７において、デブロックフィルタ１０６は、加算部１０５から供給される画像に対してフィルタリングを行い、ブロック歪を除去する。デブロックフィルタ１０６は、フィルタリング後の画像をフレームメモリ１０９に供給する。

ステップＳ１０８において、フレームメモリ１０９は、加算部１０５から供給されるフィルタリング前の画像と、デブロックフィルタ１０６から供給されるフィルタリング後の画像を蓄積する。フレームメモリ１０９に蓄積された画像は、参照画像としてスイッチ１１０を介して動き予測・補償部１１３またはイントラ予測部１１１に供給される。

ステップＳ１０９において、画面並べ替えバッファ１０７は、デブロックフィルタ１０６から供給される画像をフレーム単位で記憶し、記憶した符号化のための順番のフレーム単位の画像を、元の表示の順番に並び替え、D/A変換部１０８に供給する。

ステップＳ１１０において、D/A変換部１０８は、画面並べ替えバッファ１０７から供給されるフレーム単位の画像をD/A変換し、出力信号として出力する。

図１３は、図１２のステップＳ１０５の予測処理の詳細を説明するフローチャートである。なお、この予測処理は、PU単位で行われる。

図１３のステップＳ１２１において、可逆復号部１０２は、最適予測モードが最適イントラ予測モードであるかどうかを判定する。具体的には、可逆復号部１０２は、予測処理の対象のPUの画像圧縮情報が存在しないか、または、画像圧縮情報のヘッダにインター予測モード情報が含まれていない場合、最適予測モードが最適イントラ予測モードであると判定する。一方、予測処理の対象のPUの画像圧縮情報のヘッダにインター予測モード情報が含まれている場合、最適予測モードが最適イントラ予測モードではないと判定する。

ステップＳ１２１で最適予測モードが最適イントラ予測モードであると判定された場合、可逆復号部１０２は、ヘッダに含まれる最適差分イントラ予測モード情報などをイントラ予測部１１１とスイッチ１１４に供給する。

そして、ステップＳ１２２において、イントラ予測部１１１の予測モード情報バッファ１２１（図１１）は、可逆復号部１０２から最適差分イントラ予測モード情報が供給されたかどうかを判定する。

ステップＳ１２２で可逆復号部１０２から最適差分イントラ予測モード情報が供給されたと判定された場合、ステップＳ１２３において、予測モード情報バッファ１２１は、その最適差分イントラ予測モードを取得し、保持する。そして、予測モード情報バッファ１２１は、保持している最適差分イントラ予測モード情報を予測モード復号部１１２の予測モード再構築部１３２に供給し、処理をステップＳ１２４に進める。

一方、ステップＳ１２２で可逆復号部１０２から最適差分イントラ予測モード情報が供給されていないと判定された場合、即ち、ヘッダに最適差分イントラ予測モード情報が含まれていないか、または、画像圧縮情報が存在しない場合、処理はステップＳ１２４に進む。

ステップＳ１２４において、MostProbableMode生成部１３１は、隣接情報バッファ１２２から読み出された周辺最適イントラ予測モードを用いて、上述した式（１）によりMostProbableModeを最適イントラ予測モードの予測値として生成する。そして、MostProbableMode生成部１３１は、そのMostProbableModeを予測モード再構築部１３２に供給する。

ステップＳ１２５において、予測モード再構築部１３２は、MostProbableMode生成部１３１からのMostProbableModeと、予測モード情報バッファ１２１からの最適差分イントラ予測モード情報とを加算することにより、最適イントラ予測モードを生成する。なお、予測モード情報バッファ１２１から最適差分イントラ予測モード情報が供給されない場合には、MostProbableModeをそのまま最適イントラ予測モードとする。予測モード再構築部１３２は、生成された最適イントラ予測モードを隣接情報バッファ１２２に供給して保持させるとともに、予測画像生成部１２３に供給する。

ステップＳ１２６において、予測画像生成部１２３は、フレームメモリ１０９からスイッチ１１０を介して供給される参照画像を用いて、予測モード復号部１１２から供給される最適イントラ予測モードのイントラ予測処理を行う。予測画像生成部１２３は、イントラ予測処理の結果生成された予測画像を、スイッチ１１４を介して加算部１０５に供給する。そして、処理は、図１２のステップＳ１０５に戻り、ステップＳ１０６に進む。

一方、ステップＳ１２１で最適予測モードが最適イントラ予測モードではないと判定された場合、即ち最適予測モードが最適インター予測モードであると判定された場合、可逆復号部１０２は、動きベクトル、インター予測モード情報、参照画像を特定するための情報などを動き予測・補償部１１３に供給する。

そして、ステップＳ１２７において、動き予測・補償部１１３は、可逆復号部１０２から供給されるインター予測モード情報、動きベクトル、参照画像を特定するための情報などを取得する。

ステップＳ１２８において、動き予測・補償部１１３は、インター予測モード情報、動きベクトル、参照画像を特定するための情報に基づいて、スイッチ１１０を介して読み出される参照画像を用いた最適インター予測モードのインター予測処理を行う。動き予測・補償部１１３は、その結果生成される予測画像を、スイッチ１１４を介して加算部１０５に供給する。そして、処理は、図１２のステップＳ１０５に戻り、ステップＳ１０６に進む。

以上のように、復号装置１００は、符号化装置１０から最適差分イントラ予測モード情報を受信し、その最適差分イントラ予測モード情報とMostProbableModeを加算することにより最適イントラ予測モードを生成し、最適イントラ予測モードのイントラ予測処理を行う。その結果、符号化装置１０により生成された、イントラ予測を行う場合の符号化効率を向上させた画像圧縮情報を復号することができる。

なお、本実施の形態では、HEVC方式をベースに用いるようにしたが、本技術はこれに限らず、複数のイントラ予測モードのイントラ予測処理を行う符号化方式/復号方式を用いる符号化装置/復号装置に適用することができる。但し、HEVC方式のようにイントラ予測モードのモード数が多い場合、MostProbableModeとイントラ予測処理の対象のPUの最適イントラ予測モードが異なる可能性が高いので、より効果的である。

また、本実施の形態では、PU単位でイントラスキップモードが設定されたが、CU単位、フレーム単位でイントラスキップモードが設定されるようにしてもよい。

また、本技術は、例えば、MPEG，H．26x等の様に、離散コサイン変換等の直交変換と動き補償によって圧縮する方式で圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン、インターネット、または携帯電話機などのネットワークメディアを介して受信する際に用いられる符号化装置および復号装置に適用することができる。また、本技術は、光ディスク、磁気ディスク、フラッシュメモリなどの記憶メディアに対して処理する際に用いられる符号化装置および復号装置に適用することができる。さらに、本技術は、それらの符号化装置および復号装置などに含まれるイントラ予測装置にも適用することができる。

[本技術を適用したコンピュータの説明]
次に、上述した符号化処理や復号処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。符号化処理や復号処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

そこで、図１４は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。

プログラムは、コンピュータに内蔵されている記録媒体としての記憶部４０８やROM（Read Only Memory）４０２に予め記録しておくことができる。

あるいはまた、プログラムは、リムーバブルメディア４１１に格納（記録）しておくことができる。このようなリムーバブルメディア４１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア４１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブルメディア４１１からドライブ４１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部４０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、デジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)４０１を内蔵しており、CPU４０１には、バス４０４を介して、入出力インタフェース４０５が接続されている。

CPU４０１は、入出力インタフェース４０５を介して、ユーザによって、入力部４０６が操作等されることにより指令が入力されると、それに従って、ROM４０２に格納されているプログラムを実行する。あるいは、CPU４０１は、記憶部４０８に格納されたプログラムを、RAM(Random Access Memory)４０３にロードして実行する。

これにより、CPU４０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU４０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース４０５を介して、出力部４０７から出力、あるいは、通信部４０９から送信、さらには、記憶部４０８に記録等させる。

なお、入力部４０６は、キーボードや、マウス、マイク等で構成される。また、出力部４０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

［テレビジョン受像機の構成例］
図１５は、本技術を適用した復号装置を用いるテレビジョン受像機の主な構成例を示すブロック図である。

図１５に示されるテレビジョン受像機５００は、地上波チューナ５１３、ビデオデコーダ５１５、映像信号処理回路５１８、グラフィック生成回路５１９、パネル駆動回路５２０、および表示パネル５２１を有する。

地上波チューナ５１３は、地上アナログ放送の放送波信号を、アンテナを介して受信し、復調し、映像信号を取得し、それをビデオデコーダ５１５に供給する。ビデオデコーダ５１５は、地上波チューナ５１３から供給された映像信号に対してデコード処理を施し、得られたデジタルのコンポーネント信号を映像信号処理回路５１８に供給する。

映像信号処理回路５１８は、ビデオデコーダ５１５から供給された映像データに対してノイズ除去などの所定の処理を施し、得られた映像データをグラフィック生成回路５１９に供給する。

グラフィック生成回路５１９は、表示パネル５２１に表示させる番組の映像データや、ネットワークを介して供給されるアプリケーションに基づく処理による画像データなどを生成し、生成した映像データや画像データをパネル駆動回路５２０に供給する。また、グラフィック生成回路５１９は、項目の選択などにユーザにより利用される画面を表示するための映像データ（グラフィック）を生成し、それを番組の映像データに重畳したりすることによって得られた映像データをパネル駆動回路５２０に供給するといった処理も適宜行う。

パネル駆動回路５２０は、グラフィック生成回路５１９から供給されたデータに基づいて表示パネル５２１を駆動し、番組の映像や上述した各種の画面を表示パネル５２１に表示させる。

表示パネル５２１はLCD（Liquid Crystal Display）などよりなり、パネル駆動回路５２０による制御に従って番組の映像などを表示させる。

また、テレビジョン受像機５００は、音声A/D（Analog/Digital)変換回路５１４、音声信号処理回路５２２、エコーキャンセル／音声合成回路５２３、音声増幅回路５２４、およびスピーカ５２５も有する。

地上波チューナ５１３は、受信した放送波信号を復調することにより、映像信号だけでなく音声信号も取得する。地上波チューナ５１３は、取得した音声信号を音声A/D変換回路５１４に供給する。

音声A/D変換回路５１４は、地上波チューナ５１３から供給された音声信号に対してA/D変換処理を施し、得られたデジタルの音声信号を音声信号処理回路５２２に供給する。

音声信号処理回路５２２は、音声A/D変換回路５１４から供給された音声データに対してノイズ除去などの所定の処理を施し、得られた音声データをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、音声信号処理回路５２２から供給された音声データを音声増幅回路５２４に供給する。

音声増幅回路５２４は、エコーキャンセル／音声合成回路５２３から供給された音声データに対してD/A変換処理、増幅処理を施し、所定の音量に調整した後、音声をスピーカ５２５から出力させる。

さらに、テレビジョン受像機５００は、デジタルチューナ５１６およびMPEGデコーダ５１７も有する。

デジタルチューナ５１６は、デジタル放送（地上デジタル放送、BS（Broadcasting Satellite）／CS（Communications Satellite）デジタル放送）の放送波信号を、アンテナを介して受信し、復調し、MPEG-TS（Moving Picture Experts Group-Transport Stream）を取得し、それをMPEGデコーダ５１７に供給する。

MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSに施されているスクランブルを解除し、再生対象（視聴対象）になっている番組のデータを含むストリームを抽出する。MPEGデコーダ５１７は、抽出したストリームを構成する音声パケットをデコードし、得られた音声データを音声信号処理回路５２２に供給するとともに、ストリームを構成する映像パケットをデコードし、得られた映像データを映像信号処理回路５１８に供給する。また、MPEGデコーダ５１７は、MPEG-TSから抽出したEPG（Electronic Program Guide)データを図示せぬ経路を介してCPU５３２に供給する。

テレビジョン受像機５００は、このように映像パケットをデコードするMPEGデコーダ５１７として、上述した復号装置１００を用いる。したがって、MPEGデコーダ５１７では、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

MPEGデコーダ５１７から供給された映像データは、ビデオデコーダ５１５から供給された映像データの場合と同様に、映像信号処理回路５１８において所定の処理が施される。そして、所定の処理が施された映像データは、グラフィック生成回路５１９において、生成された映像データ等が適宜重畳され、パネル駆動回路５２０を介して表示パネル５２１に供給され、その画像が表示される。

MPEGデコーダ５１７から供給された音声データは、音声A/D変換回路５１４から供給された音声データの場合と同様に、音声信号処理回路５２２において所定の処理が施される。そして、所定の処理が施された音声データは、エコーキャンセル／音声合成回路５２３を介して音声増幅回路５２４に供給され、D/A変換処理や増幅処理が施される。その結果、所定の音量に調整された音声がスピーカ５２５から出力される。

また、テレビジョン受像機５００は、マイクロホン５２６、およびA/D変換回路５２７も有する。

A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、テレビジョン受像機５００のユーザ（ユーザＡ）の音声のデータがA/D変換回路５２７から供給されている場合、ユーザＡの音声データを対象としてエコーキャンセルを行う。そして、エコーキャンセル／音声合成回路５２３は、エコーキャンセルの後、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。

さらに、テレビジョン受像機５００は、音声コーデック５２８、内部バス５２９、SDRAM（Synchronous Dynamic Random Access Memory)５３０、フラッシュメモリ５３１、CPU５３２、USB（Universal Serial Bus) I/F５３３、およびネットワークI/F５３４も有する。

A/D変換回路５２７は、音声会話用のものとしてテレビジョン受像機５００に設けられるマイクロホン５２６により取り込まれたユーザの音声の信号を受信する。A/D変換回路５２７は、受信した音声信号に対してA/D変換処理を施し、得られたデジタルの音声データを音声コーデック５２８に供給する。

音声コーデック５２８は、A/D変換回路５２７から供給された音声データを、ネットワーク経由で送信するための所定のフォーマットのデータに変換し、内部バス５２９を介してネットワークI/F５３４に供給する。

ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続される。ネットワークI/F５３４は、例えば、そのネットワークに接続される他の装置に対して、音声コーデック５２８から供給された音声データを送信する。また、ネットワークI/F５３４は、例えば、ネットワークを介して接続される他の装置から送信される音声データを、ネットワーク端子５３５を介して受信し、それを、内部バス５２９を介して音声コーデック５２８に供給する。

音声コーデック５２８は、ネットワークI/F５３４から供給された音声データを所定のフォーマットのデータに変換し、それをエコーキャンセル／音声合成回路５２３に供給する。

エコーキャンセル／音声合成回路５２３は、音声コーデック５２８から供給される音声データを対象としてエコーキャンセルを行い、他の音声データと合成するなどして得られた音声のデータを、音声増幅回路５２４を介してスピーカ５２５より出力させる。

SDRAM５３０は、CPU５３２が処理を行う上で必要な各種のデータを記憶する。

フラッシュメモリ５３１は、CPU５３２により実行されるプログラムを記憶する。フラッシュメモリ５３１に記憶されているプログラムは、テレビジョン受像機５００の起動時などの所定のタイミングでCPU５３２により読み出される。フラッシュメモリ５３１には、デジタル放送を介して取得されたEPGデータ、ネットワークを介して所定のサーバから取得されたデータなども記憶される。

例えば、フラッシュメモリ５３１には、CPU５３２の制御によりネットワークを介して所定のサーバから取得されたコンテンツデータを含むMPEG-TSが記憶される。フラッシュメモリ５３１は、例えばCPU５３２の制御により、そのMPEG-TSを、内部バス５２９を介してMPEGデコーダ５１７に供給する。

MPEGデコーダ５１７は、デジタルチューナ５１６から供給されたMPEG-TSの場合と同様に、そのMPEG-TSを処理する。このようにテレビジョン受像機５００は、映像や音声等よりなるコンテンツデータを、ネットワークを介して受信し、MPEGデコーダ５１７を用いてデコードし、その映像を表示させたり、音声を出力させたりすることができる。

また、テレビジョン受像機５００は、リモートコントローラ５５１から送信される赤外線信号を受光する受光部５３７も有する。

受光部５３７は、リモートコントローラ５５１からの赤外線を受光し、復調して得られたユーザ操作の内容を表す制御コードをCPU５３２に出力する。

CPU５３２は、フラッシュメモリ５３１に記憶されているプログラムを実行し、受光部５３７から供給される制御コードなどに応じてテレビジョン受像機５００の全体の動作を制御する。CPU５３２とテレビジョン受像機５００の各部は、図示せぬ経路を介して接続されている。

USB I/F５３３は、USB端子５３６に装着されたUSBケーブルを介して接続される、テレビジョン受像機５００の外部の機器との間でデータの送受信を行う。ネットワークI/F５３４は、ネットワーク端子５３５に装着されたケーブルを介してネットワークに接続し、ネットワークに接続される各種の装置と音声データ以外のデータの送受信も行う。

テレビジョン受像機５００は、MPEGデコーダ５１７として復号装置１００を用いることにより、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

［携帯電話機の構成例］
図１６は、本技術を適用した符号化装置および復号装置を用いる携帯電話機の主な構成例を示すブロック図である。

図１６に示される携帯電話機６００は、各部を統括的に制御するようになされた主制御部６５０、電源回路部６５１、操作入力制御部６５２、画像エンコーダ６５３、カメラI/F部６５４、LCD制御部６５５、画像デコーダ６５６、多重分離部６５７、記録再生部６６２、変復調回路部６５８、および音声コーデック６５９を有する。これらは、バス６６０を介して互いに接続されている。

また、携帯電話機６００は、操作キー６１９、CCD（Charge Coupled Devices）カメラ６１６、液晶ディスプレイ６１８、記憶部６２３、送受信回路部６６３、アンテナ６１４、マイクロホン（マイク）６２１、およびスピーカ６１７を有する。

電源回路部６５１は、ユーザの操作により終話および電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話機６００を動作可能な状態に起動する。

携帯電話機６００は、CPU、ROMおよびRAM等でなる主制御部６５０の制御に基づいて、音声通話モードやデータ通信モード等の各種モードで、音声信号の送受信、電子メールや画像データの送受信、画像撮影、またはデータ記録等の各種動作を行う。

例えば、音声通話モードにおいて、携帯電話機６００は、マイクロホン（マイク）６２１で集音した音声信号を、音声コーデック６５９によってデジタル音声データに変換し、これを変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（音声信号）は、公衆電話回線網を介して通話相手の携帯電話機に供給される。

また、例えば、音声通話モードにおいて、携帯電話機６００は、アンテナ６１４で受信した受信信号を送受信回路部６６３で増幅し、さらに周波数変換処理およびアナログデジタル変換処理し、変復調回路部６５８でスペクトラム逆拡散処理し、音声コーデック６５９によってアナログ音声信号に変換する。携帯電話機６００は、その変換して得られたアナログ音声信号をスピーカ６１７から出力する。

更に、例えば、データ通信モードにおいて電子メールを送信する場合、携帯電話機６００は、操作キー６１９の操作によって入力された電子メールのテキストデータを、操作入力制御部６５２において受け付ける。携帯電話機６００は、そのテキストデータを主制御部６５０において処理し、LCD制御部６５５を介して、画像として液晶ディスプレイ６１８に表示させる。

また、携帯電話機６００は、主制御部６５０において、操作入力制御部６５２が受け付けたテキストデータやユーザ指示等に基づいて電子メールデータを生成する。携帯電話機６００は、その電子メールデータを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（電子メール）は、ネットワークおよびメールサーバ等を介して、所定のあて先に供給される。

また、例えば、データ通信モードにおいて電子メールを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の電子メールデータを復元する。携帯電話機６００は、復元された電子メールデータを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示する。

なお、携帯電話機６００は、受信した電子メールデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。

この記憶部６２３は、書き換え可能な任意の記憶媒体である。記憶部６２３は、例えば、RAMや内蔵型フラッシュメモリ等の半導体メモリであってもよいし、ハードディスクであってもよいし、磁気ディスク、光磁気ディスク、光ディスク、USBメモリ、またはメモリカード等のリムーバブルメディアであってもよい。もちろん、これら以外のものであってもよい。

さらに、例えば、データ通信モードにおいて画像データを送信する場合、携帯電話機６００は、撮像によりCCDカメラ６１６で画像データを生成する。CCDカメラ６１６は、レンズや絞り等の光学デバイスと光電変換素子としてのCCDを有し、被写体を撮像し、受光した光の強度を電気信号に変換し、被写体の画像の画像データを生成する。その画像データを、カメラI/F部６５４を介して、画像エンコーダ６５３で、例えばMPEG２やMPEG４等の所定の符号化方式によって圧縮符号化することにより符号化画像データに変換する。

携帯電話機６００は、このような処理を行う画像エンコーダ６５３として、上述した符号化装置１０を用いる。したがって、画像エンコーダ６５３は、符号化装置１０の場合と同様に、イントラ予測を行う場合の符号化効率を向上させることができる。

なお、携帯電話機６００は、このとき同時に、CCDカメラ６１６で撮像中にマイクロホン（マイク）６２１で集音した音声を、音声コーデック６５９においてアナログデジタル変換し、さらに符号化する。

携帯電話機６００は、多重分離部６５７において、画像エンコーダ６５３から供給された符号化画像データと、音声コーデック６５９から供給されたデジタル音声データとを、所定の方式で多重化する。携帯電話機６００は、その結果得られる多重化データを、変復調回路部６５８でスペクトラム拡散処理し、送受信回路部６６３でデジタルアナログ変換処理および周波数変換処理する。携帯電話機６００は、その変換処理により得られた送信用信号を、アンテナ６１４を介して図示しない基地局へ送信する。基地局へ伝送された送信用信号（画像データ）は、ネットワーク等を介して、通信相手に供給される。

なお、画像データを送信しない場合、携帯電話機６００は、CCDカメラ６１６で生成した画像データを、画像エンコーダ６５３を介さずに、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させることもできる。

また、例えば、データ通信モードにおいて、簡易ホームページ等にリンクされた動画像ファイルのデータを受信する場合、携帯電話機６００は、基地局から送信された信号を、アンテナ６１４を介して送受信回路部６６３で受信し、増幅し、さらに周波数変換処理およびアナログデジタル変換処理する。携帯電話機６００は、その受信信号を変復調回路部６５８でスペクトラム逆拡散処理して元の多重化データを復元する。携帯電話機６００は、多重分離部６５７において、その多重化データを分離して、符号化画像データと音声データとに分ける。

携帯電話機６００は、画像デコーダ６５６において、符号化画像データを、MPEG２やMPEG４等の所定の符号化方式に対応した復号方式でデコードすることにより、再生動画像データを生成し、これを、LCD制御部６５５を介して液晶ディスプレイ６１８に表示させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる動画データが液晶ディスプレイ６１８に表示される。

携帯電話機６００は、このような処理を行う画像デコーダ６５６として、上述した復号装置１００を用いる。したがって、画像デコーダ６５６は、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

このとき、携帯電話機６００は、同時に、音声コーデック６５９において、デジタルの音声データをアナログ音声信号に変換し、これをスピーカ６１７より出力させる。これにより、例えば、簡易ホームページにリンクされた動画像ファイルに含まれる音声データが再生される。

なお、電子メールの場合と同様に、携帯電話機６００は、受信した簡易ホームページ等にリンクされたデータを、記録再生部６６２を介して、記憶部６２３に記録する（記憶させる）ことも可能である。

また、携帯電話機６００は、主制御部６５０において、撮像されてCCDカメラ６１６で得られた２次元コードを解析し、２次元コードに記録された情報を取得することができる。

さらに、携帯電話機６００は、赤外線通信部６８１で赤外線により外部の機器と通信することができる。

携帯電話機６００は、画像エンコーダ６５３として符号化装置１０を用いることにより、イントラ予測を行う場合の符号化効率を向上させることができる。

また、携帯電話機６００は、画像デコーダ６５６として復号装置１００を用いることにより、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

なお、以上において、携帯電話機６００が、CCDカメラ６１６を用いるように説明したが、このCCDカメラ６１６の代わりに、CMOS（Complementary Metal Oxide Semiconductor）を用いたイメージセンサ（CMOSイメージセンサ）を用いるようにしてもよい。この場合も、携帯電話機６００は、CCDカメラ６１６を用いる場合と同様に、被写体を撮像し、被写体の画像の画像データを生成することができる。

また、以上においては携帯電話機６００として説明したが、例えば、PDA（Personal Digital Assistants）、スマートフォン、UMPC（Ultra Mobile Personal Computer）、ネットブック、ノート型パーソナルコンピュータ等、この携帯電話機６００と同様の撮像機能や通信機能を有する装置であれば、どのような装置であっても携帯電話機６００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。

［ハードディスクレコーダの構成例］
図１７は、本技術を適用した符号化装置および復号装置を用いるハードディスクレコーダの主な構成例を示すブロック図である。

図１７に示されるハードディスクレコーダ（HDDレコーダ）７００は、チューナにより受信された、衛星や地上のアンテナ等より送信される放送波信号（テレビジョン信号）に含まれる放送番組のオーディオデータとビデオデータを、内蔵するハードディスクに保存し、その保存したデータをユーザの指示に応じたタイミングでユーザに提供する装置である。

ハードディスクレコーダ７００は、例えば、放送波信号よりオーディオデータとビデオデータを抽出し、それらを適宜復号し、内蔵するハードディスクに記憶させることができる。また、ハードディスクレコーダ７００は、例えば、ネットワークを介して他の装置からオーディオデータやビデオデータを取得し、それらを適宜復号し、内蔵するハードディスクに記憶させることもできる。

さらに、ハードディスクレコーダ７００は、例えば、内蔵するハードディスクに記録されているオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることができる。

ハードディスクレコーダ７００は、例えば、チューナを介して取得された放送波信号より抽出されたオーディオデータとビデオデータ、または、ネットワークを介して他の装置から取得したオーディオデータやビデオデータを復号してモニタ７６０に供給し、モニタ７６０の画面にその画像を表示させる。また、ハードディスクレコーダ７００は、モニタ７６０のスピーカよりその音声を出力させることもできる。

もちろん、この他の動作も可能である。

図１７に示されるように、ハードディスクレコーダ７００は、受信部７２１、復調部７２２、デマルチプレクサ７２３、オーディオデコーダ７２４、ビデオデコーダ７２５、およびレコーダ制御部７２６を有する。ハードディスクレコーダ７００は、さらに、EPGデータメモリ７２７、プログラムメモリ７２８、ワークメモリ７２９、ディスプレイコンバータ７３０、OSD（On Screen Display）制御部７３１、ディスプレイ制御部７３２、記録再生部７３３、D/Aコンバータ７３４、および通信部７３５を有する。

また、ディスプレイコンバータ７３０は、ビデオエンコーダ７４１を有する。記録再生部７３３は、エンコーダ７５１およびデコーダ７５２を有する。

受信部７２１は、リモートコントローラ（図示せず）からの赤外線信号を受信し、電気信号に変換してレコーダ制御部７２６に出力する。レコーダ制御部７２６は、例えば、マイクロプロセッサなどにより構成され、プログラムメモリ７２８に記憶されているプログラムに従って、各種の処理を実行する。レコーダ制御部７２６は、このとき、ワークメモリ７２９を必要に応じて使用する。

通信部７３５は、ネットワークに接続され、ネットワークを介して他の装置との通信処理を行う。例えば、通信部７３５は、レコーダ制御部７２６により制御され、チューナ（図示せず）と通信し、主にチューナに対して選局制御信号を出力する。

復調部７２２は、チューナより供給された信号を、復調し、デマルチプレクサ７２３に出力する。デマルチプレクサ７２３は、復調部７２２より供給されたデータを、オーディオデータ、ビデオデータ、およびEPGデータに分離し、それぞれ、オーディオデコーダ７２４、ビデオデコーダ７２５、またはレコーダ制御部７２６に出力する。

オーディオデコーダ７２４は、入力されたオーディオデータを、例えばMPEG方式でデコードし、記録再生部７３３に出力する。ビデオデコーダ７２５は、入力されたビデオデータを、例えばMPEG方式でデコードし、ディスプレイコンバータ７３０に出力する。レコーダ制御部７２６は、入力されたEPGデータをEPGデータメモリ７２７に供給し、記憶させる。

ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されたビデオデータを、ビデオエンコーダ７４１により、例えばNTSC（National Television Standards Committee）方式のビデオデータにエンコードし、記録再生部７３３に出力する。また、ディスプレイコンバータ７３０は、ビデオデコーダ７２５またはレコーダ制御部７２６より供給されるビデオデータの画面のサイズを、モニタ７６０のサイズに対応するサイズに変換する。ディスプレイコンバータ７３０は、画面のサイズが変換されたビデオデータを、さらに、ビデオエンコーダ７４１によってNTSC方式のビデオデータに変換し、アナログ信号に変換し、ディスプレイ制御部７３２に出力する。

ディスプレイ制御部７３２は、レコーダ制御部７２６の制御のもと、OSD（On Screen Display）制御部７３１が出力したOSD信号を、ディスプレイコンバータ７３０より入力されたビデオ信号に重畳し、モニタ７６０のディスプレイに出力し、表示させる。

モニタ７６０にはまた、オーディオデコーダ７２４が出力したオーディオデータが、D/Aコンバータ７３４によりアナログ信号に変換されて供給されている。モニタ７６０は、このオーディオ信号を内蔵するスピーカから出力する。

記録再生部７３３は、ビデオデータやオーディオデータ等を記録する記憶媒体としてハードディスクを有する。

記録再生部７３３は、例えば、オーディオデコーダ７２４より供給されるオーディオデータを、エンコーダ７５１によりMPEG方式でエンコードする。また、記録再生部７３３は、ディスプレイコンバータ７３０のビデオエンコーダ７４１より供給されるビデオデータを、エンコーダ７５１によりMPEG方式でエンコードする。記録再生部７３３は、そのオーディオデータの符号化データとビデオデータの符号化データとをマルチプレクサにより合成する。記録再生部７３３は、その合成データをチャネルコーディングして増幅し、そのデータを、記録ヘッドを介してハードディスクに書き込む。

記録再生部７３３は、再生ヘッドを介してハードディスクに記録されているデータを再生し、増幅し、デマルチプレクサによりオーディオデータとビデオデータに分離する。記録再生部７３３は、デコーダ７５２によりオーディオデータおよびビデオデータをMPEG方式でデコードする。記録再生部７３３は、復号したオーディオデータをD/A変換し、モニタ７６０のスピーカに出力する。また、記録再生部７３３は、復号したビデオデータをD/A変換し、モニタ７６０のディスプレイに出力する。

レコーダ制御部７２６は、受信部７２１を介して受信されるリモートコントローラからの赤外線信号により示されるユーザ指示に基づいて、EPGデータメモリ７２７から最新のEPGデータを読み出し、それをOSD制御部７３１に供給する。OSD制御部７３１は、入力されたEPGデータに対応する画像データを発生し、ディスプレイ制御部７３２に出力する。ディスプレイ制御部７３２は、OSD制御部７３１より入力されたビデオデータをモニタ７６０のディスプレイに出力し、表示させる。これにより、モニタ７６０のディスプレイには、EPG（電子番組ガイド）が表示される。

また、ハードディスクレコーダ７００は、インターネット等のネットワークを介して他の装置から供給されるビデオデータ、オーディオデータ、またはEPGデータ等の各種データを取得することができる。

通信部７３５は、レコーダ制御部７２６に制御され、ネットワークを介して他の装置から送信されるビデオデータ、オーディオデータ、およびEPGデータ等の符号化データを取得し、それをレコーダ制御部７２６に供給する。レコーダ制御部７２６は、例えば、取得したビデオデータやオーディオデータの符号化データを記録再生部７３３に供給し、ハードディスクに記憶させる。このとき、レコーダ制御部７２６および記録再生部７３３が、必要に応じて再エンコード等の処理を行うようにしてもよい。

また、レコーダ制御部７２６は、取得したビデオデータやオーディオデータの符号化データを復号し、得られるビデオデータをディスプレイコンバータ７３０に供給する。ディスプレイコンバータ７３０は、ビデオデコーダ７２５から供給されるビデオデータと同様に、レコーダ制御部７２６から供給されるビデオデータを処理し、ディスプレイ制御部７３２を介してモニタ７６０に供給し、その画像を表示させる。

また、この画像表示に合わせて、レコーダ制御部７２６が、復号したオーディオデータを、D/Aコンバータ７３４を介してモニタ７６０に供給し、その音声をスピーカから出力させるようにしてもよい。

さらに、レコーダ制御部７２６は、取得したEPGデータの符号化データを復号し、復号したEPGデータをEPGデータメモリ７２７に供給する。

以上のようなハードディスクレコーダ７００は、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダとして復号装置１００を用いる。したがって、ビデオデコーダ７２５、デコーダ７５２、およびレコーダ制御部７２６に内蔵されるデコーダは、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

また、ハードディスクレコーダ７００は、エンコーダ７５１として符号化装置１０を用いる。したがって、エンコーダ７５１は、符号化装置１０の場合と同様に、イントラ予測を行う場合の符号化効率を向上させることができる。

なお、以上においては、ビデオデータやオーディオデータをハードディスクに記録するハードディスクレコーダ７００について説明したが、もちろん、記録媒体はどのようなものであってもよい。例えばフラッシュメモリ、光ディスク、またはビデオテープ等、ハードディスク以外の記録媒体を適用するレコーダであっても、上述したハードディスクレコーダ７００の場合と同様に、符号化装置１０および復号装置１００を適用することができる。

［カメラの構成例］
図１８は、本技術を適用した符号化装置および復号装置を用いるカメラの主な構成例を示すブロック図である。

図１８に示されるカメラ８００は、被写体を撮像し、被写体の画像をLCD８１６に表示させたり、それを画像データとして、記録メディア８３３に記録したりする。

レンズブロック８１１は、光（すなわち、被写体の映像）を、CCD/CMOS８１２に入射させる。CCD/CMOS８１２は、CCDまたはCMOSを用いたイメージセンサであり、受光した光の強度を電気信号に変換し、カメラ信号処理部８１３に供給する。

カメラ信号処理部８１３は、CCD/CMOS８１２から供給された電気信号を、Ｙ，Ｃｒ，Ｃｂの色差信号に変換し、画像信号処理部８１４に供給する。画像信号処理部８１４は、コントローラ８２１の制御の下、カメラ信号処理部８１３から供給された画像信号に対して所定の画像処理を施したり、その画像信号をエンコーダ８４１で例えばMPEG方式により符号化したりする。画像信号処理部８１４は、画像信号を符号化して生成した符号化データを、デコーダ８１５に供給する。さらに、画像信号処理部８１４は、オンスクリーンディスプレイ（OSD）８２０において生成された表示用データを取得し、それをデコーダ８１５に供給する。

以上の処理において、カメラ信号処理部８１３は、バス８１７を介して接続されるDRAM（Dynamic Random Access Memory）８１８を適宜利用し、必要に応じて画像データや、その画像データが符号化された符号化データ等をそのDRAM８１８に保持させる。

デコーダ８１５は、画像信号処理部８１４から供給された符号化データを復号し、得られた画像データ（復号画像データ）をLCD８１６に供給する。また、デコーダ８１５は、画像信号処理部８１４から供給された表示用データをLCD８１６に供給する。LCD８１６は、デコーダ８１５から供給された復号画像データの画像と表示用データの画像を適宜合成し、その合成画像を表示する。

オンスクリーンディスプレイ８２０は、コントローラ８２１の制御の下、記号、文字、または図形からなるメニュー画面やアイコンなどの表示用データを、バス８１７を介して画像信号処理部８１４に出力する。

コントローラ８２１は、ユーザが操作部８２２を用いて指令した内容を示す信号に基づいて、各種処理を実行するとともに、バス８１７を介して、画像信号処理部８１４、DRAM８１８、外部インタフェース８１９、オンスクリーンディスプレイ８２０、およびメディアドライブ８２３等を制御する。FLASH ROM８２４には、コントローラ８２１が各種処理を実行する上で必要なプログラムやデータ等が格納される。

例えば、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５に代わって、DRAM８１８に記憶されている画像データを符号化したり、DRAM８１８に記憶されている符号化データを復号したりすることができる。このとき、コントローラ８２１は、画像信号処理部８１４やデコーダ８１５の符号化・復号方式と同様の方式によって符号化・復号処理を行うようにしてもよいし、画像信号処理部８１４やデコーダ８１５が対応していない方式により符号化・復号処理を行うようにしてもよい。

また、例えば、操作部８２２から画像印刷の開始が指示された場合、コントローラ８２１は、DRAM８１８から画像データを読み出し、それを、バス８１７を介して外部インタフェース８１９に接続されるプリンタ８３４に供給して印刷させる。

さらに、例えば、操作部８２２から画像記録が指示された場合、コントローラ８２１は、DRAM８１８から符号化データを読み出し、それを、バス８１７を介してメディアドライブ８２３に装着される記録メディア８３３に供給して記憶させる。

記録メディア８３３は、例えば、磁気ディスク、光磁気ディスク、光ディスク、または半導体メモリ等の、読み書き可能な任意のリムーバブルメディアである。記録メディア８３３は、もちろん、リムーバブルメディアとしての種類も任意であり、テープデバイスであってもよいし、ディスクであってもよいし、メモリカードであってもよい。もちろん、非接触ICカード等であっても良い。

また、メディアドライブ８２３と記録メディア８３３を一体化し、例えば、内蔵型ハードディスクドライブやSSD（Solid State Drive）等のように、非可搬性の記憶媒体により構成されるようにしてもよい。

外部インタフェース８１９は、例えば、USB入出力端子などで構成され、画像の印刷を行う場合に、プリンタ８３４と接続される。また、外部インタフェース８１９には、必要に応じてドライブ８３１が接続され、磁気ディスク、光ディスク、あるいは光磁気ディスクなどのリムーバブルメディア８３２が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて、FLASH ROM８２４にインストールされる。

さらに、外部インタフェース８１９は、LANやインターネット等の所定のネットワークに接続されるネットワークインタフェースを有する。コントローラ８２１は、例えば、操作部８２２からの指示に従って、DRAM８１８から符号化データを読み出し、それを外部インタフェース８１９から、ネットワークを介して接続される他の装置に供給させることができる。また、コントローラ８２１は、ネットワークを介して他の装置から供給される符号化データや画像データを、外部インタフェース８１９を介して取得し、それをDRAM８１８に保持させたり、画像信号処理部８１４に供給したりすることができる。

以上のようなカメラ８００は、デコーダ８１５として復号装置１００を用いる。したがって、デコーダ８１５は、復号装置１００の場合と同様に、イントラ予測を行う場合の符号化効率を向上させるように符号化された画像を復号することができる。

また、カメラ８００は、エンコーダ８４１として符号化装置１０を用いる。したがって、エンコーダ８４１は、符号化装置１０の場合と同様に、イントラ予測を行う場合の符号化効率を向上させることができる。

なお、コントローラ８２１が行う復号処理に復号装置１００の復号方法を適用するようにしてもよい。同様に、コントローラ８２１が行う符号化処理に符号化装置１０の符号化方法を適用するようにしてもよい。

また、カメラ８００が撮像する画像データは動画像であってもよいし、静止画像であってもよい。

もちろん、符号化装置１０および復号装置１００は、上述した装置以外の装置やシステムにも適用可能である。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

１０ 符号化装置， １３ 演算部， １４ 直交変換部， １６ 可逆符号化部， ４１ 候補予測画像生成部， ４３ 予測モード判定部， ４５ イントラスキップ判定部， ５１ MostProbableMode生成部， ５２ 差分モード生成部， １００ 復号装置， １０１ 蓄積バッファ， １０２ 可逆復号部， １０５ 加算部， １２３ 予測画像生成部， １３１ MostProbableMode生成部， １３２ 予測モード再構築部

Claims (16)

1. 符号化対象ブロックの周辺ブロックの最適イントラ予測モードを用いて、前記符号化対象ブロックの最適イントラ予測モードの予測値を生成する予測値生成部と、
   前記符号化対象ブロックの最適イントラ予測モードと、前記予測値生成部により生成された前記符号化対象ブロックの最適イントラ予測モードの予測値の差分を生成する差分生成部と、
   前記差分生成部により生成された前記差分を伝送する伝送部と
   を備える符号化装置。
2. 前記符号化対象ブロックに対する予測画像の方向が隣り合う前記イントラ予測モードは、連続する値である
   請求項１に記載の符号化装置。
3. 前記伝送部は、前記差分生成部により生成された前記差分がゼロである場合、前記差分の伝送を停止する
   請求項１に記載の符号化装置。
4. 前記符号化対象ブロックと、前記符号化対象ブロックに対する前記符号化対象ブロックの最適イントラ予測モードのイントラ予測処理により生成される前記予測画像との差分を残差情報として演算する演算部と、
   前記演算部により演算された前記残差情報に対して直交変換を施す直交変換部と
   をさらに備え、
   前記伝送部は、前記差分と前記直交変換部による直交変換の結果得られる係数を伝送し、前記係数と前記差分がゼロである場合、前記係数と前記差分の伝送を停止する
   請求項３に記載の符号化装置。
5. 前記予測値生成部は、前記符号化対象ブロックの複数の周辺ブロックの最適イントラ予測モードのうちの最も小さいものを、前記符号化対象ブロックの最適イントラ予測モードの予測値として生成する
   請求項１に記載の符号化装置。
6. 前記伝送部は、前記差分を可逆符号化して伝送する
   請求項１に記載の符号化装置。
7. 前記符号化対象ブロックに対して複数のイントラ予測モードのイントラ予測処理を行い、予測画像を生成する予測画像生成部と、
   前記予測画像生成部により生成された前記予測画像と前記符号化対象ブロックに基づいて、前記複数のイントラ予測モードのうちの所定のイントラ予測モードを前記符号化対象ブロックの最適イントラ予測モードと判定する判定部と
   をさらに備える
   請求項１に記載の符号化装置。
8. 符号化装置が、
   符号化対象ブロックの周辺ブロックの最適イントラ予測モードを用いて、前記符号化対象ブロックの最適イントラ予測モードの予測値を生成する予測値生成ステップと、
   前記符号化対象ブロックの最適イントラ予測モードと、前記予測値生成ステップの処理により生成された前記符号化対象ブロックの最適イントラ予測モードの予測値の差分を生成する差分生成ステップと、
   前記差分生成ステップの処理により生成された前記差分を伝送する伝送ステップと
   を含む符号化方法。
9. 符号化装置から送信されてくる、復号対象ブロックの最適なイントラ予測モードと、前記復号対象ブロックの周辺ブロックの最適なイントラ予測モードを用いて生成された前記復号対象ブロックの最適なイントラ予測モードの予測値との差分を受信する受信部と、
   前記周辺ブロックの最適なイントラ予測モードを用いて、前記復号対象ブロックの最適なイントラ予測モードの予測値を生成する予測値生成部と、
   前記受信部により受信された前記差分と、前記予測値生成部により生成された前記復号対象ブロックの最適なイントラ予測モードの予測値を演算することにより、前記復号対象ブロックの最適なイントラ予測モードを生成するイントラ予測モード生成部と
   を備える復号装置。
10. 前記復号対象ブロックに対する予測画像の方向が隣り合う前記イントラ予測モードは、連続する値である
    請求項９に記載の復号装置。
11. 前記符号化装置は、前記差分がゼロである場合、前記差分の伝送を停止し、
    前記イントラ予測モード生成部は、前記符号化装置が前記差分の伝送を停止する場合、前記予測値生成部により生成された前記復号対象ブロックの最適なイントラ予測モードの予測値を前記復号対象ブロックの最適なイントラ予測モードとして生成する
    請求項９に記載の復号装置。
12. 前記復号対象ブロックに対して、前記イントラ予測モード生成部により生成された前記復号対象ブロックの最適なイントラ予測モードのイントラ予測処理を行い、予測画像を生成する予測画像生成部と、
    前記予測画像生成部により生成された前記予測画像と前記復号対象ブロックを加算することにより、前記復号対象ブロックを復号する加算部
    をさらに備え、
    前記符号化装置は、前記差分と前記復号対象ブロックを伝送し、前記差分と前記復号対象ブロックがゼロである場合、前記差分と前記復号対象ブロックの伝送を停止し、
    前記加算部は、前記符号化装置が前記復号対象ブロックの伝送を停止する場合、前記予測画像生成部により生成された前記予測画像を前記復号対象ブロックの復号結果とする
    請求項１１に記載の復号装置。
13. 前記予測値生成部は、複数の前記周辺ブロックの最適なイントラ予測モードのうちの最も小さいものを、前記復号対象ブロックの最適なイントラ予測モードの予測値として生成する
    請求項９に記載の復号装置。
14. 可逆符号化された前記差分を可逆復号する可逆復号部
    をさらに備え、
    前記受信部は、可逆符号化された前記差分を受信する
    請求項９に記載の復号装置。
15. 前記復号対象ブロックに対して、前記イントラ予測モード生成部により生成された前記復号対象ブロックの最適なイントラ予測モードのイントラ予測処理を行い、予測画像を生成する予測画像生成部
    をさらに備える
    請求項９に記載の復号装置。
16. 復号装置が、
    符号化装置から送信されてくる、復号対象ブロックの最適なイントラ予測モードと、前記復号対象ブロックの周辺ブロックの最適なイントラ予測モードを用いて生成された前記復号対象ブロックの最適なイントラ予測モードの予測値との差分を受信する受信ステップと、
    前記周辺ブロックの最適なイントラ予測モードを用いて、前記復号対象ブロックの最適なイントラ予測モードの予測値を生成する予測値生成ステップと、
    前記受信ステップの処理により受信された前記差分と、前記予測値生成ステップの処理により生成された前記復号対象ブロックの最適なイントラ予測モードの予測値を演算することにより、前記復号対象ブロックの最適なイントラ予測モードを生成するイントラ予測モード生成ステップと
    を含む復号方法。

Images