WO1995001053A1 - Processeur d'images - Google Patents

Description

明細書 画 像処理装 置 技術分野

本発明 は 動 き 補償予測符号 化 を用 い た 画 像処理装置 、 及 び符号圧縮 さ れ た 画 像 を復号す る た め の 画 像処理装置 に 関す る 。 背景技術

近年、 情報処理機器 の発展 は め ざ ま し く テ レ ビ電話 テ レ ビ会議 の 装置 も 数多 く 提案 さ れて い る テ レ ビ会議 テ レ ビ電話 な ど の 画 像伝送 の 分野 に 於 い て 基盤技術 と な る の が画像圧縮伸長の 技術で あ る 。 現在 画 像圧縮 の ffl際標準ィ匕作業力く I S 0 ( International Standard Org an i zat i on ) の M P E G 1 ( Motion Picture Expert G r oup part 1) , M E P E G 2 ( 同 part 2) で行わ れて い る 。 M P E G 1 規格 は比較的低 ビ ッ ト レ ー ト の ノ ン イ ン タ ー レ ー ス 画 像 の 伝送規格で、 M P E G 2 は比較 的高 ビ ッ ト レ ー ト の ノ ン ィ ン タ 一 レ ー ス あ る い は ィ ン タ ー レ 一 ス 画像 の 伝送規格で あ る 。

画 像圧縮伸 長 の 方式 に は さ ま ざ ま な 方式が提案 さ れ て い る が、 そ の 一つ に 動 き 補償予測符号 化方式が あ る 。 ま ず、 フ レ ー ム 間予測符号 化方式 に つ い て 説明 す る 。 フ レ 一ム 間予測符号 化 は 画像 の 時間 的相関 を利用 し た 符号 化 で 、 送信側で は前画面 と 現画面差分 の み を 伝送 し 、 受信 側で は 蓄 え て お い て前画面 に 、 伝送 さ れ た 差分 値 を加算 す る こ と よ り 、 現画 像 を再構成す る 。 そ の 処理 を （ 1 ) 式 不 o

D(x.y,t)=D ( x,y.t-l)+ Δ D(x , y , t) … (i)

こ の 方式で は変 化、 あ る い は 動 き の 少 な い 画 像 （時 間 的 に 相関が高 い 画 像 ） に つ い て は 伝送 ビ ッ ト 幅が削減で き る 。 し 力、 し 、 動 き が あ る 画 像で は む し ろ ビ ッ 卜 幅力く增 加 し て し ま う 。 そ の た め 、 動 き 力《 あ る 画 像 に 対 し て は 、 動 き 補償 と い う 処理 を追加す る こ と に よ り 、 ビ ッ ト 幅 を 削減す る 。 動 き 補償処理で は 、 送 信側で前画面 と 現画面 の 動 き 量 を 評価 し 、 そ の量 （動 き べ ク ト ル ） を 差分 値 と 共 に 伝送す る 。 受信側で は前画面 か ら 動 き べ ク ト ル分 だ け遷移 し た 位置 の 値 に 差分 値 を加 え て現画面 の 値 を 再構 成す る 。 そ の 処理を （ 2 ) 式 に 示す。

D ( X , y , t ) =D ( x + mvx， y + mvx , t -丄） + Δ D ( χ , y , t ) ··· (2) こ こ で、 m v x , m v y は そ れ ぞれ x 方 向 ， y 方 向 の 動 き べ ク ト ルで あ る 。

動 き べ ク 卜 ノレ の 取 り 方 に は い く つ か の 方式力く あ る 。 動 き べ ク ト ル の 精度が画素単位の 場 台 は動 き べ ク ト ル の 指 し 示す位置 の 画素 の 値 D ( x + m v x ， y + m v y , t 一 1 ) は存在す る （ F！ G . 9 ( a ) 参照） 。 し 力、 し 、 動 き べ ク ト ル の 精度力《 1 Z 2 単位の 場合 は動 き べ ク ト ル の 指 し 示す 位置 に 画素が存在 し な い 場合が あ る （ F ί G . 9 ( b ) 参照） 。 そ の 場合 に は近傍 の 2 点 も し く は 4 点か ら 内揷 し て そ の 点 の 値 を 得 る （ F 1 G . 9 ( b ) 参照） 。 4 点 力、 ら の 内 挿処理 を （ 3 ) 式 に 示 す。

D(x - y. l) - !l)([x*mvx] . [y + mvy] . t-l )+l)([x+mvx] + | . [y + nivy] . (-| )

⁺ D([x+mvx] . [y + nivy]+ l . t-| ) ₊|)([x*mvx] . [y*mvy] t | .1-1 )1 /4 +厶 D(x . y, t) …… （3) こ こ で 、 [ X ] は有理数 X に 対 し て X を 越 え な い 最大 の 整数 を 表す。

以上 の よ う に 、 動 き 補 償 予測符号 化 に よ る 画 像 仲 長 装 置 に 於 い て は 、 参照画 像 の 内 挿処理 と 差分 値 と の 加 算 ( 以 後 復元処理 と い う ） が必要で あ る 。

伝送 さ れ る 画 像 の 構造 に は フ レ 一 厶 構造 と フ ィ ー ル ド 構造が あ る 。 フ レ ー ム 構造 で は F 1 G . 1 ◦ ( a ) の よ う に 走査線 を 1 ラ イ ン 毎 に 順次伝送す る 。 フ ィ ー ル ド 構造 で は 、 Fig 1 0 ( b ) の よ う に 飛 び越 し 走査 を 行 い 、 第 1 フ ィ 一 ル ド で は 偶数 ラ イ ン を 、 第 2 フ ィ ー ル ド で は 奇 数 ラ イ ン を 伝送す る 。

ま た 、 動 き べ ク ト ル の 計算 の 方法 に も 、 フ レ ー ム 予 測 と フ ィ ー ル ド 予 測が あ る 。 フ レ ー ム 予測で は 参照 画 像 を フ レ ー ム 構造 と し て扱 い 、 フ ィ 一 ル ド 予则で は 参 照画 像 を フ ィ 一 ル ド 構造 と し て （参照画 像が フ レ ー ム 構造 の 場 台 は 、 偶数 ラ イ ン あ る い は奇数 ラ イ ン の み の 画 像 と し て ） 扱 う 。

M P E G 1 規格で は 、 フ レ ー ム 構造 し か対応 し て い な い 。 そ の 場 台 の 動 き 補償予 測符号 化 の 伸長 回路 の 例 を F 1 G . 1 1 に 示 す。 F 1 G . 1 1 に 於 い て 、 加算器 2 が参照画 像 の 内 挿処理 を 行 う ブ ロ ッ ク で あ り 、 加算器 3 が復元処理 を 行 う ブ ロ ッ ク で あ る 。 参照画 像 メ モ リ は フ レ ー ム メ モ リ で あ る 。 F 1 G . 1 2 に 処理 の タ イ ミ ン グ チ ヤ 一 卜 を示す 随時 伝送 さ れ て く る 差分 デ ー タ に 対 し て 、 対応す る 参照 画 像 を随時 ア ク セ ス し 、 読 み だ し と 同時 に 内揷 を行 い 、 内 揷終了 と 同時 に 復元処理 を行 う 。 F 1 G . 1 2 に 示す よ う に 、 こ れ ら の 処理 は連続 し て 行 わ れ る の で 、 内 挿処理 と 復元処理 は 同時刻 に 行 わ れ る 。 差分 デ ー タ に つ い て は 、 演算器 6 で逆量子 化、 逆 コ サ イ ン 変換 な ど の 処理が行 わ れ、 そ こ で相 当数 の 遅れが生 じ る 。 そ の た め 、 そ れ ら の 処理 の 結果 の 出力 に 合 わ せ て 、 参照画 像 を ア ク セ ス す る タ イ ミ ン グ を 調整 し な け れば な ら な い 。

M P E G 2 規格 の 信号で伝送 さ れ る 画 像 に は 、 伝送 さ れ る 差分 の 画像構造、 予測方式 と も に フ レ ー ム と フ ィ ー ル ド の 両方 を と り 得 る 。 M P E G 2 の 様 な 画 像構造、 予 測方式 と も に フ レ ー ム と フ ィ ー ル ド の 両方 を と り 得 る 信 号 を扱 う 画 像圧縮伸長装置 に 於 い て は 、 復元処理 の 前 に フ レ ー ム / フ ィ ー ル ド変換装置 を 設 け て 、 差分 の 画像 の 構造 と 予測方式 を 合 わ せ な け れば な ら な い 。 そ の 場合 の 動 き 補償予測符号 化 の 伸長 回路 の 例 を F 1 G . 1 3 に 示す。 F I G . 1 3 に 於 い て 、 加算器 2 が参照画 像 の 内 挿処理 を行 う プ ロ ッ ク で あ り 、 加算器 3 が復元処理 を 行 う プ ロ ッ ク で あ る 。 ま た 、 中 間 メ モ リ で フ レ ー ム ノ フ ィ ー ル ド変換 を 行 う 。 参照画 像 メ モ リ は フ レ ー ム メ モ リ で あ る 。 フ レ — ム 全体 を 小画面 （ た と え ば 8 X 8 の ブ ロ ッ ク ） に 分割 し て処理す る 場合 の 処理 内 容を F I G . 1 4 の タ イ ミ ン グ チ ャ 一 ト を用 い て説明 す る 。 参照画 像 メ ΐ リ 5 力、 ら 、 小画 面 と そ の 周 辺画素 を 読み だ し 、 加算器 2 で 内挿 し 、 そ の 結果 を 中 間 メ モ リ 4 に 書 き 込む。 差分 デ ー タ は演算器 6 で逆量子 化、 逆 コ サ イ ン 変換 な ど の 処理が行 わ れ る 。 こ れ ら の 処理 は F 1 G . 1 4 の （ 1 ) の 期 間 に 同時 に 行 わ れ る 小画面 に つ い て そ れ ら の 処理が終了す る と 、 続 い て 、 中 間 メ モ リ 4 力、 ら 差分 デ ー タ と 同 じ フ レ ー ム フ ィ ー ル ド 構造で参照画 像 を読み だ し 、 外部か ら 入力 さ れ た 差分 デ 一 夕 と 加算器 3 で加算 さ れ、 復元処理が行 わ れ る 。 こ れ ら の 処理 は F I G . 1 4 の （ 2 ) の 期 間 に 同時 に 行わ れ る 。

こ の よ う に 中 間 メ モ リ を持 た ず、 差分 デ ー タ の 処理 に 合 わ せ て参照画像 を読み込ん で来て 内挿処理、 復元処理 を 行 う 画像伸 長装置で は 内 挿用 の 加算器 と 復元処理用 の 加算器 と が必.要で、 ハ ー ド ウ ェ ア 量が多量 な も の に な つ て い た 。 ま た 、 中 間 メ モ リ を持 っ て い て 、 フ レ ー ム ノ フ ィ ー ル ド変換処理 を 行 う 動 き 補償予測符号 化画像伸長装 置で は 、 ハ ー ド ウ エ ア の量が多量 な も の に な る ば力、 り で な く 、 中 間 メ モ リ の 前後の 加算器の 動作す る 時 間 は ォ ー バ ー ラ ッ プが無 く 、 一方が処理 を行 っ て い る 間 、 他方が 使用 さ れ な い 時 間が存在す る の で、 非常 に 効率 の 悪 い シ ス テ ム と な る と 言 う 欠点力《 あ っ た 。

—方 、 近年、 デ ィ ジ 夕 ル信号処理 に よ り デ ィ ジ 夕 ノレ符 号 の 圧縮 Ζ伸 長 を 行 な う 装置が開発 さ れて い る 。 特 に 符 号量が多 い デ ィ ジ タ ル画 像 を 伝送ノ蓄積す る た め に Μ Ρ E G , J P E G , H 2 6 1 な ど の 世界規格 が定 め ら れ、 こ れ ら の 規格 に 準 じ た 圧縮 伸 長装置が多 く 開発 さ れ て い る 。 こ れ ら の 規格 で は符号圧縮の 方法 と し て可変長符 号 と 時 間軸 方 向 の 相 関 を利用 し た 動 き 補償、 離散 コ サ イ ン 変換 を 利用 し て い る 。 復号装置 と し て は可変長符号 を 利用 す る こ と に 伴 い 、 画像 と 圧縮 さ れ た 符号 の 同期 を取 る た め に 圧縮 さ れて い る 入カ コ ー ド を一時貯 え て お く た め の コ ー ド入力 バ ッ フ ァ が必要 と な る 。 ま た 、 動 き 捕償 を利用 す る こ と に 伴 い 、 過去又 は未来 の フ レ ー ム 画 像 を 参照画 像 メ モ リ と し て保持 し て お く 必要が あ る 。 ま た 、 入力 符号 は 出 力 が ィ ン タ ー レ 一 ス ノ ン ィ ン 夕 一 レ ー ス に 関係 な く 2 次元 D C T を 行 な う プ ロ ッ ク 単位で送 ら れ て く る の で復号 し た 画像 を イ ン タ ー レ ー ス ま た は ノ ン ィ ン タ ー レ ー ス で 出 力 す る た め の フ レ ー ム メ モ リ が必要 と " る 。

す な わ ち 、 同期 を 取 る た め の コ ー ド入力 バ ッ フ ァ 、 動 き 補償用 参照画 像 フ レ ー ム メ モ リ 、 フ レ ー ム / フ ィ ー ル ド変換用 表示画像 フ レ ー ム メ モ リ の 3 種類 の メ モ リ 装置 が必要で あ る 。 デ コ ー ド装置 を 1 つ の L S I で構成す る と き 、 現在 の L S I の 集積度で は こ れ ら の メ モ リ は デ コ - ド装置 と 同 じ 1 つ の L S I に 集積す る こ と が難 し い た め 、 外部 メ モ リ と し て L S I の 外 に 設定 し な け れば な ら な い 。 し 力、 し 、 そ れ ぞれ の 用 途 に 别 々 の メ モ リ を割 り 当 て て い て は 配線数、 回路規模、 メ モ リ 量が大 き く な つ て し ま う の で外部 メ モ リ と し て 1 つ の メ モ リ を 上記参照画 像、 表示画像、 コ ー ド入力バ ッ フ ァ に分割 し て共用 し て 用 い る 方法が多 く 使われて い る 。

通常、 動画を圧縮 し た符号列デ コ ー ドす る 場合 に は入 力符号の コ ー ド入力バ ッ フ ァ へ の書 き 込み、 コ ー ド入力 バ ッ フ ァ 力、 ら の読み 出 し 、 動 き 補償 に と も な う 参照画像 の読み 出 し 、 デ コ ー ド後 に参照画面を再構成す る 参照画 像への書 き 込み、 デ コ ー ド し た画像を表示す る た め の表 示画像読み 出 し 、 の 5 種類の メ モ リ ア ク セ ス が発生す る が、 間断な く デー タ が流れて く る 入力符号の コ ー ド入力 バ ッ フ ァ へ の書 き 込み 、 常時画像を表示 し な ければな ら な い表示画像読み 出 し はバ ッ フ ァ があふれた り 、 な く な る こ と はで き ず、 ま た処理のオ ー バ ー へ ッ ドの関係か ら 参照画像の読み 出 し と 書 き 込み は一度行な つ た ら 途中で 止め る こ と も 難 し い。

1 つ の外部 メ モ リ に 対 す る こ れ ら の メ モ リ ア ク セ ス 要 求を処理す る た め、 従来 は 2 つ の方式が取 ら れて い る 。 1 っ は メ モ リ ア ク セ ス の必要が発生す る ご と に ア ク セ ス 要求をバ ス 調停装置 に送 り 、 バ ス調停装置 は各 ブ ロ ッ ク か ら 発生す る 要求信号を優先順位に し たが っ て調停を行 う 優先順位方法で あ る 。 ま た、 も う 1 つ の方式 と し て そ れぞれの要求を優先順位な し で順番 に処理す る ポ ー リ ン グ方式があ る 。 前者の方式の場合、 メ モ リ の バ ン ド幅 に 対 し メ モ リ ア ク セ ス が少な い と き に は問題 は な い メ モ リ ア ク セ ス 量が多 く な る と 優先順位が低い メ モ リ ァ ク セ ス は行われず待 ち状態が多 く な る 。 そ の た め処理の ォ 一 ノく 一 へ ッ ドカ《多 く な り 、 1 フ レ ー ム の 画像 の 復号力く 1 フ レ ー ム 表示時 間 に 行 な え な く な り 、 入力符号 と 出 力 画像 の 同期が取れ な く な っ て し ま う と い う 問題点が あ っ た 。 ま た 、 後者 の 方式 の 場合、 連続 し た メ モ リ ア ク セ ス が行 な え な い た め 、 外部 メ モ リ に D R A M を用 い た と き は ぺ — ジ 切 り 換 え の ォ 一 バ ー へ ッ ド力く多 く な り 、 メ モ リ バ ン ト 幅 の 不 足が発生す る 。

ま た 一方 、 動画 像 の 冗長性 と し て は 、

( 1 ) 空 間軸方 向 隣 の 画素 と よ く 似 て い る 、 人間 の 目 は钿 力、 い も の は よ く 見え な い 。

( 2 ) 時 間軸方 向 連続 し て い る 画像 は よ く 似 て い る

の 2 つ 力 あ る 。

こ の （ 1 ) , ( 2 ) の 冗長性 を圧縮す る た め 、

( 1 ) · あ る 大 き さ の ブ ロ ッ ク を単位 と し て 、 離散 コ サ イ ン 変換 （ D C T ) を お こ な い周 波数成分 に 変換 し 、 量子 化 を お こ な い高 い 周 波数成分 を削減す る 。

♦ 隣の ブ ロ ッ ク と の 差分 （ D P C M ) の み デ ー タ と す る

( 2 ) · あ る 大 き さ の ブ ロ ッ ク を単位 と し て 、 動 き 捕 償 を お こ な い 、 動 き べ ク ト ル と 誤差成分 の み を デ ー タ と す る 。

と い う 方法力く用 い ら れ る 。

こ れを 、 一般の 画 像 に 適用 す る と 、 比較的空間铀方向 の 冗長性 の 多 い 部分 （動 き の 激 し い 画像） は 動 き 補償が 適用 し に く い の で 、 空 間軸方法 の 冗長性 を圧縮す る た め D C T + 量子 化、 D P C M を お こ な う 。 こ の 場合 、 D P C M は 隣 の プ ロ ッ ク と 最 も 相関 の 高 い D C 成分 の み お こ な う 。

—方 、 比較的時間軸方向 の 冗長性 の 多 い 部分 （ あ ま り 動 い て い な い 画像 ） は動 き 補償を適用 し 、 動 き べ ク ト ノレ と 誤差成分 の み を デ ー タ と す る 。 ま た 、 さ ら に 空 間軸方 法 の 冗長性 を削減す る た め 、 誤差成分 に 対 し て も あ る 大 き さ の ブ ロ ッ ク 単位で D C T + 量子化を お こ な う 。 但 し 誤差成分 は 隣の プ ロ ッ ク と の 空間 的 な 相 関 は高 く な い と 考 え ら れ る た め D P C M は お こ な わ な い 。

以上 を ま と め る と 、

( 1 ) 動 き が激 し い 画像

D C T 係数 の D C 成分 D P C M

D C T 係数 の A C 成分 D C T + 量子 化 ( 2 ) 動 き の 少 な い 画 像

動 き 補償 + D C T + 量子化

と な る 。

以上の よ う に 符号 化 さ れ た デー タ を 画像へ復元す る 従 来の 画像処理装置 を 図 1 5 に 示す。 ま ず初 め に 、 符号 読回路 3 0 で可変長符号 の解読を行 い 、 フ ラ グ や D C T 係数 を求 め る 。 次 に 、 動 き 補償を行 っ た プ ロ ッ ク の 場合 は 、 逆量子 化 （ I Q ) · 逆離散 コ サ イ ン 変換 （ I D C T ) 回路 3 1 で差分 デ ー タ の D C T 係数 を I D C T し て差分 デ ー タ を求 め 、 同時 に 動 き べ ク ト ル再構成回路 3 2 で FI G . 1 6 に 示 さ れ る よ う な ア ル ゴ リ ズ ム で動 き べ ク ト ル を 再構成 し 、 そ の 動 き ベ ク ト ル を用 い て動 き 補償 回路 3 3 で画 像 メ モ リ 3 4 か ら 前方 ま た は後方 ま た は両方 の 画像 デ ー タ を取 り 出 し 、 加算回路 3 5 で差分 デ 一 夕 と 加算 し て復元画素 デ ー タ を 作成す る 。

動 き 補償 を 行 わ な い で画素 デ 一 夕 そ の も の を D C T し た ブ ロ ッ ク の 場合 は 、 D C T 係数 の D C 成分 の み D P C M処理 回路 3 6 で F1G. 1 7 に 示 さ れ る よ う な D P C M処 理 を行 い 、 他 の D C T 係数 と 併せ て I Q * I D C T 回路 3 1 で I D C T を行 い 復元画素 デ ー タ を作成す る 。 以上 が符号 化 さ れ た 画 像 デ ー タ を 画像 デ ー タ へ復元す る 従来 の 方法で あ る 。 な お 、 F 1 G . 1 6 及 び F 1 G . 1 7 で示 し た 各 コ マ ン ド の 意味 を FIG. 1 8 に 示す。

以上の よ う に 、 従来 の 中 間 メ モ リ を持 た ず、 差分 デ ー タ の 処理 に 合 わ せ て参照画像 を読み込ん で来 て 内 挿処理、 復元処理 を行 う 画像伸長装置で は 回路規模が多大 な も の に な っ て い た 、 さ ら に 、 中 間 メ モ リ を持 ち 、 フ レ ー ム ノ フ ィ ー ル ド変換を 伴 う 動 き 補償予測符号 化画 像伸長を行 う 画像伸長装置で は 、 加算器 の 回路規格が大 き く な り 、 し 力、 も 、 そ の 加算器が使用 さ れな い時間が存在す る と い う 問題点が あ っ た 。

ま た 、 前述 し た よ う に 、 従来の一般的 な バ ス 調停機能 で は 、 外部 メ モ リ へ ア ク セ ス す る 際 に 多大 な オ ー バ ー へ ッ ドが発生す る と い う 欠点力 あ っ た 。

さ ら に 、 上記 し た よ う に 、 動 き べ ク ト ル再構成 や D C T 係数 の D C 成分 の D P C M処理 は 、 解読 し た フ ラ グ を 用 い て F I G . 1 6 及 び F I G . 1 7 の よ う な 条件判断、 各種演 算 を行 う た め な ん ら か の シ ー ケ ン サ が必要で あ り 、 ハ ー ド ウ エ ア と し て大 き な も の と な る 。 ま た 、 い ろ い ろ な 規 格 や 応用 が考 え ら れ る 画像 デ ー タ の 圧縮 ♦ 伸 張技術で は フ ラ グ の 解釈 や演算の 仕方が異 な る 可能性が あ る た め上 記 シ ー ケ ン サ は ソ フ ト ゥ ヱ ァ 制御可能 な も の の 方が適応 性 · 拡張性が良 く な る が、 命令 メ モ リ な どが必要 と な り さ ら に ハ ー ド ウ ユ ア 量が大 き く な る 。 従来 の 画 像処理装 置 は 、 シ ー ケ ン サ 力く 2 つ も 必要 な た め 、 ハ ー ド ウ ェ ア 量 が多 く な る 傾 向 力《 あ っ た 。 発明 の 開示

本発明 は こ の 点 を鑑み て な さ れた も の で、 本発明 の 目 的 は 、 少 な い 回路規模で動 き 補償予測符号 化画像伸 長を 行 う 画像処理装置 を提供す る こ と に あ る 。 ま た 、 本発明 の 別の 目 的 と す る と こ ろ は、 外部 メ モ リ の 読み 出 し 書 き 込 み の 内部バ ッ フ ァ を用 途別 に も つ こ と に よ り 、 外部 メ モ リ への ア ク セ ス を効率良 く 行 な う こ と がで き る 画 像処理装置 を提供す る こ と に あ る 。 さ ら に 、 本発明 の 別 の 目 的 は、 ハ ー ド ウ ェ ア の 使用 効 率 の 良い 画像処理装置 を提供す る こ と で あ る 。

前記課題 を 解決す る た め に 本発明 に よ る 画 像処理装置 で は動 き 補償を行 う 処理領域分の画像 メ モ リ と 加算器か ら な り 、 時間的 に オ ー バ ー ラ ッ プの無い 内挿処理 と 復元 処理を同一の 加算器を時間多重で用 い て処理す る 。

ま た 、 実施例 と し て、 入力符号を解読 し 、 画像を復元 す る デ コ ー ド手段 と 、 外部か ら 入力 さ れ る 符号列を受け 取 っ て外部 メ モ リ に符号列を書 き 込む入力符号書 き 込み 手段 と 、 外部 メ モ リ に蓄積 さ れた符号列を読み 出 し 、 そ の符号列を前記デ コ ー ド手段 に転送す る 入力符号読み 出 し 手段 と 、 外部 メ モ リ に保存 さ れて い る 参照画像 を読み 出 し 、 前記デ コ ー ド手段で復元 さ れた 画像 と 加え る こ と に よ り 表示画 像を作成す る 画像再構成手段 と 、 前記画像 再構成手段で作成 さ れた画像を外部 メ モ リ に書 き 込む画 像書 き 込み手段 と 、 外部 に画像を表示す る た め に前記画 像書 き 込み手段に よ り 書 き 込 ま れた 画像を外部 メ モ リ よ り 読み 出す表示画像読み 出 し 手段 と 、 外部 メ モ リ と 前記 画像再構成手段、 前記画像書 き 込み手段、 前記入力符号 書 き 込み手段、 前記入力符号読み 出 し 手段、 前記表示画 像読み 出 し 手段を接続す る 接続手段 と 、 前記入力符号書 き 込み手段、 前記入力符号読み 出 し 手段、 前記表示画像 読み 出 し 手段が外部 メ モ リ か ら 読み 出 し た デー タ を そ れ ぞれ一時蓄積す る デー タ 蓄積手段 と 、 前記画 像再構成手 段、 前記画像書 き 込み手段、 前記入力符号書 き 込み手段 前記入力符号書 き 込み手段、 前記入力符号読み 出 し 手段 前記表示画 像読み 出 し 手段の 中か ら 前記接続手段 と 接続 す る 手段を選択す る メ モ リ バ ス調停手段 と で構成 し 、 前 記 メ モ リ バ ス 調停手段 は前述 し た 入力符号の コ ー ド入力 ノ ' ッ プ ア へ の 書 き 込 み 、 コ ー ド入力 バ ッ フ ァ 力、 ら の 読み 出 し 、 動 き 補償 に と も な う 参照画像 の 読み 出 し 、 デ コ 一 ド後 に 参照画像 を 再構成す る 参照画像へ の 書 き 込 み 、 デ コ ー ド し た 画 像 を 表示す る た め の 表示画 像読 み 出 し 、 の

5 種類 の メ モ リ ア ク セ ス を ア ク セ ス 優先順 位 の 高 い 入力 符号 の コ 一 ド 入力 バ ッ フ ァ へ書 き 込み 、 コ ー ド入力 バ ッ フ ァ 力、 ら の 読 み 出 し 、 デ コ ー ド し た 画 像 を 表示す る た め の 表示 画像読 み 出 し の 第 1 の グ ル ー プ と 優先順位 は 低い が連続 し て行 な い た い 動 き 捕償 に と も な う 参照画像 の 読 み 出 し 、 デ コ ー ド後 に 参照画像 を再構成す る 参照画像へ の 書 き 込 み の 第 2 の グ ル ー プ に 分 け 、 第 1 の グル ー プ 内 は ポ ー リ ン グ方式 に よ り あ る 決 ま っ た 期間だ け ア ク セ ス 権 を与 え 、 第 1 の グル ー プの 要求がすべて終了 し た と こ ろ で、 第 2 の グ ル ー プへ ア ク セ ス 権が移 り 、 第 2 の ダ ル — プへ ア ク セ ス 権が移 っ た と き 、 第 2 の グ ル ー プ 内 に ァ ク セ ス 要求力 あ る と そ の メ モ リ ア ク セ ス を行 な い 、 第 2 の グ ル ー プ 内 の メ モ リ ア ク セ ス は 1 度ア ク セ ス 権 を与 え る と そ の 一連の メ モ リ ア ク セ ス が終了す る ま で他の ァ ク セ ス 要求 は却下 さ れ る よ う に し た も の で あ る 。

さ ら に 、 他 の 実施例で は 、 離散 コ サ イ ン 変換 と 動 き 補 償 を用 い 、 動 き 補償 を行わ な い 部分の 離散 コ サ イ ン 変換 係数 の み 、 そ の 一部 を D P C M 化す る こ と に よ っ て 画像 デ ー タ を圧縮 ♦ 符号 化す る 方式の 符号 か ら 画 像 デ ー タ を 復元す る 装置 に お い て 、 離散 コ サ イ ン 変換 係数 の D P C M の 処理 と 動 き べ ク ト ル の 再構成 の 双方 の 処理 を行 う こ と がで き る プ ロ グ ラ ム 制御可能 な シ ー ケ ン サ を 備 え た も の で あ る 。

以上 の よ う な 構成 に よ り 、 本発明 で は 、 動 き 補償予測 符号 化画 像伸 長 を行 う 画 像処理装 置 の 加算器 の 回路規模 を ほ ぼ 1 2 に 削減す る こ と 力《で き る 。

ま た 、 上記実施例 に 於 て 、 コ ー ド入力 バ ッ フ ァ の 書 き 込 み用 バ ッ フ ァ 、 コ 一 ド入力 バ ッ フ ァ の 読 み 出 し 用 バ ッ フ ァ 、 表示 画像読 み 出 し 用 バ ッ フ ァ が そ れ ぞれ あ る 一定 量 に な っ た ら の そ れ ぞれ メ モ リ ア ク セ ス を メ モ リ バ ス 調 停装置 に 要求 し 、 参照画像 の 読み 出 し 、 参照画 像 の 書 き 込 み は 内 部 の 復号 に 伴 う 処理が参照画 像 の 読み 出 し 、 参 照画像 の 書 き 込 みが必要 に な っ た と こ ろ でバ ス 調停装置 に 要求す る 。 メ モ リ バ ス 調停装置 は コ ー ド入力 バ ッ フ ァ の 書 き 込み 、 コ ー ド入力 バ ッ フ ァ の 読み 出 し 、 表示画像 の 読み 出 し の メ モ リ ア ク セ ス 要求 は一定 の順序 で 要求 の 処理 を行 な う 。 参照画像 の 書 き 込み 、 参照画像 の 読 み 出 し は コ ー ド入力 バ ッ フ ァ の書 き 込み 、 コ 一 ド 入力 バ ッ フ ァ の 読み 出 し 、 表示画像読み 出 し の メ モ リ ア ク セ ス 要求 力《 な く な っ た と き 処理 を行 な う 。 こ の よ う な メ モ リ バ ス の 調停を 行 な う こ と に よ り 、 優先順位方式 と 比較 し た 場 合、 参照画像 の 読み 出 し 、 書 き 込み を連続 し て行 な う こ と がで き る た め参照画像 の 読み 出 し 、 書 き 込 み 後 に 行 な う べ き 処理 を速 や か に 行 な う こ と がで き る た め 、 処理 の オ ー バ ー ヘ ッ ド が少 な く な り 、 よ り 大 き な 画 像 ま で极 ぅ こ と がで き る 。 ま た 、 優先順位方式 と 比較 し た 場合 内部 バ ッ フ ァ を大 き く す る こ と な く D R A Mへ の ア ク セ ス に 伴 う ペ ー ジ 切 り 替 え を少な く す る こ と がで き 、 高価 な 高 速 の メ モ リ を 使用 す る こ と な く 、 よ り 大 き な 画 像 を 扱 う こ と 力 <で き る 。

さ ら に 、 上記他 の 実施例 に 基づ く 画 像処理装 置 は 、 解 読後 の 各種 フ ラ グ を 1 つ の ソ フ ト ウ ェ ア 制御可能 な シ ー ケ ン サ で処理 し て I Q * I D C T I ]路 ゃ動 き 補償回路 に

D C T 係数 や動 き べ ク ト ル を与 え る 構成で あ る 。 シ 一 ケ ン サ カ 1 つ で あ る た め 、 D C T 係数 の D C 成分 の D P C M処理 と 動 き べ ク ト ル の 再構成 は時分割で実行す る こ と に な る 。 し 力、 し 、 従来技術で説明 し た よ う に 、 D C T 係 数 の D C 成分が D P C Mで符号化 さ れて い る 場合 、 動 き 捕償 を行わ な か っ た ブ ロ ッ ク で あ る た め 、 動 き べ ク ト ル の 再構成 を 行 .う 必要が な く 、 ま た 動 き 補償 を行 っ た プ ロ ッ ク で は 、 D C T 係数 の D P C M化 さ れて い な い た め D P C M処理 の 必要が な い 。 従 っ て、 本発明 の 画像処理装 置 は D C T 係数 の D C 成分力 D P C M処理 と 動 き べ ク ト ルの 再構成 は時分割で お こ な う こ と に な る が、 処理時間 の 損失 は な く 、 シ ー ケ ン サ力 1 つ で あ る の で ハ ー ド ゥ エ ァ の 量を必要最小限 に す る こ と がで き る 。

図面 の 簡単 な 説 明

FIG. 1 は第 1 の 実施例 に か か る 画像処理装置 の 構成図 FIG. 2 は第 1 の 実施例 に 於 け る 第 1 の 変形例 に か 力、 る 画 像処理装置 の 処理 内容 を示す タ イ ミ ン グ チ ヤ 一 ト 。

F 1 G . 3 は第 1 の 実施例 に 於 け る 第 2 の 変形例 に か か る 画像処理装置 の 処理 内容 を 示す タ イ ミ ン グ チ ヤ 一 ト 。

FIG.4 ( a ) 乃至 FIG.4 ( d ) は第 1 の 実施例 に 係 わ る 内揷、 復元処理 の 過程 の 画像構造 を 説 明 す る 図。

FIG. 5 は 第 1 の 実施例 に 係 わ る 内揷 フ ィ ル 夕 の 例 を 示 す 図。

FIG. 6 は第 2 の 実施例 に 係 る 画像処理装置 の 構成 を示 す ブ ロ ッ ク 図 で あ る 。

F I G . 7 は第 3 の 実施例 に 係 わ る 画像処理装置 の 構成 図（ F1G.8 は第 3 の 実施例 に 係わ る 画像処理装置 の プ ロ グ ラ ム 例。

FIG. 9 ( a ) 及 び F 1 G . 9 ( b ) は第 1 の 実施例 に 係 わ る 動 き べ ク ト ル の 精度を説明す る 図。

FIG. 1 0 ( a ) 及 び FIG. 1 0 ( b ) は第 1 の 実施例 に 係 わ る 画像 の フ レ ー ム 構造、 フ ィ ー ル ド構造を説 明 す る 図。

F I G . 1 1 は 従来 の フ レ ー ム / フ ィ 一 ノレ ド変換 の な い 画 像処理装置 の 構成 図。

F1G. 1 2 は 従来の フ レ ー ム フ ィ 一 ノレ ド変換 の な い 画 像処理装置 の 処理 内容 を示す タ イ ミ ン グ チ ヤ 一 ト 。

FIG. 1 3 は 従来 の フ レ ー ム Z フ ィ 一 ル ド変換 の あ る 画 像処理装置 の 構成 図。

FIG. 1 4 は従来 の フ レ ー ム / フ ィ ー ル ド変換 の あ る 画 像処理装置 の 処理 内容 を示す タ イ ミ ン グ チ ヤ 一 ト 。 FIG. 1 5 は従来の画像処理装置の構成図。

FIG. 1 6 は動 き べ ク ト ル再構成の ア ル ゴ リ ズ ム の説明 図。

F I G . 1 7 は D C T 係数の D C 成分の D P C M処理の ァ ル ゴ リ ズ ム の説明図。

FIG. 1 8 は卩 .8 及び卩10. 1 6 及び FIG. 1 7 で示 し た 各 コ マ ン ド の 意味を説明す る 図。 発明 を実施す る た め の最良の形態

以下、 図面を用 い て本発明 の実施例を説明す る 。

第 1 実施例

第 1 の実施例 に かか る 画像処理装置の 例を F I G . 1 に 示 す。 F1G. 1 に於い て、 1 は 内挿処理、 復元処理を行 う 加 算器、 4 は小画面 （た と え ば 8 X 8 の ブ ロ ッ ク ） を保持 し て お く 中間 メ モ リ 、 5 は 1 フ レ ー ム分の参照画像を保 持 し て お く フ レ ー ム メ モ リ であ る 。

第一の変形例の処理の タ イ ミ ン グチ ヤ 一 ト を F1G. 2 に 示す。 フ レ ー ム 全体を小画面 （ た と え ば 8 X 8 の プ ロ ッ ク ） に分割 し て処理す る 場合の処理内容を F1G. 2 の タ イ ミ ン グチ ャ ー ト を用 い て説明す る 。 5 の参照画像 メ モ リ か ら 、 小画面 と そ の周辺画素を読みだ し 、 1 の加算器で 内挿 し 、 そ の結果を 4 の 中間 メ モ リ に書 き 込む。 差分デ 一 夕 は 6 の演算器で逆 コ サ イ ン変換な どの処理が行われ る 。 こ れ ら の処理は F1G. 2 の （ 1 ) の期間 に 同時 に行わ れ る 。 小画面 につ い て そ れ ら の処理が終了す る と 、 続い て 、 4 の 中 間 メ モ リ か ら 参照画像 を読み だ し 、 外部 か ら 入力 さ れ た 差分 デ 一 夕 と 内挿処理で用 い た も の と 同 じ 1 の 加算器で加算 さ れ、 復元処理が行わ れ る 。 こ れ ら の 処 理 は 図 2 の （ 2 ) の 期 間 に 同時 に 行 わ れ る 。

第一 の 変形例 に よ る と 、 差分 デ ー タ の逆 コ サ イ ン 変換 な ど の 処理 の 間 に 参照画像 の 内 揷処理が行 わ れ、 同一 の 加算器 を 内 挿処理 と 復元処理 に 使 う の で 、 加算器 の 回路 規模が ほ ぼ 1 / 2 に 削減 さ れ、 無駄の 無 い 効率 的 な シ ス テ ム を 実現 で き る 。

第二 の 変形例 の 処理 の タ イ ミ ン グ チ ヤ 一 ト を F I G . 3 に 示す。 第二 の 変形例で は 4 の 中 間 メ モ リ を用 い て フ レ ー ム Z フ ィ ー ル ド変換 を行 う 。 第一の 実施例 と 同様 に 、 フ レ ー ム 全体 を 小画面 （ た と え ば 8 X 8 の ブ ロ ッ ク ） に 分 割 し て処理す る 場 台 の 処理 内容 を 図 3 の タ イ ミ ン グ チ ヤ ー ト を用 い て.説明す る 。 5 の 参照画 像 メ モ リ 力、 ら 、 小画 面 と そ の 周 辺画素 を読 み だ し 、 1 の 加算器で 内 揷 し 、 そ の 結果を 4 の 中 間 メ モ リ に書 き 込む。 差分 デ ー タ は 6 の 演算器で逆 コ サ イ ン 変換な ど の 処理が行わ れ る 。 こ れ ら の 処理 は F I G . 3 の （ 1 ) の 期間 に 同時 に 行 わ れ る 。 小画 面 に つ い て そ れ ら の 処理が終了す る と 、 続 い て 、 4 の 中 間 メ モ リ 力、 ら 差分 デ ー タ と 同 じ フ レ ー ム / フ ィ ー ル ド構 造で参照画像 を読 み だ し 、 外部か ら 入力 さ れ た 差分 デ ー 夕 と 内揷処理で用 い た も の と 同 じ 1 の加算器で加算 さ れ 復元処理が行 わ れ る 。 こ れ ら の処理 は F 1 G . 3 の （ 2 ) の 期 間 に 同時 に 行わ れ る 。 第二の変形例 に つ い て、 処理の詳細を、 FIG.4 及 び FI G . 5 を用 い て説明す る 。 こ の例の場台、 4 X 4 の ブ ロ ッ ク で処理を行 う 。 一 つ の動 き べ ク ト ノレ で 4 x 4 の ブ ロ ッ ク 全体の動 き 補償を行い、 4 X 4 の プ ロ ッ ク 内で フ レ 一 ム フ ィ ー ル ド変換行 う 。 動 き 補償 は縦横共 に 1 Z 2 精 度 と し 、 4 点の 内揷を行 う 。 FIG.4 の （ a ) は フ ィ 一 ル ド予測の時の参照画 像の構造を示 し てい る 。 a 1 か ら a 2 0 は画素 に 相 当す る 。 実線で結ばれた 画素 は第一 フ ィ 一 ル ド、 点線で結ばれた画素 は第二 フ ィ ー ル ド に相 当す る 。

F！ G . 3 の （ 1 ) 期間で は、 参照画像 メ モ リ 力、 ら フ ィ 一 ル ド単位で a l , a 2 , a 3 , a 4 , a 5 , a 6 , a 7 a 8 , ♦ ♦ ♦ の順に読み 出 さ れて FIG. 5 に示す 内揷 フ ィ ル 夕 に入力 さ れ る 。 内挿フ ィ ル タ で は現画素 7 と 右 どな り の 画素 6 、 1 ラ イ ン 上の画素 1 と そ の右 ど な り の画素 2 で平均を取 る 。 内挿結果 は 中間 メ モ リ に書 き 込む。 中 間 メ モ リ の書 き 込み デー タ の構造を FIG.4 ( b ) に示す 以上の処理を FIG.4 ( a ) , ( b ) で示 さ れた記号を用 い て示す と 、

b l = ( a l + a 2 + a 6 + a 7 ) / 4 、 と な る 。 同様の処理を第一 フ ィ ー ル ド の b l 〜 ！ 3 8 ま で 行い 、 続い て第二フ ィ ー ル ドの b 9 〜 b 1 6 ま で行 う 。

F 1 G . 3 の （ 2 ) の期間で は フ ィ ー ル ド単位で書 き 込 ま れた デー タ を フ レ ー ム単位で読み 出す。 すな わ ち 、 b a b 2 , b 3 , b 4 , b 9 , b l 〇 ， b 1 1 , b 1 2 , b 5 , b 6 , ♦ ♦ ♦ の 順で読み だ し 、 フ レ ー ム 構造で伝送 さ れ た 差分 デ ー タ c l , c 2 , c 3 , c 4 , c 5 , c 6 , c 7 ， c 8 , c 9 , c 1 0 , · · ♦ ( FIG.4 ( c ) ) カロ 算 さ れ、 復元 さ れ た d l , d 2 , d 3 , d 4 , d 5 , d 6 , d 7 , d 8 , d 9 , d 1 0 , · ♦ · ( FIG.4 ( d ) ) を得 る 。

d l = b l + c l , d 2 = ♦ - ♦

d 5 = b 9 + c 5 , d 6 = · · ·

中 間 メ モ リ 力、 ら デ ー タ を読み だ し て い る 間、 内揷 フ ィ ル 夕 で 加算が行 わ れ な い の で、 復元処理 の 加算 は F 1 G . 5 の 内揷 フ ィ ル 夕 の 加算器 を用 い る こ と がで き る 。

第二 の 変形例 に よ る と 、 差分 デ ー タ の 逆 コ サ イ ン 変換 な ど の 処理 の 間 に 参照画 像 の 内揷処理が行わ れ、 同一の 加算器 を 内 揷処理 と 復元処理 に 使 う の で 、 加算器 の 回路 規模 は削減す る こ と がで き る と と も に 、 中 間 メ モ リ で フ レ ー ム Z フ ィ ー ル ド の 変換 も 行わ れ る の で 、 メ モ リ の 增 加 も 無 く 、 予測方式が前方 と 後方 の 双方 向 の 予 測 の 場合 に は 回路規模 は従来例 の ほ ぼ 1 ノ 2 に 削減で き る 。

第 2 の 実施例

F I G . 6 は 、 第 2 の 実施例 の 画像処理装置 に 係 る 構成 を 示す ブ ロ ッ ク 図で あ る 。

F I G . 6 に お い て 、 こ の 復号装置 1 0 1 は デ コ ー ド処理 部 1 0 2 、 入力 符号書 き 込 み部 1 0 3 、 入力 符号読 み 出 し 部 1 0 4 、 表示 画 像読み 出 し 部 1 0 5 、 参照画 像再構 成部 1 0 6 、 参照画 像書 き 込 み 部 1 ◦ 7 、 メ モ リ バ ス 調 停部 1 0 8 、 バ ッ フ ァ 1 0 9 〜 1 1 1 、 ァ ド レ ス 発生部 1 1 2 、 メ モ リ バ ス 1 1 3 力、 ら 構成 さ れ る 。 ま た 、 こ の 復号装置 1 0 1 の 外部 に メ モ リ 装置 1 1 4 が接続 さ れて い る o

外部 か ら の 入力符号 は入力 符号書 き 込 み 部 1 0 3 に 入 力 さ れ、 バ ッ フ ァ 1 0 9 に 蓄積 さ れ る 。 バ ッ フ ァ 1 0 9 に 蓄積 さ れ た 符号が あ る 一定量以上 に な る と メ 乇 リ バ ス 調停部 1 0 8 に 書 き 込 み 要求 を送 り 、 メ モ リ バ ス 調停部 1 0 8 力、 ら メ モ リ ア ク セ ス 許可信号が返 っ て き た ら メ モ リ バ ス 1 1 3 と ァ ド レ ス 発生部 1 1 2 に よ り メ モ リ 装置 1 1 4 へバ ッ フ ァ 1 0 9 内 の デ ー タ を決 ま っ た 量だ け 書 き 込 む。

符号読 み 出 し 部 はバ ッ フ ァ 1 1 0 の 蓄積量が あ る 一定 量以下 に な る と メ モ リ バ ス 調停部 1 0 8 に 読み 出 し 要求 を 送 り 、 メ モ リ バ ス 調停部 1 0 8 力、 ら メ モ リ ア ク セ ス 許 可信号が返 っ て き た ら メ モ リ バ ス 1 1 3 と ァ ド レ ス 発生 部 1 1 2 に よ り メ モ リ 装置 1 1 4 力、 ら デ一 夕 を 決 ま っ た 量 だ け読み込 み 、 バ ッ フ ァ 1 1 0 へ蓄積す る 。 符号読 み 出 し 部 は ノく ッ フ ァ 1 1 ◦ に 蓄積 さ れて い る デ ー タ を デ コ 一 ド処理部 1 ◦ 2 に 順次入力す る 。

参照画像再構成部 1 0 6 は デ コ ー ド処理部 1 ◦ 2 で画 像が復号 さ れ た ら 、 メ モ リ バ ス 調停部 1 0 8 に 読 み 出 し 要求 を送 り 、 メ モ リ バ ス 調停部 1 0 8 力、 ら メ モ リ ァ ク セ ス 許可信号が返 っ て き た ら メ モ リ バ ス 1 1 3 と ァ ド レ ス 発生部 1 1 2 に よ り メ モ リ 装置 1 1 4 か ら 必要な デ ー タ を すベ て読 み 込 み 、 読 み込ん だ デ ー タ と デ コ ー ド処理部 で復号 さ れ た デ ー タ と で予測 に 伴 う 画 像 の 再構成 を行 な フ 0

参照画像書 き 込 み 部 1 ◦ 7 は参照画 像再構成部で 画像 デ ー タ が再構成 さ れ た ら 、 メ モ リ バ ス 調停部 1 0 8 に書 き 込 み 要求 を送 り 、 メ モ リ バ ス 調停部 1 0 8 力、 ら メ モ リ ア ク セ ス 許可 信号が返 っ て き た ら メ モ リ バ ス 1 1 3 と ァ ド レ ス 発生部 1 1 2 に よ り メ モ リ 装置 1 1 4 に 再構成 さ れ た 画像 デ ー タ を書 き 込 む

表示 画像読 み 出 し 部 1 0 5 は バ ッ フ ァ 1 1 1 に 蓄積 さ れ た デ ー タ を読み 出 し 、 必要 な 処理を施 し て外部 に 出 力 す る 。 ノく ッ フ ァ 1 1 1 に 蓄積 さ れ た デ 一 夕 が め る ~ ' At 以下 に な る と メ モ リ バ ス 調停部 1 〇 8 に s¾ 出 し 要求を 送 り 、 メ モ リ バ ス 調停部 1 0 8 力、 ら メ モ リ ア ク セ ス 許可 信号が返 っ て き た ら メ モ リ と ア ド レ ス 発生部 1 1 2 に よ り メ モ リ 装置 1 1 4 力、 ら デ ー タ を 決 ま っ た 量 だ け 読み込 み 、 バ ッ フ ァ 1 1 1 へ蓄積す る 。

メ モ リ バ ス 調停部 は表示画像読み 出 し 部 1 0 5 、 入力 符号書 き 込 み部 1 0 3 、 入力符号読 み 出 し 部 1 〇 4 の メ モ リ ア ク セ ス 要求 は一定 の 順序で要求 の 処理 ¾ 仃 な う 。 参照画像 の 書 き 込 み参照画像 の 読み 出 し は 表示 画像読み 出 し 部 1 0 5 、 入力 符号書 き 込み部 1 〇 3 、 入力 符号読 み 出 し 部 1 0 4 の メ モ リ ア ク セ ス 要求が な く な っ た と き に メ モ リ ア ク セ ス 許可信号 を発生す る

こ の よ う な 構成 に よ り 、 表示画像読み 出 し 部 1 0 5 、 入力符号書 き 込 み部 1 0 3 、 入力符号読み 出 し 部 1 0 4 の バ ッ フ ァ 1 〇 9 〜 1 1 1 の デ ー タ は空 ま た は い っ ぱ い に な っ て デ ー タ が途切れて処理が中断す る よ う な こ と は な く 、 加 え て参照画像 の書 き 込み 、 参照画像 の 読 み 出 し を 連続 し て 行 な う こ と がで き る た め 、 デ コ ー ド処理 と メ モ リ ア ク セ ス に 伴 う オ ー バ 一 ヘ ッ ド を少 な く す る こ と が で き る 。

第 3 の実施例

F 1 G . 7 に 、 第 3 の 実施例 の 画像処理装置 の 実施例 を示 す。 こ の 画 像処理装置 は 、 1 つ の ソ フ ト ゥ ユ ア 制御可能 な シ ー ケ ン サ で解読後 の 各種 フ ラ グを処理 し て I Q * I D C T 回路 や動 き 補償用 回路 に D C T 係数 や動 き べ ク ト ル を与 え る 構成で あ る 。

ま ず初 め に 、 符号解読回路 1 0 で可変長符号 の解読を お こ な い 、 フ ラ グ や D C T 係数 を求 め る 。 次 に 、 動 き 補 償 を お こ な っ た ブ ロ ッ ク の 場合 は 、 I Q · I D C T 回路 1 1 で差分 デ ー タ の D C T 係数 を I D C T し て差分 デ 一 夕 を求 め 、 同時 に プ ロ グ ラ ム で制御可能 な シ ー ケ ン サ 1 2 で動 き べ ク ト ル を再構成 し 、 そ の 動 き べ ク ト ル を用 い て動 き 補償 回路 1 3 で画像 メ モ リ 1 4 か ら 前方 ま た は後 方 ま た は両方 の 画像 デ ー タ を取 り 出 し 、 加算 回路 1 5 で 差分 デ ー タ と 加算 し て復元画素 デ ー タ を 作成す る 。 動 き 補償を お こ な わ な い で画素 デ ー タ そ の も の を D C T し た プ ロ ッ ク の 場合 は 、 D C T 係数 の D C 成分 の み シ 一 ゲ ン サ 1 2 で D P C M処理 を お こ な い 、 他の D C T 係数 と 併 せ て I Q · I D C T 回路 1 1 で I D C T を お こ な い 復元 画素 デ ー タ を 作成す る 。 第 3 の 実施例 の 画 像処理装置 に 用 い て い る シ ー ケ ン サ 1 2 は 、 F 1 G . 8 に 示す よ う な プ ロ グ ラ ム が実行で き 、 動 き べ ク ト ル の 再構成 や D C T 係数 の D C 成分 の D P C M処理を時分割で実行で き る 。

以上が符号 化 さ れ た 画 像 デ ー タ を 画 像 デ ー タ へ復元す る 第 3 の 発明 の 画 像処理装置 の 動作で あ る 。 産業上 の 利用 可能性

以上、 詳細 に 記載 し た よ う に 本発明 に よ る と 、 動 き 補 償予測符号 化 画 像伸 長 を行 う 画 像処理装置 の 加算器 の 回 路規模 を ほ ぼ 1 Z 2 に 削減す る こ と がで き 、 無駄 の 無 い 効率 的 な シ ス テ ム を 構成で き る 。

ま た 、 上記実施例 に 於て は 、 外部 メ モ リ の 読 み 出 し ノ 書 き 込み の 内部バ ッ フ ァ を用 途別 に 持 ち 、 参照画 像 の読 み 出 し Z書 き 込 み を連続 し て行 な っ て い る 。 こ れ に よ り 外部 メ モ リ へ の ア ク セ ス に 伴 う オ ー バ ー へ ッ ド が増大す る こ と な く 、 メ モ リ ア ク セ ス を効率良 く 行 な う こ と がで き る 。

さ ら に 、 別 の 上記実施例 に 於て は 、 シ ー ケ ン サ力 1 つ の 構成で あ る の で、 ド ウ ヱ ァ を 必要最小 に 抑 え る こ と がで き る 。 さ ら に 様 々 な 規格 や応用 に 対 し て 、 ハ ー ド ウ ェ ア の 増加 な し に 、 ソ フ ト ウ ヱ ァ の 開発の み で対応す る こ と がで き 、 ド ウ ヱ ァ の 使用 効率 の よ い 画像処理 装置 を提供す る こ と がで き る 。

Claims

請求の範囲

1 . 動 き 補償予測符号化画像伸長を行 う 画像処理装置で あ っ て、 動 き 捕償を行 う 処理領域分の 画像 メ モ リ と 加算 器か ら な り 、 前記加算器で、 1 Z 2 精度の動 き べ ク ト ノレ か ら 参照画像を構成す る 際の 内挿計算を行い 、 そ の結果 を前記画像 メ モ リ に記憶 し 、 同一の前記加算器で参照画 像 と 差分デ一 タ と の加算処理 も 時分割で処理す る こ と を 特徴 と す る 画像処理装置。

2 . フ レ ー ム Z フ ィ ー ル ド変換を伴 う 動 き 捕償予測符号 化画像伸長を行 う 画 像処理装置であ っ て、 動 き 補償を行 う 処理領域分の画像 メ モ リ と 加算器か ら な り 、 前記加算 器で、 1 ノ 2 精度の動 き ベ ク ト ルか ら 参照画像を構成す る 際の 内挿計算を行い 、 前記画像 メ モ リ で フ レ ー ム フ ィ — ル ド変換を行い 、 同一の前記加算器で参照画像 と 差 分デー タ と の加算処理 も時分割で処理す る こ と を特徴 と す る 画像処理装置。

3 . 入力符号を解読 し 、 画像を復元す る デ コ ー ド手段 と 外部か ら 入力 さ れ る 符号列を受け取 っ て外部 メ モ リ に 符号列 を書 き 込む入力符号書 き 込み手段 と 、

外部 メ モ リ に蓄積 さ れた符号列を読み 出 し 、 そ の符号 列を前記デ コ ー ド手段に転送す る 入力符号読み 出 し 手段 と 、

外部 メ モ リ に保存 さ れて い る 参照画像を読み 出 し 、 前 言己デ コ ー ド手段で復元 さ れた画像 と 加え る こ と に よ り 表 示画 像を作成す る 画 像再構成手段 と 、

前記画 像再構成手段で作成 さ れた画像を外部 メ モ リ に 書 き 込む画像書 き 込み手段 と 、

外部 に 画 像 を表示す る た め に前記画像書 き 込み手段 に よ り 書 き 込 ま れた 画 像を外部 メ モ リ よ り 読み 出す表示画 像読み 出 し 手段 と 、

外部 メ モ リ と 前記画像再構成手段、 前記画像書 き 込み 手段、 前記入力符号書 き 込み手段、 前記入力 符号読み 出 し 手段、 前記表示画 像読み 出 し 手段を接続す る 接続手段 と 、

前記入力符号書 き 込み手段、 前記入力符号読み 出 し 手 段前記表示画 像読み 出 し 手段が外部 メ モ リ か ら 読み 出 し た デー タ を そ れぞれ一時蓄積す る デー タ 蓄積手段 と 、 前記画像再構成手段、 前記画像書 き 込み手段、 前記入 カ府号書 き 込み手段、 前記入力符号前記入力符号書 き み 手段、 前記入力符号読み 出 し 手段、 前記表示画像読み 出 し 手段の 中か ら 前記接続手段 と 接続す る 手段を選択す る メ モ リ バ ス 調停手段 と を備え、

前記 メ モ リ バ ス 調停手段は前述 し た入力符号書 き 込み 入力符号読み 出 し 、 画像再構成に伴 う 読み 出 し 、 画 像書 き 込み 、 表示画像読み 出 し 、 の 5 種類の メ モ リ ア ク セ ス を ア ク セ ス 優先順位の高 い入力符号書 き 込み、 入力 符号 読み 出 し 、 表示画像読み 出 し の第 1 の グルー プ と 優先順 位 は低いが連続 し て行な い た い画像再構成 に 伴 う 読み 出 し 、 画像書 き 込み、 の第 2 の グル ー プに分 け、 第 1 の グ ル ー プ 内 は ポ ー リ ン グ方式 に よ り あ る 決 ま つ た 期間 だ け ア ク セ ス 権 を与 え 、 第 1 の グ ル ー プ の 要求がすべて終了 し た と こ ろ で 、 第 2 の グ ル ー プへ ア ク セ ス 権が移 り 、 第 2 の グ ル ー プへ ア ク セ ス 権が移 っ た と き 、 第 2 の グ ノレ 一 プ 内 に ア ク セ ス 要求力く あ る と そ の メ モ リ ア ク セ ス を行 い 、 第 2 の グ ル ー プ内 の メ モ リ ア ク セ ス は 1 度 ア ク セ ス 権を 与 え る と そ の 一連 の メ モ リ ア ク セ ス が終了す る ま で他 の ア ク セ ス 要求 は却下 さ れ る よ う に し た こ と を特徴 と す る 画 像処理装置。

4 . 離散 コ サ イ ン 変換 と 動 き 補償 を用 い 、 動 き 補償 を お こ な わ な い 部分の離散 コ サ イ ン 変換係数 の み 、 そ の 一部 を D P C M 化す る こ と に よ っ て画 像 デ ー タ を圧縮 ♦ 符号 化す る 方式の 符号か ら 画像 デ ー タ を 復元す る 装置 に お い て 、 離散 コ サ イ ン 変換係数 の D P C M の 処理 と 動 き べ ク ト ル の 再構成 を同一の 処理回路で お こ な う こ と を特徴 と す る 画像処理装置。