JPH02264370A - 画像処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、画像処理装置、特に、画像符号化及び復号化
を行い、装置の拡張・、縮小が可能な画像処理装置に関
する。

［従来の技術］ 従来の画像処理装置としては、例えばＩＥＥＥＧＬＯＢ
ＣＯＭ−８７の第４５３頁から第４５７頁の「動画の符
号化用途に適当な、リアルタイムビデオ信号プロセッサ
（“Ａ　Ｒｅａｌｔｉｍｅ　Ｖｉｄｅｏ　Ｓｌｇｎａｌ
　Ｐｒｏｃｅｓｓｏｒ　５ｕｉｔａｂｌｅ　ｒｏｒ　Ｍ
ｏｔｉｏｎ　Ｐｉｃｔｕｒｅ　Ｃ。

ｄｌｎｇ　Ａｐｐｌｉｃａｔｉｏｎｓ　”　）　Ｊに記
載されたものがあった。

第５図はこの従来の画像処理装置【こ用いるマルチプロ
セッサの一構成例を示すブロック図である。

同図において、複数のディジタル信号処理用のプロセッ
サ（２）は、並列に配置され、該プロセッサ（２）には
データ転送制御器（１７）の入力データ（７）が転送分
配された分配データ（１８）が入力されて、該プロセッ
サ（２）は処理済みデータ（１９）を出力する。すなわ
ち、入力データ（７）はデータ転送制御２ＳＳ　（１７
）により各プロセッサ（２）へ分配転送され、それぞれ
のプロセッサ（２）内で処理を行った後、該プロセッサ
（２）の出力である処理済みデータ（１９）は、次の処
理ステップへ移行する。この時の各プロセッサ（２）の
分担領域を第６図（ａ）に示す。第、６図（ａ）は画像
データを３個のプロセッサにより並列処理を行う場合の
分割例で、各プロセッサ（２）には、均等に処理対象領
域が分配されている。

また、フレーム間画像符号化方式等では、入力フレーム
と前フレームとの差分がある一定の大きさの部分のみ符
号化対象とし、それ以外は前フレームデータを用いる条
件付画素補充処理を行うのが一般的である。従って、処
理対象領域の画素数が同一でも、有効画素率が異なる場
合は処理に要する演算量は異なり、所要演算量または所
要演算時間は、有効画素率に比例する。

第６図（ｂ）は、フレーム間符号化方式において、第５
図に示されたプロセッサ（２）の並列構成で実行した場
合の各プロセッサ（２）での有効画素数分布例で、プロ
セッサ（２）の並列構成１ブロック当りの所要演算時間
は、各プロセッサ（２）中で、最も処理対象画素の多い
プロセッサ（２）の処理時間に依存することになる。こ
のため、他のプロセッサ（２）は待ち状態となり処理は
行わない。

［発明が解決しようとする課題］ 従来の画像処理装置は、以上のような構成を有していた
ため、画像フレーム内の有効画素分布領域に偏りがあり
、更にその分布が時間的に変動する場合、全体の処理時
間は、全てのプロセッサの中で最も処理時間を要するプ
ロセッサの処理時間と等しくなってしまう。このときに
は、プロセッサ１個当りの処理効率が低下するため、大
量のデータを高速処理する画像信号処理には不適当であ
るという問題点があった。

また、プロセッサの個数やメモリ容量を変えるためには
、上記装置の構成を変えねばならないという問題点もあ
った。

この発明は、かかる問題点を解決するためになされたも
のであり、マルチプロセッサ並列構成の処理効率を最大
限に活用できるように各プロセッサを制御可能とし、プ
ロセッサの数及びメモリ容量が限定可能でああって、さ
らに装置の構成の拡張及び縮小が可能な画像処理装置を
得ることを目的とする。

［課題を解決するための手段］ 上記目的を達成するために、この発明に係る画像処理装
置は、画像の符号化及び復号化を制御する制御部と、該
制御部に個別に拡張され、該接続は変更可能であって、
内部が複数のメモリ単位に分割された複数のフレームメ
モリと、にれらのフレームメモリ内の各メモリ単位の各
々にアクセスできるように該制御部に個別に接続され、
該接続は変更可能でである複数のプロセッサとを有し、
処理の遅れているフレームメモリに対して処理の優先度
を付することにより、処理効率を上げることができるよ
うにしたことを特徴とする。

［作用］ この発明による画像処理装置によれば、各プロセッサは
各フレームメモリ内の各メモリ単位ごとにアクセスでき
るため、各ブ°ロセッサの処理を均等化することができ
、全体としての処理所要時間が短縮される。

更に、各プロセッサ及びフレームメモリは制御部に対し
て着脱自在であるので、プロセッサ及びフレームメモリ
の拡張または縮小を可能とする。

［実施例］ 次にこの発明の一実施例による画像処理装置を第１図か
ら第４図に基づいて説明する。

第１図は画像符号化と復号化とを行うこの発明による画
像処理装置の構成ブロック図である。

第１図において、符号化と復号化とを行う制御部（１）
には、複数（Ｐｉ〜Ｐｍのｍ個）のプロセッサ（２）と
、Ｍｌ〜Ｍ４の４画像フレームを記憶するフレームメモ
リ（３）とが着脱自在に接続され、出力側には伝送部（
４）が入力側には人力部（５）が接続されている。そし
て、各フレームメモリ（３）は、Ｍｌ、１〜Ｍ１．ｎ、
Ｍ２゜１〜Ｍ２．ｎ、Ｍ３．１〜Ｍ３．ｎ、Ｍ４．１〜
Ｍ４．ｎのそれぞれｎ個に分割されている。

次に動画符号化装置としての動作について説明する。動
画復号化装置及び静止画符号化復号化装置についてはこ
れに準するので省略する。カメラからの入力信号（６）
は入力部（５）において入カデータ（７）に変換され、
符号化制御部（１）を通して画像１フレ一ム分がフレー
ムメモリＭ１に書込まれる。フレームメモリＭ２には、
その１つ前に書込まれた、現画像フレームデータが記憶
されていて、読出し状態となっている。

フレームメモリＭ４には、フレームメモリＭ２の現画像
フレームの１つ前の前画像フレーム復号データが記憶さ
れていて読出状態となっている。

フレームメモリＭ４に記憶された前画像のフレームデー
タとフレームメモリＭ２の記憶された現画像フレームデ
ータとは、プロセッサ（２）が１噌御信号（１０）を発
して符号化制御部（１）を通してアクセスされ、さらに
該データは該プロセッサ（２）によって符号化され、符
号化されたデータが伝送部（４）に出力される。伝送部
（４）では１画像フレーム分のデータが並び替えられ回
線（１１）に出力される。

また、プロセッサ（２）においては、符号化が終了した
データは、復号化が行われ、符号化制御部（１）を通し
てフレームメモリＭ３に復号データとして書込まれる。

次の画像フレームの符号化については、上記のフレーム
メモリＭ１とフレームメモリＭ２が入れ替えられ、フレ
ームメモリＭ３とフレームメモリＭ４が入れ替えられる
ことで、動画の符号化処理が続けて行われる。

第２図は、１画像フレームの分割を示した図である。１
画像フレームは、例えば、縦、横１６×１６画素を単位
としたブロックに分割され、各ブロック毎に、現画像フ
レームのブロックが前画像フレームのどの位置に近いか
をみつける動き補償処理、前画像フレームとの差分をと
るＤＰＣＭ（差分パルス符号変調）処理、差分信号のＤ
ＣＴ（離散コサイン変換）処理、ベクトル量子化処理、
局部復号処理、フィルター処理などの演算により符号化
が行われる。ここで、例えば図のように１画像フレーム
は３ブロツクライン毎に１個のフレームメモリに割当て
られ、さらに、各フレームメモリ毎にｎ個の分割メモリ
単位（Ｍｉ、１〜Ｍｉ。

０１以下の説明においてＬ−１，２，３，４とする）が
構成され、プロセッサ（２）ｍ個（Ｐ、　　１〜Ｐｍ）
で並列処理が行われる（ここで、ｎ＞ｍとする）。それ
ぞれの分割メモリ単位は、汎用のＲＡＭであればポート
が１つであり、プロセッサ（２）１個だけがアクセスを
行えるので、ｎ＞ｍとすることで、並列処理を行うこと
ができる（２ポ一トＲＡＭを用いるときは、２ｎ＞ｍと
する）。

プロセッサのうちの１個、Ｐ、　　１は、符号化の他に
、他のプロセッサ（２）と分割メモリ単位との対応を制
御する。次にこの制御方法を述べる。

上記の符号化は、各分割メモリ単位の左上の第１ブロツ
クから順に行い、３ブロツクラインの全てのブロックを
符号化することにより終了となる。

符号化の開始時には、プロセッサＰ、　　１はプロセッ
サＰ、２とメモリ単位Ｍｉ、１、Ｐ、３とＭＬ。

２、・・・、Ｐ、ｍとＭＬ、ｍ−１さらに、自分自身Ｐ
、　　１とＭＬ、ｍをそれぞれアクセスできるようにす
る。次にそれぞれのプロセッサは、各分割メモリ単位の
左上の第１ブロツクを符号化する。さらに第１ブロツク
を終了したプロセッサ（２）は、プロセッサＰ、　　１
に割込を与える。プロセッサＰ。

１は割込を受けると符号化を中断し、終了しているプロ
セッサに対し、その時点でアクセスされていないメモリ
で、最も符号化の遅れている分割メモリ単位を指示し、
その分割メモリ単位の次のブロックの処理を行わせる。

プロセッサＰ、１はこの割込処理が終了した後にもとの
符号化の続きを行う。プロセッサＰ、１は、これらの状
態を別のメモリに格納し、いつでもアクセスできるよう
にする。ｎをｍに比べて大きくとると、各分割メモリ単
位ごとの処理が均等化され、１画像全体の符号化として
の効率が上がる。

符号化に動き補償がある場合、例えば、前画像フレーム
のあるブロックとその周囲８ブロツクからデータを読出
す必要がある場合には、分割メモリ単位ごとの、３ブロ
ツクラインの最上段のブロックを符号化中は、そのプロ
セッサ（２）が、そのブロックの属する分割メモリ単位
とその上の分割メモリ単位の両方のアゲセス権をもち、
他のプロセッサ（２）はその２つの分割メモリ単位をア
クセスできないように制御する。３ブロツクラインの最
下段のブロックの符号化のときも同様に下の分割メモリ
単位のアクセス権も、そのプロセッサ（２）のみがもつ
。この場合、ｎ＞２ｍであれば十分であるが、分割メモ
リ単位のアクセス権が重ならないように、最上段又は最
下段のブロックを中段のブロックよりも優先してアクセ
スされる。

この方式では、プロセッサ（２）の個数、メモリの個数
、容量を可変にできる。例えば第２図に示す画像で分割
メモリ単位の個数ｎ−８、プロセッサ（２）の個数ｍ−
４で１秒間に３０画像フレームの符号化能力があるとし
た場合、１秒間１５画像フレームで十分なときにはプロ
セッサ（２）の個数ｍ−２でもよいし、１秒間７．５画
像フレームでよい場合はプロセッサ（２）の個ａｍ−１
でよい。また、１秒間７．５画像フレームで、画面の面
積を４倍にしたいときは、各分割メモリ単位の容量を４
倍にし、プロセッサ（２）の個数ｍ−４でよい。それぞ
れ場合において、同じ構成、動作で処理が行える。

第３図及び第４図は、符号化復号化制御部（１）の構成
図である。プロセッサＰ、　　１〜Ｐ、　ｍ　（２）か
らのアドレス・ライトパルス、チップセレクト信号等の
制御信号（１０）をそれぞれＰＡ、１〜ＰＡ、ｍ、入出
力データをＰＤ、１〜ＰＤ、ｍとする。また、メモリ単
位Ｍ３．１〜Ｍ３．ｎ及びメモリ単位Ｍ４．１〜Ｍ４．
ｎへの制御信号をＡ。

１〜Ａ、ｎ入出力データをり、１〜Ｄ、ｎとすると、プ
ロセッサＰ、ｊ（以下ｊ−１〜ｍの値をとる）によって
分割メモリ単位Ｍ３．に、　Ｍ４．　　ｋ（以下に一１
〜ｎの値をとる）がアクセスされるために、セレクタＳ
、ｋ（１２）はＰＡ、　　ｊを選択し、また、双方向バ
ッファＢ、ｊ、ｋ　（１３）がＯＮ状態になり、ＰＤ、
ｊとり、　　ｋを接続する。

これらの制御はプロセッサＰ、　　１が行う。双方向バ
ッファＢ、ｊ、にの方向は、メモリからの読出しのとき
は第２図の右から左、書込みのときは左から右であって
、これはプロセッサＰ、ｊによって制御される。符号化
データは、符号化が終了するとバッファＢＴ、ｊ　（１
４）を通して伝送部（４）へ出力する。

分割メモリ単位Ｍ　１　、　１〜Ｍ　１　、　　ｎとＭ
２．１〜Ｍ２．ｎへの制御信号をそれぞれｌ０ＩＡ、１
〜ｌ０ＩＡ、ｎ、１０２Ａ、１〜ｌ０２Ａ、ｎとし１．
データをそれぞれｌ０ＩＤ、１〜Ｉ　０１　Ｄ。

ｎ、ｌ０２Ｄ、１〜１０２Ｄ、ｎとすると、入力データ
（７）書込みのため、第４図のように制御信号Ａ、１〜
Ａ、　ｎと入力制御信号１０Ａをセレクタ（１５）によ
り切替えて、どちらか一方が、１０１Ａ、１〜ｌ０ＩＡ
、ｎ、もう一方が、１０２Ａ、１＝Ｉ０２Ｄ、ｎとなる
。また入出力データＤ、１〜Ｄ、ｎと入力データｌ０Ｄ
（７）をそれに対応してバッファ（１６）により切替え
る。

例えば、分割メモリ単位Ｍ１．１〜ｎと入力データＩＯ
Ｄ　Ｃ？）　、Ｍ２．１〜ｎと入出力データＤ。

１〜Ｄ、　　ｎを接続する場合は、バッファＢ、　　ａ
とＢ、　　ｄをＯＮにする。逆に分割メモリ単位Ｍｌ。

１〜ｎとり、１〜Ｄ、ｎ、Ｍ２．１〜ｎと入力データＩ
ＯＤを接続する場合はバッファＢ、ｂとＢ。

ＣをＯＮにする。

以上により、プロセッサＰ、ｊはメモリ単位Ｍ１、　　
ｋまたはＭ２．にの読出側（現画像フレーム）及びメモ
リ単位Ｍ３．ｋＳＭ４．ｋ　（前画像フレーム及び復号
書込み用画像フレーム）に対してアクセス可能となり、
画像の同一ブロックを同じプロセッサがアクセスするの
で、ブロック処理が可能となる。

第３図、第４図に示す符号化制御部（１）は、プロセッ
サの個数ｍやメモリの分割数ｎをあらかじめ最大使用数
まで用意しておけば、メモリの個数を可変とし、用途に
よって拡張、縮小が行える。

また、符号化制御部（１）はＬＳＩ等にすれば、ｍ％ｎ
はかなり大きくできる。

従って、この発明の実施例によれば、画像を符号化ない
しは復号化する制御部と、複数のメモリ単位から形成さ
れて前記制御部に個別に接続され、該接続は変更可能で
あって、画像フレームを記憶するための複数のフレーム
メモリと、これら複数のフレームメモリ内の各メモリ単
位のいずれにもアクセス可能であって、前記制御部に個
別に接続され、該接続は変更可能な複数のプロセッサと
を備える画像処理装置が構成される。

［発明の効果］ この発明は以上説明した通り、各フレームメモリを複数
のメモリ単位に分割し、それぞれの分割メモリを全ての
プロセッサがアクセスできる構成を有するため、プロセ
ッサの演算効率が良く、伝送フレーム数、伝送画素数等
に応じてプロセッサ及びメモリ単位の拡張及び縮小が簡
便にできる装置が得られる。

【図面の簡単な説明】

第１図はこの発明の一実施例を示す画像処理装置の構成
ブロック図、第２図はこの発明による１画像フレームの
説明図、第３図はこの発明の制御部の部分的構成説明図
、第４図はこの発明による制御部の部分的構成説明図、
第５図は従来装置のマルチプロセッサ配列を示すブロッ
ク図、第６図（ａ）はメモリの領域分割を示す説明図、
第６図（ｂ）は領域別有効画素分布説明図である。 図において、（１）は制御部、（２）はプロセッサ、（
３）はフレームメモリ、（４）は伝送部、（５）は入力
部、（６）は入力信号、（７）は入力データ、（８）は
入出カメモリ信号、（９）は符号化・復号化メモリ信号
、（ｌＯ）は制御信号、（１１）は回線、（１２）はセ
レ２り、（１３）は双方向バッファ、（１４）はバッフ
ァ、（１５）はセレクタ、（１６）はバッファ、（１７
）はデータ転送制御器、（１８）は分配データ、（１９
）は処理済データである。 なお、図中、同一符号は同一、又は相当部分を示す。 代理人　弁理士　大　岩　増　雄 （外　２名） 画面横方向画素 実施例のブロック図 第１図 実施例の画像フレームの説明図 第２図 １４：バラフチ 実施例の制御部の構成図 １９： 処理済データ 従来のマルチプロセッサ配列 第５ 図 手 続 補 正 書 （自発） 平成 年 月　　　８ ２、発明の名称 画像処理装置 （ａ） メモリ領域分割 ３、補正をする者 代表者 志 岐 守 哉 ４、代 理 人 領域 （ｂ）領域別有効画素分布 第６ 図 ５、補正の対象 明細書の発明の詳細な説明及び図面の簡単な説明の欄。 ６、補正の内容 以 上

Claims (1)

【特許請求の範囲】
1. 画像の符号化及び復号化を制御する制御部と、複数のメ
   モリ単位から構成され、前記制御部に個別に接続され、
   前記接続は変更可能であって、画像フレームデータを記
   憶する複数のフレームメモリと、これら複数のフレーム
   メモリ内の各メモリ単位のいずれにもアクセス可能であ
   って、前記制御部に個別に接続され、前記接続は変更可
   能である複数のプロセッサとを備えることを特徴とする
   画像処理装置。