JPH0114620B2 - - Google Patents
Info
- Publication number
- JPH0114620B2 JPH0114620B2 JP55189134A JP18913480A JPH0114620B2 JP H0114620 B2 JPH0114620 B2 JP H0114620B2 JP 55189134 A JP55189134 A JP 55189134A JP 18913480 A JP18913480 A JP 18913480A JP H0114620 B2 JPH0114620 B2 JP H0114620B2
- Authority
- JP
- Japan
- Prior art keywords
- shift register
- horizontal
- operator
- stage
- stages
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Storing Facsimile Image Data (AREA)
- Complex Calculations (AREA)
- Image Processing (AREA)
Description
本発明は与えられた入力画像に対する空間フイ
ルタリングを行う新規な画像信号処理装置に関す
るものである。 近年頻繁に行われるようになつた画像信号処理
に空間フイルタリングという手法がある。これは
２次元的な入力画像の輝度情報を２次元的に処理
して新たな画像を得るための処理であるが、この
空間フイルタリングの中でも特に多く用いられる
ものが核たたみ込み波（Kernel Convolution
Filtering）と呼ばれる処理である。 第１図はこのたたみ込み波を説明するための
図であつて、入力画像の隣接するｌ×ｋ個の要素
たとえば第１図ａにan-1,o-1，an-1,o，an-1,o+1…
…an+1,o+1として示した３×３個の各ます目に入
れられているものは撮像装置等で撮像して得られ
る画像の各画素であるが、この９個の画素のうち
中央の画素an,oは該画像の標本化点の輝度情報を
与えるものであり、この輝度情報が大きい場合は
該画像の輝度が高くなつているものとする。 したがつて第１図ａ中のan-1,o-1，an-1,o，……
an+1,o+1は上記中央の画素an,oに隣接した各画素の
輝度情報である。 このような構成を有する入力画像の中の画素
an,oとそのまわりの各画素に対して、水平方向に
ｌ個、垂直方向にｋ個配列された要素たとえば第
１図ｂに示したオペレータb11，b12，……b33を作
用させた場合に対応する第１図ｃに示した出力
Hnoは Hno＝b11an-1,o-1＋b12an-1,o＋b13an-1,o+1＋b21an,
o-1＋b22an,o ＋b23an,o+1＋b31an+1,o-1＋b32an+1,o＋b33an+1,o
+1 として与えられる。 このように中央の画素に対応する位置にある１
つの出力すなわち変換画素信号Hn,oを求める操作
を、第１図ａの点線で囲んで記号の記入していな
い他の部分を含む入力画像全体に対して順次行な
つていくには、第１図ｂに示したオペレータを上
下左右に１ますずつ順次移動させてそのたびに
Hn-1,o-1，Hn-1,o+1，……Hn+1,o+1を求めていく
のであるが、このようにして求められた出力画像
は元の入力画像すなわち第１図ａと異なつた空間
周波数を持つようになる。 たとえば前記のような３×３個からなるオペレ
ータを
ルタリングを行う新規な画像信号処理装置に関す
るものである。 近年頻繁に行われるようになつた画像信号処理
に空間フイルタリングという手法がある。これは
２次元的な入力画像の輝度情報を２次元的に処理
して新たな画像を得るための処理であるが、この
空間フイルタリングの中でも特に多く用いられる
ものが核たたみ込み波（Kernel Convolution
Filtering）と呼ばれる処理である。 第１図はこのたたみ込み波を説明するための
図であつて、入力画像の隣接するｌ×ｋ個の要素
たとえば第１図ａにan-1,o-1，an-1,o，an-1,o+1…
…an+1,o+1として示した３×３個の各ます目に入
れられているものは撮像装置等で撮像して得られ
る画像の各画素であるが、この９個の画素のうち
中央の画素an,oは該画像の標本化点の輝度情報を
与えるものであり、この輝度情報が大きい場合は
該画像の輝度が高くなつているものとする。 したがつて第１図ａ中のan-1,o-1，an-1,o，……
an+1,o+1は上記中央の画素an,oに隣接した各画素の
輝度情報である。 このような構成を有する入力画像の中の画素
an,oとそのまわりの各画素に対して、水平方向に
ｌ個、垂直方向にｋ個配列された要素たとえば第
１図ｂに示したオペレータb11，b12，……b33を作
用させた場合に対応する第１図ｃに示した出力
Hnoは Hno＝b11an-1,o-1＋b12an-1,o＋b13an-1,o+1＋b21an,
o-1＋b22an,o ＋b23an,o+1＋b31an+1,o-1＋b32an+1,o＋b33an+1,o
+1 として与えられる。 このように中央の画素に対応する位置にある１
つの出力すなわち変換画素信号Hn,oを求める操作
を、第１図ａの点線で囲んで記号の記入していな
い他の部分を含む入力画像全体に対して順次行な
つていくには、第１図ｂに示したオペレータを上
下左右に１ますずつ順次移動させてそのたびに
Hn-1,o-1，Hn-1,o+1，……Hn+1,o+1を求めていく
のであるが、このようにして求められた出力画像
は元の入力画像すなわち第１図ａと異なつた空間
周波数を持つようになる。 たとえば前記のような３×３個からなるオペレ
ータを
【式】とした場合、このオペレ
ータは低域波機能を有するために、入力画像に
対して空間周波数領域上で低域が強調されるし、
該オペレータが
対して空間周波数領域上で低域が強調されるし、
該オペレータが
【式】である場合に
は、このオペレータは高域波機能を有するため
に、空間周波数領域上で高域が強調される。 このようなたたみ込み波操作を実行する最も
単純な方法は、第２図に見られるような撮像装置
１０１、AD変換器１０２、フレームメモリ１０
３、演算器１０４等で構成された装置によつて、
撮像装置１０１で撮像対象物からの光を検出し、
光電変換して得られた画像信号をAD変換器１０
２でデイジタル量となした後、上記画像の全画面
分をフレームメモリ１０３に蓄積しておき、これ
を順次アクセスし、演算器１０４で演算して端子
１０５に出力するという操作を全画素にわたつて
繰り返すものである。 こうした上記の実行方法における問題点は、処
理時間が長くなることである。すなわち上記の例
では１つの出力画素Hn,oを得るために９回のフレ
ームメモリ１０３をアクセスする必要があり、仮
に元画面が256×256画素で構成されている場合に
は、１画面の処理を行うのに256×256×９＝
589824回フレームメモリ１０３をアクセスする必
要がある。そしてフレームメモリ１０３のサイク
ルタイムを仮に400ns程度としても、１画面を処
理するのに589824×400×10-9（sec）＝2.35×10-1
（sec）以上の時間が最低必要となる。この時間は
フレームメモリ１０３のアクセスタイムだけであ
るので実際にはこれに演算器１０４の演算時間を
も含めると、処理時間は秒の桁となる可能性があ
る。 さらに上記の計算時間は３×３のオペレータに
ついてであつて、オペレータのサイズがさらに大
きくなつた場合にはそのサイズの２乗に比例して
計算時間は増大する。たとえばオペレータのサイ
ズが５×５となつた場合には、先の３×３の場合
に対して52／322.7倍なる増大が生じる。 したがつて、今後このたたみ込み波という操
作に対する高速処理が必要となつて来る。 そこで本発明はこうした必要性に鑑みてなされ
たもので前記のたたみ込み波を高速で行うため
の撮像装置に関するものである。したがつて以下
では第３図以下の図面を用い、理解の便宜上か
ら、３×３個の要素からなるオペレータを例にと
つて詳記する。 前記したオペレータ
に、空間周波数領域上で高域が強調される。 このようなたたみ込み波操作を実行する最も
単純な方法は、第２図に見られるような撮像装置
１０１、AD変換器１０２、フレームメモリ１０
３、演算器１０４等で構成された装置によつて、
撮像装置１０１で撮像対象物からの光を検出し、
光電変換して得られた画像信号をAD変換器１０
２でデイジタル量となした後、上記画像の全画面
分をフレームメモリ１０３に蓄積しておき、これ
を順次アクセスし、演算器１０４で演算して端子
１０５に出力するという操作を全画素にわたつて
繰り返すものである。 こうした上記の実行方法における問題点は、処
理時間が長くなることである。すなわち上記の例
では１つの出力画素Hn,oを得るために９回のフレ
ームメモリ１０３をアクセスする必要があり、仮
に元画面が256×256画素で構成されている場合に
は、１画面の処理を行うのに256×256×９＝
589824回フレームメモリ１０３をアクセスする必
要がある。そしてフレームメモリ１０３のサイク
ルタイムを仮に400ns程度としても、１画面を処
理するのに589824×400×10-9（sec）＝2.35×10-1
（sec）以上の時間が最低必要となる。この時間は
フレームメモリ１０３のアクセスタイムだけであ
るので実際にはこれに演算器１０４の演算時間を
も含めると、処理時間は秒の桁となる可能性があ
る。 さらに上記の計算時間は３×３のオペレータに
ついてであつて、オペレータのサイズがさらに大
きくなつた場合にはそのサイズの２乗に比例して
計算時間は増大する。たとえばオペレータのサイ
ズが５×５となつた場合には、先の３×３の場合
に対して52／322.7倍なる増大が生じる。 したがつて、今後このたたみ込み波という操
作に対する高速処理が必要となつて来る。 そこで本発明はこうした必要性に鑑みてなされ
たもので前記のたたみ込み波を高速で行うため
の撮像装置に関するものである。したがつて以下
では第３図以下の図面を用い、理解の便宜上か
ら、３×３個の要素からなるオペレータを例にと
つて詳記する。 前記したオペレータ
【式】の要素
b11，b12……b33が完全に相互の関連性を持つてい
ない場合には本方法によるたたみ込み波の適用
は不可能であるが、上記要素が所定の関連性を有
している場合には、上記オペレータを水平方向と
垂直方向の各１次元のオペレータに分解すること
ができる。たとえばb11＝ax，b12＝bx，b13＝cx，
b21＝ay，b22＝by，b23＝cy，b31＝az，b32＝bz，
b33＝czと置き直すならば、上記のオペレータは
ない場合には本方法によるたたみ込み波の適用
は不可能であるが、上記要素が所定の関連性を有
している場合には、上記オペレータを水平方向と
垂直方向の各１次元のオペレータに分解すること
ができる。たとえばb11＝ax，b12＝bx，b13＝cx，
b21＝ay，b22＝by，b23＝cy，b31＝az，b32＝bz，
b33＝czと置き直すならば、上記のオペレータは
【式】のように書き改めうるもので
あるが、このオペレータを作用させた結果は入力
画像の隣接するたとえば３×３個の要素に対して
水平方向に第１の１次元のオペレータ〔ａ，ｂ，
ｃ〕を作用させて重み付けを行い、１フレーム分
の全画面処理を行なつたあと、垂直方向に ｘ ｙ ｚ なる第２の１次元オペレータを作用させて重み付
けを行なつて、やはり１フレーム分の全画面処理
を行なつたものと等価である。すなわちはじめか
ら
画像の隣接するたとえば３×３個の要素に対して
水平方向に第１の１次元のオペレータ〔ａ，ｂ，
ｃ〕を作用させて重み付けを行い、１フレーム分
の全画面処理を行なつたあと、垂直方向に ｘ ｙ ｚ なる第２の１次元オペレータを作用させて重み付
けを行なつて、やはり１フレーム分の全画面処理
を行なつたものと等価である。すなわちはじめか
ら
【式】なる２次元のオペレータを
作用させたものは結果として上記の水平方向の１
次元処理を施した後にその結果に対して再び上記
の垂直方向の１次元処理を施したものと変わりは
ない。第３図に示す撮像装置はこうした原理を利
用したものであつて、まず撮像すべき画面を水平
方向に１次元走査を行うと共にアナログ方式で水
平方向に１次元処理を行い、引き続いてその結果
に対してもう１方向すなわち垂直方向に１次元走
査を行うと同時に垂直方向の１次元処理をやはり
アナログ方式で行なつて画像信号を出力するもの
である。第３図は前記たたみ込み波を行う本発
明に係る画像信号処理装置の一実施例を示す図で
あるが理解の便宜上、オペレータの要素をやはり
３×３に選ぶことにする。 この画像信号処理装置では水平方向にｎ個並ん
だ画素を有する受光部が、０１Ａ，０２Ａ，０３
Ａ……０mAとして示したように垂直方向に平行
にｍ段備わつており、全体でｍ×ｎ個の各画素２
０を有している。そして上記の各受光部０１Ａ〜
０mAにはそれぞれ図示しない移送ゲートを介し
て水平方向のシフトレジスタ０１Ｂ，０２Ｂ，０
３Ｂ，……０mBが並行に複数ライン配設されて
おり、これら水平方向のシフトレジスタの末端部
におけるｎ段すなわち右端３段１１Ａ，１２Ａ，
１３Ａ，１１Ｂ，１２Ｂ，１３Ｂ，１１Ｃ，１２
Ｃ，１３Ｃには水平方向のオペレータ要素に対応
する重みすなわち利得がそれぞれａ，ｂ，ｃなる
検出増幅器が接続されていて、各検出増幅器の出
力は１５，２５，３５……ｍ５なる加算器で合算
されるようになつている。 しかし以下では説明の便宜上、ｍ段目までの受
光部とシフトレジスタについて述べることは止
め、上部３段分の受光部と水平方向のシフトレジ
スタの組合わせを用いてこの２次元撮像装置の動
作を説明する。 上記の０１Ａ，０２Ａ，０３Ａなる各受光部中
の各画素２０において光電変換がなされて生じた
電荷１Ａ，２Ａ，３Ａ，……，１Ｂ，２Ｂ，３Ｂ
……，１Ｃ，２Ｃ，３Ｃ……，は図示しない移送
ゲートを介して一せいに矢印ロ方向に各画素に対
向している水平方向のシフトレジスタ０１Ｂ，０
２Ｂ，０３Ｂ，……の各段２１中に移され、各シ
フトレジスタ中を矢印イ方向に１ビツトずつ転送
される。 この場合まず１Ａ，１Ｂ，１Ｃなる電荷が上記
各水平方向のシフトレジスタ０１Ｂ，０２Ｂ，０
３Ｂの１３Ａ，１３Ｂ，１３Ｃとして示した各段
に入るがこれら電荷は非破壊的に検出増幅器１
１，２１，３１によつて読み出され、加算器１
５，２５，３５を介して垂直方向のシフトレジス
タ１７の各段２０１，２０２，２０３に導入され
た上でハ方向に転送され、該垂直方向のシフトレ
ジスタ１７の下３段、すなわち１７Ａ，１７Ｂ，
１７Ｃに導入された後、利得がそれぞれｘ，ｙ，
ｚなる検出増幅器３０１，３０２，３０３で検出
されて、加算器３０４で加算され、出力端子３０
５に出力される。そして垂直方向のシフトレジス
タをすべて転送してしまうことにより垂直１ライ
ン分のデータが得られる。その後、水平方向に１
ビツト転送し、以下これを繰返すことにより全画
素の出力が得られる。この時、垂直方向へ最初に
２ビツト分を転送させた時のデータと水平方向へ
最初に２ビツト転送した時のデータは受光部の端
部で検出された電荷と、受光部と反対側に隣接し
たシフトレジスタ内の電荷の増幅後の総和である
ため、意味のない出力画像を生じる。具体的には
水平方向に関して電荷１Ａ，２Ａが水平方向シフ
トレジスタ０１Ｂの各段１２Ａ，１３Ａに、また
電荷１Ｂ，２Ｂが水平方向のシフトレジスタ０２
Ｂの各段１２Ｂ，１３Ｂに、そして電荷１Ｃ，２
Ｃが水平方向のシフトレジスタ０３Ｂの各段１２
Ｃ，１３Ｃに、それぞれ入つた場合にも言える。 したがつて実際に意味のある出力画像は、電荷
１Ａ，２Ａ，３Ａがシフトレジスタ０１Ｂの各段
１１Ａ，１２Ａ，１３Ａに、また電荷１Ｂ，２
Ｂ，３Ｂがシフトレジスタ０２Ｂの各段１１Ｂ，
１２Ｂ，１３Ｂに、そして電荷１Ｃ，２Ｃ，３Ｃ
がシフトレジスタ０３Ｂの各段１１Ｃ，１２Ｃ，
１３Ｃにそれぞれ入つた場合から得られることに
なる。 すなわちこの場合には１１Ａ，１２Ａ，１３Ａ
なる各段に入つた電荷１Ａ，２Ａ，３Ａが１３，
１２，１１なる第１段目の検出増幅器で検出され
るのであるがこの３つの各検出増幅器はそれぞれ
ｃ，ｂ，ａなる利得をもつている。すなわち、
ｃ，ｂ，ａなる重みが付加されている。この利得
が実は水平方向のオペレータの各要素すなわち重
み係数となるのであつて、上記の検出増幅器１
３，１２，１１の出力には１Ac，２Ab，３Aa
なる結果が現れる。同様に１１Ｂ，１２Ｂ，１３
Ｂなる各段に入つた電荷はそれぞれｃ，ｂ，ａな
る利得を有する検出増幅器２３，２２，２１で検
出されて重み係数が付与され、その出力に１Bc，
２Bb，３Baなる結果を出力する。そしてまた１
１Ｃ，１２Ｃ，１３Ｃなる各段に入つた電荷はや
はりｃ，ｂ，ａなる利得を有する検出増幅器３
３，３２，３１で検出されて重み係数が付与さ
れ、その出力に１Cc，２Cb，３Caなる結果を出
力する。 これらの各結果は１５，２５，３５なる加算器
で加算されるので、垂直方向のシフトレジスタ１
７の２０１なる段には1Ac＋2Ab＋3Aaなる合計
電荷が入り、２０２なる段には1Bc＋2Bb＋3Ba
なる合計電荷が入り、２０３なる段には1Cc＋
2Cb＋3Caなる合計電荷が入ることになる。 これら各合計電荷は垂直方向のシフトレジスタ
１７中を矢印ハ方向に転送されて、該シフトレジ
スタの末端部すなわち最も下の３段１７Ｃ，１７
Ｂ，１７Ａに導入されると同時にそれぞれ３０
３，３０２，３０１として示した各検出増幅器で
検出されるのであるが、これら各検出増幅器はそ
れぞれｚ，ｙ，ｘなる利得を有している。つま
り、垂直方向のオペレータ要素に対応する重み係
数が付与されている。この利得が実は垂直方向の
オペレータの各要素となるのであつて、その結果
各検出増幅器３０１，３０２，３０３の出力端に
は、ｘ（1Ac＋2Ab＋3Aa），ｙ（1Bc＋2Bb＋3Ba）
およびｚ（1Cc＋2Cb＋3Ca）なる結果がそれぞれ
出力される。 これら各出力は加算器３０４によつて合算され
るので、該加算器３０４の出力端子３０５には結
局 Ｊ＝3A・xa＋2A・xb＋1A・xc ＋3B・ya＋2B・yb＋1B・yc ＋3C・za＋2C・zb＋1C・zc なる出力が現れる。 ところが３Ａ，２Ａ，１Ａ、および３Ｂ，２
Ｂ，１Ｂならびに３Ｃ，２Ｃ，１Ｃなる量は本来
第３図の受光部０１Ａ，０２Ａ，０３Ａの各画素
に生じた電荷であつた。したがつてこれらは第１
図ａに示したAn-1,o，an-1,o，an+1,o+1，および
an,o-1，an,o，an,o+1ならびにan+1,o-1，an+1,o，
an+1,o+1なる入力画像の要素に対応する。 そしてxa，xb，xc，およびya，yb，ycならび
に、za，zb，zcなる量は本来２次元のオペレー
タを垂直方向のオペレータと水平方向のオペレー
タとの各積であるから、これらは第１図ｂに示し
たb11，b12，b13およびb21，b22，b23ならびにb31，
b32，b33に対応する。 また上式の左辺にＪとして示した量は第１図ｃ
のHnoに対応するものである。 以上の説明は前記したように説明の便宜上から
第３図の信号処理装置の上部３段分の受光部と水
平方向のシフトレジスタの組合わせのみを用いて
行なつたものであつた。しかし実際には上記受光
部および水平方向シフトレジスタは第３図に描か
れているように複数ライン存在する。したがつて
実際には最下段の受光部０mA中の画素２０中で
発生した１Ｍ，２Ｍ，３Ｍなる電荷がやはり最下
段のシフトレジスタ０mB中に移されて、これが
該シフトレジスタ０mBの右端３段すなわち１１
Ｍ，１２Ｍ，１３Ｍに入つた状態で、各検出増幅
器ｍ３，ｍ２，ｍ１でそれぞれ読み出され重み係
数が付与されて加算器ｍ５で加算された結果が垂
直方向シフトレジスタ１７の２０Ｍとして示した
段に入り、これが最先に垂直シフトレジスタ１７
の最下段１７Ｃに入る。そして上記水平方向シフ
トレジスタ０mBの１段上および２段上の図示し
ない水平方向シフトレジスタ〔強いて記号を付す
ならば０（ｍ−１）Ｂ，０（ｍ−２）Ｂとなる〕の
右端３段に移されたそれぞれ３個の電荷が加算器
ｍ５の上部２段に位置する図示しない２つの加算
器〔強いて記号を付すならば（ｍ−１）５（ｍ−
２）５となる〕で加算された結果が垂直方向シフ
トレジスタ１７の１７Ｃ，１７Ｂ，１７Ａにそれ
ぞれ入るのであるが、検出増幅器３０１，３０
２，３０３で検出され同様に重み係数が付与され
て加算器３０４で加算された結果が最初の変換画
素信号となる。この変換画素信号は、第１図ｃ中
で矢印ホで示したごとくHnoの下方に現れる出力
となるのであるが、信号電荷の読み出しがこのよ
うに実際には下から上へと行われて、最後に第１
図ｃに示した変換画素信号Hnoが得られるもので
ある。すなわち変換画素信号の縦方向の並びはこ
のようにして得られる。 また変換画素信号の横方向の並びは次のように
して得られる。すなわち、第３図の最上段および
これに続く２段分の水平方向のシフトレジスタ０
１Ｂ，０２Ｂ，０３Ｂを例にとれば、こちら水平
方向シフトレジスタの右端３段１１Ａ，１２Ａ，
１３Ａ，１１Ｂ，１２Ｂ，１３Ｂ，１１Ｃ，１２
Ｃ，１３Ｃにそれぞれ入つている信号電荷１Ａ，
２Ａ，３Ａ，１Ｂ，２Ｂ，３Ｂ，１Ｃ，２Ｃ，３
Ｃのうち、１Ａ，１Ｂ，１Ｃなる信号電荷が上記
シフトレジスタ０１Ｂ，０２Ｂ，０３Ｂの出力端
子０１B′，０２B′，０３B′から出力されると各
シフトレジスタの右端３段に入つている電荷は１
ビツトずつ右方向へ進みその結果１３Ａとして示
した段には４Ａなる信号電荷が、１３Ｂとして示
した段には４Ｂなる信号電荷が、また１３Ｃとし
て示した段には４Ｃなる信号電荷が新たに入つて
来る。 そうするとこれら右端３段に入つた電荷はやは
り検出増幅器１３，１２，１１，２３，２１，３
３，３２，３１で検出されて加算器１５，２５，
３５で加算され、該加算結果はそれぞれ垂直方向
シフトレジスタ１７の２０１，２０２，２０３な
る段に入力される。そして前述したと同じような
過程によつて垂直方向に移送され、検出増幅器３
０１，３０２，３０３で検出され、加算器３０４
で合算され、出力端子３０５に出力される。 この過程をくり返せばそのたびごとに横方向の
変換画素信号が１つずつ得られることになるか
ら、第１図ｃ中に示した矢印ヘ方向の変換画素信
号の並びが得られることになる。 なお上記した第３図の２次元撮像装置では水平
方向の各シフトレジスタごとに３個ずつの検出増
幅器が備わつた例を示したが、該検出増幅器の数
は特に３個ずつに限られるものではなく、５個ず
つあるいはそれ以上の数であつてもよい。 以上に述べた本発明に係る画像信号処理装置に
よれば、たたみ込み波なる処理が高速で行える
ので実用上多大の効果が期待できる。
次元処理を施した後にその結果に対して再び上記
の垂直方向の１次元処理を施したものと変わりは
ない。第３図に示す撮像装置はこうした原理を利
用したものであつて、まず撮像すべき画面を水平
方向に１次元走査を行うと共にアナログ方式で水
平方向に１次元処理を行い、引き続いてその結果
に対してもう１方向すなわち垂直方向に１次元走
査を行うと同時に垂直方向の１次元処理をやはり
アナログ方式で行なつて画像信号を出力するもの
である。第３図は前記たたみ込み波を行う本発
明に係る画像信号処理装置の一実施例を示す図で
あるが理解の便宜上、オペレータの要素をやはり
３×３に選ぶことにする。 この画像信号処理装置では水平方向にｎ個並ん
だ画素を有する受光部が、０１Ａ，０２Ａ，０３
Ａ……０mAとして示したように垂直方向に平行
にｍ段備わつており、全体でｍ×ｎ個の各画素２
０を有している。そして上記の各受光部０１Ａ〜
０mAにはそれぞれ図示しない移送ゲートを介し
て水平方向のシフトレジスタ０１Ｂ，０２Ｂ，０
３Ｂ，……０mBが並行に複数ライン配設されて
おり、これら水平方向のシフトレジスタの末端部
におけるｎ段すなわち右端３段１１Ａ，１２Ａ，
１３Ａ，１１Ｂ，１２Ｂ，１３Ｂ，１１Ｃ，１２
Ｃ，１３Ｃには水平方向のオペレータ要素に対応
する重みすなわち利得がそれぞれａ，ｂ，ｃなる
検出増幅器が接続されていて、各検出増幅器の出
力は１５，２５，３５……ｍ５なる加算器で合算
されるようになつている。 しかし以下では説明の便宜上、ｍ段目までの受
光部とシフトレジスタについて述べることは止
め、上部３段分の受光部と水平方向のシフトレジ
スタの組合わせを用いてこの２次元撮像装置の動
作を説明する。 上記の０１Ａ，０２Ａ，０３Ａなる各受光部中
の各画素２０において光電変換がなされて生じた
電荷１Ａ，２Ａ，３Ａ，……，１Ｂ，２Ｂ，３Ｂ
……，１Ｃ，２Ｃ，３Ｃ……，は図示しない移送
ゲートを介して一せいに矢印ロ方向に各画素に対
向している水平方向のシフトレジスタ０１Ｂ，０
２Ｂ，０３Ｂ，……の各段２１中に移され、各シ
フトレジスタ中を矢印イ方向に１ビツトずつ転送
される。 この場合まず１Ａ，１Ｂ，１Ｃなる電荷が上記
各水平方向のシフトレジスタ０１Ｂ，０２Ｂ，０
３Ｂの１３Ａ，１３Ｂ，１３Ｃとして示した各段
に入るがこれら電荷は非破壊的に検出増幅器１
１，２１，３１によつて読み出され、加算器１
５，２５，３５を介して垂直方向のシフトレジス
タ１７の各段２０１，２０２，２０３に導入され
た上でハ方向に転送され、該垂直方向のシフトレ
ジスタ１７の下３段、すなわち１７Ａ，１７Ｂ，
１７Ｃに導入された後、利得がそれぞれｘ，ｙ，
ｚなる検出増幅器３０１，３０２，３０３で検出
されて、加算器３０４で加算され、出力端子３０
５に出力される。そして垂直方向のシフトレジス
タをすべて転送してしまうことにより垂直１ライ
ン分のデータが得られる。その後、水平方向に１
ビツト転送し、以下これを繰返すことにより全画
素の出力が得られる。この時、垂直方向へ最初に
２ビツト分を転送させた時のデータと水平方向へ
最初に２ビツト転送した時のデータは受光部の端
部で検出された電荷と、受光部と反対側に隣接し
たシフトレジスタ内の電荷の増幅後の総和である
ため、意味のない出力画像を生じる。具体的には
水平方向に関して電荷１Ａ，２Ａが水平方向シフ
トレジスタ０１Ｂの各段１２Ａ，１３Ａに、また
電荷１Ｂ，２Ｂが水平方向のシフトレジスタ０２
Ｂの各段１２Ｂ，１３Ｂに、そして電荷１Ｃ，２
Ｃが水平方向のシフトレジスタ０３Ｂの各段１２
Ｃ，１３Ｃに、それぞれ入つた場合にも言える。 したがつて実際に意味のある出力画像は、電荷
１Ａ，２Ａ，３Ａがシフトレジスタ０１Ｂの各段
１１Ａ，１２Ａ，１３Ａに、また電荷１Ｂ，２
Ｂ，３Ｂがシフトレジスタ０２Ｂの各段１１Ｂ，
１２Ｂ，１３Ｂに、そして電荷１Ｃ，２Ｃ，３Ｃ
がシフトレジスタ０３Ｂの各段１１Ｃ，１２Ｃ，
１３Ｃにそれぞれ入つた場合から得られることに
なる。 すなわちこの場合には１１Ａ，１２Ａ，１３Ａ
なる各段に入つた電荷１Ａ，２Ａ，３Ａが１３，
１２，１１なる第１段目の検出増幅器で検出され
るのであるがこの３つの各検出増幅器はそれぞれ
ｃ，ｂ，ａなる利得をもつている。すなわち、
ｃ，ｂ，ａなる重みが付加されている。この利得
が実は水平方向のオペレータの各要素すなわち重
み係数となるのであつて、上記の検出増幅器１
３，１２，１１の出力には１Ac，２Ab，３Aa
なる結果が現れる。同様に１１Ｂ，１２Ｂ，１３
Ｂなる各段に入つた電荷はそれぞれｃ，ｂ，ａな
る利得を有する検出増幅器２３，２２，２１で検
出されて重み係数が付与され、その出力に１Bc，
２Bb，３Baなる結果を出力する。そしてまた１
１Ｃ，１２Ｃ，１３Ｃなる各段に入つた電荷はや
はりｃ，ｂ，ａなる利得を有する検出増幅器３
３，３２，３１で検出されて重み係数が付与さ
れ、その出力に１Cc，２Cb，３Caなる結果を出
力する。 これらの各結果は１５，２５，３５なる加算器
で加算されるので、垂直方向のシフトレジスタ１
７の２０１なる段には1Ac＋2Ab＋3Aaなる合計
電荷が入り、２０２なる段には1Bc＋2Bb＋3Ba
なる合計電荷が入り、２０３なる段には1Cc＋
2Cb＋3Caなる合計電荷が入ることになる。 これら各合計電荷は垂直方向のシフトレジスタ
１７中を矢印ハ方向に転送されて、該シフトレジ
スタの末端部すなわち最も下の３段１７Ｃ，１７
Ｂ，１７Ａに導入されると同時にそれぞれ３０
３，３０２，３０１として示した各検出増幅器で
検出されるのであるが、これら各検出増幅器はそ
れぞれｚ，ｙ，ｘなる利得を有している。つま
り、垂直方向のオペレータ要素に対応する重み係
数が付与されている。この利得が実は垂直方向の
オペレータの各要素となるのであつて、その結果
各検出増幅器３０１，３０２，３０３の出力端に
は、ｘ（1Ac＋2Ab＋3Aa），ｙ（1Bc＋2Bb＋3Ba）
およびｚ（1Cc＋2Cb＋3Ca）なる結果がそれぞれ
出力される。 これら各出力は加算器３０４によつて合算され
るので、該加算器３０４の出力端子３０５には結
局 Ｊ＝3A・xa＋2A・xb＋1A・xc ＋3B・ya＋2B・yb＋1B・yc ＋3C・za＋2C・zb＋1C・zc なる出力が現れる。 ところが３Ａ，２Ａ，１Ａ、および３Ｂ，２
Ｂ，１Ｂならびに３Ｃ，２Ｃ，１Ｃなる量は本来
第３図の受光部０１Ａ，０２Ａ，０３Ａの各画素
に生じた電荷であつた。したがつてこれらは第１
図ａに示したAn-1,o，an-1,o，an+1,o+1，および
an,o-1，an,o，an,o+1ならびにan+1,o-1，an+1,o，
an+1,o+1なる入力画像の要素に対応する。 そしてxa，xb，xc，およびya，yb，ycならび
に、za，zb，zcなる量は本来２次元のオペレー
タを垂直方向のオペレータと水平方向のオペレー
タとの各積であるから、これらは第１図ｂに示し
たb11，b12，b13およびb21，b22，b23ならびにb31，
b32，b33に対応する。 また上式の左辺にＪとして示した量は第１図ｃ
のHnoに対応するものである。 以上の説明は前記したように説明の便宜上から
第３図の信号処理装置の上部３段分の受光部と水
平方向のシフトレジスタの組合わせのみを用いて
行なつたものであつた。しかし実際には上記受光
部および水平方向シフトレジスタは第３図に描か
れているように複数ライン存在する。したがつて
実際には最下段の受光部０mA中の画素２０中で
発生した１Ｍ，２Ｍ，３Ｍなる電荷がやはり最下
段のシフトレジスタ０mB中に移されて、これが
該シフトレジスタ０mBの右端３段すなわち１１
Ｍ，１２Ｍ，１３Ｍに入つた状態で、各検出増幅
器ｍ３，ｍ２，ｍ１でそれぞれ読み出され重み係
数が付与されて加算器ｍ５で加算された結果が垂
直方向シフトレジスタ１７の２０Ｍとして示した
段に入り、これが最先に垂直シフトレジスタ１７
の最下段１７Ｃに入る。そして上記水平方向シフ
トレジスタ０mBの１段上および２段上の図示し
ない水平方向シフトレジスタ〔強いて記号を付す
ならば０（ｍ−１）Ｂ，０（ｍ−２）Ｂとなる〕の
右端３段に移されたそれぞれ３個の電荷が加算器
ｍ５の上部２段に位置する図示しない２つの加算
器〔強いて記号を付すならば（ｍ−１）５（ｍ−
２）５となる〕で加算された結果が垂直方向シフ
トレジスタ１７の１７Ｃ，１７Ｂ，１７Ａにそれ
ぞれ入るのであるが、検出増幅器３０１，３０
２，３０３で検出され同様に重み係数が付与され
て加算器３０４で加算された結果が最初の変換画
素信号となる。この変換画素信号は、第１図ｃ中
で矢印ホで示したごとくHnoの下方に現れる出力
となるのであるが、信号電荷の読み出しがこのよ
うに実際には下から上へと行われて、最後に第１
図ｃに示した変換画素信号Hnoが得られるもので
ある。すなわち変換画素信号の縦方向の並びはこ
のようにして得られる。 また変換画素信号の横方向の並びは次のように
して得られる。すなわち、第３図の最上段および
これに続く２段分の水平方向のシフトレジスタ０
１Ｂ，０２Ｂ，０３Ｂを例にとれば、こちら水平
方向シフトレジスタの右端３段１１Ａ，１２Ａ，
１３Ａ，１１Ｂ，１２Ｂ，１３Ｂ，１１Ｃ，１２
Ｃ，１３Ｃにそれぞれ入つている信号電荷１Ａ，
２Ａ，３Ａ，１Ｂ，２Ｂ，３Ｂ，１Ｃ，２Ｃ，３
Ｃのうち、１Ａ，１Ｂ，１Ｃなる信号電荷が上記
シフトレジスタ０１Ｂ，０２Ｂ，０３Ｂの出力端
子０１B′，０２B′，０３B′から出力されると各
シフトレジスタの右端３段に入つている電荷は１
ビツトずつ右方向へ進みその結果１３Ａとして示
した段には４Ａなる信号電荷が、１３Ｂとして示
した段には４Ｂなる信号電荷が、また１３Ｃとし
て示した段には４Ｃなる信号電荷が新たに入つて
来る。 そうするとこれら右端３段に入つた電荷はやは
り検出増幅器１３，１２，１１，２３，２１，３
３，３２，３１で検出されて加算器１５，２５，
３５で加算され、該加算結果はそれぞれ垂直方向
シフトレジスタ１７の２０１，２０２，２０３な
る段に入力される。そして前述したと同じような
過程によつて垂直方向に移送され、検出増幅器３
０１，３０２，３０３で検出され、加算器３０４
で合算され、出力端子３０５に出力される。 この過程をくり返せばそのたびごとに横方向の
変換画素信号が１つずつ得られることになるか
ら、第１図ｃ中に示した矢印ヘ方向の変換画素信
号の並びが得られることになる。 なお上記した第３図の２次元撮像装置では水平
方向の各シフトレジスタごとに３個ずつの検出増
幅器が備わつた例を示したが、該検出増幅器の数
は特に３個ずつに限られるものではなく、５個ず
つあるいはそれ以上の数であつてもよい。 以上に述べた本発明に係る画像信号処理装置に
よれば、たたみ込み波なる処理が高速で行える
ので実用上多大の効果が期待できる。
第１図ａ，ｂ，ｃはたたみ込み波の原理を説
明するための図、第２図は従来のたたみ込み波
操作を実行する最も単純な構成の系統図、第３図
は本発明に係るたたみ込み波を行う画像信号処
理装置の構成を示す図である。 １Ａ〜３Ａ，１Ｂ〜３Ｂ，１Ｃ〜３Ｃ：各画素
中に光電変換から生じた電荷、０１Ａ〜０３Ａ：
受光部、０１Ｂ〜０３Ｂ：水平方向のシフトレジ
スタ、１１〜１３，２１〜２３，３１〜３３，３
０１〜３０３：検出増幅器、１５，２５，３５…
…ｍ５，３０４：加算器、１７：垂直方向のシフ
トレジスタ、２０：画素、２１：水平方向のシフ
トレジスタの各段。
明するための図、第２図は従来のたたみ込み波
操作を実行する最も単純な構成の系統図、第３図
は本発明に係るたたみ込み波を行う画像信号処
理装置の構成を示す図である。 １Ａ〜３Ａ，１Ｂ〜３Ｂ，１Ｃ〜３Ｃ：各画素
中に光電変換から生じた電荷、０１Ａ〜０３Ａ：
受光部、０１Ｂ〜０３Ｂ：水平方向のシフトレジ
スタ、１１〜１３，２１〜２３，３１〜３３，３
０１〜３０３：検出増幅器、１５，２５，３５…
…ｍ５，３０４：加算器、１７：垂直方向のシフ
トレジスタ、２０：画素、２１：水平方向のシフ
トレジスタの各段。
Claims (1)
- 【特許請求の範囲】 １ 水平方向にｌ個、垂直方向にｋ個の入力画像
の要素を操作単位とし、該操作単位に含まれる各
要素に対応して重み計数を付与する画像信号処理
方法において、 それぞれ水平方向の画素信号を入力する複数ラ
インの水平方向シフトレジスタ群０１Ｂ〜０mB
と、 各シフトレジスタの末端部におけるｌ段にそれ
ぞれ接続された水平方向のオペレータ要素に対応
する重み計数を付与するためのｌ個ずつの検出増
幅器１１，１２，１３〜ｍ１，ｍ２，ｍ３と、 各ラインごとのｌ個の検出出力を加算する加算
器１５〜ｍ５と、 各ラインの前記加算器の出力を並列に入力して
縦方向に転送する垂直方向シフトレジスタ１７を
設け、 さらに該縦方向シフトレジスタの末端部におけ
るｋ段にそれぞれ上記垂直方向のオペレータ要素
に対応する重み計数を付与するためのｋ個からな
る検出増幅器３０１〜３０３と、 該検出増幅器の出力を加算する加算器３０４を
設けてなり、 各水平方向シフトレジスタに入力する画素信号
を順次変換処理するようにしたことを特徴とする
画像信号処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18913480A JPS57111660A (en) | 1980-12-27 | 1980-12-27 | Picture signal processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP18913480A JPS57111660A (en) | 1980-12-27 | 1980-12-27 | Picture signal processor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS57111660A JPS57111660A (en) | 1982-07-12 |
| JPH0114620B2 true JPH0114620B2 (ja) | 1989-03-13 |
Family
ID=16235971
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP18913480A Granted JPS57111660A (en) | 1980-12-27 | 1980-12-27 | Picture signal processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS57111660A (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5962033A (ja) * | 1982-09-30 | 1984-04-09 | 株式会社東芝 | 画像処理装置 |
| JPS6194185A (ja) * | 1984-10-15 | 1986-05-13 | Nec Corp | 画像処理装置 |
| JPS63298574A (ja) * | 1987-05-29 | 1988-12-06 | Secom Co Ltd | デ−タ平滑処理装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5282137A (en) * | 1975-12-29 | 1977-07-09 | Mitsubishi Electric Corp | Picture operational processor |
-
1980
- 1980-12-27 JP JP18913480A patent/JPS57111660A/ja active Granted
Also Published As
| Publication number | Publication date |
|---|---|
| JPS57111660A (en) | 1982-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4472638A (en) | Two-dimensional solid-state image sensor | |
| EP0352016B1 (en) | Method and system for enhancement of a digitized image | |
| EP0165045B1 (en) | Document scanning system for enhancing information | |
| JPS6053349B2 (ja) | 画像処理プロセツサ | |
| KR860007603A (ko) | 이미지 압축 방법 및 장치 | |
| EP0264966B1 (en) | Interpolator for television special effects system | |
| EP0069542B1 (en) | Data processing arrangement | |
| EP0182243A2 (en) | Image signal filtering | |
| EP0450260B1 (en) | Digital signal filter circuit | |
| JPH0114620B2 (ja) | ||
| US6643412B1 (en) | Method and apparatus for high speed convolution | |
| GB2061660A (en) | Modifying the contrast of an image | |
| US5041912A (en) | Averaging array for CCD imagers | |
| EP0130295B1 (en) | Image signal processing apparatus | |
| Hall et al. | Real-time image enhancement using 3X3 pixel neighborhood operator functions | |
| US4987557A (en) | System for calculation of sum of products by repetitive input of data | |
| JPS583375A (ja) | 画像信号処理装置 | |
| JP2840706B2 (ja) | 画像処理方法 | |
| KR970014154A (ko) | 2차원 비디오 콘볼빙 실행 방법 및 장치(method and apparatus for performing two dimensional video convolving) | |
| JPH05135169A (ja) | ２次元空間フイルタ回路 | |
| JP3023976B2 (ja) | 画像信号の並べ換え回路 | |
| JPS6036625B2 (ja) | データ処理装置 | |
| JPS60189375A (ja) | ビデオ信号処理方法 | |
| JPS592164A (ja) | 画像入力装置 | |
| Okuyama et al. | High‐speed digital image processor with special‐purpose hardware for two‐dimensional convolution |