JP3949740B2 - 電子ズーム処理装置および電子ズーム処理方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、画像を表わす映像信号をディジタル演算によりズーム処理する電子ズーム処理装置および電子ズーム処理方法に係り、たとえば、ビデオカメラおよび電子スチルカメラ等の撮像機器または、これら撮像機器からの映像信号を編集処理する編集機およびフィルムまたはビデオテープなどから画像を表わす映像信号を読み取ってディジタル処理するフィルムスキャナ等のディジタル画像処理装置などに用いて好適な電子ズーム処理装置および電子ズーム処理方法に関するものである。
【０００２】
【従来の技術】
近年、たとえば、ビデオカメラなどの撮像機器では、被写体を撮像する際に光学的なズーミングと電子的なズーミングとを併用して、被写体像を自在にズームインおよびズームアウトして所望の大きさに調整して撮影するものが知られている。また、たとえばビデオデッキなどからの映像信号を合成するなど特殊効果を再現する編集装置等では、撮影された画像を表わす映像信号をディジタル処理して、その信号にて表わされる画像を自在に拡大または縮小する電子ズーム処理機能を有するものが知られている。これらの場合、画質の向上を図るために単純間引きおよび単純補間などによらず、元画像の複数の画素から補間演算により画素を線形内挿する内挿補間演算処理が有利に用いられている。
【０００３】
従来、たとえば、特開昭53-128219 号公報または特開昭54-125917 号公報などに記載された電子ズーム方式では、たとえば、ｍ個の入力画素を画素間隔ｈにて入力して、その映像信号を画素端から順次画素間隔ｇにてｎ個の出力画素として内挿補間演算し、これを再び画素間隔ｈの信号に変換して、画像の拡大または縮小処理を行なうものがあった。この場合、たとえば前者の電子ズーム方式では、１番目の入力画素の位置を原点としてｉ番目の内挿出力画素位置P_iを次式(1) により求めて、それぞれの近傍の入力画素から内挿補間演算を行なっていた。
【０００４】

ただし、α(i) は演算結果の整数部、β(i) は演算結果の小数部である。
【０００５】
つまり、上式の整数部α(i) から内挿補間に使用する入力画素が決定され、小数部β(i) から内挿距離が決定されて、これら決定された入力画素間での内挿距離に応じて補間画素の値が内挿補間演算により順次求められていた。
【０００６】
また、後者の電子ズーム方式では、それぞれの画素の演算を迅速に実行するために、上式(1) または次式(2) から画素数n,m にて求められる係数k1またはk2を演算して、これを求めた前回の画素位置P_i-1に順次加算して、それぞれの画素位置を順次求め、それぞれの画素値を内挿補間により演算するものであった。
【０００７】

または

ただし、k1=(m-1)/n,k2=(m-1)/(n-1) である。
【０００８】
この場合も上記と同様にその演算結果は、整数部と小数部に分けられて、整数部の値にて入力画素が決定され、小数部にて対応の入力画素に対する内挿距離が求められ、これらより上記と同様に画素値が補間演算されるものであった。
【０００９】
このように従来は、画素端から順次画素位置を算出して、その位置に対応する入力画素間から内挿画素を順次補間演算していくものが一般的であった。
【００１０】
【発明が解決しようとする課題】
しかしながら、上述のように画素端から順次画素位置を算出していく場合、それぞれの画素位置での端数の丸めなどにより順次後方の画素では演算誤差が拡大して、その中心位置では元の画像の中心に対してずれが生じてしまうという問題があった。特に、ズーム倍率を1.31倍あるいは0.86倍というように小数部まで有効となるように精度を高めると、必然的に画像の中心点の座標が元の画像に対してずれてくる。したがって、このような方式で時間的に連続的なズーミングを行なうと画像が揺らいで見えるなどの問題が生じていた。
【００１１】
そこで、本願発明者は、たとえば特願平6-86863 にて画像端にて中心ずれを補整するオフセット値をあらかじめ与えて、演算を開始する画像処理装置を提案している。しかし、その出願時点では補整値の与え方は具体的に開示されていなかった。したがって、たとえば元画像の画素間隔の２分の１の距離を初期位置として求めている例が示されている。上述した従来の技術でも上式(1),(2) から明らかなようにi=1 の場合、画素端の位置は、(1-1/2)=g/2 または(1-1)=0 の位置、つまり入力画素の原点に対する位置から演算が開始されており、上述のように画像端からの演算による中心ずれが解決されているものがなかった。
【００１２】
また、中心ずれが生じないように、画像の中心点を固定して、中心点より画像端の方向へ画素位置を算出してゆく方法が考えられる。しかし、中心より画像端に演算してゆくと中心のずれは起こらないが、ランダムアクセス可能な画像メモリを使用しなければならない、あるいは、回路的な工夫をさらに行なわなければならないなどハードウェア的に制限が課されてくる問題があった。これにより、装置の回路規模、コストともに大となって、特に、ビデオカメラまたは電子スチルカメラなどの携帯機器では、小型軽量化に際して不利になってくる問題があった。
【００１３】
本発明は上記課題を解決して、画像端から順次補間演算を行なった場合にも有効に中心位置ずれの補整を行なうことができ、したがって、小規模、低コストな回路で画像の揺らぎなどを有効に解消することができる電子ズーム処理装置および電子ズーム処理方法を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明による電子ズーム処理装置は上記課題を解決するために、入力した映像信号を設定されたズーム倍率に応じてディジタル演算して、その映像信号にて表わされる画像を拡大または縮小処理する電子ズーム処理装置において、入力した元画像の映像信号のうちズーム処理を開始する画素の位置をその元画像の中心画素に対して決定する処理画素決定手段と、処理画素決定手段にて決定された処理開始画素での中心画素に対する位置ずれを求めて、これより中心位置補整値を算出する補整値算出手段と、補整値算出手段にて求めた中心位置補整値を、求める画素の最初の画素の位置に対して補整して、その補整位置での画素値を元画像の開始画素と次の画素の値から内挿補間演算により求め、その画素以降の画素の位置を倍率に応じた等しい間隔にて求めてそれぞれの画素値を順次対応する入力画素から内挿補間演算により求める画素値演算手段とを含むことを特徴とする。
【００１５】
この場合、処理画素決定手段は、ズーム処理前の画像の中心画素の位置と処理開始画素の位置との差の２倍にズーム倍率を積算して求まるズーム処理後の画素数の関係から処理開始画素の位置を逆算して、その結果の整数部を開始画素の位置として求めるとよい。また、補整値算出手段は、処理画素決定手段にて求めた処理開始画素の位置の演算結果の小数部を開始画素での中心画素に対する位置ずれとして求めて、これに入力画素の画素間距離を積算した値を中心位置補整値として算出すると有利である。
【００１６】
さらに、画素値演算手段は、求める画素の位置を前回の画素の位置にズーム倍率に応じた等間隔の距離を順次加算して対応の元画像の画素間に対する位置を求めて、これを補間係数とする補間係数演算手段と、補間係数演算手段にて求めた位置に対応する元画像の画素を順次遅延回路を介して入力する画素入力手段と、画素入力手段からの現時点での画素と遅延画素とに前記補間係数を積算して、求める画素の画素値を演算する補間画素値演算手段とを含むとよい。
【００１７】
この場合、補間画素値演算手段は、現画素と遅延画素との値の差をとる引算回路と、引算回路の出力に前記補間係数演算手段からの補間係数を積算する積算回路と、積算回路の出力に前画素の値を加算する加算回路とを含むとよい。
【００１８】
その際に、補間画素演算手段の引算手段と、積算手段と、加算手段とは、それぞれハード的な演算回路にて形成されているとよい。また、引算手段と、積算手段と、加算手段とは、それぞれソフトウェアにて実現してもよい。
【００１９】
また、補間係数演算手段は、前回求めた画素の位置に等間隔の距離を加算してその値が元画像の画素間距離を越えた際に、画素入力手段に元画像の次の画素を読み出す指示を与えるようにするとよい。
【００２０】
さらに、補間係数演算手段は補整値算出手段に接続され、最初の画素の値を求める際に補整値算出手段からの中心位置補整値を補間画素演算手段に供給してその画素値を求め、以降の画素を求める際に等間隔の距離にて求めた補間係数を補間画素値演算手段に供給して順次以降の画素を求めるとよい。
【００２１】
一方、補整値算出手段にて算出された中心位置補整値は、ズーム倍率に対応してあらかじめ記憶手段に蓄積されて、補間画素値演算手段にて最初の画素値を補間演算する際に倍率データに応じて読み出されて補間画素値演算手段に供給されるようにするとよい。
【００２２】
また、補間係数演算手段は、中心位置補整値のダイナミックレンジを拡張し、隣接する画素間の距離以上の補整を画素単位で補整することで、故意に中心位置をずらした画像を得るようにするとよい。
【００２３】
他方、本発明による電子ズーム処理方法は、入力した映像信号を設定されたズーム倍率に応じてディジタル演算して、その映像信号にて表わされる画像を拡大または縮小処理する電子ズーム処理方法において、入力した元画像のそれぞれの画素に基づいて求める画素を画像端から順次内挿補間演算により求める際に、入力した元画像の映像信号のうちズーム処理を開始する画素の位置をその元画像の中心画素に対して決定する第１の工程と、第１の工程にて決定された処理開始画素での中心画素に対する位置ずれを求めて、これより中心位置補整値を算出する第２の工程と、第２の工程にて求めた中心位置補整値を、求める画素の最初の画素の位置に対して補整する第３の工程と、第１の工程にて決定された元画像の画素および次の画素を順次読み出す第４の工程と、第３の工程にて補整した位置での画素値を第４の工程にて読み出した元画像の開始画素と次の画素の値から内挿補間演算する第５の工程と、第５の工程にて求めた画素以降の画素の位置を倍率に応じた等しい間隔にて求める第６の工程と、第６の工程にて求めた位置に対応する元画像の画素を順次読み出す第７の工程と、第７の工程にて読み出した入力画素から前記第６の工程による位置での画素値を順次内挿補間演算により求める第８の工程を含むことを特徴とする。
【００２４】
この場合、第１の工程はズーム処理前の画像の中心画素の位置と処理開始画素の位置との差の２倍にズーム倍率を積算して求まるズーム処理後の画素数の関係から処理開始画素の位置を逆算して、その結果の整数部を処理開始画素の位置として求めるとよい。また、第２の工程は第１の工程にて求めた処理開始画素の位置の演算結果の小数部に入力画素の画素間距離を積算して中心位置補整値を算出すると有利である。
【００２５】
さらに、第４の工程および第７の工程は、読み出された元画像のそれぞれの画素を遅延させて現時点の画素と遅延画素とを順次対応の求める画素に対して出力するとよい。また、第５の工程は、第４の工程から処理開始画素を遅延画素として受け、その次の画素を現画素として受け、それらの値の差をとり、その結果に前記第３の工程にて中心位置補整が施された位置での補間係数を積算し、その積算結果に現画素の値を加算して、補間画素の値を演算するとよい。同様に、第８の工程は、第７の工程からの現画素と遅延画素との値の差をとり、その結果に第６の工程にて算出された補間係数を積算し、その積算結果に現画素の値を加算して、補間画素の値を演算するとよい。
【００２６】
さらに、第７の工程は第６の工程にて前回求めた画素の位置に等間隔の距離を加算してその値が元画像の画素間距離を越えた際に、元画像の次の画素を順次読み出すとよい。
【００２７】
また、第２の工程にて算出された中心位置補整値は、ズーム倍率に対応してあらかじめ蓄積されて、最初の画素値を補間演算する際に倍率データに応じて読み出されるようにするとよい。これらの場合、中心位置補整値は、隣接する画素間の距離以上の補整値としてダイナミックレンジが拡張されて、その補整値にて画素単位で補整することで、故意に中心位置をずらした画像を得るようにしてもよい。
【００２８】
【作用】
本発明における電子ズーム処理装置および電子ズーム処理方法によれば、ズーム倍率が設定されて元画像が供給されると、まず、処理画素決定手段にてズーム倍率に応じて元画像の中心画素に対する処理開始画素が決定される。この際に、処理画素決定手段は、たとえばズーム処理前の元画像の中心画素の位置と処理開始画素の位置との差の２倍にズーム倍率を積算して求まるズーム処理後の画素数の関係から処理開始画素の位置を逆算して、その整数値から開始画素を決定し、入力画素の処理開始位置を決定する。次に、補整値算出手段にて、求められた処理開始画素の位置の演算結果の小数部を処理画素決定手段から受けて、たとえば、その小数部の値と元画像の画素間隔とを積算することにより、処理開始画素の中心ずれを求めて、これを中心位置補整値として出力する。これにより、画素値演算手段にて、求める画像の画素端の位置が中心位置補整値にて補整されて、その位置での画素値が読み出された元画像の処理開始画素と次の画素から内挿補間演算により求められる。次に、画像端の画素値が求められると、画素値演算手段にて画素端の位置から順次ズーム倍率に応じた等間隔の距離を加算して、その加算値がたとえば元画像の画素間隔を越えると、入力画素の次の画素を読み出して、前の画素と読み出した画素との間にて求める画素の位置を求め、その位置にて内挿補間演算によりそれぞれの画素の値が求められていく。この結果、求める画像の中心画素は、画素端にて中心位置補整が施されているので、元画像の中心画素の位置と重なり、中心位置のずれのないズーム処理演算が順次行なわれる。これをそれぞれの走査線毎に実行して、それぞれの走査線のズーム処理が行なわれると、上記と同様に垂直方向のズーム処理が行なわれて、この結果の画像がズーム倍率に応じた拡大または縮小処理された画像を表わす映像信号として出力される。
【００２９】
【実施例】
次に本発明による電子ズーム処理装置および電子ズーム処理方法の一実施例を添付図面を参照して詳細に説明する。図１には、本発明による電子ズーム処理方法が適用された電子ズーム処理装置の一実施例が示されている。本実施例における電子ズーム処理装置100 は、元画像の画素データを順次入力して、これらを内挿補間演算にてディジタル演算して拡大または縮小された画像を表わす映像信号を出力する信号処理装置であり、たとえば、ビデオカメラまたは電子スチルカメラなどの撮像機器に適用された際に、図２に示すように撮像系からの映像信号を受けてズーム処理し、処理した信号をフレームメモリまたはフィールドメモリなどのバッファ110 に蓄積して、ファインダおよび記録再生系に出力する。特に、本実施例の電子ズーム処理装置100 は、画素端から順次補間画素を求める際に、元画像の中心画素に対する処理開始画素を求めて、その処理開始画素における中心画素からの位置ずれを求め、これより中心位置補整値を画像端の求める画素に対して補整する点に大きな特徴を有する。
【００３０】
詳細には本実施例の電子ズーム処理装置100 は、図１に示すように処理開始画素決定部10と、中心位置補整値算出部12と、補間係数演算部14と、内挿補間演算部16と、画素入力部18とを含む。処理開始画素決定部10は、図示しない倍率入力部から設定されるズーム倍率ｒを受けて元画像の処理開始画素の位置R(x,y)を決定する演算部であり、たとえば、ビデオカメラなどでは演算処理用のマイクロプロセッサなどが有効に適用される。この処理開始画素決定部10では、たとえば、ビデオカメラのCCD (Charge Coupled Device) の画素数またはディジタル処理装置での元画像を蓄積するフレームメモリなどの容量から元画像の画素数MxN が与えられており、また、ズーム処理後の画素数mxn も表示装置などの画素数から与えられている。本実施例では、たとえば、水平方向にて元画像の画素数Ｍの２分の１、つまり元画像の中心位置と処理開始画像の位置Rxとの差の２倍にズーム倍率ｒを乗算して得られるズーム処理後の画素数ｍの関係から、既知となっている画素数M,m およびズーム倍率ｒから逆算して処理開始画素の位置Rxを算出している。同様に、垂直方向の画素数N,n およびズーム倍率ｒから処理開始画素の垂直位置Ryを求めている。
【００３１】
たとえば、図５に示すように水平方向ｍ画素のズーム画像を得る場合、ズーム処理前の画像の中心位置をＳとすると、ズーム画像の画素数ｍは、
m=2 ×（ズーム前の中心位置Ｓ−処理開始画素位置Ｒ）×ズーム倍率ｒ
という式にて求められる。ここで、ズーム前の中心座標Ｓは、元画像の画素数Ｍが通常、偶数画素数であるので、S=(M/2+0.5) となる。しかし、その点が画素格子上に存在しないので、M/2 にある画素を中心位置とみなすと、
m=2r(M/2-Rx)
となり、処理開始画素の水平方向の位置Rxは、
Rx=(M-m/r)/2
となる。同様に、処理開始画素の垂直方向の位置Ryは、
Ry=(N-n/r)/2
となる。
【００３２】
この結果、処理開始画素決定部10は、元画像の画素数M,N と、処理後の画素数m,n と、
ズーム倍率ｒとから処理開始画素の位置R(x,y)を求める。その演算結果は、本実施例ではズーム倍率ｒが、たとえば1/4 倍から２倍まで1/100 の精度にて連続的に設定可能となっているとして、1/1000の精度にて処理開始画素の位置R(x,y)を求めて、その整数部の値を処理開始画素として画素入力部18に供給し、小数部の値を中心ずれとして中心位置補整値算出部12に供給する。具体的には、M=m=640,N=n=480 として、ズーム倍率r=1.31とすると、
Rx=(640-640/1.31)/2=75.725
Ry=(480-480/1.31)/2=56.794
となる。したがって、R(x,y)の整数部(75,56) を画素入力部18に供給し、小数部(0.725,0.794) を中心位置補整値算出部12に供給する。
【００３３】
中心位置補整値算出部12は、処理画素決定部10からの中心ずれの値を受けて、これを元画像の画素間隔に乗算して、中心位置補整値に換算する補整値出力回路である。たとえば、図８(A) に示すように上記画素から小数点以下を切り捨てた状態にて順次補間演算すると、元画像の中心画素に対して中心ずれが生じる。したがって、本実施例では、その中心ずれを図８(B) に示すようにオフセット値、つまり中心位置補整値として与える。本実施例では、たとえばそれぞれの画素値を８ビットのディジタル値にて取り扱うとすると、元画像の画素間隔を28 =256 に換算して、これに処理画素決定部10からの1/1000の精度の小数部を乗算する。この結果の補整値は、整数値３桁の値として算出されて、最初の画素の補間係数として補間係数演算部14に供給される。具体的には、処理開始画素決定部10からの水平方向の中心ずれ=0.725から補整値を演算すると、0.725 ×256=186 となりたとえば、図９に示すように、求める画像の画素端の位置が処理開始画素の位置から186 の距離に補整される。
【００３４】
補間係数演算部14は、最初の画素では内挿補間演算部 16 に補間係数として供給する中心補整値を加算することで補整し、それ以降の画素ではズーム倍率ｒと元画像の画素間距離にて算出される等間隔の値を、求めた最初の画素の位置に順次加算して対応の入力画素間での位置を算出する位置演算回路である。本実施例ではたとえば、図11に示すようにズーム倍率ｒと元画像の画素間距離にて算出される等間隔の値をズーム倍率データとして受け、これを加算器142 を介して出力するとともに、そのデータを加算器142 にフィードバックして次の値と加算して再び出力する回路にて形成されている。加算器142 は、たとえば８ビットの加算回路であり、加算値が８ビットを越えた場合にキャリービットＣを画素入力部18に供給する。そのキャリービットＣは、次の入力画素の読み出しに使用される。具体的には、元画像の画素間距離を28=256として、ズーム倍率ｒ=1.31 とすると、求める画素間距離は256/1.31≒195 となり、195 の距離を順次前回の画素位置に加算して、256 を越えた場合に画素入力部18にキャリービットＣを供給し、256 を越えた値を補間係数として内挿補間演算部16に供給する。図11の実施例では、補整値算出回路、つまり上記中心位置補整値算出部12を含み、画素端ではスイッチ144 が補整値算出回路12からの出力を加算器142 に与え、それ以降はフィードバック回路側に切り替えられて、補整値に等間隔の距離を表わすズーム倍率データが順次加算される。
【００３５】
図１に戻って内挿補間演算部16は、画素入力部18からの元画像の画素値に補間係数演算部14からの補間係数を乗算して、補間画素の値を演算する主演算回路であり、たとえば図13に示すように、引算回路162 と、乗算回路164 と、加算回路164 などから形成されている。すなわち、現画素の画素値をｂ、前画素の値をａとし、補間係数をｘとすると、求める補間画素の値ｙは、
y=a(1-x)+bx
=a-ax+bx
=a+(b-a)x
となる。したがって、図13に示すように(b-a) を演算する引算回路162 と、その演算結果に補間係数演算部14からの補間係数ｘを乗算する乗算回路164 と、その結果に前画素ａを加算する加算回路168 とにて補間画素の値ｙを演算して、これを出力する。
【００３６】
画素入力部18は、処理開始画素決定部10からの演算値および補間係数演算部14からのキャリービットｃに応動して、順次元画像の画素を読み出す画素読出回路であり、それぞれ読み出した画素を遅延させる遅延回路を含む。たとえば、図13に示すように読み出した画素ｂを内挿補間演算部16の引算回路162 に現画素として供給し、遅延回路182 にて遅延させた前回の画素ａを引算回路162 および加算回路164 に供給する。
【００３７】
以上のような構成の本実施例における電子ズーム処理装置の動作を以下に説明すると、まず、操作者がズーム倍率ｒを設定すると、処理開始画素決定部10にて元画像の画素数M,N およびズーム処理後の画素数m,n に基づいてカメラの撮像系またはフレームメモリなどからの元画像の読み出し開始画素の位置を決定して、画素入力部18に供給する。
【００３８】
たとえば、図５に示すように拡大処理を行なう場合、その水平走査方向において画素数M,m をそれぞれ640 として、ズーム倍率ｒ=1.31 とすると、処理開始画素の位置Rxは、

となる。また、垂直方向の画素数N,n を480 とすると、処理開始画素の垂直方向の位置Ryは、

となる。
【００３９】
これにより、処理開始画素決定部10は、その整数値(75,56) を画素入力部18に出力して、小数値(0.725,0.794) を中心補整値算出部12にそれぞれ出力する。
【００４０】
次に、処理開始画素決定部10から小数値(0.725,0.794) を受けた中心補整値算出部12は、これらに元画像の画素間距離256 を乗算して、求める最初の画素の補間係数として中心位置補整値を算出する。この場合、補整値は、まず、水平方向の0.725x256 ≒186 が演算されて、補間係数演算部14を介して内挿補間演算部16に供給される。
【００４１】
一方、整数値(75,56) を受けた画素入力部18では、まず、その画素を読み出して遅延回路182 に蓄積し、次いで、次の画素(76,56) を読み出して内挿補間演算部16に供給する。
【００４２】
処理開始画素Ｒを受けた内挿補間演算部16は、現画素ｂと遅延画素ａとを引算回路162 にて差をとり、乗算回路164 に出力する。次に、乗算回路164 では補間係数演算部14を介して受けた中心位置補整値ｘ=186を引算回路162 からの演算結果(b-a) に乗算して加算回路166 に供給する。これにより、加算回路166 では乗算回路164 の演算結果に遅延画素ａを加算して、{a+(b-a)x}となる画像端の画素の値が演算されて出力される。つまり、図９に示すように求める最初の画素Z1は、補整値186 の位置にて最初の画素Y1と次の画素Y2の間にて内挿補間演算されて出力される。
【００４３】
第１の補間画素Z1の値が演算されると、補間係数算出部14はその位置にズーム倍率ｒに基づいて算出される補間距離を算出して加算する。この場合は、256 ÷1.31=195を算出して、これを求めた画素の位置、つまり中心位置補整値186 に加算器142 にて加算して、195+186=381 を得る。この値は元画像の画素間距離256 を越えるので、加算器142 では画素入力部18にキャリービットＣを送って、381-256=125 を補間係数として内挿補間演算部16に供給する。
【００４４】
これにより、画素入力部18では３番目の画素ｃを読み出して、遅延画素ｂとともに内挿補間演算部16に供給する。内挿補間演算部16では上記と同様に画素b,c および補間係数k(=125) から{c+(b-c)k}の補間演算により、補間画素を求めて出力する。たとえば、図９に示す例では入力画素Y2,Y3 から補間係数125 にて第２の補間画素Z2が演算される。
【００４５】
以下同様に、求める画素間の距離195 を加算器142 にて前回の位置に加算して元画像の距離256 を越えると、画素入力部18にキャリービットＣを送り、そこで読み出された画素と遅延画素との値から順次その間の補間係数ｋを乗算して、補間画素を求めていく。たとえば３番目の求める画素Z3は、125+195=320-256=64の補間係数ｋにて、入力画素Y4と遅延画素Y3とから補間演算され、４番目の画素Z4は64+195=259-256=3の補間係数ｋにて入力画素Y5と遅延画素Y4とから補間演算される。特に、たとえば５番目の画素Z5は、3+195=198 の補間係数にて４番目の画素Z4と同一の入力画素Y5と遅延画素Y4とから補間演算されて元画像の画素より画素数が増加することになる。以上の動作を繰り返して、第１の走査線の最後の画素を求めると、次の走査線にて処理開始画素を(75,56+1) に進めて、再び画像端の中心位置補整を行なって、上記の動作を繰り返す。
【００４６】
以上の動作をそれぞれの水平走査線毎に繰り返し、水平方向の演算が終了すると、求めたそれぞれの水平走査線の画素から垂直方向の画素を上記と同様にして補間演算する。この場合も、画素端にて中心位置補整を行なって、順次垂直方向に補間演算される。たとえば図14に示すように、水平走査方向にて、入力画素(x1,y1) と(x2,y1) にて求められた画素z1と、次の走査ラインの入力画素(x1,y2) と(x2,y2) にて求められた画素z2から、さらにそれらの間にて中心位置補整が垂直方向に施された位置(x,y) にて補間演算されて、その画素が拡大または縮小された画素として出力される。
【００４７】
以上の動作例では、ズーム倍率ｒ=1.31 として拡大処理を施す場合を例に挙げて説明したが、たとえば図６および図７に示すように縮小する場合には、その処理開始画素Ｒおよび中心位置補整値は、次のようにして求められる。
【００４８】
図６では元画像を蓄積する、たとえばフレームメモリがM=640 ,N=480の場合であり、縮小画像の画素数ｍを500 として、ズーム倍率ｒを0.7 倍とすると、水平方向の処理開始画素の位置Rxは、

となる。この場合、 処理開始画素が元画像の外になるので、仮想的に実際の映像信号が入力される37クロック前から演算を開始して処理を進める。つまり、この場合、中心位置補整値算出部12と補間係数演算部14では、上記と同様に係数値を順次演算して、元画像の最初の画像が入力された時点にて補間画素演算部14にて実際の縮小画像の演算が実行されて出力されることになる。この結果、表示画面では縮小画像の周囲に所定の色の枠（破線）を施した状態にて表示するようにするとよい。
【００４９】
一方、図７では、640 ×480 の標準画面に1024×512 のフレームメモリに蓄積された画像を縮小して表示する場合の例が示されている。この場合、たとえば水平方向の処理開始画素の位置Rxは、ズーム倍率を0.66とすると、
Rx=(1024-640/0.66)/2
= 27.151
となり、処理開始画素27にて、中心位置補整値0.151x256=38を補整係数として演算が開始される。つまり、図６の例と異なり、メモリに入力画素が存在する。この場合の水平方向における演算位置の関係が図10に示されている。この図において、求める第１の画素Z1は、処理開始画素Y1とY2の間にて補整係数38を初期値として補間演算される。次の画素Z2は、画素Z1の位置に256/0.66=387の距離が加算されて、387+38=425-256=169を補間係数として入力画素Y2,Y3 から補間演算される。第３の画素Z3は、さらに、第２の画素Z2の位置に距離387 が加算されて169+387=556 となり、この場合、キャリービットが２回発生して、入力画素Y4,Y5 が読み出されて、それらの間にて補間演算された画素値が得られる。以下、同様に、１回または２回のキャリービットにて順次元画像から画素が間引かれた状態にて縮小画素が演算されていく。
【００５０】
以上のように本実施例における電子ズーム処理装置および電子ズーム処理方法では、処理開始画素Ｒを元画像の中心位置Ｓから求めて、その際に生じる中心ずれを、求める画像の画素端にて補整して、以降順次ズーム倍率から算出される等間隔の距離にて補間画素を演算していくので、求めたズーム画像に中心ずれが生じることなく、順次画素端から簡易にそれぞれの補間画素を求めていくことができる。つまり、一般的に知られている電子ズーム処理における画素位置決定方法では、元の画素間距離D0に対して、処理後の画素間距離をD1とすると、D0>D1 のときに拡大、D0<D1 のときに縮小とみることができる。画素位置の決定、すなわち補間係数の算出は、ズーム処理後の画素間距離D1を加算器により順次積算してゆき、その加算器の出力を利用する。ところで、ズーム処理開始位置は元の画像のサイズとズーム後の画像サイズおよびズーム倍率から算出されるが、読み出し開始位置は画像中心の位置を固定して計算すると、上述のように一般的には整数にならず、小数部分を含む値となる。本実施例はこの小数部分を画素位置決定時にオフセット値として加算あるいは減算することで画像全体の位置をずらすことで中心位置のずれ補正を可能としている。このオフセット値は、当然ながらズーム倍率によって変化する。したがって、連続的なズーミングを行なう場合は複数のオフセット値を連続的に与えて処理することとなり、複数のオフセット値は上記方法で与えられる。この結果、それぞれの画像の中心位置がずれることなく、画像の揺れなどが有効に防止される。
【００５１】
なお、上記実施例では、元画像を拡大または縮小する場合を例に挙げて説明したが、本発明では、たとえばビデオカメラなどでの手ぶれ補正装置などに適用してもよい。この場合、たとえば、角速度センサなどの手ぶれセンサを用い、そのセンサからの出力から画像の移動量を演算して求め、これをオフセット値として上記電子ズーム処理に与えて、元画像の画素間距離以上のダイナミックレンジを拡大した補整量として、故意に画像の位置をずらすように手ぶれ補正を行なうようにするとよい。
【００５２】
また、上記実施例では図２に示すようにカメラの撮像系からの映像信号を受けてバッファ110 に蓄積するように構成したが、本発明ではたとえば図３または図４に示すように撮像機器以外の処理装置に適用してもよい。この場合、図３では一般的な処理装置に適用された例であり、フィールドメモリまたはフレームメモリなどの記憶回路200 にビデオデッキまたはビデオカメラなどからの映像信号を蓄積して、このメモリ200 からの映像信号を順次上記ズーム処理装置100 に読み出してズーム処理し、再生装置などに拡大または縮小した画像として出力する。図４ではズーム処理した画像に、さらに反転、回転などの特殊処理を施して出力する場合に適用される構成であり、メモリ(A) 200 に一旦蓄積した画像を上記電子ズーム処理装置100 に順次読み出してズーム処理を施して、その画像を第２のメモリ(B) 300 の任意のアドレスに蓄積して画像の反転、回転などの特殊処理を施した状態にて蓄積し、順次読み出して出力するものである。
【００５３】
さらに、上記実施例では図11に示すように演算処理プロセッサCPU からの演算結果を補整値算出回路12に受けて、中心位置補整値を演算するようにしたが、本発明においては、たとえば図12に示すようにズーム倍率に応じてあらかじめ算出しておいた中心位置補整値をRAM,ROM などのメモリ120 に蓄積して、画像端の演算の際にズーム倍率データに応じて読み出し、画素端の補間演算を実行するようにしてもよい。
【００５４】
また、上記実施例では水平走査線の画素を補間処理した後に垂直走査方向の画素を補間演算するように処理したが、本発明では水平／垂直方向のいずれの方向から処理を開始してもよい。有利には、垂直方向の処理を先に実行することにより、メモリなどを節約できる場合がある。また、上記実施例では水平方向と垂直方向のズーム倍率ｒが同じ場合を例に挙げて説明したが、本発明ではズーム倍率は水平方向と垂直方向で異なっていてもよい。
【００５５】
さらに、上記実施例では内挿補間演算部16をハード的に構成した場合を例に挙げて説明したが、本発明ではたとえば図15に示すように画素補間演算をソフトウェアにて演算する論理演算回路160 にて構成してもよい。この場合、回路160 は現画素ｂおよび前画素ａさらに補間係数ｘを受けて、論理演算結果ｙ=a(1-x)+bxを出力する。
【００５６】
【発明の効果】
以上のように本発明における電子ズーム処理装置および電子ズーム処理方法によれば、画像端から順次補間演算する際に、処理開始画素を元画像の中心位置に対して求め、そのときの中心ずれを求める最初の画素に補整して補間演算を行なうようにしたので、ズーム処理を時間的に連続的に行なう場合に生じていた画像の中心位置のずれを連続的に補整することができる。これにより、画像が揺らいで見える現象を完全に取り除くことができ、安定した画像が得られる。また、この場合、画像撮影の際のぶれを角速度センサなどにて検出しておき、それより求められる移動量に基づいて画素位置を補整することにより、故意に中心位置をずらした画像が得られるため、手ぶれ補整処理装置などにも有効に応用が可能となるなどの効果がある。
【図面の簡単な説明】
【図１】本発明による電子ズーム処理方法が適用される電子ズーム処理装置の一実施例を示すブロック図である。
【図２】図１の実施例による電子ズーム処理装置が撮像機器に適用される場合の構成を示すブロック図である。
【図３】図１の実施例による電子ズーム処理装置が一般的な画像処理装置に適用される場合の構成を示すブロック図である。
【図４】図１の実施例による電子ズーム処理装置が特殊効果を施す画像処理装置に適用される場合の構成を示すブロック図である。
【図５】図１の実施例による電子ズーム処理装置にて処理開始位置を求める際の拡大処理例を示す図である。
【図６】図１の実施例による電子ズーム処理装置にて処理開始位置を求める際の縮小処理を示す図である。
【図７】図１の実施例による電子ズーム処理装置にて処理開始位置を求める際の縮小処理を示す図である。
【図８】図１の実施例による電子ズーム処理装置にて行なう中心位置補整を説明するための図である。
【図９】図１の実施例による電子ズーム処理装置にて拡大処理を行なう場合の水平方向の演算例を示す図である。
【図１０】図１の実施例による電子ズーム処理装置にて縮小処理を行なう場合の水平方向の演算例を示す図である。
【図１１】図１の実施例による電子ズーム処理装置の要部を示す構成図である。
【図１２】図12の実施例の他の例を示す構成図である。
【図１３】図１の実施例による電子ズーム処理装置の要部を示す構成図である。
【図１４】内挿補間演算を説明するための図である。
【図１５】図14の実施例の他の例を示す構成図である。
【符号の説明】
10 処理開始画素決定部
12 中心位置補整値算出部
14 補間係数演算部
16 内挿補間演算部
18 画素入力部
162 引算回路
164 乗算回路
166 加算回路
182 遅延回路

Claims (18)

1. 入力した映像信号を設定されたズーム倍率に応じてディジタル演算して、その映像信号にて表わされる画像を拡大または縮小処理する電子ズーム処理装置において、該処理装置は、
   入力した元画像の映像信号のうち、該元画像の中心画素に対するズーム処理を開始する画素の位置の算出に応じて得られる値を整数部および小数部に分けて、該整数部の値を処理開始の画素位置とし、該小数部の値を開始画素での中心画素に対する位置ずれとして求め、決定する処理画素決定手段と、
   該位置ずれの供給を受けて、これより前記元画像に対する中心位置補整値を算出する補整値算出手段と、
   該中心位置補整値を最初の画素の位置に加算して、該画素の位置に対して補整して、その補整位置での画素値を元画像の開始画素と次の画素の値から内挿補間演算により求め、該画素以降の画素の位置を倍率に応じた等しい間隔にて求めてそれぞれの画素値を順次対応する入力画素から内挿補間演算により求める画素値演算手段とを含むことを特徴とする電子ズーム処理装置。
2. 請求項１に記載の電子ズーム処理装置において、前記処理画素決定手段は、ズーム処理前の画像の中心画素の位置と処理開始画素の位置との差の２倍にズーム倍率を乗算して求まるズーム処理後の画素数の関係から処理開始画素の位置を逆算して、その結果の整数部を処理開始画素の位置として求めることを特徴とする電子ズーム処理装置。
3. 請求項２に記載の電子ズーム処理装置において、前記補整値算出手段は、供給される位置ずれを前記元画像の画素間距離に換算した値を中心位置補整値として算出することを特徴とする電子ズーム処理装置。
4. 請求項１に記載の電子ズーム処理装置において、前記画素値演算手段は、求める画素の位置を前回の画素の位置にズーム倍率に応じた等間隔の距離を順次加算して対応の元画像の画素間に対する位置を求めて、これを補間係数とする補間係数演算手段と、該補間係数手段にて求めた位置に対応する元画像の画素を順次遅延回路を介して入力する画素入力手段と、該画素入力手段からの現時点での画素と前記遅延回路からの遅延画素との値の差に前記補間係数を乗算して、該乗算結果と前記遅延画素の値を加算する補間画素値演算手段とを含むことを特徴とする電子ズーム処理装置。
5. 請求項４に記載の電子ズーム処理装置において、前記補間画素値演算手段は、前記現時点での画素と前記遅延画素との値の差をとる引算手段と、該引算手段の出力に前記補間係数演算手段からの補間係数を乗算する乗算手段と、該乗算手段の出力に前記遅延画素の値を加算する加算手段とを含むことを特徴とする電子ズーム処理装置。
6. 請求項５に記載の電子ズーム処理装置において、前記補間画素値演算手段の引算手段と、乗算手段と、加算手段とは、それぞれハード的な演算回路にて形成されていることを特徴とする電子ズーム処理装置。
7. 請求項５に記載の電子ズーム処理装置において、前記補間画素値演算手段の引算手段と、乗算手段と、加算手段とは、それぞれソフトウェアにて実現することを特徴とする電子ズーム処理装置。
8. 請求項４に記載の電子ズーム処理装置において、前記補間係数演算手段は、前回求めた画素の位置に等間隔の距離を加算して、その値が元画像の画素間距離を越えた際に、前記画素入力手段に元画像の次の画素を読み出す指示を与えることを特徴とする電子ズーム処理装置。
9. 請求項４に記載の電子ズーム処理装置において、前記補間係数演算手段は前記補整値算出手段に接続され、最初の画素の値を求める際に前記補整値算出手段からの中心位置補整値を前記補間画素値演算手段に供給してその画素値を求め、以降の画素を求める際に等間隔の距離にて求めた補間係数を前記補間画素値演算手段に供給して順次以降の画素を求めることを特徴とする電子ズーム処理装置。
10. 請求項９に記載の電子ズーム処理装置において、前記補整値算出手段にて算出された中心位置補整値は、ズーム倍率に対応してあらかじめ記憶手段に蓄積されて、前記補間画素値演算手段にて最初の画素値を補間演算する際に倍率データに応じて読み出されて該補間画素値演算手段に供給されることを特徴とする電子ズーム処理装置。
11. 入力した映像信号を設定されたズーム倍率に応じてディジタル演算して、その映像信号にて表わされる画像を拡大または縮小処理する電子ズーム処理方法において、該方法は、
    入力した元画像のそれぞれの画素に基づいて、求める画素を画像端から順次内挿補間演算にてディジタル演算して求める際に、
    入力した元画像の映像信号のうち、該元画像の中心画素に対するズーム処理を開始する画素の位置の算出に応じて得られる値を整数部および小数部に分けて、該整数部の値を処理開始の画素位置とし、該小数部の値を開始画素での中心画素に対する位置ずれとして求めて、決定する第１の工程と、
    該位置ずれの供給を受けて、これより前記元画像に対する中心位置補整値を算出する第２の工程と、
    該第２の工程にて求めた中心位置補整値を最初の画素の位置に加算して、該画素の位置に対して補整する第３の工程と、
    前記第１の工程にて決定された元画像の画素および次の画素を順次読み出す第４の工程と、
    前記第３の工程にて補整した位置での画素値を前記第４の工程にて読み出した元画像の開始画素と次の画素の値から内挿補間演算する第５の工程と、
    該第５の工程にて求めた画素以降の画素の位置を倍率に応じた等しい間隔にて求める第６の工程と、
    該第６の工程にて求めた位置に対応する元画像の画素を順次読み出す第７の工程と、
    該第７の工程にて読み出した入力画素から前記第６の工程による位置での画素値を順次内挿補間演算により求める第８の工程とを含むことを特徴とする電子ズーム処理方法。
12. 請求項11に記載の電子ズーム処理方法において、前記第１の工程は、ズーム処理前の画像の中心画素の位置と処理開始画素の位置との差の２倍にズーム倍率を乗算して求まるズーム処理後の画素数の関係から処理開始画素の位置を逆算して、その結果の整数部を処理開始画素の位置として求めることを特徴とする電子ズーム処理方法。
13. 請求項12に記載の電子ズーム処理方法において、第２の工程は、供給される位置ずれを前記元画像の画素間距離に換算して中心位置補整値を算出することを特徴とする電子ズーム処理方法。
14. 請求項12に記載の電子ズーム処理方法において、前記第４の工程および第７の工程は、読み出された元画像のそれぞれの画素を遅延させて現時点の画素と遅延画素とを順次対応の求める画素に対して出力することを特徴とする電子ズーム処理方法。
15. 請求項14に記載の電子ズーム処理方法において、第５の工程は、第４の工程から処理開始画素を前記遅延画素として受け、その次の画素を前記現時点での画素として受け、それらの値の差をとり、その結果に第３の工程にて中心位置補整が施された位置での補間係数を乗算し、該乗算結果に前記現画素の値を加算して、画像端の補間画素の値を演算することを特徴とする電子ズーム処理方法。
16. 請求項14に記載の電子ズーム処理方法において、第８の工程は、第７の工程から処理開始画素を前記現時点での画素と前記遅延画素との値の差をとり、その結果に第６の工程にて算出された補間係数を乗算し、該乗算結果に前記遅延画素の値を加算して、補間画素の値を演算することを特徴とする電子ズーム処理方法。
17. 請求項14に記載の電子ズーム処理方法において、前記第７の工程は、前記第６の工程にて前回求めた画素の位置に等間隔の距離を加算してその値が元画像の画素間距離を越えた際に、前記第７の工程にて元画像の次の画素を順次読み出すことを特徴とする電子ズーム処理方法。
18. 請求項12に記載の電子ズーム処理方法において、前記第２の工程にて算出された中心位置補整値は、ズーム倍率に対応してあらかじめ蓄積されて、最初の画素値を補間演算する際に倍率データに応じて読み出されることを特徴とする電子ズーム処理方法。

Images