JPH0974524A

JPH0974524A - 画像入力装置

Info

Publication number: JPH0974524A
Application number: JP8062727A
Authority: JP
Inventors: Hideo Okada; 英生岡田; Toru Okuda; 徹奥田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1995-07-05
Filing date: 1996-03-19
Publication date: 1997-03-18
Also published as: US5969757A

Abstract

(57)【要約】【課題】第１解像度と、イメージシフト手段を用いて
解像度を高めた第２解像度で画像入力が可能な画像入力
装置で、モアレ除去を可能とし、しかも消費電力を低く
抑える。【解決手段】屈折板１２を圧電素子１４によって傾斜
させ、固体撮像素子１３に入射する位置をずらすことが
できる。このようなイメージシフトによって位置をずら
した画像を合成すれば、解像度の高い第２解像度の画像
を得ることができる。イメージシフトを行わない通常の
第１解像度の画像入力時には、固体撮像素子１３に入力
される光路Ｚ’を微小に高速で振動させ、等価的に固体
撮像素子１３に入力される画像の解像度を下げることに
よってモアレ除去を行うことができる。モアレ除去手段
１９の動作は、モアレ検出手段１８がモアレ有と判断し
たときに行うので、モアレが無いときにはモアレ除去手
段１９を動作させる必要がなく、消費電力の低減を図る
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、固体撮像素子を用
いる画像入力装置、特に解像度の異なる複数の画像を得
るためにイメージシフト機構を備える画像入力装置の改
善に関する。

【０００２】

【従来の技術】従来から、画像入力装置の撮像素子とし
て、ＣＣＤなどの固体撮像素子が広く用いられている。
固体撮像素子の解像度は、基本的にその撮像面の画素数
でほぼ決定される。したがって、高い解像度を得るため
には、画素数を増加させればよいけれども、画素数を多
くすることについては、現状では技術的、コスト的にあ
る程度の限界がある。そこで、従来から、限られた画素
数の固体撮像素子を用いて、比較的高い解像度の画像が
得られるようにする技術として、たとえば特開昭６０−
５４５７６号公報に開示されているようなイメージシフ
ト機構を用いる方法が提案されている。近年では、イメ
ージシフト機構を使用する撮像装置で、異なる２種類以
上の画像、すなわちイメージシフト法を使って解像度を
向上させた画像と本来のＣＣＤの有する解像度の画像と
を得る画像入力装置が提案されている。先行技術として
は、たとえば特開平３−２３１５８９号公報や特開平３
−２２６０７８号公報などがある。

【０００３】図１７は、２種類の異なる解像度の画像を
得ることができる画像入力装置の構成の一例を示す。光
軸Ｚに沿って、光学系１、屈折板２、空間フィルタ３お
よび固体撮像素子４が配置される。屈折板２は、たとえ
ば圧電素子５などのアクチュエータによって、実線で示
す光軸Ｚに表面が垂直な状態から、光軸Ｚに対して傾斜
する仮想線で示す状態まで変位可能である。圧電素子５
の駆動は、圧電素子駆動回路６によって行われる。固体
撮像素子４によって撮像された画像は、電気信号に変換
され、画像処理回路７で画像情報として取出される。制
御回路８は、画像処理回路７からの画像情報に従って、
圧電素子駆動回路６を制御し、圧電素子５による屈折板
２の変位によって、光軸Ｚを仮想線で示す光路Ｚ′にず
らす。イメージシフトによる光路のずれは、固体撮像素
子４の画素配列ピッチのたとえば１／２になるように設
定される。このようなイメージシフト機構については、
前述の特開昭６０−５４５７６号公報で詳しく説明され
ている。

【０００４】図１７の画像による装置では、イメージシ
フトを行わない場合に、第１の解像度として、固体撮像
素子４本来の解像度である通常解像度の画像を入力す
る。制御回路８は、図示を省略したコントローラから通
常解像度の入力モードであることを表す信号を受ける
と、圧電素子駆動回路６に動作停止を指示し、圧電素子
５を所定の位置に停止させる。圧電素子５の所定の位置
は、屈折板２が傾斜することなく、光軸Ｚがずれない位
置である。空間フィルタ３は、入射された被写体からの
画像に対して、次の固体撮像素子４でモアレとなる空間
周波数がナイキスト周波数以上の高域成分をカットする
ように働く。固体撮像素子４に入射される画像による出
力信号は、画像処理回路７でアナログ／デジタル変換や
ガンマ補正等を加えられ、通常解像度の画像信号として
得られる。画像の出力手段としては、動画として出力す
る場合は陰極線管（略称「ＣＲＴ」と略称する）、静止
画として出力する場合は画像メモリ等を使用する。いず
れの場合においても、これらの処理技術は既に広く知ら
れている技術を用いることができる。なお動画像とは、
静止画像を時間的に継続して形成される画像を意味し、
典型的な例としてはビデオカメラ等から得られる画像が
ある。

【０００５】次にイメージシフトを使用することによっ
て、第１の解像度よりも解像度の高い第２の解像度を有
する画像を入力するときの動作について説明する。制御
回路８は、図示を省略したコントローラから高解像度の
画像の入力モードであることを表す信号を受けると、圧
電素子駆動回路６にイメージシフト動作を行うように指
示する。圧電素子駆動回路６は、その指示に従って圧電
素子５を駆動し、屈折板２を実線で示す状態と仮想線で
示す状態とに交互に変位させ、仮想線で示す状態で光軸
Ｚを光路Ｚ′にずらすイメージシフトの動作を行う。画
像処理回路７は、イメージシフトによって得られた複数
の画像をＡ／Ｄ変換やガンマ補正等を行い、画像メモリ
上で合成して解像度の高い第２の解像度を有する画像を
得る。なお画像の合成方法については、たとえば特開昭
６３−２８４９８０号公報に詳しく説明されている。

【０００６】空間フィルタ３は、通常解像度の画像の入
力時において固体撮像素子４の入力画像のサンプリング
に起因するモアレを除去するように、入力画像の高域の
成分をカットする。特開平４−２３６５８５号公報に
は、空間フィルタ３を通過することができる空間周波数
を通常解像度の画像入力時には低く、高解像度の画像入
力時には高くするように変化し、空間フィルタ３の透過
特性を可変にしてモアレの除去と高解像度化とを両立さ
せる光学的ローパスフィルタの考え方が開示されてい
る。また特開平３−２２６０７８号公報には２種類の空
間フィルタを交換可能にしておき、通常解像度の画像の
入力時はカットオフの低い空間フィルタを配置し、高解
像度の画像の入力時にはカットオフの高い空間フィルタ
を配置するように構成した先行技術が開示されている。
また、特公平１−３５５５０号公報には、空間フィルタ
３を用いずに、静止画像の入力はイメージシフト法を使
用し、高解像度の静止画像を得る一方、通常解像度の画
像の入力時においてはモアレを除去するように屈折板２
を高速で振動させ、一時的に固体撮像素子４の開口を広
げ、通常解像度の画像を得る方法が開示されている。

【０００７】

【発明が解決しようとする課題】高解像度の画像入力と
モアレの除去とを併せて行う先行技術のうち、特開平４
−２３６５８５号公報のような空間フィルタ３の透過特
性を可変にしておく手法は、空間フィルタ３の構成が複
雑となり、製造コストが高くなってしまう欠点がある。
特開平３−２２６０７８号公報のように２種類の空間フ
ィルタ３を交換可能に構成しておく先行技術は、空間フ
ィルタ３を切換えるための機構を必要とし、画像入力装
置が大形になり、また製造コストも高くなってしまう欠
点がある。静止画入力時には空間フィルタ３を用いずに
イメージシフト法を使用し、通常解像度の画像の入力時
にモアレを除去するように屈折板２を高速で振動させる
手法では、通常解像度の画像入力時に本来モアレが発生
しない被写体を撮像しているときにおいても、常に屈折
板２を駆動する必要があるので、消費電力が高くなり、
特に固体撮像素子を携帯用に用いる場合には電池の消耗
が早まるので不向きである。

【０００８】本発明の目的は、以上説明した先行技術の
有する問題点や欠点に鑑み、小形かつ安価な構成で通常
解像度の画像と高解像度の画像とが得られ、かつ消費電
力を低く抑えることができて携帯用に適する画像入力装
置を提供することである。さらに本発明の目的は、イメ
ージシフト機構を用いてモアレを除去することができる
最適な構成を提供することである。

【０００９】

【課題を解決するための手段】本発明は、被写体からの
入射光を集光する光学系と、固体撮像素子と、固体撮像
素子へ入射する光路をずらすイメージシフト手段とを備
え、第１の解像度を有する画像と、イメージシフト手段
を用いて所定量イメージシフトされた複数枚の画像を合
成して第１の解像度よりも高い第２の解像度を有する画
像とを得ることができる画像入力装置において、入射さ
れた画像に従って固体撮像素子に入力される画像情報中
から、モアレの有無を検出するモアレ検出手段と、画像
情報中からモアレに対応する画像情報を除去するモアレ
除去手段と、第１の解像度を有する画像の入力時に、モ
アレ検出手段の出力に応答し、モアレの有または無に従
ってモアレ除去手段をそれぞれ動作または停止させる制
御手段とを含むことを特徴とする画像入力装置である。
本発明に従えば、第１解像度および第１解像度より高解
像度の第２解像度の２種類の画像が入力可能であり、第
１解像度の画像入力時にはモアレ除去手段を用いてモア
レの除去が可能である。モアレの除去のために空間フィ
ルタを用いないので、安価な画像入力装置を得ることが
できる。モアレ検出手段によってモアレが検出されると
きにのみモアレ除去手段を動作させるので、消費電力を
低減することができる。

【００１０】また本発明で、前記第１の解像度を有する
画像は動画像であることを特徴とする。本発明に従え
ば、第１の解像度の画像として動画像を入力する際に、
モアレ検出手段がモアレ有を検出するときにはモアレ除
去手段によってモアレに対応する画像情報を除去するの
で、画質のよい動画像を得ることができる。第２解像度
の画像の方は、複数枚の画像を撮像して合成するので、
動画像ではなく、静止画として高解像度で画像を入力す
ることができる。

【００１１】また本発明で、前記モアレ検出手段は、前
記モアレ除去手段を動作させて得られた画像情報とモア
レ除去手段を動作させずに得られた画像情報とを比較す
る比較手段と、比較手段からの出力に応答して、比較に
よる差が所定量より大きい場合にモアレの発生の有を、
また比較による差が所定量より小さい場合にモアレの発
生の無を表す信号をそれぞれ出力する判定手段とを備え
ることを特徴とする。本発明に従えば、モアレ除去手段
の動作の有無による画像情報の差を比較する。差が大き
ければモアレが発生している。差の所定値との比較から
モアレの発生の有無を検出するので、画像情報を利用し
て容易にモアレの検出を行うことができる。

【００１２】また本発明で前記モアレ検出手段は、第１
の解像度の画像情報と第２の解像度の画像情報とを比較
する比較手段と、比較手段からの出力に応答して、比較
による差が所定量より大きい場合にモアレの発生の有
を、また差が所定量より小さい場合にモアレの発生の無
を表す信号をそれぞれ出力する判定手段とを備えること
を特徴とする。本発明に従えば、第１解像度の画像情報
と第２解像度の画像情報との比較によってモアレの有無
を判定する。解像度の違いによってモアレの程度も異な
るので、差が大きいときはモアレが発生していると判定
することができる。解像度による差で判定するので、モ
アレの検出を電気的に迅速に行うことができる。

【００１３】また本発明で前記比較手段は、第１解像度
の画像を画素毎に補間して、画素数が第２の解像度の画
素数と一致する状態で低域成分を比較することを特徴と
する。本発明に従えば、高解像度の画像情報で画素毎に
比較し、差を積算した結果に従ってモアレを検出するこ
とができる。

【００１４】また本発明で前記モアレ検出手段は、第２
の解像度の画像情報の高域成分を抽出する高域抽出手段
と、高域抽出手段の出力が所定量より大きい場合にモア
レの発生の有を、また出力が所定量より小さい場合にモ
アレの発生の無を示す信号をそれぞれ出力する判定手段
とを備えることを特徴とする。本発明に従えば、モアレ
の発生は入力画像中に固体撮像素子の画素配列ピッチの
２倍以内の高域成分が含まれるために生ずるので、高解
像度の画像中のモアレの検出を、高域成分を抽出するこ
とによって容易に行うことができる。

【００１５】また本発明で前記モアレ検出手段は、画像
情報を信号処理により高速フーリエ変換処理して、周波
数成分の比較を行うことを特徴とする。本発明に従え
ば、画像情報からの周波数成分の抽出を高速フーリエ変
換によって行うので、デジタル信号処理として周波数帯
域の変更などを容易に行うことができ、モアレ除去の調
整を容易に行うことができる。

【００１６】また本発明で前記モアレ検出手段は、画像
入力装置の撮影シーンを判断し、撮影シーンの切換わり
直後に前記モアレ除去手段を動作させることを特徴とす
る。本発明に従えば、モアレ検出手段の動作時におい
て、入力画像の一時停止する影響を低減することが可能
となる。

【００１７】さらに本発明は、被写体からの入射光を集
光する光学系と、固体撮像素子と、固体撮像素子に入射
する光路をずらすイメージシフト手段とを備える画像入
力装置において、所定の時間を隔てて固体撮像素子に入
力された少なくとも２画面分の画像情報から、動きベク
トルを演算する動きベクトル演算手段と、画像情報中か
らモアレに対応する画像情報を除去するモアレ除去手段
と、画像の入力時に、動きベクトル演算手段により演算
された動きベクトルに応じて、動きベクトルが所定量よ
り小さい場合はモアレ除去手段を動作させ、動きベクト
ルが所定量より大きい場合はモアレ除去手段を停止させ
る制御手段とを含むことを特徴とする画像入力装置であ
る。本発明に従えば、固体撮像素子に入力される少なく
とも２画面分の画像情報から、動きベクトル演算手段が
動きベクトルを演算し、演算された動きベクトルの所定
量より小さい場合にモアレ除去手段を動作させ、動きベ
クトルが所定量より小さい場合はモアレが目立つのでモ
アレ除去手段を動作させてモアレを除去する。動きベク
トルが所定量より大きい場合は、モアレが目立たず、モ
アレ除去を行わないので、消費電力の低減を図ることが
できる。

【００１８】さらに本発明は、被写体からの入射光を集
光する光学系と、固体撮像素子と、固体撮像素子に入射
する光路をずらすイメージシフト手段とを備える画像入
力装置において、画像入力装置の移動を検出する移動検
出手段と、画像情報中からモアレに対応する画像情報を
除去するモアレ除去手段と、画像の入力時に移動検出手
段の出力に応答して、画像入力装置の移動が所定量より
小さい場合はモアレ除去手段を動作させ、画像入力装置
の移動が所定量より大きい場合はモアレ除去手段を停止
させる制御手段とを含むことを特徴とする画像入力装置
である。本発明に従えば、移動検出手段が画像入力装置
の移動を検出し、移動が所定量より小さい場合はモアレ
が目立つので、モアレ除去手段を動作させてモアレを除
去する。移動が所定量より大きい場合は、画像にモアレ
が存在してもあまり目立たないので、モアレ除去手段を
停止させて消費電力の低減を図ることができる。また、
画像情報をモアレ除去の判断のために用いていないの
で、除去の判断を画像情報に影響を与えることなく行う
ことができる。

【００１９】また本発明で前記入力される画像は動画像
であることを特徴とする。本発明に従えば、撮像素子に
入力される画像が動画像であるので、画像の解像度より
も動きが重要であり、モアレ除去手段を用いてモアレを
除去し、高画質の動画像を得ることができる。

【００２０】また本発明で前記モアレ除去手段は、イメ
ージシフト手段を用いて、固体撮像素子に入力される光
路を微小に高速で振動させ、等価的に固体撮像素子に入
力される画像の解像度を下げることによってモアレ除去
を行い、イメージシフトの動作の駆動周期ｔ’が固体撮
像素子の蓄積時間をｔとするとき、ｔ’＝ｔ／２ⁿ （ｎは０以上の整数）で表される関係式に従うように、イメージシフト手段を
動作させることを特徴とする。本発明に従えば、モアレ
の除去をイメージシフト手段を用いて行う。イメージシ
フトの動作の駆動周期ｔ’を、固体撮像素子の蓄積時間
ｔを基準に、その２ⁿ分の１となるように設定する。固
体撮像素子に入力される光路を微小に高速で振動させ、
等価的に固体撮像素子へ入力される画像の解像度を下げ
ることによって行うことができる。

【００２１】また本発明で前記モアレ除去手段は、イメ
ージシフト手段を用いて、固体撮像素子に入力される光
路を微小に高速で振動させ、等価的に固体撮像素子に入
力される画像の解像度を下げることによってモアレ除去
を行い、イメージシフトの動作の駆動周期ｔ’が固体撮
像素子の蓄積の周期をｔとするとき、ｔ’＝２ｔ／２ⁿ （ｎは０以上の整数）で表される関係式に従って動作させて、固体撮像素子の
蓄積時間の中間においてイメージシフトの反転動作が１
回行われるように、イメージシフト手段を動作させるこ
とを特徴とする。本発明に従えば、固体撮像素子の各画
素の開口を疑似的に大きくすることによるイメージシフ
トによるモアレの除去を、デューティ比が５０％の状態
で効果的にかつ連続駆動で行うことができるので、モア
レ除去に要する消費電力を低減することができる。

【００２２】また本発明で前記モアレ除去手段は、イメ
ージシフト手段を用いて、固体撮像素子に入力される光
路を微小に高速で振動させ、等価的に固体撮像素子に入
力される画像の解像度を下げることによってモアレ除去
を行い、イメージシフトの動作の駆動周波数をイメージ
シフト手段の可動部の共振周波数に一致させることを特
徴とする。本発明に従えば、イメージシフト手段の可動
部の共振周波数に一致させてイメージシフト手段を動作
させ、モアレの除去を行うので、イメージシフト手段を
駆動するのに必要な電力が最小限となり、電力消費を最
小限度に抑えることが可能となる。

【００２３】また本発明で前記モアレ除去手段は、イメ
ージシフトする距離が固体撮像素子のイメージシフト方
向の画素配列ピッチの０．２５〜１倍の範囲内となるよ
うに、イメージシフト手段を動作させることを特徴とす
る。本発明に従えば、イメージシフト手段の動作による
モアレ除去を、解像度に影響を与えない程度で適確に行
うことができる。

【００２４】

【発明の実施の形態】図１は、本発明の実施の一形態に
よる画像入力装置の主要部分の電気的構成を示す。コン
トローラ１０は、動作モードの切換えを制御する。光軸
Ｚに沿って、光学系１１、屈折板１２および固体撮像素
子１３が配置され、屈折板１２は圧電素子１４によって
仮想線で示すように傾斜する変位が可能である。光学系
１１は、被写体からの入射光を収束させるレンズなどを
含む。屈折板１２は、ガラスなどの透明な材料から成
り、平板状である。固体撮像素子１３は、その撮像面に
たとえば７６８×４９２ピクセル、すなわち約３８万画
素が配列されているＣＣＤ撮像素子である。圧電素子１
４は、圧電素子駆動回路１５によって電気的に駆動さ
れ、屈折板１２を実線で示す光軸Ｚに垂直な状態から仮
想線で示す傾斜した状態まで変位駆動することができ
る。屈折板１２が傾斜すると、光路Ｚ’は破線で示すよ
うにずれる。固体撮像素子１３に入射する光路Ｚ’がず
れると、イメージシフトが行われる。固体撮像素子１３
に入射した画像を表す電気信号は、画像処理回路１６に
入力されて、Ａ／Ｄ変換やガンマ補正等の処理が施さ
れ、図示を省略した画像メモリ等に記憶される。制御回
路１７は、コントローラ１０からの指示に従って動作す
る。

【００２５】制御回路１７は、通常解像度の画像入力時
と高解像度の画像入力時とでは動作が異なる。図１に
は、通常解像度の画像入力時に必要な構成を示す。制御
回路１７にはモアレ検出手段１８とモアレ除去手段１９
とを含む。画像処理回路１６から出力される画像信号２
０を画像メモリに記憶すると、通常解像度の画像を静止
画として記憶させることができる。ビデオカメラのよう
な連続した画像を得る動画像を入力する場合は、一般的
な手法によってビデオ信号としてＣＲＴなどの表示装置
に画像信号２０を表示するようにすればよい。また通常
動作としてビデオカメラによる動画像を入力しながら、
静止画像を得たい場合は、高解像度の画像入力モードに
するといったような使い方も可能となる。

【００２６】本実施形態の画像入力装置では、高解像度
の画像入力時に、屈折板１２によるイメージシフト動作
を行う。制御手段１７は光軸Ｚからの光路Ｚ’のずれ量
が固体撮像素子１３の画素ピッチの１／２になるよう
に、圧電素子駆動回路１５に制御信号を出力する。固体
撮像素子１３の画素ピッチの１／２ずつずれた２枚の画
像を合成すると、その画素の配列方向の解像度が２倍に
なる高解像度の画像を得ることができる。このようなイ
メージシフトによる画像の合成方法については、たとえ
ば特開昭６３−２８４９８０号公報の第３頁〜第４頁に
詳しく説明されている。なおこの例では、１軸方向のイ
メージシフトであるけれども、イメージシフトする方向
を２軸方向にすることによって、固体撮像素子１３の解
像度を水平および垂直の両方向についてともに高めるこ
ともできる。

【００２７】図２は、通常解像度の画像入力時の動作を
示す。ステップＡ１で、制御回路１７はコントローラ１
０から通常解像度入力モードを示す制御信号を受け、通
常解像度画像入力動作を開始する。通常解像度画像入力
開始状態では、まず圧電素子駆動回路１５に、イメージ
シフト動作停止を指示し、圧電素子１４を所定の位置に
停止させる。圧電素子１４の所定位置では、屈折板１２
は傾斜しないで、光軸Ｚに対してその表面がほぼ垂直な
状態となり、イメージシフトは行われない。固体撮像素
子１３で撮像された画像は、画像処理装置１６でＡ／Ｄ
変換やガンマ補正等の処理を受け、画像信号２０として
図示を省略した次段の画像メモリ等へ出力される。次に
ステップＡ２では、前回のモアレ検出からの経過時間を
判断し、所定時間経過した場合はステップＡ３に進む。

【００２８】ステップＡ３では、モアレ除去の動作中か
否かを判断する。モアレ除去の動作中であれば、モアレ
除去動作が所定時間経過したのでステップＡ４に進み、
モアレ除去動作を停止する。ステップＡ３でモアレ除去
動作中でないと判断されるとき、またはステップＡ４が
終了すると、ステップＡ５でモアレ検出手段１８による
モアレ検出動作を行う。モアレ検出手段１８についての
動作の詳細は後述する。次にステップＡ６では、モアレ
検出手段１８のモアレ検出結果に基づき、モアレの発生
の有無を判断する。モアレ有と判断されるときには、ス
テップＡ７でモアレ除去手段１９の動作を開始させ、モ
アレが除去されるように動作する。ステップＡ６でモア
レ有と判断されないとき、またはステップＡ２で所定時
間が経過していないと判断されるとき、さらにはステッ
プＡ７でモアレ除去動作が開始した後は、ステップＡ８
で通常解像度の画像の入力モードが終了か否かを判断す
る。終了していないと判断されるときにはステップＡ２
に戻って、通常解像度の画像の取込み動作を繰返す。ス
テップＡ８で終了と判断されるときには、ステップＡ９
で通常解像度画像入力動作を終了する。

【００２９】なおステップＡ２で、モアレ除去動作が所
定時間以上経過しているか否かを判断するのは、一旦モ
アレが検出された場合、撮像している画像が急に変化す
る場合以外に連続的にモアレを検出する必要がないため
である。すなわち本実施形態でのモアレの検出は、所定
時間間隔で行えばよい。以上説明したような動作によっ
て、モアレの発生の有無に応じてモアレの除去の動作ま
たは停止が行われ、不必要なモアレ除去の動作を行わな
いので消費電力を少なくすることができる。

【００３０】また本実施形態では、モアレの検出を定期
的に行うので、通常の解像度の画像として動画像を撮像
している際には、撮像中にモアレ検出のための動作が入
り、動画像が一次的に停止することになる。この停止は
ほんの僅かであり、通常の使用状態の場合まず問題とは
ならない程度である。

【００３１】図３は、動画像でモアレ検出のための動作
が入るために動画像が一時的に停止する影響を、さらに
少なくするための動作を示す。図３に示す動作で、図２
に示す動作と対応するステップには同一の符号を付し、
詳細な説明は省略する。ステップＡ１から通常解像度画
像入力動作が開始し、ステップａ２で撮像される動画の
場面であるシーンが切換えられるか否かを判断する。撮
像シーンの切換えについての詳細は後述する。ステップ
ａ２でシーンの切換えが終了したと判断されるときに
は、ステップＡ３に移る。撮影シーンの切換えが終了し
ていないと判断されるときには、ステップＡ８に移る。
すなわち、シーンの切換動作中またはシーンの切換えが
ないと判断されるときには、モアレの検出は行わず、モ
アレの除去も行わない。撮影シーンの切換えは、画像の
切換わる節目を意味するので、この節目でモアレ検出お
よびモアレ除去の処理を行って動画像が一時的に停止し
ても違和感は生じない。撮影シーンの切換えは、具体的
にはビデオカメラなどの撮像ボタンまたは録画装置の録
画ボタンなどの操作によって画像の入力が開始されたと
きや、ビデオカメラのズーム機構が動作し、その動作が
終了したとき、撮像装置が撮像方向を変えるパン動作を
行い、その動作が停止したとき、画像が突然に変化した
とき、絞りやシャッタースピードやＣＣＤの蓄積モード
等の撮像条件に変化があったとき、などに行われ、いず
れもソフトウエアで検出または独自に判断することがで
きる。このような撮影シーンの切換えと、図２に示すよ
うな定期的なモアレの検出とを組合わせ、撮影シーンの
切換え後の所定時間はモアレ除去動作を行わないように
することも可能である。

【００３２】図４は、図２および図４のステップＡ５に
おけるモアレ検出のための構成を示す。モアレ検出が開
始されると、まず１フレーム分の画像信号２０をモアレ
除去手段１９を動作させて（２０ａ）、固体撮像素子１
３に入力し、固体撮像素子１３の撮像面の７６８×４９
２ピクセル分の画像信号が記憶可能な画像メモリ２１に
記憶される。次に、次の１フレーム分の画像信号２０は
上記モアレ除去手段１９を動作させずに（２０ｂ）、固
体撮像素子１３に入力し、固体撮像素子１３の７６８×
４９２ピクセル分の画像信号が記憶可能な別の画像メモ
リ２２に記憶される。画像メモリ２１，２２の記憶内容
は、比較手段２６によって各画素毎に比較され、その差
異が算出される。判定手段２７は、１フレーム分積算さ
れた差異が所定の値以上であるか否かでモアレ発生の有
無を判定し、判定結果を表す信号を導出する。モアレ除
去動作有２０ａとモアレ除去動作無２０ｂとで差があれ
ば、モアレの発生が有ると認識することができるからで
ある。

【００３３】図５は、モアレ検出の他の例を示す。１フ
レーム分の画像信号２０は、７６８×４８２ピクセルの
画像信号を記憶可能な画像メモリ２１に記憶される。次
に圧電素子駆動回路１５を作動させて、圧電素子１４に
所定の信号を与え、屈折板１２を傾斜させて固体撮像素
子１３の画素配列の水平方向に光軸をずらしてイメージ
シフトを行わせる。このイメージシフトの量は、固体撮
像素子１３の水平方向の画素ピッチの１／２に相当する
量とする。この状態で２フレーム目の画像信号２０が入
力され、７６８×４９２ピクセルの画像信号として別の
画像メモリ２２に記憶される。画像メモリ２１，２２の
記憶内容は、水平方向に１／２画素分ずれた画素とし
て、１５３６×４９２ピクセルの記憶容量を有する画像
メモリ２３で合成される。この画像の合成は、イメージ
シフトによって第２の解像度の画像である高解像度の画
像を得る方法と同一手法による。

【００３４】この後、画像メモリ２３の記憶内容を読出
して、低域濾波器（以下「ＬＰＦ」と略称する）２４で
高域カットを行う。画像メモリ２２の記憶内容は、補間
手段２５によって画像メモリ２３の記憶内容と同一のピ
クセル数となるように補間され、比較手段２６でＬＰＦ
２４の出力とともに画素毎に比較される。各画素毎の差
は、１フレーム分積算され、積算された差異が所定値以
上であるか否かでモアレ発生の有無を判定手段２７によ
って判定する。補間手段２５による補間では、たとえば
水平方向の画素間で、両側の画素についての画像出力の
平均を中間の画素の画像出力として補間する一般的な一
次補間や、常に一方の画像出力と同一の画像出力とする
ような０次補間の方法が考えられる。なお水平方向にイ
メージシフトして高解像度の画像信号を画像メモリ２３
に記憶させているけれども、垂直、または水平および垂
直の両方向にイメージシフトすることによって、高解像
度の画像を得ることもできる。画像メモリ２３に記憶す
る画素の配列は、イメージシフトの方式に合わせるよう
にする。

【００３５】図５の構成によってモアレ検出が行われる
原理は、一般的にモアレは固体撮像素子１３の画素によ
る空間サンプリング周波数に一致した空間周波数を有す
る画像の部分で最も目立つことに基づく。一方固体撮像
素子１３の画素配列ピッチの１／２だけイメージシフト
させた画像も同じくモアレが発生するけれども、この画
像におけるモアレ画像とイメージシフトさせない画像の
モアレ画像とは逆位相の関係となり、これら画像を合成
した画像ではモアレ画像が打消される。したがって、こ
れらの合成画像、すなわち高解像度の画像である画像メ
モリ２３の記憶内容と、合成前の画像である画像メモリ
２１，２２との差はモアレの程度を表す。なお合成画像
には、合成前の画像に対して高域の画像成分も含まれて
おり、またより高域でのモアレの発生も有るので、比較
手段２６による比較にあたっては、ＬＰＦ２４によって
高域カットの処理を施しておく必要がある。画像メモリ
２１，２２，２３の記憶内容を読出した信号について、
デジタル信号処理として高速フーリエ変換（以下「ＦＦ
Ｔ」と略称する）を行い、最もモアレの目立つ空間周波
数でのパワーの比較を行うようにすることも可能であ
る。

【００３６】図６は、モアレ検出についてのさらに他の
構成を示す。モアレ検出のためにまず１フレーム分の画
像信号２０が入力され、７６８×４９２ピクセルの画像
メモリ２１に記憶される。次に圧電素子駆動回路１５を
作動させて圧電素子１４を所定の出力で駆動し、屈折板
１２が傾斜して固体撮像素子１３の画素配列の水平方向
にイメージシフトを行う。このイメージシフトの量は、
固体撮像素子１３の水平方向の画素配列ピッチの１／２
に相当させる。この状態で２フレーム目の画像信号２０
を、別の画像メモリ２２に入力させる。画像メモリ２２
も７６８×４９２ピクセルの画像信号を記憶可能であ
る。次に画像メモリ２１，２２の各画素の記憶内容を、
画素の配列に注意して合成し、１５３６×４９２ピクセ
ルの画像信号が記憶可能な画像メモリ２３に記憶させ
る。このような手法は、イメージシフトによって第２の
解像度の画像である高解像度の画像を得る方法と同一で
ある。次に画像メモリ２３の記憶内容を読出して、高域
濾波器（以下「ＨＰＦ」と略称する）２８により低域カ
ットを行う。その後各画素についての輝度の値の総和を
演算手段２９によって演算し、演算された総和が所定の
値以上であるか否かでモアレ発生の有無を判定手段３０
によって判定し、判定結果を表す信号を導出する。

【００３７】図６の構成の場合も、イメージシフトの方
向は水平方向ばかりではなく、垂直または水平と垂直の
両方にイメージシフトするようにして、さらに高解像度
の画像を得ることもできる。シフト方向が異なる場合に
は、画像メモリ２３における画素に対応する配列もイメ
ージシフトに合わせて変更する。本方式の原理は、モア
レが発生するのは入力画像に固体撮像素子１３の画素ピ
ッチの２倍以内の周期を有する高域成分の情報があるた
めであり、イメージシフトによって高解像度の画像の高
域成分である画素ピッチの２倍以内の周期の成分を検出
すれば、通常解像度の画像のモアレの程度の予測が可能
となることに基づく。ＨＰＦ２８および演算手段２９に
よる処理の代わりに、デジタル信号処理としてＦＦＴ処
理を画像メモリ２３の記憶内容を読出して施し、高い空
間周波数でのパワーの大小を比較してモアレの有無の判
定を行うこともできる。

【００３８】図７は、本発明の実施の他の形態による画
像入力装置の主要部分の電気的構成を示す。図１の形態
と対応する部分には同一の参照符を付し、重複した説明
を省略する。本実施形態では、制御回路１７内に動きベ
クトル検出手段３１を設け、通常解像度の画像入力時
に、上記動きベクトルの検出結果に基づいてモアレ除去
手段１９の動作の制御を行う。高解像度の画像入力時の
動作については、図１に示す実施形態と同様である。

【００３９】図８は、図７の実施形態による通常解像度
画像入力時の動作を示す。ステップＢ１でコントローラ
１０から通常解像度の画像入力モードを示す制御信号を
受けると、通常解像度の画像入力開始状態となって、ま
ずイメージシフトの動作中であれば、圧電素子駆動回路
１５にイメージシフト動作停止を指示し、圧電素子１４
を所定の位置に停止させる。これに伴って屈折板１２は
傾斜することなく、光軸Ｚにその表面がほぼ垂直な状態
となって、イメージシフトを行わない。通常解像度の画
像の入力が開始されると、固体撮像素子１３で撮像され
た画像は、画像処理回路１６でＡ／Ｄ変換やガンマ補正
等の処理を受け、図示を省略した次段の画像メモリ等に
画像信号２０として出力される。ステップＢ２では、前
回のモアレ検出からの経過時間が所定時間を経過してい
るか否かを判断し、経過していればステップＢ３に進
む。ステップＢ３では、画像情報中から動きを示す動き
ベクトルの検出を動きベクトル検出手段３１によって行
う。動きベクトル検出手段３１の詳細な動作については
後述する。次にステップＢ４で、動きベクトル検出手段
３１の検出結果に基づき、動きベクトルの大きさに基づ
いてモアレ除去が必要か否かを判断し、除去の必要があ
ると判断されるときにはステップＢ５でモアレ除去手段
１９の動作を開始し、モアレを除去させる。ステップＢ
４でモアレ除去の必要がないと判断されるときには、ス
テップＢ６でモアレの除去動作を停止させる。ステップ
Ｂ５のモアレ除去動作が開始されるか、ステップＢ２で
所定時間が経過していないと判断されるか、ステップＢ
６でモアレ除去動作が停止されるかのいずれかの場合
は、ステップＢ７で通常解像度の画像入力モードが終了
か否かを判断し、終了していないと判断されるときには
ステップＢ２に戻って、通常解像度の画像の取込み動作
を繰返す。ステップＢ７で終了と判断されるときには、
ステップＢ８で通常解像度画像入力動作を終了する。

【００４０】図９は、図８のステップＢ３における動き
ベクトル検出動作のための構成を示す。図８のステップ
Ｂ２に示すように、所定時間間隔で動きベクトルを検出
するために画像信号２０が取込まれる。１フレーム目２
０ｆ１の画像信号は、画像メモリ２１に記憶される。２
フレーム目２０ｆ２の画像信号は、画像メモリ２１とは
異なる画像メモリ２２に記憶される。画像メモリ２１，
２２に記憶されている画像データは、動きベクトル算出
手段３２によって、フレーム時間ずつ隔てられた画像信
号間の動きベクトルとして算出される。動きベクトルの
算出方法は、広く知られている勾配法、代表点マッチン
グ法またはオプティカルフロー法等の手法によって行
う。次に算出された動きベクトルの絶対値の大きさによ
って、モアレ除去手段１９を動作させる必要があるか否
かを判断する。

【００４１】本件発明者らの実験によれば、モアレが発
生し、モアレが顕著に感じられるのは、画像が静止して
いるか、またはゆっくりと動いているときであり、画像
の動きが大きい場合には、たとえモアレが発生していた
としても画像に対するモアレの影響は小さく感じられ
る。したがって動きベクトルを算出し、その量が所定量
より小さい場合には、モアレが目立たないようにモアレ
除去を行うようにし、反対に動きベクトルが所定量より
大きい場合は、モアレ除去を働かせないようにする。な
お判定の基準となる上記所定量の具体的な値は、固体撮
像素子１３の画素数や、画像入力装置の使用方法等によ
って異なるために、それぞれの機種ごとに測定して求め
るようにすればよい。なおステップＢ２でモアレ検出動
作を所定時間間隔ごとに行うようにしているが、このス
テップは必ずしも必要ではない。動きベクトル検出に
は、画像メモリ２１，２２の記憶データを用いて行うた
めに、図１の実施形態の通常解像度画像入力時のよう
に、画像入力の動作の停止は必ずしも必要ではなく、モ
アレ検出が随時可能なためである。

【００４２】図１０は、本発明の実施のさらに他の形態
による画像入力装置の主要部の概略的な電気的構成を示
す。図１０の実施形態で図１または図７の実施形態に対
応する部分には同一の参照符を付し、重複した説明は省
略する。本実施形態では、制御回路１７内に移動検出手
段３３が含まれ、高解像度の画像入力時の動作は図１お
よび図７の実施形態と同様である。

【００４３】図１１は、図１０の実施形態の動作を示
す。コントローラ１０から通常解像度の画像入力モード
を表す制御信号を受けると、ステップＣ１で制御回路１
７はイメージシフトの動作中であるならば圧電素子駆動
回路１５にイメージシフト動作停止を指示し、圧電素子
１４を所定位置に停止させる。これによって屈折板１２
は光軸Ｚにその表面がほぼ垂直な状態となり、イメージ
シフトは行わない。固体撮像素子１３で撮像された画像
は、画像処理回路１６で処理され、画像信号２０として
次段の画像メモリ等に出力される。次にステップＣ２で
は、移動検出手段３３によって画像入力装置の移動検出
を行う。なお移動検出手段３３の詳細については後述す
る。次にステップＣ３で、移動検出手段３３の検出結果
に基づき、画像入力装置の移動の程度を判断し、モアレ
除去が必要であるか否かを判断する。モアレ除去が必要
と判断されるときには、ステップＣ４でモアレ除去手段
１９によるモアレ除去動作を開始する。ステップＣ３で
モアレ除去が必要と判断されないときには、ステップＣ
５でモアレ除去動作を停止する。ステップＣ４のモアレ
除去動作が終了するか、ステップＣ５のモアレ除去動作
停止が終了すると、ステップＣ６で通常解像度の画像入
力モードが終了するか否かを判断する。終了と判断され
ないときにはステップＣ２に戻って、通常解像度の画像
の入力モードの終了まで動作を繰返す。ステップＣ６で
入力終了と判断されるときにはステップＣ７で動作を終
了する。

【００４４】図１２は、図１０の移動検出手段３３の構
成を示す。画像入力装置の任意の位置に取付けられる加
速度センサ３４からの出力は、積分回路３５によって積
分される。加速度が積分されるので、積分回路３５の出
力は画像入力装置の移動速度として導出される。判断手
段３６では、積分回路３５から出力される移動速度の絶
対値の大きさによって、モアレ除去の必要性を判断す
る。

【００４５】本件発明者らの実験では、モアレが顕著に
感じられるのは画像が停止しているかまたはゆっくりと
動いているときであり、対象が静止していても画像入力
装置が移動していれば、たとえモアレが発生したとして
も画像信号中のモアレによる影響は小さく感じられる。
したがって画像入力装置の移動速度を検出し、その量が
所定量より小さい場合にはモアレを除去するようにし、
反対に大きい場合にはモアレ除去を行わないようにして
いる。なお判断の基準となる所定量の具体的な値は、実
験的に求めることができる。また画像入力装置の移動検
出を、加速度センサ３４によって行っているけれども、
他のセンサ、たとえば市販のジャイロや位置センサなど
を使用しても同様に画像入力装置の移動を検出すること
ができる。本実施形態では、画像情報からのモアレ除去
の有無の判断を行わないので、全く画像情報には影響を
与えずにモアレ除去動作の判断を行うことができる。

【００４６】以上説明した各実施形態で、モアレの除去
は固体撮像素子１３の各画素の開口を疑似的に増加させ
ることによって実現する。図１の実施形態では、モアレ
の除去を開始すると、制御回路１７から圧電素子駆動回
路１５に高速で微小にイメージシフト動作するような指
示が与えられ、圧電素子１４を後述するタイミングで駆
動する。固体撮像素子１３の蓄積時間中に、イメージシ
フトされた複数の画像を入力して疑似的に開口を大きく
し、モアレ除去を行う。

【００４７】図１３は、モアレ除去の動作タイミングを
示す。図１３（ａ）は固体撮像素子１３の動作タイミン
グを示し、図１３（ｂ）はモアレ除去のためのイメージ
シフト動作のタイミングを示し、縦軸はイメージシフト
による光軸のシフト量を示す。固体撮像素子１３の蓄積
時間ｔを参照符４０で示し、蓄積された情報の転送期間
を参照符４１で示す。固体撮像素子１３は、図示を省略
した駆動回路によって４０，４１のような動作が基本的
に行われており、蓄積時間ｔが一般のカメラのシャッタ
開の期間に相当する。モアレ除去のためのイメージシフ
トの動作の周期ｔ’は、蓄積期間ｔに対して次の第１式
で示される値を取る。

【００４８】ｔ’＝ｔ／２ⁿ …（１）ここでｎは０以上の整数とし、このようにイメージシフ
ト動作の周期ｔ’を設定することによって、固体撮像素
子１３の蓄積時間ｔ内にイメージシフト動作により入力
されるそれぞれ光軸のシフトされた画像ｆ，ｇの入射強
度が均等化される。このことは固体撮像素子１３の各画
素の開口が疑似的に大きくなることと等価であり、結果
的にモアレの除去が効果的に行われる。固体撮像素子１
３の各画素の開口が疑似的に大きくなることによって、
固体撮像素子１３のいわゆる高域のＭＴＦ（Modulation
Transfer Function）特性が低くなり、モアレの発生と
なる画像の高域成分がカットされるためである。

【００４９】図１４は、モアレ除去についての他の動作
原理を示す。図１３では、固体撮像素子１３の蓄積時間
ｔとイメージシフトの動作周期ｔ’とは同一期間のよう
に示しているけれども、実際においてはほとんどの場合
異なる。デューティ比が５０％でない場合は、上述した
イメージシフトの動作は不連続となる。一般的に動作は
連続的である方が望ましく、動作時の駆動電力も少なく
てすむ。図１４でも、モアレの除去は、固体撮像素子１
３の各画素の開口を疑似的に大きくすることによって行
う。図１４（ａ）は固体撮像素子１３の動作タイミング
を示し、（ｂ）はモアレ除去のためのイメージシフト動
作のタイミングを示す。固体撮像素子１３の蓄積期間の
周期を参照符４０で示し、蓄積された情報の転送期間を
参照符４１で示すと、固体撮像素子１３の蓄積時間の周
期ｔは参照符４２で示される。固体撮像素子１３の蓄積
時間の中間点は参照符４３で示す。固体撮像素子１３
は、図示を省略する駆動回路によって、（ａ）に示すよ
うな動作を行う。一方モアレ除去のためのイメージシフ
ト動作の周期ｔ’は蓄積時間ｔに対して次の第２式で示
される値を取る。

【００５０】ｔ’＝２ｔ／２ⁿ …（２）ここでｎは０以上の整数であり、イメージシフトの動作
では、固体撮像素子１３の蓄積時間の中間点４３ごとに
１回の反転動作が行われるように駆動されることにな
る。このようにイメージシフト動作の周期ｔ’を設定す
ることによって、固体撮像素子１３の蓄積時間ｔ内にイ
メージシフト動作によって入力される複数の画像ｆ，ｇ
の入射強度が均等化され、またイメージシフトの動作を
デューティ比５０％で連続して行うことができるので、
モアレ除去動作に伴う消費電力の低減化が可能となる。
なお図１３および図１４では、イメージシフトの動作を
矩形波状に行っているけれども、正弦波状に駆動しても
同様の結果を得ることができる。

【００５１】図１５は、本発明のさらに他の実施形態に
よるモアレ除去についての考え方を説明するために、屈
折板１２を含むイメージシフト手段の可動部の周波数特
性の測定結果を示す。横軸は周波数の対数、縦軸はｄＢ
単位で振幅をそれぞれ示す。ｆ１およびｆ２は、それぞ
れ第１および第２の共振周波数を示す。特に第１の共振
周波数であるｆ１は、屈折板１２の傾斜方向に振動モー
ドを有し、この第１共振周波数で屈折板１２を駆動する
場合の消費電力は僅かである。したがってイメージシフ
トによるモアレ除去の駆動周波数が、第１共振周波数ｆ
１に一致するように動作させることによって、モアレ除
去に伴う消費電力は最小限とすることができる。さらに
第１共振周波数ｆ１の逆数を図１３または図１４の実施
形態で示した周期ｔ’に一致させるように選定すれば、
前述の効果も同時に得ることができる。

【００５２】図１６は、イメージシフトの距離と得られ
る解像度およびモアレ除去の効果との関係を示す。横軸
はモアレを除去するためのイメージ除去手段のイメージ
シフト量を固体撮像素子１３の画素の配列を単位として
示す。縦軸は解像度比とモアレ除去比とを示す。実線で
示す解像度比は、解像度チャートとを撮影し、イメージ
シフトの距離である光軸のずれ量が０、つまりイメージ
シフト動作を行わないときの固体撮像素子１３の中央部
の解像度を１として、各イメージシフトの距離を変えて
それぞれ解像度チャートを撮影したときの中央部の解像
度比で示す。また破線で示すモアレ除去比は、サーキュ
ラゾーンプレートチャートを撮影し、モアレ除去のため
のイメージシフト手段のイメージシフト量が０のときの
画像のモアレ除去の度合を０、同じくイメージシフト量
が２のときのモアレ除去の度合を１として、各種イメー
ジシフト量に対するモアレ除去の比率を主観的な判断で
求めている。

【００５３】図１６の結果では、最も効果的にモアレを
除去することができ、かつ解像度にさほど影響しないイ
メージシフトの距離は、０．２５〜１．０であることが
判る。したがって各実施形態でのモアレ除去手段１９と
してのイメージシフトの距離は、固体撮像素子１３の画
素配列ピッチの０．２５倍〜１．０倍にすることが好ま
しいと言える。なお以上の説明は、固体撮像素子１３の
撮像面の水平方向についてであるけれども、垂直方向に
ついても同様な考え方が成立ち、これらを併用すること
もできることは言うまでもない。また各実施形態では、
イメージシフト手段として圧電素子１４をアクチュエー
タとして用いて屈折板１２を傾斜させているけれども、
他に同様なイメージシフトが可能な手法であれば、モア
レ除去に適用することができる。

【００５４】

【発明の効果】以上のように本発明によれば、第１解像
度の画像と、イメージシフト手段を動作させることによ
って得られる第１解像度よりも高い解像度の第２解像度
の画像とを得ることができ、第１解像度の画像にモアレ
が検出されるときには、モアレ除去手段を動作させてモ
アレのない第１解像度の画像を得ることができる。モア
レが検出されないときにはモアレ検出手段を停止させる
ので、消費電力の低減を図ることができる。

【００５５】また本発明によれば、第１解像度の画像
は、画像の合成処理を行わないので、短い時間間隔で連
続する動画像として処理することができる。

【００５６】また本発明によれば、モアレ検出を入力さ
れた画像情報に対するモアレ除去手段の動作の有無の差
から検出するので、モアレの検出を迅速かつ有効に行っ
て、モアレの検出時のみモアレ除去を行うことができ、
モアレ検出のないときには消費電力の低減を図ることが
できる。

【００５７】また本発明によれば、第１の解像度の画像
情報と第２の解像度の画像情報との差からモアレの有無
を検出するので、モアレの検出を迅速に行うことがで
き、モアレが検出されないときにはモアレ除去手段を停
止させて消費電力の低減を図ることができる。

【００５８】また本発明によれば、第１の解像度の画像
情報は画素ごとに補間して第２の解像度の画像情報の画
素数と画素数が一致する状態で比較し、モアレの有無を
検出するので、確実なモアレの検出を行い、モアレが発
生していないときにはモアレ除去手段を停止させて消費
電力の低減を図ることができる。

【００５９】また本発明によれば、モアレの検出は第２
の解像度の画像情報の高域成分を抽出して行うので、高
解像度の画像情報中のモアレを検出し、モアレが検出さ
れればモアレ除去手段を動作させてモアレを除去し、検
出されなければモアレ除去手段を動作させずに一層高解
像度の画像を得ることができる。

【００６０】また本発明によれば、画像情報を高速フー
リエ変換処理して周波数成分の比較を行い、モアレの検
出を行うので、周波数成分などの範囲を変更することも
容易であり、モアレの除去が効率的に行える条件に容易
に調整することができる。

【００６１】また本発明によれば、モアレ検出手段の動
作時において、入力画像の一時停止する影響を低減する
ことが可能となる。

【００６２】さらに本発明によれば、入力される画像情
報から動きベクトルを演算し、動きが小さいときにはモ
アレ除去手段を動作させるので、動きが小さくモアレが
目立つときにはモアレを除去して高画質の画像情報を得
ることができる。動きベクトルが所定量より大きいとき
には、動きによってモアレがあまり目立たなくなるの
で、モアレ除去手段を停止させて消費電力の低減を図る
ことができる。

【００６３】さらに本発明によれば、画像入力装置の移
動を検出し、移動が所定量より小さいときにはモアレ除
去手段を動作させて、モアレを除去し高画質を得ること
ができる。動きが所定量より大きいときには、モアレが
あまり目立たないので、モアレ除去手段を停止させて消
費電力の低減を図ることができる。

【００６４】また本発明によれば、動画像で画像に動き
が大きい場合にはモアレ除去手段を停止して消費電力の
低減を図ることができる。

【００６５】また本発明によれば、イメージシフト手段
を用いてイメージシフトの動作の駆動周期が、固体撮像
素子の蓄積時間を基にして算出される周期で駆動するの
で、効率的にモアレの除去を行うことができる。

【００６６】また本発明によれば、イメージシフト手段
を用い、その周期を固体撮像素子の蓄積の周期を基に算
出される時間で駆動し、蓄積時間の中間でイメージシフ
トの反転動作が１回行われるように動作させるので、モ
アレ除去を効率的に行うことができ、モアレ除去に要す
る消費電力の削減を図ることができる。

【００６７】また本発明によれば、イメージシフトによ
るモアレ除去を、イメージシフト手段の可動部の共振周
波数に一致させて駆動して行うので、駆動に必要な電力
が最小限度に抑えられ、モアレ除去を低消費電力で行う
ことができる。

【００６８】また本発明によれば、イメージシフト手段
を動作させるイメージシフトのための距離が固体撮像素
子の画素配列ピッチに対応するので、解像度を損なわず
に効果的にモアレの除去を行うことができる。

【図面の簡単な説明】

【図１】本発明の実施の一形態による画像入力装置の概
略的な電気的構成を示すブロック図である。

【図２】図１の画像入力装置の動作の一例を示すフロー
チャートである。

【図３】図１の画像入力装置の動作の他の例を示すフロ
ーチャートである。

【図４】図１のモアレ検出手段１８の電気的構成の一例
を示すブロック図である。

【図５】図１のモアレ検出手段１８の電気的構成の他の
例を示すブロック図である。

【図６】図１のモアレ検出手段１８の電気的構成のさら
に他の例を示すブロック図である。

【図７】本発明の実施の他の形態による画像入力装置の
電気的構成を示すブロック図である。

【図８】図７の画像入力装置の動作を示すフローチャー
トである。

【図９】図７の動きベクトル検出手段３１の電気的構成
を示すブロック図である。

【図１０】本発明の実施のさらに他の形態による画像入
力装置の電気的構成を示すブロック図である。

【図１１】図１０の画像入力装置の動作を示すフローチ
ャートである。

【図１２】図１０の移動検出手段３３の電気的構成を示
すブロック図である。

【図１３】図１、図７または図１０のモアレ除去手段１
９の動作の一例を示すタイムチャートである。

【図１４】図１、図７または図１０のモアレ除去手段１
９の動作の他の例を示すタイムチャートである。

【図１５】図１、図７または図１０の屈折板１２および
圧電素子１４の機械的な共振特性を示すグラフである。

【図１６】図１、図７または図１０の屈折板１２および
圧電素子１４によるイメージシフトの距離と解像度比な
らびにモアレ除去比との関係を示すグラフである。

【図１７】従来からの画像入力装置の電気的構成を示す
ブロック図である。

【符号の説明】

１１光学系１２屈折板１３固体撮像素子１４圧電素子１５圧電素子駆動回路１６画像処理回路１７制御回路１８モアレ検出手段１９モアレ除去手段２０画像信号２１，２２，２３画像メモリ２４ＬＰＦ２５補間手段２６比較手段２７，３０判定手段２８ＨＰＦ２９演算手段３１動きベクトル検出手段３２動きベクトル算出手段３３移動検出手段

Claims

【特許請求の範囲】

【請求項１】被写体からの入射光を集光する光学系
と、固体撮像素子と、固体撮像素子へ入射する光路をず
らすイメージシフト手段とを備え、第１の解像度を有す
る画像と、イメージシフト手段を用いて所定量イメージ
シフトされた複数枚の画像を合成して第１の解像度より
も高い第２の解像度を有する画像とを得ることができる
画像入力装置において、入射された画像に従って固体撮像素子に入力される画像
情報中から、モアレの有無を検出するモアレ検出手段
と、画像情報中からモアレに対応する画像情報を除去するモ
アレ除去手段と、第１の解像度を有する画像の入力時に、モアレ検出手段
の出力に応答し、モアレの有または無に従ってモアレ除
去手段をそれぞれ動作または停止させる制御手段とを含
むことを特徴とする画像入力装置。
【請求項２】前記第１の解像度を有する画像は動画像
であることを特徴とする請求項１記載の画像入力装置。
【請求項３】前記モアレ検出手段は、前記モアレ除去手段を動作させて得られた画像情報とモ
アレ除去手段を動作させずに得られた画像情報とを比較
する比較手段と、比較手段からの出力に応答して、比較による差が所定量
より大きい場合にモアレの発生の有を、また比較による
差が所定量より小さい場合にモアレの発生の無を表す信
号をそれぞれ出力する判定手段とを備えることを特徴と
する請求項１または２記載の画像入力装置。
【請求項４】前記モアレ検出手段は、第１の解像度の画像情報と第２の解像度の画像情報とを
比較する比較手段と、比較手段からの出力に応答して、
比較による差が所定量より大きい場合にモアレの発生の
有を、また差が所定量より小さい場合にモアレの発生の
無を表す信号をそれぞれ出力する判定手段とを備えるこ
とを特徴とする請求項１または２記載の画像入力装置。
【請求項５】前記比較手段は、第１解像度の画像を画
素毎に補間して、画素数が第２の解像度の画素数と一致
する状態で低域成分を比較することを特徴とする請求項
４記載の画像入力装置。
【請求項６】前記モアレ検出手段は、第２の解像度の画像情報の高域成分を抽出する高域抽出
手段と、高域抽出手段の出力が所定量より大きい場合にモアレの
発生の有を、また出力が所定量より小さい場合にモアレ
の発生の無を示す信号をそれぞれ出力する判定手段とを
備えることを特徴とする請求項１または２記載の画像入
力装置。
【請求項７】前記モアレ検出手段は、画像情報を信号
処理により高速フーリエ変換処理して、周波数成分の比
較を行うことを特徴とする請求項１〜６のいずれかに記
載の画像入力装置。
【請求項８】前記モアレ検出手段は、画像入力装置の
撮影シーンを判断し、撮影シーンの切換わり直後に前記
モアレ除去手段を動作させることを特徴とする請求項１
〜７のいずれかに記載の画像入力装置。
【請求項９】被写体からの入射光を集光する光学系
と、固体撮像素子と、固体撮像素子に入射する光路をず
らすイメージシフト手段とを備える画像入力装置におい
て、所定の時間を隔てて固体撮像素子に入力された少なくと
も２画面分の画像情報から、動きベクトルを演算する動
きベクトル演算手段と、画像情報中からモアレに対応する画像情報を除去するモ
アレ除去手段と、画像の入力時に、動きベクトル演算手段により演算され
た動きベクトルに応じて、動きベクトルが所定量より小
さい場合はモアレ除去手段を動作させ、動きベクトルが
所定量より大きい場合はモアレ除去手段を停止させる制
御手段とを含むことを特徴とする画像入力装置。
【請求項１０】被写体からの入射光を集光する光学系
と、固体撮像素子と、固体撮像素子に入射する光路をず
らすイメージシフト手段とを備える画像入力装置におい
て、画像入力装置の移動を検出する移動検出手段と、画像情報中からモアレに対応する画像情報を除去するモ
アレ除去手段と、画像の入力時に移動検出手段の出力に応答して、画像入
力装置の移動が所定量より小さい場合はモアレ除去手段
を動作させ、画像入力装置の移動が所定量より大きい場
合はモアレ除去手段を停止させる制御手段とを含むこと
を特徴とする画像入力装置。
【請求項１１】前記入力される画像は動画像であるこ
とを特徴とする請求項９または１０記載の画像入力装
置。
【請求項１２】前記モアレ除去手段は、イメージシフト手段を用いて、固体撮像素子に入力され
る光路を微小に高速で振動させ、等価的に固体撮像素子
に入力される画像の解像度を下げることによってモアレ
除去を行い、イメージシフトの動作の駆動周期ｔ’が固体撮像素子の
蓄積時間をｔとするとき、ｔ’＝ｔ／２ⁿ （ｎは０以上の整数）で表される関係式に従うように、イメージシフト手段を
動作させることを特徴とする請求項１，２，９，１０ま
たは１１のいずれかに記載の画像入力装置。
【請求項１３】前記モアレ除去手段は、イメージシフト手段を用いて、固体撮像素子に入力され
る光路を微小に高速で振動させ、等価的に固体撮像素子
に入力される画像の解像度を下げることによってモアレ
除去を行い、イメージシフトの動作の駆動周期ｔ’が固体撮像素子の
蓄積の周期をｔとするとき、ｔ’＝２ｔ／２ⁿ （ｎは０以上の整数）で表される関係式に従って動作させて、固体撮像素子の
蓄積時間の中間においてイメージシフトの反転動作が１
回行われるように、イメージシフト手段を動作させるこ
とを特徴とする請求項１，２，９，１０または１１のい
ずれかに記載の画像入力装置。
【請求項１４】前記モアレ除去手段は、イメージシフト手段を用いて、固体撮像素子に入力され
る光路を微小に高速で振動させ、等価的に固体撮像素子
に入力される画像の解像度を下げることによってモアレ
除去を行い、イメージシフトの動作の駆動周波数をイメージシフト手
段の可動部の共振周波数に一致させることを特徴とする
請求項１，２，９，１０または１１のいずれかに記載の
画像入力装置。
【請求項１５】前記モアレ除去手段は、イメージシフ
トする距離が固体撮像素子のイメージシフト方向の画素
配列ピッチの０．２５〜１倍の範囲内となるように、イ
メージシフト手段を動作させることを特徴とする請求項
１２〜１４のいずれかに記載の画像入力装置。