JPH05276452A - 撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】 画素数の少ない撮像素子を用いて高精細な動
画像を低コストで得る。 【構成】 レンズ５を介して取り込まれた画像はハーフ
ミラー２で２分され、ＣＣＤ１１と１２に結像する。Ｃ
ＣＤ１１は静止領域用であって、その全面に透明板３が
置かれ、これが圧電素子４で上下左右に回転振動させら
れる。例えば、４フレーム分の画像がＡ／Ｄ変換器６１
を通った後、フレーム合成をフレーム合成部７１で行
い、１コマの静止画像とする。一方、ＣＣＤ１２はこの
間４コマの動画像を動領域検出部７２で検出し、画像合
成部８で前記動画像と静止画像とを合成し出力する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像入力技術に関
し、詳しくは複数の撮像素子からの画像を合成すること
により高精細な動画像を得る撮像装置に関するものであ
る。

【０００２】

【従来の技術】固体撮像素子は小型で消費電力が小さ
く、また、残像が無いなどの多くの特徴を有することか
ら、最近では家庭用ビデオカメラやハンディタイプの放
送用カメラなど、固体撮像素子を用いる撮像装置が増え
ている。しかし、撮像管を用いる撮像装置に比べまだ解
像度が低く、今後の高解像度化に期待が寄せられてい
る。

【０００３】固体撮像素子の解像度は画素数によって決
まるため、従来の撮像装置は撮像素子内の画素数を増や
すことにより高解像度化が図られてきた。撮像素子内の
画素数を増やす方法としては微細加工技術を駆使し、画
素密度を高めることによる方法が主流であるが、撮像素
子のサイズを大きくして画素数を増やす方法もある。

【０００４】

【発明が解決しようとする課題】最近、画素密度を高め
る方法によりＨＤＴＶ用の２００万画素の固体撮像素子
が開発されているが、画素密度を高める方法ではプロセ
スが難しくなる問題の他、画素面積縮小による感度低下
の問題も生じている。特に、感度の低下を考慮した場
合、上記２００万の画素数はもはや限界に近く、現状で
はさらに画素数を増加させ、解像度を向上することは困
難となっている。

【０００５】一方、画素密度は変えずに撮像素子のサイ
ズを大きくして画素数を増やす方法では、製造歩留りを
低下させコスト増加につながる。このため、専ら天文な
どの科学用や軍事用に用途は限られている。上記問題の
他、１つの撮像素子内の画素数を増やすことにより高解
像度化を図る従来の方法では、画素数増加に伴い撮像素
子の駆動速度やディジタル化の際のＡ／Ｄ変換速度など
を高速化しなければならないという問題も深刻化してい
る。

【０００６】本発明は、上記の問題点を解決するために
なされたもので、画素数の少ない撮像素子を用いて高精
細な動画像をコストを増加させることなく得られる撮像
装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】本発明にかかる撮像装置
は、静止領域用撮像素子および動領域用撮像素子を備
え、静止領域用撮像素子が撮像した連続する複数のフレ
ーム画像の合成により静止領域を高精細化するフレーム
合成部と、動領域用の撮像素子が撮像した画像から動領
域を抽出する動領域検出部と、抽出された動領域を静止
領域と合成する画像合成部とを備えたものである。

【０００８】

【作用】動画用撮像装置は、一般に動きのある画像を撮
像するものであるが、通常は動画といえども画面の大部
分は静止画であり、動いている部分は少ない。例えば、
ニュースでアナウンサが原稿を読んでいる場面では、ア
ナウンサの口や目を除く大部分は静止画である。従来の
撮像装置は、動領域と静止領域を同一の撮像素子で取り
込むため動領域，静止領域の区別なく、同一速度で取り
込まれている。この速度は、動領域における動きを連続
的に見せるため、例えば、ＮＴＳＣでは３０コマ／秒の
ように非常に高速に設定されている。しかし、画面中で
大部分を占める静止領域においては、本来このような高
速撮像は不要なのである。すなわち、動領域と静止領域
では要求される撮像速度が異なるのである。また、解像
度においても、両者の間で要求値が異なる。すなわち、
人間の目の視覚特性が動領域に対しては静止領域に比べ
解像力が劣ることが知られており、動領域に要求される
解像度は静止領域に比べ低くなっている。そして、一般
には人間の目が感じる動画像の精細度は、静止領域の解
像度に主に存在している。

【０００９】本発明は、動領域と静止領域では上述のよ
うに要求される特性が異なる点に着目し、静止領域用と
動領域用の２つの撮像素子を用い、以下に述べるように
それぞれの領域に適した特性で画像の取り込みを行うこ
とにより、画素数の少ない撮像素子でも高精細な動画像
の撮像を実現するものである。

【００１０】まず、静止領域用撮像素子では、１コマの
撮像時間を動画のｎ倍に長くし、その分だけ解像度を高
くする。すなわち、撮像素子のフレーム周期は動画像の
場合と同一とし、ｎ枚のフレーム画像を合成して高精細
な１コマ分の画像を得る。この方法として、例えば、以
下の方法が適用できる。すなわち、被写体像と画素の相
対的な位置関係を画素ピッチの１／２だけフレーム（ま
たはフィールド）毎に時間的に変化させて、ｎ枚の画像
を入力する（以下、この方法をイメージシフト法と呼
ぶ）。イメージシフト法により高解像度化が可能になる
原理を以下に説明する。

【００１１】固体撮像素子の撮像部は２次元状に配列さ
れた画素で構成されているが、個々の画素は光強度を読
み取る感光部と、信号転送路等の非感光部からなる。す
なわち、直接撮像に寄与する感光部１０１は、図８に示
すように、離散的に配置された構成となっており、感光
部１０１と感光部１０１の間には直接撮像には寄与しな
い非感光部１０２が存在する。この非感光部１０２の存
在を利用し、画像のサンプリング点を増幅することによ
り入力画像の高精細化を図る。すなわち、あるフレーム
で入力した画像（図８（ａ））と、次のフレームで被写
体像と撮像素子の画素の相対的な位置関係を画素ピッチ
の１／２ずらして入力した画像（図８（ｂ））を合成す
れば、それぞれのフレーム画像において撮像素子の非感
光部１０２にあたる領域の光強度情報が、もう一方の画
像ではサンプリングされていることになり、結局、合成
画像では図８（ｃ）に示すように、実効的に２倍の画素
密度で画像を読み取ったことに相当し、高精細化が可能
になる。図８では、簡単のため２枚の画像を水平方向に
補間する方法について説明したが、水平方向，垂直方向
共に補間による高精細化が可能であり、さらに、画素ピ
ッチの１／３ずつずらして１方向について３倍の高密度
化も可能である。

【００１２】次に、動領域用撮像素子は、通常の動画撮
像と同一の速度で撮像する。この場合、解像度は静止領
域に比べ１／ｎとなるが、動領域に対する人間の目の解
像度が上述のように静止領域に比べ低いことから解像度
の劣化は認識されない。

【００１３】本発明は、上述のように、静止領域用と動
領域用の２つの撮像素子を用いてそれぞれの領域に適し
た特性で画像の取り込みを行うものであるが、それぞれ
の撮像素子は同一エリアを撮像するため静止領域用撮像
素子においても動領域を撮像し、これとは逆に動領域用
撮像素子においても静止領域を撮像することになる。そ
こで、動領域用撮像素子が撮像した画像から動領域を取
り出し、これを静止領域用撮像素子が撮像した画像に合
成するなどの方法を用いる。

【００１４】動画像の精細度は視覚的には主に静止領域
の解像度に依存しており、したがって、以上の方法によ
り入力画像の精細度を視覚上ｎ倍に高めることが可能と
なる。これより、本発明によれば、撮像素子の画素数を
増やすことなく、入力画像の精細度を高めることができ
る。

【００１５】

【実施例】本発明の第１の実施例の概略構成を図１に示
す。図１において、１１，１２はＣＣＤエリアセンサ
（以下、単にＣＣＤと呼ぶ）、２はハーフミラー、３は
透明板、４は圧電素子、５はレンズ、６１，６２はＡ／
Ｄ変換器、７１はフレーム合成部、７２は動領域検出
部、８は画像合成部である。本実施例では、撮像素子と
して２つのＣＣＤ１１，１２を用い、レンズ５の後方に
配置したハーフミラー２により両ＣＣＤ１１，１２の撮
像面上に同一被写体像を結像する。ここで、ＣＣＤ１１
は静止領域を、ＣＣＤ１２は動領域を撮像することを主
目的とする。また、２つのＣＣＤ１１，１２は同一のも
のであるとし、ここではＮＴＳＣ方式のＣＣＤを用いる
ものとする。

【００１６】ＣＣＤ１１はイメージシフト法を用いて静
止領域を高精細に入力する。イメージシフト法として、
本実施例では、ＣＣＤ１１の前面で透明板３を振動させ
る方法を用いる。この方法は、文献(SID '83 Technical
Digest(1983))に記載されているように透明板３を傾け
ることにより光が屈折し、撮像面上で被写体像がシフト
することを利用するものである。本実施例では、図１に
示すように、透明板３の上下左右に圧電素子４を取り付
け、これへの電圧印加により透明板３を上下方向および
左右方向にフレーム周期に同期させ回転振動させる。こ
れにより、ＣＣＤ１１の撮像面上で被写体像がフレーム
ごとに上下、左右にシフトする。このシフトの距離を画
素ピッチの１／２になるよう透明板３の回転角、すなわ
ち、傾きを設定すれば４フレームで撮像した４枚の画像
を合成することにより合成画像の実効的な画素密度が４
倍になる。上記合成処理は、図１に示すように、Ａ／Ｄ
変換器６１でディジタル化した後、フレーム合成をフレ
ーム合成部７１で行う。フレーム合成部７１で合成され
た画像は、画像合成部８に転送される。このように、Ｃ
ＣＤ１１から画像合成部８に転送される画素は、４フレ
ーム周期をかけて取り込まれた画像であり、１コマ分の
画像の取り込み速度は通常の動画撮像に比べ１／４と遅
くなるが、画素密度が４倍となるため高精細な画像とな
っている。

【００１７】一方、ＣＣＤ１２は動領域の撮像を目的と
するため、通常のＮＴＳＣ方式により１コマ分の画像を
１フレーム周期で高速に取り込む。ＣＣＤ１２からの画
信号は、Ａ／Ｄ変換器６２でディジタル化された後、動
領域検出部７２で動領域のみを取り出す。

【００１８】動領域を検出する方法を図２に示す。図２
（ａ）に示すように、１フレームの間に物体が画面の左
Ｓ₁ から右Ｓ₂ に動いているとすると、図の斜線部の画
素の信号レベルに変化が生じる。したがって、画信号レ
ベルが前フレームと比べ変化が生じた領域を動領域とし
て取り出す。ＣＣＤ１１から静止領域として画像合成部
８に転送された画像（図２（ｂ））で、この動領域に該
当する領域の画素の信号値を動領域検出部７２で取り出
された領域の画素の信号値に置き換える。この際、動領
域検出部７２からの画像の画素密度はＣＣＤ１１から画
像合成部８に転送されている画像の画素密度の１／４で
あるため、図２（ｃ）に示すように、動領域検出部７２
からの画像の１画素に対し、画像合成部８に転送されて
いる画像の該当する４画素を１組としてまとめて置き換
える。

【００１９】以上の方法により、画像合成部８で静止領
域は高精細な画像が４フレームに１回書き換えられ、一
方、動領域は１フレームごとに書き換えられ、この合成
画像が１フレームに１コマの速度で出力される。すなわ
ち、通常のＮＴＳＣ方式による速度で自然な動画像とし
て、かつＨＤＴＶ並の精細度の画像として出力されるこ
とになる。

【００２０】本発明の第２の実施例の概略構成を図３に
示す。図３において、９はカメラ動き検出部である。本
実施例では、カメラの動きによる画素ずれをカメラ動き
検出部９で検出して補償する。これは、例えば、カメラ
を右から左に動かした場合、静止物体であっても画面の
左から右へ移動するため前記実施例１では動領域として
扱われる。しかし、カメラが動く場合は、画面全体が同
一方向に移動するため、１フレーム間の移動量を検出し
て、画面全体を移動方向と逆方向にシフトさせれば、静
止画像として扱うことが可能である。本実施例では、公
知の方法を用いて、カメラの動きによる全体画像の移動
量と方向をカメラ動き検出部９で検出する。そして、フ
レーム合成を行うフレーム合成部７１で４枚のフレーム
を合成する場合、２番目以降のフレーム画像は移動方向
と逆方向にシフトさせて合成すれば、カメラの動きによ
る画素ずれを補償することができ、前記実施例１と同
様、高精細な静止領域の画像として画像合成部８に転送
することができる。

【００２１】一方、動領域検出部７２では、画面全体を
移動方向と逆方向にシフトさせた後、画信号レベルが前
フレームと比べ変化が生じた領域を取り出すことによ
り、物体が移動した領域を取り出すことができる。

【００２２】本実施例では、カメラの動きを補償するこ
とにより、実際に被写体が移動した領域以外は高精細に
出力することが可能となる。なお、上記カメラ動きの補
償処理以外の構成は、前記実施例１と同じである。

【００２３】本発明の第３の実施例の概略構成を図４に
示す。図４において、１１Ｒ，１１Ｇ，１１Ｂ，１２
Ｒ，１２Ｇ，１２ＢはＣＣＤ、ＤＰ１，ＤＰ２はダイク
ロイックプリズミである。本実施例では、レンズ５後方
にハーフミラー２を配置し、さらに、ハーフミラー２で
分岐されたそれぞれの光路にダイクロイックプリズムＤ
Ｐ１，ＤＰ２を配置する。このような配置によりＲ，
Ｇ，Ｂに色分解された６つの被写体像を６つのＣＣＤで
撮像する。ここで、ＣＣＤ１１Ｒおよび１２Ｒは赤
（Ｒ）成分の被写体像を撮像し、ＣＣＤ１１Ｇおよび１
２Ｇは緑（Ｇ）成分の被写体像を撮像し、ＣＣＤ１１Ｂ
および１２Ｂは青（Ｂ）成分の被写体像を撮像する。ま
た、１１Ｒ，１１Ｇ，１１Ｂの組のＣＣＤが静止領域の
撮像を目的とし、１２Ｒ，１２Ｇ，１２Ｂの組のＣＣＤ
が動領域の撮像を目的としている。本実施例では、実施
例１と同様の透明板３を振動させる方法により静止領域
を高精細に撮像する。ただし、本実施例では、透明板３
をダイクロイックプリズムＤＰ１の前面に配置し、ＣＣ
Ｄ１１Ｒ，１１Ｇ，１１Ｂの撮像面上に結像される３つ
の被写体像を同時にシフトさせる。図４においては、電
気系の構成は省略したが、本実施例では、各色成分毎に
実施例１と同様な電気系構成を備え、Ｒ，Ｇ，Ｂで高精
細な動画を出力する。

【００２４】本発明の第４の実施例の概略構成を図５に
示す。図５において、８１は出力信号合成器である。本
実施例の光学系構成およびＣＣＤ１１からフレーム合成
部７１、ＣＣＤ１２から動領域検出部７２までの構成と
信号処理法は実施例１と同じである。本実施例では、静
止領域の画像情報を時間軸で圧縮する。すなわち、実施
例１では、静止領域の画像は１コマまえ（４フレーム
前）との間の変化の有無にかかわらず全て出力したが、
本実施例では、１コマ前と比べ変化の無い領域は出力し
ない。したがって、１コマ前には動領域として検出され
た領域で該フレームで静止領域となった領域の信号のみ
フレーム合成部７１から出力する。一方、動領域検出部
７２からは実施例１と同様にフレームごとに動領域の信
号を出力する。そして、フレーム合成部７１からの出力
信号と動領域検出部７２からの出力信号を出力信号合成
器８１で多重化し、本撮像装置の出力信号として出力す
る。

【００２５】本実施例では、受信側に静止領域画像の蓄
積手段を必要とするが、画像の大部分を示す静止領域の
画像情報の伝送が不要になるため、伝送情報量を大幅に
圧縮できる。

【００２６】本発明の第５の実施例の概略構成を図６に
示す。図６において、Ｃ１およびＣ２はＣＣＤカメラで
ある。本実施例では、静止領域画像と動領域画像をそれ
ぞれ別のカメラで撮像する。２台のＣＣＤカメラＣ１，
Ｃ２が同一領域を撮像できるよう、図６に示すようにハ
ーフミラー２を配置する。図６では省略したが、ＣＣＤ
カメラＣ１内部のＣＣＤ撮像面前面には、実施例１と同
様な透明板３を配置し、フレーム周期に同期させて振動
させる。

【００２７】本実施例で使用するＣＣＤカメラＣ１およ
びＣ２は単板カメラとし、それぞれの出力信号は実施例
１と同様の電気系構成により高精細動画像に合成する。

【００２８】本発明の第６の実施例の概略構成を図７に
示す。図７において、ＬＳは撮像素子としてのラインセ
ンサである。本実施例では、静止領域をラインセンサＬ
Ｓにより撮像する。ラインセンサＬＳは速度が遅いが、
高精細な撮像が可能なためＡ／Ｄ変換した信号をを直接
画像合成器８に送る。一方、動領域の撮像には、実施例
１と同様ＣＣＤ１２を用いる。ＣＣＤ１２から画像合成
器８までの構成および信号処理法は実施例１と同じであ
る。

【００２９】以上においては、本発明の６つの実施例を
示したにとどまり、本発明の精神を脱することなく、種
々の変更が可能なことはいうまでもない。例えば、上記
実施例では、撮像素子としてＣＣＤやラインセンサＬＳ
を用いたが、撮像素子の種類を問わず実施することが可
能である。

【００３０】また、上記実施例では、静止領域の撮像を
上下左右に画素ピッチの１／２ずらしながらＣＣＤ１１
で撮像した４フレーム分の画像を合成したが、ＣＣＤ１
１とＣＣＤ１２の画素を光学的にどちらかの方向に１／
２画素ピッチだけずらして配置しておけば、４フレーム
中の１フレームはＣＣＤ１２が撮像した静止領域を用い
ることができ、３フレーム分の時間で上記実施例と同じ
解像度の静止領域画像を合成することも可能である。

【００３１】また、上記実施例では、いずれも１方向に
ついて画素ピッチの１／２だけずらした画像による合成
としたが、画素ピッチの１／３づつずらし解像度をさら
に高めることも可能である。

【００３２】また、上記実施例では、透明板３を振動さ
せるイメージシフト法を用いて撮像素子上の被写体像を
シフトさせたが、イメージシフト法を実現する方法とし
てこれまでにいくつかの方法が提案されており、いずれ
の方法を用いても本発明の実施が可能である。例えば、
その代表的なものとして文献（テレビジョン学会技術報
告、ＥＤ７３６、（１９８６））に記載されているよう
に、固体撮像素子を圧電素子の上に装着して１／２画素
ピッチの振幅で、フィールドごとに１方向に振動させる
方法や、文献（平成２年度電子情報通信学会秋季全国大
会予稿集Ｄ−２４４）に記載されているように、固体撮
像素子の前に液晶パネルと水晶板を置き、水晶板の複屈
折を利用して被写体像のほうを撮像素子上で振動させる
方法なども適用可能である。

【００３３】また、上記実施例２では、カメラの動きを
補償したが、この補償は実施例２以外でも同様に適用可
能である。さらに、上記実施例５では単板式カメラを用
いて本発明を実施したが、３板式カメラを用いて本発明
の実施が可能である。この場合のカメラ後の電気系構成
は実施例３と同様になる。

【００３４】また、実施例５ではＣＣＤカメラを用いた
が、カメラの種類に関係なく本発明を実施できることは
明らかである。さらに、上記実施例５では、２台のカメ
ラが同一エリアを撮像できるようハーフミラーを使用し
たが、撮像エリアが特定できる機能を備えれば、ハーフ
ミラーを用いず２台のカメラを平行に配置する方法を可
能である。

【００３５】

【発明の効果】以上説明したように、本発明では、静止
領域用撮像素子および動領域用撮像素子を備え、静止領
域用撮像素子が撮像した複数のフレームの画像を合成す
るフレーム合成部と、動領域用撮像素子が撮像した画像
から動領域を抽出する動領域検出部と、静止領域と動領
域を合成する画像合成部とを備えたので、それぞれの領
域に適した特性で画像の取り込みが可能となる。すなわ
ち、画像の精細度を決定する静止領域については画素数
の少ない撮像素子を用いても時間をかけることにより十
分高精細に撮像することができる。また、動領域につい
ては、従来の動画撮像と同一速度で撮像でき、自然な動
画像を撮像できる。以上から、本発明の撮像装置では、
画素数の少ない撮像素子を用いても高精細な動画の撮像
が可能である。このため、ＨＤＴＶ等の高精細な動画撮
像装置を低コストで実現できる。さらに、ＨＤＴＶ用な
どの高解像度の撮像素子を用いて本発明を実施すれば、
従来にはない超高精細な動画像撮像が可能となる。

【００３６】また、本発明によれば、動領域を検出して
取り出すため、受信側への伝送に当たってはこの動領域
と静止領域において１コマ前に動領域であった部分のみ
の信号を送ればよく、伝送信号を容易に圧縮することが
できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の概略構成図である。

【図２】第１の実施例で動領域を検出し静止領域と合成
する方法を示す図である。

【図３】本発明の第２の実施例の概略構成図である。

【図４】本発明の第３の実施例の概略構成図である。

【図５】本発明の第４の実施例の概略構成図である。

【図６】本発明の第５の実施例の概略構成図である。

【図７】本発明の第６の実施例の概略構成図である。

【図８】イメージシフト法による高解像度化の説明図で
ある。

【符号の説明】

１１ ＣＣＤ １２ ＣＣＤ ２ ハーフミラー ３ 透明板 ４ 圧電素子 ５ レンズ ６１ Ａ／Ｄ変換器 ６２ Ａ／Ｄ変換器 ７１ フレーム合成部 ７２ 動領域検出部 ８ 画像合成部 ８１ 出力信号合成器 ９ カメラ動き検出部 ＤＰ１ ダイクロイックプリズム ＤＰ２ ダイクロイックプリズム Ｃ１ ＣＣＤカメラ Ｃ２ ＣＣＤカメラ ＬＳ ラインセンサ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 静止領域用撮像素子および動領域用撮像
   素子を備え、前記静止領域用撮像素子が撮像した連続す
   る複数のフレーム画像を合成するフレーム合成部と、前
   記動領域用撮像素子が撮像した画像から動領域を抽出す
   る動領域検出部と、前記フレーム合成部で得られた静止
   領域と前記動領域を合成する画像合成部とを備えている
   ことを特徴とする撮像装置。