JP2014013981A - 撮像方法および撮像装置 - Google Patents

Abstract

【課題】ショットノイズを低減し、投光反射情報のＳＮ比の良い撮像方法および撮像装置を提供する。
【解決手段】投光する時間と投光しない時間との映像の差を取って外光そのものの影響を無くすと共に、動き補償と時間軸方向の平均化によって外光のショットノイズを減じる。このとき差を取る前の映像を用いて動き補償用動きベクトルの検出を行い、動きベクトル検出精度を高める。
【選択図】図１

Description

本発明は、撮像方法および撮像装置に係り、特に、発光した光を被写体に照射しその反
射光から被写体を撮像する際に好適な撮像方法および撮像装置に関する。

近年、平面パターンを発光させて被写体に照射し、その反射光を撮像して被写体の奥行
を計測する装置が商用化され家庭用ゲーム機などに使われている。このような装置は、例
えば、特許文献１、特表2009−531655号公報に記載されている。また、単に赤外光を投光
してその反射情報から、照明状況に依らない物体固有の映像情報を得ることもできる。こ
のような撮像装置のＳＮ比を改善するために、先願発明特願2011-111669号や特願2011-10
1764号に記載されているように、投光をパルス状にし、投光する期間の映像から投光しな
い期間の映像を差し引いて、外光の影響を取り除く提案がなされている。

しかし屋外で使用する場合、太陽光下など投光の強さに対して外光が著しく強い場合に
は、外光によって発生するショットノイズが相対的に大きくなり、必要な情報（投光反射
情報）のＳＮ比が悪くなる。
ショットノイズは光電変換時に発生する原理的なランダム雑音で、Ｍ個の信号電子が得
られる時、rms(自乗平均の平方根)値で√Ｍのランダム雑音が発生する。例えば電子１万
個の信号がある明るい部分には、rms値で１００個のランダム雑音が発生する。これはい
わゆる「ｋＴＣ雑音」など他の雑音が電子数個以下になったことと比較して大きな雑音で
ある。

特表２００９−５３１６５５号公報

本発明の目的はショットノイズを低減し、投光反射情報のＳＮ比の良い撮像方法および
撮像装置を提供することである。

ショットノイズはランダムな雑音なので平均化により低減することができる。本発明で
は、投光反射情報を時間軸方向に平均化してＳＮ比を改善する。時間軸方向に平均化する
と、被写体が動いたり、撮像装置が揺れたりした場合に投光反射情報がぼやけてしまうが
、動きベクトル（ＭＶ）を画素ごとに求めて動き補償することにより、ぼやけが生じない
ようにする。このときＭＶの検出に投光反射情報を用いると、ＳＮ比が悪い場合にＭＶ検
出精度が悪くなって、正しく動き補償できず、投光反射情報のＳＮ比改善ができないとか
、投光反射情報がぼやけてしまうことがある。そこで本発明では、投光反射情報よりもＳ
Ｎ比の良い外光反射情報、あるいは（外光＋投光）の反射情報を用いてＭＶを検出する。

本発明によれば、従来ショットノイズによって入力電子換算で約１００個あった雑音を
、例えば１２８回平均化の場合1/10以下に改善することができる。これにより従来に比べ
てはるかに高い精度で投光反射情報を検知することができ、画像認識に用いた場合に認識
精度を上げることができる。

撮像装置の一実施例を示す回路構成図。 撮像装置の動作の一例を示すタイミングチャート。 投光反射情報抽出回路の一例。 ＭＶ生成回路の一例。 撮像方法の一実施例を示す処理フローチャート。

本発明では、投光反射情報を時間軸方向に平均化してＳＮ比を改善する。平均化の効率
を上げ、悪影響を減じるため、画素ごとにＭＶを求めて演算する投光反射情報に動き補償
を施して、被写体の同じ部分同士で平均化する。ＭＶの検出には、投光反射情報よりもＳ
Ｎ比の良い外光反射情報、あるいは（外光＋投光）の反射情報を用いる。

図１が、本発明の撮像装置の一実施例を示す回路構成図である。撮像素子301は汎用の
CMOS撮像素子あるいはCCD撮像素子で、全画素で露光期間が同じになるグローバルシャッ
タ型が望ましい。撮像素子出力S1を投光反射情報抽出回路302に入力し、フレーム間の差
により、投光した光のみによる映像情報S2を生成する。映像情報S2は時間軸方向の平均化
処理によりＳＮ比を改善するが、図１の例では平均化処理に巡回型のフィルタ320を用い
る。巡回型のフィルタ320でＳＮ比を改善した映像情報S3を出力端子309より出力する。

ＭＶ生成回路310では、撮像素子出力S1より画素ごとにＭＶを求めて巡回型のフィルタ
320に伝達する。撮像素子出力S1は、それのフレーム間差分をとった映像情報S2よりも信
号量が大きく、ＳＮ比が良いので、撮像素子出力S1を使ってＭＶを求める方がより正確な
ＭＶを求めることができる。したがって、巡回型のフィルタ320で行う動き補償の精度も
高くなって、映像情報S3のＳＮ比改善効果も大きくなる。

次に巡回型のフィルタ320の動作例を説明する。
フレームメモリ303には１枚の映像情報が蓄積され、１回前の出力映像情報S4を出力す
る。動き補償回路311では、このS4に画素ごとに動き補償を施し、新たに入力される映像
情報S2と位置合わせされた映像情報S8を得る。差分生成回路304では、このS8と、入力映
像情報S2との差をとって、

S5=S2-S8 （式１）

を出力する。このS5は、除算回路305で1/ｎにした後、加算回路306でS8と加算され、ＳＮ
比を改善した映像情報S6を生成する。ｎは整数だが、２、４、８、１６、３２、６４、
１２８…と２の整数乗の値にすることにより、除算回路305が簡単な回路になって好ましい。

映像情報S6は以下のようになり、新しい入力映像情報S2を少しずつ影響させていく形に
なり、巡回型フィルタが構成される：

S6=S8+S5/n=(1-1/n)S8+(1/n)S2 （式２）

数値ｎは、大きいほどＳＮ比改善効果が大きくなると同時に、映像情報の尾引きが増え
るので、用途に応じて定めれば良い。ｎ＝６４でもＳＮ比は約10倍改善できる。尾引きの
問題は動き補償を正確に行うことにより対策できる。
（式２）から巡回型フィルタの帰還率、すなわち前回の出力が今回の出力に及ぼす影響
は(1-1/n)となるが、除算回路305を簡単にするためにはｎを２の整数乗にして、帰還率を
1/2, 3/4, 7/8, 15/16, 31/32, 63/64, 127/128の中から選ぶようにするとよい。

スイッチ307では、通常、ＳＮ比を改善した映像情報S6が選択されて出力映像情報S3と
なる。場合によっては動き補償が追いつかないほど高速に動く被写体を撮像することもあ
り、そのような場合はＳＮ比を改善した映像情報S6ではなく、入力映像情報S2の方を選択
して出力映像情報S3とする。このスイッチ制御は、図１の例では絶対値生成回路308の出
力S7で行う。すなわち、差分S5の絶対値S7が小さい場合はＳＮ比を改善した映像情報S6を
出力し、絶対値S7が大きい場合は入力映像情報S2の方を出力する。

次に投光反射情報抽出回路302とＭＶ生成回路310の具体例を説明する。図２が撮像装置
の動作の一例を示すタイミングチャートで、上から順に投光期間、露光期間、出力期間を
示している。図２の例では、露光期間のうち、２回に１回、投光を行い、露光期間103,
100,101,102で露光した映像情報は、それぞれ直後の出力期間123,120,121,122で撮像素子
301から出力される。露光期間101では、その期間の外光による映像情報に加えて、投光期
間111で投光された光による映像情報も蓄積され、出力期間121で出力される。その中から
投光された光による映像情報だけを抽出するためには、直前の露光期間100で蓄積され出
力期間120で出力された映像情報を差し引けばよい。あるいは直後の露光期間102で蓄積さ
れ出力期間122で出力された映像情報を差し引いてもよい。

このようにして出力期間121の映像情報から出力期間120あるいは出力期間122の映像情
報を差し引いて投光反射情報S2を生成する。この投光反射情報S2は時間軸方向の平均化処
理によりＳＮ比を改善するが、平均化処理に用いるＭＶは、出力期間121の映像情報と出
力期間123の映像情報を比較して検出する。これらの映像情報には外光だけでなく投光し
た光による映像情報も含まれ、情報量が多いので高精度にＭＶを検出できる。出力期間
122の映像情報と出力期間120の映像情報を比較して検出することも可能だが、外光量が少
ないときには情報量が少なくなってＭＶ検出精度が落ちる。

図３(a)(b)が投光反射情報抽出回路302の一例である。(a)が単純に２フレームの差から
投光反射情報を生成する例である。321がフレームメモリ、322が差分生成回路で、（外光
＋投光）による映像情報が出力されるフレームで、１フレーム前の映像情報、すなわち外
光のみによる映像情報との差をとって、投光のみによる映像情報（投光反射情報）S2を生
成する。(b)が３フレームの演算で投光反射情報を生成する例である。324が平均化回路で
、外光のみによる映像情報が出力されるフレームで、２フレーム前の映像情報、すなわち
1回前の外光のみによる映像情報との平均をとる。１フレーム前の映像情報が（外光＋投
光）によるもので、これと平均化回路324出力との差から、投光反射情報S2を生成する。
(a)の例に比べて１フレーム遅延する欠点があるが、差分生成回路322の２つの入力の平均
時刻を合わせることができる。

図４(a)(b)がＭＶ生成回路310の一例である。(a)がリアルタイムでＭＶを生成する例で
、フレームメモリ331はＭＶを検出するフレームのみ動作させる。図２のように交互のフ
レームで投光し、投光反射情報が出力されるフレームでＭＶを検出する場合、フレームメ
モリ331の出力は２フレーム前の映像情報となる。
ＭＶ検出回路332では、この２フレーム前の映像情報と、新しい映像情報を比較して、
映像情報がどの方向にどの程度動いたか（すなわちＭＶ）を検出する。この検出は、例え
ば画素ごとに行われ、その画素の周辺の情報も用いてＭＶを検出する。
ＭＶ検出で難しい点は、変化の乏しい部分などで検出ができない場合があることである
。ＭＶのうち手振れや車振れなど装置の振動によるＭＶは映像全体で一様な値になるし、
被写体のうち剛体内部は一様な値を示す場合が多い。このことからＭＶの検出ができない
場合には空間的に周辺のＭＶから補間することができる。

また、検出できても精度や信頼性が乏しい場合もある。このような場合も、空間的・時
間的に周辺のＭＶを参照して修正することにより、より精度と信頼性を改善することがで
きる。図４(b)に、このようなＭＶ修正回路333を追加したＭＶ生成回路の例を示す。ＭＶ
メモリ334には１フレーム分のＭＶを記憶しておき、画素ごとに周辺のＭＶから修正を行
う。周辺のＭＶ情報が揃うまでの時間や計算時間により遅延時間が発生するが、図３(b)
のように投光反射情報S2の生成に１フレーム遅延させる場合にはＭＶ修正の遅延は問題に
ならない。

図５が、本発明の撮像方法の一実施例を示す処理フローチャートである。一般的に映像
情報では差分を取ると信号量が減ってＳＮ比が悪くなる。差分情報のＳＮ比を改善したい
場合、動きを補償しながら平均化するとＳＮ比を改善することができるが、動き補償に用
いるＭＶの精度が悪いと目的とするＳＮ比改善ができなくなる。そのため差分を取る前の
、信号量が大きい状態でＭＶを生成する。
501が入力映像情報データで、例えば撮像素子から出力される。これに差分処理503を行
って所望の情報を得る。これに動き補償処理504と平均化処理505を行ってＳＮ比を改善し
、出力情報データ506を出力する。動き補償処理504に用いるＭＶはＭＶ生成処理502で生
成するが、差分を取る前のデータを用いることにより、差分データを用いた場合に比べて
精度の高いＭＶを生成する。

１００…露光期間、
１０１…露光期間、
１０２…露光期間、
１０３…露光期間、
１１１…投光期間、
１１３…投光期間、
１２０…出力期間、
１２１…出力期間、
１２２…出力期間、
１２３…出力期間、
３０１…撮像素子、
３０２…投光反射情報抽出回路、
３０３…フレームメモリ、
３０４…差分生成回路、
３０５…除算回路、
３０６…加算回路、
３０７…スイッチ、
３０８…絶対値生成回路、
３０９…出力端子、
３１０…ＭＶ生成回路、
３１１…動き補償回路、
３２０…巡回型フィルタ、
３２１…フレームメモリ、
３２２…差分生成回路、
３２３…フレームメモリ、
３２４…平均化回路、
３３１…フレームメモリ、
３３２…ＭＶ検出回路、
３３３…ＭＶ修正回路、
３３４…ＭＶメモリ、
５０１…入力映像情報データ、
５０２…ＭＶ生成処理、
５０３…差分処理、
５０４…動き補償処理、
５０５…平均化処理、
５０６…出力情報データ。

Claims (8)

1. 映像情報の差分で所望の情報を得る撮像方法において、
   上記差分を動き補償する手段と、
   動き補償した差分を時間軸方向に平均化する手段とで差分のＳＮ比を改善すると共に、
   差分を取る前の映像情報を用いて動き補償用動きベクトルを検出することを特徴とする
   撮像方法。
2. 第１項記載の撮像方法において、
   映像情報の差分がフレーム間差分であることを特徴とする撮像方法。
3. 第１項または第２項記載の撮像方法において、
   平均化する手段が巡回型フィルタであることを特徴とする撮像方法。
4. 第１項〜第３項記載の撮像方法において、
   映像情報が外光によるものと、外光と投光によるものであることを特徴とする撮像方法。
5. 撮像素子出力の差分で所望の情報を得る撮像装置において、
   上記差分を動き補償する手段と、
   動き補償した差分を時間軸方向に平均化する手段とで差分のＳＮ比を改善すると共に、
   差分を取る前の撮像素子出力を用いて動き補償用動きベクトルを検出することを特徴と
   する撮像装置。
6. 第５項記載の撮像装置において、
   撮像素子出力の差分がフレーム間差分であることを特徴とする撮像装置。
7. 第５項または第６項記載の撮像装置において、
   平均化する手段が巡回型フィルタであることを特徴とする撮像装置。
8. 第５項〜第７項記載の撮像装置において、
   間欠的に投光する手段を設けたことを特徴とする撮像装置。

Images