JP6833708B2 - 非同期信号を処理するための方法 - Google Patents

Description

本発明は、非同期信号処理の分野に関し、特に、この信号における形状検出に関する。

様々な映像信号処理技法がこれまでに開発されている。それらの技法は、一般に、従来のラスター画像手法に基づいている。

非同期センサ(DVS、ATIS)が存在する。これらのセンサは、有利に、従来のカメラに取って代わることができる。

しかし、信号の処理は、ラスター画像カメラの世界におけるほど直感的ではない。ある種のアルゴリズムが、ある種の問題群(たとえば、オプティカルフロー、形状追跡)を処理するために開発されてはいるが、他の問題は、ほとんど、もしくは全く研究されておらず、またはそれらを解決することは、より難しい。

これは、特に形状認識の場合にそうである。

形状および/または動きを検出するために、現在の方法(すなわち、従来のカメラからの映像データを使用すること)は、問題の映像データ付近に位置する画素のセットに固有の特定の視覚的特性の識別を追及する。

これらの視覚的特性は、ほとんどの場合、当業者には、画像の空間情報として(たとえこの空間情報が動いている可能性があるとしても)とらえられる。

その場合、映像データ時間情報は、軽視されることが多く、せいぜい、視覚的特性の変動/変化が、映像データの2つ以上の画像(またはフレーム)間で追及され得るくらいのものである。

時間成分を軽視することは、主に、通常の映像取得技術によって説明することが可能であり、すなわち、映像データは、多数の静止画像(またはフレーム)を生み出す取得の産物である。

この映像取得技術は、歴史的に見て、映像が処理または表示される方式を条件付けている。この一連の静止画像の存在は、映像データの時間(または動的)情報の操作を困難にする。

映像データの秒当たりの画像の数を増加させることは可能であるが、取得という観点におけるハードウェアの制約に関する理由か、または形状検出のために従来のツールを用いてこのデータをリアルタイムに処理する理由かにかかわらず、これらの画像の周波数が100Hzを超えることはまれである。

したがって、映像データの時間情報を最大限に活用することによって使用可能な信頼できる形状を検出する必要性がある。

したがって、本発明は、この状況を改善する。

規則的なサンプリング瞬間に連続画像を記録する従来のカメラと対照的に、ヒトの眼の働きから着想された生体網膜が開発されている。生体網膜は、見ることになるシーンに関する冗長情報をほんのわずかしか伝送せず、これは、非同期的である。

イベント駆動型の非同期視覚センサは、圧縮されたデジタルデータをイベントの形で引き渡す。

そのようなセンサの提示は、「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426〜2429頁において参照され得る。イベントベースの視覚センサは、冗長性を除去するという利点を有し、それにより、従来のカメラに対して、ラグタイムが低減し、ダイナミックレンジが増大する。

そのような視覚センサの出力は、画素アドレスごとに、それらが行われる時にシーンの反射率の変化を表す一連の非同期イベントから成ることができる。

センサの各画素は、独立しており、最後のイベントが発生して以降の、閾値よりも大きい強度の変化(たとえば、強度の対数を15%上回るコントラスト)を検出する。強度の変化が設定された閾値を超えたとき、強度が増加しているのか、それとも減少しているのかに従って、ONまたはOFFイベントが画素によって生成される(DVSセンサ)。ある種の非同期センサは、検出されたイベントを光強度の測定結果に関連付ける(ATISセンサ)。

センサは、従来のカメラのようにクロック単位でサンプリングされないので、それは、(たとえば、約1μsの)高い時間精度でイベント順序付けを考慮に入れることができる。そのようなセンサが、一連の画像を再構築するのに使用される場合、従来のカメラの数十ヘルツと比較して、数キロヘルツという画像レートが達成し得る。

これらのカメラの高い時間精度は、映像の時間情報を最大限に活用することを可能にすることができる。

しかしながら、イベントは時間(t)および空間(x、y)において厳密な概念であるので、これらのセンサからのイベントを処理することは複雑であり得る。したがって、その処理およびその解析は、困難であり得る。

「Activity-Driven, Event-Based Vision Sensors」、T. Delbruckら、Proceedings of 2010 IEEE International Symposium on Circuits and Systems (ISCAS)、2426〜2429頁 D. BallardおよびJ. Jehee、「Dynamic coding of signed quantities in cortical feedback circuits」、Frontiers in Psychology、3巻、第254号、2012

そのため、非同期センサから生じる信号の適切な解析を行うために操作され得る単純な機器を創出する必要性がある。

そのようなセンサが引き渡す非常に多数のイベントにおいて時間次元の動態を失うことなく時空間特性の識別を容易にするために、解析には、特に、空間次元および時間次元を含めなくてはならない。

この趣旨で、本発明は、光センサによって生み出される非同期信号を処理するための方法を提案し、このセンサは、シーンに対向して配置された画素マトリクスを有し、この方法は、
- 光センサから、マトリクスの画素ごとに前記画素からの連続イベントを含む非同期信号を受信するステップ、
- イベントが非同期信号中で受信されるときの活動プロファイル(activity profile)を使用して、非同期信号を解析するステップ
を含む。

活動プロファイルは、センサの画素ごとに、少なくとも、前記画素からの連続イベントの中で直近のイベントから経過した時間に応じて減少する活動値を含む。

画素の「活動プロファイル」は、時間に応じて曲線と見なされてよく、その値は、少なくとも、(可能性として、所与の極性に対してフィルタリングされた)この画素について受信した最後のイベントの時間を表す。

そのような形として確立される活動プロファイルは、それらの時空構造をローカルに保持することによって、イベントの出現を集約するツールを解析する。

活動プロファイルの形態は、センサによって観察されるシーンにおけるある種の基本的な形の存在を示すことが観察されている。

これらのプロファイルは、非同期イベントが受信されるにつれて変化し、そのため、センサの動態を保持する。

活動プロファイルのセットは、センサの「新鮮さカード(freshness card)」と呼ぶことができるものを形成する。

多くの信号処理アプリケーションが、活動プロファイルを使用する解析により開発され得る。非限定的な方式においては、活動プロファイルを次のために使用することが可能である。
- 形状認識: 規定された基本形状の規定された動きを変換する、典型的プロファイルのライブラリを参照する。解析により、ライブラリの典型的プロファイルに類似する活動プロファイルが検出された場合、形状認識が行われ、この形状の移動速度の示度が推定される。
- シーンにおける動きの推定: ある活動プロファイルが初めて検出され、その直後に近隣の領域内で(または非常に類似する活動プロファイル)が検出された場合は、センサの視野における物体の移動速度の推定が決定され得る。
- 画像(立体)における深度推定: 同じ(または類似する)活動プロファイルが、同じシーンを取り込む2つのセンサから生じる2つの画像において検出された場合、活動プロファイルに関連付けられている画素が、取り込まれたシーンの同じ点に対応するものと考え、したがって、この点の深度を決定することができる。
- その他。

「非同期信号」は、所与の網膜センサから生じるイベントのセット、またはこれらのイベントのサブセット(特定の画素のみに限定された空間サブセット、および/または所与の時間期間に限定された時間サブセット)とすることができる。

さらには、活動プロファイルは、前記画素からの連続イベントの中で直近のイベントから経過した時間に従って、指数関数的に減少し得る。

この指数関数的減少により、センサが受信した最後のイベントをより良く検出することが可能になり得る。

特定の実施形態においては、活動プロファイルは、さらに、前記画素からの連続イベントの中で直近のイベントに先立つイベントから経過した時間の関数とすることができる。

関連の活動プロファイルを決定するために、この画素について受信したイベントをすべて考慮に入れることすら可能である。

本発明はまた、網膜センサに特に適し、かつ先に提示された非同期信号の処理を使用する、形状を認識するための方法を提案する。

本発明はまた、形状を認識するための方法にも関することができ、この方法は、
(a) 先に提示された非同期信号を処理するための方法を実行するステップ、
(b) イベントが受信されると、前記センサの現在の画素ごとに、
(b1) 前記現在の画素についてのコンテキストを決定するステップであって、前記コンテキストが、前記現在の画素から所定の距離未満に位置する画素の活動プロファイルのセットとして規定される、ステップ、
(b2) 所定の典型的コンテキストのセットから典型的コンテキストを決定するステップであって、決定される典型的コンテキストが、典型的コンテキストのセットから、ステップ(b1)において決定されるコンテキストまでの最小距離を有する、ステップ、
(c) ステップ(b2)における典型的コンテキストの決定の発現数に従って、シグネチャーを決定するステップ、
(d) 前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ
を含む。

距離は、数学的用語での距離とすることができる。したがって、距離は、ユークリッド距離、マンハッタン距離、ミンコフスキー距離、チェビシェフ距離、または任意の他の距離とすることができる。

ほとんどの場合、「コンテキスト」を3次元空間におけるサーフェスとして表すことができる(2つの軸は、画素の座標を表し、1つの軸は、(時間の関数として)次元を有していない)。

このコンテキストにより、検討されている(すなわち、現在の)イベントの近い環境を空間的かつ時間的にとらえることが可能になる。コンテキストは、現在の画素に対して、現在のイベントが生じる画素(「現在の画素」と呼ばれる)から所定の距離未満に位置する画素座標に関連付けられている値のセットと見なすことができる。

ほとんどの場合、「成分のセット」を「ヒストグラム」としてグラフに表すことができる。「ヒストグラム」または「シグネチャー」という専門用語はまた、本明細書の残りの部分にも使用される。

別の実施形態においては、使用される典型的コンテキストについて、階層モデルを考慮に入れることができる。

したがって、本発明は、形状を認識するための方法に関することができ、(典型的コンテキストの階層モデルが規定され、各典型的コンテキストは、その階層モデルの複数のレベルに関連付けられ)、この方法は、
(a) センサの非同期信号のイベントを現在のイベントとして使用し、階層モデルの第1のレベルの典型的コンテキストを現在の典型的コンテキストとして使用するステップ、
(b) 現在のイベントとともに上記で示された非同期信号を処理するための方法を実行するステップ、
(c) 現在のイベントが受信されると、前記センサの現在の画素ごとに、
(c1) 前記現在の画素についてのコンテキストを決定するステップであって、前記コンテキストが、前記現在の画素から所定の距離未満に位置する画素についてのステップ(b)に使用される活動プロファイルのセットとして規定される、ステップ、
(c2) 現在の典型的コンテキストから典型的コンテキスト(C_k)を決定するステップ(504)であって、決定された典型的コンテキストが、現在の典型的コンテキストすべての中で、ステップ(c1)において決定されるコンテキストまでの最小距離を有する、ステップ(504)、
(c3) ステップ(c2)において識別される典型的コンテキストに応じてイベントを生成するステップ、
(d) 階層モデルのあるレベルが使用されていない場合、
- ステップ(c3)において生成されるイベントを現在のイベントとして使用するステップ、
- まだ使用されていない階層モデルのあるレベルの典型的コンテキストを現在の典型的コンテキストとして使用するステップ、
- ステップ(b)〜(e)を再実行するステップ、
(e) 階層モデルのレベルのすべてが使用されている場合、
- ステップ(c2)が最後に行われたときの典型的コンテキストの決定の発現数に応じて、シグネチャーを決定するステップ(521)、
- 前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ(524)
を含む。

これらの階層レベルは、段階的な認識を進めることを可能にし、第1の階層レベルは、非常に基本的な形状を識別することを可能にし、より高次の階層レベルは、より下位のレベルを使用してより複雑な形状を識別することを可能にする。

特定の実施形態においては、コンテキストの決定は、相異なる極性を有するイベントを別々に考慮に入れる。

たとえば、極性は、画素強度が変動し得る(たとえば、増加の場合には+1、または減少の場合には-1)という事実に対応することができる。極性はまた、すぐ下位の階層レベルについて識別される典型的コンテキストに対応することもできる。

相異なる極性を有するイベントを別々に考慮に入れることにより、決定されるコンテキストの適切性を高めることが可能になる。

この場合においては、コンテキストは、
- 「現在の画素」からの、現在の画素に対して所定の距離未満に位置する画素の座標に、および
- 所与の極性に
関連付けられている値のセットと見なすことができる。

有利には、ステップ(e)に使用される距離は、バタチャリヤ距離、または標準化距離である。

既存の装置にインストールされる、上述した方法のすべてまたは一部分を実装するコンピュータプログラムは、それ自体で有利である。

したがって、本発明はまた、上述した方法を実装するための命令を含むコンピュータプログラムにも関し、このとき、このプログラムは、プロセッサによって実行される。

このプログラムは、任意のプログラミング言語(たとえば、オブジェクト指向言語もしくは他)を使用することができ、解釈可能なソースコード、部分的にコンパイルされたコード、または全体がコンパイルされたコードの形とすることができる。

本明細書において後述する図5は、そのようなコンピュータプログラムの一般的アルゴリズムのフローチャートを形成することができる。

本発明の他の特徴および利点は、次の説明を読むと、さらに明らかになるはずである。次の説明は、単なる例示にすぎず、付属の図面と併せて読まなくてはならない。

ATISタイプの非同期光センサの総観略図である。 回転する星を含むシーンに対向して置かれている非同期センサによって生成されるイベントを示す略図である。 所与の画素のイベントについての「活動信号」の一実施形態である。 所与の画素のイベントについての「活動信号」の一実施形態である。 本発明の一実施形態による所与の「新鮮さ」カードを表す3D表面の一例である。 本発明の一実施形態によるコンテキストを表す3D表面の一例である。 トランプが裏返されているときのイベントストリームにおけるイベントの発現を示す図である。 本発明の可能な実施形態のフローチャートの一例である。 本発明の可能な実施形態における典型的コンテキストの一例である。 本発明の可能な実施形態における典型的コンテキストの一例である。 本発明の可能な実施形態における典型的コンテキストの一例である。 本発明による一実施形態を実装するためのデバイスを示す図である。 認識されることになる一形状についての、形状を検出する性能例である。 認識すべき別の形状についての形状を検出する性能例である。 認識されることになるさらに別の形状についての形状を検出する性能例である。

図1は、ATISの原理を示している。

センサを形成するマトリクスの画素101は、電子検出回路103a、103bにそれぞれ関連付けられている、フォトダイオードなどの2つの感光性素子102a、102bを備える。

センサ102aおよびその回路103aは、フォトダイオード102aに受信された光強度が規定された量だけ変わるときに、パルスP₀を生み出す。

強度のこの変化を作るパルスP₀は、他のフォトダイオード102bに関連付けられている電子回路103bをトリガする。次いで、この回路103bは、所与の光量(光子数)が、フォトダイオード102bに受信されるや否や、第1のパルスP₁、次いで第2のパルスP₂を生成する。

パルスP₁とP₂との間の時間差δtは、パルスP₀の出現直後に画素101に受信された光強度に反比例する。

ATISからの非同期情報は、画素ごとに組み合わせられた2つのパルス列(104)を含み、第1のパルス列P₀は、光強度が検出閾値を超えて変化した瞬間を示し、一方、第2の列は、パルスP₁およびP₂で構成され、その時間差δtは、対応する光強度またはグレーレベルを示す。

次いで、ATISのマトリクスの位置pの画素101からのイベントe(p,t)は、2つのタイプの情報、すなわち、イベントの瞬間tを与える、パルスP₀の位置によって与えられる時間情報、およびパルスP₁とP₂との間の時間差δtによって与えられる階調情報を含む。

次いで、画素から生じるイベントは、図2に示すものなどの3次元時空表現に置くことができる。この図においては、各点pは、枠Aに図示される一定の角速度で回転する星の動きによって、位置

の、センサの画素pのレベルで瞬間tにおいて非同期に生成されるイベントe(p,t)をマークする。ほとんどのこれらの点は、略らせん形状を伴う表面付近に分布している。さらに、図には、星の実際の動きに対応することなく、測定されるらせん形表面からのある距離に特定の数のイベントが示されている。これらのイベントは取得雑音である。

次いで、イベントe(p,t)は、次の情報のすべてによって規定され得る。

ただし、Cは、センサの空間領域であり、polは、輝度の変化の方向を表す極性であり(たとえば、増加の場合は1、または減少の場合は-1)、I(p,t)は、点pの光強度信号である。

したがって、光強度信号は、図1において説明したように、組み合わせられたパルス列のセット104とすることができる。t_uがイベントの発現のタイルを表し、t_e+,uとt_e-,uとの間の差が強度の変動に反比例する値を表す場合、I(p,t)=δ(t-t_u)+δ(t-t_e+,u)+δ(t-t_e-,u)となるように、3つのディラックδを使用して強度を符号化することが可能である。次いで、座標pに位置する画素の強度信号は、輝度情報を時間的に符号化することを可能にする。

センサのi番目のイベントをev(i)と表記することが可能であり、ただし、このとき、ev(i)は、次の情報のすべてによって規定される。

ただし、Cは、センサの空間領域であり、Piは、i番目のイベントに関わるセンサの点であり、pol_iは、イベントのタイプを表す極性であり(たとえば、i番目のイベントについての輝度の変化の方向、たとえば、増加の場合は1、または減少の場合は-1)、t_iは、i番目のイベントの発現時間であり、I_i(p,t)は、点p_i(この値が利用可能である場合)の光強度信号である。

イベントをより簡単なやり方で操作するためには、画素pごとに、および極性polごとに、イベントの「新鮮さ」を表す関数Sを規定することが可能であり、S(p,pol)は、少なくともこの画素についての最後のイベントの発現時間tの関数であり、この極性polを有する。

所与の瞬間tにおいて、所与の画素pおよび所与の極性polのイベント

ごとに、原子関数

の和として関数Sを規定することが可能であり、hは、所定の値であり、θは、原始関数の減少の速度に対応する所定の係数である。

原始関数の「和」はまた、数学的には、
- 原始関数

の(またはより一般的には、任意の減少関数の)、
- イベント

が発現した各時間t_pのディラックを含む信号との
畳み込みと見なされ得る。

例示の目的として、図3aは、センサの3つの画素p₁、p₂、およびp₃についての(および所与の極性値polについての)3つの可能な活動信号t→Sを示している。

イベントの非存在下では、値S(p₁,t)、S(p₂,t)、またはS(p₃,t)は、ゼロである。しかしながら、画素p₁における極性イベントpol(たとえば、310)の発現中、S(p₁,t)は、所与の閾値を取る(ここではhであり、この値hはユニタリとすることができる)。

次いで、活動信号の値S(p₁,t)は、このイベントの後、0に向かって移動するように次第に減少する。

これと同じことが、画素p₁についてのイベント311、画素p₂についてのイベント312、または画素p₃についてのイベント313/314に適用される。

この場合、活動信号Sの減少が線形である場合、指数関数的減少などの任意のタイプの減少を定めることができる。

この指数関数的減少は、図3bによって例示され得る(曲線3bおよびイベント320参照)。

さらに、検討されている画素(たとえば、ここではp₄)についてのイベントの発現中、関数Sの値が、値hに関して無視することができない(たとえば、イベント321が時間的にイベント322に近い)ことが起こり得る。

一実施形態においては、後続のイベント322の発現中、活動信号の値Sは、イベント322の直前の現在の値S(すなわち、h₀)およびhの和(重み付けされる可能性もある)に設定され得る。したがって、曲線Sの減少は、図3bに示されているように値h+h₀から開始することになる。さらに、h+h₀の値が所定の値h₁(すなわち、min(h₁,h+h₀))を上限とすることを定めることも可能である。

別の実施形態においては、後続のイベント322の発現中、曲線Sの値は、h₀の値に関わらず、値hに設定される(すなわち、最後のイベント(すなわち、後続のイベント)に先立つイベントは無視される)。この他の実施形態においては、次のように規定される「最後のイベントの時間」と呼ばれる時間を規定することが可能である。
T(p,pol,i)=max(t_j)|j<i
または
T(p,pol,t)=max(t_j)|t_j<t
ただし、t_jは、極性polを含む画素pについての画素に発現するイベント時間である。

概念上は、p→T(p,pol,t)は、参照時間(すなわち、t)の直前に時間的に発現する同じ極性の最後のイベントの時間のカードを規定する。

次いで、この他の実施形態においては、p→S(p,pol,t)を、この時間セットT(p,pol,t)の関数であるように規定することが可能である。

たとえば、p→S(p,pol,t):

ただし、τおよびhは、所定の時間定数である(Sは、ある間隔にわたる時間tをより低い限界値T(p,pol,t)として含む任意の減少関数とすることができる)。

これらの画素のイベントの「新鮮さ」を表す画素のカードSを作成することは、それが、不連続コンセプト(すなわちイベント)の連続的かつ単純な表現を可能にするので、有利である。この作成されたカードは、簡単なとらえ方の領域においてイベントの表現を変換することを可能にする。

次いで、その作成は、イベントの操作および比較を単純化する。

一旦、画素カードp→S(p,pol,t)が決定されると、時間tについて、および固定された極性値polについての座標pに従って、Sの振幅の3Dグラフを作成することが可能である(図3c参照)。

もちろん、Sは、N個のセットの分離値(すなわち、(p,pol)→S(p,pol,t))を、各可能な極性値polにつき1つずつ含めることができる(N個の可能な極性値が存在する場合)。

S_pは、画素pの「コンテキスト」と呼ばれ、画素p付近の(すなわち、たとえば、画素p上に中心がある辺の平方2R+1における、画素pの所定の距離、たとえば、数学的用語での距離に位置する)画素qについての値(q,pol)→S(q,pol,t)のセットである。(いくつかの可能な極性値を含む)コンテキストを視覚的に表すために、様々の可能なpol値について、q→S(q,pol,t)のいくつかの表現を並置することが可能である。

たとえば、図3dは、画素pの「コンテキスト」350を表すことができ、平坦域351は、関数q→S(q,1,t)の値を表し、平坦域352は、関数q→S(q,-1,t)の値を表す(もちろん、平坦域は任意の形状を有してよく、平坦域の選択は単に見やすくすることを可能にしているにすぎない)。同様に、点353および354は、同じ画素の、ただし、異なる極性についての関数Sの値に対応する。

任意の画素pについてのコンテキストS_pを規定することができる。

可能な様々なコンテキストを特徴付けできるようにするために、「典型的」と称されるコンテキストを規定することが可能である。

これらの典型的コンテキストは、あらかじめ決定されることも、または文献D. BallardおよびJ. Jehee、「Dynamic coding of signed quantities in cortical feedback circuits」、Frontiers in Psychology、3巻、第254号、2012によって、もしくは別の方法(たとえば、「k平均」法)を用いることによって、定められるアルゴリズムに基づいて決定されることもできる。

画素pについて識別されるコンテキストS_pごとに、画素pに、S_pに最も近い典型的コンテキストに対応する典型的コンテキストを関連付けることができる。コンテキストS_pと典型的コンテキストとの間の距離は、たとえば、同じ画素pおよび同じ極性polについてのコンテキストS_pの値と典型的コンテキストの値との間のユークリッド距離の和を計算することによって決定され得る。距離はまた、二乗ユークリッド距離の和の関数とすることもできる。

計算された距離が特定の所定の閾値以上である場合、画素pに、任意の典型的コンテキストを関連付けないことが可能である。

これらの典型的コンテキスト{C_k}は、コンテキストS_pについての上述した制限付き空間領域にわたって(たとえば、辺の平方2R+1に関して)規定される。

また、典型的コンテキストのいくつかの階層レベルを規定することも可能であり、各階層レベルmは、複数の典型的コンテキスト{C_{k_m}}を規定する。そのような階層レベルの利益については、図5の説明に関して詳述する。

例示の目的として、図6aは、可能な典型的コンテキストの第1の階層レベル(すなわち、極性1(典型的コンテキストのそれぞれのコンテキストの左ゾーン)または極性-1(典型的コンテキストのそれぞれのコンテキストの右ゾーン)についてのサイズ5×5画素)を示している。

加えて、所与の瞬間tにおいて、および各画素pに関連付けられている典型的コンテキスト{C_k}(またはより概括的には、固定された階層レベルmについての{C_{k_m}})の識別後、可能な画素pのすべてについての典型的コンテキストのそれぞれのコンテキストの発現数を計算することも可能である。

これらの計算された発現数により、イベントストリームを特徴付けるシグネチャー/ヒストグラムΗを作成することが可能になる(縦座標としては、発現数、横座標としては、識別される典型的コンテキストの指数)。

形状認識を可能にするイベントのストリームの特徴付けはまた、エコーステートネットワーク(Echo-State Network)または反復ニューラルネットワーク(recurring Neural Network)などの他の方法も使用することができる。

例示の目的として、図4は、クラブ、ダイヤモンド、ハート、およびスペードを含むトランプが裏返されているときの「ON」イベント(白色の点)および「OFF」イベント(黒色の点)の発現を示している。イベント(a)、(b)、(c)、および(d)のストリームのそれぞれのイベントにそれぞれ関連付けられているヒストグラムもまた、イベントのこれらのストリームの下部に表示されており、これらのヒストグラムは、イベントストリームにおいて認識すべき形状の、いわば「シグネチャー」を形成する。

所定の数のトレーニング中、これらのヒストグラムを構築すること(すなわち、同じ形状を表すイベントストリームの提示によってヒストグラムを生成すること)が可能であり、したがって、同じ形状および/または同じ動きについてのトレーニング中に得られるヒストグラムを平均化することによって「典型的ヒストグラム」を決定することが可能である。

一旦、これらの典型的ヒストグラムが決定されると、次いでイベントストリームから現在のヒストグラムを再度、決定し、このヒストグラムを、トレーニング段階中に決定される典型的ヒストグラムと比較することが可能である。

次いで、現在のヒストグラムと距離が最も近い典型的ヒストグラムは、イベントストリームに対応する形状を識別することを可能にすることができる。

さらには、k最接近ヒストグラムタイプを(可能性として、それらの近接度に対応するスコアと共に)戻すことも可能である。

2つのヒストグラムΗ₁とΗ₂との間の距離は、典型的コンテキストのそれぞれのコンテキストについての発現数を座標に有する2つのベクトル間の数学的距離として計算され得る。
d(Η₁;Η₂)=||Η₁-Η₂||

また、次のように、標準化距離を計算することも可能である。

ただし、カード(Η_j)は、ヒストグラムΗ_jの典型的コンテキストの数(すなわち、縦棒)である。

バタチャリヤ距離もまた、従来の距離の代わりとして使用され得る。

ただし、Η_j(i)は、ヒストグラムΗ_jのi番目の典型的コンテキストの発現数である。

任意の他の数学的距離もまた使用可能である。

次いで、関連の典型的ヒストグラムに対応する形状が、イベントストリームに発現したと考えることができる。

したがって、この典型的ヒストグラムのおかげで、形状認識が可能である。

図5は、本発明の可能な実施形態のフローチャートの一例である。

非同期センサから生じ、かつ時間t_iに関連付けられているイベントストリーム500のイベントiを受信すると、上記で示したように、センサの各画素pについて、およびpolの各値についてのS(p,pol,t_i)の値を決定する、または更新することが可能であり(ステップ501)、このステップにより、センサの「新鮮さ」カードを作成する、または更新することが可能になる。

ステップ501では、Sの原始関数の減少に使用される時間定数は、τ₁と表記される。したがって、たとえば、

を得ることができる。

一旦、この決定が実行されると、センサの画素pごとに、ステップ501において先に計算された新鮮さカードからコンテキストS_pを抽出することが可能であり(ステップ502)、この抽出により、検討されている画素pに対する空間的近接度N_pを含む画素qについて、および所与の極性値polについてのS(q,pol,t_i)の特定の値を分離することが可能になる。例示の目的として、N_{p_1}は、検討されている空間的位置pを中心とする正方形または長方形を規定することができる。空間的近接度N_{p_1}は、そのように抽出されるコンテキストが、第1の階層レベルの典型的コンテキスト503(C_{k_1})の次元に等しい次元であるように規定されて、この典型的コンテキストと比較され得る。

例示の目的として、図6aは、可能な典型的コンテキストの第1の階層レベル(すなわち、極性1(典型的コンテキストのそれぞれのコンテキストの左ゾーン)または極性-1(典型的コンテキストのそれぞれのコンテキストの右ゾーン)についてのサイズ5×5画素)を示している。

画素pに関連付けられている決定されたコンテキストS_{p_1}を第1の階層レベルの可能な典型的コンテキスト{C_{k_1}}と比較することにより、上記で示したようにS_{p_1}に最も近い典型的コンテキストを識別することが可能になる(ステップ504)。

第1の階層レベルの可能な典型的コンテキスト{C_{k_1}}の中で最も近い典型的コンテキストC_{k_1prox}のこの識別により、画素pについて、この画素pに関連付けられている典型的コンテキストを示すイベントev₁を生成することが可能になる(ステップ505)。

ただし、tは、現在の時間である。

最も近い典型的コンテキストが識別されない場合(上記参照)、イベントは生成されない。

これらのイベントev₁(p)を生成すると、イベントの非同期ストリームも形成される(506)。

次いで、センサから生じるイベント500と同様のやり方で、これらのイベント506を処理することが可能である。

したがって、イベントストストリーム506の、時間t_jに関連付けられる各イベントjを受信すると、たとえば、上記で示したように、センサの各画素pについて、およびpolの各値についての値(p,pol)→S₂(p,pol,t_j)として有する新規の「新鮮さ」カード(すなわち、第2の階層レベルについてのカード)の値を決定する、または更新することが可能である(ステップ511)(このステップ511では、polの値が、第1の階層レベルについてのステップ504中に識別される典型的コンテキスト、すなわち、図6aのフレームワークにおいて可能な4つの典型的コンテキストを示し、各典型的コンテキストが2つの極性を有することがわかる)。

ステップ511では、原始関数の減少に使用される時定数はτ₂と表記され、ただし、τ₂≧τ₁である。したがって、たとえば、

を得ることができる。

一旦、この決定が実行されると、センサの画素pごとに、上記のステップ511において計算された新鮮さカードからコンテキストS_{p_2}を抽出することができ(ステップ512)、この抽出により、検討されている画素pに対する空間的近接度N_{p_2}を含む画素qについて、および所与の極性値polについてのS₂(q,pol,t_i)の特定の値を分離することが可能になる。例示の目的として、N_{p_2}は、検討されている空間的位置pを中心とする正方形または長方形を規定することができる。空間的近接度N_{p_2}は、そのように抽出されるコンテキストが、第2の階層レベルの典型的コンテキスト513(C_{k_2})の次元に等しい次元であるように規定されて、この典型的コンテキストと比較され得る。

例示の目的として、図6bは、8つの可能な典型的コンテキストの第2の階層レベルを示している。

第1の階層レベルの各典型的コンテキストが、2つのゾーン(極性-1のイベント(OFF)についての1つのゾーン、および極性1のイベント(ON)についての1つのゾーン、図6a参照)を有する場合、第2の階層レベルの典型的コンテキストは、すぐ下位の階層レベル(すなわち、ここでは、第1の階層レベル、図6b参照)における典型的コンテキストと同数のゾーン(すなわち、4)を有する。

さらに、第2の階層レベルの典型的コンテキストは、空間的近接度N_{p_2}が、空間的近接度N_{p_1}によって規定されるものよりも大きいゾーンを規定するようなものとすることができる(たとえば、N_{p_1}が辺の平方2R₁+1によって規定される場合には、N_{p_2}は、辺の平方2R₂+1によって規定され得、ただし、R₂≧R₁である)。

画素pに関連付けられている決定されたコンテキストS_{p_2}を第1の階層レベルの可能な典型的コンテキスト{C_{k_2}}と比較することにより、上記で示したようにS_{p_2}に最も近い典型的コンテキストを識別することが可能になる(ステップ514)。

第2の階層レベルの可能な典型的コンテキスト{C_{k_2}}の中で最も近い典型的コンテキストC_{k_2prox}のこの識別により、画素pについて、この画素pに関連付けられている典型的コンテキストを示すイベントev₂を生成することが可能になる(ステップ515)。

ただし、tは、現在の時間である。

最も近い典型的コンテキストが識別されない場合(上記参照)、イベントは生成されない。

これらのイベントev₂(p)を生成すると、イベントの非同期ストリームも形成される(516)。

次いで、イベント506と同様のやり方でこれらのイベント516を処理することができ、より高い階層レベル(テスト517、出力OK、たとえば、図6c(図6c(1)および図6c(2))によって表されるレベル3の階層レベル)が存在する場合、すぐ下位の階層レベルによって生成されるイベントを入力として取ることによって、およびこの上位の階層レベルの典型的コンテキスト(513参照)を使用することによって、ステップ511〜515を繰り返すことが可能である。

上位の階層レベルが存在しない場合、画素pのすべてについて、および固定された時間tについて識別される典型的コンテキスト(513)の発現数をカウントすることが可能である。上記で説明したように、このカウンティングにより、識別される典型的コンテキストの発現数を表すヒストグラムΗの決定が可能になる(ステップ521)。

ステップ521において決定されるヒストグラムを使用すると、次いで、形状および/または動きを表す典型的ヒストグラム(523)間の距離を計算し、したがって、最も近い典型的ヒストグラムを決定することが可能である(ステップ522)。

決定されるこの典型的ヒストグラムのおかげで、このヒストグラムに関連付けられている形状および/または動きを決定し(ステップ524)、したがって、この形状および/またはこの動きを戻す(525)ことが可能である。

もちろん、図5のフローチャートが、典型的コンテキストの少なくとも1つの第2の階層レベルの解析後にステップ520〜524の実行を示している場合、これらのステップ520〜524は、ステップ501〜505の後に、完全に実行可能である(すなわち、単一の階層レベルの解析による)。

図7は、本発明による一実施形態を実装するためのデバイスを示している。

この実施形態においては、デバイスは、方法の実装を可能にする命令、受信したイベントストリームに関するデータ、および上述したような方法の様々なステップを行うための一時データを記憶するためのメモリ705を含むコンピュータ700を備える。

コンピュータは、回路704をさらに備える。この回路は、たとえば、
- コンピュータプログラムの形の命令を解釈することができるプロセッサ、または
- 本発明の方法のステップがシリコンの中に記述されている電子カード、または
- FPGAチップ(フィールドプログラマブルゲートアレイ)などのプログラマブル電子チップ
とすることができる。

このコンピュータは、センサからイベントを受信するための入力インターフェース703、およびイベントストリームにおいて識別される形状707を供給するための出力インターフェース706を備える。最後に、コンピュータは、ユーザと簡単に対話することを可能にするために、スクリーン701およびキーボード702を備えることができる。もちろん、キーボードは、たとえば、タッチセンサー式タブレットの形を有するコンピュータのフレームワークにおいては特にオプションである。

図8aは、形状(クラブ、ダイヤモンド、ハート、およびスペード)の検出の性能例である。

各行(縦座標801参照)は、学習された特定の形状(すなわち、典型的ヒストグラム、上記参照)に関するデータに対応する。

各列(横座標802参照)は、認識されなくてはならない特定の形状(すなわち、認識すべきヒストグラム)に関するデータに対応する。

行と列との(たとえば、セット803に対応する)交わりは、典型的ヒストグラムと、形状のいくつかの提示(ここでは、点線の鉛直線によって分離されている、形状の9つの提示)について認識すべきヒストグラムとの距離を見ることを可能にする。
- 白色の棒(左の棒)は、従来の距離に対応する。
- 灰色の棒(中間の棒)は、標準化距離に対応する。
- 黒色の棒(右の棒)は、バタチャリヤ距離に対応する。

そのように表される3つの距離(それぞれ、従来、標準化、およびバタチャリヤ)は、これらの形状について、94%、100%、および97%のそれぞれの性能を有する。

図8bは、形状(数字および大文字)の検出の性能例である。

各行(縦座標804参照)は、学習された特定の形状(すなわち、典型的ヒストグラム、上記参照)に関するデータに対応する。

各列(横座標805参照)は、認識されなくてはならない特定の形状(すなわち、認識すべきヒストグラム)に関するデータに対応する。

行と列との(たとえば、セット806に対応する)交わりは、典型的ヒストグラムと、形状の提示について認識すべきヒストグラムとの距離を見ることを可能にする。
- 白色の棒(左の棒)は、従来の距離に対応する。
- 灰色の棒(中間の棒)は、標準化距離に対応する。
- 黒色の棒(右の棒)は、バタチャリヤ距離に対応する。

そのように表される3つの距離(それぞれ、従来、標準化、およびバタチャリヤ)はすべて、これらの形状について、100%の性能を有する。

図8cは、形状(顔)の検出の性能例である。

各表(807、808、および809)は、提示されている顔(横座標)の認識の発現数を、この顔の19個の提示についての学習された顔(縦座標)を用いて提示している。

表807は、従来の距離を使用して、顔認識を実行する(認識率: 37%)。

表808は、標準化距離を使用して、顔認識を実行する(認識率: 78%)。

表808は、バタチャリヤ距離を使用して、顔認識を実行する(認識率: 79%)。

さらに、図5に示されている機能図は、特定の命令が、説明されているデバイスにより実行され得るプログラムの典型的な例である。したがって、図5は、本発明の観点から、コンピュータプログラムの一般的アルゴリズムのフローチャートに対応することができる。

もちろん、本発明は、例として上述した実施形態に限定されず、それは、他の代替形態に及ぶ。

他の実施形態が可能である。

たとえば、図6a〜図6cの典型的コンテキストは、いかなる任意の次元であってもよい。

さらに、本明細書には、主に、光/映像センサから生じるイベントソースについて述べている。しかしながら、説明されている本発明は、そのような非同期モードを介して機能しかつその空間的構成が映像センサに類似することになる、たとえば、圧力センサのネットワークなどのイベント源の任意のセットに一般化される。

101 画素
102a 感光性素子、センサ
102b 感光性素子、フォトダイオード
103a、103b 電子検出回路
104 パルス列
311、312、313、314、320、321、322 イベント
353、354 点
500、506 イベントストリーム
513 コンテキスト
516 イベント
517 テスト
523 典型的ヒストグラム
700 コンピュータ
701 スクリーン
702 キーボード
703 入力インターフェース
704 回路
705 メモリ
706 出力インターフェース
707 形状
801 縦座標
802 横座標
803 セット
804 縦座標
805 横座標
806 セット
807、808、809 表
P₀、P₁、P₂ パルス
S 関数
m 階層レベル
p マトリクスの位置、点、画素
pol 極性
t 瞬間、時間
Η ヒストグラム
δt 時間差

Claims (9)

1. 光センサによって生み出される非同期信号を処理するための方法であって、前記光センサが、シーンに対向して配置された画素マトリクスを有し、前記方法は、
   - 前記光センサから、前記画素マトリクスの画素ごとに前記画素からの連続イベントを含む前記非同期信号を受信するステップ(500)と、
   - イベントが前記非同期信号中で受信されるときの活動プロファイルを使用して、前記非同期信号を解析するステップ(501)とを含み、
   前記活動プロファイルが、前記光センサの画素(p)ごとに、少なくとも、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて減少する活動値(S(p))を含む、方法。
2. 前記活動プロファイルが、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)から経過した時間(t)に応じて指数関数的に減少する、請求項1に記載の方法。
3. 前記活動プロファイルが、前記画素からの前記連続イベントの中で直近のイベント(310、311、312、313、314、320、321、322)に先立つイベントから経過した時間(t)の関数である、請求項1または2に記載の方法。
4. 形状を認識するための方法であって、
   (a) 請求項1から3のいずれか一項に記載の方法を実行するステップと、
   (b) イベントが受信されると、前記光センサの現在の画素(p)ごとに、
   (b1) 前記現在の画素についてのコンテキスト(S_p)を決定するステップ(501)であって、前記コンテキスト(S_p)が、前記現在の画素(p)から所定の距離未満に位置する画素の活動プロファイルのセットとして規定される、ステップ(501)と、
   (b2) 所定の典型的コンテキストのセットから典型的コンテキスト(C_k)を決定するステップ(504)であって、決定される前記典型的コンテキストが、所定の典型的コンテキストの前記セットから、前記ステップ(b1)において決定される前記コンテキストまでの最小距離を有する、ステップ(504)と、
   (c) 前記ステップ(b2)における典型的コンテキストの前記決定の発現数に応じて、シグネチャーを決定するステップ(521)と、
   (d) 前記シグネチャーをシグネチャータイプのベースと比較することにより、形状を決定するステップ(524)とを含む、方法。
5. 形状を認識するための方法であって、典型的コンテキストの階層モデルが規定され、各典型的コンテキストが、前記階層モデルの複数のレベルに関連付けられ、前記方法が、
   (a) センサの非同期信号のイベントを現在のイベントとして使用し、前記階層モデルの第1のレベルの典型的コンテキストを現在のタイプのコンテキストとして使用するステップと、
   (b) 前記現在のイベントとともに請求項1から3のいずれか一項に記載の方法を実行するステップと、
   (c) 現在のイベントが受信されると、前記センサの現在の画素(p)ごとに、
   (c1) 前記現在の画素についてのコンテキスト(S_p)を決定するステップ(501)であって、前記コンテキスト(S_p)が、前記現在の画素(p)から所定の距離未満に位置する画素についての前記ステップ(b)に使用される活動プロファイルのセットとして規定される、ステップ(501)と、
   (c2) 前記現在の典型的コンテキストから典型的コンテキスト(C_k)を決定するステップ(504)であって、前記決定された典型的コンテキストが、前記現在の典型的コンテキストすべての中で、前記ステップ(c1)において決定される前記コンテキストまでの最小距離を有する、ステップ(504)と、
   (c3) 前記ステップ(c2)において決定される前記典型的コンテキストに応じてイベントを生成するステップと、
   (d) 前記階層モデルのあるレベルが使用されていない場合、
   - 前記ステップ(c3)において生成される前記イベントを現在のイベントとして使用するステップと、
   - まだ使用されていない前記階層モデルのあるレベルの典型的コンテキストを、現在の典型的コンテキストとして使用するステップと、
   - ステップ(b)〜(e)を実行または再実行するステップと、
   (e) 前記階層モデルの前記レベルのすべてが使用されている場合、
   - 前記ステップ(c2)が最後に行われたときの典型的コンテキストの前記決定の発現数に応じて、シグネチャーを決定するステップ(521)と、
   - 前記シグネチャーを典型的シグネチャーのベースと比較することにより、形状を決定するステップ(524)とを含む、方法。
6. 前記典型的コンテキストの前記決定が、相異なる極性を有する前記イベントを別々に考慮に入れる、請求項4または5に記載の方法。
7. 前記ステップ(e)の前記比較が、バタチャリヤ距離の計算を含む、請求項5または6に記載の方法。
8. 前記ステップ(e)の前記比較が、標準化距離の計算を含む、請求項5または6に記載の方法。
9. コンピュータプログラムであって、プログラムがプロセッサによって実行されるときに請求項1から8のいずれか一項に記載の方法を実行するための命令を含むコンピュータプログラム。

Images