JP2017130185A - イベント信号処理方法及び装置並びにイベント基盤ビジョンセンサ基盤のピクセル増強方法及び装置 - Google Patents

Abstract

【課題】イベント信号処理方法及び装置並びにイベント基盤ビジョンセンサ基盤のピクセル増強方法及び装置を提供する。【解決手段】本発明のイベント信号処理方法は、イベント基盤センサから出力されるタイムスタンプを含むイベント信号を受信し、タイムスタンプに基づいて第１タイムスタンプマップを生成し、第１タイムスタンプマップの少なくとも２つのタイムスタンプに基づいて第１タイムスタンプマップ内に新しいタイムスタンプを補間することによって新しいタイムスタンプマップを生成する。【選択図】図１

Description

本発明は、イベント信号を処理する方法及び装置並びにイベント基盤ビジョンセンサ基盤のピクセル増強方法及び装置に関する。

オブジェクト又は動作を識別又は認識する技術は様々な分野で活用されている。イベント基盤センサは、動作認識、顔認識、及び人認識などのオブジェクトを識別又は認識するために用いられる。識別又は認識の正確度を高めるため、イベント基盤センサから出力される信号の処理技術の研究が求められている。

本発明は、上記従来技術に鑑みてなされものであって、本発明の目的は、イベント信号を処理する方法及び装置並びにイベント基盤ビジョンセンサ基盤のピクセル増強方法及び装置を提供することにある。

上記目的を達成するためになされた本発明の一態様によるイベント信号処理方法は、イベント基盤センサから複数のタイムスタンプを含む複数のイベント信号を受信するステップと、前記複数のタイムスタンプに基づいて第１タイムスタンプマップを生成するステップと、前記第１タイムスタンプマップのうちの少なくとも２つのタイムスタンプに基づいて前記第１タイムスタンプマップ内に新しいタイムスタンプを補間することにより第２タイムスタンプマップを生成するステップと、を有する。

前記第１タイムスタンプマップを生成するステップは、前記第１タイムスタンプマップのピクセルの値に前記複数のイベント信号のうちの当該ピクセルに対応するイベント信号に含まれるタイムスタンプを設定するステップを含み得る。
前記第２タイムスタンプマップを生成するステップは、前記第１タイムスタンプマップの複数のピクセルのうちの前記新しいタイムスタンプを有するピクセルに隣接するピクセルのタイムスタンプに基づいて前記第１タイムスタンプマップ内に前記新しいタイムスタンプを補間するステップを含み得る。
前記第２タイムスタンプマップを生成するステップは、前記少なくとも２つのタイムスタンプの平均値に基づいて前記第１タイムスタンプマップ内に前記新しいタイムスタンプを補間するステップを含み得る。
前記第２タイムスタンプマップを生成するステップは、前記第１タイムスタンプマップの複数のピクセルのうちのいずれか１つを新しい複数のピクセルに分割するステップと、前記少なくとも２つのタイムスタンプに基づいて前記新しい複数のピクセルの新しい複数のタイムスタンプを補間するステップと、を含み得る。
前記新しい複数のタイムスタンプを補間するステップは、前記新しい複数のタイムスタンプのそれぞれを前記分割されたピクセルのタイムスタンプに設定するステップを含み得る。
前記新しい複数のタイムスタンプを補間するステップは、前記新しい複数のピクセルのうちのいずれか１つの新しいピクセルに隣接する少なくとも１つのピクセルの少なくとも１つのタイムスタンプから最も大きいタイムスタンプを選択するステップと、前記新しいピクセルの新しいタイムスタンプを前記選択された最も大きいタイムスタンプと前記分割されたピクセルのタイムスタンプとの平均値に設定するステップと、を含み得る。
前記第２タイムスタンプマップを生成するステップは、前記少なくとも２つのタイムスタンプに基づいて前記複数のイベント信号に対応する複数のイベントの流れを示すベクトルを生成するステップと、前記ベクトルに基づいて前記第１タイムスタンプマップ内に前記新しいタイムスタンプを補間するステップと、を含み得る。
前記第２タイムスタンプマップの解像度は、前記第１タイムスタンプマップの解像度よりも高くあり得る。
前記イベント基盤センサの複数の検出要素のそれぞれは、イベントを検出して活性化信号を出力し得る。
イベント信号は、前記イベント基盤センサの複数の検出要素のうちのイベントを検出した対象要素を識別する識別情報、及び前記イベントを検出した時間を示すタイムスタンプを含み得る。
前記イベント信号処理方法は、前記第２タイムスタンプマップに基づいて複数の前記イベント信号に対応するユーザ入力を認識するステップを更に含むことができる。
前記イベント信号処理方法は、前記第２タイムスタンプマップを拡大するステップと、前記第１タイムスタンプマップ及び前記拡大された第２タイムスタンプマップに基づいて前記複数のイベント信号に対応するユーザ入力を認識するステップと、を更に含むことができる。
前記イベント信号処理方法は、前記第１タイムスタンプマップに基づいて前記複数のイベント信号に対応する第１認識結果を生成するステップと、前記第２タイムスタンプマップに基づいて前記複数のイベント信号に対応する第２認識結果を生成するステップと、前記第１認識結果及び前記第２認識結果に基づいて前記複数のイベント信号に対応するユーザ入力を認識するステップと、を更に含むことができる。

一実施形態によると、コンピュータ読み取り可能な記録媒体は、前記イベント信号処理方法を実行させるためのプログラムを記録する。

上記目的を達成するためになされた本発明の一態様によるイベント基盤ビジョンセンサ基盤のピクセル増強方法は、イベント基盤ビジョンセンサの複数の検出要素によって複数のイベントが検出された時間情報を受信するステップと、前記時間情報に基づいて前記複数の検出要素に対応する複数のピクセルの複数のタイムスタンプを生成するステップと、前記複数のピクセルのうちの対象ピクセルを複数のサブピクセルに分割するステップと、前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のサブピクセルの複数のタイムスタンプを生成するステップと、を有する。

前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、前記複数のサブピクセルのうちのいずれか１つのサブピクセルのタイムスタンプを前記対象ピクセルのタイムスタンプに設定するステップを含み得る。
前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、前記対象ピクセルのタイムスタンプ及び前記複数のサブピクセルのうちのいずれか１つのサブピクセルに隣接する少なくとも１つのピクセルのタイムスタンプに基づいて前記複数のサブピクセルのうちの前記いずれか１つのサブピクセルのタイムスタンプを補間するステップを含み得る。
前記サブピクセルのタイムスタンプを補間するステップは、前記サブピクセルに隣接する前記少なくとも１つのピクセルのタイムスタンプのうちの最も大きいタイムスタンプと前記対象ピクセルのタイムスタンプとの平均値を算出するステップと、前記サブピクセルの前記タイムスタンプを前記算出された平均値に設定するステップと、を含み得る。
前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のイベントの流れを示すベクトルを生成するステップと、前記ベクトルの方向に基づいて前記複数のサブピクセルの複数のタイムスタンプを設定するステップと、を含み得る。
前記複数のサブピクセルの複数のタイムスタンプを設定するステップは、前記サブピクセルのうちの前記ベクトルの方向に直交する方向に配列されたサブピクセルを選択するステップと、前記選択されたサブピクセルのタイムスタンプを前記対象ピクセルのタイムスタンプに設定するステップと、を含み得る。
前記複数のサブピクセルの複数のタイムスタンプを設定するステップは、前記サブピクセルのうちの前記ベクトルの方向に水平する方向に配列された少なくとも１つのサブピクセルを選択するステップと、前記選択されたサブピクセルに隣接するピクセルのタイムスタンプに基づいて前記選択されたピクセルのタイムスタンプを補間するステップと、を含み得る。
前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数の検出要素のうちの前記複数のイベントが検出されない検出要素に対応するピクセルのタイムスタンプを推定するステップと、前記推定されたタイムスタンプ及び前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のサブピクセルの複数のタイムスタンプを補間するステップと、前記検出要素に対応する前記ピクセルの前記タイムスタンプをオリジナルタイムスタンプに復元するステップと、をみ得る。

上記目的を達成するためになされた本発明の一態様によるイベント信号処理装置は、イベント基盤センサから複数のタイムスタンプを含む複数のイベント信号を受信し、前記複数のタイムスタンプに基づいて第１タイムスタンプマップを生成し、前記第１タイムスタンプマップのうちの少なくとも２つのタイムスタンプに基づいて前記第１タイムスタンプマップ内に新しいタイムスタンプを補間することにより第２タイムスタンプマップを生成するプロセッサと、を備える。

前記プロセッサは、前記少なくとも２つのタイムスタンプに基づいて前記複数のイベント信号に対応する複数のイベントの流れを示すベクトルを生成し、前記ベクトルの方向により前記第１タイムスタンプマップの境界線の外側にある前記新しいタイムスタンプを有するピクセルを決定し、前記新しいタイムスタンプをｎｕｌｌタイムスタンプに設定し得る。

上記目的を達成するためになされた本発明の一態様によるイベント基盤ビジョンセンサ基盤のピクセル増強装置は、イベント基盤ビジョンセンサの複数の検出要素によって複数のイベントが検出された時間情報を受信し、前記時間情報に基づいて前記複数の検出要素に対応する複数のピクセルの複数のタイムスタンプを生成し、前記複数のピクセルのうちの対象ピクセルを複数のサブピクセルに分割し、前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のサブピクセルの複数のタイムスタンプを生成するプロセッサを備える。

前記プロセッサは、前記複数のサブピクセルのうちのいずれか１つのサブピクセルを追加的な複数のサブピクセルに分割し、前記複数のピクセルの前記複数のタイムスタンプ及び前記複数のサブピクセルの前記複数のタイムスタンプに基づいて前記追加的な複数のサブピクセルの複数のタイムスタンプを生成し得る。

本発明によると、イベント信号を処理する方法及び装置並びにイベント基盤ビジョンセンサ基盤のピクセル増強方法及び装置を提供することができる。

一実施形態によるイベント信号処理方法を説明するフローチャートである。 一実施形態によるタイムスタンプマップを説明する図である。 一実施形態によるタイムスタンプが補間される動作を説明する図である。 一実施形態によるタイムスタンプが補間される動作を説明する図である。 他の実施形態によるタイムスタンプが補間される動作を説明する図である。 他の実施形態によるタイムスタンプが補間される動作を説明する図である。 他の実施形態によるタイムスタンプが補間される動作を説明する図である。 他の実施形態によるタイムスタンプが補間される動作を説明する図である。 他の実施形態によるタイムスタンプが補間される動作を説明する図である。 一実施形態によるイベント信号に対応するユーザ入力が認識される動作の一例を説明する図である。 一実施形態によるイベント信号に対応するユーザ入力が認識される動作の他の例を説明する図である。 一実施形態によるイベント信号に対応するユーザ入力が認識される動作の更に他の例を説明する図である。 一実施形態によるイベント基盤ビジョンセンサ基盤のピクセル増強方法を説明するフローチャートである。 一実施形態によるイベント信号処理装置又はイベント基盤ビジョンセンサ基盤のピクセル増強装置の構成を示す図である。

本発明の実施形態に対する特定の構造的又は機能的な説明は単に例示のための目的として開示したものであって、様々な形態に変更されて実施され得る。従って、本実施形態は、特定の開示形態に限定されるものではなく、本明細書の範囲は技術的な思想に含まれる変更、均等物、又は代替物を含む。

第１又は第２などの用語を複数の構成要素を説明するために用いるが、このような用語は１つの構成要素を他の構成要素から区別する目的のみとして解釈されなければならない。例えば、第１構成要素は第２構成要素と命名することができ、同様に第２構成要素は第１構成要素にも命名することができる。

いずれかの構成要素が他の構成要素に「連結されて」いると言及した場合、その次の構成要素に直接的に連結されるか、又は中間に他の構成要素が存在することもあると理解しなければならない。

単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組合せたものが存在することを示すものであって、１つ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれらを組合せたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

本実施形態は、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、テレビ、スマート家電機器、知能型自動車、キオスク、ウェアラブル装置などの様々な形態の製品で具現される。例えば、本実施形態はスマートフォン、モバイル機器、スマートホームシステムなどでユーザの認識に適用される。本実施形態は、ユーザ認識を通した決済サービスに適用される。また、本実施形態は、ユーザを認識して自動で始動する知能型自動車システムなどにも適用される。

以下、本発明を実施するための形態の具体例を、図面を参照しながら詳細に説明する。図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、これに対する重複説明は省略する。

図１は、一実施形態によるイベント信号処理方法を説明するフローチャートである。

本実施形態によると、イベント信号処理装置は、イベント基盤センサから出力されるイベント信号を受信する（ステップＳ１０１）。イベント信号処理装置は、イベント信号を処理する装置であって、例えば、ソフトウェアモジュール、ハードウェアモジュール、又はこれらの様々な組合せで具現される。

イベント基盤センサは、複数の検出要素を用いてイベントを検出し、イベントを検出した検出要素の出力信号に基づいてイベント信号を出力する。複数の検出要素のうちのイベントを検出した検出要素を対象要素という。対象要素は、予め設定されたイベントを検出すると活性化され、活性化された対象要素は活性化信号を出力する。イベント基盤センサは、複数の検出要素のうちの対象要素から出力される活性化信号に基づいてイベント信号を生成し、生成されたイベント信号を出力する。

イベントは検出要素によって検出される現象であり、複数の検出要素のそれぞれは予め設定されたイベントを検出して活性化信号を出力する。検出要素が検出するイベントは、イベント基盤センサの種類により様々に定義される。例えば、イベント基盤ビジョンセンサは、複数の検出要素に入射する光の強度が変わるイベントを検出する。また、イベントは、周波数、波動の強度、力の大きさなどの変化により定義されてイベント基盤センサに適用され、イベントを定義する定量的な関係は、様々に応用され、また変形される。

イベント基盤センサの検出要素は、予め定義された条件を充足するイベントを検出する。例えば、イベント基盤ビジョンセンサの検出要素は、入射する光の強度の変化が予め定義された閾値以上であるイベントを検出して活性化信号を出力する。

イベント基盤センサは、検出要素から出力された活性化信号に基づいてイベント信号を出力する。イベント信号は、活性化信号を出力する対象要素を識別する情報（例えば、検出要素のアドレス又はインデックスなど）及び対象要素によってイベントが検出された時間情報（例えば、タイムスタンプなど）を含む。イベント信号は、イベントの類型（例えば、極性情報など）を更に含む。

イベント信号処理装置は、イベント信号に含まれるタイムスタンプに基づいて第１タイムスタンプマップを生成する（ステップＳ１０２）。タイムスタンプマップは、特定時点から現在の時点まで発生したイベントを示すために、所定の位置にタイムスタンプを表示したマップである。例えば、タイムスタンプマップは、タイムスタンプを格納する複数のピクセルで構成され、イベント信号処理装置は、各ピクセルに対応するタイムスタンプを調整してタイムスタンプマップを生成する。

イベント基盤センサは、シリアル通信方式でイベント信号を出力する。上述したように、各イベント信号はイベントを検出した対象要素の識別情報を含むため、イベント信号処理装置はイベント信号に対応する対象要素を識別することができる。イベント信号処理装置は、タイムスタンプマップ内の対象要素に対応するピクセル値にイベント信号に含まれるタイムスタンプを設定する。イベント信号処理装置は、タイムスタンプマップのピクセル値にイベント信号に含まれるタイムスタンプを設定し、第１タイムスタンプマップを生成する。

一実施形態によると、タイムスタンプマップの各ピクセルは、最近のタイムスタンプのみを格納する。例えば、イベント信号処理装置は、新しいイベント信号を受信すると、該当するイベント信号に含まれる新しいタイムスタンプをタイムスタンプマップに格納された既存のタイムスタンプ上にオーバーライト（ｏｖｅｒｗｒｉｔｅ）する。

イベント信号処理装置は、第１タイムスタンプマップに含まれる少なくとも２つのタイムスタンプに基づいて新しいタイムスタンプを補間することによって第２タイムスタンプマップを生成する（ステップＳ１０３）。新しいタイムスタンプは、イベント信号処理装置が第１タイムスタンプマップのタイムスタンプに基づいて補間することにより、例えば第１タイムスタンプマップのタイムスタンプを用いて補間することにより推定されたタイムスタンプを意味する。

第２タイムスタンプマップは、イベント信号処理装置によって補間された新しいタイムスタンプを含み、補間された新しいタイムスタンプによって第２タイムスタンプマップの解像度は第１タイムスタンプマップの解像度よりも高くなる。一実施形態によると、イベント信号処理装置は、第１タイムスタンプマップをデモザイシング（ｄｅｍｏｓａｉｃｉｎｇ）して相対的に良好な解像度を有する第２タイムスタンプマップを具現する。

イベント信号処理装置は、新しいタイムスタンプを補間するが、ピクセルの位置関係、第１タイムスタンプマップのタイムスタンプから推定されたベクトル、第１タイムスタンプマップのタイムスタンプの演算、又はこの様々な組合せなどを考慮する。図２〜４を参照して第２タイムスタンプマップを生成するために新しいタイムスタンプを補間する実施形態を説明するが、イベント基盤センサのイベント信号を処理する過程において、タイムスタンプを補間する実施形態はここで説明する方式に限定されることはない。

図２は、一実施形態によるタイムスタンプマップを説明する図である。

図２を参照すると、タイムスタンプマップ２０１は複数のピクセルを含む。複数のピクセルは、イベント基盤センサの複数の検出要素に対応する。複数のピクセルのそれぞれはタイムスタンプを格納する。タイムスタンプマップ２０１に示す各タイムスタンプは、イベント基盤センサの対象要素がイベントを検出した時間を示すため、タイムスタンプマップ２０１は（図の上方向を北とした場合）イベントが南西方向に順に検出されたことを示す。

イベント基盤センサによって検出されるイベントは、様々なシナリオによって発生する。例えば、イベント基盤ビジョンセンサの検出範囲内でオブジェクトが動く場合、イベント基盤ビジョンセンサそのものが動く場合、イベント基盤ビジョンセンサの検出範囲内に位置するオブジェクトに投射される光が変わる場合、又はイベント基盤ビジョンセンサの検出範囲内に位置する発光体から発生する光が変わる場合に、イベント基盤ビジョンセンサの検出要素はイベントを検出する。

イベント信号処理装置は、イベント基盤センサによって出力されたイベント信号を用いてタイムスタンプマップ２０１を生成する。ここで、イベント信号は、順次出力されるか又は同時に出力される。一例として、イベント信号処理装置は、各イベント信号の受信に反応してタイムスタンプマップ２０１内の該当するイベント信号に対応するピクセル値を更新する。他の例として、イベント信号処理装置は、所定時間区間（例えば、２０ｍｓ）の間に受信されたイベント信号を予め設定された臨時格納空間に累積させた後、各イベント信号の対象要素の識別情報及びタイムスタンプに基づいてイベント信号に対応するタイムスタンプマップ２０１を生成する。

一実施形態によると、イベント信号処理装置は、タイムスタンプマップ２０１のタイムスタンプに基づいて、イベント基盤センサから受信されたイベント信号に対応するイベントの流れを示すベクトル２０２を生成する。イベントの流れを示すベクトル２０２は、所定時間の間にイベント基盤センサの対象要素によって検出された複数のイベントが時系列的に発生した方向を示す。例えば、イベント基盤ビジョンセンサによってイベント（例えば、光の変化）が検出された場合、イベントの流れを示すベクトル２０２は、オプティカルフロー（Ｏｐｔｉｃａｌ Ｆｌｏｗ）である。

図２を参照すると、イベント信号処理装置は、タイムスタンプマップ２０１のタイムスタンプを演算し、イベントの流れを示すベクトル２０２を生成する。一実施形態によると、タイムスタンプが大きくなる方向を示すベクトルが生成される。イベント信号処理装置は、イベントの流れを示すベクトル２０２に直交する方向２０３に沿って新しいタイムスタンプを補間する。これについて図３〜図４を参照して説明する。図３Ａ〜図４Ｅを参照して説明する実施形態では、図２に示すタイムスタンプマップ２０１を新しいタイムスタンプを補間する前の第１タイムスタンプマップと仮定する。

図３Ａ及び３Ｂは、一実施形態によるタイムスタンプが補間される動作を説明する図である。

イベント信号処理装置は、補間の対象となるピクセルに隣接する少なくとも１つのピクセルのタイムスタンプに基づいて新しいタイムスタンプを補間する。ここで、隣接するピクセルのタイムスタンプを用いて新しいタイムスタンプを補間する方式は、予め定義された設定情報により様々に適用され、実施形態により変形され得る。

図３Ａを参照すると、イベント信号処理装置は、（３×３）ピクセルのタイムスタンプで構成された第１タイムスタンプマップ２０１の座標（２，２）のピクセルを分割して４個の新しいピクセルを生成する。ここで、第１タイムスタンプマップ２０１のピクセルのうちの分割の対象となるピクセルを対象ピクセルといい、対象ピクセルを分割して生成された予め定義された数のピクセルをサブピクセルという。イベント信号処理装置は、第１タイムスタンプマップ２０１のタイムスタンプに基づいて、４個のサブピクセルの新しいタイムスタンプを補間し、補間された新しいタイムスタンプを含む第２タイムスタンプマップ３０１を生成する。

本実施形態によると、イベント信号処理装置は、第１タイムスタンプマップ２０１の対象ピクセルのタイムスタンプ及びサブピクセルに隣接する第１タイムスタンプマップ２０１のピクセルのタイムスタンプに基づいてサブピクセルの新しいタイムスタンプを補間する。例えば、イベント信号処理装置は、図３Ａに示すサブピクセルのうちの１四分面の位置のサブピクセル（以下、第１サブピクセル）の新しいタイムスタンプを設定する場合、第１サブピクセルに隣接するピクセルのタイムスタンプ「２」、「２」、及び「１」のうちの最も大きいタイムスタンプである「２」を選択し、選択された「２」と対象ピクセルのタイムスタンプ「４」との平均値を用いて新しいタイムスタンプ「３」を補間する。２四分面及び４四分面の位置のサブピクセルの場合、隣接するピクセルのタイムスタンプ「４」、「２」、及び「ｎｕｌｌ」のうちの最も大きいタイムスタンプは「４」であるため、選択された「４」と対象ピクセルのタイムスタンプ「４」との平均値を用いて新しいタイムスタンプ「４」を補間する。３四分面の位置のサブピクセルの場合、隣接するピクセルのタイムスタンプが全て「ｎｕｌｌ」である。「ｎｕｌｌ」を「０」として表現する場合、選択された「０」と対象ピクセルのタイムスタンプ「４」との平均値を用いて新しいタイムスタンプ「２」を補間する。

他の実施形態によると、イベント信号処理装置は、第１タイムスタンプマップ２０１のタイムスタンプのうちの少なくとも一部の平均値に基づいて、サブピクセルの新しいタイムスタンプを補間する。更なる実施形態によると、イベント信号処理装置は、サブピクセルのうちの少なくとも１つの新しいタイムスタンプを対象ピクセルのタイムスタンプと同一に設定する。

図３Ｂは、図３Ａに示した第２タイムスタンプマップ３０１のタイムスタンプに基づいて補間されたタイムスタンプに基づいて生成された第３タイムスタンプマップ３０２の例である。図３Ｂを参照すると、イベント信号処理装置は、第２タイムスタンプマップ３０１のサブピクセルのそれぞれを４個に分割し、第２タイムスタンプマップ３０１のタイムスタンプに基づいて分割によって生成されたピクセルのタイムスタンプを補間する。補間が行われる実施形態は、図３Ａを参照して説明した方式が適用される。例えば、図３Ｂに示すタイムスタンプ「２．５」は、分割によって生成されたサブピクセルに隣接するピクセルのタイムスタンプ「２」、「２」、及び「１」のうちの最も大きいタイムスタンプである「２」と分割前のピクセルのタイムスタンプ「３」との平均値を用いて補間する。ここで、分割によって生成された新しいピクセルのタイムスタンプが補間される順序は、予め定義された設定情報により決定されるが、例えば補間前のタイムスタンプマップのタイムスタンプに基づいて生成されたベクトルによって補間の順序が決定されてもよい。或いは、解像度が高い新しいタイムスタンプマップを生成するために補間の順序は考慮されないこともある。

図４Ａ〜図４Ｅは、他の実施形態によるタイムスタンプが補間される動作を説明する図である。

図４Ａを参照すると、イベント信号処理装置は、タイムスタンプマップ２０１の対象ピクセルを予め定義された数のサブピクセル（２×２）に分割し、サブピクセルのタイムスタンプのそれぞれを対象ピクセルのタイムスタンプと同一に設定する。イベント信号処理装置は、対象ピクセルのタイムスタンプと同一に設定されたサブピクセルのタイムスタンプを用いて新しいタイムスタンプマップ４０１を生成する。一例として、イベント信号処理装置は、解像度が（３×３）であるタイムスタンプマップ２０１を用いて新しいタイムスタンプを補間する。補間の結果、解像度が（６×６）に増加した新しいタイムスタンプマップ４０１が生成される。

図４Ｂを参照すると、イベント信号処理装置は、タイムスタンプマップ２０１のタイムスタンプに基づいてサブピクセルのタイムスタンプを補間した新しいタイムスタンプマップ４０２を生成する。例えば、イベント信号処理装置は、対象ピクセルの中心から分割されたサブピクセルに向かう方向の隣接するタイムスタンプを用いてサブピクセルの新しいタイムスタンプを補間する。座標（２，２）の対象ピクセルが分割された第１サブピクセルの場合、座標方向の隣接するタイムスタンプ「１」と対象ピクセルのタイムスタンプ「４」との平均値を用いて新しいタイムスタンプ「２．５」を補間する。

図４Ｃを参照すると、イベント信号処理装置は、一次的に生成されたタイムスタンプマップ４０２のタイムスタンプのうちの一部を調整してタイムスタンプマップ４０３を生成する。ここで、イベント信号処理装置は、イベントの流れを示すベクトルを考慮する。例えば、イベント信号処理装置は、オリジナルタイムスタンプマップ２０１のタイムスタンプに基づいて、イベント基盤センサから出力されたイベント信号に対応するイベントの流れを示すベクトル２０２を生成する。イベント信号処理装置は、一次的に生成されたタイムスタンプマップ４０２のサブピクセルのうち、ベクトル２０２に直交する方向２０３に配列されたサブピクセルのタイムスタンプを対象ピクセルのタイムスタンプと同一に設定する。例えば、タイムスタンプマップ４０３のサブピクセルのうちのベクトル２０２に直交する方向２０３に配列されたサブピクセルを選択し、選択されたサブピクセルが属する対象ピクセルのタイムスタンプが「４」である場合、選択されたサブピクセルのタイムスタンプを「４」に設定する。

図４Ｄを参照すると、イベント信号処理装置は、タイムスタンプマップ２０１の「ｎｕｌｌ」値に対して新しいタイムスタンプを推定することで、タイムスタンプマップ２０１から新しいタイムスタンプを補間するために発生し得るエラーを減らすことができる。タイムスタンプマップ２０１のピクセルのタイムスタンプのうちの「ｎｕｌｌ」は、イベントが検出されない検出要素に対応するピクセルのタイムスタンプである。「ｎｕｌｌ」に「０」を適用すると、新しいタイムスタンプを補間するためにエラーが発生することがある。イベント信号処理装置は、タイムスタンプマップ２０１のタイムスタンプに基づいて、イベントが検出されない検出要素に対応するピクセルのタイムスタンプを推定してタイムスタンプマップ４０４を生成する。イベント信号処理装置は、タイムスタンプマップ４０４のタイムスタンプに基づいて新しいタイムスタンプを補間する。イベント信号処理装置は、補間された新しいタイムスタンプを含む新しいタイムスタンプマップで、イベントが検出されない検出要素に対応するピクセルのタイムスタンプを補間前のオリジナル「ｎｕｌｌ」に復元することができる。

図４Ｅを参照すると、イベント信号処理装置は、イベントの流れを示すベクトルに基づいて新しいタイムスタンプを補間することにより新しいタイムスタンプマップ４０５を生成する。例えば、イベント信号処理装置は、オリジナルタイムスタンプマップ２０１のタイムスタンプに基づいてベクトル２０２を生成する。イベント信号処理装置は、ベクトル２０２に直交する方向２０３に配列されたサブピクセルのタイムスタンプを対象ピクセルのタイムスタンプと同一に設定する。イベント信号処理装置は、設定されたタイムスタンプに基づいて、まだ設定されていない残りのサブピクセルのタイムスタンプを補間する。

一実施形態によると、イベント信号処理装置は、ベクトル２０２の方向により境界線（例えば、タイムスタンプ「４」を有するピクセルで構成される対角線）の外側に該当すると判断されるサブピクセルのタイムスタンプを「ｎｕｌｌ」に設定する。

図５Ａ〜図５Ｃは、一実施形態によるイベント信号に対応するユーザ入力が認識される動作を説明する図である。

図５Ａを参照すると、認識装置５０１は、イベント信号処理装置によって生成された第２タイムスタンプマップ５０２に基づいてユーザ入力を認識する。第２タイムスタンプマップ５０２は、イベント信号処理装置によって補間された新しいタイムスタンプを含む。認識装置５０１は、第２タイムスタンプマップ５０２が入力され、入力された第２タイムスタンプマップ５０２に基づく分析結果を用いてユーザ入力を認識する。第２タイムスタンプマップ５０２の解像度は、第１タイムスタンプマップの解像度よりも高いため、ユーザ入力の認識性能が向上する。

図５Ｂを参照すると、認識装置５０３は、補間前の第１タイムスタンプマップ５０４及び補間によって生成された第２タイムスタンプマップ５０５に基づいてユーザ入力を認識する。第２タイムスタンプマップ５０５の解像度は第１タイムスタンプマップ５０４より解像度が高いため、第２タイムスタンプマップ５０５は拡大する。この場合、拡大した第２タイムスタンプマップ５０５はイベント基盤センサから距離が近いオブジェクトの動きに対応し、第１タイムスタンプマップ５０４は相対的に距離が遠いオブジェクトの動きに対応する。認識装置５０３は、ユーザ入力を認識するために互いに異なる条件の第１タイムスタンプマップ５０４及び第２タイムスタンプマップ５０５を組合せて活用することができるため、認識の正確度を高めることができる。

図５Ｃを参照すると、第１タイムスタンプマップ５０７の認識距離に対応する第１認識装置５０６には第１タイムスタンプマップ５０７が入力され、拡大した第２タイムスタンプマップ５０９の認識距離に対応する第２認識装置５０８には第２タイムスタンプマップ５０９が入力される。第１認識装置５０６及び第２認識装置５０８はそれぞれ第１認識結果及び第２認識結果を生成し、生成された第１認識結果及び第２認識結果はイベント信号に対応するユーザ入力を認識するために用いられる。

図６は、一実施形態によるイベント基盤ビジョンセンサ基盤のピクセル増強方法を説明するフローチャートである。

図６を参照すると、イベント基盤ビジョンセンサ基盤のピクセル増強装置は、イベント基盤ビジョンセンサの複数の検出要素によってイベントが検出された時間情報を受信する（ステップＳ６０１）。ここで、イベントは検出要素によってそれぞれ検出されたものである。一実施形態によると、イベント基盤ビジョンセンサはＤＶＳ（Ｄｙｎａｍｉｃ Ｖｉｓｉｏｎ Ｓｅｎｓｏｒ）である。イベント基盤ビジョンセンサは、イベントを検出してイベント信号を出力する。一実施形態によると、イベント基盤ビジョンセンサは、検出要素によって検出された明るさ変化が閾値以上であるイベントに対して応答し、活性化された検出要素から出力される活性化信号に基づいてイベント信号を出力する。イベント基盤ビジョンセンサがイベントの流れを検出することで出力されたイベント信号に基づいて形成された映像は、移動するオブジェクトの輪郭に関する情報を略全て反映しなければならないが、色及びテクスチャなどの具体的な情報は含まなくてもよい。

イベント基盤ビジョンセンサは、イベントに対する応答のみに基づいてイベント信号を出力するため、エネルギー消費が低く、照明条件が広い利点がある。イベント基盤ビジョンセンサを用いる場合、エネルギー消費が低いため、モバイル装置などの端末は、スタンバイ状態から作業状態に切り替えて迅速に信号を収集することができ、ユーザが端末のロック解除を行うときに直ちに応答することができる。イベント基盤ビジョンセンサは、イベントの照明条件が広いため、光源が弱い環境でもイベントを検出してイベント信号を出力することができ、図１〜図５を参照して説明したイベント基盤センサの特性が適用されるために、イベント信号は、イベントを検出した検出要素の識別情報、タイムスタンプ、及びイベントの類型のうちの少なくとも１つを含む。

イベント基盤ビジョンセンサ基盤のピクセル増強装置は、受信された時間情報に基づいて複数のピクセルのタイムスタンプを格納する（ステップＳ６０２）。格納されたタイムスタンプは、タイムスタンプマップを構成するために用いられ、これは上述した実施形態が適用される。

イベント基盤ビジョンセンサ基盤のピクセル増強装置は、複数のピクセルのうちの少なくとも１つの対象ピクセルを予め定義された数のサブピクセルに分割する（ステップＳ６０３）。一実施形態によると、ピクセル増強装置は、図２に示す複数のピクセルのうちの対象ピクセルを分割し、図３Ａに示す４個のサブピクセルを生成する。ここで、ピクセルは、タイムスタンプマップのタイムスタンプに対応する。

イベント基盤ビジョンセンサ基盤のピクセル増強装置は、格納されたタイムスタンプに基づいてサブピクセルのタイムスタンプを生成する（ステップＳ６０４）。一実施形態によると、サブピクセルのタイムスタンプは、格納されたタイムスタンプに基づく補間によって生成され、補間されたタイムスタンプは新しいタイムスタンプマップを構成するために用いられる。イベント基盤ビジョンセンサ基盤のピクセル増強装置は、対象ピクセルを少なくとも１つのサブピクセルに分割し、サブピクセルのタイムスタンプを補間してピクセルの数を増加させる。

イベント基盤ビジョンセンサ基盤のピクセル増強装置が行うピクセル増強方法は、図１〜５を参照して説明した実施形態が適用されるため、詳しい内容を省略する。また、図１〜図６を参照して説明した実施形態のうち、イベント信号処理装置及びピクセル増強装置はサブピクセルのタイムスタンプを補間する動作のみを実行してもよく、この場合、他の装置から既に生成されたタイムスタンプマップのタイムスタンプを受信してタイムスタンプの補間に利用する。

図７は、一実施形態によるイベント信号処理装置又はイベント基盤ビジョンセンサ基盤のピクセル増強装置の構成を示す図である。

図７を参照すると、装置７０１はメモリ７０２及びプロセッサ７０３を含む。一実施形態による装置７０１はイベント信号処理装置である。メモリ７０２は、イベント基盤センサから出力されたイベント信号に基づいて生成された第１タイムスタンプマップを格納し、プロセッサ７０３によって実行されるプログラムを記録する。プロセッサ７０３は、メモリ７０２から第１タイムスタンプマップを取得し、第１タイムスタンプマップに含まれる少なくとも２つのタイムスタンプに基づいて新しいタイムスタンプを補間することによって第２タイムスタンプマップを生成し、図１〜図６を参照して説明した実施形態が適用される。

他の実施形態による装置７０１は、イベント基盤ビジョンセンサ基盤のピクセル増強装置である。メモリ７０２は、イベント基盤ビジョンセンサの複数の検出要素によってイベントが検出された時間情報に基づいて生成された複数のピクセルのタイムスタンプを格納し、プロセッサ７０３によって実行されるプログラムを記録する。プロセッサ７０３は、メモリ７０２からタイムスタンプを取得し、複数のピクセルのうちの少なくとも１つの対象ピクセルを予め定義された数のサブピクセルに分割する。プロセッサ７０３は、格納されたタイムスタンプに基づいてサブピクセルのタイムスタンプを生成し、図１〜図６を参照して説明した実施形態が適用される。

上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

以上、本発明の実施形態について図面を参照しながら詳細に説明したが、本発明は、上述の実施形態に限定されるものではなく、本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。

２０１、５０４、５０７ （第１）タイムスタンプマップ
２０２ イベントの流れを示すベクトル
２０３ ベクトルに直交する方向
３０１、５０２、５０５、５０９ 第２タイムスタンプマップ
３０２ 第３タイムスタンプマップ
４０１、４０２、４０５ 新しいタイムスタンプマップ
４０３、４０４ タイムスタンプマップ
５０１、５０３ 認識装置
５０６ 第１認識装置
５０８ 第２認識装置
７０１ 装置
７０２ メモリ
７０３ プロセッサ

Claims (27)

1. イベント基盤センサから複数のタイムスタンプを含む複数のイベント信号を受信するステップと、
   前記複数のタイムスタンプに基づいて第１タイムスタンプマップを生成するステップと、
   前記第１タイムスタンプマップのうちの少なくとも２つのタイムスタンプに基づいて前記第１タイムスタンプマップ内に新しいタイムスタンプを補間することにより第２タイムスタンプマップを生成するステップと、を有することを特徴とするイベント信号処理方法。
2. 前記第１タイムスタンプマップを生成するステップは、前記第１タイムスタンプマップのピクセルの値に前記複数のイベント信号のうちの当該ピクセルに対応するイベント信号に含まれるタイムスタンプを設定するステップを含むことを特徴とする請求項１に記載のイベント信号処理方法。
3. 前記第２タイムスタンプマップを生成するステップは、前記第１タイムスタンプマップの複数のピクセルのうちの前記新しいタイムスタンプを有するピクセルに隣接するピクセルのタイムスタンプに基づいて前記第１タイムスタンプマップ内に前記新しいタイムスタンプを補間するステップを含むことを特徴とする請求項１に記載のイベント信号処理方法。
4. 前記第２タイムスタンプマップを生成するステップは、前記少なくとも２つのタイムスタンプの平均値に基づいて前記第１タイムスタンプマップ内に前記新しいタイムスタンプを補間するステップを含むことを特徴とする請求項１に記載のイベント信号処理方法。
5. 前記第２タイムスタンプマップを生成するステップは、
   前記第１タイムスタンプマップの複数のピクセルのうちのいずれか１つを新しい複数のピクセルに分割するステップと、
   前記少なくとも２つのタイムスタンプに基づいて前記新しい複数のピクセルの新しい複数のタイムスタンプを補間するステップと、を含むことを特徴とする請求項１に記載のイベント信号処理方法。
6. 前記新しい複数のタイムスタンプを補間するステップは、前記新しい複数のタイムスタンプのそれぞれを前記分割されたピクセルのタイムスタンプに設定するステップを含むことを特徴とする請求項５に記載のイベント信号処理方法。
7. 前記新しい複数のタイムスタンプを補間するステップは、
   前記新しい複数のピクセルのうちのいずれか１つの新しいピクセルに隣接する少なくとも１つのピクセルの少なくとも１つのタイムスタンプから最も大きいタイムスタンプを選択するステップと、
   前記新しいピクセルの新しいタイムスタンプを前記選択された最も大きいタイムスタンプと前記分割されたピクセルのタイムスタンプとの平均値に設定するステップと、を含むことを特徴とする請求項５に記載のイベント信号処理方法。
8. 前記第２タイムスタンプマップを生成するステップは、
   前記少なくとも２つのタイムスタンプに基づいて前記複数のイベント信号に対応する複数のイベントの流れを示すベクトルを生成するステップと、
   前記ベクトルに基づいて前記第１タイムスタンプマップ内に前記新しいタイムスタンプを補間するステップと、を含むことを特徴とする請求項１に記載のイベント信号処理方法。
9. 前記第２タイムスタンプマップの解像度は、前記第１タイムスタンプマップの解像度よりも高いことを特徴とする請求項１に記載のイベント信号処理方法。
10. 前記イベント基盤センサの複数の検出要素のそれぞれは、イベントを検出して活性化信号を出力することを特徴とする請求項１に記載のイベント信号処理方法。
11. イベント信号は、前記イベント基盤センサの複数の検出要素のうちのイベントを検出した対象要素を識別する識別情報、及び前記イベントを検出した時間を示すタイムスタンプを含むことを特徴とする請求項１に記載のイベント信号処理方法。
12. 前記第２タイムスタンプマップに基づいて複数の前記イベント信号に対応するユーザ入力を認識するステップを更に含むことを特徴とする請求項１に記載のイベント信号処理方法。
13. 前記第２タイムスタンプマップを拡大するステップと、
    前記第１タイムスタンプマップ及び前記拡大された第２タイムスタンプマップに基づいて前記複数のイベント信号に対応するユーザ入力を認識するステップと、を更に含むことを特徴とする請求項１に記載のイベント信号処理方法。
14. 前記第１タイムスタンプマップに基づいて前記複数のイベント信号に対応する第１認識結果を生成するステップと、
    前記第２タイムスタンプマップに基づいて前記複数のイベント信号に対応する第２認識結果を生成するステップと、
    前記第１認識結果及び前記第２認識結果に基づいて前記複数のイベント信号に対応するユーザ入力を認識するステップと、を更に含むことを特徴とする請求項１に記載のイベント信号処理方法。
15. 請求項１乃至１４のいずれか一項に記載のイベント信号処理方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
16. イベント基盤ビジョンセンサの複数の検出要素によって複数のイベントが検出された時間情報を受信するステップと、
    前記時間情報に基づいて前記複数の検出要素に対応する複数のピクセルの複数のタイムスタンプを生成するステップと、
    前記複数のピクセルのうちの対象ピクセルを複数のサブピクセルに分割するステップと、
    前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のサブピクセルの複数のタイムスタンプを生成するステップと、を有することを特徴とするイベント基盤ビジョンセンサ基盤のピクセル増強方法。
17. 前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、前記複数のサブピクセルのうちのいずれか１つのサブピクセルのタイムスタンプを前記対象ピクセルのタイムスタンプに設定するステップを含むことを特徴とする請求項１６記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
18. 前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、前記対象ピクセルのタイムスタンプ及び前記複数のサブピクセルのうちのいずれか１つのサブピクセルに隣接する少なくとも１つのピクセルのタイムスタンプに基づいて前記複数のサブピクセルのうちの前記いずれか１つのサブピクセルのタイムスタンプを補間するステップを含むことを特徴とする請求項１６記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
19. 前記サブピクセルのタイムスタンプを補間するステップは、
    前記サブピクセルに隣接する前記少なくとも１つのピクセルのタイムスタンプのうちの最も大きいタイムスタンプと前記対象ピクセルのタイムスタンプとの平均値を算出するステップと、
    前記サブピクセルの前記タイムスタンプを前記算出された平均値に設定するステップと、を含むことを特徴とする請求項１８に記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
20. 前記複数のサブピクセルの複数のタイムスタンプを生成するステップは、
    前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のイベントの流れを示すベクトルを生成するステップと、
    前記ベクトルの方向に基づいて前記複数のサブピクセルの複数のタイムスタンプを設定するステップと、を含むことを特徴とする請求項１６に記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
21. 前記複数のサブピクセルの複数のタイムスタンプを設定するステップは、
    前記サブピクセルのうちの前記ベクトルの方向に直交する方向に配列されたサブピクセルを選択するステップと、
    前記選択されたサブピクセルのタイムスタンプを前記対象ピクセルのタイムスタンプに設定するステップと、を含むことを特徴とする請求項２０に記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
22. 前記複数のサブピクセルの複数のタイムスタンプを設定するステップは、
    前記サブピクセルのうちの前記ベクトルの方向に水平する方向に配列された少なくとも１つのサブピクセルを選択するステップと、
    前記選択されたサブピクセルに隣接するピクセルのタイムスタンプに基づいて前記選択されたピクセルのタイムスタンプを補間するステップと、を含むことを特徴とする請求項２０に記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
23. 前記複数のサブピクセルの複数のタイムスタンプを生成するステップは
    前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数の検出要素のうちの前記複数のイベントが検出されない検出要素に対応するピクセルのタイムスタンプを推定するステップと、
    前記推定されたタイムスタンプ及び前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のサブピクセルの複数のタイムスタンプを補間するステップと、
    前記検出要素に対応する前記ピクセルの前記タイムスタンプをオリジナルタイムスタンプに復元するステップと、を含むことを特徴とする請求項１６に記載のイベント基盤ビジョンセンサ基盤のピクセル増強方法。
24. イベント基盤センサから複数のタイムスタンプを含む複数のイベント信号を受信し、前記複数のタイムスタンプに基づいて第１タイムスタンプマップを生成し、前記第１タイムスタンプマップのうちの少なくとも２つのタイムスタンプに基づいて前記第１タイムスタンプマップ内に新しいタイムスタンプを補間することにより第２タイムスタンプマップを生成するプロセッサと、を備えることを特徴とするイベント信号処理装置。
25. 前記プロセッサは、
    前記少なくとも２つのタイムスタンプに基づいて前記複数のイベント信号に対応する複数のイベントの流れを示すベクトルを生成し、
    前記ベクトルの方向により前記第１タイムスタンプマップの境界線の外側にある前記新しいタイムスタンプを有するピクセルを決定し、
    前記新しいタイムスタンプをｎｕｌｌタイムスタンプに設定することを特徴とする請求項２４に記載のイベント信号処理装置。
26. イベント基盤ビジョンセンサの複数の検出要素によって複数のイベントが検出された時間情報を受信し、前記時間情報に基づいて前記複数の検出要素に対応する複数のピクセルの複数のタイムスタンプを生成し、前記複数のピクセルのうちの対象ピクセルを複数のサブピクセルに分割し、前記複数のピクセルの前記複数のタイムスタンプに基づいて前記複数のサブピクセルの複数のタイムスタンプを生成するプロセッサを備えることを特徴とするイベント基盤ビジョンセンサ基盤のピクセル増強装置。
27. 前記プロセッサは、
    前記複数のサブピクセルのうちのいずれか１つのサブピクセルを追加的な複数のサブピクセルに分割し、
    前記複数のピクセルの前記複数のタイムスタンプ及び前記複数のサブピクセルの前記複数のタイムスタンプに基づいて前記追加的な複数のサブピクセルの複数のタイムスタンプを生成することを特徴とする請求項２６に記載のイベント基盤ビジョンセンサ基盤のピクセル増強装置。

Images