处理来自基于事件的传感器的信号的方法和设备
本发明涉及机器视觉，尤其涉及一种处理来自基于事件的传感器的信号的方法和系统。
背景技术
机器视觉是包含用于获取、处理、分析和理解图像以用于广泛类型的应用的方法的领域，所述广泛类型的应用是例如安全应用(例如，监控、入侵检测、对象检测、面部识别等)、环境用途应用(例如，照明控制)、对象检测和跟踪应用、自动检查、过程控制和机器人导引等。因此，机器视觉可以与许多不同系统集成。
为了从场景中提取信息，通常使用由图像传感器(即摄像机)递送的图像序列(帧)。这种基于帧的图像传感器针对每个传感器元件(像素)或每个像素行/列从场景中顺序地获取视觉信息，或者以各种模式从像素并行地获取视觉信息，但是总是以一些有限的帧速率进行时间采样。
然而，因为其供电方式(例如，荧光灯以AC电力频率的两倍的频率闪烁)或者因为其由周期性脉冲信号以人眼无法识别的频率驱动以控制其光输出或功耗(类似于例如许多LED光源)，因此在待分析的场景中，可能存在闪烁的光源，例如荧光灯、紧凑型荧光灯、发光二极管(LED)灯、电视屏幕、电影放映机或计算机屏幕。
这对于基于帧的视频捕获而言是一个问题，其中不同且不相关的帧获取频率和光频率模式会发生干扰，并且不同的光占空比和曝光时间也会发生干扰。因此，这种频率模式可以使光源在不同的帧中看起来不同，例如在一些帧中为开(ON)，而在其它帧中为关(OFF)。
该问题对于机器视觉应用而言更为严重，机器视觉应用基于从人工光源或至少在存在人工光源的情况下可靠地捕获信息。例如，在汽车应用(驾驶员辅助、自动驾驶)中，始终在没有中断或不确定性的情况下捕获交通灯(通常使用LED光源)、路标、其它汽车的刹车灯和尾灯等的状态是有用的。汽车图像和视频捕获尤其受到影响。由于高动态范围要求，经常使用在每个最终图像帧的不同曝光时间执行多次曝光的多曝光图像传感器。
此外，由于不均匀的光源频率模式和复杂的图像信息采样过程(使用不同的快门时间组合)的组合，对于基于帧的传感器，光源的状态可能以意想不到的方式通过帧演变，从而引起类似于仅看到限速标志的一半数字或从交通灯接收到错误的颜色信息的伪影。在基于帧的图像传感器的开发上投入了很大的努力，所述基于帧的图像传感器能够抑制所描述的光频率模式的影响，并且使传感器输出看起来像是在看着未调制的静态光源。然而，由于基于帧的传感器的特性，通常难以捕获准确的信息，尤其是来自调制光的信息。
开发了一种新的基于事件的机器视觉范例。基于事件的图像传感器从由传感器观察的场景获取由每个像素感测的时间亮度分布，而不是同时捕获具有所有像素的图像并试图补偿伪影和抑制信息。基于事件的传感器可以捕获视觉场景中快速变化的信息，由于由像素单独获取的信息具有高时间分辨率。以下文章中讨论了这种基于事件的机器视觉技术的更多细节：Posch,C.、Serrano-Gotarredona,T.、Linares-Barranco,B.和Delbruck,T.(2014),“视网膜形态的基于事件的视觉传感器：具有尖峰输出的仿生相机(Retinomorphicevent-based vision sensors:bioinspired cameras with spiking output)”,《IEEE论文集(Proceedings of the IEEE)》,102(10),1470-1484。
本发明的目的是提供一种从由基于事件的传感器观察的场景中捕获信息的新方法。
发明内容
提供了一种处理来自基于事件的传感器的信号的方法。所述基于事件的传感器具有面对场景的感测元件阵列，所述方法包括：
接收所述信号，所述信号包含对于每个感测元件，取决于来自所述场景的入射光变化的、源自所述感测元件的连续事件；
通过分析所述信号来检测由至少一个感测元件感测的光分布中的频率模式；以及
响应于所述频率模式的检测，从所述场景中提取信息。
可以被感知为闪烁的频率模式未被消除，而是从所述基于事件的传感器的输出中捕获，以利用其来提取一些有用的信息。所提取的信息可以被预先编码，或者原生地存在于由所述感测元件阵列观察到的所述场景中。所述方法利用了闪烁效应，而不是将其视为不期望的。
在根据本发明所述的方法中，所述基于事件的传感器具有面对场景的感测元件阵列，并且每个事件可以包括发生时间和与入射光变化相对应的亮度属性。所述方法可以用于通过包含以下的步骤分析所述信号：
从所述信号中提取源自至少一个感测元件的连续的事件突发，每个突发由亮度属性与相同方向的入射光变化相对应的事件组成；以及
基于所述连续突发的定时检测频率模式。
如上文所提及的，这种分析所述信号的方法具有利用所检测到的一种或多种频率模式从所述场景中提取信息的应用。然而，还存在其它应用，例如用于从所述信号中消除调频分量或闪烁效应以进一步处理或显示。
通过对源自相同感测元件的事件的预设数量进行计数，可以从所述信号中提取突发，所述事件的亮度属性与相同方向的入射光变化相对应。
在一个实施例中，分析所述信号进一步包括对在所述信号中接收的事件进行滤波，滤波后，所述连续的事件突发是从所述信号中提取的。所述滤波包括，在接收源自所述基于事件的传感器的感测元件的新事件时：
如果所述新事件的发生时间多于来自所述相同感测元件的先前事件的记忆发生时间加上时间阈值，则丢弃所述新事件；
如果来自所述相同感测元件的所述新事件的亮度属性和所述先前事件的记忆亮度属性与相对标志的入射光变化相对应，则丢弃所述新事件；以及
记忆所述新事件的所述发生时间和所述亮度属性，以对来自所述相同感测元件的下一个事件进行滤波。
提取极性与入射光变化方向相对应的事件突发包括对于一组N个感测元件，其中N是等于或大于1的整数，当经过滤波的信号具有亮度属性与所述突发的所述极性相对应的源自所述一组感测元件中的感测元件的新事件时，递增事件计数器。然后，当所述事件计数器达到阈值时，可以提取所述突发。提取具有所述极性的所述事件突发进一步包括当所述事件计数器达到所述阈值时，改变所述极性以提取下一个事件突发。在一些实施方案中，提取所述事件突发包括当所述信号具有亮度属性不与所述突发的所述极性相对应的源自所述一组感测元件中的感测元件的新事件时，重置所述事件计数器。如果所述事件计数器在给定时间片内未达到所述阈值，则所述事件计数器也可以被重置。
在一个实施例中，检测所述频率模式包括：确定连续突发之间的第一时间间隔，所述连续突发由亮度属性与相同方向的入射光变化相对应的事件组成；以及执行所述第一时间间隔的统计分析，以决定所述连续突发是否指示频率模式。
当决定所述连续突发指示频率模式时，检测所述频率模式可以进一步包括基于所述第一时间间隔估计所述频率模式的频率。还可以基于连续突发之间的第二时间间隔来估计所述频率模式的占空比，所述连续突发由亮度属性与相反方向的入射光变化相对应的事件组成。
所述方法的一些实施例可以使用一种空间滤波，在检测到所述频率模式之后，对来自所述基于事件的传感器的所述信号进行空间滤波。这种实施例包括确定检测到相同频率和/或占空比的场景的空间区域，并且如果所述空间区域的大小超过限定的大小，则忽略所述空间区域。
在将所述方法应用于信息传输时，提取信息可以包括解调在所述场景中检测到的频率模式。例如，可以通过参考开关键控(OOK)或曼彻斯特编码(Manchester coding)来解调所述频率模式。
从所述场景中提取的所述信息可以与位置信息一起输出，所述位置信息与所述阵列中检测到所述频率模式的至少一个感测元件的地址相关。
本发明的另一方面涉及一种用于从场景中提取信息的设备，所述设备包括：待放置在所述场景前面的感测元件阵列；以及至少一个处理器，所述至少一个处理器与所述感测元件阵列耦接，并且被配置成执行如上文所提及的方法。
本发明的又另一方面涉及一种计算机程序，所述计算机程序包括将由与感测元件阵列耦接的处理器执行的程序代码，当由所述处理器执行时，所述程序代码适用于执行如上文所提及的方法。
附图说明
参考附图，本发明的其它特征和优点将出现在下文的描述中，在附图中：
图1是适用于实施本发明的装置的框图；
图2示出了由异步传感器接收的光分布的实例和由异步传感器响应于光分布而生成的信号；
图3是用于检测事件突发的说明性过程的流程图；并且
图4A-B是用于检测事件突发的替代性过程的流程图；并且
图5是根据本发明的方法的说明性实施例的流程图。
具体实施方式
图1所示的设备包括基于事件的异步视觉传感器10，所述基于事件的异步视觉传感器被放置成面对场景，并且通过包括一个或若干个透镜的用于获取的光学器件15接收场景的光流。传感器10被放置在用于获取的光学器件15的图像平面中。所述传感器包括被组织成像素矩阵的感测元件阵列，如光敏元件。与像素相对应的每个感测元件产生取决于场景中光的变化的连续事件。
处理器12处理源自传感器10的信息，即从不同像素异步接收的事件序列，以从其中提取包含在场景中的信息。这可以通过使用合适的编程语言进行编程来实施。使用专用逻辑电路(ASIC、FPGA……)的处理器12的硬件实施也是可能的。
对于每个感测元件，传感器10根据由感测元件从出现在传感器视场中的场景接收的光的变化产生基于事件的信号序列。
异步传感器10执行获取以输出信号，对于每个像素，所述信号可以呈达到激活阈值Q的连续时刻tk(k＝0、1、2、……)的形式。每当该亮度从其在时间tk的量开始以等于激活阈值Q的量增加时，新的时刻tk+1被标识，并且在该时刻tk+1发射尖峰。对称地，每当由感测元件观察到的亮度从其在时间tk的量开始以量Q减少时，新的时刻tk+1被标识，并且在该时刻tk+1发射尖峰。感测元件的信号序列包含在时刻tk随时间推移定位的、取决于感测元件的光分布的一系列尖峰。然后，传感器10的输出呈地址事件表示(AER)的形式。此外，信号序列通常包含与入射光变化相对应的亮度属性。
激活阈值Q可以是固定的，或者可以根据亮度进行适配。例如，当超过阈值时，可以将阈值与用于产生事件的亮度的对数中的变化进行比较。
举例来说，传感器10可以是在“128×128 120dB 15μs延迟异步时间对比视觉传感器(A 128×128 120dB 15μs Latency Asynchronous Temporal Contrast VisionSensor)”,P.Lichtsteiner等人,《IEEE固态电路杂志(IEEE Journal of Solid-StateCircuits)》,第43卷,第2期,2008年2月,第566-576页或美国专利申请US 2008/0135731 A1中所描述的类型的动态视觉传感器(DVS)。视网膜的动力学(动作电位之间的最小持续时间)可以用这种类型的DVS来处理。所述动态行为超过了具有真实采样频率的常规摄像机的动态行为。当DVS用作基于事件的传感器10时，与源自感测元件的事件有关的数据包含感测元件的地址、事件的发生时间和与事件极性相对应的亮度属性，例如如果亮度增加，则+1，并且如果亮度降低，则-1。
可以在本发明的上下文中有利地使用的异步传感器10的另一个实例是异步基于时间的图像传感器(ATIS)，其描述在文章“具有无损像素级视频压缩和时域CDS的QVGA143dB动态范围无帧PWM图像传感器(A QVGA 143dB Dynamic Range Frame-Free PWMImage Sensor With Lossless Pixel-Level Video Compression and Time-DomainCDS)”,C.Posch等人,《IEEE固态电路杂志》,第46卷,第1期,2011年1月,第259-275页中给出。当ATIS用作基于事件的传感器10时，与源自感测元件的事件有关的数据包含感测元件的地址、事件的发生时间和与绝对亮度的估计值相对应的亮度属性。ATIS中的亮度属性还包含时间对比事件极性。
根据特殊实施例，本发明旨在检测由基于事件的传感器10观察到的场景中的频率模式。
通过说明的方式，图2以任意比例示出当亮度中存在一些频率模式时可以被感测元件看到的光分布P的实例以及由用于这种感测元件的DVS类型的传感器产生的信号的实例。
由感测元件看到的光分布P包含频率模式，在为了解释而示出的简化实例中，所述频率模式具有周期性为T的交替上升沿和下降沿，即频率为f＝1/T。在t0处，当亮度以等于激活阈值Q的量增加时，由感测元件产生事件。所述事件具有发生时间t0和亮度属性，即在DVS的情况下(图2中t0处的电平+1)的极性。随着上升沿的亮度增加，每当亮度由激活阈值进一步增加时，就会产生具有相同正极性的后续事件。这些事件形成突发，在图2中表示为B0。当下降沿开始时，亮度降低，并从时间t1开始产生另一个具有相反极性的事件突发B1，即负极性(电平-1)。由感测元件感测到的亮度的另外的上升沿和下降沿产生其它正尖峰突发，如从时间t2开始的B2，以及其它负尖峰脉冲，如从时间t3开始的B3。
图2下部的图表以DVS传感器的说明性情况示出。
图3示出了可以用于实施本发明的用于检测事件突发的说明性过程的流程图。图中使用了以下符号：
A：当前事件的地址，标识其在传感器10的像素矩阵中的位置；
t：当前事件的发生时间；
p：当前事件的极性，例如，如果感测到的亮度正在增加，则p＝+1，并且如果感测到的亮度正在减少，则p＝-1；
t'(A)：由地址A处的感测元件指示的最近事件的发生时间；
p'(A)：由地址A处的感测元件指示的最近事件的极性。p'(A)也表示正被提取的事件突发的极性；
δtmax：当前时间阈值；
C(A)：像素地址A的事件计数器。
图3示出的过程包含滤波操作20，在从感测元件阵列接收到每个事件时，执行所述滤波操作，随后是突发提取阶段30。处理器12等待新的事件(步骤21)，并且在步骤22处接收到具有参数A、t、p的事件时，开始滤波操作20。
滤波操作20包含按像素执行的步骤24-27。首先，将接收到的事件的极性p与来自相同像素的先前事件的极性p'(A)进行比较。如果p≠p'(A)(测试24)，则事件可能是假的(出于检测频率模式的目的)，或者表示亮度分布的上升沿或下降沿的开始。丢弃p≠p'(A)的事件，并且在返回到等待来自传感器10的下一事件的步骤21之前，在步骤25处，参数p'(A)、t'(A)和C(A)被重置以分别取值p、t和1。如果在测试24处p＝p'(A)，则执行另一个测试26，以将当前事件和先前事件的发生时间t、t'(A)与时间阈值δtmax进行比较。如果t-t'(A)≥δtmax，则认为自先前事件以后所经过的时间太长，以致于两个事件都不是亮度分布的上升沿或下降沿的一部分。在这种情况下，滤波操作20进行到上文所提及的重置步骤25。否则，如果t-t'(A)<δtmax，则当前事件保持在事件流中，并且任选地，考虑到在相同地址A处理下一个事件，在步骤27处，其发生时间t被记忆为参数t'(A)。
在图3所展示的实施例中，突发提取阶段30也是按像素执行的。在步骤27之后，通过递增像素地址A的事件计数器C(A)来考虑刚刚保持的事件(步骤31)。
然后，在步骤32处，将事件计数器C(A)与阈值Cmin进行比较。当C(A)<Cmin时，没有突发被提取，并且处理器12返回到等待下一个事件的步骤21。当在步骤32处C(A)＝Cmin时，确定所述信号包含地址A处的突发，所述突发在步骤33处通过记录其地址A、时间t和极性p而被提取。在使用步骤27的这个优选实例中，所提取的突发的定时由其第Cmin事件(如果存在的话)的发生时间t表示，所述事件以不超过δtmax的时间间隔发生。要注意的是，在步骤33处提取的突发的参数是以基于事件的方式使用AER产生的。
预设参数δtmax和Cmin是根据如所使用的基于事件的传感器10的动态以及由处理器12运行的应用的要求(包含待检测的频率范围)等因素来选择的。通过举例而非限制的方式，δtmax的范围可以为0.1到50000微秒，并且Cmin的范围可以介于2与10之间。
在步骤33处提取突发之后，过程返回到等待步骤21。另一个选项(未示出)是，在步骤33处提取突发之后，在返回等待步骤21之前，重置事件计数器C(A)，并且将极性p'(A)改变(到-p)以供下一个事件突发的后续提取。
在替代性实施例中，在突发提取阶段30之前不使用滤波阶段20。在这种情况下，如果事件具有与当前突发相同的极性，即p＝p'(A)，则在阶段30处处理所述事件。
由图4A和4B组合而成的图4展示了用于检测事件突发的过程的替代性实施例。符号与图3中的符号相同。然而，还存在另外的表示时间片的参数Δtmax，在所述时间片中，具有相同极性的连续事件必须下降才能提取突发。变量t”(r)指示区域r中当前突发的第一事件的发生时间。
在图4A-B的实例中，在感测元件阵列的区域上检测到突发。每个区域由一组N个感测元件构成。数字N是至少等于1的整数，其在不同的区域可能彼此不同。在阵列上限定了多个区域，所述多个区域通常由相邻的感测元件构成。这些区域可能重叠，这意味着其可能共享一些感测元件，并且因此给定的尖峰可能属于若干个区域。这种区域布置适用于形成用于过滤掉噪声的空间数据池。
图4A基本上与图3的上部部分相同。信号的分析包括在由感测元件阵列提供的信号中接收事件时对事件进行滤波的阶段20。滤波20可以与图3中的滤波相同，除了没有必要在步骤25处初始化按像素的事件计数器之外。相反，使用按区域的事件计数器C(r)。对于每个区域索引r，事件计数器C(r)在开始时被初始化为0。
在图4A的步骤27之后，在区域级执行图4B的突发提取阶段40。如果在步骤27处保留事件的地址A属于在阵列上限定的区域Ri(A)的数量m(A)(1≤i≤m(A))，则执行循环以递增这些区域的事件计数器，并确定在这些区域中是否已经发生突发。在步骤27之后，通过取i＝1，在步骤401处选择第一区域，并且在步骤402处导出其区域索引r＝Ri(A)，并且然后通过递增该第一区域索引的事件计数器C(r)来考虑所述事件(步骤41)。
然后，在步骤42处，将事件计数器C(r)与阈值Cmin进行比较。阈值Cmin的值可以取决于区域Ri(A)的大小，例如与形成区域Ri(A)的感测元件的数量成比例。当在步骤42处C(r)<Cmin时，没有突发被提取。在这种情况下，如果在测试43处C(r)＝1，则变量t”(r)在步骤44处接收当前事件的发生时间t的值。在步骤44之后或者当在测试43处时，C(r)>1。在步骤47处，将区域索引r与地址A所属的区域的数量m(A)进行比较。当在步骤47处r<m(A)时，在步骤403处使i递增1，以便在来自步骤402的下一个区域Ri+1(A)中考虑当前事件。当在步骤47处r＝m(A)时，处理器12返回到等待下一个事件的步骤21。
当在步骤42处C(r)＝Cmin时，在测试45处检查具有相同极性p的Cmin连续事件是否落入预设时间片Δtmax内。如果在测试45处t-t”(r)≥Δtmax，则没有突发被提取，因为认为突发不能持续如此长的时间，并且然后在步骤48处重置C(r)和t”(r)以取值1和t。当在测试45处t-t”(r)<Δtmax时，确定信号包含区域r中的突发。在步骤46处，通过记录其区域索引r、时间t”(r)和极性p来提取突发。在此实例中，所提取的突发的定时由其第一事件的发生时间t”(r)表示。要注意的是，在步骤46处提取的突发的参数是以基于事件的方式使用AER产生的。之后，在上述步骤47处，将区域索引r与地址A所属的区域的数量m(A)进行比较。
预设参数Δtmax是根据如所使用的基于事件的传感器10的动态以及由处理器12运行的应用的要求(包含待检测的频率范围)以及δtmax和Cmin的值等因素来选择的。通过举例而非限制的方式，Δtmax的范围可以为100微秒到100毫秒。
例如，一旦使用如图3或4所展示的过程为像素A或N个像素的区域r提取了多个连续突发，鉴于检测频率模式，就可以分析这些连续突发的定时。
在图5中，步骤60表示对连续突发的提取，可以使用如图3和4中的一个所示的过程对在步骤50处从基于事件的传感器10接收的信号执行所述提取，并且步骤70对应于对连续突发的分析以检测频率模式。步骤60和70一起形成应用于所接收的信号以检测其中的频率模式的分析步骤80。一旦在步骤70处提取了频率模式，就可以在步骤100处利用所述频率模式来提取可在场景中获得的一些信息。如图5所示，可以在分析步骤80与从场景中提取信息的步骤100之间应用任选的空间滤波90。
举例来说，当实施分析步骤70时，执行由具有相同极性的事件组成的连续突发之间的时间间隔的一些统计分析，以检测频率模式。
例如，可以提供缓冲器来存储在给定区域(由一个或多个感测元件组成)中提取并且具有给定极性的连续突发的时间。对于每个极性p＝±1，记录连续突发之间的时间间隔Δt1，并且可以分析两个极性的时间间隔的值，以估计频率值f＝1/T(参见图2)，例如通过求平均值。在M个突发(例如，3≤M≤20)之后，如果值Δt1的标准偏差在其平均值的一部分(例如，1％到10％)内，则可以验证这种频率值，以确定存在频率模式。可替代地，使用平均或中值滤波对两个极性的时间间隔Δt1的值进行滤波，并且如果滤波值的缓冲区含有多于M个相同的值T，则确定在频率f＝1/T处存在频率模式。
如果检测到频率模式，则还可以估计所述频率模式的占空比D作为描述所述频率模式的另外的参数。为此，检查其它时间间隔Δt2。时间间隔Δt2中的每一个都在极性p＝+1的突发(指示光分布的上升沿)与极性p＝-1的后续突发(指示光分布的下降沿)之间。平均值或检测突发的持续时间内的时间间隔的大部分值提供了图2所示的时间偏移ΔT的估计值。然后，占空比D可以被估计为D＝ΔT/T。
一旦检测到频率模式并且确定了如f、D等相关参数，处理器12就具有关于由基于事件的传感器10所观察到的场景中的频率模式的位置的信息。这种位置信息可以呈检测到模式的感测元件的地址A的形式，或者呈索引区域R的形式。这种位置信息在机器视觉应用中是相关的，以确定调制光源所处的位置。
如果在由基于事件的传感器观察到的场景中检测到多个具有相同频率f的频率模式，则还可以通过分析所述频率模式的上升沿和/或下降沿之间的时间差来导出这些模式之间的相移。
任选地，在图5所示的步骤70之后，可以执行进一步的空间滤波步骤90。具体地，当传感器的大空间区域示出相同的闪烁模式，即相同的频率和/或相同的占空比时，可以认为这种频率模式不适于从场景中提取信息。例如，这种大的频率模式可能来自反射表面，如反射/漫射来自一些光源的光的壁。在这种情况下，在步骤90中，丢弃来自那些感测元件(如像素)的事件，以在信息提取步骤100中被忽略。相反，当频率模式的空间大小较小时，这些感测元件被认为面对闪烁的光源。因此，可以确定光源的实际位置。这可能是有用的，例如用于在汽车应用中识别LED制动灯和交通灯。
执行信息提取步骤100，以便通过分析或解调调制光的频率和/或占空比来从场景中的频率模式提取信息。
因此，所述方法可以对信号进行采样以找到频率模式，并提取关于光源的信息，如转换的精确时间、调制频率、相位、占空比等。此外，由于单独感测元件的自主功能，可以以感测元件地址或索引的形式从阵列中读取信息，并且与光源相关联的检测到的频率模式还可以促进确定场景中关于光源的其它信息。
在替代性实施例中，所提取的信息可以用于通过简单地识别光源的频率模式来检测场景中的对象，如一些光源(如交通灯、制动灯和其它光源)的标称频率和/或占空比。
可替代地，在另一个实施例中，可以提供光源来传输以光调制的基本特性(如频率和/或占空比)进行编码的一些信息，如ID。此外，光源还可以含有具有经过编码的信息的更复杂的光调制，以便传输更大量的信息。在此，本文所公开的方法使得可以使用基于事件的传感器10作为可见光通信(VLC)或LiFi(参见例如IEEE 802.15.7标准)的接收器。
为了解调使用VLC传输的信息，通过上文所提及的步骤80提取由调制光产生的频率模式。然后，所述信息被解调并从这些频率模式中提取出来。
通过VLC传输的信息可以通过如开关键控(OOK)和曼彻斯特编码等方法进行编码或调制。可以使用一组不同的频率和/或占空比来对不同的符号进行编码，这使得能够增加带宽。
由于响应于光转换的像素的独立且自主的操作，可以从场景中的多个光源独立地获取信息并分别对所述信息进行解码。从这种意义上说，基于事件的传感器可以被视为多通道VLC接收器，其中传感器视场中的所有通信光源(如路边的照明和不同汽车的VLC调制灯)可以被传感器同时且独立地看到。传感器不需要朝每个光源引导，条件是光源处于视场中。然后，可以独立检测和解调所述光源。
除了可见光之外，光还可以是红外光或近红外光。
图1所示的处理器12与基于事件的传感器10单独实施。替代性架构是可能的。具体地，在片上架构中，可以在与基于事件的传感器10相同的组件中执行图5所展示的部分或所有处理。也可以在多于一个顺序或并行操作的处理器之间分配任务。
可以使用记录在非暂时性计算机可读介质中的程序指令来实施上述方法，以实施可以由计算机执行的各种操作。所述介质还可以单独地或与程序指令结合地包含数据文件、数据结构等。记录在介质上的程序指令可以是那些出于说明性实施例的目的而专门设计和构造的指令，或者其可以是计算机软件领域的技术人员熟知的类型和可用的指令。非暂时性计算机可读介质的实例包含磁性介质，如硬盘、软盘和磁带；光学介质，如CD ROM光盘和DVD；磁光介质，如光盘；以及专门被配置成存储和执行程序指令的硬件装置，如只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器等。程序指令的实例包含机器代码(如由编译器产生的代码)和含有可以由计算机使用解释器执行的更高级代码的文件两者。所描述的硬件装置可以被配置成充当一个整体。
在应用的一个实例中，包含基于事件的传感器10和一个或多个处理器12的设备用于汽车中，以检测交通信息，如交通灯、移动对象等，以便向自主驾驶系统提供交通信息。
例如，根据特定实施例，鉴于像素和已经检测到闪烁模式的时间，像素根据空间邻近度和频率被分组在一起。更准确地说，当对于在空间上接近并且有时在小时间间隔内的像素组检测到相同的频率时，这些像素被认为属于一致的区域。场景中的这种区域然后被分类为属于LED光源，如交通灯、汽车的转向灯/制动灯、路灯等。这种分类是根据所提取区域的大小、其频率、在像素阵列中的位置来完成的。
根据此实施例，通过检测成对的这种区域，可以更可靠地检测含有多种闪烁模式的汽车(或车辆)：对于每个检测到的区域，与第一区域一起确定具有一致大小、相位和频率的另一个区域，所述第一区域也位于所述第一区域的水平线上并且离所述第一区域不太远。
通过随时间推移跟踪代表两个闪烁光源的两个区域之间的像素距离，可以估计用此方法检测到的车辆的相对移动和与基于事件的传感器的距离。
假设两个闪烁源之间的间隔是固定的，则场景中两个区域之间的距离D与车辆与基于事件的传感器之间的距离Dv相关。
假设两个闪烁源之间的间隔是固定的，则场景中两个区域之间的距离D的变化率与相对运动相关。具体地，距离D越来越小意味着车辆越来越远，并且距离D越来越大意味着车辆越来越近。更准确地说，可以通过距离Dv与距离Dv的导数之间的比率来估计与物体接触的时间(参见例如：Negre、Amaury等人,“来自内在尺度变化的实时碰撞时间(Real-timetime-to-collision from variation of intrinsic scale.)”《实验机器人学(Experimental Robotics)》施普林格出版社(Springer),柏林,海德堡,2008。)
此外，假设光相对于地面的高度是固定的，则其在场景中的竖直位置与车辆与相机之间的距离Dv相关，所述距离适用于单个闪烁灯，如摩托车上的单个灯。
更通常地，本发明可用于各种装置，包含但不限于自主车辆、假体装置、自主和机器人设备，如制造机器人、军事或医疗机器人装置。
在应用的另一个实例中，包含基于事件的传感器10和一个或多个处理器12的设备用于检测由激光指示器投射在物体或表面上的图案，从而检测以激光频率模式闪烁的一个或多个像素的区域。
本发明可以进一步应用于各种各样的固定和便携式装置，例如智能电话、便携式通信装置、笔记本计算机、上网本和平板计算机、监控系统、视频投影仪以及几乎任何其它被配置成处理视觉数据的计算机化装置。
本发明的实施可用于许多应用中，包含计算机人机交互(例如，手势、语音、姿势、面部、定点装置和/或其它应用的识别)、控制过程(例如，工业机器人、自主车辆和其它车辆)、跟随视觉场景中的一组兴趣点或对象(例如，车辆或人)并且相对于图像平面的移动、增强现实应用、虚拟现实应用、访问控制(例如，基于手势开门，基于对经过授权人员的检测打开访问路径)、检测事件(例如，用于视觉监控或人或动物)、计数、跟踪等。鉴于本公开，本领域普通技术人员将会认识到存在多种其它应用。
上文所描述的实施例是本发明的说明。在不脱离本发明的源于所附权利要求的范围的情况下，可以对其进行各种修改。
