@event-based camera相关知识基础了解伴随我的学习进度,持续上传
一些常见的简称是什么意思
DVS :Dynamic Vision Sensor(动态视觉传感器)。借用《An Event-Driven Multi-Kernel Convolution
Processor Module for Event-Driven Vision Sensors》中的表述:Example Event-Driven sensors are: simple luminance to frequency transformation sensors [1], time-to-first event coding sensors [2]–[4], foveated sensors [5], [6], temporal contrast vision sensors [7]–[11], motion sensing and computation systems [12], [13], and spatial contrast sensors [9], [10], [14]–[16], among many others. Of special interest for very high-speed applications are the so-called “Dynamic Vision Sensors” (DVS), where each pixel autonomously computes the normalized time derivative of the sensed light and provides an output
event with its coordinate when this amount exceeds a
preset contrast [7], [8], [11]. Fig. 1 illustrates the operation of such sensor when observing a 7.5 KHz spiral on an analog oscilloscope operated in x-y mode and stimulated with two phase shifted sinusoids of decreasing amplitude.
解释:参考http://www.sohu.com/a/300758196_100007727
神经拟态视觉传感器使用基于事件驱动的方式来捕捉场景中的动态变化。与传统相机不同,神经拟态视觉传感器没有 “帧” 的概念。当现实场景中发生变化时,神经拟态视觉传感器会产生一些像素级的输出(即事件),一个事件具体包括(t, x, y, p),这里的 x, y 为事件在2D空间的像素坐标,t为事件的时间戳,p为事件的极性。事件的极性代表场景的亮度变化: 上升(positive) or 下降 (negative)【所以,有的文章说是两个颜色一红(黄)以蓝或者是两个状态+1和-1都是代表场景的变化,而《A low power,fully event-based gesture recognition system》中最开始是+1-1和0三种状态,最后+1-1好像汇合成一种,也就是总共还是两种状态??】。
LIF:Integrate-And-Fire Models(整合与激发神经元)
AER: address event processor vision sensors
基础知识
发展及改变
Kinect相机(我理解为体感相机,用于体感游戏等):微软开发,通过将光图案投射到物体上,然后对反射光进行感测和处理,以在传感器上的各个像素中估计场景深度。(通过对深度的感知感受动作,人体的形态)
较早(最早?)的event-based camera
DVS128:瑞士神经信息学研究所开发,像素128*128;仅当像素发生变化时记录。相比RGB相机,DVS是无框架的,异步的,并且只在变化时触发可以降低耗能。只显示变化的像素,降低数据带宽。
MC3D(Motion Contrast 3D):利用了DVS128相机模块,只对已经改变的部分场景进行激光扫描(内含激光线扫描仪),可以在强光照、物体间有反射或 强烈反射形成的反射面存在下工作。
好像国内研究event-based camera的人太少啦,欢迎大家入群交流
QQ:深度学习/event-based camera 950438576
为了便于大家交流,QQ群依然保留供大家交流;由于本人暂时不在做这个方向,群主已转让他人。
参考
event-camera发展:http://www.sohu.com/a/300758196_100007727