余贵珍：基于视觉的辅助驾驶前向感知技术研究

前面大牛们都把深度学习讲了，我简单介绍一下。我们行业的人对深度学习有一点不一样的理解。我们并不是要它做分割，做很多很炫的东西，我觉得是不需要的，至少是目前辅助驾驶的阶段，要花那么大的成本来做这个吗？并且做完之后，新的检测的东西也可能带来精度的影响。所以我觉得深度学习是一个，在辅助驾驶感知里面是一个辅助的工具，至少从我们做的实验来看，想要达到实时，一秒达到十帧、十五帧，现在要拿到这个硬件是很困难，成本很高。应该怎么做？我们觉得深度学习应该占三分之一，传统的算法可能会占三分之一，还有跟踪的算法。为什么跟踪的算法？大家可以看看大公司的，特别是视觉感知，为什么突然出现一个静止的东西识别不出来？里面很重要的就是，我个人认为它用了大量的跟踪的算法，可能只有一帧识别五帧是跟踪的，这五帧不检测，突然出现一个物体就检测不出来了。这是我的理解。

大家从深度学习来看，近几年确实精度提高很快，我们也有这个感触。深度学习优势主要核心在两个，一个是自学习特征。如果马上检测一个动物的话，要把一千、一万个动物在合适的场景输入，它就可以进行识别，传统算法要做这个很困难。第二个，如果用这个识别是别人话，还有各方面的比例，简单的比例，很建设。如果能看到脸上的特征，身上各个方向的特征，你识别肯定会带来更多的可靠。这是深度学习通过实践可以达到的。

这里可以看出来，传统的算法，如果你要做动物的识别是比较困难的，那用深度学习，它可以更深层次的，所以它能够有很大的优势。深度学习要训练和检测，训练要用大型的计算机来做，而检测是放在车辆终端。现在的算法也需要消耗大量的资源。

这个结构，SSD在速度和精度方面，是在目前稍微比较好的方案，当然也可以有其他的方案，最近我们做信号灯的时候，在TK1上可以跑到30帧、40帧，我们用的两三层的深度学习的算法就搞定了。我们可以把镜头抬高一点，你的摄像头里面基本只有几个信号灯，这样可以提高检测精度和速度。这是我们做的实验，SSD300，在GPU上跑，在TX1上跑到三帧，现在跑到五帧。我们希望它能提高到7帧到8帧，加上跟踪就可以达到实时了。

这是我们三四个月前做的，用单目视觉，模型Faste R-CNN样本车辆3万以上，行人2万，处理器Titan X，速度5帧。这里面确实有它的优势，我们用深度学习之后，左边这个行人挡住这个车识别不出来。这里我们的行人挡住还是可以检测出来。它的鲁棒性还是不错的。它的部分特征的学习也是很有优势的。

大家可以看光线的影响，当时我们做的时候没有做晚上的训练，这是晚上的识别效果，这个效果也不错。这里看到行人的，人都很难看得清楚，但是这个检测效果不错。

简单介绍一下我们的融合，我们提出基于宏观的中观的和微观的融合。宏观的融合，特别是天气恶劣的情况下，把毫米波雷达和摄像头怎么融合。通过摄像头能够检测到雾霾的状态，那我们会从这个雾霾在不同的距离会用不同的置信度，比如说在50米之后，以毫米波雷达为主，50米之前以摄像头为主，毫米波雷达为辅。毫米波雷达这时候可能置信度是0.5、0.4、0.3，这是气候的影响。

然后是中观的，大家看到，我们希望把车道线跟前面摄像头的间错和毫米波雷达的监测，来共同的做判断，减少毫米波雷达的误判。微观的，因为毫米波检测距离更远，摄像头一般一百米左右。检测的更远的距离，需要把毫米波识别的东西放在摄像头里面自学习，建立数据库，让它不断提高识别能力。它的识别距离也可以达到更远。

另外因为毫米波雷达对行人的识别不太高，如果天气很恶劣，如果能识别一定的行人的距离，也是一个优势。摄像头检测到的又可以让毫米波雷达提高对行人识别的精度。

这是特斯拉的，如果检测的是卡车，卡车的特征可以用摄像头精确的描述出来，它就知道如果前面识别的是卡车的话，这时候毫米波置信度可能会变成零，摄像头可能会变成1，因为不同的高度，所以这种融合是基于这种特征的融合，这是我们提的设想。

简单介绍一下我们的工作，我主要是做视觉感知方面的研究，主要是以摄像头为主，近几年有这两个课题，一个是北京市科委的重点项目，基于单目视觉环境感知技术的电动车智能化技术研发，另外一个是科技部“十三五”重点专项，电动汽车智能辅助驾驶环境感知关键技术的研发，我主要是做融合。我们现在已经买了六七家的毫米波雷达在试装车。

另外一个我自己也在做一个驾驶机器人，大家如果有空的话去场地分享，我们在试驾。

谢谢。