余贵珍：基于视觉的辅助驾驶前向感知技术研究

我是北京航空航天大学交通学院的老师。我今天的汇报分四个部分，首先大家知道，辅助驾驶是当前可以产业化的，能够跟得上、使用上的一个东西。在这个辅助驾驶里面，大家能够看到有纵向的还有横向的，特别是纵向的AEB，可以减少大量的追尾事故。所以很多人眼光都盯在这个地方。根据辅助驾驶不同的应用，要求的感知范围是不一样的。通常我们知道毫米波雷达、摄像头，它的范围也不一样。我主要是对前向感知，我们认为是以视觉为主，并且这个视觉扮演着重要的功能。所以我们认为视觉也是辅助驾驶一个核心的功能。

大家可能说，以前辅助驾驶还是挺好的，为什么突然辅助驾驶出了这么多问题，特别是近几年、最近几个月特斯拉事件。可以看出来，第一个特斯拉事件，就是说一个车从这个底下钻过去了。网上很多解读，我自己的解读就是说，我感觉这个摄像头应该看到了这个车，只是毫米波雷达往下扫的时候没有扫到车。因为它是结果的融合，特斯拉做集成的时候，就是以毫米波雷达为主。

为什么这样讲？因为这个车是从很远的地方开过来，如果一个点有这个阳光的影响，但是冲得更远，车头是看得见的。所以如果我解读的话，应该是融合上出了问题。

第二个这个是中国的一个事故，前面有一个车突然换道了，特斯拉刮蹭到这个车了。这个车确实是视觉感知上有点问题，我们也可以在网上看到大量的视频。如果这个车没有全部在视野之内的话，尾巴没有在视野之内的话，应该是感知不到的。或者说这个车突然出现在视频当中，是感知不到的。这里面就是刚才提到的这个视频，应该检测是有些问题的，特别是车出现视频中，这个突然出现检测不到，这个算法还是有挺大的提高空间的。我也看了很多特斯拉的说明，特别提出这个说明如果前面有车突然换道，而前面的车是静态的话，是检测不到的，以现在的技术。

从这两个事故来看，特斯拉不断的在解释说是用户误用。但是你看得出来，这个车是，我估计稍微有一点认知的人都能看得到前面是个车，而车看不到，这也是技术需要提高的地方。

大家知道，中国的道路相当复杂，不但是比国外多了雾霾，雾霾对视觉是影响很大的，并且中国的道路环境很复杂的是，有各种的车甚至是动物。这个要感知出来确实很困难。我这里主要是提一个前向感知。前向感知我们一般会提到说车辆、行人、车道线、自行车、摩托车，甚至还有标识标牌信号灯。但是信号灯这里不探讨，标识标牌真正的用处有多大，特别是AEB里面，可能用处是不大，但是对Warning是有用处的。一般的参数，一般行人要大于40米，毫米波雷达对车辆至少是大于140、150这样。

这里面比较有争议的，精度有多高，99.99%，可能大家有一个共识，这个精度都是自己说的精度，不是一个固定的精度。这个做视觉处理，特别是视觉的时候，一个输入一个输出，没有一个标准。这个尾巴不出来，大量的车是检测不到。甚至用深度学习，最近比赛的这个来看，我们觉得只有百分之七八十的精度。所以这个精度，我觉得是没有统一的定义，这也是行业急需建立一套标准、数据库和方法，不然的话谁都可以宣传他的很好。

另外一个就是说，精度大家知道，我们是辅助驾驶，因为有人在看。精度一定要达到99.99%吗？这个也是不一定。大家知道精度的提高，哪怕提高0.1个点，可能会带来很高成本的代价。现在大家知道，深度学习确实很好，但是它的代价也很高，这个硬件、软件，包括人才的成本都很高。这里面我觉得有个误解，特别是整车厂可能对这个挺讨厌的。前面紧急刹车，使得用户的感受很不好。这个精度要和误检和漏检结合起来，不然仅仅提精度是没有意义的。大家知道辅助驾驶，通常有这三个，特别是前向感知，有视觉、毫米波雷达、固体激光雷达。一般业界工人的是视觉为主，毫米波雷达辅助是比较合适的方案。这是硬件的搭配，软件我觉得这里面起着很关键的作用，第一个在视觉这个地方，大家知道深度学习确实很火，前段时间我也在汽车工程学会里面做了一个简单的分享，深度学习的一个应用。信息融合也是一个很重要的内容，所以我今天围绕这两个跟大家做个简单的介绍。

前面大牛们都把深度学习讲了，我简单介绍一下。我们行业的人对深度学习有一点不一样的理解。我们并不是要它做分割，做很多很炫的东西，我觉得是不需要的，至少是目前辅助驾驶的阶段，要花那么大的成本来做这个吗？并且做完之后，新的检测的东西也可能带来精度的影响。所以我觉得深度学习是一个，在辅助驾驶感知里面是一个辅助的工具，至少从我们做的实验来看，想要达到实时，一秒达到十帧、十五帧，现在要拿到这个硬件是很困难，成本很高。应该怎么做？我们觉得深度学习应该占三分之一，传统的算法可能会占三分之一，还有跟踪的算法。为什么跟踪的算法？大家可以看看大公司的，特别是视觉感知，为什么突然出现一个静止的东西识别不出来？里面很重要的就是，我个人认为它用了大量的跟踪的算法，可能只有一帧识别五帧是跟踪的，这五帧不检测，突然出现一个物体就检测不出来了。这是我的理解。

大家从深度学习来看，近几年确实精度提高很快，我们也有这个感触。深度学习优势主要核心在两个，一个是自学习特征。如果马上检测一个动物的话，要把一千、一万个动物在合适的场景输入，它就可以进行识别，传统算法要做这个很困难。第二个，如果用这个识别是别人话，还有各方面的比例，简单的比例，很建设。如果能看到脸上的特征，身上各个方向的特征，你识别肯定会带来更多的可靠。这是深度学习通过实践可以达到的。

这里可以看出来，传统的算法，如果你要做动物的识别是比较困难的，那用深度学习，它可以更深层次的，所以它能够有很大的优势。深度学习要训练和检测，训练要用大型的计算机来做，而检测是放在车辆终端。现在的算法也需要消耗大量的资源。

这个结构，SSD在速度和精度方面，是在目前稍微比较好的方案，当然也可以有其他的方案，最近我们做信号灯的时候，在TK1上可以跑到30帧、40帧，我们用的两三层的深度学习的算法就搞定了。我们可以把镜头抬高一点，你的摄像头里面基本只有几个信号灯，这样可以提高检测精度和速度。这是我们做的实验，SSD300，在GPU上跑，在TX1上跑到三帧，现在跑到五帧。我们希望它能提高到7帧到8帧，加上跟踪就可以达到实时了。

这是我们三四个月前做的，用单目视觉，模型Faste R-CNN样本车辆3万以上，行人2万，处理器Titan X，速度5帧。这里面确实有它的优势，我们用深度学习之后，左边这个行人挡住这个车识别不出来。这里我们的行人挡住还是可以检测出来。它的鲁棒性还是不错的。它的部分特征的学习也是很有优势的。

大家可以看光线的影响，当时我们做的时候没有做晚上的训练，这是晚上的识别效果，这个效果也不错。这里看到行人的，人都很难看得清楚，但是这个检测效果不错。

简单介绍一下我们的融合，我们提出基于宏观的中观的和微观的融合。宏观的融合，特别是天气恶劣的情况下，把毫米波雷达和摄像头怎么融合。通过摄像头能够检测到雾霾的状态，那我们会从这个雾霾在不同的距离会用不同的置信度，比如说在50米之后，以毫米波雷达为主，50米之前以摄像头为主，毫米波雷达为辅。毫米波雷达这时候可能置信度是0.5、0.4、0.3，这是气候的影响。

然后是中观的，大家看到，我们希望把车道线跟前面摄像头的间错和毫米波雷达的监测，来共同的做判断，减少毫米波雷达的误判。微观的，因为毫米波检测距离更远，摄像头一般一百米左右。检测的更远的距离，需要把毫米波识别的东西放在摄像头里面自学习，建立数据库，让它不断提高识别能力。它的识别距离也可以达到更远。

另外因为毫米波雷达对行人的识别不太高，如果天气很恶劣，如果能识别一定的行人的距离，也是一个优势。摄像头检测到的又可以让毫米波雷达提高对行人识别的精度。

这是特斯拉的，如果检测的是卡车，卡车的特征可以用摄像头精确的描述出来，它就知道如果前面识别的是卡车的话，这时候毫米波置信度可能会变成零，摄像头可能会变成1，因为不同的高度，所以这种融合是基于这种特征的融合，这是我们提的设想。

简单介绍一下我们的工作，我主要是做视觉感知方面的研究，主要是以摄像头为主，近几年有这两个课题，一个是北京市科委的重点项目，基于单目视觉环境感知技术的电动车智能化技术研发，另外一个是科技部“十三五”重点专项，电动汽车智能辅助驾驶环境感知关键技术的研发，我主要是做融合。我们现在已经买了六七家的毫米波雷达在试装车。

另外一个我自己也在做一个驾驶机器人，大家如果有空的话去场地分享，我们在试驾。

谢谢。