特斯真能用纯摄像头实现自动驾驶嘛?

StockCurry
2021-09-16

特斯拉最近宣布新交付的车将不再搭载雷达,明显是要double down 摄像头来实现自动驾驶,那么他们会成功嘛?Let me explain.

我们先来说说TSLA为什么不用激光雷达(LiDAR),之后聊聊TSLA用摄像头如何实现自动驾驶,其中包括数据和决策处理,最后我们来聊聊国内的自动驾驶。

TSLA为什么不用激光雷达(LiDAR)

什么是激光雷达

激光雷达通过发射一束激光来测量目标物体的距离和一些其它的参数。由于激光雷达的强大,通常都会用来做3D扫描,即把周围的物体或场景或街道扫描成3D影像来提供给车辆,从而使车辆具有感知周围环境的功能。

如下图,激光雷达可以轻松识别车辆,路边的树,建筑物等。

自动驾驶为什么要使用激光雷达

因为激光雷达的3D扫描,360度无死角,夜视,可以用来检测障碍物等特点深受广大厂商的青睐,除了TESLA 和Comma.ai 都认为激光雷达是实现自动驾驶不必可少的重要组件。

下图为蔚来最新款的ET7, 搭载了一个超长距离高清激光雷达。

然而激光雷达也不是万能的,如果在雨天,雪天,或雾天都会影响激光雷达,所以在这种天气情况之下激光雷达就派不上多大用场了,就需要其它的传感器来辅助。

特斯拉为什么不用激光雷达

Elon Musk 曾经在自动驾驶日上说过

LiDAR is a fool’s errand. Anyone relying on LiDAR is doomed. Doomed! [They are] expensive sensors that are unnecessary. It’s like having a whole bunch of expensive appendices. Like, one appendix is bad, well now you have a whole bunch of them, it’s ridiculous, you’ll see.

大概意思是谁用激光雷达谁会注定失败,他们很贵并且没有必要。

也有人问过他为什么这么不喜欢激光雷达,他的回答是:并没有不喜欢,SpaceX在回收到龙舟的时候用的就是自己研发的激光雷达,只是对自动驾驶没有用处。

所以,从特斯拉的角度是这样来考虑的:如果可以用摄像头来判断距离和3D扫描,那么我为什么要用那么贵的激光雷达,而且Elon曾经说过:如果多个设备同时启用(即激光雷达和摄像头),如果出现分歧听谁的,所以特斯拉干脆连雷达也不要了,都用摄像头来实现。

TSLA如何用摄像头实现自动驾驶

特斯拉的车都搭载了8个摄像头,来覆盖车身周围360度内的影像。这些影像以及其它数据被传到车载的FSD电脑,利用里面的神经网络和AI程序进行分析和计划,再输出给车辆最后还要进行验证。这就是整个TSLA自动驾驶的过程。

这其中最主要的两个环节,一是看,即收集和处理摄像头的图像,二是处理或计划,即根据处理的图像来对车辆如何驾驶给出计划。

图像的收集和识别

那么第一部分就需要我们来讨论一下特斯拉是如何用摄像头代替激光雷达(LiDAR)的。首要的问题肯定是如何用摄像头来测距离,这是LiDAR在自动驾驶中的主要功能。特斯拉通过图像和神经网络来学习从而达到让算法光依靠图像就可以测算出距离(详细Iro Laina 和 Christian Rupprecht 2016年在Cornell大学的论文:Deeper Depth Prediction with Fully Convolutional Residual Networks)。同时LiDAR的3D扫描功能也可以通过图像来完成(详见 Paden Tomasello发表的论文:DSCnet: Replicating Lidar Point Clouds with Deep Sensor Cloning),下面是特斯拉AI总监在AI 日放的一个视频:通过图一6秒的一段视频就可以生成图2的3D图形。

通过以上的展示,我们可以了解到为什么Elon可以拍着胸脯说自动驾驶用不着LiDAR了,因为他们在图像处理方面已经到了登峰造极的地步了。

当然图像处理方面最主要的还是物体识别,比如车辆,交通锥,行人,自行车和路障等,这些特斯拉通过把图像里的物体加上标签(labeling),然后提供给神经网络学习,从而达到让车辆识别的终级目的。

最开始我对不用激光雷达(LiDAR)而用全摄像头来实现自动驾驶深表怀疑:“路况那么复杂,不可能所有现实中的情况都遇到”。然而特斯拉却说可以实现99.99999%,这主要归功于行驶在路上的1百万+辆特斯拉为他提供了强大的,多场景,全方位的真实数据影像来训练他的神经网络。

比如他们要训练神经网络识别后面带自行车的汽车,特斯拉团队就会向车队发出一个请求,之后车队就会传回各种在路上遇见的带自行车汽车的图片,这也是特斯拉在自动驾驶方面领先其它车企的重要原因:超大,多种,真实的数据库。

特斯拉就是通过这种训练神经网络,再应用到车上再把不精确的地方传回重新训练再应用,逐渐迭代的过程来达到实现自动驾驶的目的。

这里很多人会说了,我们花钱买的车,现在自动驾驶又要单独购买,而且还这么贵,就是为了让我们当小白鼠帮特斯拉修bug嘛?

其实并不是,特斯拉在修复bug之后会采用一种叫shadow的模式。在我们工作中shadow通常是指交接工作的时候,老员工在做交接时,新员工只看老员工具体是怎么操作的。然后会做reverse shadow, 新员工操作,老员工看,指出不对的地方,从而让新员工达到快速上手的目的。 而特斯拉所说的shadow是指修复好的bug 或问题会在后台默默的运行。比好特斯拉对于前车插队加入了识别,但是他不会马上启动应用到你的车上,而是在后台悄无声息的运行,预判这个车是不是要插队,如果不是那这个结果就会传回自动驾驶团队,内部再进行研究,会析差异的原因,不断改进迭代,再进行shadow模式,直到万无一失才会开放给车主。

所以有人说什么特斯拉车主都是用生命在开车或用生命在自动驾驶,其实非常不正确。

车辆行驶方案计划

以上我们简单说了车辆是如何识别在路上看见的各种东西的,现在我们来说说看到这些图像之后车会如何做出行驶方案。

关于行驶计划特斯拉使用AI来处理转向,变道等行为。AI 每分钟要预测上千种可能发生的模拟,最后选取一种最优的方案,而且还要考虑到其它车辆,行人等的行为。

听起来像不像奇异博士在复仇者联盟里快速看了1400万种可能,只有一种可能会赢的场景。

在AI 日里面特斯拉关于车辆计划的讲解并不是很多,但给出了一个非常牛B的场景来说明车是如何做计划的,就是在一个两边都是停着的车的窄路上如何通过预判其它车辆的行为来顺利通过。

综上所诉,我认为特斯拉基本可以实现99.9999.....%的自动驾驶。而且现在来看肯定是北美会最先实现,之后才会考虑别的国家。


聊聊国内自动驾驶

由于本人不在国内,而且小鹏,蔚来也没有像特斯拉这么公开讲过他们的自动驾驶系统,反正我是没有搜到,所以这里只简单聊一下国内的自动驾驶,欢迎有实战经验的留言区分享。

国内的自动驾驶车辆现在基本都搭载了我们前面提到的激光雷达,还配备了高精地图,激光雷达只是辅助,可以帮车辆看的更清,距离测的更准,在没有特斯拉这种庞大的数据库和算法做后盾的前提下确实是个弯道超车的好办法,同时也给人一种安全感。看了B站的一些视频,评论里已经对特斯拉不用激光雷达的事吵开锅了,大部分人都是相信激光雷达,而认为特斯拉光用摄像头基本告别自动驾驶了,其实只要他们把互喷的时间拿出来一些去深入了解一下就会发现人家不用的原因。

再说说另一个弯道超车的好工具那就是高精地图,我觉的高精地图如果在国内做自动驾驶还是可行的,必竟国内的人工比较便宜,可以专门有个百人,千人的部门来专门做高精地图,而且只要做中国的就可以了,而特斯拉认为高精地图不可行主要还是因为如果高精地图有一点改动就很麻烦,同时他考虑的不只在美国境内,而是放眼到全球,最终的目标是在每个国家都可以使用自动驾驶,这要用高精地图就很麻烦,因为每个国家都要一套高精地图,而且有的国家的高精地图可能还涉及到安全问题。

最后,希望国内小鹏和蔚来能最终实现自动驾驶,虽然我第一次看到小鹏的驾驶界面还是没忍住笑了出来(基本就是照搬特斯拉,抄作业连名字都没改的感觉),但目前来看小鹏的自动驾驶应该是国内做的最好的,希望他们多多努力,青抄于蓝胜于蓝。

P.S. 文章写的不易,大概用了一周多的时间,必竟不是专业做自动驾驶的,查了不少资金和看了不少遍特斯拉AI day 和 Autonomy day的视频,在整个过程中学到了不少东西,如果大家有兴趣可以留言一起讨论。

“疯狂的”特斯拉
特斯拉周三暴跌超17%!其在2020年的涨幅仍然达到75%,市值一度超过福特、通用、本田、法拉利之和。
免责声明:上述内容仅代表发帖人个人观点,不构成本平台的任何投资建议。

精彩评论

  • 哎呀呀小伙子
    2021-09-16
    哎呀呀小伙子
    我为什么总是感觉小鹏一直在模仿特斯拉呢,以前都不敢说,怕被喷。
    • StockCurry
      之前是的,现在应该有些自己的东西了吧
  • 揭人不揭短
    2021-09-16
    揭人不揭短
    用了一周多的时间才写出来这个文章呀,很厉害,就冲你这份专注和敬业精神就应该给你竖起大拇指。
  • 老夫的少女心_
    2021-09-16
    老夫的少女心_
    特斯拉实现自动驾驶我一点都不稀奇,毕竟人家一直走在全面。
  • 宝宝金水_
    2021-09-16
    宝宝金水_
    一个非业内人士写出这样的高质量文章,着实不容易呀,辛苦辛苦。
  • 小时候可帅了00
    2021-09-16
    小时候可帅了00
    妥妥的技术贴呀,很喜欢这种干货的分享,已收悉。
  • 找真正值得尊重的好老板好
    2021-09-21
    找真正值得尊重的好老板好
    人类真能用眼睛开车吗?。。已经用了就。。。
发表看法
17
4