社区

Stellantis，该车企没有对应的中文名字，除了雪铁龙外基本上也退出了中国市场，也没有什么电动车车型，混动都很少见，但Stellantis的赚钱能力丝毫不差。

作为对比，大众集团尽管2022年比Stellantis多卖了100万辆新车，总营收1563亿欧元，但税后净利润仅为85.2亿欧元；丰田因为采用特殊的财年统计法（每年4月至次年3月为完整财年），所以这里仅统计丰田2023年1-6月的数据，其包括大发和日野在内的集团全球销量为541.98万辆，总营收约为1348.32亿欧元，归母净利润则约为117.78亿欧元。大车企中，Stellantis利润率是稳稳的全球第一。

零跑也是一家与Stellantis类似的车企，名气远小于蔚小理，但自动驾驶算法全球第一，在全球权威的自动驾驶算法测试数据集上，包括了华为、英伟达、奔驰、博世、地平线、MIT等一众知名企业参与的近300多家自动驾驶算法打榜中，零跑汽车高居第一，详情见https://www.nuscenes.org/object-detection?externalData=no&mapData=no&modalities=Any。

2023年10月25日，根据华尔街见闻的消息，Stellantis接近达成协议收购零跑汽车20%的股权，价格约为10亿美元，作为交易的一部分，零跑和Stellantis还在讨论成立一家合资企业。双方通过合作，Stellantis可以在中国境外制造和销售零跑汽车，同时还可以使用零跑的零部件和某些技术。此外，零跑与大众洽谈出售增程式技术平台。

今天我们通过零跑汽车的论文来了解一下零跑的自动驾驶算法，论文题目为《EA-LSS: Edge-aware Lift-splat-shot Framework for 3D BEV Object Detection》，署名作者共8位，其中5位都来自零跑汽车。零跑汽车的另一篇论文《GAM: Gradient Attention Module of Optimization for Point Clouds Analysis》也值得一看。本文的图片多引自这两篇论文。

零跑的EA-LSS核心还是来自英伟达的LSS，即Lift-Splat-Shoot。自从BEV下的感知在Tesla AI Day 被提出后，业内很多公司开始进行BEV工程化的探索。当前在BEV下进行感知方法大致分为两类：一类是以Transformer为主体的隐式深度（Depth）信息进行转换的架构，典型代表为特斯拉；另一类则是基于显示的深度估计投影到BEV下的方法，也就是英伟达在2020年初提出的LSS。有关LSS，详情见论文《Lift, Splat, Shoot: Encoding Images from Arbitrary Camera Rigs by Implicitly Unprojecting to 3D》。

LSS最大的贡献在于：提供了一个端到端的训练方法，解决了多个传感器融合的问题。传统的多个传感器单独检测后再进行后处理的方法，无法将此过程中的损失进行反向传播，从而调整相机输入，而LSS则省去了这一阶段的后处理，直接输出融合结果。

cuDNN对LSS的改进流程

这是cuDNN (CUDA Deep Neural Network library) 对LSS的改进流程，多视角相机输入后，进入Backbone，同时利用一个深度估计网络估计出Depth的feature。值得注意的是，这里的Depth feature与 Image feature 的size 是相等的，因为后续要进行外积（Outer product）操作。外积是LSS的核心。

Depth的信息是"ambiguous"(模棱两可)的，无法使用每个pixel直接预测的Depth具体值，而是使用Depth 分布的方式来表示每个pixel的Depth信息。因此，其实无法确定每个pixel的特征投影BEV视角下的具体位置，因此对于每个pixel特征，LSS认为“all possible depths ”。使用外积操作，将Image feature (维度H*W*C) 和 Depth feature (维度H*W*D) 构造成一个(H*W*D*C) Frustum feature。将上面构造出的Frustum Feature 利用相机外参和内参转换到BEV视角下。具体过程是，通过限定好BEV视角的范围，划定好一个个的grid，将能够投影到相应grid 的 Feature 汇总到一个grid 里，之后再进行 "Splat"操作。

LSS的缺点就是极度依赖Depth信息的准确性。当然，这是大部分纯视觉方法的硬伤。如果直接使用此方法通过梯度反传促进Depth网络的优化，如果Depth 网络设计的比较复杂，往往由于反传链过长使得Depth的优化方向比较模糊，难以取得较好效果。

特别是深度跳跃部分，零跑的主要工作就是解决深度跳跃问题，零跑使用了激光雷达深度图做融合，而非常见的点云特征。

EA-LSS框架

EA-LSS卷积与激活流程图

零跑有一篇针对点云分析的论文《GAM : Gradient Attention Module of Optimization for Point Clouds Analysis》，作者团队与EA-LSS论文的作者团队几乎完全一致。

GAM框架

从上图可以看出零跑团队对于激光雷达的研究非常深入，通常人们会忽略distance，也就是深度信息而高度关注图形graph。

回到EA-LSS，其核心部分就是FGD，细粒度的深度信息。

FGD的损失函数如上面所描述的，n为非零像素数量，D为深度真值。

 下面是FGD再进一步的EADF，edge-aware depth fusion (EADF)。

EADF的损失函数

EA-LSS效果图

总损失函数定义

零跑EA-LSS的训练环境是英伟达的DGX-A100。

EA-LSS实测得分，目前处于全球第一的位置，TransFusion就是华为自动驾驶的融合算法。EA-LSS也可以用单目估计深度，不用激光雷达，不过性能非常差，mAP大致就是33%。

EA-LSS的缺点就是太消耗运算资源，暂时还无法上车，transformer的方法会降低运算资源，特斯拉就用transformer，不过transformer不如LSS更加容易收敛，也就是LSS精度更高，漏检率更低。

中国人不必妄自菲薄，将特斯拉视作神，单论算法，特斯拉应该比不过零跑，但工程化落地能力，特斯拉确实很强。

免责说明：本文观点和数据仅供参考，和实际情况可能存在偏差。本文不构成投资建议，文中所有观点、数据仅代表笔者立场，不具有任何指导、投资和决策意见。

相关文章《2023年中国自动驾驶融合算法研究报告》

《2023年中国自动驾驶融合算法研究报告》目录

报告页数：220页

01

自动驾驶算法综述

1.1 自动驾驶算法概述

1.1.1 环境感知算法概述——视觉方向

1.1.2 环境感知算法概述——激光雷达方向

1.1.3 环境感知算法概述——毫米波雷达方向

1.1.4 环境感知算法概述——多传感器融合方向

1.2 决策规划、控制执行类算法概述

1.3 神经网络发展历程

1.4 自动驾驶算法供应模式

02

芯片厂商算法研究

2.1 华为

2.1.1 华为智能汽车解决方案部门简介

2.1.2 华为ADS自动驾驶全栈解决方案

2.1.3 华为核心算法介绍

2.1.4 华为自动驾驶算法发展规划及生态合作伙伴

2.2 地平线

2.2.1 地平线公司简介

2.2.2 地平线合作模式

2.2.3 地平线车载计算平台及单目前视解决方案算法

2.2.4 地平线自动驾驶感知算法设计

2.2.5 地平线核心算法模型介绍

2.2.6 地平线领航辅助驾驶解决方案及超级驾驶解决方案算法

2.2.7 地平线软件开放平台

2.2.8 地平线目前量产的成果及后期算法规划

2.2.9 合作动态

2.3 黑芝麻智能

2.3.1 黑芝麻智能公司简介

2.3.2 黑芝麻智能感知算法

2.3.3 黑芝麻智能最新算法成果

2.3.4 黑芝麻智能山海工具链

2.3.5 黑芝麻智能合作伙伴

2.3.6 黑芝麻智能近期合作

2.4 复睿微

2.5 Mobileye

2.5.1 Mobileye公司简介

2.5.2 Mobileye物体识别技术

2.5.3 Mobileye芯片算法发展进程

2.5.4 Mobileye视觉算法

2.5.5 目前发展及合作

2.6 高通Arriver

2.6.1 Arriver公司简介

2.6.2 Arriver视觉感知算法

2.7 恩智浦

2.8 英伟达

2.8.1 英伟达公司简介

2.8.2 英伟达合作模式

2.8.3 英伟达自动驾驶汽车软件栈

2.8.4 英伟达感知算法介绍

2.8.5 英伟达感知算法模型介绍

2.8.6 近期合作动态及合作伙伴

03

Tier1 & Tier2厂商算法研究

3.1 Momenta

3.1.1 Momenta公司简介

3.1.2 Momenta核心技术及产品

3.1.3 Momenta算法的应用

3.1.4 Momenta合作动态

3.2 纽劢科技

3.2.1 纽劢科技公司简介

3.2.2 纽劢科技视觉感知模块及产品落地进程

3.2.3 纽劢科技最新的视觉感知算法介绍

3.2.4 纽劢科技算法产品落地进程

3.2.5 纽劢科技合作动态及发展规划

3.3 虹软科技

3.3.1 公司简介

3.3.2 ADAS技术介绍 

3.3.3 BSD、AVM技术介绍 

3.3.4 虹软一站式车载视觉解决方案

3.3.5 近期动态及主要客户

3.4 觉非科技

3.4.1 觉非科技公司简介

3.4.2 视觉特征融合定位解决方案

3.4.3 觉非科技BEV感知技术发展历程

3.4.4 LiDAR融合定位解决方案

3.4.5 基于LiDAR的不同融合方案

3.4.6 觉非科技合作生态

3.5 中科创达

3.6 禾多科技

3.6.1 禾多科技公司简介

3.6.2 HoloPilot及其主要算法介绍

3.6.3 HoloParking及其主要算法介绍

3.6.4 禾多科技中间件

3.7 映驰科技

3.7.1 映驰科技公司简介

3.7.2 映驰科技自动驾驶软件

3.7.3 映驰科技近期合作

3.8 毫末智行

3.8.1 毫末智行公司简介

3.8.2 毫末智行产品矩阵

3.8.3 毫末智行目前的发展

3.8.4 MANA 系统

3.8.5 MANA 系统——视觉、激光雷达感知模块

3.8.5 MANA 系统——融合感知模块

3.8.5 MANA 系统——认知模块

3.8.6 感知能力的进化

3.8.7 认知能力的进化

3.8.8 毫末新技术实践之路

3.8.9 毫末智行近期算法成果

3.9 环宇智行

3.9.1 环宇智行公司简介

3.9.2 环宇智行自动驾驶软件

3.9.3 环宇智行Athena 5.0

3.9.4 环宇智行发展成果及规划 

3.10 法雷奥

3.10.1 法雷奥公司简介

3.10.2 典型算法模型介绍

3.11 StradVision

3.11.1 StradVision公司简介

3.11.2 StradVision视觉产品分类&产品客户&产品时间线

3.11.3 Stradvision自动驾驶算法

3.11.4 Stradvision视觉产品发展动态

04

新势力及主机厂研究院算法研究

4.1 特斯拉

4.1.1 特斯拉简介

4.1.2 特斯拉算法

4.1.3 特斯拉多相机融合算法

4.1.4 特斯拉环境感知算法

4.1.5 特斯拉最新规划与决策算法

4.2 蔚来

4.2.1 蔚来简介

4.2.2 蔚来自动驾驶系统演进

4.2.3 蔚来Pilot系统与NAD系统对比

4.3 理想

4.3.1 理想简介

4.3.2 理想智能驾驶路线

4.3.3 理想算法历程

4.3.4 理想AD Max智能驾驶算法架构

4.3.5 理想汽车智能驾驶方面的布局

4.3.6 理想汽车未来发展规划

4.4 小鹏

4.4.1 小鹏简介

4.4.2 小鹏汽车算法及自动驾驶能力演进路线

4.4.3 小鹏自动驾驶算法架构

4.4.4 小鹏汽车全新感知架构

4.4.5 小鹏的数据采集、标注和训练

4.5 飞凡

4.5.1 飞凡汽车简介

4.5.2 飞凡汽车RISING PILOT

4.5.3 飞凡Full Fusion全融合算法

4.5.4 飞凡R7 全融合算法：上车效果

4.6 零跑

4.6.1 零跑汽车简介

4.6.2 零跑汽车全域自研

4.6.3 零跑汽车的算法能力及未来规划

4.7 极氪

4.7.1 极氪汽车简介

4.7.2 极氪的Mobileye方案

4.7.3 极氪与Waymo的合作及算法自研的方案

4.8 宝马

4.8.1 宝马汽车简介

4.8.2 宝马汽车的算法

4.8.3 宝马汽车自动驾驶方面的合作

4.9 上汽

4.9.1 上汽集团自动驾驶布局

4.9.2 零束科技简介

4.9.3 零束科技计算平台

4.9.4 上汽人工智能实验室

4.10 通用汽车

4.10.1 通用汽车自动驾驶布局

4.10.2 Cruise简介

4.10.3 Cruise感知算法

4.10.4 Cruise决策算法

4.10.5 Cruise的自动驾驶开发工具链

4.10.6 Cruise的Robotaxi及未来规划

05

L4级自动驾驶Robtaxi算法研究

5.1 百度 Apollo

5.1.1 百度 Apollo简介

5.1.2 百度 Apollo无人驾驶技术架构历程

5.1.3 百度Apollo感知算法介绍

5.1.4 百度无人车定位技术

5.1.5 百度Apollo最新亮点技术

5.2 小马智行

5.2.1 小马智行简介

5.2.2 小马智行主要业务及商业模式

5.2.3 小马智行核心技术及最新自动驾驶系统配置

5.2.4 小马智行传感器融合方案

5.2.5 小马智行合作动态

5.3 文远知行

5.3.1 文远知行简介

5.3.2 文远知行WeRide One

5.3.3 WeRide One的算法模块

5.3.4 文远知行合作动态

5.4 元戎启行

5.4.1 元戎启行公司简介

5.4.2 元戎启行技术

5.4.3 元戎启行自研算法

5.4.4 元戎启行合作及最新动态

5.5 轻舟智航

5.5.1 轻舟智航简介

5.5.2 轻舟智航产品

5.5.3 轻舟智航超融合感知方案

5.5.4 轻舟智航预测算法

5.5.5 轻舟智航规划算法

5.5.6 轻舟智航经典算法模型介绍

5.5.7 轻舟智航近期合作

5.6 驭势科技

5.6.1 驭势科技公司简介

5.6.2 U-Drive智能驾驶系统

5.6.3 驭势科技视觉定位技术

5.6.4 驭势科技最新算法

5.6.5 驭势科技研发规划及合作伙伴

5.7 AutoX

5.7.1 AutoX公司简介

5.7.2 AutoX无人驾驶技术 

5.7.3 AutoX L4级别无人驾驶融合感知系统xFusion

5.8 滴滴自动驾驶

5.8.1 滴滴自动驾驶公司简介

5.8.2 滴滴自动驾驶技术

5.9 Waymo

5.9.1 Waymo公司简介

5.9.2 Waymo公司传感器矩阵

5.9.3 Waymo公司技术

5.9.4 Waymo行为预测算法

5.9.5 Waymo近期动态

06

自动驾驶算法发展趋势

6.1 算法趋势一

6.2 算法趋势二

6.3 算法趋势三

6.4 算法趋势四

6.5 算法趋势五

6.6 算法趋势六

6.7 算法趋势七

更多佐思报告

报告订购及合作咨询联系人:

符先生：15810027571（同微信）

张女士：13716037793（同微信）

佐思2023年研究报告撰写计划

智能网联汽车产业链全景图（2023年9月版）

“佐思研究月报”

 ADAS/智能汽车月报 | 汽车座舱电子月报 | 汽车视觉和汽车雷达月报 | 电池、电机、电控月报 | 车载信息系统月报