本文目录一览：

• 1、与图森牵手量产无人卡车，采埃孚在自动驾驶上储备了哪些关键能力
• 2、深度：如何将深度学习和自动驾驶结合在一起
• 3、深度学习怎样应用于无人驾驶领域？
• 4、深度学习能应用在哪些领域？
• 5、深度学习都能应用于哪些领域，目前有什么产品？

与图森牵手量产无人卡车，采埃孚在自动驾驶上储备了哪些关键能力

1.采埃孚牵手图森未来，落子商用车自动驾驶

最近，德国一级零部件供应商采埃孚（ZF）与自动驾驶卡车解决方案开发商图森未来宣布将联合研发量产化的无人驾驶卡车系统。

两家企业具体的合作内容包括：

融州燃薯合摄像头、激光雷达和毫米波雷达的感知技术；

自动驾驶控制技术；

车规级中央处理平台——采埃孚 ProAI；

采埃孚将为图森提供工程技术支持，推进自动驾驶卡车系统的前装配置工作。

双方的合作将在今年的 4 月正式启动，未来合作的产品和系统将供应全球市场。

某种程度上这意味着，采埃孚+图森将组成自动驾驶卡车领册者域的新型 Tier 1，这样的一种合作模式值得行业内其他 Tier 1 和创新公司借鉴。

在采埃孚和图森未来达成合作之前，他们有一个共同的好朋友叫英伟达。

一方面，英伟达 2017 年参与了图森未来的 B 轮融资，作为战略投资方取得后者 3% 的股份。图森未来的自动驾驶卡车方案也采用英伟达的自动驾驶计算平台，每年英伟达的 GTC 大会上，图森未来的原型车都没有缺席。

另一方面，英伟达在 2017 年 CES 上与采埃孚建立了合作关系，采埃孚基于英伟达的 Xavier 打造了自动驾驶计算平台 ProAI，这一产品被采埃孚寄予厚望，如今已经推进至第四代。

缘分归缘分，最终促成采埃孚和图森未来合作的还是两家公司在技术上的互补性以及自动驾驶发展战略相互契合。

所谓技术上的互补，指的是采埃孚在自动驾驶传感器、计算硬件以及控制技术方面有非常深厚的积累，而图森未来则长于自动驾驶系统整体算法。两者展开合作，对于开发一套完整的自动驾驶软硬件系统大有裨益。

而在自动驾驶方面，采埃孚在今年 CES 上已经确立了重点开发乘用车 L2+ 级自动驾驶系统以及商用车/城市客运 L4 级自动驾驶系统的战略方向。

图森未来是专注做 L4 级自动驾驶卡车解决方案的创新公司，采埃孚此时选择图森未来最合适不过。

图森未来在美国的运营势头良好，根据官方公布的信息他们目前已经拥有了超过 20 家邮政快递、电商、物流行业的客户，管理着超过 50 台自动驾驶卡车的车队，未来还将开辟新的运营线路。

按照图森未来的规划，他们要在 2021 年实现全无人化的货运服务，有了采埃孚的助力，这一目标在实现起来又增加了更多确定性。

事实上，在选择图森未来之前，采埃孚已经在自动驾驶领域进行了广泛和深入的布局，而且成效初显。

今年 CES 上，采埃孚也宣布了其在自动驾驶领域的最新商业化进展：

其一，采埃孚自研的 coASSIST 系统可以以 1000 美元以下的价格为驾驶员带来安全舒适的体验。这套系统满足欧洲新车评价规程 2024（Euro NCAP 2024）测试要求，可以提供常用的 L2+ 功能，该系统将于 2020 年底前与一家亚洲主流汽车制造商合作进行投产。

其二，基于 ProAI 自动驾驶计算平台，采埃孚目前正在为一家全球商用车制造商开发针对 L4 系统的电子控制单元（ECU），计划于 2024/25 年上市。

此番，选择图森未来进行合作，只是采埃孚在商用车自动驾驶领域落下的一子，后续应该还会有更多新的动作。

那么，段扒采埃孚为实现自动驾驶，都备下了哪些弹药呢？

3.采埃孚在自动驾驶领域的全面布局

采埃孚在 2016 年提出了「See Think Act」的自动驾驶技术开发路径，已经成为了采埃孚一以贯之的策略。

所谓「See」，就是自动驾驶感知，包含了各类传感器硬件以及系统；所谓「Think」，指的是自动驾驶的计算单元，也就是 ProAI 中央处理平台；而「Act」，则是采埃孚的传统强项，与车辆控制相关的底盘系统、制动系统、转向系统、传动装置等都归于其列。

这些年来，采埃孚一直在围绕着「See Think Act」路径进行着自动驾驶能力的搭建，方式包括了投资、收购以及战略合作。

2018 年时，新上任的采埃孚 CEO 沃夫翰宁·施艾德（Wolf-Henning Scheider）表示，将在未来五年在电动化和自动驾驶方面投资约 120 亿欧元（约 140 亿美元）。这意味着采埃孚接下来每年要拨款 28 亿美元投入上述研发。

粗略预计，其在自动驾驶领域的投入每年应该不会低于 10 亿美元量级，这样规模的投入不亚于自动驾驶领头羊 Waymo。

「See」

先从「See」所代表的传感器和感知技术说起。

采埃孚的传感器系列硬件包括最新一代摄像头、毫米波雷达、激光雷达和声音传感器。它们被用于监测车辆内外部环境，从而提高自动驾驶车辆的安全性。

在摄像头和毫米波雷达领域，采埃孚已经是深耕多年的老兵。

2018 年时，采埃孚推出了最新一代摄像头 S-Cam4 系列，这是一款高性能的单目前视摄像头，体积非常小。摄像头采用了 Mobileye 的 EyeQ4 图像处理器，可选 2.3MP 高分辨率成像仪以扩大视野的长度和宽度，目前在自动紧急制动应用（包括行人保护）中被评为 ASIL B 级。

2019 年 6 月时，采埃孚又开发出了专用于商用卡车的 Dual-Cam 双镜摄像头，同样搭载了 Mobileye 的 EyeQ4 处理器。该摄像头可与采埃孚其它 ADAS 技术配合使用。

Dual-Cam 是采埃孚 S-Cam4 系列产品其中之一，有它的辅助，车辆可以实现包括交通标志识别、车道保持辅助、车道居中保持、物体及行人监测、自动紧急制动等功能。

此外，2019 年，采埃孚还宣布与海拉（HELLA）达成战略合作关系，双方将在视觉系统、成像和雷达传感器技术方面全面合作。双方第一个摄像头系统联合开发项目预计在 2020 推向市场。

在毫米波雷达领域，除了传统的 77GHz 雷达 AC1000/AC100/AC20，采埃孚还在 2017 年收购了 Astyx 公司大约 45% 的股份，后者主要生产超高频率的雷达传感器和模块化产品。

这家公司的产品包括短距和长距雷达，可以检测到物体的相对距离和速度，分辨率高，基于深度学习技术能精准感知行人和物体厘米级别的动作变化。

激光雷达现在是业界公认的在 L4 级自动驾驶车辆上必备的传感器。2016 年时，采埃孚就收购了位于德国汉堡的激光雷达公司 Ibeo 40% 的股权。

2019 年 5 月 20 日，采埃孚联合 ams（艾迈斯）、Ibeo 共同推出了面向汽车行业的固态激光雷达系统。但针对这一系统目前还没有太多细节信息，只知道大概会在 2021 年投入应用。这一系统目前还没有公布细节信息，预计会在 2021 年投入量产。

这一系列在「See」层面的布局，让采埃孚拥有了全面的自动驾驶感知能力。

「Think」

在「Think」层面，其实指的就是采埃孚一直以来力推的自动驾驶计算平台 ProAI。

2017 年 CES 展上，该平台首次亮相，吸引了众多关注。经过两年的迭代，2019 年 CES 上，ProAI 的第四代产品 ProAI RoboThink 控制器迎来首秀。

第一代 ProAI：入门级型号，符合所有 NCAP 2022 标准。

第二代 ProAI：具有足够的计算能力，部分满足高度自动化的 2 级自动驾驶及 3 级自动驾驶。

第三代 ProAI：提供了广泛的模块化功能，并在三块性能主板上集成了不同的芯片，这将为 4 级自动驾驶提供实时数据处理所需的计算能力。

第四代 ProAI RoboThink：新增可拓展的计算能力和自带图像处理器。

ProAI RoboThink 平台自带图像处理器，拥有逾 150 teraOPS 的计算能力（相当于每秒 150 万亿次计算），且可模块化组合最多 4 个单元，实现约 600 teraOPS 的总计算能力。

该平台结合采埃孚的传感器组件，能助力 L4 级及以上的自动驾驶车辆与共享服务。

另外，在 2019 年上海车展上，搭载采埃孚第二代 ProAI 产品的采埃孚 coPILOT 样车也进行了亮相。

coPILOT 系统能满足 L2+ 自动驾驶的需求，适用于半自动驾驶，更可以由语音来控制，coPlLOT 将于 2021 年开始量产。

事实上，采埃孚现阶段已经决定要在乘用车 L2+ 自动驾驶系统上发力，并且研发了几套产品，具体包括：

采埃孚 coASSIST——是一种经济型的 L2+解决方案；

采埃孚 coDRIVE——扩展了交通拥堵辅助和高速公路驾驶辅助功能；

采埃孚 coPILOT——专为实现 L2+至 L4 自动驾驶的高级计算能力和处理能力的可扩展性而设计，可提供包括解放驾驶员的双手和双脚、自主变道和超车，自主车库停车和路线学习等功能。

「Act」

谈及自动驾驶的「Act」执行部分，就回归到了采埃孚这家百年供应商的传统强项。

自动驾驶车辆归根到底还是一辆车，底盘、转向、传动、制动系统等传统部件缺一不可。

脱离这些专业知识去打造自动驾驶车辆注定是空中楼阁，所以我们会看到 Waymo 最终选择和整车厂以及零部件供应商合作。

采埃孚是世界公认的汽车动力传动系统和底盘技术全球领先供应商。即使做到了当时全球零部件供应商中前 10 的营收，采埃孚仍然在 2015 年 5 月宣布斥资 135 亿美元收购美国天合汽车集团（TRW）。

时任采埃孚 CEO 的斯特凡?索默（Stefan Sommer）博士简单阐述了启动这一收购的理由：「天合在乘员安全系统和电子技术以及转向和制动技术方面的经验是对我们原有产品组合的完美补充，整合后能够发展得更远。」

采埃孚收购天合之后，后者被纳入采埃孚成为一个新的事业部——主动和被动安全技术事业部，但保持独立性及品牌。后来经过快速整合，采埃孚和天合最终以统一的形象对外示人。

通过这起收购，采埃孚的原有产品组合得以补强，而且还收获了诸多自动驾驶相关的关键技术。因为天合此前已经开发了各种车辆智能化安全技术，包括车辆动态控制、电子稳定性控制、碰撞预警、驾驶辅助等等。

收购天合四年后，采埃孚又开启了并购的步伐。

2019 年 4 月，采埃孚宣布以每股 136.50 美元（总价约合 70 亿美元）收购威伯科（Wabco），两家联手将成为一家领先的全球性商用车技术集成系统供应商。此收购案将于今年二季度完成。

威伯科是领先的变速制动系统、技术和服务供应商，其产品和服务包括集成制动系统和稳定控制、空气悬架系统、自动变速控制产品，以及空气动力学、远程信息处理系统和车队管理解决方案。

采埃孚称，收购威伯科是其下一代出行战略的其中一环，并将扩大公司的能力至包括商用车制动解决方案。

这对自动驾驶功能的落实起着核心作用，当中包括卡车和挂车的紧急制动系统。

说起卡车的制动，图森未来 CEO 陈默曾提到，「除了刹停难以外，卡车结构松散、高速行驶时零部件易抖动，对传感器的安装和坐标定位有较高要求；同时，卡车重心高、车体长，导致转弯容易翻车，车的载重也会影响车身平衡性。」

通过收购威伯科，采埃孚的工程师未来可系统化解决自动驾驶卡车制动难、抖动、侧翻等相关问题。

当然，从更为长远的目标来看，采埃孚是希望通过威伯科的技术积累，在商用车的自动驾驶商业化层面加快步伐。

4.可复制的「采埃孚+图森未来」模式

通过收购、投资与合作，采埃孚已经在自动驾驶的「See」、「Think」和「Act」层面完成了比较全面的布局。

同时，在自动驾驶商业化推进策略上，采埃孚也确立了乘用车 L2+ 与商用车 L4 的大方向。

采埃孚 CEO 沃夫翰宁·施艾德明确说过：「对于乘用车来说，我们看到了 L2+概念的最大潜力，它能实现自动驾驶功能并使所有驾驶员都能使用；就商用车而言，我们已经看到了客户对 L4 及更高级别自动驾驶系统的旺盛需求。」

在这样一条前进道路上，选择与图森未来合作是采埃孚在商用车自动驾驶领域率先落下的一子，未来还会有更多动作有待展开。

从整个大行业来看，传统 Tier 1 + 自动驾驶创新企业的组合也有可能成为比较主流的商业合作模式，这样的组合将成为服务于自动驾驶车辆量产的新型 Tier 1。

本文来源于汽车之家车家号作者，不代表汽车之家的观点立场。

深度：如何将深度学习和自动驾驶结合在一起

以下是演讲内容的整理：

我是来自于底线线机器人汽车业务的负责人李星宇，地平线机器人成立有一年的时间，创始人余凯是百度深度学习研究院的院长，也算是国内第一个深度学习的研究院是他建立的。他成立了地平线这家公司，专注于深度学习技术的开发，所以在今天我想跟大家分享的主题就是：《如何将深度学习和自动驾驶结合在一起？》。

| 背景：复杂的驾驶环境正是深度学习的机会

应该说在今年的 AlphaGo 和李世石的对决当中，大家对于机器人的关注已经到了一个非常高的水准，其实自动学习已经有不少的时间。今年丰田有做过一个 Demo 的系统，他做了是 8 辆车并没有被教任何的驾驶规则，就是随意往前开，这 8 辆车会置于一个训练系统之下，经过八个小时的训练之后，八个小时下来没有碰撞，这真是了不起的事情。

通过资本界我们来看，这些 10 亿美元的投入都能真金白银地证明整个业界对于深度学习和增强学习技术的看好。

为什么我们需要把这样一个技术运用在自动驾驶领域？千言万语可以归结为一句话就是复杂性。我们看到很多人在很多时候会质疑自动驾驶这件事情，其实他的质疑觉得就是复杂，你可以看到在十字路口，非常复杂的路况。包括中国进入汽车社会不久，驾驶技术有待提高的特殊的国情，变道非常频繁，拐弯很多时候也很暴力。这样一个场景其实对于传统的 ADAS 有很大的挑战性，而这种复杂性恰恰是深度学习的一个优势。

当然很多人也会问，在自动驾驶领域是不是人就没有作用了？我们很长一段时间在自动驾驶领域，人和车的关系其实并不是一个简单的服务与被服务的关系，而是人和马之间的关系。意味着是什么？其实马并不知道在一个大的方向该怎么走，是快一点还是慢一点，这个是需要人来控制和调节。而马能做的就是，无论你告诉还是不告诉，前面是悬崖就会停下来，意味着自动驾驶可以在微观的一个层面，能够把风险降到极低的水平。而在高层次的体验层面，更多的是以跟人配合的关系，它会去理解你。所以在自动驾驶领域很重要的一个话题就是对于驾驶习惯的学习。自动驾驶习惯的学习不仅仅是一个标准的驾驶，还有包括特殊驾驶风格的学习。

这是一个非常标准的美国高速公路管理局的对于自动驾驶的分析。应该说，从我们跟车厂的沟通里面可以看到，现在研发的重点还是基于 Leve13，就是高度的无人驾驶。它的主要不同跟 Leve4 的不同在于，一个就是保证在任何情况下都可以做紧急碰撞的防止，第二个就是在条件良好的道路上部分实现自动驾驶。

从现在实践的情况来看，高速公路上应该不是有太大的问题。现在主要解决的是高速公路上的一些特殊的案例和条件比较好的城区主干上的案例，比如上海的中环、内环、外环的情况下，尤其红绿灯情况下需要一些特殊案例的深度学习。

| 深度学习为什么受到重视？

我们介绍了一个背景之后，稍微回来谈一下深度学习为什么会受到重视。大家现在都觉得 " 深度学习 " 这个词特别火热。

第一个为什么它会受到重隐陪橘视？

应该说深度学习出现的历史其实非常久，最久的历史可以追溯到 50 年代末，在漫长的发展时期里面是几经起伏，有它的高潮的时候也有低谷的时代。从现在的情况来看深度学习最具吸引力的一点就是端到端的学习。

举例，以自动学习的系统去识别一个图片，比如这个图片上是一个人，它会把图片作为输入一个名字，你可以看到人脸的信息量通常是几兆，几百万个字节，最终输出的就是几个字节，就是端到端，可以把非常复杂的非结构化的数字转化为精简数字化的表达，包括语音、语言、图像、视频都是非结构化的，包括金融的交易产生的数据都是非结构化的。

从目前的情况来看，第一个它非常适合大数据时代。在过去的年代，其实大家也是在研究深度学习的算法，那个时候还不叫深度学习，叫深度神经网络。但是发现很难把它调校得好，因为那个时候学的都乱饥是一个小量的，几千个样本，想把它调到一个非常好的水准，其实是不可能的。后来大数据出来以后，这个性能就飙升，最终的一个例子就是 2012 年的时灶团候爱莱克斯和他的老师参加了图片分类识别的比赛，一下子从过去的 74% 提高到了 85%，非常大的一个进步。也就是说现在机器对于图片的识别其实是优于人眼，所以实践效果很好。比较通俗的说法，对于这种行为的一种模拟，这种说法可能不是特别的准确，事实上跟它相关联的网络，按它的类似性来说是非常复杂的，而且现在没有搞得特别复杂。

机器学习技术前沿，注意力模型。图片上是对于人脸识别过程的一个描述，如果你抛开技术不看，你直接看，你会看到图象识别的时候，每过一个识别阶段，由很多个识别阶段组成。它的图像的信息会减少一些，最开始会把图像的彩色性去掉，只留下一个归录信息。

第二步会把规录中间的去掉，只留下边缘线条的信息，然后线条会变成点，这是从低位空间向高位空间不断的扭曲的过程，到最后它的图片信息就会精简到一个字母，所以这就叫多层的卷积神经网络。大家都知道这样一个复杂的关系势必会带来数据极大的产生，因为肯定需要非常大的参数。

自动学习技术也在不断地往前推进，我们现在看到各个领域都全面推进。

比如注意力模型，什么叫注意力模型呢？举例，在鸡尾酒酒会上看到很多的人，但是你只跟其中一个或者几个人谈，这个时候你的听觉系统只会注意到你想关注到的那个人的话，而把其他人的给屏蔽掉。解决了在复杂的语义环境下，会对特别的语音进行聚焦。当我们对这个妇女说，我要求你把飞盘作为聚焦目标的时候，机器系统可以把飞盘反射出来，也就证明它准确能够聚焦到你想要它聚焦的部分，这个是非常关键的，因为这个系统是非常复杂的，而你只需要自动驾驶的系统关注车辆、车道线、人这些关键的信息，这样一个技术可以使得它很有效的处理。

除了注意力模型以外还有其他的进展，包括长时短时的记忆力模型，这个是做什么用？它会使深度学习，不仅仅是在空间，二维平面上有足够的学习，它能记住过去发生的事情。刚才丰田的小车的 Demo 里面可以看到，它对瞬间场景的处理做得很好，但是有没有想过如果场景的处理手法依赖于过去的历史怎么办？比如我们把魔兽和星际争霸，下一步的动作取决于你的历史状态，这个时候要求你的深度神经网络需要足够的记忆力，能够记住过去的状态，这个记忆力模型就是解决这个问题包括序列化等等。

增强学习

什么是增强学习？

打一个比较形象的比方，如果过去的系统我们当做是计划经济的话，那么增强学习就是市场经济，可以理解它是一种结果导向的技术。准确描述这是一个智能主体跟环境不断博弈而来优化的一个过程。比如刚才的丰田的小车是一个增强学习的典型的案例，如果它碰撞了给它惩罚，如果没有碰撞给它奖励，多轮的循环会加强这些行为，达到一个期待值。深度学习可以用来做环境的感知，而增强学习可以用来做控制的东西，这样就可以构成一个完整的自动驾驶系统。

这是一个非常典型的汽车的自动驾驶系统的框架图，在图像的左侧有各种各样的传感输入，这个数据来源于三个，汽车外围的环境数据，汽车本身的状态数据，比如车速、转向，还有车内人的数据，是不是疲劳驾驶，是不是要转弯。一个是感知的融合，一个是决策。

| 深度学习让自动驾驶从感知到控制

深度学习在中间的感知和决策都是有非常大的优势，可以进一步把这个事情分解一下。

我们跟过内的主机厂接触，由于现在国内有一些主机厂已经开始比较深的自动驾驶的研发，去讨论大量的细节。我们可以简单把它划分成这样的一个板块，就是态势感知和决策控制。

态势感知和决策控制

态势感知一部分就是对外的态势，就是你要对整个的环境要有感知，对内就是对驾驶员的意要图要有感制，包括意图的判断。包括对外部物理的辨识，哪些是固定障碍物，哪些是栏杆，哪些是可行驶区域。对于驾驶，包括状态的识别其实非常重要。这也是整个自动驾驶业界流派之争的一个焦点。

以谷歌为代表的，他们想做的是全自动驾驶，但是我们还是要一步一步来，这面临有一个半自动驾驶的过程，谷歌觉得很难做到很好的人工和自动驾驶的切换，没有办法把这件事情做得特别的可靠。

其实这个我认为要这样来看，首先主机厂其实是一定会按照循序渐进的过程来走，因为他们是造车的。第二个在这件事情上深度学习可以很好地帮助缓解这个问题。我们不能说一定能全部解决，至少能够极大地缓解这件事情。因为深度学习对于驾驶员状态的综合理解比其他的手段要来得更好，因为它是基于大量对于驾驶员技术分析的基础上建立对它的一个综合理解，包括他的驾驶习惯、意图等。

决策控制包括几个部分。就是对于车辆来讲有一个局部的运动路径的规划，另外规划里面还有一个驾驶风格的情况，比如需要运动感强一点的，都不一样。最后一个是执行器控制，状态之间形成一个闭环去调校。

应该说在现在有很多初创的公司，包括像英伟达这样的公司做大量的尝试，如何把整个的系统用深度学习的方法进行优化。英伟达做得比较暴力，直接忽略了中间的决策这一部分，是直接把传感器的输入和车的状态的输入直接关联，做这样一个预测。也就是说 Y 就是执行器刹车、油门、转向，输入就是车的信息、环境的信息，非常暴力，不做任何中间人工智能的分析。

自动驾驶还有一个非常重要的点，就是如何进行测试。

整个自动驾驶来讲主要的投入还是在测试这块，并不是做一套软件系统就可以了。特斯拉做得很讨巧，直接在量产上进行测试，所以短时间内积累了超过 1.76 亿英里的速度。但是还是需要一个模拟系统去做这件事情，有一个模拟系统，如何在模拟系统各个主体能够真实的模拟，这其实也是一个增强学习可以帮助你的。

当你创造了一个虚拟环境的时候，你希望用多台的计算设备去模拟一个目标，模拟几十个人，模拟路牌等等，每一个都是动态的过程，它们不地变。比如红绿灯会不断地变，车辆动态的变化，这样一个复杂的结构，其实很适合于深度学习和增强学习来做，包括结合模拟。

在这个方面德国的车厂宝马和奥迪走得比较靠前，当然包括丰田其实也是一样，做大量的工作，这个是奥迪的汽车大脑的构架图，AUDI 的 zFAS。zFAS 系统模块配备了 Mobileye 的 EyeQ3 移动处理器以及英伟达 TegraK1 芯片。奥迪的观念非常清晰，自动驾驶的关键还在学习。

地平线在这块领域也是进行了大量的工作，我们有一个品牌叫做雨果，这是汽车的一个开放平台。

（播放视频）这个是雨果做的整个道路的语义理解，它可以把道路各个不同种类的物体运用不同色彩标识出来，比如栅栏是红色，道路是绿色，树木是深绿，汽车是紫色，这样一个对于道路综合语义理解对于智能驾驶系统是很关键的，很多道路也不是结构化的道路，比如乡村的道路其实没有车道线，栅栏也没有，你没有办法通过车道线去自动驾驶，这个时候你要自己去决定该走哪一块。

这是地平线做的识别，左上角是英伟达的，很遗憾不能秀一下动态的视频。地平线是在北京做的测试，在这个路口的人其实非常的密集，地平线很好做了识别，并且对于出租车里面的人，仅仅露一个脑袋的人也可以识别。

对于车辆检测，地平线从去年 8 月开始，长期保持在 KITTI 排名第一的识别率。Densebox 就是测试的名字。

地平线是一家专注于算法和芯片开发的公司，我们在最下端的解决方案，我们更多愿意跟业界合作伙伴，各类的公司和主机厂一起合作，一起做最后的产品出来。地平线的算法团队其实蛮国际化的，助力的算法团队来自于像 facebook、百度、中科院。我认为在深度学习领域，我们中国第一次有机会基本上跟国际的主流的开发的机构处于差不多的一个水平线上，不能说是绝对的齐平，但是不会有太大的差别。

| 我们为什么要自己做深度学习的芯片？

刚才赵总也分享了，为什么我们需要深度学习的芯片，提到很多国内公司在宣称自己在做这个，这是一件好事，因为大家都知道现在的计算结构不合理。

比如说举一个例子，深度学习的输入是高度密集化的，这种密集化输入不太适合 DSP 这种，是流水线的，GPU 的一个问题在哪里？

在多输入之后的下一步处理，在数据缓冲方面做得不好。很不幸的是深度学习网络它的输入是前后关联的，在中间隐藏层的时候，这个卷积盒是要跟前置进行卷积计算的，这就意味着首先要取参数、计算，这就会导致在正常的一般结构下会大量的有外出效应。

第二个因为带宽永远是有限的。

第三个是功耗问题，这些都是非常实际的问题。

还有一点就是，深度神经网络的参数非常多.

整个业界都意识到，如果要在深度学习领域能够做的话，像地平线得自己做芯片有点类似于手机业界，在大约十年前的时候，手机业界还没有一个想法说一定要做自己的芯片，但是今天大家已经看得非常清楚，如果要想做起来必须做自己的芯片，苹果、三星、华为都是自己的，如果你不这么做只是使用高通的平台，你还是可以做，但是很不幸你是第二梯队。所以在深度学习也是一样，你还可以用英伟达、高通的芯片，可是这不是第二名和第一名的差距，这是第二梯队和第一梯队的差距。因为算法在演进，你如果用别人的话肯定是慢一拍的，这是一个问题。

国内有不少公司在做，包括有一家公司叫做（深建科技），最近他们发表了成绩，就是 DPU，深度学习的处理器，他们在单位功耗下的性能表现是英特尔之前 CPU 的 24000 倍，是英伟达 GPU 的 3000 倍。而他们所做的优化的工作，恰恰是刚才我提到的问题，对于压缩，对于访问的优化，降低了功耗。

地平线也是一样，我们非常清晰认识到这个问题，所以我们的做法也是这样，我们地平线也是在做自己的芯片。我们希望在短时间内能够把整个的能耗比提升千倍。

地平线现在专注的深度学习的技术的应用点有哪些？四个大块，语音、语言、视觉、控制。应该说，这四个纬度可以构成大量的创新的应用，不仅仅是自动驾驶，还包括家庭的服务器的监控等等。我们的目标是希望在未来，我们可以用我们自己的算法芯片，跟广大下游的伙伴进行合作，比如空调公司，比如扫地机器人公司等等，能够覆盖超过 1000 个品类的智能产品，我们的目标是为现代的智能硬件真正的赋予智能，所以我们的目标是定义物联网时代的大脑。

我的分享就到这里，我们也是非常欢迎大家如果有意跟地平线合作，我们提供平台解决方案，而不是某个具体品类和最终的产品，谢谢大家。

深度学习怎样应用于无人驾驶领域？

深度学习将计算机得到的图像进行理解。专业词语叫图像语义分割。区分出哪里是什么物体，物体的大致边缘等。视频的物体分割技术也有一些，大致功能是一样的。只是视频可以利用多帧图像运动物体的视差进行额外的判断。很明显的区别就是Mobileye可以实现非常准轮胡搏确的车的正面以及侧面的检测，这两种检测结果的信息量是完全不同的，左边这个检测结果告诉我们什么位置大概有一辆车，但是他的具体位置，车的朝向信息完全没有。但是从右边的检测结果，就可以相对精确腊祥的估算出来车的位置，行驶方向等重要信息做轮，跟我们人看到后可以推测的信息差不多了。

深度学习能应用在哪些领域？

深度学习的快速发展，不仅使机器学习得到许多实际的应用，还拓展了整个AI（人工智能的）的范围。 它将任务进行拆解，使得各种类型的机器辅助变成可能，具体分为以下几类应用：

1、无人驾驶汽车：深度学习在无人驾驶领域主要用于图像处理，可以用于感知周围环境、 识别可行驶区域检测、以及识别行驶路径识别。

2、图片识别及分类：识别出图片中的对象，并建立关键词，对图片进行分类。

3、机器翻译：基于深度学习理论，借助海量计算机模拟的神经元，在海量的互联网资源的依托下，来模告型隐仿人脑理解语言，形成更加符合语法规范、容易理解的译文。

4、目标识别：即不仅可以识别出是什么物体，还可以预测物体的位置，位置一般用边框标记。

5、情感识租尘别：通过深度学习，帮助计算机识别新闻、微博、博客、神龙 等文本内容中所包含情感态度，从而及时发现产品的正负口碑。

6、艺术创作：通过深度学习，让计算机学会根据不同的作曲家风格进袜厅行音乐编曲或者基于各流派画家进行绘画创作。

深度学习都能应用于哪些领域，目前有什么产品？

近几年深度学习在很多领域都取得了很大发展，已经基本取代了先前相关技术，在图像识别、语音识别已经取得了非凡的睁渣槐突破。那么深度学习的应用领域具体有哪些呢?下面来列举几个广泛应用深度学习的领域。

一、语音识别

深度学习的发展使语音识别有了很大幅度的效果提升，类似于在计算机视觉中处理图像数据一样，深度学习中将声音转化为悉友特征向量，然后对这些数字信息进行处理输入到网络中进行训练，得到一个可以进行语音识别的模型。

二、自然语言处理

深度学习由于其非线性的复杂结构，将低维稠密且连续的向量表示为不同粒度的语言单元，例如词、短语、句子和文章，让计算机可以理解通过网络模型参与编织的语言，进而使得人类和计算机进行沟通。此外深度学习领域中研究人员使用循环、卷积、递归等神经网络模型对不同的语言单元向量进行组合，获得更大语言单元的表示。

三、文字识别

众所周知，深度学习可以用来识别照片中的文字。一旦识别了，文字就会被转成文本，并且被翻译，然后图片就会根据翻译的文本重新创建。这就是我们通常所说的即时视觉翻译。

四、自动机器翻译

我们都知道，谷歌支持100种语言的即时翻译，速度之快宛如魔法。谷歌翻译的背后，就是机器学习。在过去的几年时间里，谷歌已经完全将深度学习嵌入进了谷歌翻译中。事实上，这些对语言翻译知之甚少的深度学习研究人员正提出相对简单的机器学习解决方案，来打败世界上最好的专家语言翻译系统。文本翻译可以在没有序列预处理的情况下进行，它允许算法学习文字与指向语言之间的关系。

五、自动驾驶汽车

谷歌利用深度学习算法使自动驾驶汽车领域达到了一个全新的水平。现在谷歌已经不再使用老的手动编码算法，而是编写程序系统，使其可以通过不同传感器提供的数据来自行学习。对于大多数感知型任务和多数低端控制型任务，深度学习现在是最好的方法。

如果你对深度学习感兴趣，想成为人工智能领域的高级人才，欢迎咨询报名优就业深度学习精品课程。课程由万学海文 与中科院自动化研究所专家联合推出，真实企业级项目实操，项目循序渐进，以实操贯穿理论，避免纸上谈兵，涵盖行梁衡业75%技术要点，落地领域广泛。