直播回顾丨百度ACU软硬件结合优化的实践经验分享-外链论坛

4zhvml8 发表于 2024-7-9 14:53:36

直播回顾丨百度ACU软硬件结合优化的实践经验分享

<img src="https://mmbiz.qpic.cn/mmbiz_jpg/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqib6Gz2GXz7WIl7xPxbLDGgDdPia9tDFtJgXfTLia0qoz198icHTOYk0wfg/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
百度ACU（Apollo Computing Unit）是Apollo面向量产的自动驾驶车载计算单元，按照区别需求场景的计算能力需求，分为多个系列制品。ACU-Advanced是行业首创的自主泊车制品Apollo Valet Parking专用车载计算平台，日前已量产下线用于客户的量产车型中。
<div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">关闭</div>
 <div style="color: black; text-align: left; margin-bottom: 10px;">观看更加多</div>
 <div style="color: black; text-align: left; margin-bottom: 10px;">更加多</div>
 </div>
 </div>
 </div>
 </div>
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">退出全屏</div>
 </div>
 </div>
 </div>
 </div>
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;">
 视频加载失败，请刷新页面再试<a style="color: black;"><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAACIAAAAqCAMAAADhynmdAAAAQlBMVEUAAACcnJycnJycnJyoqKicnJycnJycnJycnJycnJyfn5+cnJydnZ2enp6kpKSdnZ2cnJyenp6cnJycnJycnJybm5t8KrXMAAAAFXRSTlMAyeb3CNp3tJRvHIEtJhBgqztWRJ+p5TqGAAABCklEQVQ4y5WTi27DIAxFAUMhgTzX8/+/urB2pdKI0x0pSoRuruyLbf7gF3PBaDE6X44LyY0D1SJQsfd9PpMM/CJx60v8SmV1HMSi1lKyA1n0jnwWSO08l04uJbxpBmTrpDtbGB6fmxC6Tc4BHv9aZDJdJsHW9w43Jez9x8T5M4l31WZsJn2bsYY+nUum2lQkGIVANPZ4FCLWOJImSTgjZE2SkU9crmu57mj9JBc93Qzj9R1d3HSG5bN5MRsnUzcGKK8Ns02z+Da7rYQE4bUE2PG1C6kVnkCyf0pwX8/jwbyxCLhcHpKTFkvkwK3pRmXtRrVFoTGYLvN+t0EUl0qrRaF1pFBz0anp/ptvNB4SY1XDAVMAAAAASUVORK5CYII=" style="width: 50%; margin-bottom: 20px;"> 刷新 </a>
 </div><img src="data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAADkAAAA5CAMAAAC7xnO3AAAAY1BMVEUAAAD///////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////////+aRQ2gAAAAIXRSTlMAOx20pMJbzBQNTDGTh2ohLCZmeUF2hEmXCFdxUquef4yHE17nAAACnklEQVRIx9WW2xqiIBSFRc1AUATJU1a+/1MOm0NYKvnNXM260ZLftRcbqCQinOLI0yiY/iXKuUZPjx5Fk+6RhF1yHiVF0wC6IZfr9fqIkpRqdNyQ9AoiUU8g+YZ8Xn96YmNKvkhkLMskKgEo/yJzaxkXeZsGsjeWKEIFU/FBZgA+D5yEwGtTgR0J18lYUvdcLZ1YkUjLf+a0saYYSG/J3Hury+WSkTCjCETtF6Mvd8QGJMZSWIfsAlKhWGRl5zQ1ZNBDgy/zzvvFavWUK7SyTRs+rsiUZS/4LHIHyo8VgBx7vDkKx2WhPS7dD1Q6cNlu2dTa0gMys4bz/vJR6ph8ADgcVcSVUkfnhzJTc6gRj8fbCOHk30UI2KC+V4gKjskJQqC5frFHli0kafogFIfFkAXVCSqdAFVR8pmtVCWiXCtaarbWpGtQAYx7sjf2GCbfjFRQpH7lTLucveSMBE7+Z6VqViT2/PVs0d7hPk9TUcTaUuVaT8k/f/v6SXOgyG7InZaSvM8vj/309LrbvpSAORDH2/kWGyHhm/u5AYUc8qdFBRRrsV749bRv6I5x1OY50GZUUxQz9aGplAXZcOQ1DL3vwsTyvHQ2YWgjZV2rDTmxYRjUuoBvcQDr7QRLBiiNzJ4BawG3FLtTmEMGBigTRyC2oIKht1vbwLWrKmXKBZal+yApDGhm4q5JCVdNdrZeQBe8B44WnE2NGmxrR1bCvMugHdkhSwMWI9wjIGeosnPlJmNrst6PQrpeFkBSyAmkdD016DYqAVC6HHcNtnCPgazcuytAd5IqB/qYtq4bkP7vnEaL3W4KH9/HhKBAKl8XFUlMIWYIek4hZgh6UtjHBLVA4pPkCKRf9jOQ5Kwp1UvPDyb3qkPJaRG8Ln7f8Q8Bki/Kj5IYnQAAAABJRU5ErkJggg==" style="width: 50%; margin-bottom: 20px;">
 </div>
 </div>
 </div>
 </div>
 </div>
</div>
<div style="color: black; text-align: left; margin-bottom: 10px;">
 <div style="color: black; text-align: left; margin-bottom: 10px;"> <a style="color: black;"> 视频详情 </a> </div>
</div>
ACU-Advanced软硬一体的处理方法：
能够支持5路摄像头，12路超声波雷达，预留毫米波雷达和激光雷达接口；
基于Xilinx ZU5（FPGA）设计，适配百度PaddlePaddle深度学习框架；
全面安排AUTOSAR，全车规基本软件研发；
严谨的软硬件安全合规设计，全面满足AVP场景需求（ASIL-B）；
100%全车规元器件，抗冲击震动，耐电磁干扰，全面胜任车载环境；
-40℃~85℃超宽工作温度，自然风冷没需风扇或水冷；
设计流程，供应链和生产管控基于IATF16949质量管理体系。
为了让客户、合作伙伴以及研发者能够更加深入认识百度ACU（Apollo Computing Unit），这次公开课邀请了百度ACU核心技术团队的工程师，为大众准备了4期公开课直播。今天为大众送上第二期直播内容回顾，倘若你错失了直播，那样这次的直播回顾你必定不可错失。阿波君给大众整理好了笔记，快来一块学习吧！
上期咱们为大众整理了<a style="color: black;">《直播回顾丨百度ACU如</a>何满足自动驾驶量产需求》，本期公开课由百度智能汽车事业部底层软件架构师——张扬为咱们讲解《百度ACU软硬件结合优化的实践经验分享》。
ENJOY THE FOLLOWING  
Apollo计算单元重点讲的是计算，Apollo自动驾驶对算力的需求，由需求引导至为么选择AVP这款芯片，稍后会讲到技术架构方便大家理解，第四部分便是主题：在有效计算方面做了软硬件结合的实践，最后是总结。
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSJPH6PX7cUeyNBYGvtk3Cadociaicyof3FKhMx0J5UgstJ1tgcic7gSMjpMNR6ILfVHialJ1uheNHXO7Q/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqf5fQ2G05WVxupk7YVb50YibrvB7rR3wp1r5eQckC5N3zjrUkeSea3mQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
自动驾驶的计算种类包含：神经网络、图像处理、3D重构与VSLAM和矩阵操作。自动驾驶的实现，依赖各样各样的算法。
算力与帧率不必然成正比，有以下几种原因：首要是Elementwise算子带宽受限，其次是深度卷积算子是不是被优化，最后是是不是所有算子被加速。极端状况下，占少于1%计算量的算子，计算时间超过50%，明显影响帧率。
简单来讲，咱们对硬件的需求是：算力强、带宽高、算子齐备、功耗低、符合车规。
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSJPH6PX7cUeyNBYGvtk3CadeX9XxLnu1icFsUAjwjzxgRI1Y3sqn9DjjeFsD2MeTNOCLKOKjzUIibbw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqQpicPIDq6DlIeVNunBvFa8FhY8nTMFp0ZK7um3QAxCkk612rezIe01Q/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
用什么芯片能满足自动驾驶的计算，能适应区别计算需求呢？咱们选择了一款SOC——Xilinx ZU5，里面包含了FPGA，首要是比较灵活，有利于算法迭代；其次供给足够的算力，保持行驶速度，不是像蜗牛那样缓慢前行；而后便是必须满足85℃环境下正常运用的严苛车规需求。另一点看中的便是基于FPGA的SOC的靠谱性能，广泛应用于靠谱性需求比较高的行业，例如说通信行业、军工行业、航空航天行业，亦用于汽车行业。自动驾驶最担心的便是安全问题，我们致力于保准自动驾驶的安全。
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSJPH6PX7cUeyNBYGvtk3CadU8uZdYlOicc9EINM1PA2E7hUxTYyoicpS0SfGM1QplenQQhyy4lQ0nng/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqahXPEAzT32NtBmPk6j23XeiboUoIBtYu88ic6ugOz3icpeBIzzfWhtnPg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
从软件来看，首要研发加速算子，使芯片拥有加速的能力；而后做有些驱动的程序来驱动，负责管理；最后基于PaddleLite做的深度学习模型编译及前向推测框架，另一是传统的CV算法。从硬件的方向来看，绿色的部分表率FPGA，首要有一个命令解析的模块，从ARM经过寄存器下发的命令解析出来，而后下发给相应的计算单元，例如说CNN、图像处理、SLAM等，由于深度学习和定位要并行，因此设计了两个同期拜访内存的通道，能够保准实时有效的运算。ARM亦是经过DDR掌控器和内存进行通信。
重点的计算都是在深度学习，用的都是CNN卷积神经网络，而这里过程中，CPU上对Paddle模型进行解析、算子合并、模型编译、内存开辟、部分算子计算，经过驱动程序对FPGA寄存器下发命令并管理共享的DDR内存，对FPGA而言，必须解析命令、掌控规律、数据搬运、量化单元、算子加速以及管理内存的模块DMA。软硬结合的最后目的是加强感知、定位、环境建模、规划掌控的处理帧率，保准数值精度和准召率。技术手段第1是经过加强FPGA的算力，第二是加强FPGA对计算的覆盖度，第三是量化训练及计算仿真工具。
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSJPH6PX7cUeyNBYGvtk3CadVcgBReEIjyrib0X62AcpYzudpMVbZzU98MxcjZIHkg3Hhps1DqNGKQQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqjLQJnFqSXrIxWQgRzpfbGhGZ4e6IuZyPQdfz2tXtK2iahk21kTObOCA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
第1点是进行了8bit的量化训练，与众区别的是供给跟FPGA计算相匹配的量化训练工具，实践证明，8bit计算后准召率下降，同期为了保准算法能够运用，供给了FPGA计算仿真器，计算结果保准与bit对齐。
第二点是利用了PFGA这款DSP的特殊结构，这个计算单元能够同期计算一个27位✖27位的，那咱们是8位✖8位的，就把一个乘数高8位，一个乘数低8位，这般乘出来的结果是第1个的乘积和第二个的乘积自然便是掰开的。针对其他的咱们都采用选定化计算，首要要保准与浮点计算相比匹配度高于98%，在这种前提下，计算过程非常多，咱们充分理解每一个计算环节，采用选定化要保存多少位来进行计算，每一个环节都采用变长计算，保准计算最有效。
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqk2mSgfyB13OEvJticKTA0ribxZqHTzWdvcm8l1icCsqEZvr08OJaDC3TA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
第三点定义广义算子，当某些计算类型比较类似，就抽象成一个计算形式。这般就能够复用FPGA资源，凡是被加速的算子能够得到足够多的资源保准算力。
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqR71GP6pvqGaQEaC3tRPDIleCd8rhXvXB2lygOEG2YXE8xvOviazlssw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
第四点是在计算中遇到的固定连接，倘若不做特殊处理，算完一个后必须把结果读到内存，下一次计算的时候必须从内存里取出来再次加工，这种存入读取的方式费时、效率低，此时能够把这些当成一个计算来进行处理，像之前说的SDK对算子进行融合，减少带宽占用。
还有一种便是针对参数很大的卷积，要经过算子分裂，分裂成小卷积后再计算，能有效地降低FPGA片上存储资源的占用。
针对图像采集，采用R核图像驱动，共享内存实现0拷贝，明显降低了CPU占用和内存宽带，加强了图像帧率的稳定性。
自动泊车有两种业务，一种是基于高精地图的PAVP，一个是基于学习建图的HAVP，FPGA加速算子，随着应用场景PAVP/HAVP切换，使得每一个场景都达到最高帧率。
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSJPH6PX7cUeyNBYGvtk3Cad6cNKy7k17OjLkMjyRMrILUILoBTvLTFrtYHZuYEjSGjJic4z49fxtEA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
自动驾驶的计算需求对承接计算加速来讲具有不确定性，在迭代的过程中，有些算子远无预期的效果，并非是只处理深度学习就能处理的问题，因此选取了运用FPGA来做，选择ZU5芯片，这个研发是比较困难的。
<img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gyAWOzWgf2e8JKJSH1AMicjqOrcDWbTtuD4qdStjk7It8GW7nbDI0ibgHTIIbWPHSLDnibQkbW5Z8INg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
拓展：底层软件包含了模块形成——盖亚层，用来屏蔽硬件的差距，亦便是说此刻用的ZU5芯片，将来可能会用TDS，期盼在硬件迁移的过程中，上层应用软件不出现改变，能够直接迁移。硬件迁移的过程被盖亚层所屏蔽掉。
今天触及到模块有定制算子、硬件模式管理、传感器同步/预处理、DL/DV加速，还有硬件仿真器，用于X86等环境。
以上便是咱们讲解的百度ACU软硬件结合优化的实践经验，更加多系列主题讲解，请连续关注Apollo研发者社区。
点击文案左下角『阅读原文』
可观看直播回放
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSLstGztODuYQd2S0HcNUCce5jwk6tl6LW5ZUPdTb9xM0L9ARz8Q1TYzicmz6CN9MZGiaer67iaLgZuKw/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSLstGztODuYQd2S0HcNUCceQACbXzDQaovV9uOiaT6JlRXvViaoP5b7aWJ4nENQU7jnleRT4KDfL1QA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<a style="color: black;"><img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSJPH6PX7cUeyNBYGvtk3CadeI9jjwXIyHTe8crrDBV4IgRjibibiaibE3eKSypbKUsWNeT43tAsXPZayQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"></a>
<a style="color: black;"><img src="https://mmbiz.qpic.cn/mmbiz_png/C4wVziccAsSIZhkrW19lT9CGamgGrFwYm9uPSmGzoaqRS2CYAVSyefquCWxsewJfY0gibYgK9lxic3OfMpqhRELRg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"></a>
<a style="color: black;"><img src="https://mmbiz.qpic.cn/mmbiz_png/Lic3WIjno4gxXibRsyaQ65ZIjhH6kXqawg1XSia5RTDTWHjExBLpzZuEDv3BZWGicNw5TJwLHvuwCX6JbpWRkCicy7w/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"></a><img src="https://mmbiz.qpic.cn/mmbiz_jpg/C4wVziccAsSIS288mcoy3tGjZ4DB6YaPKJ5QSm1ibEd5Lv1jiao8DqL9j3uKkmyC6D4ibzcuTkVyu6bgkTyicjGF84w/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_jpg/C4wVziccAsSIS288mcoy3tGjZ4DB6YaPKggaDDyuWyWZwV7I0mqIEocLRU11OyYvsNASEB3JGfcrts94zRhvAKA/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;">
<img src="https://mmbiz.qpic.cn/mmbiz_gif/Lic3WIjno4gzkSrGmcib4XfCq0MOolaiaq0TFmXrfAzbkB2Coic4XXdH1dooysL0ZlSxVf45k9zwoaFs9WeFoZjfMQ/640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1" style="width: 50%; margin-bottom: 20px;"><img src="https://mmbiz.qpic.cn/mmbiz_gif/Lic3WIjno4gzdCRu197ulzGTmmZrt4tzexC3EdJLmW7CNWCjOjVNEHo57Hctgnn8U2RjhpGibEQZfCn68xrUefgA/640?wx_fmt=gif&tp=webp&wxfrom=5&wx_lazy=1" style="width: 50%; margin-bottom: 20px;">

流星的美 发表于 2024-8-22 09:24:11

我完全赞同你的观点，思考很有深度。

星☆雨 发表于 2024-8-25 02:22:04

你的话语如春风拂面，让我感到无比温暖。

m5k1umn 发表于 2024-9-27 21:59:31

论坛是一个舞台，让我们在这里尽情的释放自己。

nykek5i 发表于 2024-10-19 19:58:24

交流如星光璀璨，点亮思想夜空。

b1gc8v 发表于 2024-11-12 13:33:34

回顾历史，我们感慨万千；放眼未来，我们信心百倍。

qzmjef 发表于 4 天前

你的话语如春风拂面，让我心生暖意。

页: [1]

外链论坛's Archiver

直播回顾丨百度ACU软硬件结合优化的实践经验分享