nqkk58 发表于 2024-9-4 14:11:44

全面介绍一下深度学习下的Radar感知融合策略及科研方向


    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">作者</span></strong><span style="color: black;">| 山丘</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">出品</span></strong><span style="color: black;">| 焉知</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">并不</span>用大段文字介绍毫米波原理,<span style="color: black;">日前</span>比较主流的自动驾驶公开数据集NuScenes的真实数据为例就<span style="color: black;">能够</span>非常容易的理解这个道理。<span style="color: black;">例如</span>毫米波雷达在识别静态<span style="color: black;">目的</span>上就存在较多误判。<span style="color: black;">实质</span>上,问题不在于毫米波<span style="color: black;">没法</span>识别静态物体,而是在于传统2D、3D毫米波自己分辨率低,噪声多,<span style="color: black;">没法</span>正确识别静态物体的位置,<span style="color: black;">亦</span>很难结合前方车道几何形态正确判断<span style="color: black;">是不是</span>需要躲避。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">按照</span>同一场景的三幅可视化<span style="color: black;">照片</span><span style="color: black;">能够</span><span style="color: black;">发掘</span>,3D毫米波雷达在高度上是缺失的,<span style="color: black;">况且</span><span style="color: black;">目的</span>点密度很低,远<span style="color: black;">小于</span>激光雷达,所有<span style="color: black;">目的</span>检测点是堆在一维线上的,<span style="color: black;">因为</span>毫米波雷达信息很少,<span style="color: black;">通常</span>在<span style="color: black;">指点</span>自动驾驶决策规划的之前要和视觉还有激光雷达进行融合。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">如下图所示,和Lidar<span style="color: black;">区别</span>,毫米波检测点位置并不准确,<span style="color: black;">亦</span>非常稀疏,<span style="color: black;">另一</span>还有<span style="color: black;">海量</span>噪声,即使在自车坐标系下仍旧很难和视觉检测框正确<span style="color: black;">相关</span>。</span></p>

    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">图 1. 激光雷达和毫米波雷达的检测对比</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">高速上有<span style="color: black;">非常多</span>静止物体会触发毫米波回波形成检测点,<span style="color: black;">例如</span>桥洞,龙门架,地面的井盖,在前车经过这些静止物体的时候就很容易触发误匹配,从而<span style="color: black;">导致</span>幽灵刹车,严重<span style="color: black;">乃至</span><span style="color: black;">导致</span>后车追尾。这是<span style="color: black;">由于</span>毫米波高度上<span style="color: black;">无</span>足够分辨率,当前车经过桥洞下时候,<span style="color: black;">此时</span>候分别属于前车和前方静止桥洞的毫米波检测被错误的匹配了视觉<span style="color: black;">目的</span>。<span style="color: black;">因为</span>毫米波雷达能够给出前车相对自车速度,<span style="color: black;">那样</span>这种<span style="color: black;">状况</span>下错误匹配成前车的桥洞点就会<span style="color: black;">通知</span>自车,前车<span style="color: black;">忽然</span>刹停,<span style="color: black;">此时</span>候最<span style="color: black;">恰当</span>的操作<span style="color: black;">便是</span><span style="color: black;">起始</span>减速,<span style="color: black;">导致</span><span style="color: black;">所说</span>的“<strong style="color: blue;">幽灵刹车</strong>”。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">为了减少幽灵刹车,<span style="color: black;">针对</span>L2辅助驾驶而言,车企只能<span style="color: black;">选取</span>降低对完全静止物体毫米波量测的置信度,且<span style="color: black;">需求</span>驾驶员时刻关注路况。</span><span style="color: black;"><span style="color: black;">这般</span>当前<span style="color: black;">显现</span>静止<span style="color: black;">阻碍</span>物的时候,辅助驾驶就有可能忽略这一毫米波雷达检测,<span style="color: black;">引起</span>自车不误制动了。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">然而,这种方式并非真正能<span style="color: black;">处理</span>问题的,<span style="color: black;">思虑</span>到<span style="color: black;">运用</span>的传感器是能够<span style="color: black;">尽可能</span>最大化的利用起来。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">在<span style="color: black;">实质</span>应用中,雷达<span style="color: black;">一般</span>与相机和激光雷达融合进行<span style="color: black;">目的</span>检测。<span style="color: black;">咱们</span>将<strong style="color: blue;">融合框架分为四类</strong>:输入融合需要轻量级预处理来显式处理雷达位置不精确;级联 ROI 融合对传感器故障的鲁棒性不强,而并行 ROI 融合则改善了这一点。特征图融合为网络<span style="color: black;">供给</span>了更大的灵活性来组合雷达和视觉语义,但需要特定的训练技术<span style="color: black;">才可</span>有效学习。决策融合利用模态冗余,<span style="color: black;">因此呢</span>在现实世界的应用中很受欢迎。位置信息<span style="color: black;">能够</span>在轨道到轨道架构中稳健地融合,<span style="color: black;">或</span>借助网络语义,类别信息<span style="color: black;">能够</span>与贝叶斯推理或证据理论融合。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;">Radar感知<span style="color: black;">基本</span>下的融合检测</span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">区别</span>的观察和<span style="color: black;">暗示</span><span style="color: black;">拥有</span><span style="color: black;">区别</span>特征的对象。传感器融合<span style="color: black;">能够</span>被视为将<span style="color: black;">区别</span>模态映射到公共潜在传感器空间,其中同一对象的<span style="color: black;">区别</span>特征可以<span style="color: black;">相关</span>在<span style="color: black;">一块</span>。<span style="color: black;">针对</span>基于神经网络的检测<span style="color: black;">来讲</span>,将融合架构传统<span style="color: black;">归类</span>为<span style="color: black;">初期</span>(输入)、中期(特征)和晚期(决策)融合是不<span style="color: black;">知道</span>的。例如,在晚期融合的定义中,<span style="color: black;">没法</span>区分ROI 级(无类别信息)融合和对象级(有类别信息)融合之间存在差异。<span style="color: black;">因此呢</span>,需要<span style="color: black;">按照</span>融合<span style="color: black;">周期</span><span style="color: black;">知道</span>对融合的<span style="color: black;">办法</span>进行<span style="color: black;">归类</span>,这是有益的。即下图所示,<span style="color: black;">由于</span><span style="color: black;">区别</span>的融合<span style="color: black;">周期</span>对应于<span style="color: black;">区别</span>级别的语义,将融合架构分为四类:</span><span style="color: black;">输入融合、ROI融合、特征图融合和决策融合。</span><span style="color: black;"><span style="color: black;">针对</span> ROI 融合,<span style="color: black;">咱们</span>进一步<span style="color: black;">科研</span>了两种架构:级联融合(将雷达提案投影到图像视图)以及并行融合(融合雷达 ROI 和视觉 ROI)。</span></p>

    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">图 2. 雷达和摄像头融合框架概述</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">1. 输入融合</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">输入融合应用于雷达点云,它将雷达点投影成以距离、速度和RCS为通道的伪图像。<span style="color: black;">而后</span>,类似于RGB深度图像,雷达伪图像和视觉图像<span style="color: black;">能够</span>连接成一个整体,最后<span style="color: black;">能够</span>应用视觉检测器对这个多通道图像进行检测。输入融合并<span style="color: black;">无</span>独立利用雷达的检测能力,换句话说,假设模态之间良好对齐,<span style="color: black;">那样</span>雷达和视觉模态将是紧密结合的,此时,网络<span style="color: black;">能够</span>更<span style="color: black;">容易</span>地学习联合特征嵌入。然而,一个<span style="color: black;">显著</span>的缺点是该架构对传感器故障的鲁棒性不强。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">融合性能取决于雷达探测与视觉像素的对齐,当然<span style="color: black;">这儿</span>的困难在于三个方面:<span style="color: black;">首要</span>,雷达点云高度稀疏,许多来自表面的反射<span style="color: black;">因为</span>镜面反射而被弹开。结果,检测到的点在物体上分布稀疏。除了稀疏性之外,雷达<span style="color: black;">测绘</span>的横向不精确性<span style="color: black;">引起</span>了进一步的困难。雷达点可能超出视觉边界框,不精确性来自<span style="color: black;">区别</span>方面,例如,外参标定不精确、多路径效应和低角分辨率。第三个限制是低分辨率雷达<span style="color: black;">不可</span><span style="color: black;">供给</span>高度信息。为<span style="color: black;">认识</span>决这些困难,需要<span style="color: black;">有些</span><span style="color: black;">相关</span>技术。依靠网络隐式学习<span style="color: black;">相关</span>是一项艰巨的任务,<span style="color: black;">由于</span>网络<span style="color: black;">常常</span>会简单地忽略如毫米波雷达<span style="color: black;">这般</span>的弱模态信息。<span style="color: black;">因为</span><span style="color: black;">目的</span>检测不需要像<span style="color: black;">这般</span>严格的<span style="color: black;">相关</span>深度补全,所以<span style="color: black;">有些</span>扩展<span style="color: black;">办法</span><span style="color: black;">针对</span>实时处理<span style="color: black;">来讲</span>成本太高。有<span style="color: black;">有些</span><span style="color: black;">办法</span><span style="color: black;">能够</span>实现利用轻量级高度扩展<span style="color: black;">做为</span>预处理机制,并在连接之前对雷达输入进行一层卷积,这个卷积层<span style="color: black;">能够</span>被认为是<span style="color: black;">相关</span>网络的轻量级版本,<span style="color: black;">区别</span>范围的雷达检测需要<span style="color: black;">区别</span><span style="color: black;">体积</span>的感受野进行<span style="color: black;">相关</span>。<span style="color: black;">因此呢</span>,<span style="color: black;">能够</span>将雷达伪图像与多个尺度的图像特征图连接起来。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">2.ROI融合</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">ROI融合改编自经典的两<span style="color: black;">周期</span>检测框架。感兴趣区域(ROI)<span style="color: black;">能够</span>被认为是一组<span style="color: black;">无</span>类别信息的<span style="color: black;">目的</span>候选者,融合架构<span style="color: black;">能够</span>进一步分为级联融合和并行融合。级联融合,直接利用雷达检测进行区域提议,将雷达点投影到图像视图中<span style="color: black;">做为</span>锚点anchor的候选位置,<span style="color: black;">而后</span>借助视觉语义确定ROI。<span style="color: black;">这儿</span><span style="color: black;">能够</span>采用两种技术来<span style="color: black;">加强</span>锚点质量。<span style="color: black;">首要</span>,向锚点添加了偏移量来模拟雷达检测的位置不精确性。为了减轻图像视图中的尺度模糊性,<span style="color: black;">按照</span>检测到的范围<span style="color: black;">测绘</span>直接提出3D边界框,<span style="color: black;">而后</span>将这些框映射到图像视图。<span style="color: black;">这般</span>,<span style="color: black;">能够</span>避免重新缩放<span style="color: black;">过程</span>。<span style="color: black;">亦</span><span style="color: black;">能够</span>在3D边界框上提出的区域<span style="color: black;">运用</span>视觉 ROI 的雷达点云。基于视锥体的<span style="color: black;">相关</span>,<span style="color: black;">运用</span>视觉边界框生成雷达 ROI 视锥体。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">级联融合特别适合低分辨率雷达,其中雷达点云<span style="color: black;">拥有</span>较高的检测召回率,但非常稀疏。然而,级联结构存在两个潜在问题。<span style="color: black;">首要</span>,性能受到融合完整性的限制。在<span style="color: black;">第1</span><span style="color: black;">周期</span>提出的ROI<span style="color: black;">倘若</span>一个<span style="color: black;">目的</span>丢失,将<span style="color: black;">没法</span>在第二<span style="color: black;">周期</span>恢复它。第二个问题是级联结构<span style="color: black;">没法</span>利用模态冗余。<span style="color: black;">倘若</span>雷达传感器不起<span style="color: black;">功效</span>,则级联结构<span style="color: black;">没法</span>利用模态冗余。<span style="color: black;">全部</span>传感系统就会失效,<span style="color: black;">因此呢</span>需要引入并行结构进行ROI融合,采用两分支结构进行ROI融合,雷达和视觉ROI独立生成,<span style="color: black;">而后</span>融合模块<span style="color: black;">经过</span>取集合合并合并雷达 ROI 和视觉 ROI,<span style="color: black;">同期</span><span style="color: black;">经过</span> NMS 删除冗余 ROI。为了实现模态的自适应融合,针对ROI 的门控感兴趣区域融合(GRIF)模块<span style="color: black;">首要</span><span style="color: black;">经过</span>卷积 sigmoid 层预测<span style="color: black;">每一个</span> ROI 的权重,<span style="color: black;">而后</span>将雷达和视觉的 ROI 乘以相应的权重并按元素相加。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">3. 特征图融合</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">特征图融合利用了雷达和图像的语义,高分辨率雷达<span style="color: black;">能够</span>为<span style="color: black;">归类</span><span style="color: black;">供给</span>足够的语义线索。<span style="color: black;">因此呢</span>,特征图融合利用两个编码器将雷达和图像映射到同一潜在空间<span style="color: black;">拥有</span>高级语义。检测框架很灵活,<span style="color: black;">包含</span>一<span style="color: black;">周期</span><span style="color: black;">办法</span>和两<span style="color: black;">周期</span><span style="color: black;">办法</span>。一<span style="color: black;">周期</span>方法利用神经网络的两个分支分别从雷达和图像中提取特征图,<span style="color: black;">而后</span>将特征图连接在<span style="color: black;">一块</span>。两<span style="color: black;">周期</span>融合<span style="color: black;">办法</span>中<span style="color: black;">第1</span><span style="color: black;">周期</span><span style="color: black;">首要</span>融合从雷达和图像中提出的 ROI。在第二<span style="color: black;">周期</span>,融合后的ROI 分别投影到雷达和视觉特征图。ROI 内的特征图被裁剪并<span style="color: black;">调节</span>为相同<span style="color: black;">体积</span>的特征,来自雷达和图像的特征裁剪成对后<span style="color: black;">经过</span>元素均值融合并发送到检测头。<span style="color: black;">通常</span><span style="color: black;">来讲</span>,两<span style="color: black;">周期</span><span style="color: black;">办法</span><span style="color: black;">拥有</span>更好的性能,但比单<span style="color: black;">周期</span><span style="color: black;">办法</span>慢得多。无锚<span style="color: black;">办法</span>进一步避免了与锚框<span style="color: black;">关联</span>的<span style="color: black;">繁杂</span>计算,例如计算IOU训练<span style="color: black;">时期</span>得分。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">特征图融合<span style="color: black;">准许</span>网络灵活地结合雷达和视觉语义。然而,融合网络可能面临<span style="color: black;">忽略</span>弱模态和模态协同<span style="color: black;">功效</span>的问题,需要<span style="color: black;">有些</span>训练技术来迫使网络从雷达输入中学习。<span style="color: black;">例如</span>,采用一种模态丢弃方法,在训练过程中随机停用图像分支。在训练融合分支时<span style="color: black;">运用</span>权重冻结策略来固定预训练特征提取器的权重,<span style="color: black;">显示</span>仅冻结图像分支效果最好。然而,多种模态的融合并<span style="color: black;">不可</span><span style="color: black;">保准</span>总是比<span style="color: black;">运用</span>单一模态更好。有时,<span style="color: black;">倘若</span>雷达分支给出噪声输入,<span style="color: black;">咱们</span><span style="color: black;">期盼</span>网络降低雷达分支的权重。为了实现自适应融合,在融合网络中采用自<span style="color: black;">重视</span>力和全局通道<span style="color: black;">重视</span>力两种模式。自<span style="color: black;">重视</span>力用于<span style="color: black;">加强</span>真实<span style="color: black;">目的</span>点并削弱杂波点,而全局<span style="color: black;">重视</span>力模块为用于估计模态权重。将传感器熵估计为模态权重,<span style="color: black;">针对</span>每种模态,熵被逐像素<span style="color: black;">评定</span>为权重掩码。<span style="color: black;">而后</span>,这些权重掩码在融合层与<span style="color: black;">每一个</span>模态的相应特征图相乘。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">4.决策融合</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">决策融合假设对象<span style="color: black;">经过</span><span style="color: black;">区别</span>的模态独立检测,并<span style="color: black;">按照</span>它们的时空关系将它们进行融合。这种结构实现了系统级的传感冗余,<span style="color: black;">因此呢</span>对模态错误<span style="color: black;">拥有</span>鲁棒性。<span style="color: black;">因为</span>雷达分辨率较低,现有<span style="color: black;">科研</span>大多<span style="color: black;">无</span><span style="color: black;">知道</span><span style="color: black;">思虑</span>雷达估计的类别信息。换句话说,它们仅融合来自雷达和视觉分支的位置信息,<span style="color: black;">同期</span><span style="color: black;">保存</span>视觉估计的类别信息。<span style="color: black;">因为</span>下一代4D雷达<span style="color: black;">能够</span><span style="color: black;">供给</span><span style="color: black;">归类</span>能力,<span style="color: black;">因此呢</span>预计<span style="color: black;">将来</span>的融合框架应<span style="color: black;">同期</span><span style="color: black;">思虑</span>位置和类别信息。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">位置<span style="color: black;">能够</span>在跟踪框架中得到最佳融合。<span style="color: black;">区别</span>的对象<span style="color: black;">首要</span>基于位置信息被<span style="color: black;">相关</span>起来,<span style="color: black;">而后</span>发送到贝叶斯跟踪模块进行融合。<span style="color: black;">因为</span>雷达分辨率较低,在某些场景下很难实现<span style="color: black;">相关</span>,例如卡车分成两辆车或两个近距离物体合并为一辆车。这种<span style="color: black;">相关</span>模糊性<span style="color: black;">能够</span><span style="color: black;">运用</span>轨迹到轨迹的融合架构来减轻。<span style="color: black;">经过</span>估计轨迹,<span style="color: black;">能够</span>利用时间信息来过滤错误警报并<span style="color: black;">插进</span>遗漏的检测。<span style="color: black;">有些</span><span style="color: black;">科研</span>人员利用深度学习在雷达和其他模式之间<span style="color: black;">创立</span>更好的<span style="color: black;">相关</span>。<span style="color: black;">例如</span>,RadarNet基于<span style="color: black;">重视</span>力的后期融合来优化估计速度。<span style="color: black;">首要</span>,<span style="color: black;">运用</span> softmax 训练了一个五层 MLP,以估计<span style="color: black;">每一个</span>边界框与其<span style="color: black;">周边</span>雷达检测之间的归一化<span style="color: black;">相关</span>分数。<span style="color: black;">而后</span>,<span style="color: black;">运用</span><span style="color: black;">相关</span>分数对雷达<span style="color: black;">测绘</span>的速度进行加权平均来预测速度。AssociationNet尝试将雷达检测映射到对比学习框架中以便更好的<span style="color: black;">暗示</span>空间信息。<span style="color: black;">首要</span>将雷达<span style="color: black;">目的</span>和视觉边界框<span style="color: black;">做为</span>伪图像投影到图像平面。为了利用视觉语义,将这些伪图像与原始图像连接起来。接下来,连接的图像被发送到编码器-解码器网络以输出特征图。<span style="color: black;">按照</span>雷达检测的位置从特征图中提取<span style="color: black;">暗示</span>向量。对比损失旨在将正样本的<span style="color: black;">暗示</span>向量拉在<span style="color: black;">一块</span>并推开负样本的<span style="color: black;">暗示</span>向量。在推理过程中,计算所有可能的雷达视觉对的<span style="color: black;">暗示</span>向量之间的欧几里德距离,距离<span style="color: black;">小于</span>阈值的对被认为是<span style="color: black;">相关</span>的。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">类别信息,<span style="color: black;">尤其</span>是类别预测中的冲突,在传感器融合中很难处理的。<span style="color: black;">这儿</span>介绍一种将边界框与类别融合进行处理的概率框架,其中,边界框的位置由高斯分布建模,而类别先验被建模为狄利克雷分布,从而<span style="color: black;">准许</span>以封闭形式计算狄利克雷后验。<span style="color: black;">而后</span>,<span style="color: black;">拥有</span>最高<span style="color: black;">归类</span>得分的边界框被视为聚类中心,而其他边界框被视为<span style="color: black;">测绘</span>值。最后,<span style="color: black;">运用</span>贝叶斯推理来优化融合这些边界框的位置和类别信息。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">实质</span>上,概率<span style="color: black;">办法</span>在建模知识方面有其固有的缺陷。例如,<span style="color: black;">倘若</span>网络对其预测<span style="color: black;">无</span><span style="color: black;">自信心</span><span style="color: black;">或</span>输入<span style="color: black;">针对</span><span style="color: black;">归类</span>确实不<span style="color: black;">知道</span>,则均匀分布会带来混乱。相比之下,基于集合的<span style="color: black;">办法</span>则<span style="color: black;">无</span><span style="color: black;">这般</span>的问题。利用证据理论融合激光雷达、摄像头和雷达。<span style="color: black;">思虑</span>辨别框架,即一组相互排斥的假设,如</span><span style="color: black;">,并分配<span style="color: black;">每一个</span>可能的假设,即</span><span style="color: black;">的子集。在物体检测的<span style="color: black;">状况</span>下,<span style="color: black;">按照</span>传感器特性<span style="color: black;">选取</span>可能的假设。例如,汽车有时会被误认为是卡车的一部分。<span style="color: black;">因此呢</span>,<span style="color: black;">倘若</span>检测到汽车,其相应的证据<span style="color: black;">亦</span>应该放入集合</span><span style="color: black;">以及无明的集合</span><span style="color: black;">。将置信度 m 分配给汽车检测:</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">这儿</span></span><span style="color: black;">是对误检测的不确定性进行建模的折扣因子,</span><span style="color: black;">是准确度,即汽车检测中预测的正确率。假设有两个证据<span style="color: black;">源自</span>S1和S2来自<span style="color: black;">区别</span>的方式。<span style="color: black;">每一个</span><span style="color: black;">源自</span>都<span style="color: black;">供给</span>检测列表,如</span><span style="color: black;">和</span><span style="color: black;">。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">而后</span>,<span style="color: black;">能够</span>定义关于两个检测的可能<span style="color: black;">相关</span>的三个命题aj 和bj分别如下:</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">{1} <span style="color: black;">暗示</span>假设aj 和bj 是同一个对象;</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">{0} <span style="color: black;">暗示</span>假设aj 和bj 不是同一个对象</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">{0,1} <span style="color: black;">暗示</span><span style="color: black;">没法</span>判断aj和bj<span style="color: black;">是不是</span>为同一个对象,即未知假设。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">相关</span>置信度<span style="color: black;">能够</span><span style="color: black;">按照</span>位置和类别<span style="color: black;">类似</span>度来确定。位置<span style="color: black;">类似</span>性的证据<span style="color: black;">按照</span>马哈拉诺比斯距离可定义为:</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">其中</span><span style="color: black;"><span style="color: black;">测绘</span>马氏距离</span><span style="color: black;">的<span style="color: black;">类似</span>度λ 和缩放因子α,和α是一个证据折扣因子。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">针对</span>类别<span style="color: black;">类似</span>性,属于同一类别的两个检测太弱,<span style="color: black;">没法</span><span style="color: black;">供给</span>它们是同一对象的证据。然而,<span style="color: black;">倘若</span>两个检测属于<span style="color: black;">区别</span>类别,则将证据分配给它们不是同一对象的命题是<span style="color: black;">恰当</span>的。<span style="color: black;">因此呢</span>,类别<span style="color: black;">类似</span>性的证据由下式给出</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">倘若</span><span style="color: black;">无</span>共享公共类别假设,则融合<span style="color: black;">海量</span>证据,即</span><span style="color: black;">。其余的证据将置于无知假设中。最后,<span style="color: black;">针对</span><span style="color: black;">每一个</span>检测对,<span style="color: black;">按照</span> Yager 的组合规则融合类别<span style="color: black;">类似</span>度和位置<span style="color: black;">类似</span>度。证据融合为信息融合<span style="color: black;">供给</span>了<span style="color: black;">靠谱</span>的框架。然而,它<span style="color: black;">不可</span>直接应用于基于单一假设进行预测的神经网络检测器。为<span style="color: black;">认识</span>决这个问题,<span style="color: black;">能够</span><span style="color: black;">运用</span>保形预测来<span style="color: black;">运用</span>少量校准数据从经过训练的网络生成置信集。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">Radar检测中的挑战</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">尽管基于深度学习的雷达感知在数据集上表现出良好的性能,但很少有<span style="color: black;">科研</span>调查这些<span style="color: black;">办法</span>的泛化性。事实上,<span style="color: black;">有些</span><span style="color: black;">拥有</span>挑战性的<span style="color: black;">状况</span>可能被<span style="color: black;">忽略</span>,但可能会禁止在现实场景中<span style="color: black;">运用</span>这些<span style="color: black;">办法</span>。例如,<span style="color: black;">繁杂</span>场景下,多路径传播<span style="color: black;">导致</span>的鬼影现象很<span style="color: black;">平常</span>。过度自信是神经网络的一个<span style="color: black;">广泛</span>问题。<span style="color: black;">因为</span>雷达始终用于安全关键型应用,<span style="color: black;">因此呢</span>校准检测网络并输出预测不确定性非常重要。尽管<span style="color: black;">咱们</span>总是将雷达<span style="color: black;">叫作</span>为全天候传感器,但许多雷达融合<span style="color: black;">办法</span>并未很好地测试<span style="color: black;">卑劣</span>天气下的鲁棒性。在本文中,<span style="color: black;">咱们</span>将提出这三个挑战,并总结<span style="color: black;">有些</span><span style="color: black;">近期</span>试图<span style="color: black;">处理</span>这些挑战的工作。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">1.幽灵物体检测</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">多路径是波<span style="color: black;">理学</span>学中的一种现象,其中来自<span style="color: black;">目的</span>的波<span style="color: black;">经过</span>两个或多个路径传播到探测器。<span style="color: black;">因为</span>多径传播,雷达既接收<span style="color: black;">目的</span>的直接反射,<span style="color: black;">亦</span>接收<span style="color: black;">目的</span>的间接时移反射。<span style="color: black;">倘若</span><span style="color: black;">目的</span>反射和多径反射占据相同的RD单元,则影响DOA估计的性能。否则,<span style="color: black;">倘若</span>它们占据<span style="color: black;">区别</span>的单元格,则可能会在多路径方向上产生鬼<span style="color: black;">目的</span>。在后一种<span style="color: black;">状况</span>下,<span style="color: black;">因为</span>鬼影检测与真实<span style="color: black;">目的</span><span style="color: black;">拥有</span><span style="color: black;">类似</span>的动态,<span style="color: black;">因此呢</span>很难在传统的检测流程中消除它们。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">多径效应<span style="color: black;">能够</span>分为</span><span style="color: black;">三种类型</span><span style="color: black;">。</span><span style="color: black;"><span style="color: black;">第1</span>类是自车与<span style="color: black;">目的</span>之间的反射</span><span style="color: black;">。<span style="color: black;">因此呢</span>,杂波的距离和速度应是真实<span style="color: black;">测绘</span>的数倍。</span><span style="color: black;">第二种是车身底部反射</span><span style="color: black;">。它<span style="color: black;">一般</span><span style="color: black;">出现</span>在卡车下方,<span style="color: black;">引起</span>点距离较长。这种透视效果有时是有益的,<span style="color: black;">由于</span><span style="color: black;">能够</span>检测到被遮挡的车辆。</span><span style="color: black;">第三种类型<span style="color: black;">是由于</span>反射表面<span style="color: black;">导致</span>的镜面重影检测</span><span style="color: black;">。<span style="color: black;">因为</span>汽车77GHz雷达的波长<span style="color: black;">很强</span>,许多平坦的<span style="color: black;">设备</span>,如混凝土墙、护栏、消噪墙等都<span style="color: black;">能够</span>视为反射面。如下图所示,<span style="color: black;">按照</span><span style="color: black;">最后</span>反射是<span style="color: black;">出现</span>在<span style="color: black;">目的</span>还是表面上,这种多径效应<span style="color: black;">能够</span>进一步分为类型1和类型2。反射的次数<span style="color: black;">叫作</span>为多路径的阶数。<span style="color: black;">一般</span>,仅需要<span style="color: black;">思虑</span><span style="color: black;">小于</span> 3 的阶数,<span style="color: black;">由于</span>高阶反射<span style="color: black;">因为</span>信号扩散而返回很少的能量。</span></p>

    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">图3. 多路径效果:橙色实心框是真实对象。虚线框<span style="color: black;">是由于</span>多路径传播<span style="color: black;">导致</span>的鬼物体</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">鬼影检测的性能<span style="color: black;">评定</span>需要高质量的数据集。然而,鬼物体的标记是一项艰巨的任务,需要专业知识。有学者<span style="color: black;">科研</span>了一种<span style="color: black;">经过</span>与LiDAR点云比较来自动识别雷达鬼物体的<span style="color: black;">办法</span>。然而,激光雷达<span style="color: black;">测绘</span>并不完美。它们有其固有的缺陷,例如稀疏性、范围有限以及<span style="color: black;">无</span>反射的孔洞。<span style="color: black;">因此呢</span>,</span><span style="color: black;"><span style="color: black;">运用</span>激光雷达<span style="color: black;">做为</span>真值系统有时可能会<span style="color: black;">显现</span>问题。</span><span style="color: black;">在雷达幽灵数据集中,幽灵对象是在辅助工具的<span style="color: black;">帮忙</span>下手动注释的。该工具<span style="color: black;">能够</span><span style="color: black;">按照</span>真实物体和反射表面自动计算潜在鬼影的位置。结果,注释了四种类型的多路径效应,<span style="color: black;">包含</span>类型1二阶反弹、类型2二阶反弹、类型2三阶反弹和其他高阶反弹。<span style="color: black;">另外</span>,它们还<span style="color: black;">经过</span>叠加同一场景中<span style="color: black;">区别</span>帧的对象来<span style="color: black;">供给</span>合成数据集。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">与杂波<span style="color: black;">区别</span>,幽灵对象<span style="color: black;">没法</span><span style="color: black;">经过</span>时间跟踪进行过滤,<span style="color: black;">由于</span>它们<span style="color: black;">拥有</span>与真实<span style="color: black;">目的</span>相同的运动学属性。相反,它们<span style="color: black;">能够</span><span style="color: black;">经过</span>几何<span style="color: black;">办法</span>检测。利用雷达鬼数据集,还<span style="color: black;">能够</span>训练用于鬼检测的神经网络,例如基于 PointNet 的<span style="color: black;">办法</span>和基于 PointNet++ 的<span style="color: black;">办法</span>。<span style="color: black;">因为</span>信号扩散,<span style="color: black;">能够</span>安全地忽略高阶反射。<span style="color: black;">因此呢</span>,鬼物体<span style="color: black;">一般</span>出<span style="color: black;">此刻</span>与真实<span style="color: black;">目的</span>距离<span style="color: black;">类似</span>的环形区域中。<span style="color: black;">因此呢</span>,后面<span style="color: black;">经过</span>设计一种环形分组来代替PointNet++中的多尺度分组。场景结构和检测之间的关系是识别鬼物体的重要线索,<span style="color: black;">因此呢</span>,<span style="color: black;">能够</span><span style="color: black;">运用</span>占用网格图<span style="color: black;">能够</span><span style="color: black;">供给</span>场景结构的信息。过程中,<span style="color: black;">运用</span>占用网格图和移动物体列表<span style="color: black;">做为</span> FCN 的输入,来预测移动鬼影检测的热图。<span style="color: black;">倘若</span>以LiDAR为参考,<span style="color: black;">运用</span>多模态转换器来<span style="color: black;">捕捉</span>鬼物体和真实物体之间的语义<span style="color: black;">相关</span>度<span style="color: black;">亦</span><span style="color: black;">能够</span>是一种不错的<span style="color: black;">办法</span>。其中,<span style="color: black;">经过</span>设计一个多模态<span style="color: black;">重视</span>力模块,由两个模块<span style="color: black;">构成</span>。<span style="color: black;">第1</span>个是雷达点云的自<span style="color: black;">重视</span>力模块。它有望对真实物体和镜像物体的<span style="color: black;">类似</span>性进行建模。<span style="color: black;">而后</span>,第二个多模态<span style="color: black;">重视</span>力模块融合雷达和激光雷达分支的特征图。该融合模块<span style="color: black;">能够</span>看作是计算LiDAR检测和真实雷达检测之间的<span style="color: black;">关联</span>性。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">2.雷达探测的不确定性</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">基于学习的雷达检测<span style="color: black;">表示</span>了其对<span style="color: black;">区别</span>道路<span style="color: black;">运用</span>者进行<span style="color: black;">归类</span>的<span style="color: black;">潜能</span>。然而,<span style="color: black;">因为</span>类别不平衡和简单的场景,在<span style="color: black;">科研</span>数据集上<span style="color: black;">评定</span>的性能可能会<span style="color: black;">显现</span>偏差。<span style="color: black;">例如</span>在VoD 数据集中雷达检测就有<span style="color: black;">有些</span>失败案例:两个靠近的行人<span style="color: black;">能够</span>被检测为一个骑<span style="color: black;">自动</span>车的人。一个大型物体,例如一辆卡车或一辆公共汽车,<span style="color: black;">能够</span>分成两个较小的物体。探测器可能会<span style="color: black;">错失</span>反射很少的远处物体。金属杆和高路缘的<span style="color: black;">剧烈</span>反射可能会掩盖真实物体。这些故障大<span style="color: black;">都数</span>是<span style="color: black;">因为</span>雷达传感器在<span style="color: black;">方向</span>分辨率和动态范围方面的缺陷<span style="color: black;">导致</span>的。更糟糕的是,神经网络<span style="color: black;">常常</span>对其错误预测过于自信。<span style="color: black;">针对</span>自动驾驶<span style="color: black;">来讲</span>,错误的感知<span style="color: black;">自信心</span>可能会泄漏到传感器融合和决策等下游任务,从而可能<span style="color: black;">引起</span><span style="color: black;">劫难</span>性的失败。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">这儿</span>的不确定性有两种:<strong style="color: blue;">其一是数据不确定性</strong>,<span style="color: black;">亦</span><span style="color: black;">叫作</span>为任意不确定性,<span style="color: black;">是由于</span>噪声输入<span style="color: black;">导致</span>的。<strong style="color: blue;">其二是模型不确定性</strong>,<span style="color: black;">亦</span><span style="color: black;">叫作</span>为认知不确定性,<span style="color: black;">是由于</span>网络训练不足或不适当<span style="color: black;">导致</span>的。模型不确定性的<span style="color: black;">源自</span><span style="color: black;">包含</span>三种<span style="color: black;">状况</span>:协变量偏移p(x),标签移位p(y)和开集识别(unseen y)。数据不确定性和模型不确定性的总和<span style="color: black;">叫作</span>为预测不确定性。<span style="color: black;">针对</span>概率对象检测的任务,两个参数的不确定性是令人感兴趣的:类别不确定性,它编码<span style="color: black;">归类</span>的置信度,以及空间不确定性,它<span style="color: black;">暗示</span>边界框的<span style="color: black;">靠谱</span>性。类不确定性<span style="color: black;">能够</span>看作是模型不确定性,而空间不确定性与噪声输入引入的数据不确定性更<span style="color: black;">关联</span>。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">针对</span><span style="color: black;">归类</span>任务,最简单的<span style="color: black;">办法</span>是学习一个函数,将softmax层输出的伪概率映射为真实概率,而真实概率定义为训练集上的<span style="color: black;">归类</span>准确度,这个过程<span style="color: black;">一般</span><span style="color: black;">叫作</span>为网络校准。<span style="color: black;">因为</span>它是后处理<span style="color: black;">办法</span>,<span style="color: black;">因此呢</span>模型<span style="color: black;">体积</span>和推理时间均不受影响。校准<span style="color: black;">办法</span><span style="color: black;">重点</span>关注总体不确定度的任意部分。为了校准雷达<span style="color: black;">归类</span>器,<span style="color: black;">经过</span>比较<span style="color: black;">区别</span>的后处理技术,<span style="color: black;">包含</span>温度缩放、潜在高斯过程(GP)和互信息最大化。互信息最大化实现了性能和推理时间之间的最佳平衡。<span style="color: black;">近期</span>的<span style="color: black;">有些</span><span style="color: black;">科研</span><span style="color: black;">显示</span>,软标签<span style="color: black;">加强</span>技术,例如标签平滑和混合,<span style="color: black;">能够</span>有效缓解过度自信问题,从而有助于网络校准。<span style="color: black;">能够</span>在雷达<span style="color: black;">归类</span>中<span style="color: black;">运用</span>标签平滑正则化。核心思想是<span style="color: black;">归类</span>器应该对接收功率较低的远处物体给予较低的置信度。这是两种标签平滑技术,即分别<span style="color: black;">按照</span>距离和接收功率生成软标签。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">除了校准类不确定性之外,<span style="color: black;">针对</span>估计边界框回归中的空间不确定性感兴趣。蒙特卡罗 dropout 和深度集成在估计预测不确定性方面很流行。然而,这些<span style="color: black;">办法</span>仅在<span style="color: black;">目的</span>检测方面<span style="color: black;">供给</span>了边际改进,但成本很高。<span style="color: black;">因此呢</span>,<span style="color: black;">能够</span>直接建模<span style="color: black;">能够</span>被广泛用于估计边界框回归中的任意不确定性。这个想法是让网络估计预测的均值和方差。损失被构造为</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">这儿</span></span><span style="color: black;">是估计方差,减少了对高方差的<span style="color: black;">处罚</span>,<span style="color: black;">同期</span>对高方差进行了<span style="color: black;">处罚</span>。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><strong style="color: blue;"><span style="color: black;">3.<span style="color: black;">卑劣</span>天气下的融合</span></strong></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">大雨、大雪、大雾等<span style="color: black;">卑劣</span>天气<span style="color: black;">要求</span>可能对安全驾驶<span style="color: black;">形成</span>重大威胁。<span style="color: black;">区别</span>的传感器工作在<span style="color: black;">区别</span>的电磁波段,<span style="color: black;">因此呢</span>对环境的鲁棒性<span style="color: black;">亦</span><span style="color: black;">区别</span>。视觉感知容易受到模糊、噪声和亮度失真的影响。在<span style="color: black;">卑劣</span>天气下,LiDAR 在粉雪、大雨和强雾中会<span style="color: black;">显现</span>检测范围缩小和视野受阻的<span style="color: black;">状况</span>。相比之下,雷达在<span style="color: black;">卑劣</span>天气下的鲁棒性更强,天气对雷达的影响可分为衰减和后向散射。衰减效应降低了信号的接收功率,而反向散射效应则<span style="color: black;">增多</span>了接收器处的干扰。灰尘、雾和小雨下的衰减和后向散射<span style="color: black;">针对</span>雷达<span style="color: black;">来讲</span><span style="color: black;">能够</span>忽略不计,而在大雨下雷达的性能则会<span style="color: black;">很强</span>程度的下降。基于降雨衰减和后向散射效应的数学模型<span style="color: black;">暗示</span>,在强降雨<span style="color: black;">要求</span>下(150 毫米/小时),雷达的探测范围最多可减少45%。<span style="color: black;">针对</span> RCS 较小的近距离<span style="color: black;">目的</span>,反向散射效应更为严重,并可能<span style="color: black;">引起</span>额外的性能下降。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">在<span style="color: black;">卑劣</span>天气下驾驶<span style="color: black;">能够</span>被视为自动驾驶的一个极端<span style="color: black;">状况</span>。定义自动驾驶车辆设计安全运行的<span style="color: black;">要求</span>是<span style="color: black;">经过</span>设计运行域(ODD)来定义的。<span style="color: black;">倘若</span>监控系统检测到违反OOD<span style="color: black;">需求</span>,<span style="color: black;">掌控</span>权将移交给驾驶员。然而,操作环境的变化<span style="color: black;">一般</span>是快速且不可预测的。<span style="color: black;">因此呢</span>,切换机制在安全性方面存在争议。<span style="color: black;">将来</span>,全自动驾驶汽车(SAE 5 级)有望在所有环境和天气<span style="color: black;">要求</span>下工作。然而,大<span style="color: black;">都数</span>融合<span style="color: black;">办法</span>并不是为了<span style="color: black;">知道</span><span style="color: black;">思虑</span>天气影响而设计的。在好天气下训练的网络在<span style="color: black;">卑劣</span>天气下可能会<span style="color: black;">显现</span>性能下降。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">有<span style="color: black;">有些</span>可能的<span style="color: black;">办法</span><span style="color: black;">能够</span>使网络适应<span style="color: black;">区别</span>的天气<span style="color: black;">要求</span>。一种<span style="color: black;">办法</span>是添加场景切换模块,<span style="color: black;">而后</span>针对<span style="color: black;">区别</span>的天气<span style="color: black;">运用</span><span style="color: black;">区别</span>的网络。这种<span style="color: black;">办法</span>很简单,但会带来额外的计算和内存成本。另一种<span style="color: black;">选取</span>是在网络中添加<span style="color: black;">有些</span>动态机制。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">首要</span>,<span style="color: black;">能够</span>在融合模块中添加了两<span style="color: black;">周期</span><span style="color: black;">重视</span>力模块。对每种模态应用自<span style="color: black;">重视</span>力,<span style="color: black;">而后</span><span style="color: black;">经过</span>交叉<span style="color: black;">重视</span>力将其混合。<span style="color: black;">同期</span>,进一步<span style="color: black;">科研</span><span style="color: black;">行业</span>泛化问题,即<span style="color: black;">运用</span>良好的天气数据集进行训练并在雾天进行推理。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">其次,<span style="color: black;">亦</span>有一种门控策略,对每种模态进行排名,并<span style="color: black;">选取</span>前三个<span style="color: black;">靠谱</span>的模态进行融合。<span style="color: black;">经过</span>比较三种类型的门控<span style="color: black;">办法</span>:基于知识的门控、基于 CNN 的门控和基于<span style="color: black;">重视</span>力的门控。基于知识的门控针对每种天气<span style="color: black;">要求</span><span style="color: black;">运用</span>一组预定义的模态权重,而基于 CNN 和基于<span style="color: black;">重视</span>力的门控则从数据中学习权重。在<span style="color: black;">卑劣</span>天气下,门控<span style="color: black;">办法</span>优于融合<span style="color: black;">办法</span>,并且基于<span style="color: black;">重视</span>力的门控<span style="color: black;">能够</span>实现最佳性能。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">另外</span>,还有一种熵引导的融合网络,它<span style="color: black;">运用</span>传感器熵<span style="color: black;">做为</span>模态权重。<span style="color: black;">详细</span><span style="color: black;">来讲</span>,<span style="color: black;">运用</span>了深度融合架构,<span style="color: black;">持续</span>融合来自<span style="color: black;">区别</span>模式的特征图。像素熵用作<span style="color: black;">每一个</span>传感器分支的<span style="color: black;">重视</span>力图,<span style="color: black;">因为</span>熵图仅以传感器输入为<span style="color: black;">要求</span>,<span style="color: black;">因此呢</span>融合网络<span style="color: black;">能够</span>在看不见的<span style="color: black;">卑劣</span>天气下稳健地执行。<span style="color: black;">按照</span>不确定性理论,传感器熵<span style="color: black;">能够</span>被视为数据不确定性的度量。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">最后,为了利用数据和模型的不确定性,提出一种</span><span style="color: black;">不确定性感知融合框架</span><span style="color: black;">。利用决策级融合架构,并期望<span style="color: black;">每一个</span>分支输出数据不确定性和模型不确定性。门函数用于<span style="color: black;">按照</span>预测的不确定性对每种模态应用加权平均值。<span style="color: black;">而后</span>,设计两个模块来处理<span style="color: black;">拥有</span>高度不确定性的数据。一种用于故障检测,另一个用于<span style="color: black;">连续</span>学习。故障检测中,<span style="color: black;">需求</span>数据不确定性始终高于阈值的传感器被认为<span style="color: black;">出现</span>故障。<span style="color: black;">连续</span>性学习中,模型不确定性高于阈值的数据将被添加到训练集中以进行<span style="color: black;">连续</span>学习。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><strong style="color: blue;"><span style="color: black;">总结</span></strong></span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">在本文中,<span style="color: black;">咱们</span>总结了深度雷达感知的最新<span style="color: black;">发展</span>。正如<span style="color: black;">咱们</span>所看到的,许多<span style="color: black;">科研</span>工作都集中在</span><span style="color: black;"><span style="color: black;">研发</span>检测任务的模型上</span><span style="color: black;">。然而,还有<span style="color: black;">有些</span>尚未探索的<span style="color: black;">科研</span>课题或需要<span style="color: black;">处理</span>的基本问题。<span style="color: black;">例如</span>,高质量的数据集、雷达<span style="color: black;">行业</span>知识、不确定性量化、运动预测、干扰缓解等方面还有<span style="color: black;">非常多</span><span style="color: black;">能够</span>被<span style="color: black;">科研</span>的<span style="color: black;">行业</span>和方向。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">首要</span>,在缺乏高质量数据集的<span style="color: black;">状况</span>下,需要避免将雷达中的人工智能应用于数据拟合。从数据的<span style="color: black;">方向</span>来看,利用<span style="color: black;">行业</span>知识来<span style="color: black;">研发</span>可推广的感知模型至关重要,这需要利用专业知识来标记幽灵对象。<span style="color: black;">例如</span><span style="color: black;">能够</span>设计一个<span style="color: black;">重视</span>力模块或利用图卷积来建模真实对象和幽灵对象之间的关系。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">其次,雷达<span style="color: black;">行业</span>知识需要在许多<span style="color: black;">周期</span>予以<span style="color: black;">思虑</span>,例如标记、数据<span style="color: black;">加强</span>、模型结构、训练技术和<span style="color: black;">评定</span>指标。深度学习革命始于 ImageNet 数据集的引入。然而,雷达感知还<span style="color: black;">无</span>看到它的 ImageNet 时刻。尽管存在许<span style="color: black;">都数</span>据集,但它们在规模、分辨率、数据<span style="color: black;">暗示</span>、场景和标签粒度方面有所<span style="color: black;">区别</span>。标签的粒度和质量<span style="color: black;">亦</span>是雷达数据集的关键问题。<span style="color: black;">因此呢</span>,很难公平地比较在<span style="color: black;">区别</span>数据集上训练的<span style="color: black;">区别</span>模型。自从 4D <span style="color: black;">影像</span>雷达引入市场<span style="color: black;">败兴</span>,迫切需要<span style="color: black;">拥有</span>高质量注释和多样化场景的数据集。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">同期</span>,不确定性量化<span style="color: black;">针对</span>在安全关键型应用中应用人工智能非常重要。<span style="color: black;">因为</span>雷达数据的信噪比较低且雷达数据集规模较小,<span style="color: black;">因此呢</span>基于 CNN 的雷达探测器预计会<span style="color: black;">显现</span>较高的数据和模型不确定性。这<span style="color: black;">亦</span>是需要被重点关注的问题。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">另外</span>,雷达的一个被<span style="color: black;">忽略</span>的特征是</span><span style="color: black;">多普勒速度</span><span style="color: black;">。除了<span style="color: black;">做为</span>移动道路<span style="color: black;">运用</span>者的一个特征之外,多普勒速度<span style="color: black;">针对</span>运动预测<span style="color: black;">亦</span><span style="color: black;">特别有</span>价值。运动预测是自动驾驶<span style="color: black;">行业</span>的一个热门<span style="color: black;">科研</span>课题。<span style="color: black;">经过</span>准确估计道路<span style="color: black;">运用</span>者的运动,下游路径规划模块<span style="color: black;">能够</span>更好地对<span style="color: black;">将来</span>的交互做出反应。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">最后,<span style="color: black;">针对</span> FMCW 雷达<span style="color: black;">来讲</span>,相互干扰是一项<span style="color: black;">拥有</span>挑战性的任务。<span style="color: black;">将来</span>的<span style="color: black;">科研</span>应该将干扰缓解和下游任务(例如检测)<span style="color: black;">做为</span>一个整体来<span style="color: black;">思虑</span>,并构建一个端到端的学习框架来<span style="color: black;">一起</span>优化它们。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">欢迎扫下面二维码加入智能交通技术群!</p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">扫描加入免费的「智慧城市之智慧交通」知识星球可<span style="color: black;">认识</span><span style="color: black;">更加多</span>行业<span style="color: black;">新闻</span>和资料。</span></p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">欢迎加入智能交通技术群! </p>
    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">联系方式:<span style="color: black;">微X</span>号18515441838<a style="color: black;"><span style="color: black;">返回<span style="color: black;">外链论坛:www.fok120.com</span>,查看<span style="color: black;">更加多</span></span></a></p>

    <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">责任编辑:网友投稿</span></p>




jm2020 发表于 2024-9-6 15:23:52

你的话语如春风拂面,让我感到无比温暖。

4lqedz 发表于 2024-9-28 06:50:42

你的见解真是独到,让我受益良多。

7wu1wm0 发表于 2024-9-29 07:30:27

“BS”(鄙视的缩写)‌

nqkk58 发表于 2024-10-12 03:43:57

论坛是一个舞台,让我们在这里尽情的释放自己。

wrjc1hod 发表于 2024-10-29 20:13:47

你的见解独到,让我受益匪浅,非常感谢。
页: [1]
查看完整版本: 全面介绍一下深度学习下的Radar感知融合策略及科研方向