破解AIGC背面的算网瓶颈,锐捷网络率先推出“智速DDC”制品
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">一时间,<span style="color: black;">咱们</span>仿佛回到了20<span style="color: black;">数年</span>前那个互联网兴起的时代。近来,随着GPT-4、百度文心一言等大语言模型竞相登场,一场由ChatGPT点燃的AIGC浪潮正悄然掀起一场重塑数字内容生产方式的科技革命。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">但你有<span style="color: black;">无</span>想过,随着AIGC应用加速渗入到各行各业,<span style="color: black;">持续</span>推动参数量更大、迭代时间更长的AI大模型演进,这背后除了对算力<span style="color: black;">需要</span><span style="color: black;">连续</span><span style="color: black;">提高</span>,更对AI集群的网络通信性能提出了更加严苛的<span style="color: black;">需求</span>。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">那面对AIGC拉开变革序幕,<span style="color: black;">做为</span>“幕后英雄”的AI集群网络,<span style="color: black;">怎样</span>与时代的潮流一同跃进?</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">AIGC<span style="color: black;">背面</span>的AI集群网络瓶颈</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">为何</span>高性能的AI集群网络通信<span style="color: black;">针对</span>AIGC应用非常重要?<span style="color: black;">针对</span>以ChatGPT为<span style="color: black;">表率</span>的AIGC应用,<span style="color: black;">背面</span>起关键作用的是大语言模型,其由深度学习神经网络对海量数据进行训练,需要<span style="color: black;">海量</span>的训练样本和模型参数,对算力<span style="color: black;">需求</span>极高。以GPT-3为例,训练数据集是超过45TB的互联网文本,参数规模达1750亿;为训练如此<span style="color: black;">繁杂</span>的神经网络,据<span style="color: black;">报告</span>GPT-3在微软Azure AI超算<span style="color: black;">基本</span><span style="color: black;">设备</span>(由1万块V100 GPU<span style="color: black;">构成</span>的高宽带集群)上进行训练,总算力消耗约 3640 PF-days(即每秒一千万亿次计算,运行3640天)。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">显而易见, AI大模型算力消耗惊人,单一计算设备已远远<span style="color: black;">没法</span>满足模型训练的算力<span style="color: black;">需要</span>。为<span style="color: black;">供给</span>强大的算力,<span style="color: black;">提高</span>训练速度,利用AI集群进行分布式深度学习训练已<span style="color: black;">作为</span>首选。然而,尽管分布式训练<span style="color: black;">经过</span>多个GPU节点并行训练,可减轻各个计算节点的压力,但<span style="color: black;">区别</span>节点之间需频繁地同步模型参数,会产生网络通信开销,让网络通信性能<span style="color: black;">作为</span>制约系统性能的新瓶颈。且随着AIGC应用快速发展,模型参数数量<span style="color: black;">持续</span>跃升,神经网络越来越<span style="color: black;">繁杂</span>,AI集群的GPU节点数<span style="color: black;">连续</span><span style="color: black;">增多</span>,瓶颈将越来越<span style="color: black;">明显</span>。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">例如</span>,分布式深度学习训练的并行方式<span style="color: black;">重点</span>分为数据并行和模型并行,在数据并行模式中,深度神经网络模型被复制到每一个GPU节点,训练数据被分散分配到<span style="color: black;">区别</span>的GPU节点,每轮迭代后都要<span style="color: black;">经过</span>All-Reduce操作同步和汇总各个GPU节点在本地产生的梯度,以更新全局模型参数,供下轮迭代<span style="color: black;">运用</span>。在这个过程中,不管是拉取数据样本还是GPU节点间进行模型参数同步,都需要高性能、低时延的网络为基石。一旦网络性能<span style="color: black;">不良</span>,就会影响分布式训练的质量和速度。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">按GPT-3在由1万块V100 GPU<span style="color: black;">构成</span>的高宽带集群上进行分布式训练计算,如下表,若GPU利用率为100%,训练时间需26天。若GPU利用率为33%,训练时间则需要78天。可见,GPU利用率是影响AI大模型训练速度的<span style="color: black;">重点</span><span style="color: black;">原因</span>。而影响GPU利用率的关键<span style="color: black;">原因</span>之一<span style="color: black;">便是</span>网络通信效率。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQtQNkgvicnmQwA54N4mlFptCa8IuLWI900HgTsFGoZyIqIQhPvrbyI3oQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">ChatGPT算力和训练时间表</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">到底</span><span style="color: black;">那些</span><span style="color: black;">原因</span>决定了网络通信效率?<span style="color: black;">重点</span><span style="color: black;">包含</span>节点间通信带宽、节点内通信带宽、交换设备转发时延、端处理时延、内部排队时延和丢包重传时延。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQtPXnJUBXXHib93Ny36y2UuAaPZHiaA38z88dCQBunwhlGP8YOWIUgpD7A/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">影响AI集群网络通信效率的<span style="color: black;">原因</span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">其中,节点间通信带宽、节点内通信带宽、交换设备转发时延这三个<span style="color: black;">原因</span>取决于硬件性能,端处理时延取决于网络协议<span style="color: black;">选取</span>,而内部排队时延和丢包重传时延由网络拥塞<span style="color: black;">引起</span>,受网络优化和技术<span style="color: black;">选取</span>的影响。<span style="color: black;">因此呢</span>,抛开硬件性能的限制,针对端处理时延、内部排队时延和丢包重传时延三大动态<span style="color: black;">原因</span>优化网络拥塞和时延,是<span style="color: black;">提高</span>AI集群网络通信性能最具成本效益的<span style="color: black;">办法</span>。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">传统HPC组网面临<span style="color: black;">许多</span>挑战</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">针对影响AI集群网络通信性能的动态<span style="color: black;">原因</span>,业界已采用RoCE v2网络协议、PFC和ECN机制、ECMP等关键技术来进行HPC组网。但在<span style="color: black;">实质</span>应用中,这些技术都<span style="color: black;">区别</span>程度地暴露出不少问题。而随着AIGC应用<span style="color: black;">连续</span>升温, AI大模型训练的算力<span style="color: black;">需要</span><span style="color: black;">连续</span><span style="color: black;">提高</span>,这些问题将越来越<span style="color: black;">明显</span>,<span style="color: black;">提高</span>网络通信性能的迫切性<span style="color: black;">亦</span>越来越高。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">为<span style="color: black;">提高</span>分布式训练速度,当前的分布式深度学习训练系统<span style="color: black;">一般</span>采用RDMA(远程直接内存<span style="color: black;">拜访</span>)技术,其<span style="color: black;">拥有</span>内核旁路、零拷贝的优点,可绕过操作系统内核,直接在内存间传送数据,从而能大幅<span style="color: black;">提高</span>系统吞吐量,降低通信时延。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">RDMA技术最早用于IB(Infiniband)组网,以<span style="color: black;">经过</span>构建无损网络实现HPC高性能计算集群的互联。<span style="color: black;">不外</span>,<span style="color: black;">因为</span>IB组网采用专有网络协议栈,存在技术封闭、兼容性低、单一厂商垄断等问题。为此,业界将RDMA技术移植到以太网上,推出了基于以太网的RoCE(RDMA over Converged Ethernet)协议,并将之演进到RoCE v2版本,从而推动了RDMA技术普及。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">为实现无损以太网,基于RoCE v2网络协议的网络<span style="color: black;">方法</span>定义了PFC和ECN两大必选机制,以消除网络拥塞,<span style="color: black;">保证</span>数据不丢包。PFC能够逐跳<span style="color: black;">供给</span>基于优先级的流量<span style="color: black;">掌控</span>,缓解网络拥塞,规避丢包。ECN可消除网络拥塞,最大限度减少PFC反压。但在多级PFC组网下,当网络中<span style="color: black;">显现</span><span style="color: black;">海量</span>PFC反压帧时,会诱发网络死锁(PFC DeadLock),严重时会<span style="color: black;">引起</span><span style="color: black;">全部</span>网络阻塞。ECN毕竟依靠降速发送来实现,会降低通信带宽,对GPU利用率产生<span style="color: black;">很强</span>影响,<span style="color: black;">从而</span>拉低<span style="color: black;">全部</span>网络的算力。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">同期</span>数据中心网络中<span style="color: black;">一般</span><span style="color: black;">运用</span>的ECMP(等价多路径)路由策略<span style="color: black;">亦</span>不是最理想的负载<span style="color: black;">平衡</span><span style="color: black;">方法</span>,其将数据流分发到多条路径上并行转发到同一目的地<span style="color: black;">位置</span>,以充分利用网络中<span style="color: black;">海量</span>冗余路径,实现流量<span style="color: black;">平衡</span>分配和链路备份,但<span style="color: black;">针对</span>多条大象流(字节数大的数据流)可能会<span style="color: black;">导致</span>Hash路径上的数据流碰撞,从而<span style="color: black;">引起</span><span style="color: black;">有些</span>ECMP成员链路拥塞,而另<span style="color: black;">有些</span>链路相对空闲的<span style="color: black;">状况</span>。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">对此,海外有部分互联网<span style="color: black;">机构</span>寄<span style="color: black;">期盼</span>于利用采用DNX芯片支持VOQ技术的框式交换机来<span style="color: black;">处理</span>负载不<span style="color: black;">平衡</span>带来的带宽利用率低的问题。但问题又来了,传统框式交换设备将接口板卡、交换板卡、<span style="color: black;">掌控</span>引擎等软硬件集成于一个<span style="color: black;">理学</span>机框中,插槽、端口数量受限于机框<span style="color: black;">体积</span>,<span style="color: black;">引起</span>转发容量有限,<span style="color: black;">倘若</span>想做更大规模的集群,需横向扩展多个机框,不仅存在扩容成本高、运维成本高等挑战,<span style="color: black;">况且</span>会产生多级PFC和ECMP链路。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">锐捷网络率先推出“智速DDC”高性能网络<span style="color: black;">方法</span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">面对以上挑战,锐捷网络推出了业界领先的“智速DDC”高性能网络<span style="color: black;">方法</span>,并计划于今年推出两款可交付<span style="color: black;">制品</span>,分别是400G NCP交换机和200G NCF交换机,为AIGC打通“任督二脉”。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQtfd3AJnu7TUMHoyPKTodezO3KoQzT8sacfmcafEdTqsj6eFfG2kJOuA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">锐捷网络NCP和NCF<span style="color: black;">制品</span></span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">DDC(Distributed Disaggregated Chassis,分布式分散式机箱)是一种分布式解耦机框设备的<span style="color: black;">处理</span><span style="color: black;">方法</span>,它将传统软硬一体的框式设备的组件进行拆解,以NCP替代传统框式设备的线卡板,以NCF替代交换网板,并<span style="color: black;">经过</span>光纤互联替代原先两者之间的连接器组件;传统框式设备的<span style="color: black;">掌控</span>管理引擎<span style="color: black;">亦</span>独立出来,<span style="color: black;">能够</span>以软件化的方式灵活<span style="color: black;">安排</span>于任何一台标准服务器或多台服务器,能有效节省<span style="color: black;">安排</span>成本,<span style="color: black;">提高</span>系统冗余性和<span style="color: black;">靠谱</span>性。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQtdIjIwgfkstg9mGNVAdaZxBSnY2J2cA4ax6E5AZ8EgV9WicQY47l1aOA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">DDC<span style="color: black;">制品</span>连接方式示意图</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">DDC<span style="color: black;">方法</span>突破了传统框式设备的资源限制,让大规模组网化繁为简,不仅<span style="color: black;">拥有</span>扩展弹性、扩容升级快、单机功耗低、运维管理效率高等特点,可灵活支持AI集群大规模<span style="color: black;">安排</span>,<span style="color: black;">况且</span><span style="color: black;">拥有</span>集群路由设计简单、数据转发方式更优化等<span style="color: black;">优良</span>,能有效<span style="color: black;">提高</span>网络通信性能。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">在支持AI集群超大规模<span style="color: black;">安排</span>方面,在单POD组网中,采用96台NCP<span style="color: black;">做为</span>接入,其中NCP下行共18个400G接口,负责连接AI计算集群的网卡。上行共40个200G接口最大<span style="color: black;">能够</span>连接40台NCF,NCF<span style="color: black;">供给</span>96个200G接口,该规模上下行带宽为超速比1.1:1。<span style="color: black;">全部</span>POD可支撑1728个400G网络接口,<span style="color: black;">根据</span>一台服务器配8块GPU来计算,可支撑216台AI计算服务器。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQtU7CRHjGiaUBCVr6ZQP2eqibUBg5hRgdeVeCOyaIcVKErIAtJEg5BBKow/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">单POD组网架构图</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">在多级POD组网中,<span style="color: black;">能够</span>实现基于POD的按需建设。<span style="color: black;">思虑</span>该场景POD中NCF设备要牺牲一半的SerDes用于连接第二级的NCF,单POD采用48台NCP<span style="color: black;">做为</span>接入,下行共18个400G接口,单POD内<span style="color: black;">能够</span>支撑864个400G接口。<span style="color: black;">经过</span>横向<span style="color: black;">增多</span>POD实现规模扩容,整体最大可支撑6912个400G网络端口。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQt2P6Mla5FKmh4ndmoeia2FFeDYDRwJvscgfdVMWkzCzQN0agf2MXNbsQ/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">多级POD组网架构图</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">NCP上行40个200G接POD内40台NCF,POD内NCF采用48个200G接口下行,48个200G接口分为12个一组上行到第二级的NCF。第二级NCF采用40个平面,<span style="color: black;">每一个</span>平面4台的设计,分别对应在POD内的40台NCF。<span style="color: black;">全部</span>网络的POD内实现了超速比1.1:1,而在POD和二级NCF之间实现了1:1的收敛比。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">在网络通信性能<span style="color: black;">提高</span>方面,DDC基于VOQ+Cell机制,<span style="color: black;">首要</span>在发送端将从网络中接收的数据包<span style="color: black;">归类</span>到VOQs中存储,在发送数据之间会先<span style="color: black;">经过</span>Credit申请询问接收端<span style="color: black;">是不是</span>有足够的缓存空间,<span style="color: black;">倘若</span><span style="color: black;">无</span>就先在发送端的VOQ中暂存,<span style="color: black;">倘若</span>有则将数据包分割成等<span style="color: black;">体积</span>的、更细粒度的Cells,并<span style="color: black;">按照</span>reachability table中cell destination的<span style="color: black;">查找</span>和采用轮询机制,均匀地在<span style="color: black;">区别</span>链路上将Cells转发到接收端进行重组和存储,再将数据包转发到网络中。从技术实现原理可见,VoQ+Cell机制实现了端到端流量调度,可充分利用缓存大幅减少丢包,且<span style="color: black;">处理</span>了ECMP策略下流量负载不<span style="color: black;">平衡</span>的问题,能有效<span style="color: black;">提高</span>宽带利用率。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_png/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQtp1RK4CFN90srohwicBs8NrYkxaicW8Hv37Ebm4LUeSTlN9O3UPmzZDGA/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"><span style="color: black;">VOQ+Cell机制下的数据转发流程</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">同期</span>,在DDC架构下,所有NCP和NCF<span style="color: black;">能够</span>看成一台设备,<span style="color: black;">全部</span>DDC集群内仅需单<span style="color: black;">转</span>发,路由设计极其简单,不仅可大幅<span style="color: black;">提高</span>路由收敛速度,易于运维管理,<span style="color: black;">况且</span>不会像传统网络那样产生多级PFC的压制与死锁。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><img src="https://mmbiz.qpic.cn/mmbiz_jpg/rnZ1Zc6paJd3hwUa2ibJEam4kW2YaTMQt54R7qWdSLibOzabb2SssBGSG80ZHdcibRVPOFChNKh4JsbdYZicicKiafbg/640?wx_fmt=jpeg&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1" style="width: 50%; margin-bottom: 20px;"></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;"><span style="color: black;">运用</span>OpenMPI测试套件对框式设备(框式设备和DDC原理相同,<span style="color: black;">这次</span>采用框式测试)和传统组网设备进行对比模拟测试,结果<span style="color: black;">表示</span>,在All-to-All场景下,相较于传统组网,框式设备带宽利用率<span style="color: black;">提高</span>约20%(对应GPU利用率<span style="color: black;">提高</span>8%<span style="color: black;">上下</span>)。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">后记</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">面对业务负载激增,更具扩展性、更易运维管理、更具成本效益的分布式解耦机框<span style="color: black;">方法</span>已<span style="color: black;">作为</span><span style="color: black;">全世界</span>各大网络设备厂商、运营商和<span style="color: black;">科研</span><span style="color: black;">公司</span><span style="color: black;">一起</span>积极探索的技术。但<span style="color: black;">始终</span><span style="color: black;">败兴</span>,能推出可交付<span style="color: black;">制品</span>的厂商在<span style="color: black;">全世界</span>范围内寥寥无几。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">究其<span style="color: black;">原由</span>,其<span style="color: black;">背面</span>有较多的技术挑战需要攻关。<span style="color: black;">例如</span>,虽然DDC架构由多台NCP、NCF和NCC设备<span style="color: black;">构成</span>,但<span style="color: black;">规律</span>上还是一台设备,<span style="color: black;">需求</span>原先基于一台<span style="color: black;">理学</span>设备配置的所有<span style="color: black;">位置</span>表项、端口等在分布式架构中依然能保持<span style="color: black;">独一</span>性和一致性,这需突破软件设计层面的挑战。再<span style="color: black;">例如</span>,传统一体化框式设备的接口板和交换板组件连接于单一背板,<span style="color: black;">经过</span>高速连接器互联,<span style="color: black;">理学</span>距离短,时延低;而采用DDC架构后,两者被拆解为<span style="color: black;">经过</span>光纤线缆拉远连接的NCP和NCF盒式设备,<span style="color: black;">理学</span>距离更远,且引入信元级交换后对时延<span style="color: black;">需求</span>更高,<span style="color: black;">因此呢</span>,<span style="color: black;">怎样</span>保持低时延交换能力<span style="color: black;">一样</span>是一大挑战。</span></p>
<p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">锐捷网络今年能率先推出完整的可交付“智能DDC”<span style="color: black;">制品</span>,无疑折射出其在网络设备<span style="color: black;">行业</span>的深厚实力,更重要的是,此举<span style="color: black;">亦</span>给行业带来积极的带头示范<span style="color: black;">道理</span>,有望推动业界加速探索和<span style="color: black;">研发</span>更高品质、更高<span style="color: black;">靠谱</span>性的计算网络<span style="color: black;">方法</span>和<span style="color: black;">制品</span>,<span style="color: black;">连续</span>为AIGC飞速发展打下坚实的基石。</span></p><strong style="color: blue;"><span style="color: black;">网优雇佣军投稿邮箱:wywd11@126.com</span></strong><span style="color: black;">长按二维码关注</span><img src="https://mmbiz.qpic.cn/mmbiz/rnZ1Zc6paJcMcpH6lC37a7ETOM2U3pg9icWHYaEM8gaLFygRxf7SL6fzPVnAuqibVu5yqu8JB1srEhIZZsoFyuzw/640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1&wx_co=1&tp=webp" style="width: 50%; margin-bottom: 20px;"><strong style="color: blue;"><span style="color: black;">通信路上,<span style="color: black;">一块</span>走!</span></strong>
外链发布论坛学习网络优化SEO。 外贸论坛是我们的,责任是我们的,荣誉是我们的,成就是我们的,辉煌是我们的。 太棒了、厉害、为你打call、点赞、非常精彩等。
页:
[1]