40G以太网在航电系统中的应用初探.pdf

26-30.D01:10.121XAVIONICSTECHNOLOGYVol.54 No.2第54卷第2 期航空电子技术June.220232023年0 6 月40G以太网在航电系统中的应用初探朱启昌，王荣阳，陈东昊，梁晨，曲国远，朱国亮（中国航空无线电电子研究所，上海2 0 0 2 41）摘要随着飞机整体性能的提升，航电系统的发展日新月异，对总线网络提出了越来越高的要求。基于远端内存直接访问技术传输机制的以太网以其高带宽、低延时以及生态开放性的特点，在航电系统总线中逐渐得到推广。本文介绍了航电总线网络的发展，对典型的航电总线进行了对比分析，开展了10 G/40GE交换工程样机的研制和测试工作，为下一代航电系统总线网络的选型提供了参考。【关键词】航电系统；以太网；远端内存直接访问技术；开放生态；40 G【中图分类号TP336文献标识码A文章编号10 0 6-141X(2023)02-0026-05A Preliminary Study on the Application of 40G Ethernet in Avionics SystemZHU Qi-chang,WANG Rong-yang,CHEN Hao,LIANG Chen,QU Guo-yuan,ZHU Guo-liang(China National Aeronautical Radio Electronics Research Institute,Shanghai 200241,China)Abstract:With the improvement of the overall performance of the aircraft and the rapid development of the avionicssystem,higher and higher requirements are placed on bus network.Ethernet based on the RDMA(Remote Direct Mem-ory Access)transmission mechanism has been gradually promoted in the avionics system bus due to its high bandwidth,low latency and ecological openness.The development of avionics bus network is introduced;comparison and analysisare made between typical avionics buses,and 10G/40GE switching engineering prototypes are developed and tested,providing a reference for the selection of next-generation avionics system bus networks.Key words:avionics system;ethernet;RDMA;open ecology;40G随着航电系统、传感器技术的发展，未来飞机航电系统呈现出智能化、网络化、传感器综合化、数字化的发展趋势。这对航电系统的计算、网络、存储、显控等子系统提出更高的要求。其中，机载总线网络担负着数据可靠、快速收发的功能，是航电系统实现性能发挥的关键，对其传输带宽和延时等性能指标的要求也在日益提升。航电系统内总线分为板内、板间、设备间总线，带宽较高的协议主要有VME、PC I、PC I e、FC、SRIO等几类，其中VME、PCI、PCI e 多用于板间、板内互连，FC、SR IO 多用于设备间互连。近年来，机载传感器数字化程度不断提高，有源相控阵、电侦中频数据传输带宽已高达数十至上百Gbits/s，且随着机载产品快速升级、短交付周期、敏捷开发、可重用性等需求的提出，国外开放式架构标准如SOSA、O M S、H O ST 得到推广，具有开放生态的以太网总线逐渐得到应用。收稿日期：2 0 2 2-0 6-10引用格式：朱启昌，王荣阳，陈昊，梁晨，曲国远，朱国亮.40 G以太网在航电系统中的应用初探.航空电子技术,2 0 2 3,54(2)27第2 期朱启昌，等：40 G以太网在航电系统中的应用初探传统以太网协议数据收发时，需要CPU把数据包从用户空间拷贝到内核空间，CPU全程参与数据包组装和解析，数据在系统内存、计算机缓存以及网络控制器缓存之间进行复制移动，占用大量的计算资源和内存总线带宽，给CPU、内存和操作系统造成了很大负担。而基于RDMA协议的以太网传输技术是一种智能网卡与软件架构优化后的远端内存直接高速访问技术，通过将协议固化在硬件上以及支持内存零拷贝、操作系统内核旁路的方法达到高效数据直接存取的目的。远端内存直接访问技术(RDMA：R e mo t e D i r e c t M e mo r y A c c e s s）以太网总线高带宽低延时以及基于开放式架构生态构建的特点无疑对于机载航电总线的发展提供了新的解决方案。本文对基于RDMA机制的以太网总线与其它航电系统机载内总线进行了对比分析，首次开展了10G/40GE交换工程样机的研制和测试工作，为高速以太网总线网络在航电系统中的应用提供基础。1发展现状早期航电系统板内、板间总线曾采用VME和PCI总线，因其带宽和生态原因，在当前新研的航电系统设备中已经很少使用。如今，航电系统机载内总线以PCIe、FC、SR IO 为主。自1992 年发布第一代PCIe总线协议规范以来，PCIe总线已经历了六代发展。最新发布的PCIeGen6.0规范单Lane数据速率已提升到6 4.0 Gbits/s，但在实际产品应用中，受限于芯片和多级转接互联，目前PCIe总线的单Lane速率基本在8.0 Gbits/s。光纤通道（FC：Fi b e r Ch a n n e l）总线是由美国标准化委员会X3T11小组于198 8 年提出的高速串行传输总线，能够提供稳定可靠的设备间光纤互连，可用于构建大型的数据传输和通信网络。目前FC总线带宽在国产化条件下已达到8 Gbits/s带宽。SRIO是由Motorola和Mercury等公司提出的一种开放式互联技术标准，于2 0 0 1年发布第一代技术规范。SRIO主要应用于嵌入式系统内部互连，支持芯片间、板间通讯，目前已发布的最新SRIO技术规范是第四代。国产DSP器件内部大多集成了SRIO2.x，带宽低于10 Gbps，且大多通用处理器内部暂未集成SRIO控制器，使得SRIO的总线的应用受到了一定的限制。近年来，在数据中心、超算中心等高带宽、高吞吐量场合，RDMARoCEv2总线协议得到大量应用。它是建立在以太网UDP协议之上的一种远程数据直接存取协议，允许主节点直接存取访问其它节点的内存数据，数据存取过程中不需要CPU参与，操作系统在这个过程中也处于旁路状态，可以将数据从一个系统快速移动到远程系统的内存中，极大减小了CPU的负荷，提高了网络吞吐量，降低了网络延时2 。国外较早研究RDMA以太网传输技术的是Mellanox公司（后被NVIDIA收购），其推出的RDMA交换机和终端网卡产品已经从最初的单端口10Gbits/s发展到40 0 Gbits/s的传输速率。Marvell、Intel、Cr i t i c a l I O 等公司也都在开展RDMA以太网传输技术的研究，并有相关的产品推出。美国主要的军工产品供应商如CurtissWright、M e r c u r y、Abaco等公司的最新嵌入式超算平台执行国防部开放式架构设计方法，陆续推出了支持RDMA以太网传输的10 G/40G/100GE总线互联的产品3。国内厂家在此领域的研究起步较晚，终端方面中科驭数、无锡沐创、益思芯，交换机方面盛科网络、楠菲微等公司在开展相关技术研究，并推出了相关产品。2总线对比分析本节主要对设备间互连总线：FC、SR I O 以及以太网RDMA总线的协议分层结构、协议开销、拓扑结构、寻址方式、链路宽度、数据速率、传输时延、应用场景等方面进行对比分析，如表1所示。从协议分层结构来看，FC和RDMA以太网总线分别是四层、五层总线协议结构，SRIO是三层总线协议结构，以太网RDMA总线采用的协议分层结构较为复杂，相应的帧封装开销以及物理层的编解码开销相对于SRIO较高4。FC、SR I O 和RDMA以太网都支持树形、星型、环形等多种拓扑结构，组网方式都较为灵活。寻址方式方面，FC、SR I O和RDMA以太网本质上都是采用基于ID的寻址方式，寻址空间扩展性强。FC总线的链路宽度支持单Lane传输，SRIO总线和RDMA以太网总线的链路宽度支持1Lane到4Lane。从数据速率来看，FC总线协议理论支持的最高速率到16 Gbits/s，但目前国282023年航空电子技术表1总线对比分析表特性FC总线SRIO总线RDMA以太网协议分层结构四层三层五层协议开销高低高拓扑结构灵活灵活灵活寻址方式基于ID基于ID基于ID链路宽度1 Lane1-4 Lane1-4 Lane数据速率1G-16G2.5G-12.5G10G-100G(bits/s)传输时延高较低低低，主要在航空使用，需高，兼容标准以太网设备，开开放性较低，局限于DSP生态要专门接口板放生态基于国产FPGA器件、专用硬成本基于国产FPGA器件基于国产FPGA器件、专用硬件芯片件芯片应用场景设备间芯片间、板间、设备间互连等板间、设备间互连等内应用的FC最高到8 Gbits/s，传输延时在ms级。SRIO总线的速率从最初2.5Gbits/s（部分芯片也支持1.2 5Gbits/s)发展到12.5Gbits/s，在实际应用中一般在6.2 5Gbits/s及以下，传输延时能够达到s至ms级。RDMA以太网的单Lane速率为10-2 5Gbits/s，4La n e 的数据速率为40-10 0 Gbits/s，在大数据包传输时，传输延时在三种总线中最低。在技术生态方面，RDMA以太网具有最高的开放性，符合开放式架构标准，而FC目前大多在机载场景中使用，且需要配备专用的接口卡。SRIO目前以DSP生态为主，而DSP器件自2 0 10 年推出DSP6678以来后续升级处于停滞状态。在应用场景方面，FC总线多用于设备间互连，SRIO总线可用于DSP多芯片互联以及板间、设备间数据收发，RDMA以太网主要用于模块间、大数据量设备间数据收发5。综上，RDMA以太网传输具备高带宽低延时特性，技术生态活力最强，且配合PFC、ECN等流控功能可构建无损网络传输环境，从而实现大数据流的可靠传输，符合机载高带宽数据收发应用场景需求。3工程样机研制与相关测试本文对国内外厂家的芯片进行了调研，对组成40GRDMA以太网互连系统的关键元器件进行了选型，开展了40 GRDMA以太网互联的原理样机的研制和测试工作。本章节介绍40 GRDMA以太网互连系统中的嵌入式超算单元（网络终端节点）和网络交换单元工程样机的研制方案和基本测试结果。3.1研制方案40GRDMA以太网互连系统由嵌入式超算单元和网络交换单元组成，如图1所示。网络交换单元40GE40GE40GE40GE40GE40GE电源模块12V网络交换模块SF9564V+FT2000/440GE40GE40GE40GE40GE40GE40GE40GE40GE12V网络终端模块12V网络终端模块MellanoxCX5MellanoxCX5PCleX16PCleX16电源模块电源模块串口一串口一网口一网口D2000D2000-USB-USB-其它12V离散量12V离散量一单元PCleX8PCleX8GPUGPUDPDPXMC子卡XMC子卡通用处理模块通用处理模块图140 GRDMA以太网互连系统框图29朱启昌，等：40 G以太网在航电统中的应用初探第2 期（1）嵌入式超算