基于千兆网的时间确定性网络设计_曹庆年.pdf

网络通信与安全本栏目责任编辑：代影Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）基于千兆网的时间确定性网络设计曹庆年1，郑博1，孟开元1，穆伟2(1.西安石油大学，陕西 西安 710000；2.西安翔腾微电子科技有限公司，陕西 西安 710000)摘要：如今激增的数据业务带来了大量的拥塞崩溃、数据分组延迟、远程传输抖动。传统的网络只能将时延减少到几十毫秒，但是专用总线逐渐被以太网替代在工业、医疗、航空等领域，需要将抖动控制在微妙级。因此，文章设计提出了一种高实时性、低延迟、高可靠性的时间确定性网络。在RGMII接口的千兆以太网MAC帧基础上，增加了两个新的数据帧格式，可以指示当前网络中节点的上线状态，各节点能够在预定义的时隙进行数据的收发。测试结果表明，数据在传输时可以满足高并发的网络要求。关键词：确定性网络；RGMII接口；千兆以太网；MAC帧；节点；高并发中图分类号：TN393文献标识码：A文章编号：1009-3044(2023)04-0089-04开放科学（资源服务）标识码(OSID)：1 引言在航空航天、工业控制、自动驾驶、远程医疗等对网络实时性要求比较苛刻的通信领域，需要将端到端的时延控制在微妙级，可靠性控制在接近百分之百。而传统的网络采用事件触发的方式，端系统采用竞争访问的方式，使得网络的实时性和确定性较差1。确定性网络在现有网络基础设施上，借助SDN、节点控制与转发扩展等技术机制，提供确定性网络服务，与现有网络其他业务和设施兼容，可对5G场景下超低时延、超可靠连接场景提供有效的支撑2。早前，维也纳技术大学便提出时间触发以太网(TTE)技术，旨在改变传统以太网基于事件触发的传输模式。该技术是局域网首个时间确定性网络组网技术，主要通过调度业务的传输时刻，保障业务的时延3。文献4研究时间的分区技术，可以提高IMA体系网络的带宽利用率。文献5在OPNET网络仿真的基础上，采用网络演算理论，分析了TTE网络的性能。本设计采用了多节点收发的功能，将全部节点分为1个时钟同步主端(MC)节点和多个时钟同步从端(RN)节点。在消息发送的时候，MC节点可以向其他节点提供系统标准时间，RN节点将本节点的时间同步至系统时间，实现多设备之间数据的可靠传输，更适合千兆以太网等高速传输场合。2 总体设计方案2.1 系统结构设计该设计包括一路2.5G、4LANE的PCIe接口、一路RGMII接口的1000MHZ以太网MAC接口，在发送端支持至多可配置的 64 条控制/状态消息和 8 条流消息、接收端支持可配置的64条控制/状态消息和8条流消息。外围接口电路包括PCIe接口、以太网MAC接口；内部模块包括DMA模块、发送控制模块、接收控制模块、寄存器模块、通道配置寄存器组模块。PCIe空间包括BAR0、BAR1、BAR2三个空间，BAR0用于PCIe内部的寄存器，BAR1和BAR2基地址可配置，系统结构设计如图1所示。图1系统结构设计图主要功能特性：(1)支持一路2.5Gbps 4Lane的PCIe2.0主机接口；(2)具有一路RGMII 接口的千兆以太网MAC 接口，支持与RGMII接口的千兆以太网PHY芯片通信；(3)支持通过配置表实现数据收发管理，配置表收稿日期：2022-11-02作者简介：曹庆年(1963)，男，山东济南人，教授，硕士，主要研究方向为计算机通信与控制；郑博(1999)，就读于西安石油大学，硕士；孟开元(1968)，副教授，硕士；穆伟(1997)，工程师，学士。E-mail：http：/Tel：+86-551-65690963 65690964ISSN 1009-3044Computer Knowledge and Technology电脑知识与技术Vol.19,No.4,February202389DOI:10.14004/ki.ckt.2023.0218本栏目责任编辑：代影网络通信与安全Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）存储在主机FLASH，上电后由主机写入芯片;(4)支持两种数据帧格式，包括64路控制/状态消息（数据包长度至多128字节）和8路流消息（数据包负载长度至多1416字节）；(5)提供DMA寄存器，供主机填写存储流消息的主机地址、长度和启动三个参数，主机填写启动后电路自动将数据负载搬运至主机指定内存地址；(6)支持以太网数据包接收过滤功能，主机可设定过滤的消息ID，芯片将自动对接收到的以太网数据包按照消息ID进行过滤；(7)发送和接收的以太网数据包均支持单播、多播、广播。2.2 数据包格式2.2.1 MAC封装1)MAC地址的目的地址如表1所示。表1目的MAC地址0单/多播1MAC常量2345节点ID/多播分组其中相关定义如下：(1)单/多播：选择单播时填入0 x00，多播时填入0 x01;(2)MAC常量填入当前节点的MAC常量;(3)节点ID/多播分组：选择单播时填入目的节点的ID，选择多播时填入目的节点的多播分组。2)MAC地址的源地址如表2所示。表2源MAC地址序 号定 义00 x001MAC常量2345本节点ID其中相关定义如下：(1)节点ID：填入本节点的节点ID；(2)MAC常量填入当前节点的MAC常量。2.2.2 STOF（传输起始包）帧格式表3STOF帧格式字节数定 义60 xffffffffffff6MC 地址20 x002E1帧类型4节点状态41填充字段4FCS其中相关定义如下：(1)目 的 地 址 使 用 的 地 址 是 广 播 地 址，为0XFFFFFFFFFFFF;(2)源地址为MC节点的MAC地址；(3)长度/类型字段填充长度为0X002E(ETH数据包最小包长度），实际有效数据长度为5个字节；(4)帧类型填充0 x01，指示为STOF帧；(5)4个字节的节点状态指示当前网络中节点上线状态;(6)填充字段使用0 x00。2.2.3 SNM（系统网络管理包）帧格式表4SNM帧格式字节数定 义6MC地址6RN地址20 x002E1帧类型0 x021节点ID44填充字段4FCS其中相关定义如下：(1)目的地址使用MC节点的MAC地址；(2)源地址使用RN节点的MAC地址；(3)长度/类型字段填充长度为0 x002E(ETH数据包最小包长度），实际有效数据长度为2个字节；(4)帧类型填充0 x02，指示为SNM帧；(5)节点ID填充RN分配的节点ID号；(6)填充字段使用0 x00。2.3 数据流程2.3.1 数据包发送流程数据包发送流程如下所示：(1)上层软件上线后配置设备ID寄存器、MAC地址常量定义寄存器、节点状态发送偏移寄存器、状态/控制消息发送通道偏移寄存器、流消息发送通道偏移寄存器、流消息发送通道数据存储地址寄存器；(2)上层软件配置设备工作模式寄存器为正常工作模式，系统上线；发送控制/状态消息参见第(3)步，发送流消息参见第(4)步；(3)上层软件配置状态/控制通道发送缓冲区，填入数据包PAYLOAD（负载），之后填写状态/控制消息发送通道缓冲占用标志寄存器，填入PAYLOAD存放位置，之后填写状态/控制消息发送通道配置寄存器，填入数据包关键参数，之后读取状态/控制消息发送通道配置寄存器VLD（有效）位，直到此位段位0；(4)上层软件在主机软件可读可写区域填入数据包PAYLOAD，之后填写流消息发送通道数据存储地址寄存器，填入PAYLOAD存放位置，之后填写流消息发送通道配置寄存器，填入数据包关键参数，之后流消息读取发送通道配置寄存器VLD位，直到此位段位0。2.3.2 数据包接收流程数据包发送流程如下所示：(1)上层软件上线后配置设备ID寄存器、MAC地址常量定义寄存器、节点状态发送偏移寄存器、状态/控制消息发送通道偏移寄存器、流消息发送通道偏移寄存器、流消息发送通道数据存储地址寄存器中断屏蔽寄存器；(2)上层软件配置设备工作模式寄存器为正常工作模式，系统上线；(3)上层软件等待中断，当收到中断时，首先配置中断使能寄存器为0，之后读接收消息信息FIFO状态90网络通信与安全本栏目责任编辑：代影Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）寄存器；(4)读接收消息信息FIFO，判断当前接收包类型、消息号、长度等参数，若当前数据包类型为控制状态消息，参见第(5)步，否则，参见第(6)步；(5)根据消息号和长度读相应状态/控制通道接收缓冲区；(6)根据消息号和长度读流消息接收通道数据存储地址寄存器，根据读得的数据读主机内存相应地址；(7)写中断状态寄存器REV_MSG位段为1，清除中断。2.4 硬件电路设计该设计采用Zynq-7000 MZ7035FA开发板作为控制芯片，用户可以基于核心板设计功能底板，降低项目底板设计难度和生产成本，加速项目开发。具有多个高性能接口，4路PCIE2.0接口，3路千兆网口，4路DDR接口，可以充分满足该设计的需求。2.4.1 RGMII接口电路RGMII 时钟频率为125MHZ，TXD/RXD（发送/接收）数据宽度为4位。该接口为了保持1000Mbps的传输速率不变，在时钟的上升沿和下降沿都采样数据。发送方向，时钟通过 1 个 DCM 和 4 个 BUFG 驱动相位为 0、90、180、270 的 4 种 时钟。接收方向，线路时钟通过 1 个 DCM 和 2 个 BUFG 恢复相位为 0和180的 2 种时钟6。RGMII以太网芯片集成在核心模块上，将发送控制模块发送的数据整理后转换时序送至千兆以太网MAC模块。如图2为RGMII接口电路时序。图2RGMII接口电路2.4.2 PCIE接口电路PCIe2.0 是全双工串行总线，在物理层使用 8B/10B 编码7，PCIe2.0 x 1 的带宽=(5Gb/s x 2（双向通道）)/10bit=1GB/s。PCIe连接可以通过增加通道数扩展带宽，通道越多，速度越快，在该设计中最多使用4通道。各设备之间，数据传输都是以Packet形式进行的。数据从一组信号线上发送，在另一组信号上接收。设备的各个端口使用差动驱动器和接收器，采用差分对进行收发。在本文中，主机通过PCIe总线从接口访问内部的地址空间包括各个寄存器、发送缓冲区、接收缓冲区。事务层根据上层（软件层或者应用层）请求的类型、目的地址和其他相关属性，把这些请求打包，产生TLP。然后这些TLP往下，经历数据链路层、物理层，最终到达目标设备8。PCIe接口电路的AC耦合电容要求靠近发送端放置，取值范围在 75200nf；差分线阻抗要求为：68105R，一般按照100R10%设计；差分数据信号线尽量做到等长，长度差控制在 10mil 以内。如图 3 为PCIE接口电路。图3PCIe接口电路2.5 实验结果为了验证具体的设计功能，需要搭建自动化仿真验证平台，从而进行功能仿真。在 VNC 下使用 Cadence NC Simvision15.1仿真验证工具9，如图4为仿真验证结构。图4仿真验证结构(1)注入激励用于驱动主机模型；(2)主机模型驱动PCIe主设备模型和ETH主设备模型；91本栏目责任编辑：代影网络通信与安全Computer Knowledge and Technology电脑知识与技术第19卷第4期(2023年2月）第19卷第4期(2023年2月）(3)PCIe主设备模型用于向待测模块发送寄存器读写请求和MEM（存储器）读写请求；(4)ETH主设备模型用于发送和接收以太网接口的数据包。2.5.1 以太网发送数据包仿真仿真步骤如下：(1)主机通过PCIe向以太网发送DATA发送STOF数据包，并对参数进行配置，DATA_LENGTH（数据长度）分别为32 h00000010，32 h00000014，32 h00000100，3