什么是NoF+，相比NoF有哪些优势？

为什么需要NoF+？

NoF的产生背景

• NVMe over FC协议标准为FC-NVMe，FC-NVMe和FC-SCSI同样都基于FCP，IO交互基于Exchange。FC-NVMe基于传统的FC网络，通过升级主机驱动和交换机支持，FC-SCSI和FC-NVMe能同时运行在同一个FC网络中。FC-NVMe能最大化继承传统的FC网络，复用网络基础设施，基于FC物理网络发挥NVMe新协议的优势。
• NVMe over TCP基于现有的IP网络，采用TCP协议传输NVMe，在网络基础设施不变的情况下实现了端到端NVMe。虽然NVME over TCP网络性能弱于FC和RoCE，但整体性能通过NVMe得到提升，对比iSCSI仍有大幅度的提升。而且NVME over TCP对网络的要求比较低，具有更强大的兼容性，不需要单独建设无损网络，传统以太网即可支持，因此在不追求高性能的情况下，NVMe over TCP将是未来市场的普遍选择。
• NVMe over RoCE是NVMe over RDMA的一种，RDMA是承载NoF的原生网络协议，RDMA协议除了RoCE外还包括IB（InfiniBand）和iWARP（Internet Wide Area RDMA Protocol）。其中，基于以太网的RoCE目前已成为RDMA的主流网络承载方式。NVMe over RDMA协议比较简单，直接把NVMe的IO队列映射到RDMA QP（Queue Pair）连接，通过RDMA SEND，RDMA WRITE，RDMA READ三个语义实现IO交互。NVMe over RoCE基于融合以太网的RDMA技术承载NVMe协议。

1. 网络性能：零丢包
   网络零丢包是存储网络的基本需求，传统以太网络拥塞易丢包。
2. 可靠性：秒级主备切换
   存储为了可靠性，会构建多个网络平面，切换时间需<1s。
3. 易用性：即插即用
   FC存储网络场景单一、配置简单，当前以太网络还需针对存储场景适应性改进。

NoF+与NoF比有哪些优势？

• 网络性能增强：
  华为NoF+方案改变了传统以太网静态水线方式，对网络预测性能力进行专项优化，通过样本计算，针对特定场景，基于独创的iLossless智能无损算法进行精准的控制，从而预判业务对网络的诉求，实时感知网络流量模型，动态调整水线，可实现存储网络高吞吐下的零丢包，进一步提升性能。
• 可靠性增强：
  保障业务系统可靠是存储的根基，比如存储的秒级切换功能就是可靠性的关键保障之一，传统以太网缺乏故障主动发现和通知机制，发生故障时链路切换时间长，造成存储业务中断。华为NoF+方案推出智能感知特性，实现了从事后被动响应到主动通知、提前识别拥塞和故障。当一个节点出现故障，业务会以亚秒级响应速度切换，在高性能运行的前提下，也能维持系统的稳定可靠。
• 易用性增强：
  存储场景下传统以太网需要逐点手工配置，操作复杂且易出错。华为NoF+方案实现存储和交换机的智能联动，支持存储设备的即插即用和一键式扩容。业务变更只需在单点配置，即可自动同步到全网，业务发放效率显著提升，增强了在未来建设时的易用性。

NoF+的网络架构

数据中心集中式存储网络架构图

• 业务网络：是指业务服务器对外提供服务通信网络，该网络与外部网络互连互通。
• 计算网络：是指运行OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）数据库的后台服务计算节点所组成的物理网络，使用不同的网卡连接业务网络和存储网络，实现业务网络和存储网络之间物理隔离，避免相互影响。
• 存储网络：是指计算服务器访问存储数据时使用通信网络，该网络一般是独立的物理网络。为了保证数据高可靠，存储网络支持DC级容灾，支持同城双活存储网络，确保业务系统发生设备故障、甚至单数据中心故障时，业务无感知自动切换，实现RPO（Recovery Point Objective）=0，RTO（Recovery Time Objective）≈0。

DC间同城互联一般组网示意图

NoF+的关键技术

流量控制

1. PFC（Priority-based Flow Control，基于优先级的流量控制）：是目前应用最广泛的流量控制技术。对于PFC控制的队列，当队列在下游设备发生拥塞时，上游设备会停止发送该队列的流量，从而实现报文的零丢包传输。
2. PFC死锁检测：通过对PFC死锁进行全程监控，当死锁检测周期内持续收到PFC反压帧时，设备可以通过不响应反压帧的方式去解除PFC死锁现象。
3. PFC死锁预防：通过识别易造成PFC死锁的业务流，修改队列优先级，改变PFC反压的路径，避免PFC反压帧形成环路，从而预防PFC死锁的发生。

拥塞控制

1. ECN（Explicit Congestion Notification，显式拥塞通知）：是指流量接收端感知到网络上发生拥塞后，通过协议报文通知流量发送端，使得流量发送端降低报文的发送速率，从而从早期避免拥塞而导致的丢包，实现网络性能的最大利用。
2. AI ECN（Artificial Intelligence Explicit Congestion Notification）：是指通过iLossless智能无损算法，根据现网流量模型进行AI训练，以对网络流量变化进行预测，及时推理出最优的ECN门限，并且支持根据现网流量变化实时调整ECN门限，进行无损队列缓存的精确管控，保障整网的最优性能。同时，AI ECN功能与队列调度技术配合使用时，可以实现网络中TCP流量与RoCEv2流量的混合调度，保障RoCEv2流量无损传输的同时实现低时延和高吞吐，让无损业务达到最优性能。
3. NPCC（Network-based Proactive Congestion Control）：是一种以网络设备为核心的主动拥塞控制技术，可以在网络设备上智能识别设备端口的拥塞状态，主动发送CNP（Congestion Notification Packets，拥塞通知报文）报文，准确控制服务器发送RoCEv2报文的速率，既可以确保拥塞时的及时降速，又可以避免拥塞已经缓解时的过度降速，最终确保数据中心互联这种长距场景中RoCEv2业务的低时延和高吞吐。

iNOF