​
在传统存储阵列中使用基于RoCE的RDMA技术，相比PCIE/SAS链路，具备更高可靠和更低通信时延。基于PCIE的DMA链路和RoCE链路的IO交互过程对比。
数据传递包含三个阶段：启动控制命令，传递传输到对端，以及对端接收数据进行验证并回响应消息。
在PCIe通信模型下为双边通信模型，即数据从控制器A发送到控制器B以后，控制器A的CPU还需要通过控制流通知控制器B数据已送达（触发控制器B的中断），控制器B调用中断处理过程，对消息进行校验并回响应消息。
PCIe 和 RoCE 交互过程对比
对于RoCE链路采用单边通信模型（华为企业存储为例），即当数据发送成功后，控制器A无需通知控制器B数据已经送达，控制器B会轮询并处理达到的数据，并回响应。因此RoCE相比PCIE就减少了通知数据已经到达的过程，减少了交互次数，时延更低，带宽更高。
RDMA全互联设计在连接距离、扩展灵活性、共享访问上还产生额外收益，下表是PCIE、RoCE以及SAS通道比较。
NVMe是一种抽象协议层，提供可靠的NVMe命令和数据传输。为了支持数据中心的网络存储，通过NVMe over Fabric可以实现NVMe标准在多种网络上的扩展，达到降低存储网络协议栈处理开销并提供高并发低延时的目的，适应SSD介质驱动的存储架构演进。
NVMe over Fabric支持把NVMe命令和数据映射到多个Fabric传输链路，主要包括FC、Infiniband、RoCE v2、iWARP和TCP。持端到端的NVMe，包括：
  • 存储与主机网络支持FC-NVMe（NVMe over FC），NVMe over RoCE v2，后续将扩展到NVMe over TCP/IP。
  • 更高的接口速率，支持32Gbps FC-NVMe和25Gb NVMe over RoCE、100GbNVMe over RoCE。
  • iSCSI连接TCP/IP协议栈卸载技术，减少CPU消耗以及降低网络协议栈时延。
  • 为多核定制设计的NVMe多队列轮询，免锁处理多并发I/O，处理器算力发挥更彻底。
  • 针对NVMe SSD访问而设计，对下盘请求提高读优先级调度，减少在写SSD盘的时候，对主机读请求的访问阻塞时长，使得更快响应。
  • 采用端到端NVMe设计的系统最低访问时延降低至100us以内，相比上一代降幅达50%。
华为存储系统支持从主机、前端网络到存储系统，包括存储系统后端的磁盘框和SSD，全数据路径支持NVMe协议。
  • 主机OS：支持NVMe协议的操作系统，SUSE，RetHat等主流操作系统。
  • 主机网卡：FC-HBA卡，RoCE卡，安装NVMe网卡驱动。
  • SAN Fabric：FC Switch ，DCB ETH Switch，对NVMe协议透明。
  • 存储阵列：企业存储，FC-NVMe接口卡，NVME over RoCE接口卡；
  • 硬盘框：智能NVMe硬盘框，NVMe SSD。
对于FC-NVMe应用，基于现有数据中心FC SAN的组网和交换机配置等基础设施，在主机FC HBA卡上安装NVMe驱动就可以支持NVMe协议，保护已有投资的同时向NVMe演进。
对于NVMe over RoCE应用，需要基于RoCE网卡和DCB以太网交换机构建，适用于新建数据中心，实现数据中心的服务器集群、前端LAN网络和存储SAN网络的融合和统一，降低TCO。
RoCE网卡和DCB交换机支持基于业务流的拥塞反压控制，组成了无丢包增强以太网，是RDMA和NVME运行的网络基础。
NVMe作为新一代的块存储协议命令集，从后端直连存储向全数据路径的网络连接存储的演进。
SCSI 和 NVMe 协议栈对比
1、NVMe作为SCSI协议一种替代，定义了一套新的块存储协议命令集，使用PCIe作为传输通道，极大的提升了时延和带宽。
2、FC和iSCSI解决了SCSI协议的扩展和拉远问题，同样NVMe over Fabric解决了NVMe的扩展和拉远问题：
1）PCIe NVMe受限PCIe总线地址数，最大支持255个节点，通常只能支持到100个左右的SSD盘。
2）PCIe NVMe只能通过直连方式连接控制器，距离有限。
3、NVMe Over RoCE，基于DCB的无损以太网基础设施，利用RDMA的低时延和低CPU占用率，构建端到端NVMe，并实现数据中心LAN网络和SAN网络融合。DCB是数据中心以太网标准，支持基于业务流的拥塞控制和反压，实现以太网的无损不丢包。
4、NVMe Over FC，基于现有FC基础设施，快速构建端到端的NVMe。
下载链接：
《华为Dorado存储技术白皮书合集》
1、华为Dorado高端存储系统技术白皮书 
2、华为Dorado低中端技术白皮书
2023年计算机SSD固态硬盘词条报告
企业级SSD技术和行业发展（汇总）
1、面向当下与未来的高端企业级SSD.pdf 
2、2021年中国企业级SSD行业发展洞察.pdf 
3、图解数据中心PCIe总线和NVMe SSD测试.pdf 
4、SSD与HDD混合RAID解决方案.pdf
《中国企业级SSD行业技术合集》
1、中国企业有机会在3D NAND Flash领域实现弯道超.pdf
2、企业级SSD：三大替代构筑行业高增长，国产替代空间广阔.pdf
3、企业级SSD接口比较.pdf 
4、消费级闪存指南.pdf 
5、中国存储器芯片行业概览.pdf 
6、中国企业级SSD行业发展洞察.pdf
《SSD技术白皮书系列》
1、Oracle 1.6TB NVMe SSD用户指南
2、M2 SSD技术白皮书
3、SSD主控和全闪阵列介绍
4、SSD技术综述
《SSD介质技术》
1、通信存储介质（SSD）加密安全技术要求
2、固态磁盘（SSD）的前世今生
3、基于HDD和SSD混合存储系统研究综述
4、SSD固态存储磁盘常见问题解答
《云存储技术应用合集（上）》
1、第一章：云存储概述 
2、第二章：存储技术基础 
3、第三章：虚拟化技术 
4、第四章：网络存储
《云存储技术应用合集（下）》
1、第五章：文件托管服务 
2、第六章：分布式云存储 
3、第七章：对象存储 
4、第八章：消息队列
超融合2节点部署方案介绍
异构融合计算技术白皮书
超融合数据中心网络
下一代超融合架构白皮书
《48+份超融合技术及报告合集》
《数据中心技术合集》
1、数据中心超融合以太技术白皮书
2、数据中心可持续发展能力要求 
3、数据中心绿色设计白皮书（2023） 
4、新型数据中心高安全技术体系白皮书
中国网络安全产业分析报告（2023年）
《网络信息安全知识合集》
《中国网络安全市场行业报告合集》
1、2023年中国网络安全市场全景图 
2、中国网络安全产业分析报告（2021年） 
3、中国网络安全行业白皮书（2022） 
4、中国网络安全产业白皮书（2022）
《【中国移动】2023年技术白皮书合集》
1、【中国移动】广域微域融合技术白皮书2023 2、【中国移动】智能化宽带网络网关（iBNG）技术白皮书 
3、【中国移动】网络协作通感一体化技术白皮书 
4、【中国移动】算力并网白皮书2023
《ODCC-2023技术白皮书（网络通信）》
《ODCC-2023技术白皮书（存储）》
《ODCC-2023技术白皮书（液冷技术）》
《ODCC-2023数据中心技术白皮书合集》
《2023年用户隐私与数据安全峰会》
本号资料全部上传至知识星球，更多内容请登录全栈云技术知识星球下载全部资料。
‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧  END  ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧
免责申明：本号聚焦相关技术分享，内容观点不代表本号立场，可追溯内容均注明来源，发布文章若存在版权等问题，请留言删除，谢谢。
温馨提示：搜索关注“全栈云技术架构”微信公众号，“扫码”或点击“阅读原文”进入知识星球获取1000+份技术资料。

继续阅读
阅读原文