背景

前几篇文章，我们认识到了 SmartX 公司产品 SMTX ZBS 的一些内容，如iSCSI和NFS的路径、EC与多副本、RDMA等。
其中有提到，ZBS 在存算分离的架构下，提供了2种不同的数据接入协议，iSCSI 和 NMVe-oF 。当然，在接入 Access 之后，元数据管理，ZBS 内部的数据操作没有区别。
那么这篇文章，就介绍一下什么是 NVMe-oF，以及 ZBS 为何要支持 RoCEv2。

什么是 NVMe-oF

简单来说，NVMe-oF 就是在 RDMA 上跑 NVME 流量，提供高性能的工作负载。

ZBS Access

Access 是 ZBS 接收 NFS Client、iSCSI Initiator、NVMF Initiator 的读写请求的组件。它提供统一的标准存储协议接口，负责将不同的存储协议接收并处理成统一的逻辑，交由 ZBS 内部真实存储数据的 Extent 工作。
Access 是内部存储对象（Volume）与外部存储对象（iSCSI LUN / NFS File）的转义的一个工作。

在https://blog.csdn.net/Tassel_YUE/article/details/144427581 这边文章中，详细讲述了基于 iSCSI 的数据接入流程。可以回顾，本文不赘述。
最初的版本，ZBS 仅提供iSCSI和NFS两种接入协议，如今的新版本已经支持 NFS、iSCSI、NVMe-oF、vHost 四种接入协议。

iSCSI 与 iSER

iSCSI 是使用最广泛的最主流的接入方式之一。
但性能层面，iSCSI 的设计原因，导致它的速率不能批能如今极为高超的硬件速率。
iSER 是在 RDMA 之上跑iSCSI，是革新，但基于iSCSI，仍然无法释放性能。
所以 ZBS 选择支持NVMe的 NVMe-oF 作为支持的 RDMA 模式协议。

NMVe-oF 介绍

NVMe

NVMe 是NVM Express 协议规范，定义通过PCIe总线和存储通信。
NVMe 支持65535 个I/O队列，每个队列支持65535条命令（队列深度）。提供了更高的数据吞吐与更低的通信延迟。

NVMe-oF

NVMe-oF 全称是 NVMe over Fabrics。将原本DAS内部的NVMe的效果，放大到了SAN中。

DAS 直接存取网络；SAN 网络附加存储。具体可以自行搜索。

NVMe-oF 定义了使用多种通用的传输层协议来实现 NVMe 远程连接的能力。

NVMe-oF 承载网络（数据平面）

NVMe-oF 的承载网络，实现方法有：FC、RDMA 和 TCP 。
ZBS 选择支持 RDMA/RoCE v2 和 TCP。提供了很好的客户个性需求适配性。

• NVMe over FC：基于传统的 FC 网络（主机总线适配器 HBA 和光纤交换机构建的专有通信网络），与 FC-SAN（SCSI）可以同时运行在同一个 FC 网络中，最大化地复用 FC 网络基础环境，发挥 NVMe 新型协议的优势。常用于传统集中存储的升级改造。
• NVMe over RDMA：通过远程直接内存访问技术，允许客户端程序远程访问存储系统的内存空间进行数据传输。具有数据零拷贝（不涉及网络堆栈执行数据传输）、Kernel Bypass（应用程序可以直接从用户空间执行数据传输，无需内核参与）、减少 CPU 资源消耗（应用程序可以访问远程内存，而无需在远程服务器中消耗任何 CPU Cycle）等特点。

  • InfiniBand - 通过 InfiniBand 网络使用 RDMA，在高性能计算 HPC 领域非常流行，与 FC 相似，需要专有的网络适配器和交换网络支撑。

  • RoCE - 全称 RDMA over Converged Ethernet，即通过以太网实现 RDMA，但需要专门的网卡硬件，目前有两个版本：RoCEv1 不可路由，仅可以在 2 层工作；RoCEv2 使用 UDP/IP，具有 3 层路由能力。
    ZBS 支持的是 RoCEv2。
    

  • iWARP - 构建在 TCP/IP 之上。跟 RoCE 协议继承自 Infiniband 不同，iWARP 本身不是直接从 Infiniband 发展而来的。Infiniband 和 RoCE 协议都是基于 “Infiniband Architecture Specification”，也就是常说的 “IB 规范”。而 iWARP 是自成一派，遵循着一套 IETF 设计的协议标准。虽然遵循着不同的标准，但是 iWARP 的设计思想受到了很多 Infiniband 的影响，并且目前使用同一套编程接口。

• NVMe over TCP：与前两种实现方式不同，该方案无需任何特殊的硬件要求，基于通用标准以太网环境。成本低是该协议的优势，缺点是需要更多的 CPU 资源参与数据处理，受限于 TCP/IP 协议，在数据传输中相对 RDMA 会引入更多的延迟。
  ZBS 也支持 NVMe-oF over TCP。

ZBS 不支持 FC 和 IB，原因是依赖专有网络，与产品定位冲突。不支持 iWARP 是相比于 RoCE 来看，RoCE 的发展前途更好。
不过 RoCE 需要无损网络的环境（不能有丢包PSN和NACK重传）。

ZBS NVMe-oF 实现

ZBS 支持 NVME-oF over RoCEv2 和 NVMe-oF over TCP 两种。

NVMe-oF 协议本身与 iSCSI 协议有很多相似的地方：

• 客户端标识为 initiator 端
• 服务端为 Target 端
• NVMe-oF 协议中使用与 iSCSI IQN 近似的 NQN 来作为协议通讯双方的标识。

同时，NVMe-oF 定义了 Subsystem（子系统，相当于 SCSI 体系下的 Target）和 Namespace（命名空间，类似于 SCSI 体系下的 LUN）专有标准。

相比于 iSCSI 通过 initiator + Target 的数据链路控制，NVMe-oF 可以支持 initiator + Namespace 这样更小的链路控制粒度。NVMe-oF 在路径策略选择上（协议原生支持 Multipath）是通过 ANA（Asymmetric Namespace Access）机制指定 Target 链路优先级，再由客户端结合优先级与自身的链路状态探测结果选择 I/O 具体路径。

ANA 状态包括：Optimized 最优 / Non-Optimized 次优 / Inaccessible 不可达 / Persistent Loss 失去连接 / Change 状态变更

ZBS 会将所有的可用链路设置为 OP（最优链路）和 Non-OP（次优链路）两种状态，其他状态为发生异常或变化时由 Driver 自动标记。对于每个 initiator + Namespace 的组合，仅返回 1 个最优接入点和 2 个次优接入点。在最优接入点可用时，客户端将仅通过最优接入点访问数据，在异常时选择 2 个次优接入点中的一个进行访问（出于简化安全性处理的考虑，部署时会要求客户端配置为 AB 模式，即使 2 个次优接入点是等价的，也不会进入 AA 模式，同时从两个接入点中下发 I/O）。这样既可保持各个接入点的负载基本均衡，同时又尽可能发挥多个接入点的处理能力。

ZBS 接入策略

• 继承策略，同一客户端访问同一 Subsystem 中的所有 Namespace 使用同一接入点。
• 均衡策略，保证同一 Namespace Group 中的 Namespace 尽量使用不同接入点。

ZBS 接入点分配策略

• 在客户端视角，允许利用多个存储接入点的处理能力。
• 在客户端视角，保证不同客户端的公平性，避免占用所有存储接入点的处理能力。
• 在存储接入点视角，保持各个接入点的负载基本均衡，同时又尽可能发挥多个接入点的处理能力。

性能测试

见引用部分 的 第二篇引用内容。

为什么要支持 RoCE

我们都知道，FC SAN 的核心是 FC 交换机。但FC 交换机实际上一家独大，其他厂商大部分均 OEM 该厂商的设备。而针对如今的信创转型需求，对于高性能存储网络传输方案的解决方案就受制约很多。

NVMe-oF over RoCE 的方案，既是基于通用以太网建立的（仅需要网卡是特殊的）、性能又不逊色于 IB。

具体的内容可以参考 引用的 第三篇文章。

引用

SmartX 分布式存储产品组合介绍

基于 SmartX 分布式存储的 iSCSI 与两种 NVMe-oF 技术与性能对比

SAN 交换机“卡脖子”？以 RoCE+软件定义存储同时实现信创转型与架构升级