NVMe over TCP：利用标准IP 网络增强SSD 存储

　　在数据中心开始从机械硬盘向固态硬盘（SSD）转换后不久，NVMe 协议就开始支持高性能直接附加的 PCIe SSD。紧随NVMe 之后的是NVMe over Fabrics （NVMe-oF）， 旨在高效地支持超大型远程SSD 池，有效地取代直接附加存储（DAS），进而成为云基础设施中分离式存储的默认协议。

　　最近推出的NVMe over TCP 可提供更强大的 NVMe-oF 技术，能够在降低部署成本和设计复杂度的同时提供更高的性能。本质上， NVMe over TCP 使用简单高效的TCP/IP 结构将NVMe 扩展到了整个数据中心。

　　商业和技术咨询公司 Capgemini North America 的 IT 主管Eric Killinger 说：“能够在高带宽、低延迟的情况下进行通信，在存储阵列之间实现物理隔离，以及添加包含TCP 协议的普通交换网络进行传输，无疑将改变游戏规则。超大型云服务提供商已经采用这项技术以取代已有二三年历史的SSD技术，从而为数据分析和物联网提供了更大的查询访问能力。

　　背景：NVMe 和 NVMe-oF 的出现

　　由NVMe SSD 构建的存储阵列极大地提升了存储速度，但是这些设备仍然通过基于SCSI 的主机连接与服务器进行通信。NVMe-oF 的部署可以跨交换结构支持基于 NVMe 的块存储设备远程直接内存访问（RDMA）。

　　技术研究公司IDC 的基础设施系统研究副总裁Eric Burgener 说：“这是一种专门为固态存储优化的高性能存储网络协议，其提供了更低的延迟、更高的带宽、并行性和更高的效率。”

　　NVMe-oF 适用于光纤通道（FC）、以太网和 InfiniBand 等不同类型的网络传输。在以太网中，用户还可以选择RoCE（RDMA over Converged Ethernet）、 iWARP 以及TCP 等不同的传输选项。

　　缺点是F C 、 InfiniBand、RoCE 和iWARP 选项都需要定制的主机总线适配器和驱动程序，这使得它们的部署和维护既困难又昂贵。Burgener 说：“NVMe over TCP 是一个真正的行业标准，可与几乎所有的企业服务器上的标准聚合以太网适配器配合使用。”此外，大多数重要的Linux 变体如今在其标准发行版中都含有 NVMe-over-TCP 驱动程序。

　　Burgener 说：“作为一个已发布且被广泛接受的标准，从长远来看，它们将主导NVMe-oF 的部署。虽然部署成本也较低，不需要标准 Linux 或以太网适配器之外的升级计划，但是它们的延迟比 RoCE 要高一些。迄今为止， RoCE 是另一种被广泛部署的以太网选项。”

　　RoCE 和iWARP 都支持RDMA， 而FC 和TCP 则不支持RDMA。虽然支持 RDMA 可稍微降低延迟，但是所有这些方法都比基于普通 SCSI 的存储网络技术（如FC 和iSCSI）提供了显著的性能改进。

　　NVMe/TCP 的部署和应用

　　用户采用NVMe/TCP 的一个主要原因是其提供一个低延迟的共享存储解决方案。

　　Burgener 说：“如果用户有一个基于NVMe 的全闪存阵列，但是该阵列仍然通过基于SCSI 的存储网络连接到服务器上，那么用户可能会遇到很多性能问题，并且固态存储资源使用效率也不高。如果用户希望让所有的应用程序都能够享受到基于NVMe 的全闪存阵列的性能，那么用户这时需要用到NVMe-oF 存储网络。”

　　对于大多数企业而言，最终的传输选择将取决于已部署的技术或是规模与性能要求。

　　Burgener 说：“FC 是满足后一种要求的最佳传输方式，但是随着高带宽以太网新版本的不断推出，这种区别正在不断缩小，因为以太网可通过更高的带宽处理更多的工作负载。一些对性能非常敏感的应用程序使用FC 作为 NVMe-oF 的传输层会更好，不过随着时间的推移，这类应用程序会越来越少。”

　　如果企业已经有了FC 网络，那么在其上部署NVMeoF 就相对容易些， 因为许多企业已经在这样做了。 Burgener 认为，大多数新建企业还是会选择部署以太网，而TCP 最终将胜出。

　　Burgener 说：“ 在应用程序方面，我们将会看到 NVMe over TCP 被用于由人工智能/ 机器学习（AI/ML）驱动的大数据分析工作负载当中，特别是在要求实时的情况下。另一个重要意义在于，环境已将大量工作负载整合到单个存储阵列上，并且需要能够在高工作负载密度下提供出色的性能。”

　　虽然AI/ML 驱动的大数据分析应用正在增长，但是该领域仍处于新兴阶段。更为直接的原因在于，NVMe/TCP 在基于闪存的超大存储部署环境中受到了越来越多的关注，尤其是在大量低延迟数据必须通过现有的高带宽交换网络被快速访问的情况下。

　　Killinger 说：“ 超大规模是这项技术的天然消费者，因为它们可以实现闪电般的数据访问，并允许数据分布在多个数据中心内，同时它们还在电网、冷却和本地化的高可用性体系结构方面具有优势，不会带来的额外成本。

　　NVMe/TCP 还可以允许用户利用现有的交换网络技术。这些技术已经商品化并可从许多原始设备制造商处获得。Killinger 说：“ 与 Infiniband 或光纤通道相比，连接多个10G 以太网端口的每个端口的成本使得利用 NVMe 的TCP 堆栈成为可能。”

　　Burgener 指出，许多高端存储用户已经致力于FC 存储网络，并且已经或正在计划升级到RoCE。不过，这种情况在未来几年可能会发生变化。

　　从目前的情况来看，对 NVMe/TCP 的支持主要来自Mellanox Technologies 等网络供应商，以及Lightbits Labs、Excellero、Pavilion Data 和Infinidat 等存储初创公司。SSD 芯片制造商 Kioxia 也支持NVMe over TCP。

　　Burgener 认为，随着存储基础设施越来越多地转向固态存储，用户也将越来越关心基础设施的效率，NVMe over TCP 将明显优于SCSI，而且成本低廉，易于部署。NVMe-over-TCP 的可用性

　　NVMe 及其规范由NVM Express 拥有和维护，NVM Express 是一个由网络、存储和其他IT 相关公司组成的联盟。NVMe 规范于2011 年发布，其定义了主机软件如何通过PCI-Express（PCIe） 总线与非易失性内存通信，目前已成为PCIe SSD的行业标准。 NVMe/TCP 于2018 年获得 NVM Express 的批准。

　　NVMe/TCP 可用性预计将在未来几年快速增长。 Burgener 预测称：“尽管大多数主要的企业级存储供应商还没有动作，但是他们可能会在未来12~18 个月内推出相关的产品。”

　　虽然大规模的NVMeover- TCP 部署在短期内是一个障碍，但是它们很可能转化为一个长期的成功。

　　Killinger 说：“ 大多数 IT公司都在尝试公有云服务，估计有超过90% 的业务部门在使用一个或多个公有云。同时，IT 更新率一直呈下降趋势。对于用高端的NVMe 技术更新老化的存储基础设施，许多公司没有编列足够的预算资金。尽管如此，一些公司开始尝试用公有云服务提供商来替代自己的企业 IT 服务。这正是NVMe over TCP 大显身手的地方，其增长速度将是企业IT 购买力的数倍。”

　　Burgener 认为，NVMe/ TCP 的未来前景光明， 但是部署率可能要到2022 年或2023 年底才会真正开始上升。Killinger 也乐观地认为， NVMe/TCP 最终将成为主流技术。他说：“我没有找到 NVMe over TCP 不会蓬勃发展的理由，甚至在未来几年它们还会加速SSD 的部署。” 他预计，SSD 存储OEM 厂商很快就会进行大规模的市场推广，并积极拓展其产品在 NVMe over TCP 上的性能。

　　本文作者John Edwards为资深商业技术记者，曾在《纽约时报》《华盛顿邮报》以及CIO、 Computerworld、Network World、CFO Magazine、IBM Data Management Magazine、 RFID Journal 和Electronic Design 等众多商业和技术刊物上发表过文章。

　　原文网址 h t t p s : / / w w w . n e t w o r k w o r l d . c o m / article/3609921/nvme-overtcp- how-it-superchargesssd- storage-using-standardip- networks.html