全部产品
Search
文档中心

云服务器 ECS:基于eRDMA部署SMC-R和Redis

更新时间:Apr 23, 2025

使用弹性eRDMA可以获得超低的延迟,更快地处理请求。本文介绍如何基于eRDMA部署共享内存通信SMC(Shared Memory Communication)和Redis,然后基于SMC测试Redis处理请求的能力。

背景信息

  • 共享内存通信SMC是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同,SMC又可以细分为基于Internal Shared Memory(ISM)技术的SMC over DMA(SMC-D)和基于Remote Direct Memory Access(RDMA)技术的SMC over RDMA(SMC-R)。详细信息,请参见共享内存通信(SMC)适用性说明

  • 目前Alibaba Cloud Linux 3基于弹性RDMA(eRDMA)提供SMC-R加速能力,在阿里云上使用SMC-R需要创建支持eRDMA的ECS实例,以获得云上弹性RDMA(eRDMA)能力。

准备工作

购买两台支持eRDMA的实例,勾选自动安装eRDMA驱动,并且在主网卡开启eRDMA网络接口。两台ECS实例分别作为服务端和客户端。具体操作,请参见自定义购买实例

本示例参数如下所示:

  • 规格:ecs.g8i.8xlarge

  • 镜像:Alibaba Cloud Linux 3.2104 LTS 64位

  • 网络:两台实例属于同一安全组,默认内网互通

  • 实例主网卡的私网IP地址:Server端(192.168.0.25)、Client端(192.168.0.24)。您需要根据实际情况替换IP地址。

    说明
    • 本文以在实例的主网卡上开启eRDMA网络接口为例进行测试,那么这里的192.168.0.25即服务端所在ECS实例的主网卡的私网IP地址。

    • 如果您是通过辅助弹性网卡上开启eRDMA网络接口进行测试,那么这里的IP地址,需要改为您实际的辅助弹性网卡的私网IP地址。更多信息,请参见步骤三:为ECS实例绑定ERI

购买过程重要参数示例

购买实例过程中需注意以下配置项(其他参数,请参见自定义购买实例):

  • 实例规格和镜像:请参见使用限制镜像需要选中安装eRDMA驱动。实例启动过程中会自动安装eRDMA驱动,无需您再手动安装。

    image

  • 弹性网卡:在主网卡右侧选中弹性RDMA接口

    重要

    创建实例时,仅支持为主网卡启用弹性RDMA接口,且单台ECS实例最多只能绑定一个启用弹性RDMA接口的网卡。如果您需要使用辅助网卡配置eRDMA,只能在创建实例后,单独创建辅助弹性网卡并为其启用弹性RDMA接口,然后绑定至ECS实例上使用。具体操作,请参见创建并使用弹性网卡绑定辅助弹性网卡

    image

步骤一:部署SMC

  1. 分别远程连接Server端和Client端的ECS实例。

    具体操作,请参见使用Workbench工具以SSH协议登录Linux实例

  2. 分别在两台ECS实例上执行以下命令,部署SMC-R模块。

    modprobe smc && modinfo smc
  3. 分别在两台实例上执行以下命令,关闭本机的IPv6模式,确保ERI下可以正常创建eRDMA连接。

    重要
    • 阿里云eRDMA设备与SMC目前均不支持使用IPv6地址。如果应用层使用IPv6地址,会导致SMC回退到TCP协议栈。更多信息,请参见启用SMC后使用IPv6地址出现回退

    • ANCK 5.10.134-17.3版本开始,SMC支持使用IPv4-mapped IPv6地址。

    sysctl net.ipv6.conf.all.disable_ipv6=1
  4. 分别在两台实例上执行以下命令,打开SMC eRDMA开关,使流量优先走eRDMA。

    此后新创建的TCP socket将被转变为SMC socket,而存量的TCP socket不受影响。

    sysctl net.smc.tcp2smc=1
  5. 分别在两台实例上执行以下命令,安装SMC的监控诊断工具集smc-tools。

    smc-tools是IBM开发的SMC-R监控诊断工具,为您提供了多个维度的SMC-R跟踪诊断,主要包括:

    • smcr:提供SMC-R相关资源统计信息。

    • smcss:提供SMC socket相关信息。

    yum install -y smc-tools

    安装完成后,可以执行smcss -a命令查看当前的流量路径。smcss查看

步骤二:部署Redis

在ECS实例上部署SMC后,您需要继续在实例上部署Redis。

  1. 分别远程连接Server端和Client端的ECS实例。

    具体操作,请参见使用Workbench工具以SSH协议登录Linux实例

  2. 执行以下命令,分别为两台实例安装Redis。

    sudo yum install -y redis
  3. 在Server端实例上执行以下命令,启动Redis服务端。

    redis-server --bind 192.168.0.25 --port 6379 --protected-mode no --save
    说明

    192.168.0.25为Server端实例主网卡的主私有IP,6379为需要监听的端口,请您在自行测试时按实际情况替换。

    image

  4. 在Redis客户端上连接和测试。

    • 执行以下命令,连接Redis服务端。

      redis-cli -h 192.168.0.25 -p 6379
    • 执行以下命令,使用redis-benchmark进行压测。

      以下命令模拟从100个客户端向服务端发送1,000,000次SET命令的请求:

      redis-benchmark -h 192.168.0.25 -p 6379 -n 1000000 -t set -c 100

您也可以在打开SMC-R后,启动多个压测进程进行混合压测,参考以上步骤再部署1个Redis客户端,在2个Redis客户端上分别启动多个压测进程,然后在Redis服务端上查看每秒的操作次数OPS(Operation Per Second)。

  • 在Redis客户端上同时启动8个SET压测进程的示例命令:

    redis-benchmark -h 192.168.0.25 -p 6379 -n 100000000 -t set --threads 8 -c 100
  • 在Redis客户端上同时启动8个GET压测进程的示例命令:

    redis-benchmark -h 192.168.0.25 -p 6379 -n 1000000 -t get --threads 8 -c 100
  • 在Redis服务端上查看OPS的示例命令:

    redis-cli -h 192.168.0.25 -p 6379 info | grep instantaneous_ops_per_sec
    说明

    请新打开一个远程连接窗口,然后输入查看命令。