使用弹性eRDMA可以获得超低的延迟,更快地处理请求。本文介绍如何基于eRDMA部署共享内存通信SMC(Shared Memory Communication)和Redis,然后基于SMC测试Redis处理请求的能力。
背景信息
共享内存通信SMC是一种兼容socket层、使用共享内存技术实现的高性能内核网络协议栈。根据共享内存技术的不同,SMC又可以细分为基于Internal Shared Memory(ISM)技术的SMC over DMA(SMC-D)和基于Remote Direct Memory Access(RDMA)技术的SMC over RDMA(SMC-R)。详细信息,请参见共享内存通信(SMC)适用性说明。
目前Alibaba Cloud Linux 3基于弹性RDMA(eRDMA)提供SMC-R加速能力,在阿里云上使用SMC-R需要创建支持eRDMA的ECS实例,以获得云上弹性RDMA(eRDMA)能力。
准备工作
购买两台支持eRDMA的实例,勾选自动安装eRDMA驱动,并且在主网卡开启eRDMA网络接口。两台ECS实例分别作为服务端和客户端。具体操作,请参见自定义购买实例。
本示例参数如下所示:
规格:ecs.g8i.8xlarge
镜像:Alibaba Cloud Linux 3.2104 LTS 64位
网络:两台实例属于同一安全组,默认内网互通
实例主网卡的私网IP地址:Server端(192.168.0.25)、Client端(192.168.0.24)。您需要根据实际情况替换IP地址。
说明本文以在实例的主网卡上开启eRDMA网络接口为例进行测试,那么这里的192.168.0.25即服务端所在ECS实例的主网卡的私网IP地址。
如果您是通过辅助弹性网卡上开启eRDMA网络接口进行测试,那么这里的IP地址,需要改为您实际的辅助弹性网卡的私网IP地址。更多信息,请参见步骤三:为ECS实例绑定ERI。
步骤一:部署SMC
分别远程连接Server端和Client端的ECS实例。
具体操作,请参见使用Workbench工具以SSH协议登录Linux实例。
分别在两台ECS实例上执行以下命令,部署SMC-R模块。
modprobe smc && modinfo smc
分别在两台实例上执行以下命令,关闭本机的IPv6模式,确保ERI下可以正常创建eRDMA连接。
重要阿里云eRDMA设备与SMC目前均不支持使用IPv6地址。如果应用层使用IPv6地址,会导致SMC回退到TCP协议栈。更多信息,请参见启用SMC后使用IPv6地址出现回退。
自
ANCK 5.10.134-17.3
版本开始,SMC支持使用IPv4-mapped IPv6
地址。
sysctl net.ipv6.conf.all.disable_ipv6=1
分别在两台实例上执行以下命令,打开SMC eRDMA开关,使流量优先走eRDMA。
此后新创建的TCP socket将被转变为SMC socket,而存量的TCP socket不受影响。
sysctl net.smc.tcp2smc=1
分别在两台实例上执行以下命令,安装SMC的监控诊断工具集smc-tools。
smc-tools是IBM开发的SMC-R监控诊断工具,为您提供了多个维度的SMC-R跟踪诊断,主要包括:
smcr:提供SMC-R相关资源统计信息。
smcss:提供SMC socket相关信息。
yum install -y smc-tools
安装完成后,可以执行
smcss -a
命令查看当前的流量路径。
步骤二:部署Redis
在ECS实例上部署SMC后,您需要继续在实例上部署Redis。
分别远程连接Server端和Client端的ECS实例。
具体操作,请参见使用Workbench工具以SSH协议登录Linux实例。
执行以下命令,分别为两台实例安装Redis。
sudo yum install -y redis
在Server端实例上执行以下命令,启动Redis服务端。
redis-server --bind 192.168.0.25 --port 6379 --protected-mode no --save
说明192.168.0.25为Server端实例主网卡的主私有IP,6379为需要监听的端口,请您在自行测试时按实际情况替换。
在Redis客户端上连接和测试。
执行以下命令,连接Redis服务端。
redis-cli -h 192.168.0.25 -p 6379
执行以下命令,使用redis-benchmark进行压测。
以下命令模拟从100个客户端向服务端发送1,000,000次SET命令的请求:
redis-benchmark -h 192.168.0.25 -p 6379 -n 1000000 -t set -c 100
您也可以在打开SMC-R后,启动多个压测进程进行混合压测,参考以上步骤再部署1个Redis客户端,在2个Redis客户端上分别启动多个压测进程,然后在Redis服务端上查看每秒的操作次数OPS(Operation Per Second)。
在Redis客户端上同时启动8个SET压测进程的示例命令:
redis-benchmark -h 192.168.0.25 -p 6379 -n 100000000 -t set --threads 8 -c 100
在Redis客户端上同时启动8个GET压测进程的示例命令:
redis-benchmark -h 192.168.0.25 -p 6379 -n 1000000 -t get --threads 8 -c 100
在Redis服务端上查看OPS的示例命令:
redis-cli -h 192.168.0.25 -p 6379 info | grep instantaneous_ops_per_sec
说明请新打开一个远程连接窗口,然后输入查看命令。