RabbitMQ内存预警

概要

本文覆盖RabbitMQ内存阈值和分页设置，在64位和32位系统上运行节点，以及一些其他相关主题。

内存阈值：它是什么以及如何工作

RabbitMQ服务在启动时检查机器的内存，执行命令 rabbitmqctl set_vm_memory_high_watermark fraction. 默认情况，RabbitMQ服务使用了可用内存大小的40%，它触发一个内存警告并阻塞所有发布消息的连接。一旦清除内存告警，系统将恢复服务。

默认情况，内存预警阈值是系统安装内存大小的40%，但这个并不表示RabbitMQ服务不能使用超过40%的内存，这只是发布者会被限制。Erlang垃圾收集器甚至可以使用超过一倍的内存，如80%，强烈建议启用操作系统内存交换页。

32位架构倾向于每个进程设置2GB内存限制，64位架构系统限制每个进程256TB，64位Windows系统进一步限制位8TB。然而，请注意，即使在64位的操作系统下，32位进程通常也只有2GB内存的限制。

配置内存阈值

可以通过修改配置文件来控制内存阈值，以下例子将阈值设置为默认值0.4

\# new style config format, recommended
vm_memory_high_watermark.relative = 0.4

这个默认值0.4表示可用内存的40%或者可用虚拟地址空间的40%，以较小者为准。如在一个有4GB内存的32位系统上，40%的内存是1.6GB，但是32位系统限制内存是2GB，所以阈值实际上是2GB的40%（820MB）。

或者可以使用绝对值来设置内存阈值，如下所示（1024MB）：

vm_memory_high_watermark.absolute = 1073741824

使用内存单位的如下：

vm_memory_high_watermark.absolute = 1024MiB

如果限制值大于机器内存或者可用虚拟地址空间，则阈值以较小的为准。

当RabbitMQ服务启动时，内存设置日志输出如下：

2019-06-10 23:17:05.976 [info] <0.308.0> Memory high watermark set to 1024 MiB (1073741824 bytes) of 8192 MiB (8589934592 bytes) total

还可以使用 rabbitmq-diagnostics memory_breakdown 和 rabbitmq-diagnostics status 命令查下内存限制值。

在服务运行期间，阈值可以被修改的，使用如下命令：

rabbitmqctl set_vm_memory_high_watermark <fraction>

或者：

rabbitmqctl set_vm_memory_high_watermark absolute <memory_limit>

例如：

rabbitmqctl set_vm_memory_high_watermark 0.6

rabbitmqctl set_vm_memory_high_watermark absolute "4G"

当使用绝对值模式时，可以使用下列的内存单位：

• M, MiB 兆字节（2^20字节）, 二进制mebibytes，适合机器

• MB, 兆字节（10^6字节），十进制megabytes，适合人类理解

• G,GiB 吉字节（2^30字节），二进制gibibytes

• GB, 吉字节（10^9字节），十进制gigabytes

这两种命令都是立即生效，直至节点重启。若要使设置的参数在服务重启仍能生效，则需要修改配置文件。

在可热插拔内存的系统上，如果执行以上命令，虽然没有改变阈值，但是由于查下了系统内存总量，这导致了内存限制是仍可能发生变化的。

停止所有发布

当阈值或者绝对限制值设置位0时，它会立即关闭内存报警，从而阻止所有生产者连接，这方法对于想要全局停用发布还是很有用的。

rabbitmqctl set_vm_memory_high_watermark 0

限制地址空间

当在64位操作系统（或具有PAE的32位操作系统）中的32位Erlang VM内运行RabbitMQ服务时，可寻址内存受到限制，服务器检测到并记录如下日志：

2018-11-22 10:44:33.654 [warning] Only 2048MB of 12037MB memory usable due to limited address space.

内存预警机制并不是完美的，尽管停止发布会阻止内存的进一步使用，但其他事情仍然可能持续增加内存使用。通常这种情况发生时，物理内存耗尽后操作系统开始换页。但若使用了有限制的内存，则虚拟机会终止或者操作系统的内存机制也会将其终止。

因此，强烈建议在64位的操作系统和64位的Erlang上运行RabbitMQ服务。

配置换页阈值

在RabbitMQ达到高水位线或者阻塞发布者之前，它将尝试让队列将其内容分页到磁盘来释放内存。持久性和暂时性消息会被调出（持久性消息已经在磁盘上将会被从内存调出）。默认情况下，当到达高水位线的50%时就会发生这种情况。若要更改此值，修改配置vm_memory_high_watermark_paging_ratio，如下所示：

vm_memory_high_watermark_paging_ratio = 0.75
vm_memory_high_watermark.relative = 0.4

上述配置以使用的内存的30%开始分页，以40%阻塞发布者。

可以将vm_memory_high_watermark_paging_ratio设置为大于1.0的值。在这种情况下，队列不会将其内容分页到光盘。如果这导致内存警报关闭，那么生产者将被阻止，如上所述。

未识别平台

如果RabbitMQ服务器无法检测到它正在运行的操作系统，它将在日志文件中附加警告。然后假设安装了1GB以上的RAM：

2018-11-22 10:44:33.654 [warning] Unknown total memory size for your OS {unix,magic_homegrown_os}. Assuming memory size is 1024MB.

在这种情况下，vm_memory_high_watermark配置值用于缩放假定的1GB RAM。由于vm_memory_high_watermark的默认值设置为0.4，RabbitMQ的内存阈值设置为410MB，因此每当RabbitMQ使用超过410MB的内存时，它都会限制生产者。因此，当RabbitMQ无法识别您的平台时，如果您实际安装了8GB RAM，并且您希望RabbitMQ在服务器使用3GB以上的内存时限制生产者，请将vm_memory_high_watermark设置为3。