【Minio】搭建minio集群

原创 已于 2025-05-25 21:03:33 修改 · 2k 阅读 · 21 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java #minio #云存储 #对象存储

于 2025-05-25 00:49:43 首次发布

对象存储

minio作为现在热度较高的对象存储引擎，具有高扩展、高吞吐和高可用的特性。对象存储将各类型文件都视为对象，赋予统一的属性。

Minio官网

  • 下载
wget https://dl.min.io/server/minio/release/linux-amd64/minio #x86版本
wget https://dl.min.io/server/minio/release/linux-arm64/minio #arm版本
  • 官方nginx集群配置
upstream minio_s3 {
   least_conn;
   server minio-01.internal-domain.com:9000;
   server minio-02.internal-domain.com:9000;
   server minio-03.internal-domain.com:9000;
   server minio-04.internal-domain.com:9000;
}

upstream minio_console {
   least_conn;
   server minio-01.internal-domain.com:9001;
   server minio-02.internal-domain.com:9001;
   server minio-03.internal-domain.com:9001;
   server minio-04.internal-domain.com:9001;
}

server {
   listen       80;
   listen  [::]:80;
   server_name  minio.example.net;

   # Allow special characters in headers
   ignore_invalid_headers off;
   # Allow any size file to be uploaded.
   # Set to a value such as 1000m; to restrict file size to a specific value
   client_max_body_size 0;
   # Disable buffering
   proxy_buffering off;
   proxy_request_buffering off;

   location / {
      proxy_set_header Host $http_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Forwarded-Proto $scheme;

      proxy_connect_timeout 300;
      # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
      proxy_http_version 1.1;
      proxy_set_header Connection "";
      chunked_transfer_encoding off;

      proxy_pass https://minio_s3; # This uses the upstream directive definition to load balance
   }

   location /minio/ui/ {
      rewrite ^/minio/ui/(.*) /$1 break;
      proxy_set_header Host $http_host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header X-Forwarded-Proto $scheme;
      proxy_set_header X-NginX-Proxy true;

      # This is necessary to pass the correct IP to be hashed
      real_ip_header X-Real-IP;

      proxy_connect_timeout 300;

      # To support websockets in MinIO versions released after January 2023
      proxy_http_version 1.1;
      proxy_set_header Upgrade $http_upgrade;
      proxy_set_header Connection "upgrade";
      # Some environments may encounter CORS errors (Kubernetes + Nginx Ingress)
      # Uncomment the following line to set the Origin request to an empty string
      # proxy_set_header Origin '';

      chunked_transfer_encoding off;

      proxy_pass https://minio_console; # This uses the upstream directive definition to load balance
   }
}
  • Set the MINIO_BROWSER_REDIRECT_URL to the proxy host FQDN of the MinIO Console (https://example.net/minio/ui)

一、使用背景

基于minio做网络云盘的开发，考虑到可扩展，高吞吐和容灾恢复的需求。

二、本地部署测试

1) 测试平台

VMware起4台centos 7.9的虚拟机

192.168.123.100
192.168.123.105
192.168.123.106
192.168.123.107

2) 注意事项
（1）最新版minio集群化部署时，只支持非系统硬盘部署，即需要挂载独立的硬盘

在这里插入图片描述
挂载硬盘

fdisk -l
fdisk /dev/sdb
mkfs.xfs /dev/sdb1 #使用minio推荐的XFS文件系统
mkdir /data
mount /dev/sdb1 /data
df -h
vim /etc/fstab
# 添加 /dev/sdb1 /data xfs defaults 0 0 用于开机自动挂载
（2）最少需要4台服务器或者硬盘来搭建集群

已4台为例，minio的集群存储策略为将文件平均切割为2份，并对2份进行纠错码加密生成2份对应文件，分别存储至4台服务器上，即2台原文件和2台校验文件。

MinIO 集群的冗余机制：纠删码（Erasure Coding）

MinIO 默认使用 纠删码技术 实现数据冗余和高可用性。纠删码通过将数据分割成多个块，并生成冗余块，使得在部分节点故障时仍能恢复数据。对于一个由 N 台服务器组成的集群，MinIO 的纠删码规则通常为：

  • 最小集群规模：至少 4 台服务器（单节点模式除外）。

  • 数据分布：将数据分成 K 个数据块 和 M 个冗余块，总节点数为 N = K + M。

    • 当故障节点数 ≤ M 时，数据可通过剩余节点恢复，业务不受影响。

    • 当故障节点数 > M 时，数据无法恢复，集群可能失效。

四节点集群的常见配置：K=4, M=0 或 K=3, M=1？

MinIO 的纠删码配置需显式指定 K 和 M，但实际部署中：

1. 默认配置（K=4, M=0）：无冗余（危险！）

  • 若集群以 纯分布式模式（无冗余） 部署（未启用纠删码冗余），即 K=4, M=0：

    • 每台服务器存储完整数据的 1/4（类似 RAID 0）。

    • 任意一台服务器宕机，数据将丢失 1/4，集群无法正常工作，所有数据不可用。

  • 适用场景：仅用于测试或非关键数据，生产环境严禁使用。

2. 标准纠删码配置（K=3, M=1）：允许 1 节点故障

  • 若集群配置为 K=3, M=1（即 3 个数据块 + 1 个冗余块，总节点数 4）：

    • 允许最多 1 台服务器宕机（因为冗余块数 M=1）。

    • 当 1 台服务器宕机时：

      • 剩余 3 台服务器（3 个数据块 + 0 个冗余块？需注意：MinIO 的纠删码逻辑是利用 K+M 节点中的任意 K 个节点恢复数据）。

      • 实际上，MinIO 会通过剩余的 3 个数据块和 1 个冗余块中的 任意 3 个有效块 恢复数据（数学上，K=3 时，至少需要 3 个有效块）。

      • 结论：当 1 台服务器宕机时，剩余 3 台服务器包含完整的 K=3 个数据块，集群可正常读写数据，但性能可能略有下降（需通过冗余计算恢复数据）。

  • 适用场景：生产环境推荐配置，满足基本高可用性。

关键结论：一台服务器宕机后的集群状态

集群配置 单节点宕机后状态
无冗余（K=4, M=0）不可用，数据丢失 25%，无法恢复。
有冗余（K=3, M=1）可用，可通过剩余 3 节点恢复数据，性能部分下降。

如何确认集群的纠删码配置？

  1. 查看集群节点数和配置：
minio server --config-dir /path/to/config /data1 /data2 /data3 /data4  # 启动时指定节点
  • 若启动时未显式配置 K 和 M，默认按 K=N/2, M=N/2 计算（但 N=4 时可能为 K=3, M=1，需以实际日志为准）。
  1. 通过 MinIO 控制台查看：登录 MinIO 网页端（默认端口 9001），进入 状态 > 服务器，查看节点状态和冗余配置。

宕机后的处理建议

  1. 紧急恢复（适用于 K=3, M=1 配置）：
  • 尽快修复或替换故障服务器，MinIO 会自动同步数据，恢复集群完整冗余。
  1. 避免二次故障：
  • 在单节点宕机期间，严禁其他节点故障（否则若故障节点数 > M，数据将永久丢失）。
  1. 监控告警：
  • 配置 Prometheus + Grafana 或 MinIO 自带的告警功能，实时监控节点状态。

总结

  • 若集群启用了纠删码冗余（如 K=3, M=1）：单台服务器宕机后，MinIO 仍可正常使用，但需尽快恢复故障节点以避免风险。

  • 若集群未启用冗余（K=4, M=0）：单台服务器宕机将导致数据丢失，集群不可用，生产环境需绝对避免此配置。

建议：生产环境中，MinIO 集群至少配置为 K=N-1, M=1（如 4 节点集群用 K=3, M=1），以确保单节点故障时的可用性和数据完整性。

（3）实际集群部署

注意官方给出的nginx负载均衡配置中，需要配置 MINIO_BROWSER_REDIRECT_URL来修改minio_console的页面前缀，这样nginx便可以使用同一个端口来代理minio_s3和minio_console，也可以使用我如下的配置:

upstream minio_s3 {
  least_conn;
  server minio1.com:9001;
  server minio2.com:9001;
  server minio3.com:9001;
  server minio4.com:9001;
}

upstream minio_console {
  least_conn;
  server minio1.com:9727;
  server minio2.com:9727;
  server minio3.com:9727;
  server minio4.com:9727;
}

server {
  listen       9000;
  listen  [::]:9000;
  server_name  192.168.123.100;

  # Allow special characters in headers
  ignore_invalid_headers off;
  # Allow any size file to be uploaded.
  # Set to a value such as 1000m; to restrict file size to a specific value
  client_max_body_size 0;
  # Disable buffering
  proxy_buffering off;
  proxy_request_buffering off;

  location / {
   proxy_set_header Host $http_host;
   proxy_set_header X-Real-IP $remote_addr;
   proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
   proxy_set_header X-Forwarded-Proto $scheme;

   proxy_connect_timeout 300;
   # Default is HTTP/1, keepalive is only enabled in HTTP/1.1
   proxy_http_version 1.1;
   proxy_set_header Connection "";
   chunked_transfer_encoding off;

   proxy_pass http://minio_s3; # This uses the upstream directive definition to load balance
  }

  
}
server {
  listen       10727;
  listen  [::]:10727;
  server_name  192.168.123.100;

  # Allow special characters in headers
  ignore_invalid_headers off;
  # Allow any size file to be uploaded.
  # Set to a value such as 1000m; to restrict file size to a specific value
  client_max_body_size 0;
  # Disable buffering
  proxy_buffering off;
  proxy_request_buffering off;

  location / {
   proxy_set_header Host $http_host;
   proxy_set_header X-Real-IP $remote_addr;
   proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
   proxy_set_header X-Forwarded-Proto $scheme;
   proxy_set_header X-NginX-Proxy true;

   # This is necessary to pass the correct IP to be hashed
   real_ip_header X-Real-IP;

   proxy_connect_timeout 300;

   # To support websockets in MinIO versions released after January 2023
   proxy_http_version 1.1;
   proxy_set_header Upgrade $http_upgrade;
   proxy_set_header Connection "upgrade";
   # Some environments may encounter CORS errors (Kubernetes + Nginx Ingress)
   # Uncomment the following line to set the Origin request to an empty string
   # proxy_set_header Origin '';

   chunked_transfer_encoding off;

   proxy_pass http://minio_console; # This uses the upstream directive definition to load balance
  }
}

以上端口号均可以自己改，喜欢啥改啥。
启动命令如下：

nohup sudo MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password123 ./minio server --address :9001 --console-address :9727 http://minio{1...4}.com/data/minio 2>&1 &

三、JAVA开发

1.引入依赖
<dependency>
    <groupId>io.minio</groupId>
    <artifactId>minio</artifactId>
    <version>8.5.4</version>
</dependency>

特别注意可能出现的版本冲突，我就遇到了okhttp版本依赖冲突问题，需要指定版本

<dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>com.squareup.okhttp3</groupId>
            <artifactId>okhttp</artifactId>
            <version>4.11.0</version>
        </dependency>
    </dependencies>
</dependencyManagement>
2.创建密钥

在这里插入图片描述

3.添加配置
minio:
  endpoint: http://192.168.123.100:9000
  access-key: nlVeBLds9xxxxxxxx
  secret-key: x8Vn8SkbnDLWWImquVbtxxxxxxxxxxxxxx
  bucketName: cloud-drive
4.复用性

如果使用Amazon S3的云存储，代码无需做任何修改，minio可于S3的接口无缝衔接，都是同一套接口标准，无感切换！

分布式存储-Minio环境搭建
温暖不了你的心的博客
07-14 4767
MinIO是一个基于Apache License V2.0开源协议的轻量级的对象存储服务。 适合存储大容量非结构化的数据，如图片、视频、日志文件、备份数据和容器/虚拟机镜像等。
Minio 安装部署详细步骤(Windows & Linux)
热门推荐
qq_43108153的博客
10-24 1万+
minio 安装部署 服务器 运维
minio集群部署
最新发布
yaojl_0521的博客
11-27 219
创建minio.server vim /usr/lib/systemd/system/minio.service。3.1 上传文件到服务器 /data/minio/ ps: minio集群中的每台服务器都需要配置。3.3 启动集群 (逐个启动) ps:注意启动前检查防火墙配置，保证端口开放。4.2 编辑nginx 配置文件 vim nginx.conf 配置如下。4.3 重启nginx根据配置访问如 localhost:19000/4.1 需要自行安装nginx。修改配置文件后需要加载配置。
Minio部署（单机/单机EC/集群）
sosozha的博客
07-07 1万+
minio搭建
Minio分布式存储集群搭建(多节点多硬盘模式)
2301_76445126的博客
01-23 7422
说明，我这次的实验环境是三台服务器，每台额外分配五个数据盘，共计提供给minio集群使用为15个数据盘，因为是测试环境所以磁盘大小只给了50G，生产请自行评估，本次是将所有磁盘都格式化为xfs文件系统，格式化文件系统后我在根目录下分别创建了data1，data2，data3，data4，data5五个目录给这五个数据盘挂载，详细磁盘格式化以及挂载方法自行百度，这里不详细赘述，实在不懂就评论区问吧。vim /etc/default/minio #minio服务的环境变量文件。1.minio集群搭建。
MinIO 分布式集群搭建
耳东@Erdong的博客
11-10 5931
MinIO 分布式集群搭建 分布式 Minio 可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。 Minio 分布式模式可以搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 （1）数据保护 分布式 Minio 采用纠删码（erasure code）来防范多个节点宕机和位衰减（bit rot...
精选资源
Linux环境MinIO单机安装、集群搭建，数据同步，策略示例。
09-19
在MinIO集群中，数据同步通常是自动完成的，因为每个节点都保存数据的副本。策略示例可能包括数据的复制策略（例如，设置为3副本以确保高可用性）和生命周期管理策略（例如，自动删除过期对象）。 总之，MinIO在...
精选资源
Centos7搭建minio分布式集群
10-27
在CentOS 7上搭建MinIO分布式集群是一项重要的IT任务，这将帮助我们构建一个可扩展、高可用的云存储解决方案。下面将详细阐述如何在CentOS 7系统上实现这个过程。 首先，我们需要了解MinIO的基本概念。MinIO由多个...
搭建minio 集群教程
08-22
搭建minio 集群教程
MinIO集群搭建
Zero小葵司的博客
07-11 556
MinIO是一种简单易用的对象存储，可以用于应用存放文件，也可用于数据湖的构建。其协议兼容S3，使得其可以有良好的易用性。本次分享主要以搭建一个2台机器每台机器4块数据盘，构建一个8快盘的集群为例，用Nginx负载均衡提供外部调用的方式来进行搭建。那么，我们直接开始吧。如果不想细看，只想进行集群搭建，按顺序复制脚本直接执行便可。
MinIO 集群搭建
小毕超博客
07-10 1666
是一个高性能的对象存储原生支持 部署的解决方案。 提供了一个 兼容 并支持所有核心 功能。 对象存储使用 来组织对象。 存储桶类似于文件系统中的文件夹或目录，其中每个 桶可以容纳任意数量的对象。 存储桶提供 与 存储桶相同的功能。其中 的优势有：高性能：是全球领先的对象存储先锋，在标准硬件上，读/写速度上高达 和 。可扩展性：利用了缩放器的来之不易的知识，为对象存储带来了简单的存储缩放模型， 在 , 扩展从单个群集开始，该群集可以与其他群集联合以创建全局名称空间, 并在需要时可以跨越多个不
搭建minio集群
Dcj695632854的博客
04-19 1390
登录成功之后，点击左侧菜单【Buckets】,点击右侧【Create Bucket】按钮创建文件存储目录，在新创建的存储目录右侧，点击【Browse】按钮进入目录内部，点击右侧【Upload】按钮上传文件即可，然后就可以去服务器minio安装目录去查看新创建的存储目录内，是否有新上传的文件，进入其它服务器相同位置，查看文件是否同步。注：搭建集群后，minio存储目录查看到的文件并不是文件本身，校验文件准确性，可在客户端找到上传的文件下载查看即可。
Minio集群搭建
Purse的博客
09-09 1532
Minio集群搭建
Minio分布式集群搭建
tianshi_rain的博客
03-10 2647
一、分布式Minio快速入门 分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。 分布式Minio有什么好处? 在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 数据保护 分布式Minio采用 纠删码来防范多个节点宕机和位衰减bit rot。 分布式Minio至少需要4个硬盘，使用分布式Minio自动引入了纠删码
minIO 集群搭建
Wolf_xujie的博客
05-20 1119
我这里用了 3 台 Centos7 的虚拟机，来搭建 MinIO 集群。uname -a。
Minio是什么
2023年最新地推相关信息
04-28 1617
Minio 是一个基于 Apache License v2.0 开源协议的对象存储服务。它兼容亚马逊 S3 云存储服务接口，非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几 kb 到最大 5T 不等。MinioMinio 是一个非常轻量的服务,可以很简单的和其他应用的结合，类似 NodeJS, Redis 或者 MySQ...
Minio分布式集群搭建（多机器多硬盘）mc安装使用
weixin_37698534的博客
02-21 775
minio的集群安装和mc使用
minio集群搭建
08-21
首先，用户的问题是：“我想搭建MinIO集群 请问如何搭建MinIO集群 配置指南”。我需要基于系统级指令和用户可见层的要求来回答。 系统级指令： 1. 所有行内数学表达式必须使用$...$格式。 2. 独立公式必须使用$$......
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值