两种MinIO分布式集群部署方式

已于 2024-10-03 20:42:47 修改
阅读量3.7k 收藏 26
点赞数 29
分类专栏： 存储 k8s&docker 文章标签： 分布式 c# 数据库 minio 存储
于 2024-01-09 08:36:24 首次发布
©著作权归作者所有：来自CSDN博客作者SRE成长记原创作品，请联系作者获取转载授权，否则将追究法律责任
本文链接：https://blog.csdn.net/WF_crystal/article/details/135470869
版权

在这里插入图片描述

转载说明：如果您喜欢这篇文章并打算转载它，请私信作者取得授权。感谢您喜爱本文，请文明转载，谢谢。

相关文章推荐：
对象存储MinIO的简介与部署
记录一次跨越16个月的minio版本升级与数据迁移
MinIO集群怎么接入Prometheus监控？(上)
MinIO集群怎么接入Prometheus监控？（下）

关于分布式集群MinIo

单机Minio服务存在单点故障，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线，才能创建新的对象。

例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服务器器宕机，这个集群仍然是可读的，不过你需要9台服务器才能写数据。

注意：只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘；也可以使用4个节点，每个节点2块硬盘，诸如此类。

部署分布式MinIO集群，需要注意：

1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任，为此，建议在执行MinIO server命令前，为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。如果不设置，则默认是minioadmin/minioadmin。
2、MinIO创建擦除编码集，每个集包含4到16个驱动器。分布式集群提供的驱动器总数必须是这些数字之一的倍数。
3、MinIO选择最大的EC集合大小，该集合将划分为给定的驱动器总数或节点总数——确保保持均匀分布，即每个节点参与每个集合的驱动器数量相等。
4、每个对象都写入一个EC集，因此分布在不超过16个驱动器上。
5、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。
6、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。
7、运行分布式MinIO实例的服务器之间的间隔应该小于15分钟。部署前先启动服务器NTP时间同步，以确保分布式集群内的服务器时间一致。
8、应该定义并导出MINIO_DOMAIN环境变量以支持桶DNS风格。
9、MinIO目前在Windows上的运行尚不成熟，生产环境慎重使用。

分布式MinIO集群部署

1、虚拟机部署

1.1 部署规划：

一共5台服务器。MinIO集群部署在4台服务器上，每个服务器1块磁盘；剩余一台服务器用于部署Nginx负载均衡。
image.png

1.2 部署步骤：

1.2.1 四台服务器开启时间同步，命令：

# yum -y install ntp
# systemctl enable ntpd
# systemctl start ntpd
# timedatectl set-ntp yes
# ntpdate -u cn.pool.ntp.org
# ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime   
# watch -n 1 'date'

1.2.2 创建相关目录，并下载minio

# mkdir /home/minio/{app,config,data,logs} -p
# cd /home/minio/app
# wget https://dl.min.io/server/minio/release/linux-amd64/minio
# chmod +x minio

1.2.3 创建部署启动脚本：
启动脚本run.sh:

#!/bin/bash
export MINIO_ACCESS_KEY=admin
export MINIO_SECRET_KEY=admin@minio
/home/minio/app/minio server --config-dir /home/minio/config  --console-address ":9001" \    
http://10.98.66.62:9000/home/minio/data \
http://10.98.66.63:9000/home/minio/data \
http://10.98.66.64:9000/home/minio/data \
http://10.98.66.65:9000/home/minio/data >/home/minio/logs/start.txt 2>&1 &

启动脚本有一个参数–config-dir /home/minio/config 是指定配置文件路径的，如果没有指定这个参数，那么默认就会在~/.minio下生成相关的文件

1.2.4 启动应用：

# sh run.sh

4个节点都重复以上4个部署步骤。待4个节点都成功启动后，集群启动成功。
注意：
如果只启动了1个节点，那么可能发现9001端口没有启动，继续等到4个节点都启动后再检查9001,会发现就启动成功了。

1.3 配置Nginx代理
[root@test-66 domains]# cat minio-cluster.conf 
upstream minio_console {
    server 10.98.66.62:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.63:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.64:9001 max_fails=3 fail_timeout=5s;
    server 10.98.66.65:9001 max_fails=3 fail_timeout=5s;
}
upstream minio_api {
    server 10.98.66.62:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.63:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.64:9000 max_fails=3 fail_timeout=5s;
    server 10.98.66.65:9000 max_fails=3 fail_timeout=5s;
}

server {
    listen          9001;   #或者用80端口也可以
    server_name     10.98.66.66;    #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    location / {
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_console;
        expires                 0;
    }
}

server {
    listen          9000;
    server_name     10.98.66.66;   #可以用域名
    access_log      /home/minio/logs/minio.com_access.log main;
    error_log       /home/minio/logs/minio.com_error.log warn;
    #root            /home/minio/app/;

    location / {
        proxy_next_upstream     http_500 http_502 http_503 http_504 error timeout invalid_header;
        proxy_set_header        Host  $host;
        proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass              http://minio_api;
        expires                 0;
    }
}
[root@test-66 domains]#

因为没有用域名，所以访问的时候就用的NginxIP访问：http://10.98.66.66:9001，登录后，就能看到集群4个节点都是OK状态：
image.png
在页面创建一个Bucket:
image.png
因为是集群状态，所以图上圈出来的4个配置现在是可用状态了。
bucket创建好之后，到4台MinIo节点的/home/minio/data目录看，都存在test目录了，四个节点是同步的：
image.png

2、在rancher上部署MinIo集群

部署步骤：

  • 创建4个工作负载
  • 创建service
  • 创建负载均衡
2.1 创建工作负载截图minio-1：

image.png
上图中入口启动命令：

minio server http://minio-1:9000/data/ http://minio-2:9000/data/ http://minio-3:9000/data/ http://minio-4:9000/data/ --console-address :9001

minio-1成功启动后，按照minio-1克隆minio-2、minio-3、minio-4，注意修改工作负载名、hostname、数据卷挂载：
image.png

2.2 创建service

image.png

2.3 创建负载均衡

image.png
image.png

2.4 登录验证

image.png
登录后，能看到刚刚部署的节点：
image.png
创建一个名为rancher的bucket：
image.png
然后查看rancher上4个MinIO节点的/data目录，都存在rancher目录，数据同步也OK：
image.png

Minio分布式集群搭建部署
qq_42875105的博客
06-10 7816
Minio分布式集群搭建部署 分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。MinioMinio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。 Minio分布式部署的好处 一 、数据保护 分布式 Minio 采用纠删码来防范多个节点宕机和位衰减。 分布式 Minio 至少需要 4 个节点（4台服务器），使用分布式 Minio 就 自动引入了纠删码功能。 纠删码是一
minio集群部署
热门推荐
派大星的不眠博客
12-08 1万+
分布式Minio可以在多个服务器节点上，多块硬盘上共享存储空间，提供对象存储服务。分布式Minio由于多节点，避免了单点故障，保证文件存储的高可用。
Minio集群部署
Moolight_shadow的专栏
03-01 1万+
1. 准备部署 1.1. 版本说明 1.2. 分区配置 2. 部署minio 2.1. 二进制包 2.2. 启动minio 3. prometheus监控 3.1. 安装mc 3.2. 配置mc 4. 附录 4.1. 数据在磁盘的组织形式 4.1.1. 小文件 4.1.1.1. 探索 4.1.1.2. 结论 4.1.2. 大文件 4.1.2.1. 结论 4.2. 扩容 4.3. 更换硬盘/更换主机 4.4. 推荐配置 [4.5. server pool1](#45-..
MinIO分布式集群部署+高可用
最新发布
教Linux的李老师
04-14 1390
这也是官方的建议要求，这样的话就可以做到挂掉一台机器集群依然可以读写，挂掉两台机器集群依然可读，本文仅以四台机器为例子说明如何搭建集群。注意：需要将新建的目录挂在到对应的磁盘下,磁盘不挂载好，集群启动会报错.来构建集群，这是因为在一个n节点的分布式minio集群中，集群模式部署,minio的存储路径必须是。因此，对于一个4节点的集群，即使有。野火minio，二次开发版本。根据minio的架构设计，使用 MinIO客户端。MinIO 配置文件。我们这次实验由下面这。
高性能分布式对象存储——MinIO实战操作（MinIO扩容）
匠人精神，持之以恒！
08-08 7307
MinIO 是在 GNU Affero 通用公共许可证 v3.0 下发布的高性能对象存储。它与 Amazon S3 云存储服务 API 兼容。使用 MinIO 为机器学习、分析和应用程序数据工作负载构建高性能基础架构。
Minio 分布式集群部署
Gblfy_Blog
09-21 6529
文章目录一、分布式存储可靠性常用方法1. 概述2. 冗余3. 校验二、分布式Minio优势2.1. 数据保护2.2. 高可用2.3.一致性三、运行分布式Minio3.1. 启动方案简述3.2. 案例说明3.3. 制作分布式启动脚本3.4. 制作伪分布式启动脚本3.5. 登录minio四、分布式Minio负载均衡4.1. nginx安装4.2. 配置nginx4.3. 停止nginx服务4.4. 重新启动nginx4.5. 登录monio 分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象.
minio分布式集群部署
李振伟的博客
12-30 4893
分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。MinioMinio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
MINIO部署
qq_39522120的博客
10-13 8613
单机部署minio文件服务器，并集成到java中
MinIO分布式集群部署
三年喂的博客
05-17 5459
注意：启动之前要确保数据目录是独立挂载硬盘，并且目录为空，不然启动不成功！是因为nginx配置没有支持webscoket，需要添加以下配置。这里使用两台服务器演示案例，以下内容两台服务器执行相同动作。使用API上传文件时，response响应nginx403。配置代理时有一些坑，需要注意。使用控制台时无法访问。
minio分布式部署搭建文档及安装程序
02-16
3. **部署模式**：MinIO支持两种部署模式——erasure code模式和镜像复制模式。erasure code模式在节点故障时提供更好的数据恢复能力，而镜像复制模式则提供了更快速的数据访问和恢复。 4. **集群管理**：MinIO的`...
minio分布式集群部署（三）
super_vegetable_bird的博客
09-11 1323
采用此种方式实现，如Hadoop的文件系统（3个副本），Redis的集群，MySQL的主备模式等。作用，一个校验，通过对数据进行校验和(checksum)进行计算，可以检查数据是否完整，有无损坏或。冗余法最简单直接，即对存储的数据进行副本备份，当数据出现丢失，损坏，即可使用备份内容进行恢。计算，还原丢失或损坏的数据，可以在保证数据可靠的前提下，降低冗余，如单机硬盘存储中的RAID。分布式存储，很关键的点在于数据的可靠性，即保证数据的完整，不丢失，不损坏。复，而副本备份的多少，决定了数据可靠性的高低。
Minio 分布式模式部署
qq_23191379的博客
06-10 2596
Minio 分布式对象存储
Minio分布式集群搭建部署以及扩容
Richardlygo的博客
11-11 1671
分布式 Minio 可以让你将多块硬盘或者多台服务器组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式 Minio 避免了单点故障。MinioMinio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。
MinIO单机、集群部署
m0_37559973的博客
09-18 2487
MinIO单机、集群部署
Minio部署（单机/单机EC/集群）
sosozha的博客
07-07 1万+
minio搭建
CAN长字节DM1报文
07-28
CAN长字节DM1报文是指在CAN总线上传输的长度超过8个字节的DM1报文。根据引用\[1\]，当要传输的数据长度超过8个字节时，首先使用TPCM进行广播，广播内容包含即将传输报文的PGN、总的数据包长度等信息，然后使用TP.DT进行数据传输。相邻两个TP.DT之间的时间间隔是50ms到200ms。根据引用\[2\]，当字节数大于8时，将会使用多帧传输参数组。根据引用\[3\]，DM1报文是Diagnostic Message 1, Active Diagnostic Trouble Codes的缩写，用于点亮故障指示灯、红色停机灯等，并周期性播报控制器中处于激活状态的故障码。DM1报文的格式包括各个字节的定义，如故障指示灯、红色停机灯、琥珀色警告指示灯等。因此，CAN长字节DM1报文是指在CAN总线上传输的长度超过8个字节的DM1报文，用于传输更多的故障码信息。 #### 引用[.reference_title] - *1* [车载通信——J1939 DM1](https://blog.csdn.net/weixin_64064747/article/details/130193432)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [J1939广播DM1报文](https://blog.csdn.net/mengdeguodu_/article/details/108173263)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [J1939商用车在线诊断DM1报文](https://blog.csdn.net/traveller93/article/details/120735912)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^control_2,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值