两种MinIO分布式集群部署方式

但使书种多，会有岁稔时。这篇文章主要讲述两种MinIO分布式集群部署方式相关的知识，希望能为你提供帮助。
关于分布式集群MinIo单机Minio服务存在单点故障，如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线，数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线，才能创建新的对象。
例如，一个16节点的Minio集群，每个节点16块硬盘，就算8台服务器器宕机，这个集群仍然是可读的，不过你需要9台服务器才能写数据。
注意：只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块硬盘。比如，你可以使用2个节点，每个节点4块硬盘；也可以使用4个节点，每个节点2块硬盘，诸如此类。
部署分布式MinIO集群，需要注意：【两种MinIO分布式集群部署方式】1、分布式MinIO所有节点是通过MINIO_ROOT_USER和MINIO_ROOT_PASSWORD两个参数相互连接和信任，为此，建议在执行MinIO server命令前，为所有节点设置环境变量MINIO_ROOT_USER和MINIO_ROOT_PASSWORD。如果不设置，则默认是minioadmin/minioadmin。
2、MinIO创建擦除编码集，每个集包含4到16个驱动器。分布式集群提供的驱动器总数必须是这些数字之一的倍数。
3、MinIO选择最大的EC集合大小，该集合将划分为给定的驱动器总数或节点总数——确保保持均匀分布，即每个节点参与每个集合的驱动器数量相等。
4、每个对象都写入一个EC集，因此分布在不超过16个驱动器上。
5、建议所有运行分布式MinIO设置的节点都是同构的，即相同的操作系统、相同的硬盘数量和相同的网络互连。
6、MinIO分布式模式需要新的目录。建议单独挂载磁盘创建数据目录。
7、运行分布式MinIO实例的服务器之间的间隔应该小于15分钟。部署前先启动服务器NTP时间同步，以确保分布式集群内的服务器时间一致。
8、应该定义并导出MINIO_DOMAIN环境变量以支持桶DNS风格。
9、MinIO目前在Windows上的运行尚不成熟，生产环境慎重使用。
分布式MinIO集群部署 1、虚拟机部署
1.1 部署规划：一共5台服务器。MinIO集群部署在4台服务器上，每个服务器1块磁盘；剩余一台服务器用于部署nginx负载均衡。

文章图片

1.2 部署步骤：1.2.1 四台服务器开启时间同步，命令：

# yum -y install ntp # systemctl enable ntpd # systemctl start ntpd # timedatectl set-ntp yes # ntpdate -u cn.pool.ntp.org # ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # watch -n 1 date

1.2.2 创建相关目录，并下载minio

# mkdir /home/minio/app,config,data,logs -p # cd /home/minio/app # wget https://dl.min.io/server/minio/release/linux-amd64/minio # chmod +x minio

1.2.3 创建部署启动脚本：
启动脚本run.sh:

#!/bin/bash export MINIO_ACCESS_KEY=admin export MINIO_SECRET_KEY=admin@minio /home/minio/app/minio server --config-dir /home/minio/config--console-address ":9001" \\ http://10.98.66.62:9000/home/minio/data \\ http://10.98.66.63:9000/home/minio/data \\ http://10.98.66.64:9000/home/minio/data \\ http://10.98.66.65:9000/home/minio/data > /home/minio/logs/start.txt 2> & 1 &

启动脚本有一个参数--config-dir /home/minio/config是指定配置文件路径的，如果没有指定这个参数，那么默认就会在~/.minio下生成相关的文件
1.2.4 启动应用：

# sh run.sh

4个节点都重复以上4个部署步骤。待4个节点都成功启动后，集群启动成功。
注意：
如果只启动了1个节点，那么可能发现9001端口没有启动，继续等到4个节点都启动后再检查9001,会发现就启动成功了。
1.3 配置Nginx代理

[root@test-66 domains]# cat minio-cluster.conf upstream minio_console server 10.98.66.62:9001 max_fails=3 fail_timeout=5s; server 10.98.66.63:9001 max_fails=3 fail_timeout=5s; server 10.98.66.64:9001 max_fails=3 fail_timeout=5s; server 10.98.66.65:9001 max_fails=3 fail_timeout=5s; upstream minio_api server 10.98.66.62:9000 max_fails=3 fail_timeout=5s; server 10.98.66.63:9000 max_fails=3 fail_timeout=5s; server 10.98.66.64:9000 max_fails=3 fail_timeout=5s; server 10.98.66.65:9000 max_fails=3 fail_timeout=5s; server listen9001; #或者用80端口也可以 server_name10.98.66.66; #可以用域名 access_log/home/minio/logs/minio.com_access.log main; error_log/home/minio/logs/minio.com_error.log warn; location / proxy_next_upstreamhttp_500 http_502 http_503 http_504 error timeout invalid_header; proxy_set_headerHost$host; proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for; proxy_passhttp://minio_console; expires0; server listen9000; server_name10.98.66.66; #可以用域名 access_log/home/minio/logs/minio.com_access.log main; error_log/home/minio/logs/minio.com_error.log warn; #root/home/minio/app/; location / proxy_next_upstreamhttp_500 http_502 http_503 http_504 error timeout invalid_header; proxy_set_headerHost$host; proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for; proxy_passhttp://minio_api; expires0; [root@test-66 domains]#

因为没有用域名，所以访问的时候就用的NginxIP访问：http://10.98.66.66:9001，登录后，就能看到集群4个节点都是OK状态：

文章图片

在页面创建一个Bucket:

文章图片

因为是集群状态，所以图上圈出来的4个配置现在是可用状态了。
bucket创建好之后，到4台MinIo节点的/home/minio/data目录看，都存在test目录了，四个节点是同步的：

文章图片

2、在rancher上部署MinIo集群
部署步骤：

创建4个工作负载
创建service
创建负载均衡 2.1 创建工作负载截图minio-1：
文章图片

上图中入口启动命令：

minio server http://minio-1:9000/data/ http://minio-2:9000/data/ http://minio-3:9000/data/ http://minio-4:9000/data/ --console-address :9001

minio-1成功启动后，按照minio-1克隆minio-2、minio-3、minio-4，注意修改工作负载名、hostname、数据卷挂载：

文章图片

2.2 创建service
文章图片

2.3 创建负载均衡
文章图片

文章图片

2.4 登录验证
文章图片

登录后，能看到刚刚部署的节点：

文章图片

创建一个名为rancher的bucket：

文章图片

然后查看rancher上4个MinIO节点的/data目录，都存在rancher目录，数据同步也OK：

文章图片