Minio分布式集群搭建 minio

一、分布式Minio快速入门

分布式Minio可以让你将多块硬盘（甚至在不同的机器上）组成一个对象存储服务。由于硬盘分布在不同的节点上，分布式Minio避免了单点故障。

1、分布式Minio有什么好处?
在大数据领域，通常的设计理念都是无中心和分布式。Minio分布式模式可以帮助你搭建一个高可用的对象存储服务，你可以使用这些存储设备，而不用考虑其真实物理位置。

数据保护

分布式Minio采用 erasure code（纠删码）来防范多个节点宕机和位衰减bit rot。
分布式Minio至少需要4个节点，使用分布式Minio自动引入了纠删码功能。

高可用

单机Minio服务存在单点故障，相反，如果是一个N节点的分布式Minio,只要有N/2节点在线，你的数据就是安全的。不过你需要至少有N/2+1个节点 Quorum 来创建新的对象。
例如，一个8节点的Minio集群，每个节点一块盘，就算4个节点宕机，这个集群仍然是可读的，不过你需要5个节点才能写数据。

限制

分布式Minio单租户存在最少4个盘最多16个盘的限制（受限于纠删码）。这种限制确保了Minio的简洁，同时仍拥有伸缩性。如果你需要搭建一个多租户环境，你可以轻松的使用编排工具（Kubernetes）来管理多个Minio实例。
注意，只要遵守分布式Minio的限制，你可以组合不同的节点和每个节点几块盘。比如，你可以使用2个节点，每个节点4块盘，也可以使用4个节点，每个节点两块盘，诸如此类。

一致性

Minio在分布式和单机模式下，所有读写操作都严格遵守read-after-write一致性模型。
二、Minio分布式集群搭建生产环境建议最少4节点
实验环境为2台
10.133.136.208
10.133.136.209
1.minio wget安装

#两台机器操作相同[root@p0-tkhijbs-jcsszy-web37 data]# wget https://dl.minio.io/server/minio/release/linux-amd64/minio [root@p0-tkhijbs-jcsszy-web37 data]# chmod +x minio

2.配置启动服务

启动脚本

#两台机器操作相同 [root@p0-tkhijbs-jcsszy-web37 data]# mdkir -pv minio-data1minio-data2[root@p0-tkhijbs-jcsszy-web37 data]# ls mcminiominio-data1minio-data2miniologsminio-run.shminio-service.sh[root@p0-tkhijbs-jcsszy-web37 data]# cat minio-run.sh #!/bin/bash export MINIO_ACCESS_KEY=Minio export MINIO_SECRET_KEY=SCxxxxxxx /data/minio server \ http://10.133.136.208/data/minio-data1http://10.133.136.208/data/minio-data2 \ http://10.133.136.209/data/minio-data1http://10.133.136.209/data/minio-data2 \

service服务配置

#两台机器操作相同 [root@p0-tkhijbs-jcsszy-web37 ~]# cat /usr/lib/systemd/system/minio.service [Unit] Description=Minio service Documentation=https://docs.minio.io/ [Service] WorkingDirectory=/data/ ExecStart=/data/minio-run.sh Restart=on-failure RestartSec=5 [Install] WantedBy=multi-user.target

启动测试

#两台机器操作相同 [root@p0-tkhijbs-jcsszy-web38 data]# systemctl daemon-reload [root@p0-tkhijbs-jcsszy-web37 data]# systemctl start minio [root@p0-tkhijbs-jcsszy-web37 data]# systemctl enable minio Created symlink from /etc/systemd/system/multi-user.target.wants/minio.service to /usr/lib/systemd/system/minio.service. [root@p0-tkhijbs-jcsszy-web37 data]# systemctl status minio ● minio.service - Minio service Loaded: loaded (/usr/lib/systemd/system/minio.service; enabled; vendor preset: disabled) Active: active (running) since Mon 2021-10-11 18:41:09 CST; 15h ago Docs: https://docs.minio.io/ Main PID: 10173 (minio-run.sh) CGroup: /system.slice/minio.service ├─10173 /bin/bash /data/minio-run.sh └─10174 /data/minio server http://10.133.136.208/data/minio-data1 http://10.133.136.208/data/minio-data2 http://10.133.136.209/data/minio-data1 http://10...Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: DeploymentID: 12a29ac6-fc17-4d9e-a242-916683d4d661 Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Error: disk not found: http://10.133.136.209:9000/data/minio-data1 (*errors.errorString) Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 2: cmd/erasure.go:175:cmd.getDisksInfo.func1() Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: 1: internal/sync/errgroup/errgroup.go:123:errgroup.(*Group).Go.func1() Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Use `mc admin info` to look for latest server/disk info Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Status:2 Online, 2 Offline. Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: API: http://10.133.136.208:9000http://127.0.0.1:9000 Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Console: http://10.133.136.208:46665 http://127.0.0.1:46665 Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: Documentation: https://docs.min.io Oct 11 18:41:40 p0-tkhijbs-jcsszy-web37 minio-run.sh[10173]: WARNING: Console endpoint is listening on a dynamic port (46665), please use --console-address ...ic port. Hint: Some lines were ellipsized, use -l to show in full.#10.133.136.208 [root@p0-tkhijbs-jcsszy-web37 data]# netstat -tnlp Active Internet connections (only servers) Proto Recv-Q Send-Q Local AddressForeign AddressStatePID/Program name tcp00 0.0.0.0:220.0.0.0:*LISTEN6200/sshd tcp00 0.0.0.0:100500.0.0.0:*LISTEN6852/zabbix_agentd tcp600 :::22:::*LISTEN6200/sshd tcp600 :::19100:::*LISTEN6049/node_exporter tcp600 :::9000:::*LISTEN10174/minio tcp600 :::46665:::*LISTEN10174/minio #10.133.136.209 [root@p0-tkhijbs-jcsszy-web38 ~]# netstat -tnlp Active Internet connections (only servers) Proto Recv-Q Send-Q Local AddressForeign AddressStatePID/Program name tcp00 0.0.0.0:100500.0.0.0:*LISTEN6816/zabbix_agentd tcp00 0.0.0.0:220.0.0.0:*LISTEN6208/sshd tcp600 :::34044:::*LISTEN7467/minio tcp600 :::19100:::*LISTEN6082/node_exporter tcp600 :::9000:::*LISTEN7467/minio tcp600 :::22:::*LISTEN6208/sshd

【Minio分布式集群搭建】

文章图片

#10.133.136.209 [root@p0-tkhijbs-jcsszy-web37 data]# cd minio-data1/ [root@p0-tkhijbs-jcsszy-web37 minio-data1]# ls test [root@p0-tkhijbs-jcsszy-web37 minio-data1]# cd test/ [root@p0-tkhijbs-jcsszy-web37 test]# ls test-sean.txt [root@p0-tkhijbs-jcsszy-web37 test]# pwd /data/minio-data1/test [root@p0-tkhijbs-jcsszy-web37 test]# ll /data/minio-data2/ .minio.sys/ test/ [root@p0-tkhijbs-jcsszy-web37 test]# ll /data/minio-data2/test/ total 0 drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt #10.133.136.209 [root@p0-tkhijbs-jcsszy-web38 ~]# ls anaconda-ks.cfg [root@p0-tkhijbs-jcsszy-web38 ~]# cd /data/minio-data1/test/ [root@p0-tkhijbs-jcsszy-web38 test]# ls test-sean.txt [root@p0-tkhijbs-jcsszy-web38 test]# ll /data/minio-data2/test/ total 0 drwxr-xr-x 2 root root 21 Oct 12 10:41 test-sean.txt