一 Rook概述 1.1 Ceph简介 Ceph是一种高度可扩展的分布式存储解决方案，提供对象、文件和块存储。在每个存储节点上，将找到Ceph存储对象的文件系统和Ceph OSD（对象存储守护程序）进程。在Ceph集群上，还存在Ceph MON（监控）守护程序，它们确保Ceph集群保持高可用性。
更多Ceph介绍参考：https://www.cnblogs.com/itzgr/category/1382602.html
1.2 Rook简介 Rook 是一个开源的cloud-native storage编排, 提供平台和框架；为各种存储解决方案提供平台、框架和支持，以便与云原生环境本地集成。目前主要专用于Cloud-Native环境的文件、块、对象存储服务。它实现了一个自我管理的、自我扩容的、自我修复的分布式存储服务。
Rook支持自动部署、启动、配置、分配（provisioning）、扩容/缩容、升级、迁移、灾难恢复、监控，以及资源管理。为了实现所有这些功能，Rook依赖底层的容器编排平台，例如 kubernetes、CoreOS 等。。
Rook 目前支持Ceph、NFS、Minio Object Store、Edegefs、Cassandra、CockroachDB 存储的搭建。
Rook机制：
Rook 提供了卷插件，来扩展了 K8S 的存储系统，使用 Kubelet 代理程序 Pod 可以挂载 Rook 管理的块设备和文件系统。
Rook Operator 负责启动并监控整个底层存储系统，例如 Ceph Pod、Ceph OSD 等，同时它还管理 CRD、对象存储、文件系统。
Rook Agent 代理部署在 K8S 每个节点上以 Pod 容器运行，每个代理 Pod 都配置一个 Flexvolume 驱动，该驱动主要用来跟 K8S 的卷控制框架集成起来，每个节点上的相关的操作，例如添加存储设备、挂载、格式化、删除存储等操作，都有该代理来完成。
更多参考如下官网：
https://rook.io
https://ceph.com/
二 Rook部署 2.1 前期规划 请自动创建好kubernetes集群
集群版本 v1.21.5
内核要求
RBD

lsmod|grep rbd

CephFS
如果你想使用cephfs,内核最低要求是4.17。
磁盘 sdb
主机内核 5.4.182-1.el7.elrepo.x86_64
集群节点 estarhaohao-centos7-master01 estarhaohao-centos7-master02 estarhaohao-centos7-master03
用到的所有文件请自行到我的gitee仓库拉取https://gitee.com/estarhaohao/rook.git
2.2 获取YAML [root@k8smaster01 ~]# git clone https://gitee.com/estarhaohao/rook.git
2.3 配置节点标签

[root@estarhaohao-centos7-master01 ~]# kubectl label nodes{estarhaohao-centos7-master01,estarhaohao-centos7-master02,estarhaohao-centos7-master03} app.rook.role=csi-provisioner app.rook.plugin=csi app.rook=storage ceph-mon=enabled ceph-osd=enabled ceph-mgr=enabled

2.4 部署Rook Operator

[root@estarhaohao-centos7-master01 ceph]# kubectl apply -f common.yaml [root@estarhaohao-centos7-master01 ceph]# kubectl apply -f crds.yaml#创建资源 [root@estarhaohao-centos7-master01 ceph]# kubectl apply -f operator.yaml configmap/rook-ceph-operator-config created deployment.apps/rook-ceph-operator created [root@estarhaohao-centos7-master01 ceph]# kubectl get pod -n rook-ceph NAMEREADYSTATUSRESTARTSAGE rook-ceph-operator-56496b9f8f-dblnq1/1Running03m37s rook-discover-2jp7z1/1Running02m53s rook-discover-hqq271/1Running02m53s rook-discover-sx8c61/1Running02m53s

创建成功后创建cluster
2.5 创建cluster

[root@estarhaohao-centos7-master01 ceph]# kubectl get pod -n rook-ceph [root@estarhaohao-centos7-master01 ceph]# kubectl get pod -n rook-ceph NAMEREADYSTATUSRESTARTSAGE csi-cephfsplugin-mwfg83/3Running05m53s csi-cephfsplugin-provisioner-6446d9c9df-4r5xq6/6Running05m52s csi-cephfsplugin-provisioner-6446d9c9df-rkd4k6/6Running05m52s csi-cephfsplugin-vrlwm3/3Running05m53s csi-cephfsplugin-xfm8n3/3Running05m53s csi-rbdplugin-d87pk3/3Running05m54s csi-rbdplugin-k292p3/3Running05m54s csi-rbdplugin-provisioner-6998bd5986-j77296/6Running05m53s csi-rbdplugin-provisioner-6998bd5986-rp2wk6/6Running05m53s csi-rbdplugin-r56c23/3Running05m54s rook-ceph-crashcollector-estarhaohao-centos7-master01-564fhkv281/1Running04m7s rook-ceph-crashcollector-estarhaohao-centos7-master02-547djvsw21/1Running03m18s rook-ceph-crashcollector-estarhaohao-centos7-master03-787cdjq4b1/1Running04m20s rook-ceph-mgr-a-5bbf8f48d7-pdgkt1/1Running03m51s rook-ceph-mon-a-77d85f8944-56cgc1/1Running05m59s rook-ceph-mon-b-76d6564885-vxxhd1/1Running05m30s rook-ceph-mon-c-85858494c5-xjpf91/1Running04m7s rook-ceph-operator-56496b9f8f-dblnq1/1Running09m53s rook-ceph-osd-0-5c4f45d76-n6qc61/1Running03m24s rook-ceph-osd-1-7f7f575577-v7lg51/1Running03m21s rook-ceph-osd-2-5677f9d654-wzzzq1/1Running03m18s rook-ceph-osd-prepare-estarhaohao-centos7-master01-fvxq90/1Completed03m47s rook-ceph-osd-prepare-estarhaohao-centos7-master02-x7swq0/1Completed03m46s rook-ceph-osd-prepare-estarhaohao-centos7-master03-9vhfc0/1Completed03m45s rook-discover-2jp7z1/1Running09m9s rook-discover-hqq271/1Running09m9s rook-discover-sx8c61/1Running09m9s

提示：若部署失败，master节点执行[root@k8smaster01 ceph]# kubectl delete -f ./
所有node节点执行如下清理操作：
rm -rf /var/lib/rook
/dev/mapper/ceph-*
dmsetup ls
dmsetup remove_all
dd if=/dev/zero of=/dev/sdb bs=512k count=1
wipefs -af /dev/sdb
2.6 部署Toolbox toolbox是一个rook的工具集容器，该容器中的命令可以用来调试、测试Rook，对Ceph临时测试的操作一般在这个容器内执行。

[root@estarhaohao-centos7-master01 ceph]# kubectl apply -f toolbox.yaml rook-ceph-tools-8574b74c5d-65x8r1/1Running04s

2.7 测试rook-ceph

可以添加别名 就不用这样写这么多命令了 [root@estarhaohao-centos7-master01 ceph]# kubectl -n rook-ceph exec -it $(kubectl -n rook-ceph get pod -l "app=rook-ceph-tools" -o jsonpath='{.items[0].metadata.name}') --- ceph -s cluster: id:2fb51620-1a29-4d64-9ad9-616e6435924a health: HEALTH_OKservices: mon: 3 daemons, quorum a,b,c (age 28m) mgr: a(active, since 27m) mds: myfs:1 {0=myfs-a=up:active} 1 up:standby-replay osd: 3 osds: 3 up (since 27m), 3 in (since 27m)data: pools:4 pools, 97 pgs objects: 30 objects, 49 KiB usage:3.0 GiB used, 897 GiB / 900 GiB avail pgs:97 active+cleanio: client:852 B/s rd, 1 op/s rd, 0 op/s wr [root@estarhaohao-centos7-master01 ~]# ceph osd tree IDCLASSWEIGHTTYPE NAMESTATUSREWEIGHTPRI-AFF -10.87900root default -30.29300host estarhaohao-centos7-master01 0hdd0.29300osd.0up1.000001.00000 -70.29300host estarhaohao-centos7-master02 2hdd0.29300osd.2up1.000001.00000 -50.29300host estarhaohao-centos7-master03 1hdd0.29300osd.1up1.000001.00000 到这基本没什么问题了

三 Ceph 块存储 3.1 创建StorageClass 在提供（Provisioning）块存储之前，需要先创建StorageClass和存储池。K8S需要这两类资源，才能和Rook交互，进而分配持久卷（PV）。
解读：如下配置文件中会创建一个名为replicapool的存储池，和rook-ceph-block的storageClass。

[root@estarhaohao-centos7-master01 rbd]# pwd /opt/rook/cluster/examples/kubernetes/ceph/csi/rbd [root@estarhaohao-centos7-master01 rbd]# kubectl apply -f storageclass.yaml [root@estarhaohao-centos7-master01 rbd]# kubectl get sc NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE rook-ceph-blockrook-ceph.rbd.csi.ceph.comDeleteImmediatetrue64m

3.2 测试rbd

[root@estarhaohao-centos7-master01 rbd]# kubectl get sc NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE rook-ceph-blockrook-ceph.rbd.csi.ceph.comDeleteImmediatetrue4s [root@estarhaohao-centos7-master01 rbd]# kubectl apply -f pod.yaml pod/csirbd-demo-pod created [root@estarhaohao-centos7-master01 rbd]# kubectl apply -f pvc.yaml persistentvolumeclaim/rbd-pvc created [root@estarhaohao-centos7-master01 rbd]# kubectl get pvc rbd-pvc NAMESTATUSVOLUMECAPACITYACCESS MODESSTORAGECLASSAGE rbd-pvcBoundpvc-9f69bfab-a81b-41ea-93c7-59966661c8671GiRWOrook-ceph-block5s [root@estarhaohao-centos7-master01 rbd]# kubectl get pod csirbd-demo-pod NAMEREADYSTATUSRESTARTSAGE csirbd-demo-pod1/1Running070s

running状态基本没问题了
四 Ceph 文件存储 4.1 创建CephFilesystem 默认Ceph未部署对CephFS的支持，使用如下官方提供的默认yaml可部署文件存储的filesystem。

[root@estarhaohao-centos7-master01 ceph]# pwd /opt/rook/cluster/examples/kubernetes/ceph [root@estarhaohao-centos7-master01 ceph]# kubectl apply -f filesystem.yaml [root@estarhaohao-centos7-master01 ceph]# kubectl get cephfilesystems.ceph.rook.io -n rook-ceph NAMEACTIVEMDSAGE myfs155m

4.2 创建cephfs storageclass 使用如下官方提供的默认yaml可部署文件存储的StorageClass。

[root@estarhaohao-centos7-master01 cephfs]# pwd /opt/rook/cluster/examples/kubernetes/ceph/csi/cephfs [root@estarhaohao-centos7-master01 cephfs]# kubectl apply -f storageclass.yaml [root@estarhaohao-centos7-master01 cephfs]# kubectl get sc NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE rook-ceph-blockrook-ceph.rbd.csi.ceph.comDeleteImmediatetrue70m rook-cephfsrook-ceph.cephfs.csi.ceph.comDeleteImmediatetrue56m

4.3 测试cephfs

[root@estarhaohao-centos7-master01 cephfs]# kubectl apply -f pvc.yaml [root@estarhaohao-centos7-master01 cephfs]# kubectl apply -f pod.yaml [root@estarhaohao-centos7-master01 cephfs]# kubectl get pvc NAMESTATUSVOLUMECAPACITYACCESS MODESSTORAGECLASSAGE cephfs-pvcBoundpvc-e0d04036-a37c-4544-b71f-ac53f79c78321GiRWOrook-cephfs57m [root@estarhaohao-centos7-master01 cephfs]# kubectl get pod NAMEREADYSTATUSRESTARTSAGE csicephfs-demo-pod1/1Running057m

cephfs基本没问题了
五 Ceph 对象存储 5.1 创建CephObjectStore 【kubernetes配置后端存储|kubernetes配置后端存储 rook-ceph】在提供（object）对象存储之前，需要先创建相应的支持，使用如下官方提供的默认yaml可部署对象存储的CephObjectStore。

[root@estarhaohao-centos7-master01 ceph]# pwd /opt/rook/cluster/examples/kubernetes/ceph [root@estarhaohao-centos7-master01 ceph]# kubectl apply -f object.yaml [root@estarhaohao-centos7-master01 ceph]# kubectl get pod -n rook-ceph | grep rgw rook-ceph-rgw-my-store-a-57dd44d5b-lkgfw1/1Running02m51s

5.2 创建StorageClass
使用如下官方提供的默认yaml可部署对象存储的StorageClass。

[root@estarhaohao-centos7-master01 ceph]# kubectl apply -f storageclass-bucket-delete.yaml storageclass.storage.k8s.io/rook-ceph-delete-bucket created [root@estarhaohao-centos7-master01 ceph]# kubectl get sc NAMEPROVISIONERRECLAIMPOLICYVOLUMEBINDINGMODEALLOWVOLUMEEXPANSIONAGE rook-ceph-blockrook-ceph.rbd.csi.ceph.comDeleteImmediatetrue85m rook-ceph-delete-bucketrook-ceph.ceph.rook.io/bucketDeleteImmediatefalse5s rook-cephfsrook-ceph.cephfs.csi.ceph.comDeleteImmediatetrue72m

5.3 创建bucket 使用如下官方提供的默认yaml可部署对象存储的bucket。
[root@k8smaster01 ceph]# kubectl create -f object-bucket-claim-delete.yaml
待定。。。。。

推荐阅读

• 

  特别淘气的孩子怎么教育
• 

  怎么样在股市里买定投基金 如何购买基金定投
• 

  国足为什么输球不暴怒,却因为一句玩笑而暴怒呢？
• 

  山东省教育云服务平台官方入口 山东省教育云服务平台官网入口
• 

  核酸检测igg阳性能转阴吗 核酸检测igg阳性是什么意思
• 

  小孩夏季适合吃什么鱼 小孩夏季适合吃什么鱼好
• 

  2023年春运购票日历表图片 2023年春运购票日历表
• 

  男模特培训班大约多少钱 模特的风格包括几种类型
• 

  小天才|小米米兔儿童手表5X测评：延续高配低价，挑战小天才“霸主”地位
• 

  Day8（21天|Day8：21天 | 罗马巴黎在行动《见识》4）
• 

  全球疫情8月份能结束吗？
• 

  帅康热水器质量怎么样 帅康热水器服务24小时热线电话
• 

  百身何赎是什么意思 百身难赎是什么意思
• 

  平安福主险和重疾共用保额吗
• 

  支付宝APP中将蚂蚁庄园关掉具体操作步骤
• 

  蜜蜂喜欢吃什么食物，蜜蜂喜欢吃什么食物啊
• 

  舔狗是什么意思梗
• 

  有哪些超级好听,时尚的纯音乐,英文曲,轻音乐？
• 

  商品的概念及与产品的区别
• 

  “银河补习班”是每位父母都得补上的“爱的必修课”

• 【Redis 系列】redis 学习七，那些你不知道的 redis 配置文件详解
• 4.Profile（多环境配置）
• 3.配置绑定
• Mybatis之typeAlias配置的3种方式小结
• spring|spring schedule实现动态配置执行时间
• Nginx各个模块的配置及常用配置选项
• nginx|nginx 负载均衡轮询方式配置详解
• 关于配置化的再思考（软件领域中的资源配置）
• 后端|大名鼎鼎的 Linux —— 进程，线程，协程
• docker:nginx+confd动态生成配置