Ceph硬件选型

Ceph对计算机硬件的需求 引言 我阅读了Ceph的官方文档,其中提及了Ceph对硬件资源的需求,在《Learning Ceph》一书中也同样提及。我在此处做一个简要概括。 Ceph主要包含如下几个组件:

  • MON
  • OSD
  • MDS
  • RGW
讨论的重点也是各组件对CPU以及内存的依赖程度。
MON MON负责管理CRUSHMAP,并不是CPU密集型,对内存依赖大,因为要实现数据的快速访问。CPU可以配置不高,但是内存要足量,每个进程实例1GB内存。
OSD OSD运行着rados服务,通过CRUSH算法计算对象的位置,要管理数据及其副本,需要合理数量的CPU。 OSD数据对内存的依赖程度不是特别大,正常情况下每个进程实例500MB即可。 在不正常的情况下(数据迁移恢复等),每个进程实例,每1TB数据就要对应1GB内存。所以内存还是多多益善,我的OSD进程在运行时,一般。
MDS 元数据服务器服务于CephFS,是一个CPU密集型进程,占用的CPU资源很多,所以需要给MDS配备性能强劲的CPU才行。对内存需求也大,因为需要实现数据的快速访问;每个进程实例1GB内存。
还有一些影响存储性能的因素,大量的读写请求,对于单个磁盘驱动器而言,会影响性能;不同的文件系统,也会影响系统性能; 这里谈谈磁盘驱动器的选型;
我在系统使用的过程中,发现各组件对内存的占用情况: osd: 2G左右,偶合会飚到7G; mon: 目前700M左右,曾经飙到过8G,还导致系统内存不足,后来我逐一重启了下mon进程; rgw: 目前占用的内存20G;
机械磁盘:
  1. 推荐的磁盘大小,最小不过1TB;
  2. 磁盘越大,单位GB的存储空间越小,但是需要的内存越多,尤其是在recovery,backfill以及reblance时;
  3. 不推荐将一个盘分多个区,再跑多个OSD进程;
  4. 不推荐OSD和mon, 或者OSD和mds跑在同一个硬盘上;
  5. 很多 slow osd的问题往往是由于对磁盘设备的过度使用,请使用专用的磁盘用于安装操作系统以及软件;专用的磁盘设备用于osd daemon, 专门的磁盘设备用于journal。
SSD磁盘: 使用SSD可以有效的提升系统性能,但是在决定使用SSD之前,需要考虑几个问题: 对于写性能要求高的情况,要购买合适的SSD,有些便宜的SSD,可能写性能还不如好的机械硬盘; 顺序写:当你把一块SSD作为多个磁盘的journal时,有可能几个OSD同时写journal,而写journal是顺序写,所以需要关注顺序写性能; 注意分区对齐;
网卡: 至少2个1Gbps的网卡,一个用于public network,用于和系统的使用者交互;一个用于cluster network,用于数据副本的拷贝,recovery, backfill等之用。
参考文档: http://docs.ceph.com/docs/master/start/hardware-recommendations/
【Ceph硬件选型】转载于:https://my.oschina.net/myspaceNUAA/blog/702915

    推荐阅读