iSCSI与multipath部署
概念：
- Linux自带的多路径软件叫做multipath，指服务器通过多条物理路径连接到块存储设备。
- 当因为主机HBA卡、线缆、交换机或者存储设备的RAID控制器故障等原因造成一条物理路径失效时,服务器可以将通过此物理路径的I/O转移到其他正常的物理路径上面，应用程序不会觉察到这种改变，从而提高系统的可用性。硬件方面需要服务器有2块或以上的HBA接口卡，网络上有两个或以上的交换机，块存储设备有两个或以上的冗余控制器，各个物理路径之间没有任何硬件相互依赖。多路径冗余I/O也可以实现I/O的负载均衡，提高系统性能，但主要还是一种容错机制。
[root@localhost ~]# yum -y install targetcli
2、配置iscsi
[root@localhost ~]# targetcli
Warning: Could not load preferences file /root/.targetcli/prefs.bin.
targetcli shell version 2.1.fb41
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'.# 步骤1：建立一个块存储，（名称yzl:storage1可自定义），/dev/sdb为新建的分区名称。
/> /backstores/block create yzl:storage1 /dev/sdb
Created block storage object yzl:storage1 using /dev/sdb.# 步骤2：配置ISCSITarget命名,注意：命名在同一子网内确保是唯一的，命名格式为：iqn.yyyy-mm.<主机名反写>:自定义名称（自定义名称内不能有下划线）
/> /iscsi create iqn.2020-04.com.example:localhost
Created target iqn.2020-04.com.example:localhost.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.# 步骤3：创建ACL允许ISCSI客户机连接,注意：iqn.2020-04.com.example:localhost为客户机ISCSI名称。
/> /iscsi/iqn.2020-04.com.example:localhost/tpg1/acls create iqn.2020-04.com.example:客户机主机名
Created Node ACL for iqn.2020-04.com.example:localhost# 步骤4：创建lun（target块设备的逻辑单元）
/> /iscsi/iqn.2020-04.com.example:localhost/tpg1/luns create /backstores/block/yzl:storage1
Created LUN 0.
Created LUN 0->0 mapping in node ACL iqn.2020-04.com.example:localhost# 步骤5：创建ip与端口,注：192.18.13.30为服务器IP；不指定端口默认为3260，此步骤似乎可以省略。。。后续还有设置验证用户名和密码，以及查看配置信息，都可省略。# 退出
/> exit
Global pref auto_save_on_exit=true
Last 10 configs saved in /etc/target/backup.
Configuration saved to /etc/target/saveconfig.json二、客户端配置iscsi 1、安装并加入认证
[root@yzl ~]# yum -y install iscsi-initiator-utils
[root@yzl ~]# vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2020-04.com.example:localhost
2、发现服务器端iscsi
[root@yzl ~]# iscsiadm -m discovery -t st -p 192.168.40.193
192.168.40.193:3260,1 iqn.2020-04.com.example:localhost
[root@node2 multipath]# iscsiadm -m discovery -t st -p 172.16.100.56
172.16.100.56:3260,1 iqn.2020-04.com.example:node13、登录
[root@yzl ~]# iscsiadm -m node -T iqn.2020-04.com.example:localhost -p 192.168.40.193 -l
Logging in to [iface: default, target: iqn.2020-04.com.example:localhost, portal: 192.168.40.193,3260] (multiple)
Login to [iface: default, target: iqn.2020-04.com.example:localhost, portal: 192.168.40.193,3260] successful.4、连接iscsi设备
[root@yzl ~]# iscsiadm -m node --login
5、查看系统磁盘信息
[root@yzl ~]# fdisk -l# 或者lsblkDisk /dev/sda: 21.5 GB, 21474836480 bytes
255 heads, 63 sectors/track, 2610 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x000ca9a5...
...Disk /dev/sdb: 8589 MB, 8589934592 bytes
64 heads, 32 sectors/track, 8192 cylinders
Units = cylinders of 2048 * 512 = 1048576 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 4194304 bytes
Disk identifier: 0x00000000三、multipath安装及配置（客户端） 1、安装multipath
[root@yzl ~]# yum -y install device-mapper-multipath
[root@yzl ~]# modprobe dm-multipath# 命令初始化DM
[root@yzl ~]# modprobe dm-round-robin# 命令初始化DM
[root@yzl ~]# lsmod | grep dm_multipath
dm_multipath177241 dm_round_robin
dm_mod843379 dm_multipath,dm_mirror,dm_log[root@yzl ~]# rpm -ql device-mapper-multipath# 查看生成文件
[root@yzl ~]# cp /usr/share/doc/device-mapper-multipath-0.4.9/multipath.conf /etc/# 也可以通过下面命令生成配置文件
[root@yzl ~]# mpathconf --enable2、查看wwid
# 注意scsi_id命令的路径（/usr/lib/udev/scsi_id 或者 /lib/udev/scsi_id ）
[root@yzl ~]# /usr/lib/udev/scsi_id --whitelisted --device=/dev/sdb
-bash: /usr/lib/udev/scsi_id: 没有那个文件或目录
[root@yzl ~]# /lib/udev/scsi_id --whitelisted --device=/dev/sdb
360014050939ee9c6b4348318405351283、配置multipath
# vim修改配置文件如下：
[root@yzl ~]# sed -n "/^\s*[^#\t].*$/p" /etc/multipath.conf# ed匹配非注释行和非空白行
defaults {
user_friendly_names yes
}
multipaths {
multipath {
wwid360014050939ee9c6b434831840535128
aliasyzlpath1
path_grouping_policymultibus
path_checkerreadsector0
path_selector"round-robin 0"
failbackmanual
rr_weightpriorities
no_path_retry5
}
}[root@yzl ~]# ls /dev/mapper/
controlvg_yzl-lv_rootvg_yzl-lv_swap
[root@yzl ~]# service multipathd restart# 重启iscsid服务
ux_socket_connect: No such file or directory
正在关闭multipathd 端口监控程序：[失败]
正在启动守护进程multipathd：[确定]
[root@yzl ~]# ls /dev/mapper/
controlvg_yzl-lv_rootvg_yzl-lv_swapyzlpath1# 发现yzlpath1 4、格式化挂载
[root@yzl ~]# mkfs.xfs /dev/mapper/yzlpath1
meta-data=https://www.it610.com/dev/mapper/yzlpath1isize=256agcount=8, agsize=262144 blks
=sectsz=512attr=2, projid32bit=0
data=bsize=4096blocks=2097152, imaxpct=25
=sunit=0swidth=0 blks
naming=version 2bsize=4096ascii-ci=0
log=internal logbsize=4096blocks=2560, version=2
=sectsz=512sunit=0 blks, lazy-count=1
realtime =noneextsz=4096blocks=0, rtextents=0
[root@yzl ~]# df -h
FilesystemSizeUsed Avail Use% Mounted on
/dev/mapper/vg_yzl-lv_root
18G11G6.0G64% /
tmpfs931M76K931M1% /dev/shm
/dev/sda1485M53M407M12% /boot
/dev/sr03.8G3.8G0 100% /media/Asianux
[root@yzl ~]# mkdir /iscsi
[root@yzl ~]# mount /dev/mapper/yzlpath1 /iscsi/
[root@yzl ~]# df -h
FilesystemSizeUsed Avail Use% Mounted on
/dev/mapper/vg_yzl-lv_root
18G11G6.0G64% /
tmpfs931M76K931M1% /dev/shm
/dev/sda1485M53M407M12% /boot
/dev/sr03.8G3.8G0 100% /media/Asianux
/dev/mapper/yzlpath18.0G33M8.0G1% /iscsi5、查看状态
[root@yzl ~]# multipath -rr
Apr 26 23:44:27 | multipath.conf line 67, invalid keyword: path_checker
reload: yzlpath1 (360014050939ee9c6b434831840535128) undef LIO-ORG,yzl:storage1
size=8.0G features='0' hwhandler='0' wp=undef
`-+- policy='round-robin 0' prio=1 status=undef
`- 3:0:0:0 sdb 8:16 active ready running
[root@yzl ~]# multipath -ll
Apr 26 23:44:30 | multipath.conf line 67, invalid keyword: path_checker
yzlpath1 (360014050939ee9c6b434831840535128) dm-2 LIO-ORG,yzl:storage1
size=8.0G features='1 queue_if_no_path' hwhandler='0' wp=rw
`-+- policy='round-robin 0' prio=1 status=active
`- 3:0:0:0 sdb 8:16 active ready running四、multipath配置简介
可用的节关键字如下:
- defaults:全局属性的默认设置。
- blacklist:黑名单，multipath会忽略黑名单中的设备。
- blacklist_exceptions:免除黑名单，加入黑名单内，但包含在这里的设备不会被忽略。
- multipaths:多路径相关配置。
- devices:存储设备相关配置。配置文件：
uid_attribute:用udev的哪个属性唯一标识一个设备，默认值为ID_SERIAL
path_grouping_policy###路径分组策略
- failover###一条路径一个组（默认值）
- multibus###所有路径在一个组
- group_by_serial###根据序列号分组
- group_by_prio###根据优先级分组
- group_by_node_name###根据名字分组path_selector###I/O操作算法
- service-time 0###选择IO服务时间最短的路径（默认值）
- round-robin 0###多个路径间不断循环
- queue-length 0###选择当前处理IO数最少的路径failback###回复失败管理
- immediate###立刻回复到活跃的优先级最高的组
- manual###不操作，需自行处理
- followover###第一个路径变为活动状态时应执行自动故障回复。 这可以防止节点在另一个节点请求故障转移时自动失败。no_path_retry###多少次后禁止排队
- fail###失败后就立刻失败，没有排队
- queue###一直进行排队，直到修复五、常见问题： 1、ssh连接不上
[root@yzl ~]# ssh 192.168.40.193
root@192.168.40.193's password:
Permission denied, please try again.- 可能原因之一：selinux限制。
- ssh远程主机上的selinux设置为禁用或者宽松模式，或者放行ssh端口即可解决。
[root@yzl ~]# iscsiadm -m discovery -t st -p 192.168.40.193
iscsiadm: cannot make connection to 192.168.40.193: No route to host
iscsiadm: cannot make connection to 192.168.40.193: No route to host
iscsiadm: cannot make connection to 192.168.40.193: No route to host
iscsiadm: cannot make connection to 192.168.40.193: No route to host
iscsiadm: cannot make connection to 192.168.40.193: No route to host
iscsiadm: cannot make connection to 192.168.40.193: No route to host
iscsiadm: connection login retries (reopen_max) 5 exceeded
iscsiadm: Could not perform SendTargets discovery: encountered connection failure- 可能原因之一：服务器防火墙设限。
- 解决办法：关闭防火墙
systemctl stop firewalld
- 解决办法：关闭防火墙
sed -n "/^\s*[^# \t].*$/p" "$file"推荐阅读
- JAVA（抽象类与接口的区别&重载与重写&内存泄漏）
- Docker应用:容器间通信与Mariadb数据库主从复制
- 《真与假的困惑》???|《真与假的困惑》??? ——致良知是一种伟大的力量
- 第326天
- Shell-Bash变量与运算符
- 逻辑回归的理解与python示例
- Guava|Guava RateLimiter与限流算法
- 我和你之前距离
- CGI，FastCGI，PHP-CGI与PHP-FPM
- 原生家庭之痛与超越