安装配置磁盘阵列SAN存储系统
磁盘阵列SAN存储系统在以前是一种昂贵和复杂的系统，往往还牵涉到FC，只有大企业才有能力使用。但随着100M/1G以太网的发展和 iSCSI 技术的成熟，低成本、高速和高可靠性的SAN系统已经成为可能，就是小微企业也有能力来使用SAN存储系统。
本文将介绍如何在普通商用硬件设备和Ubuntu建立低成本、高速、高可靠的磁盘阵列SAN系统。
硬件选择
本文主要介绍软件设置，硬件配置不多做介绍。
基本系统配置：
CPU：Intel Xeon E5 或 E3 处理器
内存：8G 或 4G
硬盘：120GB x3 （为系统盘，不含数据盘）
网口：1000M 或 100M 以太网口
主板：任意服务器主板
对中小微企业来说，内部流量不会太大，上述配置的服务器系统完全能满足需求，价格一般在几千到一万左右。
系统安装和配置
操作系统
本示例中使用 Ubuntu 18.04 LTS 作为操作系统，安装在由 3个磁盘组成的RAID1磁盘陈列上，其中2个为活跃磁盘，一个为后备磁盘。有三个磁盘组成的RAID1系统非常可靠，只有在三个磁盘都出错时才会有问题。
在此对系统的安装不再做介绍，具体安装方式请参见 基于SAMBA4的域控制器安装设置 一文中的 操作系统安装 部分。
root@lssan1:~# mdadm --detail /dev/md0
/dev/md0:
Version : 1.2
Creation Time : Sat Jun 2 10:14:37 2018
Raid Level : raid1
Array Size : 122358784(116.19 GiB 116.89 GB)
Used Dev Size : 122358784(116.19 GiB 116.89 GB)
Raid Devices : 2
Total Devices : 3
Persistence : Superblock is persistent
Update Time : Thu Oct 18 13:33:46 2018
State : clean
Active Devices : 2
Working Devices : 3
Failed Devices : 0
Spare Devices : 1
Consistency Policy : resync
Name : storageOS:0
UUID : 2bae87ad:0552c629:e2a73596:5479c044
Events : 22
Number Major Minor RaidDevice State
0 8 1 0 active sync /dev/sda1
1 8 17 1 active sync /dev/sdb1
2 8 33 - spare /dev/sdc1
root@lssan1:~#
建立RAID磁盘阵列
一般情况下，SAN存储设备较为适合使用RAID6或RAID10磁盘阵列。RAID6和RAID10各有其优缺点，可根据需求选择其中之一来建立SAN存储系统。
| RAID类型 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| RAID6 | 很高的冗余度，读取性能尤为突出。 | 由于奇偶校验，执行大量写操作会降低性能 。 | 大容量存储服务器和应用服务器。 |
| RAID10 | 非常高的读写性能和容错能力。 | 可用容量较低/成本较高， 可扩展性受限。 | 执行大量写入操作的服务器/数据库。 |
系统上，/dev/sda、/dev/sdb和/dev/sdc 已经被用于操作系统，余下的5个硬盘将被用来建立用于存储设备的磁盘阵列。
在 /dev/sdd，/dev/sde，/dev/sdf，/dev/sdg和/dev/sdh 上创建 RAID6
root@lssan1:~# mdadm --create --verbose /dev/md60 --level=6 --raid-devices=4 /dev/sdd /dev/sde /dev/sdf /dev/sdg --spare-devices=1 /dev/sdh
mdadm: layout defaults to left-symmetric
mdadm: layout defaults to left-symmetric
mdadm: chunk size defaults to 512K
mdadm: size set to 10476544K
mdadm: Defaulting to version 1.2 metadata
mdadm: array /dev/md60 started.
root@lssan1:~#
检查新建的RAID阵列：
root@lssan1:~# mdadm --detail /dev/md60
/dev/md60:
Version : 1.2
Creation Time : Thu Oct 18 20:58:00 2018
Raid Level : raid6
Array Size : 20953088 (19.98 GiB 21.46 GB)
Used Dev Size : 10476544 (9.99 GiB 10.73 GB)
Raid Devices : 4
Total Devices : 5
Persistence : Superblock is persistent
Update Time : Thu Oct 18 20:58:54 2018
State : clean
Active Devices : 4
Working Devices : 5
Failed Devices : 0
Spare Devices : 1
Layout : left-symmetric
Chunk Size : 512K
Consistency Policy : resync
Name : lssan1:60 (local to host lssan1)
UUID : 6e55fa84:a4212001:ad18a7d2:1b078048
Events : 17
Number Major Minor RaidDevice State
0 8 48 0 active sync /dev/sdd
1 8 64 1 active sync /dev/sde
2 8 80 2 active sync /dev/sdf
3 8 96 3 active sync /dev/sdg
4 8 112 - spare /dev/sdh
root@lssan1:~#
我们可以看到/dev/md60已成功建立。为了在启动时，系统就能操作/dev/md60，我们必须将/dev/md60的相关信息写入initramfs中，启动时系统可以自动重建/dev/md60磁盘阵列。
一、首先获取/dev/md60的布局信息：
root@lssan1:~# mdadm --detail --scan
ARRAY /dev/md/0 metadata=1.2 spares=1 name=storageOS:0 UUID=2bae87ad:0552c629:e2a73596:5479c044
ARRAY /dev/md/1 metadata=1.2 spares=1 name=storageOS:1 UUID=3531eed2:4a05b3d6:e343fe19:eca8288c
ARRAY /dev/md60 metadata=1.2 spares=1 name=lssan1:60 UUID=6e55fa84:a4212001:ad18a7d2:1b078048
root@lssan1:~#
二、将ARRAY /dev/md60 metadata=1.2 spares=1 name=lssan1:60 UUID=6e55fa84:a4212001:ad18a7d2:1b078048 加入文件/etc/mdadm/mdadm.conf 。
三、更新initramfs
root@lssan1:~# update-initramfs -u
update-initramfs: Generating /boot/initrd.img-4.15.0-36-generic
root@lssan1:~#
四、检查系统重启后/dev/md60是否自动重建
重启系统，然后用mdadm --detail --scan检查磁盘阵列情况。
root@lssan1:~# mdadm --detail --scan
ARRAY /dev/md60 metadata=1.2 spares=1 name=lssan1:60 UUID=6e55fa84:a4212001:ad18a7d2:1b078048
ARRAY /dev/md/0 metadata=1.2 spares=1 name=storageOS:0 UUID=2bae87ad:0552c629:e2a73596:5479c044
ARRAY /dev/md/1 metadata=1.2 spares=1 name=storageOS:1 UUID=3531eed2:4a05b3d6:e343fe19:eca8288c
root@lssan1:~#
/dev/md60磁盘阵列已重建。
如果要建立RAID10阵列，只需要在创建命令中，将 --level=6 改成 --level=10 即可，其他都一样。
建立SAN设备
基于以太网的SAN使用iSCSI协议，我们首先需要在本机上安装TGT（TarGeT framework），支持本机提供iSCSI目标服务。
root@lssan1:~# apt install tgt -y
Reading package lists... Done
Building dependency tree
Reading state information... Done
Suggested packages:
tgt-rbd
The following NEW packages will be installed:
tgt
0 upgraded, 1 newly installed, 0 to remove and 0 not upgraded.
Need to get 214 kB of archives.
After this operation, 641 kB of additional disk space will be used.
Get:1 http://mirrors.aliyun.com/ubuntu bionic/main amd64 tgt amd64 1:1.0.72-1ubuntu1 [214 kB]
Fetched 214 kB in 1s (171 kB/s)
......
......
......
Setting up tgt (1:1.0.72-1ubuntu1) ...
Created symlink /etc/systemd/system/multi-user.target.wants/tgt.service → /lib/systemd/system/tgt.service.
Processing triggers for systemd (237-3ubuntu10.3) ...
Processing triggers for ureadahead (0.100.0-20) ...
root@lssan1:~#
配置 /dev/md60 成为iSCSI目标磁盘陈列
root@lssan1:~# vi /etc/tgt/conf.d/target-dev-md10.conf
<target iqn.Oct-18-2018.md60.lssan1.lswin.cn:lun1>
# iSCSI 目标设备
backing-store /dev/md60
# 用户IP地址
initiator-address 192.168.220.60
# 用户授权信息
incominguser lssan1-user-name lssan1-user-passwd
# SAN授权信息
outgoinguser lssan1-owner-name lssan1-owner-passwd
</target>
重启tgt，检查SAN目标情况。
root@lssan1:~# tgtadm --mode target --op show
Target 1: iqn.Oct-18-2018.md60.lssan1.lswin.cn:lun1
System information:
Driver: iscsi
State: ready
I_T nexus information:
LUN information:
LUN: 0
Type: controller
SCSI ID: IET 00010000
SCSI SN: beaf10
Size: 0 MB, Block size: 1
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
SWP: No
Thin-provisioning: No
Backing store type: null
Backing store path: None
Backing store flags:
LUN: 1
Type: disk
SCSI ID: IET 00010001
SCSI SN: beaf11
Size: 21456 MB, Block size: 512
Online: Yes
Removable media: No
Prevent removal: No
Readonly: No
SWP: No
Thin-provisioning: No
Backing store type: rdwr
Backing store path: /dev/md60
Backing store flags:
Account information:
lssan1-user-name
lssan1-owner-name (outgoing)
ACL information:
192.168.220.60
root@lssan1:~#
一般情况下，我们建议将磁盘阵列以原始模式提供目标服务，由用户机决定如何使用。
使用SAN设备
在配置SAN时，我们的ACL只允许 192.168.220.60 使用，该IP地址是测试机的IP地址。
首先在测试机上用 iscsiadm 寻找 TGT，在找到目标服务后，自动形成默认SAN挂载配置文件。
root@lstest:~# iscsiadm -m discovery -t st -p lssan1.lswin.cn
192.168.220.30:3260,1 iqn.Oct-18-2018.md60.lssan1.lswin.cn:lun1
root@lstest:~#
目标服务已经找到，下面按我们的需求修改自动形成的默认SAN挂载配置文件。
/etc/iscsi/nodes/iqn.Oct-18-2018.md60.lssan1.lswin.cn\:lun1/192.168.220.30\,3260\,1/default
按下列步骤对上述文件进行修改：
一、将 node.startup = manual 修改为 node.startup = automatic
二、将node.session.auth.authmethod = None改为 node.session.auth.authmethod = CHAP
三、将下列4行内容加在 node.session.auth.authmethod = CHAP 行后
node.session.auth.username = lssan1-user-name
node.session.auth.password = lssan1-user-passwd
node.session.auth.username_in = lssan1-owner-name
node.session.auth.password_in = lssan1-owner-passwd
挂载前磁盘情况
root@lstest:~# iscsiadm -m session
iscsiadm: No active sessions.
root@lstest:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 40G 0 disk
└─sda1 8:1 0 40G 0 part
├─minisys--vg-root 253:0 0 39G 0 lvm /
└─minisys--vg-swap_1 253:1 0 976M 0 lvm [SWAP]
sr0 11:0 1 704M 0 rom
root@lstest:~#
挂载SAN（重启iSCSI服务）：
root@lstest:~# service open-iscsi restart
root@lstest:/var/log# iscsiadm -m session
tcp: [1] 192.168.220.30:3260,1 iqn.Oct-18-2018.md60.lssan1.lswin.cn:lun1 (non-flash)
root@lstest:/var/log# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 40G 0 disk
└─sda1 8:1 0 40G 0 part
├─minisys--vg-root 253:0 0 39G 0 lvm /
└─minisys--vg-swap_1 253:1 0 976M 0 lvm [SWAP]
sdb 8:16 0 20G 0 disk
sr0 11:0 1 704M 0 rom
root@lstest:/var/log#
我们可以看到SAN存储设备已经被成功挂载到测试机上，并以磁盘（/dev/sdb）形式出现。
注意：尽量不要再SAN上建LVM！如在SAN上建LVM有可能产生不可预测的问题。