linux的spio在服务器间,EMC ALUA链路优先级与链路切换ON LINUX

  • Post author:
  • Post category:linux


EMC ALUA链路优先级与链路切换ON LINUX

1.EMC ALUA模式下查看LUN优先IO链路

powermt display dev=emcpowerd alua every=10

Pseudo name=emcpowerd

VNX ID=FCN00114900102 [BMW_SG]

Logical device ID=6006016045D02E00768AB91AA37EE411 [bmw_ocr1]

state=alive; policy=CLAROpt; queued-IOs=0

Owner: default=SP A, current=SP A       Array failover mode: 4

==============================================================================

—- Host —-   – Stor –  ———— I/O Path ————-   — Stats —

###  I/O Paths   Interf.   ALUA State            Mode    State   Errors

==============================================================================

9 sdw         SP B7     Active/non-optimized  active  alive      0

7 sdk         SP B6     Active/non-optimized  active  alive      0

9 sdq         SP A7     Active/optimized      active  alive      0

7 sde         SP A6     Active/optimized      active  alive      2

LUN IO优先链路在分配LUN的同时,就已经由default owner决定了。一条物理光纤线上有A7,A6,另一条物理光纤线上有B7,B6。

2.ALUA模式下IO分配也是有一些差距的,使用iostat命令可以看到,两条优先链路在同一时间内IO数量是不同的

[root@bmwdb1 ~]# iostat -dtx 10 | egrep “AM|Device|sdw|sdk|sdq|sde|emcpowerd”

05/03/2016 11:34:29 AM

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sde               0.00     0.00    1.22    0.52     2.50     0.52     1.74     0.00    0.42   0.41   0.07

sdq               0.00     0.00    0.91    0.48     1.59     0.48     1.48     0.00    0.28   0.28   0.04

sdk               0.00     0.00    0.00    0.00     0.00     0.00     8.04     0.00    0.26   0.26   0.00

sdw               0.00     0.00    0.00    0.00     0.00     0.00     8.01     0.00    0.22   0.22   0.00

emcpowerd         0.00     0.00    2.13    1.00     4.05     1.00     1.62     0.00    0.40   0.37   0.11

05/03/2016 11:34:39 AM

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sde               0.00     0.00    1.40    0.60     1.30     0.70     1.00     0.00    0.40   0.40   0.08

sdq               0.00     0.00    0.60    0.40     0.70     0.30     1.00     0.00    0.80   0.80   0.08

sdk               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdw               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

emcpowerd         0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.47   0.47   0.14

05/03/2016 11:34:49 AM

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sde               0.00     0.00    1.10    0.80     1.20     0.70     1.00     0.00    0.58   0.58   0.11

sdq               0.00     0.00    0.90    0.20     0.80     0.30     1.00     0.00    0.73   0.73   0.08

sdk               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdw               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

emcpowerd         0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.63   0.60   0.18

说明此时e和q两条链路是双活的状态,每条链路上都有IO通信。

3.闪断会标标记为iopf,IO切换之多延迟30秒(HBA)

powermt display dev=all

Pseudo name=emcpowerc

VNX ID=FCN00114900102 [BMW_SG]

Logical device ID=6006016045D02E0096AE0125A37EE411 [bmw_ocr2]

state=alive; policy=CLAROpt; queued-IOs=0

Owner: default=SP A, current=SP A       Array failover mode: 4

==============================================================================

————— Host —————   – Stor –  — I/O Path —   — Stats —

###  HW Path               I/O Paths    Interf.  Mode     State   Q-IOs Errors

==============================================================================

9 qla2xxx                sdx         SP B7    active   alive      0      0

7 qla2xxx                sdl         SP B6    active   alive      0      0

9 qla2xxx                sdr         SP A7    active   alive      0      0

7 qla2xxx                sdf         SP A6

asb:iopf

alive      0      2  <=标记为iopf后,被标记为iopf的链路就不会有IO通信

iostat -dtx 10 | egrep “AM|Device|sdx|sdl|sdr|sdf|emcpowerc”

[root@bmwdb1 ~]# iostat -dtx 10 | egrep “AM|Device|sdx|sdl|sdr|sdf|emcpowerc”

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdf               0.00     0.00    0.01    0.00     0.05     0.00     3.32     0.00   13.34  13.33   0.02

sdr               0.00     0.00    2.12    0.99     4.04     0.99     1.62     0.00    0.40   0.39   0.12

sdl               0.00     0.00    0.00    0.00     0.00     0.00     8.04     0.00    0.23   0.23   0.00

sdx               0.00     0.00    0.00    0.00     0.01     0.00    10.33     0.00    0.24   0.24   0.00

emcpowerc         0.00     0.00    2.13    1.00     4.06     1.00     1.62     0.00    0.56   0.48   0.15

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdf               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdr               0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.60   0.60   0.18

sdl               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdx               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

emcpowerc         0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.57   0.57   0.17

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdf               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdr               0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.47   0.47   0.14

sdl               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdx               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

emcpowerc         0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.57   0.57   0.17

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util

sdf               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdr               0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.53   0.53   0.16

sdl               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

sdx               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00

emcpowerc         0.00     0.00    2.00    1.00     2.00     1.00     1.00     0.00    0.50   0.50   0.15

说明此时只有一条链路可以进行IO通信