How to Replace a Failed, SCSI Disk, Mirrored with SVM

참고자료

Oracle Support Document 1469821.1 (Solaris Volume Manager (SVM) SPARC How to Replace a Failed, SCSI Disk, Mirrored with SVM) can be found at: https://support.oracle.com/epmos/faces/DocumentDisplay?id=1469821.1

1. SVM(Solaris Volume Manager) Disk 상태 확인

SVM Mirror Device Failed

[:root:/]metastat -c
d20              m   24GB d21 d22
    d21          s   24GB c0t0d0s1
    d22          s   24GB c1t8d0s1
d10              m   50GB d11 (maint) d12
    d11          s   50GB c0t0d0s0 (maint)
    d12          s   50GB c1t8d0s0

10번 Mirror의 Submirror Device(c0t0d0s0->d11)만 Maintnance 모드로 변경되어 짐.

 

Metadb Status Check

[:root:/]metadb
        flags           first blk       block count
     a m  p  luo   r    16              8192            /dev/dsk/c0t0d0s7
     a    p  luo   r    8208            8192            /dev/dsk/c0t0d0s7
     a    p  luo   r    16400           8192            /dev/dsk/c0t0d0s7
     a    p  luo   r    16              8192            /dev/dsk/c1t8d0s7
     a    p  luo   r    8208            8192            /dev/dsk/c1t8d0s7
     a    p  luo   r    16400           8192            /dev/dsk/c1t8d0s7

metadb의 slice도 정상

 

해당 원인 분석

[:root:/] iostat -iEn c2t0d0
c0t0d0          Soft Errors: 0 Hard Errors: 7 Transport Errors: 5
Vendor: FUJITSU  Product: MBD2147RC  Revision: xxxx Device Id: id1,sd@xxxxxxxxx
Size: 147GB 
Media Error: 3 Device Not Ready: 0 No Device: 0 Recoverable: 

물리적으로 문제가 있어보임...
문제가 있는 디스크의 Submirror(slice) 중 비정상인 Submirror가 존재.

디스크 실리더의 물리적 일부분이 불량인 것으로 보임...(정확한건....)

보통 SVM Disk 교체 시 metareplace 보다 metadetach 이후 metattache 방식이isk
작업 자체가 깔끔하다.(지극히 개인적생각)

 

2. Disk Replacemnet

Metadb device detach

[:root:/]metadb -d /dev/dsk/c0t0d0s7

[:root:/]metadb
        flags           first blk       block count
     a    p  luo   r    16              8192            /dev/dsk/c1t8d0s7
     a    p  luo   r    8208            8192            /dev/dsk/c1t8d0s7
     a    p  luo   r    16400           8192            /dev/dsk/c1t8d0s7

Metadevice Detach

[:root:/]metadetach -f d10 d11
[:root:/]metadetach -f d20 d21

[:root:/]metastat -c
d20              m   24GB d22
    d22          s   24GB c1t8d0s1
d10              m   50GB d12
    d12          s   50GB c1t8d0s0
d21              s   24GB c0t0d0s1
d11              s   50GB c0t0d0s0

Metadevice Clear

[:root:/]metaclear d11
d11: Concat/Stripe is cleared

[:root:/]metaclear d21
d21: Concat/Stripe is cleared

[:root:/]metastat -c
d20              m   24GB d22
    d22          s   24GB c1t8d0s1
d10              m   50GB d12
    d12          s   50GB c1t8d0s0

Disk Offline and Locate 점등

[:root:/] cfgadm -c unconfigure c0::dsk/c0t0d0

[:root:/] cfgadm -x led=fault,mode=blink c0::dsk/c0t0d0 

Software 에러의 경우 Disk Fault LED가 점등이 되지 않을 수 있어
Disk 위치가 헛갈릴 경우에는 강제로 Disk Fault LED를 점등시켜 Human Fault?를 예방하자.

물리적 디스크 교체

물리적인 디스크 교체시에는 디스크를 제거 후 1~3분 후 교체할 디스크를 삽입하는 것을 추천...
(디스크 제거시 커널/Raid Controller 등이) 디스크가 제거를 감지할 수 있는 충분한 시간을 주는 것이...

Disk Labling

147GB 디스크의 재고가 존재하지 않아. 200GB 디스크가 왔다. 모든 적으면 문제가 되지만 크면 문제될 것이 없다.
단, prtvtoc /dev/rdsk/c2t1d0s2 | fmthard -s - /dev/rdsk/c2t0d0s2 lableling을 사용할 수 없다.

 

format c0t0d0 입력하여 기존과 용량을 비슷(이상)하게 구성해야 Mirror가 가능하다.

Metadb 추가

[:root:/] metadb -afc 3 /dev/rdsk/c0t0d0s7 

[:root:/] metadb
        flags           first blk       block count
     a m  p  luo   r    16              8192            /dev/dsk/c0t0d0s7
     a    p  luo   r    8208            8192            /dev/dsk/c0t0d0s7
     a    p  luo   r    16400           8192            /dev/dsk/c0t0d0s7
     a    p  luo   r    16              8192            /dev/dsk/c1t8d0s7
     a    p  luo   r    8208            8192            /dev/dsk/c1t8d0s7
     a    p  luo   r    16400           8192            /dev/dsk/c1t8d0s7

submirror 추가

# metainit d11 1 1 /dev/rdsk/c0t0d0s0
# metainit d21 1 1 /dev/rdsk/c0t0d0s1

[:root:/]metastat -c
d20              m   24GB d22
    d22          s   24GB c1t8d0s1
d10              m   50GB d12
    d12          s   50GB c1t8d0s0
d21              s   24GB c0t0d0s1
d11              s   50GB c0t0d0s0

Mirror Device Attach

[:root:/] metattach d10 d11 
[:root:/] metattach d20 d21

[:root:/]metastat -c
d20              m   24GB d22 d21 (resync-6%)
    d22          s   24GB c1t8d0s1
    d21          s   24GB c0t0d0s1
d10              m   50GB d12 d11 (resync-1%)
    d12          s   50GB c1t8d0s0
    d11          s   50GB c0t0d0s0

Mirror Device로 추가되어 지면 자동으로 Rebuild 가 돌기 시작한다.

참고

VxVm으로 인한 device unconfigure 실패

[:root:/]cfgadm -c unconfigure c0::dsk/c0t0d0
Oct 26 17:30:00 ifdb1 rcm_daemon[808]: rcm script es_rcm.pl: VxVM vxdmpadm ERROR V-5-1-13080 Attempt to disable all paths through portid and enclosure failed. Last path to the disk can not be disabled.
cfgadm: Component system is busy, try again: failed to offline:
     Resource              Information
------------------  -------------------------
/dev/dsk/c0t0d0s2   Device being used by VxVM

VxVM Memory내에 해당 Device가 'ENABLED' 되어져 Unconfigure가 되지 않았다.
c0t0d0s2 disk_0          -           - ENABLED

[:root:/]vxdisk path 
SUBPATH                     DANAME               DMNAME       GROUP        STATE
c0t0d0s2                    disk_0               -            -            ENABLED
c1t8d0s2                    disk_1               -            -            ENABLED
c2t1d0s2                    emc-vplex0_e6ed      IFDG0101     IFDG01       ENABLED
c3t1d0s2                    emc-vplex0_e6ed      IFDG0101     IFDG01       ENABLED
c2t1d4s2                    emc-vplex0_e6fd      IFDBDG0101   IFDBDG01     ENABLED
c3t1d4s2                    emc-vplex0_e6fd      IFDBDG0101   IFDBDG01     ENABLED
c2t1d2s2                    emc-vplex0_e6f1      IFFSDG0102   IFFSDG01     ENABED
c3t1d2s2                    emc-vplex0_e6f1      IFFSDG0102   IFFSDG01     ENABLED
c2t1d3s2                    emc-vplex0_e6f5      IFFSDG0103   IFFSDG01     ENABLED
c3t1d3s2                    emc-vplex0_e6f5      IFFSDG0103   IFFSDG01     ENABLED
c2t1d1s2                    emc-vplex0_e6f9      IFFSDG0101   IFFSDG01     ENABLED

SOLUTION

• Method 1) vxdg에 Disk가 추가 되어있지 않을 경우 그냥 제거해도 무방
• Method 2) vxdisk rm c0t0d0s2 으로 문제가 되어지는 Device를 VxVM 내에서 제거 후 cfgadm -c unconfigure xx:dsk/cxtxdx로 제거