Xen drbd + iscsi + hearbeat

- 내가 하고 싶은 것

여러대의 Xen으로 Pool을 구성하고 싶은데 그러기 위해서는 공유스토리지가 필요하고,

스토리지는 비싸서 안사준다.

리눅스서버로 iscsi 셋팅해서 drbd로 이중화하고 heartbeat로 failover까지 잡고싶다.

대충 이런거...

- 구성 환경 

CentOS 5.5 64

node vip : 192.168.0.100

pool1-node1 : 192.168.0.101

pool1-node2 : 192.168.0.102

partition : /dev/sda3

1. drbd 

[node1, node2]

vi /etc/hosts

192.168.0.101    pool1-node1

192.168.0.102    pool1-node2

 

yum install  drbd83 kmod-drbd83

vi /etc/drbd.conf

resource pool1-storage {

        protocol C;

        handlers {

                pri-on-incon-degr "echo 'pri-on-incon-degr'";

                pri-lost-after-sb "echo 'pri-lost-after-sb'";

                local-io-error "echo 'local-io-error'";

        }

        startup {

                wfc-timeout 300;

                degr-wfc-timeout 120;

        }

        disk {

                on-io-error detach;

        }

        net {

                timeout 60;

                connect-int 10;

                ping-int 10;

                max-buffers 20000;

                max-epoch-size 20000;

                unplug-watermark 20000;

        }

        syncer {

                rate    512M;

                verify-alg md5;

        }

        on pool1-node1 {

                device  /dev/drbd0;

                disk    /dev/sda3;

                address 192.168.0.101:7790;

                meta-disk internal;

        }

        on pool1-node2 {

                device  /dev/drbd0;

                disk    /dev/sda3;

                address 192.168.0.102:7790;

                meta-disk internal;

        }

}

drbdadm create-md pool1-storage

(dd if=/dev/zero of=/dev/sda3 bs=1M count=128)

/etc/rc.d/init.d/drbd start 

[node1]

drbdadm -- --overwrite-data-of-peer primary

[node1, node2]

cat /proc/drbd

2. iscsi

[node1, node2]

attached: iscsitarget-1.4.20.2.tar.gz

cd /root

tar xvfz iscsitarget-1.4.20.2.tar.gz

cd iscsitarget-1.4.20.2

make ; make install

vi /etc/iet/ietd.conf

Target iqn.xen.storage-server.com:pool1.storage

        IncomingUser postman postman1234

        Lun 0 Path=/dev/drbd0,Type=fileio

 

3. heartbeart

[node1, node2]

yum install heartbeat

vi /etc/ha.d/haresource

pool1-node1 drbddisk::pool1-storage \

iscsi-target \

Delay::2::0 \

IPaddr::192.168.0.100/32/eth0:1 

vi /etc/ha.d/ha.cf

debugfile       /var/log/ha-debug

logfile         /var/log/ha-log

logfacility     local0

keepalive       1

deadtime        10

warntime        4

initdead        60

udpport         694

bcast           eth0

ping            192.168.0.102 (node2 는 192.168.0.101 로 셋팅, 서로 상대방의 아이피로 설정)

respawn         hacluster       /usr/lib64/heartbeat/ipfail

auto_failback   off

node pool1-node1

node pool1-node2

vi /etc/ha.d/authkeys

auth 2

2 crc

chmod 600 /etc/ha.d/authkeys

[node1]

/etc/rc.d/init.d/heartbeat start

(ifconfig 상에서 eth0:1에 vip 192.168.0.100 이 올라오면 node2도 heartbeat 시작해준다)

4. XenCenter iscsi 연결