Mục tiêu, cần 1 server NFS để lưu trữ dữ liệu (chủ yếu là dữ liệu ảnh từ web upload lên)
Công nghệ lựa chọn là DRBD 2 node, export ra ngoài cho user bằng NFS, Failover giữa primary node và secondary node bằng keepalived

Bước 1: Cấu hình DRBD
– Cài đặt 2 máy Ubuntu 20.04:

10.144.136.41 mefin-ntl-drbd-01
10.144.136.42 mefin-ntl-drbd-02

Mỗi máy 2 ổ cứng:
- 1 ổ /dev/sda 40GB cài OS
- 1 ổ /dev/sdb 500GB để làm file server. Ổ này add vào thôi, sẽ format các thứ ở bước sau

– Thiết lập hostname cho 2 máy:

# cat /etc/hosts
127.0.0.1 localhost
10.144.136.41 mefin-ntl-drbd-01
10.144.136.42 mefin-ntl-drbd-02
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

– Format ổ /dev/sdb, làm trên cả 2 máy

root@mefin-ntl-nfs01:~# fdisk /dev/sdb
Command (m for help): n
Partition type
   p   primary (0 primary, 0 extended, 4 free)
   e   extended (container for logical partitions)
Select (default p): p
Partition number (1-4, default 1): 1
First sector (2048-1048575999, default 2048): 
Last sector, +/-sectors or +/-size{K,M,G,T,P} (2048-1048575999, default 1048575999): 

Created a new partition 1 of type 'Linux' and of size 500 GiB.

Command (m for help): t
Selected partition 1
Hex code (type L to list all codes): 8e
Changed type of partition 'Linux' to 'Linux LVM'.

Command (m for help): w
The partition table has been altered.
Calling ioctl() to re-read partition table.

– Tạo LVM, trên cả 2 máy

pvcreate /dev/sdb1
vgcreate storevolume /dev/sdb1
vgdisplay
lvcreate -n storevolumelogic -l 100%FREE storevolume

– Cài đặt DRBD, thao tác trên cả 2 máy

apt-get install -y drbd-utils
rm -rf /etc/drbd.d/*

– Tạo resource cho DRBD, thao tác trên cả 2 máy, tạo file cấu hình

cat >/etc/drbd.d/global_common.conf <<EOL
resource nfs-fintech {
        protocol C;
#        handlers {
#                pri-on-incon-degr "echo o > /proc/sysrq-trigger ; halt -f";
#                pri-lost-after-sb "echo o > /proc/sysrq-trigger ; halt -f";
#                local-io-error "echo o > /proc/sysrq-trigger ; halt -f";
#                outdate-peer "/usr/lib/heartbeat/drbd-peer-outdater -t 5";      
#        }
#        startup {
#                degr-wfc-timeout 2;
#                become-primary-on mefin-ntl-nfs01;
#        }
disk {
        on-io-error             detach;
        no-disk-flushes ;
        no-disk-barrier;
        c-plan-ahead 0;
        c-fill-target 5M;
        c-min-rate 2400M;
        c-max-rate 3600M;
} 
net {
        # max-epoch-size          20000;
        max-buffers             36k;
        sndbuf-size            9072k ;
        rcvbuf-size            9072k;
}

        syncer {
                rate 4096M;
                verify-alg sha1;
                al-extents 257;
                c-fill-target 24M;
                c-min-rate 600M;
                c-max-rate 720M;
        }

        on mefin-ntl-drbd-01 {
                device  /dev/drbd0;
                disk    /dev/mapper/storevolume-storevolumelogic;
                address 10.144.136.41:7788;
                meta-disk internal;
        }

        on mefin-ntl-drbd-02 {
                device  /dev/drbd0;
                disk    /dev/mapper/storevolume-storevolumelogic;
                address 10.144.136.42:7788;
                meta-disk internal;
        }
}
EOL

– Khởi tạo metadata cho DRBD theo file cấu hình, thao tác trên cả 2 máy

#drbdadm create-md nfs-fintech
WARN:
  You are using the 'drbd-peer-outdater' as fence-peer program.
  If you use that mechanism the dopd heartbeat plugin program needs
  to be able to call drbdsetup and drbdmeta with root privileges.

  You need to fix this with these commands:
  dpkg-statoverride --add --update root haclient 4750 /lib/drbd/drbdsetup-84

initializing activity log
initializing bitmap (16000 KB) to all zero
Writing meta data...
New drbd meta data block successfully created.

– Bật DRBD trên cả 2 máy

systemctl start drbd

– Thao tác trên node 1, tiến hành chuyển node1 làm node primary

drbdadm primary nfs-fintech --force

Sau bước này 2 máy sẽ tiến hành đồng bộ ban đầu với nhau, tiến hành kiểm tra trạng thái của cluster và quá trình đồng bộ như sau:

root@mefin-ntl-nfs01:~# cat /proc/drbd 	
version: 8.4.11 (api:1/proto:86-101)	
srcversion: FC3433D849E3B88C1E7B55C 	
 0: cs:SyncSource ro:Primary/Secondary ds:UpToDate/Inconsistent C r-----	
    ns:92560384 nr:0 dw:0 dr:92562504 al:8 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:431707484	
	[==>.................] sync'ed: 17.7% (421588/511980)M
	finish: 2:54:07 speed: 41,316 (38,940) K/sec

Đợi cho quá trình đồng bộ hoàn tất, trạng thái cả 2 node là UpToDate/UpToDate

root@mefin-ntl-drbd-02:~# cat /proc/drbd 
version: 8.4.11 (api:1/proto:86-101)
srcversion: FC3433D849E3B88C1E7B55C 
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:277046300 nr:7370548 dw:284415448 dr:131389 al:72035 bm:0 lo:4 pe:4 ua:0 ap:4 ep:1 wo:d oos:0
root@mefin-ntl-drbd-02:~# 

Tiến hành format ổ drbd và mount vào máy chủ, việc này thực hiện trên node primary

mkfs.ext4 /dev/drbd0
mount /dev/drbd0 /srv

Mount thành công là OK, xong phần dựng DRBD, tiền hành umount trước khi thực hiện bước tiếp theo.

Tiến hành cài đặt nfs server và keepalived cho cả 2 máy

apt install -y nfs-server keepalived
systemctl enable keepalived

Cấu hình cho nfs mount vào /srv
Tuy nhiên không để cho nfs-server khởi động cùng máy chủ. Để keepalived làm việc đó.
File export của NFS trên cả 2 máy

root@mefin-ntl-drbd-01:~# cat /etc/exports 
# /etc/exports: the access control list for filesystems which may be exported
#		to NFS clients.  See exports(5).
#
# Example for NFSv2 and NFSv3:
# /srv/homes       hostname1(rw,sync,no_subtree_check) hostname2(ro,sync,no_subtree_check)
#
# Example for NFSv4:
# /srv/nfs4        gss/krb5i(rw,sync,fsid=0,crossmnt,no_subtree_check)
# /srv/nfs4/homes  gss/krb5i(rw,sync,no_subtree_check)
/srv *(rw,sync)

Cấu hình cho keepalived check node primary và tự mount , tự bật NFS
Thực hiện trên node primary

cat >/etc/keepalived/keepalived.conf <<EOL
global_defs {
  # Keepalived process identifier
  router_id nfsserver
  enable_script_security
  script_user root
}

# Script to check whether Nginx is running or not
vrrp_script check_nfs {
  script "bash /etc/keepalived/trackdrbd.sh"
  interval 2
  weight 50
}

# Virtual interface - The priority specifies the order in which the assigned interface to take over in a failover
vrrp_instance VI_01 {
  state MASTER
  interface ens160
  virtual_router_id 152
  priority 110

  virtual_ipaddress {
        10.144.136.40/26
  }
  track_script {
        check_nfs
  }
    notify_master /etc/keepalived/notify_master.sh
    notify_backup /etc/keepalived/notify_backup.sh
    notify_stop /etc/keepalived/notify_stop.sh
  authentication {
        auth_type PASS
        auth_pass secret
  }
}
EOL

File cấu hình keepalive cho Secondary

global_defs {
  # Keepalived process identifier
  router_id nfsserver
  enable_script_security
  script_user root
}

# Script to check whether Nginx is running or not
vrrp_script check_nfs {
  script "bash /etc/keepalived/trackdrbd.sh"
  interval 2
  weight 50
}

# Virtual interface - The priority specifies the order in which the assigned interface to take over in a failover
vrrp_instance VI_01 {
  state BACKUP
  interface ens160
  virtual_router_id 152
  priority 100

  virtual_ipaddress {
        10.144.136.40/26
  }
  track_script {
        check_nfs
  }
    notify_master /etc/keepalived/notify_master.sh
    notify_backup /etc/keepalived/notify_backup.sh
    notify_stop /etc/keepalived/notify_stop.sh
  authentication {
        auth_type PASS
        auth_pass secret
  }
}

File script cho keepalived

root@mefin-ntl-drbd-01:~# cat /etc/keepalived/trackdrbd.sh 
#!/bin/bash
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/snap/bin
MOUNTPONT=/srv
VOLUMENAME=nfs-fintech
if [ -e /proc/drbd ]
then
	# check_drbd=$(drbdadm status)
	CURRENT_ROLE=$(cat /proc/drbd | grep -oE "ro:[A-Za-z]+/[A-Za-z]+")
	if [ $CURRENT_ROLE == "ro:Secondary/Secondary" ]
	then
		#Promote to Primary
		drbdadm primary $VOLUMENAME
		mount /dev/drbd0 $MOUNTPONT && systemctl start nfs-server
		# if grep -qs "$MOUNTPONT " /proc/mounts
		# then
			# echo "MOUNTPONT exist"
		# else
			# echo "MOUNTPONT not exist"
		# fi
	elif [ $CURRENT_ROLE == "ro:Secondary/Primary" ]
	then
		echo "second node, do nothing"
		exit 97
	elif [[ "$CURRENT_ROLE" == *"ro:Primary/"* ]]
	then
		if grep -qs "$MOUNTPONT " /proc/mounts
		then
			echo "MOUNTPONT exist"
			cat /srv/system/flag_nodelete
			exit 0
		else
			echo "MOUNTPONT not exist, doing now"
			mount /dev/drbd0 $MOUNTPONT && systemctl start nfs-server && echo "Mount OK" || echo "Mount Fail" && exit 97
		fi
	elif [ $CURRENT_ROLE == "ro:Secondary/Primary" ]
	then
		echo "second node, do nothing"
		exit 97
	elif [ $CURRENT_ROLE == "ro:Secondary/Unknown" ]
	then
		echo "Primary not found, promote to pri and mount system"
		drbdadm primary $VOLUMENAME
		mount /dev/drbd0 $MOUNTPONT
		systemctl start nfs-server
# xu ly cac truong hop ngoai le khac
	else
		echo $CURRENT_ROLE
		exit 98
	fi
else
	echo "DRBD not running"
	exit 99
fi

Các file notify còn lại là file rỗng, không có giá trị sử dụng. các bạn có thể comment cấu hình trong keepalived lại