kubernetes 雙機熱備詳情 - kubernetes 雙機熱備,mysql,MySQL,數據庫,kubernetes,雲計算碼海無壓博客

一、keepalived簡介

keepalived是vrrp協議的實現，原生設計目的是為了高可用ipvs服務，keepalived能夠配置文件中的定義生成ipvs規則，並能夠對各RS的健康狀態進行檢測；通過共用的虛擬IP地址對外提供服務；每個熱備組內同一時刻只有一台主服務器提供服務，其他服務器處於冗餘狀態，若當前在線的服務器宕機，其虛擬IP地址將會被其他服務器接替（優先級決定接替順序），實現高可用為後端主機提供服務。

二、keepalived組件

Keepalived組件介紹

kubernetes 雙機熱備_kubernetes 雙機熱備

core:keepalived核心組件，主進程的啓動和維護，全局配置等。

vrrp stack:keepalived是基於vrrp協議實現高可用vps服務，vrrp則為相關子進程為其提供服務

check:檢測keepalived的健康狀態相關進程

system call:系統調用

watch dog:監控check和vrrp進程的看管者，check負責檢測器子進程的健康狀態，當其檢測到master上的服務不可用時則通告vrrp將其轉移至backup服務器上。

三、環境準備

MySQL、Keepalived的具體版本，虛擬主機等配置，都儘可能參考客户目前的生產環境安裝規範來準備：

軟件名稱	版本
MySQL	5.7.39
Keepalived	2.0.20

準備2台虛擬主機，具體環境信息為:

系統版本	主機名	IP地址	主機內存	磁盤空間
CentOS 7.5	db1	192.168.116.138	1G	20G
CentOS 7.5	db2	192.168.116.138	1G	20G

規劃業務連接的vip為：192.168.116.130

MySQL軟件下載地址：https://downloads.mysql.com/archives/community/Keepalived軟件下載地址：https://www.keepalived.org/download.html

四、MySQL安裝

略。。。。

五、MySQL主主配置

master1（138）中my.cnf文件配置

server-id=1       #數據庫唯一ID，主從的標識號絕對不能重複。
 log-bin=mysql-bin   #開啓bin-log，並指定文件目錄和文件名前綴
 binlog-do-db=lw　 #需要同步liting數據庫。如果是多個同步庫，就以此格式另寫幾行即可。如果不指明對某個具體庫同步，就去掉此行，表示同步所有庫（除了ignore忽略的庫）。
 binlog-ignore-db=mysql,performance_schema,informantion_schema,sys #不同步mysql系統數據庫。如果是多個不同步庫，就以此格式另寫幾行；也可以在一行，中間逗號隔開。
 sync_binlog = 1      ＃確保binlog日誌寫入後與硬盤同步
 binlog_checksum = none  ＃跳過現有的採用checksum的事件，mysql5.6.5以後的版本中binlog_checksum=crc32,而低版本都是binlog_checksum=none
 binlog_format = mixed   ＃bin-log日誌文件格式，設置為MIXED可以防止主鍵重複。
 auto_increment_offset=1     表示自增長字段從那個數開始，取值範圍是1 .. 65535。這個就是序號。如果有n台mysql機器，則從第一台開始分為設1，2...n
 auto_increment_increment=2    表示自增長字段每次遞增的量，其默認值是1，取值範圍是1 .. 65535。如果有n台mysql機器，這個值就設置為n。
温馨提示：在主服務器上最重要的二進制日誌設置是sync_binlog，這使得mysql在每次提交事務的時候把二進制日誌的內容同步到磁盤上，即使服務器崩潰也會把事件寫入日誌中。
   sync_binlog這個參數是對於MySQL系統來説是至關重要的，他不僅影響到Binlog對MySQL所帶來的性能損耗，而且還影響到MySQL中數據的完整性。對於"sync_binlog"參數的各種設置的説明如下：
   sync_binlog=0，當事務提交之後，MySQL不做fsync之類的磁盤同步指令刷新binlog_cache中的信息到磁盤，而讓Filesystem自行決定什麼時候來做同步，或者cache滿了之後才同步到磁盤。
   sync_binlog=n，當每進行n次事務提交之後，MySQL將進行一次fsync之類的磁盤同步指令來將binlog_cache中的數據強制寫入磁盤。

配置master1 (138)數據庫

grant replication slave, replication client on *.* to 'repl'@'192.168.116.%' identified by "123456";
flush privileges;
flush tables with read lock; /* 注意該參數設置後，如果自己同步對方數據，同步前一定要記得先解鎖！*/
show master status;

結果如下：

show master status;
+-----------------+----------+--------------+------------------+------------------------------------------+
| File            | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                        |
+-----------------+----------+--------------+------------------+------------------------------------------+
| mybinlog.000115 |     150 |              | mysql,performance_schema,informantion_schema,sys           |  |
+-----------------+----------+--------------+------------------+------------------------------------------+
1 row in set (0.00 sec)

master2（139）中my.cnf文件配置

server-id=2       #數據庫唯一ID，主從的標識號絕對不能重複。
 log-bin=mysql-bin   #開啓bin-log，並指定文件目錄和文件名前綴
 binlog-do-db=lw　 #需要同步liting數據庫。如果是多個同步庫，就以此格式另寫幾行即可。如果不指明對某個具體庫同步，就去掉此行，表示同步所有庫（除了ignore忽略的庫）。
 binlog-ignore-db=mysql,performance_schema,informantion_schema,sys #不同步mysql系統數據庫。如果是多個不同步庫，就以此格式另寫幾行；也可以在一行，中間逗號隔開。
 sync_binlog = 1      ＃確保binlog日誌寫入後與硬盤同步
 binlog_checksum = none  ＃跳過現有的採用checksum的事件，mysql5.6.5以後的版本中binlog_checksum=crc32,而低版本都是binlog_checksum=none
 binlog_format = mixed   ＃bin-log日誌文件格式，設置為MIXED可以防止主鍵重複。
 auto_increment_offset=2     表示自增長字段從那個數開始，取值範圍是1 .. 65535。這個就是序號。如果有n台mysql機器，則從第一台開始分為設1，2...n
 auto_increment_increment=2    表示自增長字段每次遞增的量，其默認值是1，取值範圍是1 .. 65535。如果有n台mysql機器，這個值就設置為n。
温馨提示：在主服務器上最重要的二進制日誌設置是sync_binlog，這使得mysql在每次提交事務的時候把二進制日誌的內容同步到磁盤上，即使服務器崩潰也會把事件寫入日誌中。
   sync_binlog這個參數是對於MySQL系統來説是至關重要的，他不僅影響到Binlog對MySQL所帶來的性能損耗，而且還影響到MySQL中數據的完整性。對於"sync_binlog"參數的各種設置的説明如下：
   sync_binlog=0，當事務提交之後，MySQL不做fsync之類的磁盤同步指令刷新binlog_cache中的信息到磁盤，而讓Filesystem自行決定什麼時候來做同步，或者cache滿了之後才同步到磁盤。
   sync_binlog=n，當每進行n次事務提交之後，MySQL將進行一次fsync之類的磁盤同步指令來將binlog_cache中的數據強制寫入磁盤。

配置master2 (139)數據庫

grant replication slave, replication client on *.* to 'repl'@'192.168.116.%' identified by "123456";
flush privileges;
flush tables with read lock; /* 注意該參數設置後，如果自己同步對方數據，同步前一定要記得先解鎖！*/
show master status;

結果如下：

show master status;
+-----------------+----------+--------------+------------------+------------------------------------------+
| File            | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set                        |
+-----------------+----------+--------------+------------------+------------------------------------------+
| mybinlog.000115 |     150 |              | mysql,performance_schema,informantion_schema,sys           |  |
+-----------------+----------+--------------+------------------+------------------------------------------+
1 row in set (0.00 sec)

Master1 同步 Master2

在master1(138)上做以下操作，注意master_host輸入master2地址，以及master2的show master status信息:

mysql -uroot -p'123456'
unlock tables; /*先解鎖，將對方數據同步到自己的數據庫中*/
stop slave;
change master to master_host='192.168.116.139', master_user='repl', master_password='123456', master_log_file='mybinlog.000115', master_log_pos=150;
start slave;

查看同步狀態，如下出現兩個“Yes”，表明同步成功:

show slave status\G
...
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

Master2 同步 Master1

在master2(139)上做以下操作，注意master_host輸入master1地址，以及master1的show master status信息:

mysql -uroot -p'123456'
unlock tables; /*先解鎖，將對方數據同步到自己的數據庫中*/
stop slave;
change master to master_host='192.168.116.138', master_user='repl', master_password='123', master_log_file='mybinlog.000115', master_log_pos=150;
start slave;

查看同步狀態，如下出現兩個“Yes”，表明同步成功:

show slave status\G
...
Slave_IO_Running: Yes
Slave_SQL_Running: Yes

驗證主主同步正常
在master1(138)上創建一個測試庫lw1；創建表haha，插入一條數據，然後去master2(139)查詢確認同步；
在master2(139)上創建一個測試庫lw2；創建表haha2，插入一條數據，然後去master1(138)查詢確認同步。

1）在master1數據庫上寫入新數據
mysql> unlock tables;
Query OK, 0 rows affected (0.00 sec)
  
mysql> create database lw1;
Query OK, 1 row affected (0.01 sec)
  
mysql> use lw1;
Database changed
  
mysql> create table if not exists haha ( id int(10) PRIMARY KEY AUTO_INCREMENT, name varchar(50) NOT NULL);
Query OK, 0 rows affected (0.04 sec)

mysql> insert into haha values(2,'guojing');
Query OK, 1 row affected (0.00 sec)

mysql> insert into haha values(1,"huangrong");
Query OK, 1 row affected (0.00 sec)

mysql> select * from haha;
+----+-----------+
| id | name |
+----+-----------+
| 1 | huangrong |
| 2 | guojing |
+----+-----------+
2 rows in set (0.00 sec)


  
然後在master2數據庫上查看，發現數據已經同步過來了!
mysql> select * from lw1.haha;
+----+-----------+
| id | name |
+----+-----------+
| 1 | huangrong |
| 2 | guojing |
+----+-----------+
2 rows in set (0.00 sec)

六、Keepalived安裝部署

安裝keepalived軟件
需要準備的系統依賴包：

gcc
libnl-1.1.4-2.el6.x86_64
libnl-devel-1.1.4-2.el6.x86_64
libnfnetlink-1.0.0-1.el6.x86_64
libnfnetlink-devel-1.0.0-1.el6.x86_64
openssl-devel-1.0.1e-58.el6_10.x86_64

配置好yum源，使用yum install安裝對應的包。

yum install gcc libnl libnl-devel libnfnetlink libnfnetlink-devel openssl-devel

編譯安裝keepalived
解壓及配置:

tar -xvf keepalived-2.0.20.tar.gz
mv keepalived-2.0.20 /usr/local/src/
cd /usr/local/src/keepalived-2.0.20
./configure --prefix=/usr/local/keepalived

編譯安裝:

make && make install

配置keepalived服務

配置服務文件

mkdir /etc/keepalived
cp /usr/local/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
cp /usr/local/keepalived/sbin/keepalived /usr/sbin
cp /usr/local/src/keepalived-2.0.20/keepalived/etc/init.d/keepalived /etc/rc.d/init.d/keepalived

加keepalived服務

chkconfig --list |grep keepalived
chkconfig --add keepalived
chkconfig keepalived on

配置keepalived日誌

keepalived的日誌默認是輸出到/var/log/messages中，這樣不便於查看。如何自定義keepalived的日誌輸出文件呢？
如果是用service啓動的，修改/etc/sysconfig/keepalived文件
vi /etc/sysconfig/keepalived

KEEPALIVED_OPTIONS="-D -d -S 0"

如果不是，則啓動的時候指定以上參數，如：

/usr/local/keepalived/sbin/keepalived -d -D -S 0

修改/etc/syslog.conf（RHEL6.8以後配置/etc/rsyslog.conf）

# keepalived -S 0 
local0.*     /var/log/keepalived.log

重啓syslog：

# RHEL 5&6：
service syslog restart
# RHEL 7：
service rsyslog restart

注：RHEL6.8也是按照RHEL7的方法來操作。

配置keepalived的MySQL故障轉移
master1(138)機器上的keepalived.conf配置:
注：下面配置中沒有使用lvs的負載均衡功能，所以不需要配置虛擬服務器virtual server

cd /etc/keepalived/
mv keepalived.conf keepalived.conf.bak
vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_mysql_port { 
    script "/etc/keepalived/check_mysql.sh" 
    interval 2 
    weight -5 
    fall 2 
    rise 1 
}
       
vrrp_instance VI_1 {
    state MASTER    
    interface ens33 #指定虛擬ip的網卡接口
    mcast_src_ip 192.168.116.138 #指定本服務器物理ip地址
    virtual_router_id 130 #路由器標識，MASTER和BACKUP必須是一致的，取值1-255，注意同一內網中不應有相同virtual_router_id的集羣，可以考慮使用vip的最後一位進行標示。
    priority 101 
    advert_int 1         
    authentication {   
        auth_type PASS 
        auth_pass 888888   
    }
    virtual_ipaddress {    
        192.168.116.130 #指定虛擬ip地址
    }
      
track_script {               
   chk_mysql_port             
}
}

編輯 /etc/keepalived/check_mysql.sh
vi /etc/keepalived/check_mysql.sh

#!/bin/bash
counter=$(netstat -na|grep "LISTEN"|grep "3306"|wc -l)
if [ "${counter}" -eq 0 ]; then
    /etc/init.d/keepalived stop
fi
 
# 修改chk_mysql.sh權限
chmod 755 /etc/keepalived/check_mysql.sh

# 啓動keepalived
# service keepalived start
Starting keepalived: [ OK ]

master2(139)機器上的keepalived.conf配置:

cd /etc/keepalived/
mv keepalived.conf keepalived.conf.bak
vi /etc/keepalived/keepalived.conf

! Configuration File for keepalived

vrrp_script chk_mysql_port {
    script "/etc/keepalived/check_mysql.sh"
    interval 2            
    weight -5                 
    fall 2                 
    rise 1               
}
       
vrrp_instance VI_1 {
    state BACKUP
    interface ens33    
    mcast_src_ip 192.168.116.139
    virtual_router_id 130  
    priority 99          
    advert_int 1         
    authentication {   
        auth_type PASS 
        auth_pass 888888    
    }
    virtual_ipaddress {    
        192.168.116.130
    }
      
track_script {               
   chk_mysql_port             
}
}

編輯check_mysql.sh

vi /etc/keepalived/check_mysql.sh

#!/bin/bash
counter=$(netstat -na|grep "LISTEN"|grep "3306"|wc -l)
if [ "${counter}" -eq 0 ]; then
    /etc/init.d/keepalived stop
fi

chmod 755 /etc/keepalived/check_mysql.sh

啓動keepalived:

service keepalived start
Starting keepalived: [ OK ]

查看keepalived日誌：

tail -200f /var/log/keepalived.log

創建數據庫、用户並賦權

--創建業務用户：
create user 'admin'@'%' identified by '123456';

--賦予業務用户權限(默認）：
grant insert,update,delete,select,alter,create,index,SHOW VIEW on lw1.* to 'admin'@'%';

此時應用側已經可以使用命令mysql -uadmin -p -h192.168.1.130或者客户端連接工具，登錄到數據庫進行相關操作了。

mysql -uadmin -p -h192.168.116.130

七、Mysql＋keepalived故障轉移的高可用測試

停止master1機器上的mysql服務，根據配置中的腳本，mysql服務停了，keepalived也會停，從而vip資源將會切換到master2機器上。（mysql服務沒有起來的時候，keepalived服務也無法順利啓動！）

再次啓動master1的mysql和keepalived服務。（注意：如果restart重啓mysql，那麼還要啓動下keepalived，因為mysql重啓，根據腳本會造成keepalived關閉）

注意：一定要先啓動mysql服務，然後再啓動keepalived服務。如果先啓動keepalived服務，按照上面的配置，mysql沒有起來，就會自動關閉keepalived。

八、Keepalived的搶佔和非搶佔模式

keepalive是基於vrrp協議在linux主機上以守護進程方式，根據配置文件實現健康檢查。

VRRP是一種選擇協議，它可以把一個虛擬路由器的責任動態分配到局域網上的VRRP路由器中的一台。

控制虛擬路由器IP地址的VRRP路由器稱為主路由器，它負責轉發數據包到這些虛擬IP地址。

一旦主路由器不可用，這種選擇過程就提供了動態的故障轉移機制，這就允許虛擬路由器的IP地址可以作為終端主機的默認第一跳路由器。

keepalive通過組播，單播等方式（自定義），實現keepalive主備推選。工作模式分為搶佔和非搶佔（通過參數nopreempt來控制）。

1）搶佔模式：

主服務正常工作時，虛擬IP會在主上，備不提供服務，當主服務優先級低於備的時候，備會自動搶佔虛擬IP，這時，主不提供服務，備提供服務。

也就是説，工作在搶佔模式下，不分主備，只管優先級。

如上配置，不管keepalived.conf裏的state配置成master還是backup，只看誰的priority優先級高（一般而言，state為MASTER的優先級要高於BACKUP）。

priority優先級高的那一個在故障恢復後，會自動將VIP資源再次搶佔回來！！

2）非搶佔模式：

這種方式通過參數nopreempt（一般設置在advert_int的那一行下面）來控制。不管priority優先級，只要MASTER機器發生故障，VIP資源就會被切換到BACKUP上。

並且當MASTER機器恢復後，也不會去將VIP資源搶佔回來，直至BACKUP機器發生故障時，才能自動切換回來。

千萬注意：

nopreempt這個參數只能用於state為backup的情況，所以在配置的時候要把master和backup的state都設置成backup，這樣才會實現keepalived的非搶佔模式！

也就是説：

a）當state狀態一個為master，一個為backup的時候，加不加nopreempt這個參數都是一樣的效果。即都是根據priority優先級來決定誰搶佔vip資源的，是搶佔模式！

b）當state狀態都設置成backup，如果不配置nopreempt參數，那麼也是看priority優先級決定誰搶佔vip資源，即也是搶佔模式。

c）當state狀態都設置成backup，如果配置nopreempt參數，那麼就不會去考慮priority優先級了，是非搶佔模式！即只有vip當前所在機器發生故障，另一台機器才能接管vip。即使優先級高的那一台機器恢復後也不會主動搶回vip，只能等到對方發生故障，才會將vip切回來。

九、mysql狀態檢測腳本優化

上面的mysql監測腳本有點過於簡單且粗暴，即腳本一旦監測到Master的mysql服務關閉，就立刻把keepalived服務關閉，從而實現vip轉移！

下面對該腳本進行優化，優化後，當監測到Master的mysql服務關閉後，就會將vip切換到Backup上（但此時Master的keepalived服務不會被暴力kill）
當Master的mysql服務恢復後，就會再次將VIP資源切回來！

#!/bin/bash
MYSQL=/usr/bin/mysql
MYSQL_HOST=localhost
MYSQL_USER=root
MYSQL_PASSWORD=1qaz@WSX
CHECK_TIME=3
  
#mysql  is working MYSQL_OK is 1 , mysql down MYSQL_OK is 0
  
MYSQL_OK=1
  
function check_mysql_helth (){
    $MYSQL -h $MYSQL_HOST -u $MYSQL_USER -p${MYSQL_PASSWORD} -e "show status;" >/dev/null 2>&1
    if [ $? = 0 ] ;then
    MYSQL_OK=1
    else
    MYSQL_OK=0
    fi
    return $MYSQL_OK
}
while [ $CHECK_TIME -ne 0 ]
do
    let "CHECK_TIME -= 1"
    check_mysql_helth
if [ $MYSQL_OK = 1 ] ; then
    CHECK_TIME=0
    exit 0
fi
if [ $MYSQL_OK -eq 0 ] &&  [ $CHECK_TIME -eq 0 ]
then
    pkill keepalived
    exit 1
fi
sleep 1
done

本文章為轉載內容，我們尊重原作者對文章享有的著作權。如有內容錯誤或侵權問題，歡迎原作者聯繫我們進行內容更正或刪除文章。

碼海無壓博客

碼海無壓博客

博客 / 詳情