keepalived工作原理是:根據(jù)TCP/IP參考模型的第三、第四層、第五層交換機(jī)制檢測(cè)每個(gè)服務(wù)節(jié)點(diǎn)的狀態(tài),某個(gè)服務(wù)器節(jié)點(diǎn)出現(xiàn)異常或出現(xiàn)故障,Keepalived將檢測(cè)到將出現(xiàn)的故障的服務(wù)器節(jié)點(diǎn)從集群系統(tǒng)中剔除。
本教程操作環(huán)境:centos7系統(tǒng)、thinkpad t480電腦。
Keepalived簡(jiǎn)介
Keepalived是Linux下一個(gè)輕量級(jí)別的高可用解決方案。高可用:廣義來(lái)講,是指整個(gè)系統(tǒng)的高可用行;狹義的來(lái)講就是主機(jī)的冗余和接管。
它與HeartBeat實(shí)現(xiàn)類(lèi)似的功能,都可以實(shí)現(xiàn)服務(wù)或者網(wǎng)絡(luò)的高可用,但是又有差別,HeartBeat是一個(gè)專(zhuān)業(yè)的、功能完善的高可用軟件,它提供HA軟件所需的基本功能,比如:心跳檢測(cè)、資源接管,檢測(cè)集群中的服務(wù),在集群節(jié)點(diǎn)轉(zhuǎn)移共享IP地址的所有者等等。
HeartBeat功能強(qiáng)大,但是部署和使用相對(duì)比較麻煩,與HeartBeat相比,Keepalived主要是通過(guò)虛擬路由冗余來(lái)實(shí)現(xiàn)高可用功能,雖然它沒(méi)有HeartBeat功能強(qiáng)大,但是Keepalived部署和使用非常的簡(jiǎn)單,所有配置只需要一個(gè)配置文件即可以完成。
Keepalived是什么?
Keepalived起初是為L(zhǎng)VS設(shè)計(jì)的,專(zhuān)門(mén)用來(lái)監(jiān)控集群系統(tǒng)中各個(gè)服務(wù)節(jié)點(diǎn)的狀態(tài),它根據(jù)TCP/IP參考模型的第三、第四層、第五層交換機(jī)制檢測(cè)每個(gè)服務(wù)節(jié)點(diǎn)的狀態(tài),如果某個(gè)服務(wù)器節(jié)點(diǎn)出現(xiàn)異常,或者工作出現(xiàn)故障,Keepalived將檢測(cè)到,并將出現(xiàn)的故障的服務(wù)器節(jié)點(diǎn)從集群系統(tǒng)中剔除,這些工作全部是自動(dòng)完成的,不需要人工干涉,需要人工完成的只是修復(fù)出現(xiàn)故障的服務(wù)節(jié)點(diǎn)。
后來(lái)Keepalived又加入了VRRP的功能,VRRP(VritrualRouterRedundancyProtocol,虛擬路由冗余協(xié)議)出現(xiàn)的目的是解決靜態(tài)路由出現(xiàn)的單點(diǎn)故障問(wèn)題,通過(guò)VRRP可以實(shí)現(xiàn)網(wǎng)絡(luò)不間斷穩(wěn)定運(yùn)行,因此Keepalvied一方面具有服務(wù)器狀態(tài)檢測(cè)和故障隔離功能,另外一方面也有HAcluster功能。
健康檢查和失敗切換是keepalived的兩大核心功能。所謂的健康檢查,就是采用tcp三次握手,icmp請(qǐng)求,http請(qǐng)求,udp echo請(qǐng)求等方式對(duì)負(fù)載均衡器后面的實(shí)際的服務(wù)器(通常是承載真實(shí)業(yè)務(wù)的服務(wù)器)進(jìn)行保活;而失敗切換主要是應(yīng)用于配置了主備模式的負(fù)載均衡器,利用VRRP維持主備負(fù)載均衡器的心跳,當(dāng)主負(fù)載均衡器出現(xiàn)問(wèn)題時(shí),由備負(fù)載均衡器承載對(duì)應(yīng)的業(yè)務(wù),從而在最大限度上減少流量損失,并提供服務(wù)的穩(wěn)定性。
VRRP協(xié)議與工作原理
在現(xiàn)實(shí)的網(wǎng)絡(luò)環(huán)境中。主機(jī)之間的通信都是通過(guò)配置靜態(tài)路由或者(默認(rèn)網(wǎng)關(guān))來(lái)完成的,而主機(jī)之間的路由器一旦發(fā)生故障,通信就會(huì)失效,因此這種通信模式當(dāng)中,路由器就成了一個(gè)單點(diǎn)瓶頸,為了解決這個(gè)問(wèn)題,就引入了VRRP協(xié)議。
VRRP協(xié)議是一種容錯(cuò)的主備模式的協(xié)議,保證當(dāng)主機(jī)的下一跳路由出現(xiàn)故障時(shí),由另一臺(tái)路由器來(lái)代替出現(xiàn)故障的路由器進(jìn)行工作,通過(guò)VRRP可以在網(wǎng)絡(luò)發(fā)生故障時(shí)透明的進(jìn)行設(shè)備切換而不影響主機(jī)之間的數(shù)據(jù)通信。
虛擬路由器:虛擬路由器是VRRP備份組中所有路由器的集合,它是一個(gè)邏輯概念,并不是正真存在的。從備份組外面看備份組中的路由器,感覺(jué)組中的所有路由器就像一個(gè) 一樣,可以理解為在一個(gè)組中: 主路由器+所有備份路由器=虛擬路由器。
虛擬路由器有一個(gè)虛擬的IP地址和MAC地址。主機(jī)將虛擬路由器當(dāng)作默認(rèn)網(wǎng)關(guān)。虛擬MAC地址的格式為00-00-5E-00-01-{VRID}。通常情況下,虛擬路由器回應(yīng)ARP請(qǐng)求使用的是虛擬MAC地址,只有虛擬路由器做特殊配置的時(shí)候,才回應(yīng)接口的真實(shí)MAC地址。
主路由器(MASTER):虛擬路由器通過(guò)虛擬IP對(duì)外提供服務(wù),而在虛擬路由器內(nèi)部同一時(shí)間只有一臺(tái)物理路由器對(duì)外提供服務(wù),這臺(tái)提供服務(wù)的物理路由器被稱(chēng)為主路由器。一般情況下Master是由選舉算法產(chǎn)生,它擁有對(duì)外服務(wù)的虛擬IP,提供各種網(wǎng)絡(luò)功能,如:ARP請(qǐng)求,ICMP數(shù)據(jù)轉(zhuǎn)發(fā)等。
備份路由器(BACKUP):虛擬路由器中的其他物理路由器不擁有對(duì)外的虛擬IP,也不對(duì)外提供網(wǎng)絡(luò)功能,僅接受MASTER的VRRP狀態(tài)通告信息,這些路由器被稱(chēng)為備份路由器。當(dāng)主路由器失敗時(shí),處于BACKUP角色的備份路由器將重新進(jìn)行選舉,產(chǎn)生一個(gè)新的主路由器進(jìn)入MASTER角色,繼續(xù)提供對(duì)外服務(wù),整個(gè)切換對(duì)用戶(hù)來(lái)說(shuō)是完全透明的。
VRRP選舉機(jī)制
VRRP路由器在運(yùn)行過(guò)程中有三種狀態(tài):
1. Initialize狀態(tài): 系統(tǒng)啟動(dòng)后就進(jìn)入Initialize,此狀態(tài)下路由器不對(duì)VRRP報(bào)文做任何處理;
2. Master狀態(tài);
3. Backup狀態(tài);
一般主路由器處于Master狀態(tài),備份路由器處于Backup狀態(tài)。
VRRP使用選舉機(jī)制來(lái)確定路由器的狀態(tài),優(yōu)先級(jí)選舉:
1.VRRP組中IP擁有者。如果虛擬IP地址與VRRP組中的某臺(tái)VRRP路由器IP地址相同,則此路由器為IP地址擁有者,這臺(tái)路由器將被定位主路由器。
2.比較優(yōu)先級(jí)。如果沒(méi)有IP地址擁有者,則比較路由器的優(yōu)先級(jí),優(yōu)先級(jí)的范圍是0~255,優(yōu)先級(jí)大的作為主路由器
3.比較IP地址。在沒(méi)有Ip地址擁有者和優(yōu)先級(jí)相同的情況下,IP地址大的作為主路由器。
如下圖所示,虛擬IP為10.1.1.254,在VRRP組中沒(méi)有IP地址擁有者,則比較優(yōu)先級(jí),很明顯RB和RA的優(yōu)先級(jí)要大于RC,則比較RA和RB的IP地址,RB的IP地址大。所以RB為組中的主路由器。
工作過(guò)程
路由器使用VRRP 功能后,會(huì)根據(jù)優(yōu)先級(jí)確定自己在備份組中的角色。優(yōu)先級(jí)高的路由器成為Master 路由器,優(yōu)先級(jí)低的成為Backup 路由器。Master 擁有對(duì)外服務(wù)的虛擬IP,提供各種網(wǎng)絡(luò)功能,并定期發(fā)送VRRP 報(bào)文,通知備份組內(nèi)的其他設(shè)備自己工作正常;Backup 路由器只接收Master 發(fā)來(lái)的報(bào)文信息,用來(lái)監(jiān)控Master 的運(yùn)行狀態(tài)。當(dāng)Master 失效時(shí),Backup 路由器進(jìn)行選舉,優(yōu)先級(jí)高的Backup 將成為新的Master 。
在搶占方式下,當(dāng)Backup 路由器收到VRRP 報(bào)文后,會(huì)將自己的優(yōu)先級(jí)與報(bào)文中的優(yōu)先級(jí)進(jìn)行比較。如果大于通告報(bào)文中的優(yōu)先級(jí),則成為Master 路由器;否則將保持Backup狀態(tài);
在非搶占方式下,只要Master 路由器沒(méi)有出現(xiàn)故障,備份組中的路由器始終保持Master 或Backup 狀態(tài),Backup 路由器即使隨后被配置了更高的優(yōu)先級(jí)也不會(huì)成為Master 路由器;
如果Backup 路由器的定時(shí)器超時(shí)后仍未收到Master 路由器發(fā)送來(lái)的VRRP報(bào)文,則認(rèn)為Master 路由器已經(jīng)無(wú)法正常工作,此時(shí)Backup 路由器會(huì)認(rèn)為自己是Master 路由器,并對(duì)外發(fā)送VRRP報(bào)文。備份組內(nèi)的路由器根據(jù)優(yōu)先級(jí)選舉出Master 路由 器,承擔(dān)報(bào)文的轉(zhuǎn)發(fā)功能。
Keepalvied的工作原理
Keepalived對(duì)服務(wù)器運(yùn)行狀態(tài)和故障隔離的工作原理:
Keepalived工作在TCP/IP參考模型的三層、四層、五層(物理層,鏈路層):
網(wǎng)絡(luò)層(3):Keepalived通過(guò)ICMP協(xié)議向服務(wù)器集群中的每一個(gè)節(jié)點(diǎn)發(fā)送一個(gè)ICMP數(shù)據(jù)包(有點(diǎn)類(lèi)似與Ping的功能),如果某個(gè)節(jié)點(diǎn)沒(méi)有返回響應(yīng)數(shù)據(jù)包,那么認(rèn)為該節(jié)點(diǎn)發(fā)生了故障,Keepalived將報(bào)告這個(gè)節(jié)點(diǎn)失效,并從服務(wù)器集群中剔除故障節(jié)點(diǎn)。
傳輸層(4):Keepalived在傳輸層里利用了TCP協(xié)議的端口連接和掃描技術(shù)來(lái)判斷集群節(jié)點(diǎn)的端口是否正常,比如對(duì)于常見(jiàn)的WEB服務(wù)器80端口。或者SSH服務(wù)22端口,Keepalived一旦在傳輸層探測(cè)到這些端口號(hào)沒(méi)有數(shù)據(jù)響應(yīng)和數(shù)據(jù)返回,就認(rèn)為這些端口發(fā)生異常,然后強(qiáng)制將這些端口所對(duì)應(yīng)的節(jié)點(diǎn)從服務(wù)器集群中剔除掉。
應(yīng)用層(5):,Keepalived的運(yùn)行方式也更加全面化和復(fù)雜化,用戶(hù)可以通過(guò)自定義Keepalived工作方式,例如:可以通過(guò)編寫(xiě)程序或者腳本來(lái)運(yùn)行Keepalived,而Keepalived將根據(jù)用戶(hù)的設(shè)定參數(shù)檢測(cè)各種程序或者服務(wù)是否允許正常,如果Keepalived的檢測(cè)結(jié)果和用戶(hù)設(shè)定的不一致時(shí),Keepalived將把對(duì)應(yīng)的服務(wù)器從服務(wù)器集群中剔除。
Keepalived體系結(jié)構(gòu)
Keepalived起初是為L(zhǎng)VS設(shè)計(jì)的,由于Keeplalived可以實(shí)現(xiàn)對(duì)集群節(jié)點(diǎn)的狀態(tài)檢測(cè),而IPVS可以實(shí)現(xiàn)負(fù)載均衡功能,因此,Keepalived借助于第三方模塊IPVS就可以很方便地搭建一套負(fù)載均衡系統(tǒng)。在Keepalived當(dāng)中IPVS模塊是可配置的,如果需要負(fù)載均衡功能,可以在編譯Keepalived時(shí)開(kāi)打負(fù)載均衡功能,也可以通過(guò)編譯參數(shù)關(guān)閉。
SchedulerI/OMultiplexer是一個(gè)I/O復(fù)用分發(fā)調(diào)度器,它負(fù)載安排Keepalived所有內(nèi)部的任務(wù)請(qǐng)求;
Memory Mngt是一個(gè)內(nèi)存管理機(jī)制,這個(gè)框架提供了訪(fǎng)問(wèn)內(nèi)存的一些通用方法;
Control Plane 是keepalived的控制版面,可以實(shí)現(xiàn)對(duì)配置文件編譯和解析;
Core componets 這部分主要包含了5個(gè)部分;
-
Watchdog:是計(jì)算機(jī)可靠領(lǐng)域中極為簡(jiǎn)單又非常有效的檢測(cè)工具,Keepalived正是通過(guò)它監(jiān)控Checkers和VRRP進(jìn)程的。
-
Checkers:這是Keepalived最基礎(chǔ)的功能,也是最主要的功能,可以實(shí)現(xiàn)對(duì)服務(wù)器運(yùn)行狀態(tài)檢測(cè)和故障隔離。
-
VRRP Stack:這是keepalived后來(lái)引用VRRP功能,可以實(shí)現(xiàn)HA集群中失敗切換功能。負(fù)責(zé)負(fù)載均衡器之間的失敗切換FailOver;
-
IPVS wrapper:這個(gè)是IPVS功能的一個(gè)實(shí)現(xiàn),IPVSwarrper模塊將可以設(shè)置好的IPVS規(guī)則發(fā)送的內(nèi)核空間并且提供給IPVS模塊,最終實(shí)現(xiàn)IPVS模塊的負(fù)載功能。
-
Netlink Reflector:用來(lái)實(shí)現(xiàn)高可用集群Failover時(shí)虛擬IP(VIP)的設(shè)置和切換,
keepalived運(yùn)行時(shí),會(huì)啟動(dòng)3個(gè)進(jìn)程,分別為:core(核心進(jìn)程),check和vrrp
– core:負(fù)責(zé)主進(jìn)程的啟動(dòng),維護(hù)和全局配置文件的加載;
– check:負(fù)責(zé)健康檢查
– vrrp:用來(lái)實(shí)現(xiàn)vrrp協(xié)議
與heartbeat/corosync等比較
Heartbeat、Corosync、Keepalived這三個(gè)集群組件我們到底選哪個(gè)好,Heartbeat、Corosync是屬于同一類(lèi)型,Keepalived與Heartbeat、Corosync,根本不是同一類(lèi)型的。
Keepalived使用的vrrp虛擬路由冗余協(xié)議方式;Heartbeat或Corosync是基于主機(jī)或網(wǎng)絡(luò)服務(wù)的高可用方式;簡(jiǎn)單的說(shuō)就是,Keepalived的目的是模擬路由器的高可用,Heartbeat或Corosync的目的是實(shí)現(xiàn)Service的高可用。
所以一般Keepalived是實(shí)現(xiàn)前端高可用,常用的前端高可用的組合有,就是我們常見(jiàn)的LVS+Keepalived、Nginx+Keepalived、HAproxy+Keepalived。而Heartbeat或Corosync是實(shí)現(xiàn)服務(wù)的高可用,常見(jiàn)的組合有Heartbeat v3(Corosync)+Pacemaker+NFS+Httpd 實(shí)現(xiàn)Web服務(wù)器的高可用、Heartbeat v3(Corosync)+Pacemaker+NFS+MySQL 實(shí)現(xiàn)MySQL服務(wù)器的高可用。
總結(jié)一下,Keepalived中實(shí)現(xiàn)輕量級(jí)的高可用,一般用于前端高可用,且不需要共享存儲(chǔ),一般常用于兩個(gè)節(jié)點(diǎn)的高可用。而Heartbeat(或Corosync)一般用于服務(wù)的高可用,且需要共享存儲(chǔ),一般用于多節(jié)點(diǎn)的高可用。
(推薦學(xué)習(xí):linux教程)