6月9日,信服云容災(zāi)技術(shù)負責人XiaSiming 在信服云《Tech Talk · 云技術(shù)有話聊》系列直播課上分享了《深信服混合云容災(zāi)技術(shù)解析》,詳細介紹了信服云容災(zāi)的價值、混合云容災(zāi)技術(shù)介紹、容災(zāi)場景實踐等內(nèi)容。以下是他分享的內(nèi)容摘要,想要了解更多可以關(guān)注“深信服科技”公眾號觀看直播回放。
一、容災(zāi)價值
隨著互聯(lián)網(wǎng)業(yè)務(wù)的蓬勃發(fā)展,云計算平臺承載著用戶的更多業(yè)務(wù),容災(zāi)在很大程度上可以保障用戶的業(yè)務(wù)安全。
容災(zāi)包括合規(guī)要求、安全事件、災(zāi)難故障等,針對運維人員少、技術(shù)水平有限、預(yù)算有限等問題,信服云容災(zāi)技術(shù)方案為用戶打造了簡單、可靠、靈活、高性價比的解決方案。
信服云容災(zāi)主要以下四個特點:
簡單易用:為用戶提供云平臺一體化的運維體驗,不需要專業(yè)的災(zāi)備能力也能實現(xiàn)災(zāi)備。
安全可靠:確保數(shù)據(jù)一致性,容災(zāi)恢復(fù)效果,閑時可驗證,及時可恢復(fù)。
靈活配置:靈活的災(zāi)備策略(CDP、定時備份)、保留策略,滿足本異地分級保護需求。
高性價比:相比自建機房,整體成本更優(yōu),上限實施更快,且可提供貼身運維式服務(wù),降低用戶自身運維壓力。
混合云容災(zāi)技術(shù)介紹
容災(zāi)是指虛擬機在生產(chǎn)中心(主站點)保存一份備份,同時在容災(zāi)中心(備站點)保存一份副本。隨時可以在主站點和備站點根據(jù)需要通過備份來恢復(fù)虛擬機,當用戶虛擬機業(yè)務(wù)因意外停止工作時,可以通過切換站點使業(yè)務(wù)繼續(xù)正常工作的系統(tǒng)。
深信服混合云容災(zāi)當前實現(xiàn)的是虛擬機級別的容災(zāi)。在容災(zāi)過程中,用戶虛擬機業(yè)務(wù)不會受到影響。
根據(jù)業(yè)務(wù)重要程度的不同,可以實現(xiàn)不同RPO(Recovery Point Object)的容災(zāi)保護級別。容災(zāi)保護可以分為備份保護和CDP保護(持續(xù)數(shù)據(jù)保護)。容災(zāi)恢復(fù)包括災(zāi)難恢復(fù)和計劃內(nèi)恢復(fù);恢復(fù)后虛擬機運行在備站點。當主站點恢復(fù)正常后,可將業(yè)務(wù)虛擬機從備站點回遷到主站點運行。
容災(zāi)流程操作的第一步是創(chuàng)建一個容災(zāi)保護策略。將需要保護的虛擬機加入到容災(zāi)保護策略中。根據(jù)虛擬機業(yè)務(wù)的重要程度,定義容災(zāi)保護的RPO。創(chuàng)建容災(zāi)保護策略后,會在備站點同時創(chuàng)建一個對應(yīng)的容災(zāi)備機。容災(zāi)保護根據(jù)RPO的不同要求,有備份保護和CDP保護。
在備份保護過程中,會通過bitmap來讀取虛擬機磁盤上新增的I/O數(shù)據(jù),轉(zhuǎn)化成qcow2保存在主站點的備份存儲上。同時定時將該備份文件傳輸?shù)絺湔军c的備份存儲上進行保存。
在CDP保護過程中,當受保護的業(yè)務(wù)有IO操作時,會將所有的IO操作通過日志文件的形式保存到主站點存儲塊上。同時實時將IO文件傳輸?shù)絺湔军c的存儲塊上進行保存。當主站點發(fā)生災(zāi)難時,需要在備站點恢復(fù)虛擬機業(yè)務(wù)。通過傳輸?shù)絺湔军c的備份點快速恢復(fù)虛擬機,同時對虛擬機進行開機操作。主站點恢復(fù)正常后,將運行在備站點的虛擬機回遷到主站點。此外,也會對備站點虛擬機進行一次備份,確保回遷后的虛擬機不丟失數(shù)據(jù),然后再將備站點的增量備份傳輸回主站點,最后在主站點進行覆蓋恢復(fù)。
備份分為全量備份、增量備份。在全量備份過程中,虛擬機會在BITMAP將磁盤數(shù)據(jù)的全部數(shù)據(jù)塊都標記為臟,然后將全量數(shù)據(jù)從虛擬機運行存儲中讀取出來,寫入到qcow2備份文件中。在此期間,虛擬機在備份過程中會監(jiān)控磁盤數(shù)據(jù)塊的變化情況,并記錄在BITMAP中,便于后續(xù)進行增量備份。在增量備份中,虛擬機會通過BITMAP讀取磁盤上的增量臟數(shù)據(jù),將數(shù)據(jù)寫入備份存儲的qcow2文件中,同時通過BITMAP記錄新的臟數(shù)據(jù)塊。一般情況下,在某個存儲首次備份或者某個備份點損壞時,才會進行全量備份,其他情況一般都進行增量備份。
對于CDP備份,虛擬機所有的I/O操作落盤后,復(fù)制出一份I/O,寫入到指定配置的I/O日志存儲中,將I/O操作記錄成I/O日志文件保存。
CDP備份過程中,會實時記錄I/O日志,定期(最短1s)生成一致性的RP點。CDP只記錄用戶進行的I/O操作,但并不會去記錄原始磁盤的狀態(tài)。需要依賴虛擬機所做的備份點。IOLOG和備份點相結(jié)合,才能真實還原某個時間點磁盤的真實狀態(tài)。
信服云CDP備份優(yōu)勢體現(xiàn)在這五個方面:
1.同時進行虛擬機IO數(shù)據(jù)備份
虛擬機啟動時,不需要等待CDP數(shù)據(jù)同步完成,就可以開啟業(yè)務(wù),同時進行虛擬機IO數(shù)據(jù)的備份。
2.緩存異步復(fù)制
對虛擬機的IO數(shù)據(jù)采用了緩存異步復(fù)制技術(shù),開啟CDP功能后,會從qemu的block層復(fù)制IO數(shù)據(jù)到iolog buffer,然后由cdp_worker服務(wù)異步寫入到iolog系統(tǒng),整個過程對虛擬機的io性能無任何影響。
3.虛擬機的CDP能夠動態(tài)開啟和關(guān)閉
虛擬機的CDP能夠動態(tài)開啟和關(guān)閉,在實際使用中會比較靈活。例如,對正在運行的虛擬機,不需要重啟或中斷業(yè)務(wù),就可以開啟CDP。
4.虛擬機與CDP在邏輯上進行故障隔離
虛擬機與CDP在邏輯上進行了故障隔離,當CDP模塊出現(xiàn)故障時,不會影響虛擬機的業(yè)務(wù)。當故障消除后,CDP模塊會自動恢復(fù)運行。
5.快速瀏覽指定CDP備份內(nèi)的文件
支持快速瀏覽指定CDP備份內(nèi)的文件,方便用戶快速從CDP備份中獲取數(shù)據(jù)文件。
由于備份記錄的是一段時間磁盤數(shù)據(jù)的變化量,那么備份點就會存在冗余數(shù)據(jù),為了盡量減少冗余量,合理利用存儲資源,需要對備份進行定期清理。清理備份是根據(jù)備份點的時間,從最早的備份點開始清理。依賴QEMU COMMIT的原理,將前一個備份跟后一個備份進行合并,去掉其中重復(fù)的數(shù)據(jù)。容災(zāi)主站點的IOLOG的清理,是直接刪除I/O日志。而備站點是通過回放的方式,將IOLOG合并成一個備份。
在數(shù)據(jù)傳輸優(yōu)化上,信服云使用性能更高的lz4來替換原生的zlib壓縮算法,將單核的壓縮性從100MB/s提升到700MB/s,同時滿足萬兆帶寬場景,QEMU壓縮線程的CPU消耗從1000%降低到200%。
三、容災(zāi)場景實踐
容災(zāi)場景實踐分為本地數(shù)據(jù)中心容災(zāi)到云上、云上跨區(qū)域容災(zāi)、云上容災(zāi)到本地數(shù)據(jù)中心。
本地數(shù)據(jù)中心容災(zāi)到云上
該場景主要針對的是用戶的業(yè)務(wù)運行在線下資源池,需要將線下的資源池的業(yè)務(wù)容災(zāi)到線上的信服云上。此時需要在用戶線下和線上之間,打通鏈路后將線下的業(yè)務(wù)數(shù)據(jù)備份通過容災(zāi)網(wǎng)關(guān)傳輸?shù)骄€上的數(shù)據(jù)中心中,然后保存在線上的共享存儲中,當用戶出現(xiàn)故障時,即可隨時從線上的共享存儲拉起虛擬機,將業(yè)務(wù)恢復(fù)到線上的數(shù)據(jù)中心。當需要將線上的數(shù)據(jù)回遷回線下數(shù)據(jù)中心時,可將線上數(shù)據(jù)中心虛擬機產(chǎn)生的臟數(shù)據(jù)通過容災(zāi)網(wǎng)關(guān)回遷到線下的數(shù)據(jù)中心,整個流程即可對用戶的線下資源池進行業(yè)務(wù)保護。
云上跨區(qū)域容災(zāi)
云上跨區(qū)域容災(zāi)該場景主要針對的是用戶本身的業(yè)務(wù)虛擬機已經(jīng)運行在信服云的云平臺上。當用戶需要將信服云平臺上的數(shù)據(jù)容災(zāi)到另外一個資源池,實現(xiàn)異地容災(zāi),以確保數(shù)據(jù)的安全性。此時需要將線上的兩個數(shù)據(jù)中心之間鏈路進行打通,打通后線上數(shù)據(jù)中心A可以將用戶的業(yè)務(wù)數(shù)據(jù)通過容災(zāi)網(wǎng)關(guān)容災(zāi)到線上數(shù)據(jù)中心B以達到容災(zāi)的效果。
云上容災(zāi)到本地數(shù)據(jù)中心
此場景主要針對的是用戶的業(yè)務(wù)運行已經(jīng)運行在信服云的云平臺上。用戶需要將云上的業(yè)務(wù)容災(zāi)到異地的線下的私有云場景,此時用戶的業(yè)務(wù)運行在信服云的云平臺上,需要先打通信服云平臺跟線下的私有云之間的網(wǎng)絡(luò)鏈路,通過信服云容災(zāi)網(wǎng)關(guān)將線上的業(yè)務(wù)數(shù)據(jù)從共享存儲中讀取出來生成備份,然后將備份傳輸?shù)骄€下資源池中,存儲到線下資源池的備份存儲中。當出現(xiàn)業(yè)務(wù)故障時,可隨時在線下資源池通過恢復(fù)拉起的方式將線下虛擬機在線下資源池進行拉起,拉起完成后可隨時將線下的數(shù)據(jù)通過容災(zāi)網(wǎng)關(guān)回遷到線上的數(shù)據(jù)中心,以達到故障容災(zāi)的效果。
以上是信服云在混合云容災(zāi)過程中的技術(shù)方案和實踐介紹。想要了解更多可以關(guān)注“深信服科技”公眾號觀看直播回放。
(免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。
任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 )