沒想到(vmware快照大小和原來的比例)vmware中的快照功能主要是,純干貨分享之VMware vSphere快照詳解,香格里拉原名叫什么名字,
目錄:
1.vmware快照文件大嗎
2.vmware中的快照功能有哪些
3.vmware快照原理 占有空間
4.vmware快照是什么意思
5.vmware的快照存儲(chǔ)在哪里
6.vmware快照文件更改存放路徑
7.vmware快照占用磁盤空間
8.vm快照文件
9.vmware虛擬機(jī)快照
10.vmware 快照占空間嗎
1.vmware快照文件大嗎
該文章來源Smartx官方公眾號(hào):VMware 與 SmartX 快照原理淺析與 I/O 性能對(duì)比需要了解VMware快照的原理和架構(gòu)的小伙伴,可以值得一讀注:如涉及版權(quán),可以私信聯(lián)系刪除本文提要VMware vSphere 共有 4 種快照模式:VMFSspars代理記賬機(jī)構(gòu)自查報(bào)告怎么寫e 基礎(chǔ)快照、SEsparse、vSANSparse 和 vVols/native snapshots。
2.vmware中的快照功能有哪些
除了 vVols/native snapshots,VMware vSphere 其他三種快照的性能取決于多種因素,包括 I/O 類型、數(shù)據(jù)位置、快照深度、redo-log 大小以及 VMDK 的類型等。
3.vmware快照原理 占有空間
其中 VMFSsparse->SEsparse->vSANSparse 這幾種快照的演變實(shí)際上是快照性能優(yōu)化的過程:相比 VMFSsparse,SEsparse 通過 4KB 對(duì)齊場(chǎng)景優(yōu)化降低了寫放大和磁盤置零開銷,vSAN代理記賬機(jī)構(gòu)自查報(bào)告怎么寫Sparse 在此基礎(chǔ)上又優(yōu)化了內(nèi)存緩存元數(shù)據(jù),提高了快照 I/O 性能。
4.vmware快照是什么意思
但 vSANSparse 依舊無法完全避免快照遍歷開銷,同時(shí)快照深度增大、快照合并/刪除還是會(huì)帶來大幅的性能降低不同于基于 redo-log 文件和快照鏈結(jié)構(gòu)的 VMware 快照技術(shù),SMTX OS 快照擁有獨(dú)立的元數(shù)據(jù),避免遍歷快照;快照元數(shù)據(jù)除了利用內(nèi)存加速,同時(shí)做了持久化存儲(chǔ);使用更大的數(shù)據(jù)塊進(jìn)行存儲(chǔ),有效規(guī)避了多種影響快照性能的因素,降低時(shí)延、提升快照性能可恢復(fù)性。
5.vmware的快照存儲(chǔ)在哪里
同時(shí),SMTX OS 內(nèi)多組快照之間相互獨(dú)立,刪除快照無需合并操作,更快捷、簡(jiǎn)單相信使代理記賬機(jī)構(gòu)自查報(bào)告怎么寫用過虛擬機(jī)的朋友,對(duì)快照功能肯定不陌生在安裝軟件、變更系統(tǒng)配置等場(chǎng)景都會(huì)使用到快照,它可以幫助我們輕松地將虛擬機(jī)恢復(fù)到特定時(shí)刻的狀態(tài)。
6.vmware快照文件更改存放路徑
快照功能無疑很方便,但使用 VMware vSphere 執(zhí)行快照后經(jīng)常會(huì)出現(xiàn)虛擬機(jī)性能下降、快照管理復(fù)雜等問題,十分影響業(yè)務(wù)效率針對(duì)這一現(xiàn)象,本文淺析 VMware vSphere 中快照工作原理,并通過對(duì)比 VMware vSphere 和 SMTX OS(SmartX 超融合軟件)內(nèi)的快照機(jī)制和實(shí)測(cè)數(shù)據(jù),說明快照?qǐng)?zhí)行對(duì)虛擬機(jī) I/O 性能的影響。
7.vmware快照占用磁盤空間
VMware vSphere 中的快照技術(shù)淺代理記賬機(jī)構(gòu)自查報(bào)告怎么寫析VMware 對(duì)于快照的定義快照可保存虛擬機(jī)在特定時(shí)刻的狀態(tài)和數(shù)據(jù)狀態(tài)包括虛擬機(jī)的電源狀態(tài)(例如,打開電源、關(guān)閉電源、掛起)數(shù)據(jù)包括組成虛擬機(jī)的所有文件這包括磁盤、內(nèi)存和其他設(shè)備(例如虛擬網(wǎng)卡)。
8.vm快照文件
虛擬機(jī)提供了多個(gè)用于創(chuàng)建和管理快照及快照鏈的操作通過這些操作,用戶可以創(chuàng)建快照、還原到鏈中的任意快照以及移除快照快照種類目前 VMware vSphere 的虛擬機(jī)快照共有 4 種模式:VMFSsparse。
9.vmware虛擬機(jī)快照
VMFSsparse 是 VMware 傳統(tǒng)/基礎(chǔ)的虛擬機(jī)快照模式,其快照運(yùn)行原理類似 redo-log在VMFS5 文件系統(tǒng)下,虛擬磁盤默認(rèn)使用 VM代理記賬機(jī)構(gòu)自查報(bào)告怎么寫FSsparse 格式(.vmdk 文件小于 2TB)。
10.vmware 快照占空間嗎
SEsparseSEsparse 運(yùn)行原理與 VMFSsparse 類似,主要為了改進(jìn) VMware Horizon View(虛擬桌面場(chǎng)景)性能而推出的快照類型,并且支持空間回收技術(shù)SEsparse 是 VMFS6 數(shù)據(jù)存儲(chǔ)上所有增量磁盤的默認(rèn)格式。
在 VMFS5 上,SEsparse 用于大小為 2TB 及更大的虛擬磁盤vSANSparsevSANSparse 格式利用新的 VirstoFS 文件系統(tǒng) (v2) 磁盤格式的底層稀疏性和用于跟蹤更新的新內(nèi)存緩存機(jī)制,在保留現(xiàn)有的 redo-log 機(jī)制的同代理記賬機(jī)構(gòu)自查報(bào)告怎么寫時(shí)提高了快照性能。
vSANSparse 只用于 vSAN 集群,并要求虛擬機(jī)不包含 VMFSsparse 快照vVols/native snapshots這種快照實(shí)現(xiàn)并不是由 VMware 層面實(shí)現(xiàn)的,而是需要依賴外部存儲(chǔ)的快照功能,VMware 通過 VAAI 或者 vVols 將快照操作 Offload 到存儲(chǔ)端執(zhí)行。
本文將針對(duì)前三種快照模式進(jìn)行分析快照原理VMFSsparse 基礎(chǔ)快照VMFSsparse 是在創(chuàng)建虛擬機(jī)快照或從虛擬機(jī)創(chuàng)建鏈接克隆時(shí)使用的虛擬磁盤格式VMFSsparse 在 VMFS(VMware 專屬的文件系統(tǒng))之上實(shí)現(xiàn),其本質(zhì)上是一個(gè)重做日志(redo-log)文件,代理記賬機(jī)構(gòu)自查報(bào)告怎么寫創(chuàng)建快照初時(shí)它是空的,當(dāng)有數(shù)據(jù)變化就記錄到該文件之上,直至文件增長(zhǎng)到跟原來的虛擬磁盤一樣的大?。ó?dāng)虛擬磁盤上的所有數(shù)據(jù)都發(fā)生了變化)。
VMFSsparse 快照實(shí)質(zhì)上是 VMFS 命名空間中的另一個(gè)文件,它隨著虛擬機(jī)快照創(chuàng)建而產(chǎn)生,它與 VM 的虛擬磁盤文件(VMDK)一一對(duì)應(yīng),并記錄虛擬磁盤執(zhí)行快照后的數(shù)據(jù)變化1. 快照文件組成.vmdk 和 -delta.vmdk
VMware 虛擬機(jī)上的每個(gè)虛擬磁盤都是以 .vmdk 命名的,在執(zhí)行快照后,虛擬磁盤 .vmdk 文件會(huì)對(duì)應(yīng)生成 -delta.vmdk 文件而 .vmdk 和 -delta.vmdk 文件的集合都會(huì)連接到虛擬機(jī)。
-delta.代理記賬機(jī)構(gòu)自查報(bào)告怎么寫vmdk 文件可稱為子磁盤文件當(dāng)虛擬機(jī)再次執(zhí)行快照時(shí),這些子磁盤可以被視為未來的子磁盤的父磁盤在原始父磁盤中,每個(gè)子磁盤都將構(gòu)建一個(gè)還原點(diǎn):提供從虛擬磁盤的當(dāng)前狀態(tài)回退到原始狀態(tài)的服務(wù).vmsd
.vmsd 文件是虛擬機(jī)快照信息的數(shù)據(jù)庫(也可以理解為快照的元數(shù)據(jù)),并且是快照管理器信息的主要來源該文件包含一些行條目,這些條目定義了快照之間以及每個(gè)快照的子磁盤之間的關(guān)系2. 快照鏈如下圖,原始虛擬磁盤(parent)在示意圖的最下方,它包含未執(zhí)行快照之前完整的數(shù)據(jù)塊。
第一次執(zhí)行快照后(示意圖下方起第二層)生成子磁盤(child1)文件,該快照文件只會(huì)記錄執(zhí)行快照后修改過的數(shù)據(jù),未被修改過的數(shù)據(jù)塊不代理記賬機(jī)構(gòu)自查報(bào)告怎么寫會(huì)記錄在子磁盤文件,而是訪問父磁盤對(duì)應(yīng)的數(shù)據(jù)塊,因此它是一個(gè)稀疏的磁盤文件。
當(dāng)?shù)诙螆?zhí)行快照時(shí)(示意圖下方起第三層)生成子磁盤(child2)文件,原理跟首次快照類似,只是 child2 的父磁盤變?yōu)?child1,child2 將記錄第二次快照后的數(shù)據(jù)變化,如此類推
圖片來源:了解 vSphere 中的虛擬機(jī)快照 (1015180)3. 快照 I/O 原理如前面提到的,VMFSsparse 快照是在 VMFS 文件系統(tǒng)之上實(shí)現(xiàn)的,其中快照重做日志(-delta.vmdk 文件)除了記錄了已變化的數(shù)據(jù),還同時(shí)維護(hù)自身的元數(shù)據(jù),以便實(shí)現(xiàn)重做日志上的數(shù)據(jù)塊的尋址。
重做日志的塊大小是 512 字節(jié)(剛代理記賬機(jī)構(gòu)自查報(bào)告怎么寫好是一個(gè)扇區(qū)大小),使得其讀寫粒度可以小到一個(gè)扇區(qū)當(dāng)從一臺(tái)帶快照的虛擬機(jī)發(fā)出 I/O 時(shí),VMware 需要通過元數(shù)據(jù)信息確定數(shù)據(jù)是在基礎(chǔ)虛擬磁盤(vmdk)上,還是在快照重做日志(-delta.vmdk)上,使得 I/O 能從正確的位置進(jìn)行服務(wù)。
快照的性能取決于多種因素,包括 I/O 類型、數(shù)據(jù)位置、快照深度、redo-log 大小以及 VMDK 的類型等4. VMFSsparse 快照對(duì) I/O 性能影響1)I/O 類型當(dāng)虛擬機(jī)執(zhí)行快照后,讀、寫兩種 I/O 類型的性能變化是明顯不同的:
圖片來源:vsanSparse Snapshots其中,讀 I/O 由快照文件和原始磁盤文件共同提供服務(wù)代理記賬機(jī)構(gòu)自查報(bào)告怎么寫;執(zhí)行快照后修改過的數(shù)據(jù)將從 redo-log 上讀取,未修改過的數(shù)據(jù)則從原始 VMDK 上讀取,這種機(jī)制使得部分順序讀取的 I/O 變成隨機(jī)讀取,這種情況對(duì)機(jī)械磁盤并不友好。
對(duì)于寫 I/O,如果是快照后首次寫入的數(shù)據(jù)塊,它將直接寫入 redo-log,并需要同時(shí)更新 redo-log 上的元數(shù)據(jù)以標(biāo)記該數(shù)據(jù)塊的物理位置;已存在 redo-log 的數(shù)據(jù)則會(huì)直接覆蓋2)快照深度。
當(dāng)虛擬機(jī)擁有多個(gè)快照時(shí),讀取數(shù)據(jù)的時(shí)候可能需要遍歷每一層快照文件,查詢多個(gè)快照文件中的元數(shù)據(jù),并造成 I/O 性能明顯下降下圖是 VMware vSAN 官方給出的快照深度性能測(cè)試示意,可以看到性能隨著快照數(shù)量增加而遞代理記賬機(jī)構(gòu)自查報(bào)告怎么寫減,執(zhí)行 32 個(gè)快照后性能下降至接近 0,而且性能并不會(huì)恢復(fù)。
圖片來源:VMware Virtual SAN Snapshots in VMware vSphere 6.03)VMDK 格式基礎(chǔ)虛擬磁盤(.vmdk)格式也會(huì)影響 I/O 的性能在基礎(chǔ)虛擬磁盤(.vmdk)的格式為 thin(精簡(jiǎn)磁盤)且空間未完全分配的情況下,在執(zhí)行快照后,寫入基礎(chǔ)精簡(jiǎn) VMDK 中的未分配塊將導(dǎo)致兩個(gè)操作:1)對(duì)基礎(chǔ) thin 虛擬磁盤(.vmdk)分配空間以及數(shù)據(jù)塊進(jìn)行置零操作(VMware 避免出現(xiàn)殘留數(shù)據(jù)的機(jī)制);2)將真實(shí)數(shù)據(jù)寫入快照文件(-delta.vmdk)。
這種場(chǎng)景下 I/O 性能將明顯下降代理記賬機(jī)構(gòu)自查報(bào)告怎么寫SEsparse 快照SEsparse 是一種類似 VMFSsparse(redo-log)的虛擬磁盤格式,并提供一些新功能以及特定場(chǎng)景下的性能優(yōu)化SEsparse 與 VMFSsparse 的區(qū)別之一是 SEsparse 的塊大小為 。
4KB,而 VMFSsparse 的塊大小為 512 字節(jié)上面討論的關(guān)于 VMFSsparse 的大多數(shù)性能影響因素——I/O 類型、快照深度、數(shù)據(jù)的物理位置、基本 VMDK 類型等也適用于 SEsparse 格式。
除了塊大小的變化,SEsparse 虛擬磁盤格式的主要變化在于空間效率SEsparse 虛擬磁盤在 VMTools 的配合下(開啟 umap 功能代理記賬機(jī)構(gòu)自查報(bào)告怎么寫),客戶端的文件系統(tǒng)刪除數(shù)據(jù)后,自動(dòng)通知 SEsparse 刪除數(shù)據(jù)塊的映射并回收空間,使得膨脹后的 VMDK 再次收縮,以達(dá)到節(jié)省存儲(chǔ)空間的目標(biāo)。
1. 4K 對(duì)齊改善寫放大問題前面提到過 VMFSsparse 的塊大小為 512 字節(jié),而實(shí)際 I/O 經(jīng)過多層文件系統(tǒng)后,寫操作放大問題是比較顯著的下面以從虛擬機(jī)操作系統(tǒng)(Guest OS)發(fā)出一個(gè) 4KB 的 I/O 作為例子,展示其經(jīng)過 VMDK、VMFS 以及后端存儲(chǔ)的過程中寫放大的情況。
圖片來源:vsanSparse Snapshots當(dāng)虛擬機(jī)發(fā)出一個(gè) 4KB I/O,由于虛擬磁盤(VMFSsparse VMDK)的塊大小是 512 字代理記賬機(jī)構(gòu)自查報(bào)告怎么寫節(jié),那么 4KB I/O 需要被拆成 8 個(gè) 512B I/O,寫到 VMDK 文件的 8 個(gè)不同的數(shù)據(jù)塊當(dāng)中,因?yàn)椴粚?duì)齊的原因,4KB 的數(shù)據(jù)有可能打散到多個(gè)不連續(xù)的塊當(dāng)中;而 VMDK 文件又是存放在 VMFS 文件系統(tǒng)之上(VMFS 的塊大小是 1MB),這些 VMDK 上的數(shù)據(jù)塊分別映射到 VMFS 上的 8 個(gè)不同的數(shù)據(jù)塊當(dāng)中;而最終 VMFS 的 I/O 會(huì)寫到存儲(chǔ)陣列(或其他外部存儲(chǔ)設(shè)備),使得 I/O 操作至少放大了 8 倍(僅當(dāng)外部存儲(chǔ)設(shè)備塊大小為 4KB 時(shí);如果不是 4KB,有可能放大的情況更嚴(yán)重)。
SEsparse 為了改善上述寫放大的問題,將塊大小調(diào)整為 4KB,那么代理記賬機(jī)構(gòu)自查報(bào)告怎么寫從虛擬機(jī)發(fā)出的 4KB I/O 將對(duì)齊寫入單個(gè) VMDK 數(shù)據(jù)塊,由于 VMFS 的塊更大(1MB),因此最終也只會(huì)寫入單個(gè) VMFS 的數(shù)據(jù)塊當(dāng)中,最后寫入外部存儲(chǔ)設(shè)備時(shí),只需要一次 I/O 操作就能完成(4KB 對(duì)齊),避免了寫放大的情況。
圖片來源:vsanSparse Snapshots2. 4KB 對(duì)齊的優(yōu)化效果為證明 SEsparse 對(duì)于減少寫放大的效果,針對(duì)三組對(duì)象執(zhí)行快照,并使用 IOMeter 執(zhí)行不同 I/O 塊大小的測(cè)試:
圖片來源:SEsparse in VMware vSphere 5.5注:Thin:原 VMDK 設(shè)置為精簡(jiǎn)置備VMFSsparse:原 VMDK 設(shè)置代理記賬機(jī)構(gòu)自查報(bào)告怎么寫為厚置備置零SEsparse:原 VMDK 設(shè)置為厚置備置零。
從測(cè)試結(jié)果上可以看到:精簡(jiǎn)置備(Thin)隨機(jī)寫入性能在所有測(cè)試場(chǎng)景都是最低的,主要原因在于,精簡(jiǎn)置備場(chǎng)景下,需要首先將塊置零,然后再寫入實(shí)際數(shù)據(jù)這是因?yàn)?VMFS 以 1MB 的粒度分配塊,而該區(qū)域的一部分可能會(huì)被真實(shí)數(shù)據(jù)填充。
置零可防止應(yīng)用程序從分配的 1MB 物理介質(zhì)中讀取了殘留數(shù)據(jù)相反,當(dāng)使用 SEsparse 和 VMFSsparse 格式時(shí),空間分配發(fā)生在更小的塊大小中,分別為 4KB 和 512 字節(jié),因此當(dāng) I/O 大于或等于 4KB 并且是 4KB 對(duì)齊的,則無需將塊置零(對(duì)于非對(duì)齊情況,需要執(zhí)行“讀-修改-寫”操代理記賬機(jī)構(gòu)自查報(bào)告怎么寫作),避免了置零的性能開銷。
在隨機(jī)寫入測(cè)試中,SEsparse 的性能也明顯優(yōu)于 VMFSsparse 格式這是因?yàn)?SEsparse 實(shí)現(xiàn)了智能 I/O 合并邏輯,避免寫放大以獲得更好的性能(需要注意的一點(diǎn):SEsparse 僅在 I/O 與 4KB 邊界對(duì)齊的情況下執(zhí)行,能獲得與 VMFSsparse 相當(dāng)或更好的性能。
這是因?yàn)楫?dāng) I/O 沒有 4KB 對(duì)齊,寫入操作可能會(huì)導(dǎo)致“讀取-修改-寫入”多次 I/O 操作,從而增加開銷但現(xiàn)實(shí)中幾乎所有文件系統(tǒng)和應(yīng)用程序都是 4KB 對(duì)齊的,因此 SEsparse 在常見場(chǎng)景中表現(xiàn)要比 VMFSsparse 更好。
vSANSparse 快照vSAN代理記賬機(jī)構(gòu)自查報(bào)告怎么寫Sparse 是在 vSAN 6.0 中引入的一種新的快照格式,它利用內(nèi)存緩存的快照的元數(shù)據(jù)提升性能;與 VMFSsparse 和 SEsparse 相比,vSANSparse 在多數(shù)情況下性能更好。
當(dāng)讀 I/O 請(qǐng)求到達(dá) vSAN 時(shí),vSANSparse 快照邏輯會(huì)遍歷該虛擬機(jī)的快照樹的各個(gè)級(jí)別,并自動(dòng)組合 I/O 請(qǐng)求相關(guān)的 vSAN 對(duì)象和偏移量然后,這個(gè)尋址信息會(huì)緩存在 vSAN 快照元數(shù)據(jù)緩存中(內(nèi)存中)。
快照元數(shù)據(jù)緩存在于內(nèi)存中,對(duì)快照的讀性能至關(guān)重要因?yàn)橐坏┛煺赵獢?shù)據(jù)緩存未命中,就必須通過遍歷多級(jí)快照來獲取地址信息,這將大幅增加 I/O 訪問延遲(這與原來的 VMFSspars代理記賬機(jī)構(gòu)自查報(bào)告怎么寫e 和 SEsparse 快照是類似的)。
元數(shù)據(jù)緩存的大小是有限制的,并且緩存空間是 VMware 系統(tǒng)中所有打開虛擬機(jī)的全部 VMDK 之間共享因此,當(dāng)緩存已滿時(shí),會(huì)淘汰一部分已有的緩存信息下圖是關(guān)于快照緩存命中率與快照性能下降比例的對(duì)照?qǐng)D:
圖片來源:VMware Virtual SAN Snapshots in VMware vSphere 6.0從測(cè)試結(jié)果觀察到,當(dāng) vSAN 快照數(shù)量低于 19 個(gè)時(shí),快照緩存的命中率維持在 98% 以上,這個(gè)時(shí)候快照的性能損失低于 5%,證明快照緩存空間充足的時(shí)候,vSANSparse 對(duì)于讀操作的優(yōu)化十分明顯。
但隨著快照深度增大,緩存命中率進(jìn)一步降低代理記賬機(jī)構(gòu)自查報(bào)告怎么寫,到 32 個(gè)快照的時(shí)候,性能下降比例增至 56%另外由于快照元數(shù)據(jù)位于內(nèi)存當(dāng)中,一旦主機(jī)重啟,緩存會(huì)被清空,含有快照的虛擬機(jī)性能將明顯下降當(dāng) VMDK 只包含一個(gè)快照的時(shí)候,VMFSsparse 與 vSANSparse 混合讀寫的性能對(duì)比如下:
數(shù)據(jù)來源:VMware vSphere Snapshots: Performance and Best Practices可以看到 vSANSparse 在快照深度等于 1 的場(chǎng)景下,其性能優(yōu)化效果是比較明顯的。
以下是 vSANSparse 混合讀寫在不同的快照深度下性能測(cè)試結(jié)果:
4KB 順序混合讀寫(50% 讀,50% 寫)測(cè)試
4KB 隨機(jī)混合讀寫代理記賬機(jī)構(gòu)自查報(bào)告怎么寫(50% 讀,50% 寫)測(cè)試圖片來源:VMware vSphere Snapshots: Performance and Best Practices從測(cè)試結(jié)果中觀察到 vSANSparse 快照對(duì)順序讀寫 I/O 的工作負(fù)載的性能影響比較小。
而在隨機(jī)讀寫 I/O 測(cè)試的場(chǎng)景下,結(jié)果與 VMFSsparse 是類似的,性能有較大幅度的下降可以了解到當(dāng)快照深度加大,vSANSparse 快照對(duì)于隨機(jī)讀寫的優(yōu)化效果并不明顯VMware 快照的演進(jìn)情況匯總
vSANSparse 快照存在的性能問題:隨著快照數(shù)量和深度增加,元數(shù)據(jù)緩存無法避免快照的性能下降主機(jī)重啟后,元數(shù)據(jù)緩存無法自動(dòng)加載,快照遍歷的代理記賬機(jī)構(gòu)自查報(bào)告怎么寫情況依然存在,性能下降明顯快照鏈結(jié)構(gòu)導(dǎo)致刪除快照時(shí),可能需要進(jìn)行多次快照合并操作,帶來較大的性能損耗。