精準、高效的重復(fù)數(shù)據(jù)刪除

數(shù)據(jù)的備份保護，總是充斥著大量冗余數(shù)據(jù)占用存儲空間，為了解決這個問題，人們開始關(guān)注“重復(fù)數(shù)據(jù)刪除”技術(shù)，希望能節(jié)約出大量的存儲空間。所以，在數(shù)據(jù)的備份容災(zāi)產(chǎn)品中，“重復(fù)數(shù)據(jù)刪除”技術(shù)也就成了考量產(chǎn)品在技術(shù)含量、運行性能、產(chǎn)品質(zhì)量等方面是否優(yōu)越的考核指標之一。

一、重復(fù)數(shù)據(jù)刪除的應(yīng)用優(yōu)勢

鼎甲科技在重復(fù)數(shù)據(jù)刪除的處理上，立足于用戶角度，既實現(xiàn)了減少對客戶端主機資源的占用，又實現(xiàn)了數(shù)據(jù)存儲空間的節(jié)約使用。

??

1. 支持源端去重??，減少備份業(yè)務(wù)在數(shù)據(jù)傳輸時對網(wǎng)絡(luò)資源的占用。

2. 集合了固定塊和變長塊的分割技術(shù)，??對不同的備份目標類型選用合適的數(shù)據(jù)分塊技術(shù)。同時，采用變長塊分割技術(shù)可以針對不同范圍內(nèi)的數(shù)據(jù)對象進行動態(tài)分塊，使得數(shù)據(jù)塊的匹配概率和效率更高。

3. 采用優(yōu)化的指紋索引技術(shù)進行數(shù)據(jù)比對。??通過把指紋數(shù)據(jù)讀到內(nèi)存中處理，提升數(shù)據(jù)的比對效率，并減少了對客戶端主機計算資源的占用，使得數(shù)據(jù)去重運算在客戶端主機資源占用和重刪率之間達到最佳平衡點。

4. 支持全局重刪和局部重刪，??全局重刪只保存唯一一份相同數(shù)據(jù)，最大化減少備份數(shù)據(jù)的冗余存儲。

二、重復(fù)數(shù)據(jù)刪除的核心技術(shù)

??鼎甲科技為了達到最佳的數(shù)據(jù)去重效果，DBackup中集合了固定塊和變長塊的分割技術(shù)。??

• 固定塊分割技術(shù)，是把備份數(shù)據(jù)分割成互不重疊的定長數(shù)據(jù)塊，常用的塊大小有4k、8k、16k、32k、64k、128k等，由于不需要對數(shù)據(jù)塊的分界點進行計算，所以運算相對簡單，計算資源占用較少。但由于采用了定長的分塊處理，當(dāng)向數(shù)據(jù)對象中插入數(shù)據(jù)或者從中刪除數(shù)據(jù)時，會導(dǎo)致數(shù)據(jù)塊重新分塊，嚴重地影響重復(fù)數(shù)據(jù)刪除的效果。

• 變長塊分割技術(shù)，對備份的數(shù)據(jù)通過一個不斷滑動的窗口來確定數(shù)據(jù)塊分界，按其特征函數(shù)把備份數(shù)據(jù)動態(tài)分割成不同大小的數(shù)據(jù)塊。基于變長塊的處理，有效的解決了固定塊分割中存在的問題，當(dāng)向數(shù)據(jù)對象中插入數(shù)據(jù)或者從中刪除數(shù)據(jù)時，如果變化的內(nèi)容不在數(shù)據(jù)塊的邊界內(nèi)，數(shù)據(jù)塊不發(fā)生改變；當(dāng)新增的內(nèi)容產(chǎn)生一個新的邊界時，一個數(shù)據(jù)塊會分成兩個數(shù)據(jù)塊；如果變化的內(nèi)容發(fā)生在滑動窗口內(nèi)，將會破壞分界數(shù)據(jù)塊，那么兩個數(shù)據(jù)塊合成一個數(shù)據(jù)塊，或者兩個數(shù)據(jù)塊之間的邊界發(fā)生變化，產(chǎn)生新的數(shù)據(jù)塊。因此，插入或者刪除內(nèi)容只影響相鄰的一個或者兩個數(shù)據(jù)塊，其余數(shù)據(jù)塊不會受影響，這樣使得數(shù)據(jù)的去重更為精準，但由于需要不斷計算數(shù)據(jù)的分界，導(dǎo)致占用部分計算資源。

三、鼎甲科技實現(xiàn)數(shù)據(jù)重刪的社會價值

鼎甲科技對重復(fù)數(shù)據(jù)刪除的實現(xiàn)，在數(shù)據(jù)分塊處理上，充分利用了固定塊和變長塊的技術(shù)優(yōu)勢，既保障了源端重刪時對客戶端主機資源的最小化占用，又實現(xiàn)了對重復(fù)數(shù)據(jù)的最大化刪除。

固定塊分割技術(shù)相對比較簡單，所以目前在國內(nèi)外多數(shù)備份產(chǎn)品的數(shù)據(jù)重刪處理中普遍使用。而變長塊的處理技術(shù)，由于涉及到數(shù)據(jù)塊的動態(tài)分割，技術(shù)難度較大，目前國內(nèi)尚無備份產(chǎn)品能實現(xiàn)，即使在國際的主流備份產(chǎn)品中，也只有數(shù)個具有很強技術(shù)實力的公司能實現(xiàn)。

鼎甲科技對于變長塊技術(shù)，投入了大量的人力物力，經(jīng)過長時間的研究和論證，在鼎甲迪備產(chǎn)品中利用這一技術(shù)實現(xiàn)了數(shù)據(jù)重刪處理，可以驕傲的說：填補了國內(nèi)在使用變長塊進行數(shù)據(jù)重刪處理上的技術(shù)空白。