隨著數(shù)據(jù)的重要性深入人心，數(shù)據(jù)備份成為企業(yè)營運發(fā)展的“必需品”，大多數(shù)企業(yè)都會通過定期備份來預防意外宕機、數(shù)據(jù)受損等“天災人禍”。但數(shù)據(jù)存儲規(guī)模每12到18個月就會翻一番，這就造成了虛擬服務器的占地空間、虛擬機密度與吞吐量的持續(xù)增長。

因此，數(shù)據(jù)保護基礎設施的花費、性能和效率成為了每個企業(yè)所關心的問題。正是因為備份和恢復已經成為了企業(yè)的基礎措施，它的數(shù)據(jù)量就更值得重視。數(shù)據(jù)量越大，數(shù)據(jù)保護處理所花費的時間和資源就越多。

研究表明，如果備份中僅傳輸和存儲唯一數(shù)據(jù)，則企業(yè)最多能夠將其存儲容量和網絡需求降低50倍。如果同一數(shù)據(jù)多次存儲和傳輸?shù)酵淮鎯υO備，就是對時間和資源的浪費，而人工去查驗這些重復數(shù)據(jù)將耗費大量的時間和人力。基于這種需求，數(shù)據(jù)備份保護過程中的重復數(shù)據(jù)刪除技術應運而生。

什么是重復數(shù)據(jù)刪除？

重復數(shù)據(jù)刪除（data deduplication）是一種通過檢測數(shù)據(jù)重復并將同一數(shù)據(jù)僅存儲一次來最大程度地減少存儲空間的技術。本質上講，重復數(shù)據(jù)刪除就是消除數(shù)據(jù)集中的非唯一數(shù)據(jù)段。從這個定義來看，重復數(shù)據(jù)刪除似乎與壓縮功能并無二致。不過，它們真正區(qū)別在于，重復數(shù)據(jù)刪除還可以縮減歷史數(shù)據(jù)的大小，從而節(jié)省大量存儲成本，并防止未來從多個來源復制類似數(shù)據(jù)。

重復數(shù)據(jù)刪除的邏輯

重復數(shù)據(jù)刪除可優(yōu)化冗余，而不會損壞數(shù)據(jù)保真度或完整性。啟用重復數(shù)據(jù)刪除后，它可以對數(shù)據(jù)進行分段，對照之前已寫入的數(shù)據(jù)矩陣進行檢查。最終的結果是，它保證發(fā)送到存儲的數(shù)據(jù)段都是獨一無二的，而重復的部分則引用類似數(shù)據(jù)段的唯一實例。

除此之外，重復數(shù)據(jù)刪除還能夠在文件級、子文件級（文件片段）或塊級運行，通常可以與備份解決方案支持的所有操作系統(tǒng)一起使用。

重復數(shù)據(jù)刪除的工作原理

簡而言之，重復數(shù)據(jù)刪除首先會將待刪除重復內容的數(shù)據(jù)集分割成數(shù)據(jù)塊。一個數(shù)據(jù)塊包含一個或多個連續(xù)的數(shù)據(jù)片段。一旦流程開始創(chuàng)建數(shù)據(jù)塊，它就會將數(shù)據(jù)塊與重復數(shù)據(jù)刪除系統(tǒng)之前已經創(chuàng)建和發(fā)現(xiàn)的全部數(shù)據(jù)塊進行對比。

系統(tǒng)將會通過運行確定性加密哈希（Hash）算法來比較各個數(shù)據(jù)塊。如果兩個不同數(shù)據(jù)塊的哈希相匹配，則系統(tǒng)會認為它們完全一致，因為哪怕是最細微的更改，數(shù)據(jù)塊的哈希也會發(fā)生更改。

重復數(shù)據(jù)刪除流程可消除重復的數(shù)據(jù)塊，僅存儲獨一無二的數(shù)據(jù)塊。它依靠指紋 — 數(shù)據(jù)塊獨特的數(shù)字化簽名來識別數(shù)據(jù)塊。因此，內聯(lián)重復數(shù)據(jù)刪除會在系統(tǒng)寫入數(shù)據(jù)（內存數(shù)據(jù)結構）時，檢查傳入的數(shù)據(jù)塊，為每個數(shù)據(jù)塊制定一個指紋，并存儲在哈希存儲中。

計算指紋后，該流程在哈希存儲中進行查詢。然后檢查數(shù)據(jù)塊是否與緩存中的指紋（供體數(shù)據(jù)塊）有重復。如果在哈希存儲中找到匹配項，則會出現(xiàn)如下兩種情況：

如果存在匹配，它會將新的數(shù)據(jù)塊（接收數(shù)據(jù)塊）和供體數(shù)據(jù)塊進行比較，這類似于一種驗證。系統(tǒng)會在兩個數(shù)據(jù)塊間驗證數(shù)據(jù)，但不會將接收數(shù)據(jù)塊寫入磁盤。然后更新元數(shù)據(jù)以跟蹤相同部分的細節(jié)。

如果緩存中沒有供體數(shù)據(jù)塊，則系統(tǒng)會預先從磁盤中提取，然后將其與緩存中的接收數(shù)據(jù)塊進行逐個字節(jié)的比較。如果完全匹配，則系統(tǒng)會將接收數(shù)據(jù)塊標記為重復，不寫入磁盤，但會更新元數(shù)據(jù)以跟蹤相同部分的細節(jié)。

后臺復制引擎的工作原理基本相同。它以批量方式搜索所有數(shù)據(jù)塊，然后比較指紋，并進行逐個字節(jié)的比較，消除誤報，刪除重復內容。該流程不會丟失任何數(shù)據(jù)。

鴻翼備份重復數(shù)據(jù)刪除技術

鴻翼備份的重復數(shù)據(jù)刪除技術能夠在備份過程中識別并消除重復的數(shù)據(jù)塊，對Windows、Linux等系統(tǒng)中的所有數(shù)據(jù)類型實現(xiàn)重復數(shù)據(jù)刪除，從而減少所需的備份存儲空間。采用源端去重技術，同時極大程度地節(jié)省數(shù)據(jù)傳輸帶寬和傳輸時間。

鴻翼內容保護重刪方案的處理流程

同時，鴻翼備份能夠保障即使在長距離或網絡帶寬很低的情況下，遠程站點的備份文件在經過去重和壓縮后，也能被高效地傳輸。以往遠程分支機構的備份需要數(shù)小時，通過充分利用中央備份系統(tǒng)的架構，如今已經能夠縮短至幾分鐘。

隨著業(yè)務的擴張，每天都有海量數(shù)據(jù)等待著企業(yè)的管理和利用。只有合理地對企業(yè)內的數(shù)據(jù)進行管理，做好備份容災，才能保障企業(yè)運行的長治久安。鴻翼備份的重復數(shù)據(jù)刪除能力能夠支持企業(yè)以自動、高效的方式處理大量數(shù)據(jù)，保證數(shù)據(jù)安全與迅速恢復，助力企業(yè)降本增效。