[發明專利]一種基于分布式企業服務總線的遠程文件同步方法及系統

在審

• 申請號: 202011134564.6
• 申請日: 2020-10-21
• 公開（公告）號: CN112217901A
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 袁松;徐亮亮;楊軍;蘇帥;麻敏超
• 申請（專利權）人: 中國電子科技集團公司第十五研究所
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F16/178;G06F16/182
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 崔玥

本發明公開了一種基于分布式企業服務總線的遠程文件同步方法及系統。該方法包括：獲取發生變化的文件；根據發生變化的文件采用可變分塊算法和雙向啟發式搜索方法生成差異文件；將差異文件封裝為企業服務總線的消息；企業服務總線的消息用于遠程文件同步。采用本發明的方法及系統，通過對文件增量進行同步，能夠提高遠程文件同步的效率和性能。

技術領域

本發明涉及遠程文件同步技術領域，特別是涉及一種基于分布式企業服務總線的遠程文件同步方法及系統。

背景技術

企業服務總線(Enterprise Service Bus，ESB)作為面向服務體系架構SOA(Service Oriented Architecture)的核心框架，是企業異構應用交互的基礎平臺，具有高效、全面、靈活的特性，是解決信息孤島的有效手段。企業服務總線的定義可以簡單的理解為由中間件技術實現并支持SOA的一組基礎架構，支持異構環境中的服務、消息以及基于事件的交互，并且具有適當的服務級別和可管理性。通過企業服務總線實現應用系統的快速接入，并通過更高級的事件、流程處理能力，能夠很好的將企業信息系統與實際業務協調起來，在保證原有投資的條件下，實現更加靈活和敏捷的企業信息系統改造。企業服務總線主要功能是連接外部系統與服務，實現不同系統間的交互需求。在大量企業分布式應用環境中，基于LAN或WAN的網絡應用之間進行數據傳輸或者同步非常普遍，比如遠程數據鏡像、備份、復制、同步，數據下載、上傳、共享等等，如果對文件采用簡單的完全復制，在文件較大的情況下，會占用大量網絡帶寬，針對ESB數據交換平臺多應用接入時高頻繁交互性和實時性要求，顯然這種同步效率是不夠的。

目前，文件同步領域的鼻祖是rsync同步，它是以rsync算法為基礎計算新舊文件的差異數據，從而取代原有冗余的數據，節省傳輸時的網絡帶寬并提高效率。盡管rsync已在業界廣泛應用，但是仍然存在許多不足之處：

1)rsync采用的滾動校驗值(Rollingchecksum)雖然可以節省大量校驗計算量，但多出一倍以上的hash查找，消耗太大；

2)rsync中數據塊大小是固定的，對數據變化的適應能力有限。

另一種新興的且流行度很高的技術是De-duplication，即重復數據刪除，可以大大減少傳輸數據量。Dedupe技術應用于數據備份時常采用Rabin指紋基于文件內容對文件進行塊劃分，然后計算差異。這種可變塊大小的策略在很大程度上減少了計算量和重復數據傳輸量。盡管Dedupe技術已在增量備份領域取得了很大進步，但是仍存在一定的局限性：

1)在可變分塊檢測過程中，對于兩個文件之間僅有較小的隨機改變時，檢測效果不好，算法的適應性很差。

2)數據塊的劃分在很大程度上取決于算法中期望塊大小的設定，如果該值設置得較小，那么額外存儲每塊信息的開銷會很大；反之，若該值設置得較大，則粒度過粗，重復數據刪除的效果不好。

發明內容

本發明的目的是提供一種基于分布式企業服務總線的遠程文件同步方法及系統，通過對文件增量進行同步，能夠提高遠程文件同步的效率和性能。

為實現上述目的，本發明提供了如下方案：

一種基于分布式企業服務總線的遠程文件同步方法，包括：

獲取發生變化的文件；

根據所述發生變化的文件采用可變分塊算法和雙向啟發式搜索方法生成差異文件；所述差異文件包括文件頭和差異數據實體，所述文件頭包括偏移量以及數據塊的長度、更新標志和更新參數；

將所述差異文件封裝為企業服務總線的消息；所述企業服務總線的消息用于遠程文件同步。

可選的，所述獲取發生變化的文件，具體包括：