[發明專利]一種文件增量同步方法及系統

在審

• 申請號: 201510941307.6
• 申請日: 2015-12-16
• 公開（公告）號: CN106886528A
• 公開（公告）日: 2017-06-23
• 發明（設計）人: 藺光達
• 申請（專利權）人: 天脈聚源（北京）科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及互聯網技術領域，特別涉及一種文件增量同步方法及系統。

背景技術

隨著互聯網的發展，越來越多的數據累計起來。對于一個運營中的用戶平臺，會出現海量的數據需要處理和分析。這就需要數據的導入導出以及備份、同步等工作。通常的文件同步是在數據庫層面進行的。

數據庫(Database)是按照數據結構來組織、存儲和管理數據的倉庫，它產生于距今六十多年前，隨著信息技術和市場的發展，特別是二十世紀九十年代以后，數據管理不再僅僅是存儲和管理數據，而轉變成用戶所需要的各種數據管理的方式。數據庫有很多種類型，從最簡單的存儲有各種數據的表格到能夠進行海量數據存儲的大型數據庫系統都在各個方面得到了廣泛的應用。

數據庫中的數據是為眾多用戶所共享其信息而建立的，已經擺脫了具體程序的限制和制約。不同的用戶可以按各自的用法使用數據庫中的數據；多個用戶可以同時共享數據庫中的數據資源，即不同的用戶可以同時存取數據庫中的同一個數據。數據共享性不僅滿足了各用戶對信息內容的要求，同時也滿足了各用戶之間信息通信的要求。

隨著云時代的來臨，大數據(Big data)也吸引了越來越多的關注。《著云臺》的分析師團隊認為，大數據(Big data)通常用來形容一個公司創造的大量非結構化數據和半結構化數據，這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起，因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。

大數據需要特殊的技術，以有效地處理大量的容忍經過時間內的數據。適用于大數據的技術，包括大規模并行處理(MPP)數據庫、數據挖掘電網、分布式文件系統、分布式數據庫、云計算平臺、互聯網和可擴展的存儲系統。

大數據就是互聯網發展到現今階段的一種表象或特征而已，沒有必要神話它或對它保持敬畏之心，在以云計算為代表的技術創新大幕的襯托下，這些原本很難收集和使用的數據開始容易被利用起來了，通過各行各業的不斷創新，大數據會逐步為人類創造更多的價值。

文件同步和備份是容災的基礎，是指為防止系統出現操作失誤或系統故障導致數據丟失，而將全部或部分數據集合從應用主機的硬盤或陣列復制到其它的存儲介質的過程。傳統的文件同步和備份主要是采用內置或外置的磁帶機進行冷備份。但是這種方式只能防止操作失誤等人為故障，而且其恢復時間也很長。隨著技術的不斷發展，數據的海量增加，不少的企業開始采用網絡備份。網絡備份一般通過專業的數據存儲管理軟件結合相應的硬件和存儲設備來實現。

文件同步，是數據庫的一種專用命令。這里的數據庫指的是軟件方面的所有與之有關的數據庫。不同數據庫對于文件同步的要求不同。

例如，微軟的ACCSS數據庫，是數據庫中擁有比較傻瓜的文件同步。同樣，微軟其它辦公軟件也擁有相同的功能，直接把數據導入到新建的文件就可以了。同步的字段的多少不受限制。蓮花軟件則是比較嚴厲的數據庫。在導入導出時必須把字段一一對應，才可以導入導出成功。包括了APPROACH,LOTUS 123辦公軟件，而APPROACH數據庫僅有108個字段。而在電影動畫業采用的動畫制造軟件，如FLASH，這里的同步，實際上就是把制作動畫的元素、舞臺和元素庫，導入到單獨的動畫，導出到不同的場景和舞臺。

現有技術中，對于數據的同步通常包含很多種方式，為了節約數據傳輸的數量，則通常會采取增量同步的方法。而現有的增量更新的方案，仍然設計復雜，步驟繁瑣，不能適應大數據情況下的應用。因而，亟需要一種提高文件同 步效率的方案。

發明內容

本發明提供一種文件增量同步方法及系統，用以解決現有技術中大數據量情況下文件同步效率低下的問題。

本發明提供一種文件增量同步方法，包括：

為每個文件配置遞增的唯一識別序列號；

增量同步時，獲取當前已同步文件的所述唯一識別序列號；

同步所述唯一識別序列號大于當前已同步文件的所述唯一識別序列號的文件。

所述方法還包括：

所述每個文件均按照先后順序遞增的配置對應的唯一識別序列號。

所述方法還包括：

所述唯一識別序列號唯一對應每個文件，根據文件發布時間順序，逐個加一遞增。

所述方法還包括：

增量同步時，獲取已發布同步文件的唯一識別序列號以及待發布同步的文件的唯一識別序列號；