[發(fā)明專利]分布式文件的同步方法、裝置、計算機設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011271659.2
• 申請日: 2020-11-13
• 公開（公告）號: CN112380183A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 羅偉東;張玉柱;張慶;崔志萍
• 申請（專利權(quán)）人: 深圳市和訊華谷信息技術(shù)有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/178
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 曹祥波

本發(fā)明涉及分布式文件的同步方法、裝置、計算機設(shè)備及存儲介質(zhì)；其中，方法，包括：獲取分布式文件系統(tǒng)下發(fā)的文件同步請求，并對文件同步請求進行校驗；校驗通過后，創(chuàng)建同步任務(wù)，并將分布式文件系統(tǒng)中對應(yīng)同步任務(wù)的文件數(shù)據(jù)保存至數(shù)據(jù)存儲中心；當檢測到數(shù)據(jù)存儲中心發(fā)生數(shù)據(jù)變更，則觸發(fā)同步任務(wù)，向隊列系統(tǒng)發(fā)送指令；隊列系統(tǒng)將指令發(fā)送至中轉(zhuǎn)集群，中轉(zhuǎn)集群根據(jù)指令執(zhí)行文件數(shù)據(jù)同步。本發(fā)明能夠保證同步子任務(wù)依賴關(guān)系，確保任務(wù)正確執(zhí)行，還降低了集群配置管理復雜度，而且支持任務(wù)重做，支持自定義接口觸發(fā)。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式文件同步技術(shù)領(lǐng)域，更具體地說是指分布式文件的同步方法、裝置、計算機設(shè)備及存儲介質(zhì)。

背景技術(shù)

現(xiàn)跨機房HDFS(Hadoop分布式文件系統(tǒng))文件同步是利用Hadoop distcp(分布式數(shù)據(jù)拷貝工具)，通過定時腳本實現(xiàn)；Hadoop distcp(分布式數(shù)據(jù)拷貝工具)工具要求集群間網(wǎng)絡(luò)互通，但是跨機房集群間網(wǎng)絡(luò)往往不通，因此需要一個中轉(zhuǎn)集群做數(shù)據(jù)中轉(zhuǎn)，由此導致一個同步任務(wù)包含多個子任務(wù)，多個子任務(wù)的執(zhí)行有順序依賴關(guān)系，上個子任務(wù)成功才會繼續(xù)執(zhí)行下一個子任務(wù)，定時觸發(fā)的方式無法保證任務(wù)依次準確執(zhí)行，定時腳本的實現(xiàn)還有集群配置管理復雜、不支持任務(wù)重做、不支持自定義接口觸發(fā)等缺點。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的缺陷，提供分布式文件的同步方法、裝置、計算機設(shè)備及存儲介質(zhì)。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

分布式文件的同步方法，包括以下步驟：

獲取分布式文件系統(tǒng)下發(fā)的文件同步請求，并對文件同步請求進行校驗；

校驗通過后，創(chuàng)建同步任務(wù)，并將分布式文件系統(tǒng)中對應(yīng)同步任務(wù)的文件數(shù)據(jù)保存至數(shù)據(jù)存儲中心；

當檢測到數(shù)據(jù)存儲中心發(fā)生數(shù)據(jù)變更，則觸發(fā)同步任務(wù)，向隊列系統(tǒng)發(fā)送指令；

隊列系統(tǒng)將指令發(fā)送至中轉(zhuǎn)集群，中轉(zhuǎn)集群根據(jù)指令執(zhí)行文件數(shù)據(jù)同步。

其進一步技術(shù)方案為：所述文件同步請求包括同步目錄、調(diào)度時間、及同步路由信息。

其進一步技術(shù)方案為：所述指令包括同步任務(wù)的基本信息，基本信息包含源目錄、目的目錄、及任務(wù)階段。

其進一步技術(shù)方案為：所述步驟隊列系統(tǒng)將指令發(fā)送至中轉(zhuǎn)集群，中轉(zhuǎn)集群根據(jù)指令執(zhí)行文件數(shù)據(jù)同步之后，還包括：中轉(zhuǎn)集群向隊列系統(tǒng)反饋執(zhí)行結(jié)果指令。

分布式文件的同步裝置，包括：獲取校驗單元，創(chuàng)建保存單元，檢測觸發(fā)發(fā)送單元，及發(fā)送執(zhí)行單元；

所述獲取校驗單元，用于獲取分布式文件系統(tǒng)下發(fā)的文件同步請求，并對文件同步請求進行校驗；

所述創(chuàng)建保存單元，用于校驗通過后，創(chuàng)建同步任務(wù)，并將分布式文件系統(tǒng)中對應(yīng)同步任務(wù)的文件數(shù)據(jù)保存至數(shù)據(jù)存儲中心；

所述檢測觸發(fā)發(fā)送單元，用于當檢測到數(shù)據(jù)存儲中心發(fā)生數(shù)據(jù)變更，則觸發(fā)同步任務(wù)，向隊列系統(tǒng)發(fā)送指令；

所述發(fā)送執(zhí)行單元，用于隊列系統(tǒng)將指令發(fā)送至中轉(zhuǎn)集群，中轉(zhuǎn)集群根據(jù)指令執(zhí)行文件數(shù)據(jù)同步。

其進一步技術(shù)方案為：所述文件同步請求包括同步目錄、調(diào)度時間、及同步路由信息。

其進一步技術(shù)方案為：所述指令包括同步任務(wù)的基本信息，基本信息包含源目錄、目的目錄、及任務(wù)階段。

其進一步技術(shù)方案為：還包括：反饋單元，用于中轉(zhuǎn)集群向隊列系統(tǒng)反饋執(zhí)行結(jié)果指令。

一種計算機設(shè)備，所述計算機設(shè)備包括存儲器及處理器，所述存儲器上存儲有計算機程序，所述處理器執(zhí)行所述計算機程序時實現(xiàn)如上述所述的分布式文件的同步方法。