[發明專利]基于IPFS的分布式實時數據同步方法、節點設備及系統

有效

• 申請號: 202010844374.7
• 申請日: 2020-08-20
• 公開（公告）號: CN112035422B
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 佘鵬飛;孫曉鵬;李鑫;馬驥;周小欠
• 申請（專利權）人: 鄭州信大捷安信息技術股份有限公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/182
• 代理公司: 鄭州德勤知識產權代理有限公司 41128
• 代理人: 武亞楠

本發明提供一種基于IPFS的分布式實時數據同步方法、節點設備及系統，所述系統包括：若干同步服務節點及集成SDK，其中，所述同步服務節點基于Fastdfs集群中的Fastdfs storage節點進行分布式部署，所述Fastdfs storage節點用于提供業務數據文件存儲服務；針對每一Fastdfs storage節點，在同一主機進行IPFS節點的部署，所述IPFS節點用于為所述Fastdfs集群提供跨公網的私有p2p網絡；所述集成SDK，通過Fastdfs文件消息監聽服務、同步邏輯業務處理服務、消息主題服務為所述同步服務節點提供相對應業務功能，實現跨公網的不同內網之間的數據實時同步。本發明還提供一種基于IPFS的分布式實時數據同步方法，通過本發明解決了Fastdfs跨公網安全傳輸問題、Fastdfs實時傳輸問題和Fastdfs文件同步效率問題。

技術領域

本發明涉及分布式文件系統技術領域，具體涉及一種基于IPFS的分布式實時數據同步方法、節點設備及系統。

背景技術

Fastdfs分布式文件系統，致力于實現文件操作的高可用、高并發，特別適合中小文件的存儲操作，以其特有的輕量級、分組存儲與對等結構這三大特點，被國內各大企業廣泛應用。Fastdfs由跟蹤服務器(Tracker Server)、存儲服務器(Storage Server)和客戶端(Client)構成。

在實際使用中，Fastdfs集群的Storage節點用來存儲實際的數據，多個Storage可為一組，組內進行冗余備份、負載均衡，同組內服務器上的文件是完全相同的。文件上傳、刪除等操作可以在任意一臺存儲服務器(Storage Server)上進行。當上傳文件到某一個存儲服務器(Storage Server)時，存儲服務器(Storage Server)會啟動線程向同組內其他storage同步該文件。

一般情況下，Fastdfs storage節點部署在企業內網，當企業規模較大時，可能需要多個企業內網之間進行數據的存儲和同步。但是這些同組內的存儲服務器(StorageServer)一般都是部署在同一內網，沒有對外開放接口，對于跨公網的ip傳輸方式是一個問題，即處于不同內網中的存儲服務器(Storage Server)之間無法實現數據同步。假如直接暴露存儲服務器(Storage Server)相關接口到公網訪問，則數據和內網安全無法得到保證。同時由于其自身的內網同步機制為采用單線程直接同步文件，對于較大文件，跨公網傳輸時存在文件傳輸效率較低影響實時數據同步進度的問題。

發明內容

針對上述背景技術中提到的缺陷，本發明提出了一種基于IPFS的分布式實時數據同步方法、節點設備及系統，用以解決以下三個問題：Fastdfs跨公網以及安全通信問題、較大文件同步傳輸效率問題及Fastdfs實時數據同步的問題。

為了實現上述目的，本發明第一方面提供一種基于IPFS的分布式實時數據同步方法，包括以下步驟：

步驟S1，配置同步服務節點：在每個Fastdfs storage節點所屬主機部署IPFS節點，以創建跨公網的私有p2p網絡；

步驟S2，部署集成SDK，初始化所述集成SDK，加載Fastdfs存儲目錄到所述IPFS節點，通過IPFS節點訂閱所有Fastdfs二級目錄主題；

步驟S3，所述集成SDK實時監聽Fastdfs storage 文件事件；

步驟S4，在所述集成SDK監聽到Fastdfs storage 文件事件后，添加事件對應的文件所在的Fastdfs二級存儲目錄到IPFS節點，生成新的IPFS CID；

步驟S5，集成SDK依據監聽到的Fastdfs storage 文件事件類型，判斷是否將消息發布到特定訂閱主題；所述特定訂閱主題的消息內容包括事件類型、Fastdfs fileId、時間戳和IPFS CID；