[發明專利]一種基于文件監控和消息推送的實時同步系統

有效

• 申請號: 201610065684.2
• 申請日: 2016-01-29
• 公開（公告）號: CN105740418B
• 公開（公告）日: 2019-09-24
• 發明（設計）人: 林人俊;程遠;賴興榮;肖佳濤;楊倩嫻
• 申請（專利權）人: 杭州億方云網絡科技有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/178;G06F16/16;G06F16/13
• 代理公司: 北京科億知識產權代理事務所(普通合伙) 11350
• 代理人: 湯東鳳

1.一種基于文件監控和消息推送的實時同步系統，其特征在于，包括，本地文件監控組件，所述本地文件監控組件適配不同的操作系統，用于實時捕獲用戶在本地操作系統中的用戶操作；推送服務組件，所述推送服務組件用以維護云端與本地客戶端之間的長連接，以及將云端的數據變動實時推送到本地；內核數據庫組件，所述內核數據庫組件用以記錄云端文件和本地文件的基本元數據，以及對文件進行當前狀態和歷史版本的比較，計算出本地與云端文件的差異；同步組件，所述同步組件用以根據本地與云端的文件的差異，自動將本地修改上傳到云端，并且將云端的變動同步到本地；

所述推送服務組件包括：RabbitMQ消息隊列，用于創建兩個先進先出FIFO隊列；

ActionQueue操作隊列和FailedActionQueue操作失敗隊列，所述ActionQueue用于保存用戶需要推送的操作消息；所述FailedActionQueue用于保存在異步處理過程中推送失敗的消息；

異步消息處理器，用于從ActionQueue中提取用戶的操作消息，并且獲取推送對象和消息主體；

HBase集群，用于根據用戶ID為索引值，存儲需要推送給每個用戶的消息，以及持久化推送消息；

Web集群，所述Web集群用以提供Web服務器接口；

RealTime集群，用以從所述HBase集群中取得需要推送的所有未推送的消息，并將其推送給用戶，

所述 RealTime集群包括HAProxy和實時推送節點， 所述HAProxy用于均衡每個實時推送節點上的壓力，進行負載均衡； 以及通過訪問HAProxy，獲取實時推送節點的URL；再通過WebSocket協議創建與所述實時推送節點之間的長連接； 所述實時推送節點采用Netty作為通訊引擎；

本地文件監控組件還用于監控得到的數據中存在需要被忽略掉的以下四類文件：

系統文件的創建、刪除、修改；

隱藏文件；

臨時文件；

無法執行的操作。

2.根據權利要求1所述的基于文件監控和消息推送的實時同步系統，其特征在于，所述內核數據庫組件還用以，記錄文件的基本元數據，包括：文件名、文件大小、文件在操作系統中的索引值、文件的父文件夾在操作系統中的索引值、文件本地 狀態、文件全路徑、文件在本地內容的SHA1值、文件在云端的ID 值、文件的父文件夾在云端的ID值、文件在云端內容的SHA1值、文件云端狀態。

3.根據權利要求1所述的基于文件監控和消息推送的實時同步系統，其特征在于，所述內核數據庫組件采用SQLAlchemy作為數據庫管理ORM對象關系映射。

4.根據權利要求1所述的基于文件監控和消息推送的實時同步系統，其特征在于，所述同步組件還用以， 通過操作系統接口將云端文件的用戶操作在本地重現，實現同步；通過WEBAPI接口將用戶對本地文件的操作在云端重現，實現同步。

5.根據權利要求4所述的基于文件監控和消息推送的實時同步系統，其特征在于，所述同步組件中， 采用線程池技術，用以將同一時間多個文件處于傳輸狀態，其余文件均處于排隊等待狀態，其中保證同一時間有5個文件處于傳輸狀態。

6.根據權利要求4所述的基于文件監控和消息推送的實時同步系統，其特征在于，所述同步組件中， 采用優先級隊列處理技術，將所有操作分為文件夾隊列和文件隊列，其中所述文件夾隊列優先于所述文件隊列進行執行。

7.根據權利要求1所述的基于文件監控和消息推送的實時同步系統，其特征在于，所述本地文件監控組件用以適配，Windows、MAC、Linux不同操作系統。