[發明專利]一種分布式組態化海量數據歸檔系統及實現方法

有效

• 申請號: 201210516336.4
• 申請日: 2012-11-30
• 公開（公告）號: CN103036956A
• 公開（公告）日: 2013-04-10
• 發明（設計）人: 王海濤;王守信;李明泉;陳佼;王智堯;劉華
• 申請（專利權）人: 航天恒星科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F9/50;G06F11/14;G06F17/30
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 安麗

1.一種分布式組態化的海量數據歸檔系統，其特征在于包括：

多歸檔實例管理模塊：創建數據歸檔服務實例與服務狀態，數據歸檔服務實例與歸檔流程之間的映射關系數據結構，定期接收歸檔請求分發模塊中的各數據歸檔服務實例上報的心跳信息及各數據歸檔服務實例正在處理的歸檔流程信息，并根據接收到的信息更新映射關系表；創建并更新數據歸檔服務實例狀態信息，提供接口供歸檔請求分發模塊查詢；

歸檔請求接收模塊：用戶歸檔請求傳入參數進行解析，封裝成歸檔系統內部模塊交互所使用的歸檔請求數據結構，并將歸檔請求插入請求緩沖隊列中，依靠緩沖隊列機制，可同時接收處理大量并發歸檔請求，對隊列中的歸檔請求進行優化維護，并提供獲取隊列中歸檔請求及隊列狀態信息的隊列管理器，待歸檔請求分發模塊使用；

歸檔請求分發模塊：初始化階段，加載歸檔請求靜態下發映射表，并加載歸檔請求過濾策略；用戶可在映射表中配置歸檔請求類型與數據歸檔服務實例的對應關系，這種對應關系是多對多的，因此可能出現某種歸檔請求類型對應多個數據歸檔服務實例的情況；調用歸檔請求接收模塊的隊列管理器，獲取優先級最高的歸檔請求，將調用多歸檔實例管理模塊中的數據歸檔服務實例狀態信息查詢接口，獲取數據歸檔服務實例物理狀態，根據數據歸檔服務實例物理狀態進行負載均衡，分發歸檔請求到負載相對較輕數據歸檔服務實例的歸檔請求處理模塊；

歸檔流程信息持久化模塊：對歸檔請求接收模塊中維護的請求隊列進行定期持久化操作，并對各模塊之間的交互活動及產生的關鍵數據進行持久化，一旦出現歸檔系統運行環境異常導致系統崩潰，通過持久化的數據恢復到最近一次備份點，形成歸檔數據災難備份恢復機制；

配置文件解析模塊：數據歸檔服務實例按需定制、修訂從歸檔模型配置文件中接收到的數據歸檔流程和數據存儲載體及系統類型，并將歸檔系統中各模塊采用組態化插件形式構建，提供模塊的按需定制能力，將定制的流程及模塊所需參數信息進行解析，并封裝成各模塊能夠調用的對象結構；

歸檔請求處理模塊：數據歸檔服務實例接收到請求分發模塊下發的歸檔請求后，將歸檔請求解析獲取掃描子目錄信息，發送給掃描模塊；

掃描模塊：獲取配置文件解析模塊生成的掃描模塊配置信息對象，根據配置信息指定的根目錄，和歸檔請求處理模塊解析的子目錄構成最終的掃描目錄，并依照配置信息指定的掃描文件類型和個數，從此目錄下掃描獲取待歸檔文件和元數據信息文件，待元數據解析模塊和歸檔模塊使用；

元數據解析模塊：獲取配置文件解析模塊生成的元數據解析配置信息對象，根據配置信息指定的元數據名和所在元數據信息文件中的解析參數，解析出對應的元數據值，生成元數據信息集合，發送給目錄解析模塊；

目錄解析模塊：獲取配置文件解析模塊生成的目錄解析配置信息對象，根據配置信息指定的各級歸檔目錄組成所需元數據信息及連接符，生成歸檔目錄，發送給歸檔模塊；

歸檔模塊：獲取配置文件解析模塊生成的歸檔模塊配置信息對象，根據配置信息指定的歸檔文件系統，將掃描模塊提供的歸檔文件上傳到目錄解析模塊生成的歸檔目錄中；并將歸檔信息發送給元數據持久化模塊；

元數據持久化模塊：獲取配置文件解析模塊生成的元數據持久化配置信息對象，根據配置信息指定的所需持久化信息，將元數據信息、歸檔目錄、歸檔文件等元數據信息存入歸檔元數據庫中；

歸檔數據提取模塊：外部系統輸入歸檔數據查詢條件，提交查詢請求給歸檔數據提取模塊，歸檔數據提取模塊通過檢索元數據信息數據庫，獲取歸檔文件元數據信息，如果外部系統需要獲取歸檔數據，通過調用歸檔數據提取模塊的提取方法指定獲取目錄，可以是遠程或本地應用系統，外部系統通過歸檔數據提取模塊提供的服務，獲取歸檔數據到指定目錄；

事務處理模塊：為保證數據歸檔步驟中歸檔模塊與元數據持久化模塊執行步驟的原子性，既有且只有這兩個模塊執行步驟同時成功才表示這兩步驟都成功，其中有一個模塊執行步驟失敗，這兩模塊執行都失，當這兩個模塊執行失敗時，將對這兩模塊執行的步驟做回滾操作，以消除這兩模塊對外部系統的影響；

以上提到的模塊采用組態化插件形式構建，并提供模塊的按需定制能力：整個歸檔系統可部署在主從模式的分布式集群中，運行在主節點，從屬主節點和從節點上的各模塊是基于組態化插件容器的，每個模塊都可以單獨開啟和關閉，用戶可以根據需求啟動相應的模塊，用戶可根據發布的接口，擴展各模塊的實現方式，并且，根據用戶需求可添加新的自定義的處理模塊，配置符合自身要求的歸檔服務系統。