[發明專利]一種運維大數據共享數據表的處理方法、裝置及存儲介質

有效

• 申請號: 202011154092.0
• 申請日: 2020-10-26
• 公開（公告）號: CN111966650B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 陳春麗
• 申請（專利權）人: 北京海聯捷訊科技股份有限公司
• 主分類號: G06F16/176
• 分類號: G06F16/176;G06F16/18;G06F16/16;G06F16/22;G06F11/14
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 陳遠洋

1.一種運維大數據共享數據表的處理方法，該方法應用于分布式數據處理系統，其特征在于，所述分布式數據處理系統包括多個服務器、多個用戶端以及一個備份服務器，所述多個服務器、多個用戶端以及一個備份服務器通過網絡相互連接，該方法包括：

數據表建立步驟，在所述多個服務器中的一個服務器的數據庫上建立用于運維大數據共享的數據表，其中，該建立用于運維大數據共享的數據表的服務器稱為主服務器；

分發步驟，所述主服務器將所建立的數據表發送至其他的服務器及所述多個用戶端，其中，所述其他的服務器為所述多個服務器中除所述主服務器之外的服務器；

鏡像步驟，發送至其他的服務器及所述多個用戶端的數據表生成在所述其他服務器及所述多個用戶端的本地鏡像，用戶在所述本地鏡像中進行數據的操作，其中，所述其他服務器中的每一個及每一個用戶端中具有一個本地鏡像；

備份步驟：所述備份服務器向所述多個服務器及多個用戶端發出備份請求，所述多個服務器及多個用戶端接收到所述備份請求后，所述其他服務器中的每一個及每一個用戶端基于其上的本地鏡像生成對應的本地鏡像全量備份數據，所述主服務器生成所述數據表的本地全量備份數據，然后生成備份數據集；所述生成備份數據集的操作包括：所述備份服務器確定用戶正在寫入或修改的所述其他服務器中的每一個的本地鏡像及每一個用戶端上的本地鏡像形成本地鏡像集；所述備份服務器對所述本地鏡像集中的每一個本地鏡像設定禁止寫入或修改標識，基于所述禁止寫入或修改標識對所述本地鏡像集中的每一個本地鏡像禁止寫入或修改；獲取所述本地鏡像集中的每一個本地鏡像的日志文件，其中，所述日志文件中存儲了所述本地鏡像集中的每一個本地鏡像在預設時間段內的增量數據；刪除所述本地鏡像集中的每一個本地鏡像設定的禁止寫入或修改標識，基于所述本地全量備份數據、本地鏡像全量備份數據及所述本地鏡像集中的每一個本地鏡像的日志文件生成所述備份數據集；

獲取所述本地鏡像集中的每一個本地鏡像的日志文件的操作為：所述備份服務器向所述本地鏡像集中的本地鏡像對應的服務器及用戶端發送時鐘同步信號，所述本地鏡像對應的服務器及用戶端基于接收到的所述時鐘同步信號進行時鐘同步，所述本地鏡像對應的服務器及用戶端獲取對應的本地鏡像在預設的時間段內的增量數據以及所述增量數據對應的寫入或修改時間，所述本地鏡像對應的服務器及用戶端將增量數據、所述增量數據對應的寫入或修改時間以及IP地址形成日志文件發送至所述備份服務器；

所述備份服務器在預定的時間將所述備份數據集發送至所述主服務器；所述主服務器基于所述備份數據集對所述數據表進行更新；

所述主服務器基于所述備份數據集對所述數據表進行更新的操作包括：所述主服務器獲取備份數據集中的所述本地全量備份數據以及所有本地鏡像全量備份數據，對所述本地全量備份數據以及所有本地鏡像全量備份數據進行解析得到所述本地全量備份數據以及所有本地鏡像全量備份數據中的所有數據條目及對應的寫入或修改時間，基于所述寫入或修改時間對所有的數據條目進行排序，將排序后的數據條目寫入所述數據表，然后，從備份數據集獲取所述本地鏡像集中的每一個本地鏡像的日志文件，對所有的日志文件進行解析獲得所有的增量數據以及所述增量數據對應的寫入或修改時間，基于所述增量數據對應的寫入或修改時間對所有的增量數據進行排序，將排序后的增量數據的數據條目寫入所述數據表。