[發(fā)明專利]數(shù)據(jù)同步方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202210457043.7
• 申請日: 2022-04-28
• 公開（公告）號: CN114584574B
• 公開（公告）日: 2022-08-02
• 發(fā)明（設(shè)計）人: 陳立軍;陳濤;魏軍
• 申請（專利權(quán)）人: 武漢四通信息服務(wù)有限公司
• 主分類號: H04L67/1095
• 分類號: H04L67/1095;H04L67/06;G06F16/178;G06F16/13;G06F16/14;G06F16/17;G06F16/182;G06F16/23;G06F16/28
• 代理公司: 深圳紫藤知識產(chǎn)權(quán)代理有限公司 44570
• 代理人: 熊恒定

本申請公開了一種數(shù)據(jù)同步方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)，該數(shù)據(jù)同步方法包括：通過日志拉取組件實時拉取索引數(shù)據(jù)庫的數(shù)據(jù)庫日志，從數(shù)據(jù)庫日志中解析出待同步數(shù)據(jù)的索引信息；獲取多個服務(wù)器節(jié)點中每個服務(wù)器節(jié)點的節(jié)點狀態(tài)信息，根據(jù)節(jié)點狀態(tài)信息確定每個服務(wù)器節(jié)點的若干容納數(shù)據(jù)類型及若干容納數(shù)據(jù)類型中每個容納數(shù)據(jù)類型的容納數(shù)據(jù)量；獲取索引信息對應(yīng)的文件屬性信息，根據(jù)索引信息、文件屬性信息、若干容納數(shù)據(jù)類型及容納數(shù)據(jù)量，從文件存儲服務(wù)器中提取目標(biāo)文件數(shù)據(jù)；將目標(biāo)文件數(shù)據(jù)同步至文件索引服務(wù)器。本申請可以提高數(shù)據(jù)同步的實時性，并且可以避免因節(jié)點狀態(tài)導(dǎo)致的重要數(shù)據(jù)同步失敗的問題。

技術(shù)領(lǐng)域

本申請涉及計算機(jī)技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)同步方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)。

背景技術(shù)

Elasticsearch是一個分布式、高擴(kuò)展、高實時的搜索與數(shù)據(jù)分析引擎，其能很方便的使大量數(shù)據(jù)具有搜索、分析和探索的能力，充分利用Elasticsearch的水平伸縮性，能使數(shù)據(jù)在生產(chǎn)環(huán)境變得更有價值。要利用Elasticsearch的數(shù)據(jù)搜索、分析與探索功能，需要將數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入Elasticsearch服務(wù)器，并實現(xiàn)數(shù)據(jù)庫與Elasticsearch服務(wù)器的數(shù)據(jù)同步。現(xiàn)有對數(shù)據(jù)庫和Elasticsearch服務(wù)器進(jìn)行數(shù)據(jù)同步時，是定時獲取數(shù)據(jù)庫中的待同步數(shù)據(jù)，并將獲取的待同步數(shù)據(jù)同步至Elasticsearch服務(wù)器，數(shù)據(jù)同步的實時性差。

發(fā)明內(nèi)容

本申請實施例提供一種數(shù)據(jù)同步方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)，可以提高數(shù)據(jù)同步的實時性，并且可以避免因節(jié)點狀態(tài)導(dǎo)致的重要數(shù)據(jù)同步失敗的問題。

一方面，本申請?zhí)峁┮环N數(shù)據(jù)同步方法，所述數(shù)據(jù)同步方法應(yīng)用于數(shù)據(jù)同步裝置，所述數(shù)據(jù)同步裝置分別與索引數(shù)據(jù)庫、文件存儲服務(wù)器及文件索引服務(wù)器通信連接，所述文件索引服務(wù)器包括多個服務(wù)器節(jié)點，所述數(shù)據(jù)同步方法包括：

通過日志拉取組件實時拉取所述索引數(shù)據(jù)庫的數(shù)據(jù)庫日志，從所述數(shù)據(jù)庫日志中解析出待同步數(shù)據(jù)的索引信息；

獲取所述多個服務(wù)器節(jié)點中每個服務(wù)器節(jié)點的節(jié)點狀態(tài)信息，根據(jù)所述節(jié)點狀態(tài)信息確定所述每個服務(wù)器節(jié)點的若干容納數(shù)據(jù)類型及所述若干容納數(shù)據(jù)類型中每個容納數(shù)據(jù)類型的容納數(shù)據(jù)量；

獲取所述索引信息對應(yīng)的文件屬性信息，根據(jù)所述索引信息、所述文件屬性信息、所述若干容納數(shù)據(jù)類型及所述容納數(shù)據(jù)量，從所述文件存儲服務(wù)器中提取目標(biāo)文件數(shù)據(jù)；

將所述目標(biāo)文件數(shù)據(jù)同步至所述文件索引服務(wù)器。

在本申請一些實施方案中，所述文件屬性信息包括文件重要級別、文件類型及文件產(chǎn)生時間，所述根據(jù)所述索引信息、所述文件屬性信息、所述若干容納數(shù)據(jù)類型及所述容納數(shù)據(jù)量，從所述文件存儲服務(wù)器中提取目標(biāo)文件數(shù)據(jù)，包括：

根據(jù)所述文件重要級別、所述文件類型及所述文件產(chǎn)生時間，確定所述索引信息對應(yīng)的目標(biāo)分?jǐn)?shù)；

根據(jù)所述索引信息、所述目標(biāo)分?jǐn)?shù)、所述若干容納數(shù)據(jù)類型及所述容納數(shù)據(jù)量，從所述文件存儲服務(wù)器中提取目標(biāo)文件數(shù)據(jù)。

在本申請一些實施方案中，所述根據(jù)所述文件重要級別、所述文件類型及所述文件產(chǎn)生時間，確定所述索引信息對應(yīng)的目標(biāo)分?jǐn)?shù)，包括：

根據(jù)所述文件重要級別、所述文件類型及所述文件產(chǎn)生時間，分別確定所述索引信息對應(yīng)的第一分?jǐn)?shù)、第二分?jǐn)?shù)及第三分?jǐn)?shù)；

根據(jù)所述第一分?jǐn)?shù)、所述第二分?jǐn)?shù)及所述第三分?jǐn)?shù)，確定所述索引信息對應(yīng)的目標(biāo)分?jǐn)?shù)。

在本申請一些實施方案中，所述根據(jù)所述索引信息、所述目標(biāo)分?jǐn)?shù)、所述若干容納數(shù)據(jù)類型及所述容納數(shù)據(jù)量，從所述文件存儲服務(wù)器中提取目標(biāo)文件數(shù)據(jù)，包括：

根據(jù)所述目標(biāo)分?jǐn)?shù)、所述若干容納數(shù)據(jù)類型及所述容納數(shù)據(jù)量，從所述索引信息中篩選出目標(biāo)索引信息；