[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011380363.4
• 申請日: 2020-11-30
• 公開（公告）號: CN112463886A
• 公開（公告）日: 2021-03-09
• 發(fā)明（設(shè)計）人: 劉文之;袁博
• 申請（專利權(quán)）人: 浙江大華技術(shù)股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 潘平

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法包括：

接收數(shù)據(jù)同步請求信息，獲取所述數(shù)據(jù)同步請求信息中攜帶的數(shù)據(jù)庫中待同步的數(shù)據(jù)表的類別、同步方式和生命周期；

根據(jù)預(yù)設(shè)的不同的數(shù)據(jù)處理策略分別對應(yīng)的預(yù)設(shè)的數(shù)據(jù)表的類別、同步方式、生命周期，確定所述數(shù)據(jù)同步請求信息對應(yīng)的目標(biāo)數(shù)據(jù)處理策略；

基于所述目標(biāo)數(shù)據(jù)處理策略，在Elasticsearch索引庫中創(chuàng)建對應(yīng)的存儲索引，將所述待同步的數(shù)據(jù)表中的數(shù)據(jù)同步存儲至所述對應(yīng)的存儲索引中。

2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)設(shè)的不同的數(shù)據(jù)處理策略分別對應(yīng)的預(yù)設(shè)的數(shù)據(jù)表的類別、同步方式、生命周期包括：

類別為非分區(qū)數(shù)據(jù)表、同步方式為全量同步、生命周期為永久對應(yīng)的數(shù)據(jù)處理策略為循環(huán)索引策略；

類別為非分區(qū)數(shù)據(jù)表、同步方式為增量同步、生命周期為永久對應(yīng)的數(shù)據(jù)處理策略為單索引策略；

類別為分區(qū)拉鏈數(shù)據(jù)表、同步方式為全量同步、生命周期為永久對應(yīng)的數(shù)據(jù)處理策略為循環(huán)索引策略；

類別為分區(qū)數(shù)據(jù)表、同步方式為增量同步、生命周期為永久對應(yīng)的數(shù)據(jù)處理策略為單索引策略；

類別為分區(qū)數(shù)據(jù)表、同步方式為增量同步、生命周期為非永久對應(yīng)的數(shù)據(jù)處理策略為索引模板策略。

3.如權(quán)利要求2所述的方法，其特征在于，若所述目標(biāo)數(shù)據(jù)處理策略為循環(huán)索引策略，所述基于所述目標(biāo)數(shù)據(jù)處理策略，在Elasticsearch索引庫中創(chuàng)建對應(yīng)的存儲索引包括：

基于所述目標(biāo)數(shù)據(jù)處理策略，在Elasticsearch索引庫中創(chuàng)建對應(yīng)的存儲索引、讀取索引和刪除索引，并為所述存儲索引設(shè)置對應(yīng)的存儲別名，為所述讀取索引設(shè)置對應(yīng)的讀取別名，為所述刪除索引設(shè)置對應(yīng)的刪除別名；以使用戶通過別名進(jìn)行數(shù)據(jù)處理；

所述方法還包括：

通過索引刷新，更新所述存儲索引、讀取索引和刪除索引和別名的對應(yīng)關(guān)系，其中，將所述刪除別名、讀取別名和存儲別名按照從左到右邏輯排序，在進(jìn)行索引刷新時，將所述刪除索引、讀取索引和存儲索引循環(huán)左移一位。

4.如權(quán)利要求3所述的方法，其特征在于，所述將所述待同步的數(shù)據(jù)表中的數(shù)據(jù)同步存儲至所述對應(yīng)的存儲索引中包括：

若所述待同步的數(shù)據(jù)表為拉鏈表，在同步周期中獲取所述拉鏈表中存儲數(shù)據(jù)量最大的分區(qū)中的第一數(shù)據(jù)量，判斷所述第一數(shù)據(jù)量是否增大，如果是，將所述拉鏈表中存儲數(shù)據(jù)量最大的分區(qū)中的數(shù)據(jù)存儲至所述存儲別名對應(yīng)的索引中，并進(jìn)行索引刷新；

若所述待同步的數(shù)據(jù)表為非分區(qū)表，在同步周期中獲取所述非分區(qū)表中存儲的第二總數(shù)據(jù)量，判斷所述第二總數(shù)據(jù)量是否增大，如果是，將所述非分區(qū)表中存儲的數(shù)據(jù)存儲至所述存儲別名對應(yīng)的索引中，并進(jìn)行索引刷新。

5.如權(quán)利要求2所述的方法，其特征在于，若所述目標(biāo)數(shù)據(jù)處理策略為單索引策略，所述基于所述目標(biāo)數(shù)據(jù)處理策略，在Elasticsearch索引庫中創(chuàng)建對應(yīng)的存儲索引包括：

基于所述目標(biāo)數(shù)據(jù)處理策略，在Elasticsearch索引庫中創(chuàng)建對應(yīng)的存儲索引，并為所述存儲索引分別設(shè)置刪除別名、讀取別名和存儲別名；以使用戶通過別名進(jìn)行數(shù)據(jù)處理。

6.如權(quán)利要求5所述的方法，其特征在于，所述將所述待同步的數(shù)據(jù)表中的數(shù)據(jù)同步存儲至所述對應(yīng)的存儲索引中包括：

在同步周期中獲取所述待同步的數(shù)據(jù)表中數(shù)據(jù)增量標(biāo)識的最大值，判斷所述數(shù)據(jù)增量標(biāo)識的最大值是否增大，如果是，將增大的數(shù)據(jù)增量標(biāo)識對應(yīng)的數(shù)據(jù)存儲至所述存儲別名對應(yīng)的索引中。

7.如權(quán)利要求2所述的方法，其特征在于，若所述目標(biāo)數(shù)據(jù)處理策略為索引模板策略，所述基于所述目標(biāo)數(shù)據(jù)處理策略，在Elasticsearch索引庫中創(chuàng)建對應(yīng)的存儲索引包括：

基于所述目標(biāo)數(shù)據(jù)處理策略，根據(jù)所述待同步的數(shù)據(jù)表的分區(qū)，在Elasticsearch索引庫中創(chuàng)建與所述待同步的數(shù)據(jù)表的分區(qū)分別對應(yīng)的每個存儲索引，并為所述每個存儲索引設(shè)置讀取別名；以使用戶通過所述讀取別名進(jìn)行數(shù)據(jù)處理。