[發明專利]一種數據處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011380363.4
• 申請日: 2020-11-30
• 公開（公告）號: CN112463886A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 劉文之;袁博
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 潘平

本發明公開了一種數據處理方法、裝置、電子設備及存儲介質，在本發明實施例中，電子設備中預設有多種數據處理策略，并且每種數據處理策略與數據表的類別、同步方式、生命周期存在對應關系。當接收到數據同步請求信息，解析出數據同步請求信息中攜帶的數據庫中待同步的數據表的類別、同步方式和生命周期，然后根據預設的對應關系確定目標數據處理策略。基于目標數據處理策略，在Elasticsearch索引庫中創建對應的存儲索引，將待同步的數據表中的數據同步存儲至對應的存儲索引中。這樣針對不同的業務場景，會根據不同的數據處理策略來進行數據處理。從而能夠充分匹配實際多種業務場景。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據處理方法、裝置、電子設備及存儲介質。

背景技術

在大數據時代，數據處理一般包括數據同步和數據檢索等處理方案。在不同的業務場景中，關系型數據庫中的數據表可能包括分區表和非分區表，數據同步方式可能包括全量同步和增量同步，分區表中可能包括拉鏈表這種常用的快照式表，數據表的生命周期包括永久和非永久等。不同的業務場景具有不同的特點，但是現有技術中在進行數據同步時，不對待同步的數據表的類別、同步方式和生命周期進行區分，一般都是一次性的將數據庫中的數據同步至索引庫中，然后用戶在索引庫中進行檢索等操作，如果后續數據庫中的數據有增加，然后再將數據庫中增加的數據逐條同步至索引庫中。

由于現有技術中在進行數據同步時，不對待同步的數據表的類別、同步方式和生命周期進行區分，都是采用單一的數據處理方案，因此不能很好的適用不同的業務需求。

發明內容

本發明實施例提供了一種數據處理方法、裝置、電子設備及存儲介質，用以解決目前的數據處理方案單一，不能充分匹配實際多種業務場景的問題。

本發明實施例提供了一種數據處理方法，所述方法包括：

接收數據同步請求信息，獲取所述數據同步請求信息中攜帶的數據庫中待同步的數據表的類別、同步方式和生命周期；

根據預設的不同的數據處理策略分別對應的預設的數據表的類別、同步方式、生命周期，確定所述數據同步請求信息對應的目標數據處理策略；

基于所述目標數據處理策略，在Elasticsearch索引庫中創建對應的存儲索引，將所述待同步的數據表中的數據同步存儲至所述對應的存儲索引中。

進一步地，所述預設的不同的數據處理策略分別對應的預設的數據表的類別、同步方式、生命周期包括：

類別為非分區數據表、同步方式為全量同步、生命周期為永久對應的數據處理策略為循環索引策略；

類別為非分區數據表、同步方式為增量同步、生命周期為永久對應的數據處理策略為單索引策略；

類別為分區拉鏈數據表、同步方式為全量同步、生命周期為永久對應的數據處理策略為循環索引策略；

類別為分區數據表、同步方式為增量同步、生命周期為永久對應的數據處理策略為單索引策略；

類別為分區數據表、同步方式為增量同步、生命周期為非永久對應的數據處理策略為索引模板策略。

進一步地，若所述目標數據處理策略為循環索引策略，所述基于所述目標數據處理策略，在Elasticsearch索引庫中創建對應的存儲索引包括：

基于所述目標數據處理策略，在Elasticsearch索引庫中創建對應的存儲索引、讀取索引和刪除索引，并為所述存儲索引設置對應的存儲別名，為所述讀取索引設置對應的讀取別名，為所述刪除索引設置對應的刪除別名；以使用戶通過別名進行數據處理；

所述方法還包括：