[發明專利]數據處理方法、裝置、電子設備及計算機可讀存儲介質

有效

• 申請號: 201811025121.6
• 申請日: 2018-09-03
• 公開（公告）號: CN109063196B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 周瑜
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/27;G06F16/2455
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

本公開實施例公開了一種數據處理方法、裝置、電子設備及計算機可讀存儲介質，所述方法包括：獲取對關系型數據庫的當前操作；確定所述當前操作涉及的操作信息；將所述操作信息緩存到消息隊列中；利用flume引擎從所述消息隊列中實時獲取所述操作信息，并將其傳送至非關系型數據庫中進行存儲。該技術方案實現了非關系型數據庫與關系型數據庫之間同步的實時性，為用戶提供了能夠進行交互性查詢的實時數據平臺。

技術領域

本公開涉及計算機技術領域，具體涉及一種數據處理方法、裝置、電子設備及計算機可讀存儲介質。

背景技術

與用戶交互的web系統中，線上業務數據通常存放在關系型數據庫中，因此，傳統關系型數據庫里面的數據具有極高的價值，但是關系型數據庫不支持大規模的數據分析查詢操作，也不支持大數據領域的海量數據的分析工作，因此需要將數據從關系型數據庫遷移到非關系型數據庫中，建立數據模型，進而做進一步的數據分析工作。

發明內容

本公開實施例提供一種數據處理方法、裝置、電子設備及計算機可讀存儲介質。

第一方面，本公開實施例中提供了一種數據處理方法。

具體的，所述數據處理方法，包括：

獲取對關系型數據庫的當前操作；

確定所述當前操作涉及的操作信息；

將所述操作信息緩存到消息隊列中；

利用flume引擎從所述消息隊列中實時獲取所述操作信息，并將其傳送至非關系型數據庫中進行存儲。

結合第一方面，本公開在第一方面的第一種實現方式中，獲取對關系型數據庫的當前操作，包括：

響應于對所述關系型數據庫的數據增加、數據修改和數據刪除中的任意一個，獲取所述當前操作。

結合第一方面，本公開在第一方面的第二種實現方式中，確定所述當前操作涉及的操作信息，包括：

解析所述當前操作，確定所述當前操作對應的操作類型和/或數據源；

將所述操作類型和/或數據源封裝成標準格式。

結合第一方面，本公開在第一方面的第三種實現方式中，將所述操作信息緩存到消息隊列中，包括：

將所述操作信息緩存到Kafka消息隊列中。

結合第一方面的第三種實現方式，本公開在第一方面的第四種實現方式中，包括：

配置所述flume引擎，以將所述KaFka消息隊列作為所述flume引擎的數據源。。

結合第一方面的第三種實現方式或第一方面的第四種實現方式，本公開在第一方面的第五種實現方式中，所述非關系型數據庫為kudu數據庫，還包括：

配置所述flume引擎，以將所述kudu數據庫作為所述flume引擎的數據終點。。

結合第一方面的第五種實現方式，本公開在第一方面的第六種實現方式中，包括：

在所述flume引擎中添加所述kudu數據庫的操作API；

并將所述flume引擎的數據終點配置為所述操作API。

第二方面，本公開實施例提供了一種數據處理裝置，包括：

獲取模塊，被配置為獲取對關系型數據庫的當前操作；

確定模塊，被配置為確定所述當前操作涉及的操作信息；

緩存模塊，被配置為將所述操作信息緩存到消息隊列中；