[發明專利]數據處理方法、裝置、電子設備及計算機可讀存儲介質

有效

• 申請號: 201811025121.6
• 申請日: 2018-09-03
• 公開（公告）號: CN109063196B
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 周瑜
• 申請（專利權）人: 拉扎斯網絡科技（上海）有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/25;G06F16/27;G06F16/2455
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 鐘文芳;宋海龍

1.一種數據處理方法，其特征在于，包括：

獲取對關系型數據庫的當前操作；

確定所述當前操作涉及的操作信息；

將所述操作信息緩存到消息隊列中；

利用flume引擎從所述消息隊列中實時獲取所述操作信息，并將其傳送至非關系型數據庫中進行存儲，

其中，所述確定所述當前操作涉及的操作信息，包括：

解析所述當前操作，確定所述當前操作對應的操作類型和/或數據源；

將所述操作類型和/或數據源封裝成標準格式，

其中，所述非關系型數據庫為kudu數據庫，所述方法還包括：

在所述flume引擎中添加所述kudu數據庫的操作API，用于解析封裝成標準格式的所述操作類型和/或數據源，并將其同步至所述kudu數據庫；

將所述flume引擎的數據終點配置為所述操作API，

所述獲取對關系型數據庫的當前操作包括：

響應于在所述關系型數據庫中增加或刪除完整性約束條件，獲取所述當前操作。

2.根據權利要求1所述的數據處理方法，其特征在于，獲取對關系型數據庫的當前操作，包括：

響應于對所述關系型數據庫的數據增加、數據修改和數據刪除中的任意一個，獲取所述當前操作。

3.根據權利要求1所述的數據處理方法，其特征在于，將所述操作信息緩存到消息隊列中，包括：

將所述操作信息緩存到Kafka消息隊列中。

4.根據權利要求3所述的數據處理方法，其特征在于，所述方法還包括：

配置所述flume引擎，以將所述Kafka消息隊列作為所述flume引擎的數據源。

5.一種數據處理裝置，其特征在于，包括：

獲取模塊，被配置為獲取對關系型數據庫的當前操作；

確定模塊，被配置為確定所述當前操作涉及的操作信息；

緩存模塊，被配置為將所述操作信息緩存到消息隊列中；

傳送模塊，被配置為利用flume引擎從所述消息隊列中實時獲取所述操作信息，并將其傳送至非關系型數據庫中進行存儲，

其中，所述確定模塊包括：

確定子模塊，被配置為解析所述當前操作，確定所述當前操作對應的操作類型和/或數據源；

封裝子模塊，被配置為將所述操作類型和/或數據源封裝成標準格式，

其中，所述非關系型數據庫為kudu數據庫，所述裝置還包括：

第二配置模塊，被配置為配置所述flume引擎，以將所述kudu數據庫作為所述flume引擎的數據終點，所述第二配置模塊包括：

添加子模塊，被配置為在所述flume引擎中添加所述kudu數據庫的操作API，用于解析封裝成標準格式的所述操作類型和/或數據源，并將其同步至所述kudu數據庫；

配置子模塊，被配置為將所述flume引擎的數據終點配置為所述操作API，

所述獲取對關系型數據庫的當前操作包括：

響應于在所述關系型數據庫中增加或刪除完整性約束條件，獲取所述當前操作。

6.根據權利要求5所述的數據處理裝置，其特征在于，所述獲取模塊包括：

獲取子模塊，被配置為響應于對所述關系型數據庫的數據增加、數據修改和數據刪除中的任意一個，獲取所述當前操作。

7.根據權利要求5所述的數據處理裝置，其特征在于，所述緩存模塊包括：

緩存子模塊，被配置為將所述操作信息緩存到Kafka消息隊列中。

8.根據權利要求7所述的數據處理裝置，其特征在于，所述裝置還包括：

第一配置模塊，被配置為配置所述flume引擎，以將所述Kafka消息隊列作為所述flume引擎的數據源。

9.一種電子設備，其特征在于，包括存儲器和處理器；其中，

所述存儲器用于存儲一條或多條計算機指令，其中，所述一條或多條計算機指令被所述處理器執行以實現權利要求1-4任一項所述的方法步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機指令，其特征在于，該計算機指令被處理器執行時實現權利要求1-4任一項所述的方法步驟。