[發(fā)明專利]數(shù)據(jù)處理方法、數(shù)據(jù)處理裝置和服務(wù)器

有效

• 申請(qǐng)?zhí)枺?/td>: 201711461712.3
• 申請(qǐng)日: 2017-12-28
• 公開（公告）號(hào): CN109271097B
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 趙英超;饒?jiān)?/a>
• 申請(qǐng)（專利權(quán)）人: 新華三大數(shù)據(jù)技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于HBase數(shù)據(jù)庫的協(xié)處理器，所述方法包括：

接收已采集數(shù)據(jù)，并根據(jù)所述已采集數(shù)據(jù)的參數(shù)值計(jì)算所述已采集數(shù)據(jù)的數(shù)據(jù)摘要；

在第一數(shù)據(jù)表中插入所述已采集數(shù)據(jù)的行鍵、時(shí)間戳和數(shù)據(jù)摘要；

以所述已采集數(shù)據(jù)的數(shù)據(jù)摘要作為行鍵在第二數(shù)據(jù)表中查詢；所述第二數(shù)據(jù)表中的行鍵為數(shù)據(jù)摘要，所述第二數(shù)據(jù)表包含一個(gè)用于存儲(chǔ)計(jì)數(shù)值的計(jì)數(shù)列和至少一個(gè)用于存儲(chǔ)所述已采集數(shù)據(jù)的參數(shù)值的參數(shù)列；

若在所述第二數(shù)據(jù)表中查詢到所述已采集數(shù)據(jù)的數(shù)據(jù)摘要，則將對(duì)應(yīng)的行數(shù)據(jù)中的所述計(jì)數(shù)值疊加固定值；

所述方法還包括：若在所述第二數(shù)據(jù)表中未查詢到所述已采集數(shù)據(jù)的數(shù)據(jù)摘要，則在所述第二數(shù)據(jù)表中插入一行數(shù)據(jù)，該行數(shù)據(jù)的行鍵為所述已采集數(shù)據(jù)的數(shù)據(jù)摘要，該行數(shù)據(jù)對(duì)應(yīng)的所述計(jì)數(shù)值為初始值，該行數(shù)據(jù)的各個(gè)參數(shù)列中記錄對(duì)應(yīng)的所述已采集數(shù)據(jù)的參數(shù)值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

獲取待刪除數(shù)據(jù)的行鍵和時(shí)間戳；

在所述第一數(shù)據(jù)表中查詢所述待刪除數(shù)據(jù)的行鍵和時(shí)間戳；

若在所述第一數(shù)據(jù)表中查詢到所述待刪除數(shù)據(jù)的行鍵和時(shí)間戳，則將對(duì)應(yīng)的第一行數(shù)據(jù)的數(shù)據(jù)摘要作為行鍵在所述第二數(shù)據(jù)表中查詢；

若在所述第二數(shù)據(jù)表中查詢到所述第一行數(shù)據(jù)的數(shù)據(jù)摘要，則判斷對(duì)應(yīng)的第二行數(shù)據(jù)中的所述計(jì)數(shù)值是大于所述初始值還是等于所述初始值；

若所述第二行數(shù)據(jù)中的所述計(jì)數(shù)值大于所述初始值，則將所述第二行數(shù)據(jù)中的所述計(jì)數(shù)值減少所述固定值。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括：

若所述第二行數(shù)據(jù)中的所述計(jì)數(shù)值等于所述初始值，則在所述第一數(shù)據(jù)表中刪除所述第一行數(shù)據(jù)，并且在所述第二數(shù)據(jù)表中刪除所述第二行數(shù)據(jù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

獲取待讀取數(shù)據(jù)的行鍵和時(shí)間戳；

在所述第一數(shù)據(jù)表中查詢所述待讀取數(shù)據(jù)的行鍵和時(shí)間戳；

若在所述第一數(shù)據(jù)表中查詢到所述待讀取數(shù)據(jù)的行鍵和時(shí)間戳，則以對(duì)應(yīng)的第三行數(shù)據(jù)的數(shù)據(jù)摘要作為行鍵在所述第二數(shù)據(jù)表中查詢；

若在所述第二數(shù)據(jù)表中查詢到所述第三行數(shù)據(jù)的數(shù)據(jù)摘要，則將對(duì)應(yīng)的第四行數(shù)據(jù)中的參數(shù)列與所述第三行數(shù)據(jù)中的行鍵和時(shí)間戳確定為所述待讀取數(shù)據(jù)并讀取。

5.一種數(shù)據(jù)處理裝置，其特征在于，所述裝置應(yīng)用于HBase數(shù)據(jù)庫的協(xié)處理器，所述裝置包括：

接收模塊，用于接收已采集數(shù)據(jù)，并根據(jù)所述已采集數(shù)據(jù)的參數(shù)值計(jì)算所述已采集數(shù)據(jù)的數(shù)據(jù)摘要；

插入模塊，用于在第一數(shù)據(jù)表中插入所述已采集數(shù)據(jù)的行鍵、時(shí)間戳和數(shù)據(jù)摘要；

查詢模塊，用于以所述已采集數(shù)據(jù)的數(shù)據(jù)摘要作為行鍵在第二數(shù)據(jù)表中查詢；所述第二數(shù)據(jù)表中的行鍵為數(shù)據(jù)摘要，所述第二數(shù)據(jù)表包含一個(gè)用于存儲(chǔ)計(jì)數(shù)值的計(jì)數(shù)列和至少一個(gè)用于存儲(chǔ)所述已采集數(shù)據(jù)的參數(shù)值的參數(shù)列；

處理模塊，用于若在所述第二數(shù)據(jù)表中查詢到所述已采集數(shù)據(jù)的數(shù)據(jù)摘要，則將對(duì)應(yīng)的行數(shù)據(jù)中的所述計(jì)數(shù)值疊加固定值；

所述插入模塊還用于：

若在所述第二數(shù)據(jù)表中未查詢到所述已采集數(shù)據(jù)的數(shù)據(jù)摘要，則在所述第二數(shù)據(jù)表中插入一行數(shù)據(jù)，該行數(shù)據(jù)的行鍵為所述已采集數(shù)據(jù)的數(shù)據(jù)摘要，該行數(shù)據(jù)對(duì)應(yīng)的所述計(jì)數(shù)值為初始值，該行數(shù)據(jù)的各個(gè)參數(shù)列中記錄對(duì)應(yīng)的所述已采集數(shù)據(jù)的參數(shù)值。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，還包括獲取模塊和判斷模塊，

所述獲取模塊用于：獲取待刪除數(shù)據(jù)的行鍵和時(shí)間戳；

所述查詢模塊還用于：在所述第一數(shù)據(jù)表中查詢所述待刪除數(shù)據(jù)的行鍵和時(shí)間戳；若在所述第一數(shù)據(jù)表中查詢到所述待刪除數(shù)據(jù)的行鍵和時(shí)間戳，則將對(duì)應(yīng)的第一行數(shù)據(jù)的數(shù)據(jù)摘要作為行鍵在所述第二數(shù)據(jù)表中查詢；

所述判斷模塊用于：若在所述第二數(shù)據(jù)表中查詢到所述第一行數(shù)據(jù)的數(shù)據(jù)摘要，則判斷對(duì)應(yīng)的第二行數(shù)據(jù)中的所述計(jì)數(shù)值是大于所述初始值還是等于所述初始值；

所述處理模塊還用于：若所述第二行數(shù)據(jù)中的所述計(jì)數(shù)值大于所述初始值，則將所述第二行數(shù)據(jù)中的所述計(jì)數(shù)值減少所述固定值。