[發(fā)明專利]業(yè)務(wù)數(shù)據(jù)的處理方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010522229.7
• 申請(qǐng)日: 2020-06-10
• 公開（公告）號(hào): CN113760870A
• 公開（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 劉楊
• 申請(qǐng)（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號(hào): G06F16/215
• 分類號(hào): G06F16/215;G06F16/23;G06F9/54
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 李哲;劉芳

1.一種業(yè)務(wù)數(shù)據(jù)的處理方法，其特征在于，包括：

獲取待處理的第一業(yè)務(wù)數(shù)據(jù)；

確定所述第一業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)關(guān)鍵字，并根據(jù)所述業(yè)務(wù)關(guān)鍵字確定所述第一業(yè)務(wù)數(shù)據(jù)是否已被統(tǒng)計(jì)；

在確定所述第一業(yè)務(wù)數(shù)據(jù)未被統(tǒng)計(jì)時(shí)，對(duì)所述第一業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，得到統(tǒng)計(jì)結(jié)果；

將所述統(tǒng)計(jì)結(jié)果存儲(chǔ)至第一數(shù)據(jù)庫(kù)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述業(yè)務(wù)關(guān)鍵字確定所述第一業(yè)務(wù)數(shù)據(jù)是否已被統(tǒng)計(jì)，包括：

判斷第二數(shù)據(jù)庫(kù)中是否存在所述業(yè)務(wù)關(guān)鍵字，所述第二數(shù)據(jù)庫(kù)用于存儲(chǔ)已被統(tǒng)計(jì)的業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)關(guān)鍵字；

若所述第二數(shù)據(jù)庫(kù)中存在所述業(yè)務(wù)關(guān)鍵字，則確定所述第一業(yè)務(wù)數(shù)據(jù)已被統(tǒng)計(jì)；

若所述第二數(shù)據(jù)庫(kù)中不存在所述業(yè)務(wù)關(guān)鍵字，則確定所述第一業(yè)務(wù)數(shù)據(jù)未被統(tǒng)計(jì)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，確定所述第一業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)關(guān)鍵字，包括：

確定所述第一業(yè)務(wù)數(shù)據(jù)對(duì)應(yīng)的業(yè)務(wù)類型；

根據(jù)所述業(yè)務(wù)類型以及預(yù)設(shè)對(duì)應(yīng)關(guān)系，確定所述第一業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)關(guān)鍵字，其中，所述預(yù)設(shè)對(duì)應(yīng)關(guān)系用于指示不同業(yè)務(wù)類型與不同業(yè)務(wù)關(guān)鍵字之間的對(duì)應(yīng)關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，根據(jù)所述業(yè)務(wù)關(guān)鍵字確定所述第一業(yè)務(wù)數(shù)據(jù)是否已被統(tǒng)計(jì)之前，還包括：

根據(jù)所述業(yè)務(wù)類型，獲取所述業(yè)務(wù)類型對(duì)應(yīng)的處理方式，所述處理方式包括解析方式和/或校驗(yàn)方式；

根據(jù)所述處理方式，對(duì)所述第一業(yè)務(wù)數(shù)據(jù)進(jìn)行解析處理和/或校驗(yàn)處理。

5.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，所述方法應(yīng)用于采用分布式流處理框架Flink的服務(wù)器，將所述統(tǒng)計(jì)結(jié)果存儲(chǔ)至第一數(shù)據(jù)庫(kù)中，包括：

通過(guò)所述Flink將所述統(tǒng)計(jì)結(jié)果存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)中，并根據(jù)所述統(tǒng)計(jì)結(jié)果生成檢查點(diǎn)信息，所述檢查點(diǎn)信息用于在所述Flink故障時(shí)根據(jù)所述檢查點(diǎn)信息恢復(fù)數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，通過(guò)所述Flink將所述統(tǒng)計(jì)結(jié)果存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)中，并根據(jù)所述統(tǒng)計(jì)結(jié)果生成檢查點(diǎn)信息，包括：

向所述Flink和所述第一數(shù)據(jù)庫(kù)發(fā)送預(yù)提交請(qǐng)求；

在從所述Flink接收到預(yù)提交確認(rèn)消息，以及從所述第一數(shù)據(jù)庫(kù)接收到預(yù)提交確認(rèn)消息后，向所述Flink和所述第一數(shù)據(jù)庫(kù)發(fā)送提交請(qǐng)求，使得所述Flink將所述統(tǒng)計(jì)結(jié)果存儲(chǔ)至所述第一數(shù)據(jù)庫(kù)中，并根據(jù)所述統(tǒng)計(jì)結(jié)果生成檢查點(diǎn)信息。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，獲取待處理的第一業(yè)務(wù)數(shù)據(jù)，包括：

通過(guò)所述Flink從Kafka消息隊(duì)列中獲取第一消息，所述第一消息包括所述第一業(yè)務(wù)數(shù)據(jù)，所述Kafka消息隊(duì)列用于存儲(chǔ)從各業(yè)務(wù)系統(tǒng)服務(wù)器產(chǎn)生的消息，所述Kafka消息隊(duì)列中不存在重復(fù)消息。

8.根據(jù)權(quán)利要求1至4任一項(xiàng)所述的方法，其特征在于，對(duì)所述第一業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，得到統(tǒng)計(jì)結(jié)果，包括：

獲取統(tǒng)計(jì)頻度信息，并將所述第一業(yè)務(wù)數(shù)據(jù)加入與所述統(tǒng)計(jì)頻度信息對(duì)應(yīng)的緩存隊(duì)列中；

根據(jù)所述統(tǒng)計(jì)頻度信息，對(duì)所述緩存隊(duì)列中的業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，得到所述統(tǒng)計(jì)結(jié)果。

9.一種業(yè)務(wù)數(shù)據(jù)的處理裝置，其特征在于，包括：

獲取模塊，用于獲取待處理的第一業(yè)務(wù)數(shù)據(jù)；

處理模塊，用于確定所述第一業(yè)務(wù)數(shù)據(jù)中的業(yè)務(wù)關(guān)鍵字，并根據(jù)所述業(yè)務(wù)關(guān)鍵字確定所述第一業(yè)務(wù)數(shù)據(jù)是否已被統(tǒng)計(jì)；

所述處理模塊，還用于在確定所述第一業(yè)務(wù)數(shù)據(jù)未被統(tǒng)計(jì)時(shí)，對(duì)所述第一業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)處理，得到統(tǒng)計(jì)結(jié)果；

提交模塊，用于將所述統(tǒng)計(jì)結(jié)果存儲(chǔ)至第一數(shù)據(jù)庫(kù)中。

10.一種電子設(shè)備，其特征在于，包括：存儲(chǔ)器和處理器；

所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)執(zhí)行指令，所述處理器運(yùn)行所述計(jì)算機(jī)執(zhí)行指令實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的方法。

11.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)執(zhí)行指令，所述計(jì)算機(jī)執(zhí)行指令被處理器執(zhí)行時(shí)用于實(shí)現(xiàn)如權(quán)利要求1至8任一項(xiàng)所述的方法。