[發明專利]一種數據獲取方法及裝置

在審

• 申請號: 201910731693.4
• 申請日: 2019-08-08
• 公開（公告）號: CN110324211A
• 公開（公告）日: 2019-10-11
• 發明（設計）人: 李善任;董會存
• 申請（專利權）人: 宜人恒業科技發展（北京）有限公司;普信恒業科技發展（北京）有限公司
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/861
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 柳欣

1.一種數據獲取方法，其特征在于，包括：

實時采集日志信息；

以統計規則為依據，基于采集到的日志信息，獲得統計相關的原始數據，將獲得的原始數據寫入第一消息隊列；

從所述第一消息隊列中，收集與當前統計周期對應的原始數據；

在收集到與當前統計周期對應的原始數據時，根據收集到的當前原始數據、第一時間段的統計結果和所述統計規則，得到第二時間段的統計結果；

其中，所述第一時間段包括當前統計周期的開始時刻至前一次收集到的原始數據對應的時刻，所述第二時間段包括所述當前統計周期的開始時刻至所述當前原始數據對應的時刻；所述第一時間段的統計結果基于所述當前統計周期的開始時刻至所述前一次收集到的原始數據對應的時刻之間對應的各個原始數據和所述統計規則得到。

2.根據權利要求1所述的方法，其特征在于，所述第一消息隊列基于KafKa實現。

3.根據權利要求1或2所述的方法，其特征在于，所述以統計規則為依據，基于采集到的日志信息，獲得統計相關的原始數據，具體包括：

當所述采集到的日志信息中存在與所述統計規則匹配的字段時，基于所述與所述統計規則匹配的字段，得到所述原始數據。

4.根據權利要求3所述的方法，其特征在于，當統計周期為多個時，所述原始數據包括參與統計的數據和統計周期標識；所述基于所述與所述統計規則匹配的字段，得到所述原始數據，具體包括：

基于所述與所述統計規則匹配的字段和各個統計周期對應的統計周期標識，得到多個原始數據；

其中，得到的多個原始數據與所述統計周期一一對應，每個得到的原始數據攜帶對應統計周期的統計周期標識。

5.根據權利要求1或2所述的方法，其特征在于，在所述得到第二時間段的統計結果之后，還包括：

將得到的統計結果寫入第二消息隊列；

獲取所述第二消息隊列中的統計結果，將獲取到的統計結果寫入預設存儲區域。

6.根據權利要求5所述的方法，其特征在于，所述第二消息隊列基于KafKa實現。

7.一種數據獲取裝置，其特征在于，包括：

采集模塊，用于實時采集日志信息；

整理模塊，用于以統計規則為依據，基于所述采集模塊采集到的日志信息，獲得統計相關的原始數據；

第一寫入模塊，用于將所述整理模塊獲得的原始數據寫入第一消息隊列；

收集模塊，用于從所述第一消息隊列中，收集與當前統計周期對應的原始數據；

統計模塊，用于根據所述收集模塊收集到的當前原始數據、第一時間段的統計結果和所述統計規則，得到第二時間段的統計結果；

其中，所述第一時間段包括當前統計周期的開始時刻至前一次收集到的原始數據對應的時刻，所述第二時間段包括所述當前統計周期的開始時刻至所述當前原始數據對應的時刻；所述第一時間段的統計結果基于所述當前統計周期的開始時刻至所述前一次收集到的原始數據對應的時刻之間對應的各個原始數據和所述統計規則得到。

8.根據權利要求7所述的裝置，其特征在于，還包括：

第二寫入模塊，用于獲取由所述統計模塊寫入第二消息隊列中的統計結果，并將獲取到的統計結果寫入預設存儲區域。

9.一種計算機可讀存儲介質，其特征在于，其上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1至6任一項所述的數據獲取方法。

10.一種服務器，其特征在于，包括：處理器和存儲器；

所述存儲器，用于存儲程序代碼，并將所述程序代碼傳輸給所述處理器；

所述處理器，用于根據所述程序代碼中的指令，執行如權利要求1至6任一項所述的數據獲取方法。