[發明專利]數據處理方法、裝置、電子設備和機器可讀存儲介質

在審

• 申請號: 202010727480.7
• 申請日: 2020-07-24
• 公開（公告）號: CN111881153A
• 公開（公告）日: 2020-11-03
• 發明（設計）人: 趙宇;徐寅斐;柴瑜軒;侯雪峰
• 申請（專利權）人: 北京金山云網絡技術有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/25;G06F16/27;G06F9/54;H04L29/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

1.一種數據處理方法，其特征在于，所述方法應用于運行有數據采集系統的電子設備，或應用于與運行有數據采集系統的電子設備的數據輸出端通信連接的電子設備；所述電子設備與運行有數據分析系統的電子設備通信連接；所述方法包括：

在預設的定時時長內，從目標數據源的初始數據中提取指定數據，以通過預設的聚合算法對所述指定數據進行聚合處理，得到聚合結果；

當達到所述定時時長時，輸出所述聚合結果至所述數據分析系統。

2.根據權利要求1所述的方法，其特征在于，所述從目標數據源的初始數據中提取指定數據的步驟，包括：

從所述目標數據源中逐條讀取初始數據；

針對每條所述初始數據，從該條初始數據中提取指定數據，通過所述聚合算法將所述指定數據與預設的存儲空間中的數據進行聚合處理，得到聚合結果。

3.根據權利要求2所述的方法，其特征在于，所述指定數據包括至少一個關鍵字，以及每個所述關鍵字對應的關鍵字值；

所述通過所述聚合算法將所述指定數據與預設的存儲空間中的數據進行聚合處理，得到聚合結果的步驟，包括：

針對每個所述關鍵字，將所述指定數據中的該關鍵字對應的關鍵字值，與所述存儲空間中該關鍵字對應的關鍵字值進行聚合處理，得到該關鍵字對應的聚合值；

將每個所述關鍵字和所述關鍵字對應的聚合值，確定為聚合結果。

4.根據權利要求1所述的方法，其特征在于，所述從目標數據源的初始數據中提取指定數據的步驟，包括：從所述目標數據源中逐條讀取初始數據；針對每條所述初始數據，從該條初始數據中提取指定數據，將所述指定數據存入指定的存儲空間中；

所述輸出所述聚合結果至所述數據分析系統的步驟之前，所述方法還包括：當達到所述定時時長時，通過所述聚合算法對所述存儲空間中的指定數據進行聚合處理，得到聚合結果。

5.根據權利要求4所述的方法，其特征在于，所述指定數據包括至少一個關鍵字，以及每個所述關鍵字對應的關鍵字值；

所述通過所述聚合算法對所述存儲空間中的指定數據進行聚合處理，得到聚合結果的步驟，包括：

針對每個所述關鍵字，將所述存儲空間中的該關鍵字對應的關鍵字值，進行聚合處理，得到該關鍵字對應的聚合值；

將每個所述關鍵字和所述關鍵字對應的聚合值，確定為聚合結果。

6.根據權利要求2-5任一項所述的方法，其特征在于，輸出所述聚合結果至所述數據分析系統的步驟之后，所述方法還包括：清空所述存儲空間中的數據。

7.根據權利要求1所述的方法，其特征在于，所述目標數據源預先配置有配置文件；所述配置文件包括：所述目標數據源對應的插件的插件標識；所述插件包括順序連接的數據采集插件、數據聚合插件和數據輸出插件；

其中，所述數據采集插件用于：從所述目標數據源中讀取初始數據；

所述數據聚合插件用于：從所述初始數據中提取指定數據，通過所述聚合算法對所述指定數據進行聚合處理，得到聚合結果；

所述數據輸出插件用于：輸出所述聚合結果至所述數據分析系統。

8.根據權利要求7所述的方法，其特征在于，所述配置文件還包括所述插件的插件參數；

其中，所述數據采集插件的插件參數包括：所述目標數據源的源標識和每條所述初始數據的分隔標識符；

所述數據聚合插件的插件參數包括：所述定時時長、所述指定數據的關鍵字、所述關鍵字的關鍵字值對應的聚合算法；

所述數據輸出插件的插件參數包括：所述數據分析系統的地址信息。

9.根據權利要求7或8所述的方法，其特征在于，所述配置文件還包括：相連接的所述插件之間的數據中轉隊列的隊列標識。