[發明專利]批量數據的處理方法、裝置及電子設備

在審

• 申請號: 202011596568.6
• 申請日: 2020-12-29
• 公開（公告）號: CN113761103A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 殷宏磊;趙敏;李明;詹仙園;鄭宇;霍雨森
• 申請（專利權）人: 京東城市（北京）數字科技有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張大威

1.一種批量數據的處理方法，其特征在于，包括：

獲取待處理的批量元數據；

對所述批量元數據進行解析，以確定所述批量元數據所屬的業務場景、各個元數據的采集時間及數據類型；

根據所述業務場景、各個元數據的采集時間及數據類型，確定第一數據處理模式；

基于所述第一數據處理模式，對所述批量元數據進行處理。

2.如權利要求1所述的方法，其特征在于，所述確定第一數據處理模式，包括：

確定當前的數據處理規則及各個處理規則間的執行順序。

3.如權利要求2所述的方法，其特征在于，所述數據處理規則，包括以下規則中的至少一種：格式歸一化、基于邊界限值的異常數據剔除、基于指定時間間隔的數據剔除、基于同類數據的多個監測點數據的合并、基于業務場景的異常數據剔除及基于已知數據的缺失數據填充。

4.如權利要求1-3任一所述的方法，其特征在于，所述基于所述第一數據處理模式，對所述批量元數據進行處理，包括：

對所述第一數據處理模式處理后的第一輸出數據進行偏差檢測，以確定所述第一輸出數據是否存在偏差數據；

在所述第一輸出數據中存在偏差數據的情況下，根據所述偏差數據及所述業務場景、各個元數據的采集時間及數據類型，確定第二數據處理模式；

基于所述第二數據處理模式，對所述批量元數據進行處理。

5.如權利要求1-3任一所述的方法，其特征在于，所述基于所述第一數據處理模式，對所述批量元數據進行處理，包括：

基于所述第一數據處理模式中各處理規則及執行順序，對所述批量元數據依次進行處理，以獲取每個處理規則對應的輸入數據及輸出數據；

對所述第一數據處理模式處理后的第二輸出數據進行偏差檢測，以確定所述第二輸出數據是否存在偏差數據；

在所述第二輸出數據中存在偏差數據的情況下，根據所述偏差數據及所述業務場景、各個元數據的采集時間及數據類型，確定第三數據處理模式；

在所述第三數據處理模式中前N個處理規則與所述第一數據處理模式中的前N個處理規則相同、且執行順序相同的情況下，將所述第一數據處理模式中第N個處理規則對應的輸出數據，作為所述第三數據處理模式中第N+1個處理規則的輸入數據，以完成所述第三數據處理模式對所述批量元數據的處理過程，其中，N為正整數。

6.如權利要求5所述的方法，其特征在于，在所述將所述第一數據處理模式中第N個處理規則對應的輸出數據N，作為所述第三數據處理模式中第N+1個處理規則的輸入數據之前，還包括：

以所述前N個處理規則的標識及對應的執行順序為索引，從數據庫中檢索并獲取所述第N個處理規則對應的輸出數據。

7.如權利要求5所述的方法，其特征在于，在所述完成所述第三數據處理模式對所述批量元數據的處理過程之后，還包括：

對所述第三數據處理模式處理后的第三輸出數據進行偏差檢測，以確定所述第三輸出數據是否存在偏差數據；

在所述第三輸出數據中未存在偏差數據的情況下，將數據庫中所述每個處理規則對應的輸入數據及輸出數據刪除。

8.一種批量數據的處理裝置，其特征在于，包括：

第一獲取模塊，用于獲取待處理的批量元數據；

第一確定模塊，用于對所述批量元數據進行解析，以確定所述批量元數據所屬的業務場景、各個元數據的采集時間及數據類型；

第二確定模塊，用于根據所述業務場景、各個元數據的采集時間及數據類型，確定第一數據處理模式；

第一處理模塊，用于基于所述第一數據處理模式，對所述批量元數據進行處理。

9.如權利要求8所述的裝置，其特征在于，所述第二確定模塊，包括：

第一確定單元，用于確定當前的數據處理規則及各個處理規則間的執行順序。