[發明專利]一種數據處理的方法和裝置

有效

• 申請號: 201810426890.0
• 申請日: 2018-05-07
• 公開（公告）號: CN108829718B
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 周葳
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種數據處理的方法，其特征在于，應用于數據傳遞過程中、且應用在數據分析過程之前，包括：

在需要進行數據傳遞時，確定待處理的數據指標；

獲取所述數據指標的歷史數據；

依據所述歷史數據，確定所述數據指標的預測值；

當采集到所述數據指標的實際值時，計算所述實際值與所述預測值之間的差值；所述數據指標的實際值經過數據計算腳本對原始的數據進行處理或統計后得到；

若所述差值未超過預設閾值，則判定所述實際值為有效數據；并傳遞給數據使用方，以使數據使用方利用有效數據進行數據分析；

其中，所述方法還包括：

若所述差值超過所述預設閾值，則對數據計算腳本進行糾錯處理；

采用糾錯后的數據計算腳本重新計算所述數據指標的實際值，將重新計算的所述實際值確定為有效數據，并傳遞給數據使用方，以使數據使用方利用有效數據進行數據分析；

其中，所述依據所述歷史數據，確定所述數據指標的預測值的步驟包括：

根據所述歷史數據，生成針對所述數據指標的預測模型；

采用所述預測模型，計算所述數據指標的預測值。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述數據指標的歷史數據的步驟包括：

確定歷史數據的采集周期；

獲取所述數據指標在所述采集周期內的歷史數據。

3.根據權利要求1所述的方法，其特征在于，所述根據所述歷史數據，生成針對所述數據指標的預測模型的步驟包括：

設置默認回歸參數值；

通過改變所述默認回歸參數值，對預置的自回歸模型進行訓練，使得對所述歷史數據的預測誤差小于第二預設閾值，以生成預測模型。

4.一種數據處理的裝置，其特征在于，應用于數據傳遞過程中、且應用在數據分析過程之前，包括：

數據指標確定模塊，用于在需要進行數據傳遞時，確定待處理的數據指標；

歷史數據獲取模塊，用于獲取所述數據指標的歷史數據；

預測值確定模塊，用于依據所述歷史數據，確定所述數據指標的預測值；

差值計算模塊，用于在采集到所述數據指標的實際值時，計算所述實際值與所述預測值之間的差值；所述數據指標的實際值經過數據計算腳本對原始的數據進行處理或統計后得到；

有效數據判定模塊，用于若所述差值未超過預設閾值，則判定所述實際值為有效數據，并傳遞給數據使用方，以使數據使用方利用有效數據進行數據分析；

其中，所述裝置還包括：

糾錯處理模塊，用于若所述差值超過所述預設閾值，則對數據計算腳本進行糾錯處理；

實際值計算模塊，用于采用糾錯后的數據計算腳本重新計算所述數據指標的實際值，將重新計算的所述實際值確定為有效數據，并傳遞給數據使用方，以使數據使用方利用有效數據進行數據分析；

其中，所述預測值確定模塊包括：

預測模型生成子模塊，用于根據所述歷史數據，生成針對所述數據指標的預測模型；

預測值計算子模塊，用于采用所述預測模型，計算所述數據指標的預測值。

5.根據權利要求4所述的裝置，其特征在于，所述歷史數據獲取模塊包括：

采集周期確定子模塊，用于確定歷史數據的采集周期；

歷史數據獲取子模塊，用于獲取所述數據指標在所述采集周期內的歷史數據。

6.根據權利要求4所述的裝置，其特征在于，所述預測模型生成子模塊包括：

回歸參數值設置單元，用于設置默認回歸參數值；

自回歸模型訓練單元，用于通過改變所述默認回歸參數值，對預置的自回歸模型進行訓練，使得對所述歷史數據的預測誤差小于第二預設閾值，以生成預測模型。