[發明專利]數據清洗方法及裝置

在審

• 申請號: 202010079670.2
• 申請日: 2020-02-04
• 公開（公告）號: CN111324600A
• 公開（公告）日: 2020-06-23
• 發明（設計）人: 鄔惠峰;孫丹楓;陳佰平
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06N3/04;G06N3/08
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 榮甜甜;臧建明

本發明提供一種數據清洗方法及裝置，方法包括：終端設備獲取檢測設備在第一采集周期內的檢測數據，并根據檢測數據的閾值范圍，對檢測數據進行數據清洗，數據清洗用于丟棄檢測數據中的無效值，檢測數據的閾值范圍由服務器指示，若數據清洗后存在可用數據，終端設備則在第一上報周期將可用數據上報給服務器。在第一更新周期，服務器根據終端設備在第一上報周期上報的可用數據，生成檢測數據的第一范圍，并將檢測數據的第一范圍發送給終端設備。通過上述方式，終端設備可以根據服務器的指示實時更新檢測數據的范圍，提高了數據清洗效果。

技術領域

本發明涉及信息技術領域，尤其涉及一種數據清洗方法及裝置。

背景技術

在進行數據采集時，傳感器通常用于采集數據并發送給邊緣網關、邊緣控制器等邊緣端，隨后由邊緣端將采集到的數據發送給服務器供用戶下載使用。由于傳感器周圍環境的影響，其采集到的數據通常包含有大量無效數據。因此，在使用傳感器采集到的數據前，還需要進行數據清洗。

在現有技術中，通常采用邊緣端處理進行數據清洗。具體的，可以將數據的清洗算法預先燒錄到邊緣端，由邊緣端通過清洗算法對傳感器采集到的數據進行數據清洗。

然而，由于邊緣端資源有限，往往無法獨自提供更新清洗算法所需要的算力。因此，現有技術中，數據的清洗算法對應的數據的閾值范圍往往是固定的，無法根據實際情況動態調整，導致現有的由邊緣端進行數據清洗的方法的清洗效果往往較差。

發明內容

本發明提供一種數據清洗方法及裝置，以解決現有技術中數據清洗的效果差的技術問題。

本發明的第一個方面提供一種數據清洗方法，應用于終端設備，所述方法包括：

獲取檢測設備在第一采集周期內的檢測數據；

根據所述檢測數據的閾值范圍，對所述檢測數據進行數據清洗，所述數據清洗用于丟棄所述檢測數據中的無效值，所述檢測數據的閾值范圍由服務器指示；

若數據清洗后存在可用數據，則在第一上報周期將所述可用數據上報給服務器。

在一種可選的實施方式中，在所述對所述檢測數據進行數據清洗之后，還包括：

若數據清洗后不存在可用數據，則對歷史可用數據進行直線插補，預測所述第一采集周期的可用數據；

在所述第一上報周期將預測的可用數據上報給服務器。

在一種可選的實施方式中，在所述在第一上報周期將所述可用數據上報給服務器之后，還包括：

接收所述服務器發送的所述檢測數據的第一范圍，所述第一范圍是根據所述第一采集周期的可用數據確定的；

根據所述第一范圍，更新所述檢測數據的閾值范圍。

本發明的第二個方面提供一種數據清洗方法，應用于服務器，所述方法包括：

接收終端設備在第一上報周期上報的可用數據，所述可用數據是所述終端設備根據檢測數據的閾值范圍，對檢測設備在第一采集周期內的檢測數據進行數據清洗后得到的，所述數據清洗用于丟棄所述檢測數據中的無效值，所述檢測數據的閾值范圍由服務器指示；

在第一更新周期，根據所述終端設備在所述第一上報周期上報的可用數據，生成所述檢測數據的第一范圍；

將所述檢測數據的第一范圍發送給所述終端設備。

在一種可選的實施方式中，在所述將所述檢測數據的閾值范圍的第一更新值發送給所述終端設備之前，還包括：

接收所述終端設備在第二上報周期上報的可用數據，所述第二上報周期晚于所述第一上報周期；

所述將所述檢測數據的第一范圍發送給所述終端設備，包括：