[發明專利]一種數據清洗方法、裝置及存儲介質

在審

• 申請號: 202010081522.4
• 申請日: 2020-02-06
• 公開（公告）號: CN111274238A
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 洪蒙納;方主升;李繼庚
• 申請（專利權）人: 廣州博依特智能信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郭浩輝;麥小嬋

本發明公開了一種數據清洗方法、裝置及存儲介質，所述方法包括判斷原始數據曲線中第N個原始數據點是否為擬合數據曲線的第N?1個擬合數據點的增量；判斷第N+1個原始數據點是否為第N個原始數據點的增量；若是，則將第N個原始數據點描繪至擬合數據曲線；若否，判斷第N個原始數據點是否為原始數據曲線中的N?1個原始數據點的增量；判斷第N+1個原始數據點與第N個原始數據點相比是否為增量或者超過預設閾值的減量；若是，則計算得到擬合數據曲線的第N個擬合數據點的值；若否，將擬合數據曲線的第N?1個擬合數據點的值作為第N個擬合數據點的值；根據所有擬合數據點得到完整的擬合數據曲線。本發明提供的一種數據清洗方法，能夠有效提高數據清洗的效率。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據清洗方法、裝置及存儲介質。

背景技術

近年來隨著大數據技術的發展，工業大數據對企業的發展越發重要。大數據技術對企業內部可以支撐企業的經營分析，對于外部可以實現新的應用創新，為用戶帶來更多更好的服務。準確的數據可以讓平臺產生價值，例如對準確的數據進行挖掘、分析和預測，從而獲得數據的價值。如果數據一直不準確，平臺就失去了價值。目前的數據采集設備無法保證能夠穩定運行，當數據采集設備出現數據跳變等故障時，會造成獲取的數據不準確，因此需要對數據進行清洗和修正，以獲得準確的數據。

現有的數據清洗方法通常為通過指數平滑法對原始數據進行清洗和修正。指數平滑法是移動平均法中的一種，其特點在于給過去的觀測值不一樣的權重，即較近期觀測值的權數比較遠期觀測值的權數要大。根據平滑次數不同，指數平滑法分為一次指數平滑法、二次指數平滑法和三次指數平滑法等。但它們的基本思想都是：預測值是以前觀測值的加權和，且對不同的數據給予不同的權數，新數據給予較大的權數，舊數據給予較小的權數。

使用現有的技術對原始數據進行清洗和修正，存在以下問題：

算法的計算復雜度高，造成數據清洗的效率低。

發明內容

本發明實施例提供了一種數據清洗方法、裝置及存儲介質，能夠有效提高數據清洗的效率。

一方面，本發明的一個實施例提供了一種數據清洗方法，包括：

判斷原始數據曲線中第N個所述原始數據點是否為擬合數據曲線的第N-1個擬合數據點的增量，且所述增量的值在第一預設閾值范圍內；判斷第N+1個所述原始數據點是否為第N個所述原始數據點的增量；其中，N為大于等于1的正整數；

若是，則將第N個所述原始數據點進行描繪至所述擬合數據曲線，作為所述擬合數據曲線的第N個擬合數據點；

若否，判斷第N個所述原始數據點是否為所述原始數據曲線中的N-1個原始數據點的增量，且所述增量的值在第二預設閾值范圍內；判斷第N+1個所述原始數據點與第N個所述原始數據點相比是否為增量或者超過第三預設閾值的減量；

若是，則計算第N個所述數據點與第N-1個所述原始數據點的增量值，并將所述增量值與所述擬合數據曲線第N-1個擬合數據點的值進行累加，得到所述擬合數據曲線的第N個擬合數據點的值，并將所述第N個擬合數據點描繪至所述擬合數據曲線中；

若否，將所述擬合數據曲線的第N-1個擬合數據點的值作為第N個擬合數據點的值,并將所述第N個擬合數據點描繪至所述擬合數據曲線中；

根據所有所述擬合數據點得到完整的擬合數據曲線，根據所述完整的擬合數據曲線實現原始數據的清洗。

進一步地，在所述判斷第N個所述原始數據點是否為擬合數據曲線的第N-1個擬合數據點的增量，且所述增量的值在第一預設閾值范圍內；判斷第N+1個所述原始數據點是否為第N個所述原始數據點的增量之前，還包括：

根據不同的時間周期獲取不同時刻的原始數據，并根據所述原始數據生成預設時間段的原始數據曲線。