[發明專利]一種基于缺失數據的預估方法及裝置

有效

• 申請號: 201611248930.4
• 申請日: 2016-12-29
• 公開（公告）號: CN106649832B
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 吳健君;劉少華
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;項京

本發明實施例公開了一種基于缺失數據的預估方法及裝置，其中預估方法為：獲取預設時間段內采集到的全部歷史數據；將預設時間段內全部歷史數據劃分到M個子時間段中；在全部子時間段中選擇一個未被選擇過的子時間段作為當前子時間段；計算當前子時間段中缺失的歷史數據的缺失密度；判斷當前子時間段中歷史數據的缺失密度是否大于預設閾值；如果否，返回在全部子時間段中選擇一個未被選擇過的子時間段作為當前子時間段的步驟；如果是，在當前子時間段中確定滿足預先設置的截斷條件的待截斷數據；根據時間先后順序，至少將待截斷數據之前的所有的數據截斷；根據全部歷史數據中剩余的歷史數據進行預估。本發明能夠有效地改善預估結果的偏差現象。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種基于缺失數據的預估方法及裝置。

背景技術

目前，互聯網已經成為人們獲取信息的重要途徑，隨著網絡數據量的不斷增加，數據挖掘和分析日趨得到關注。其中，數據分析是一種商業信息處理技術，在銀行、電信、保險、交通和零售等領域得到了廣泛的應用。通過對大量數據進行抽取、轉換、分析和模型化處理，可以預估未來一段時間內某個業務產生數據的趨勢。

時間序列分析是一種動態數據處理的統計方法。該方法基于隨機過程理論和數理統計學方法，研究隨機數據序列所遵從的統計規律。此外，該方法還可以被應用在其他預估領域，例如：入侵檢測和庫存預估等。具體地，在采用時間序列分析方法對未來一段時間內的數據進行預估之前，需要采集在預設時間段內的歷史數據。在理想情況下，在預設時間段內采集到的歷史數據是不存在缺失的，這樣就可以根據預設時間段內采集到的全部歷史數據預估未來一段時間內的數據；但是在實際情況下，在預設時間段內采集到的歷史數據是存在缺失的。現有基于缺失數據的預估方法主要包括以下兩種：

第一、當預設時間段內采集到的歷史數據存在缺失時，將預設時間段內采集到的歷史數據在最后一個缺失的歷史數據之后進行截斷；然后根據最后一個缺失的歷史數據之后的歷史數據進行預估。例如，假設預設時間段內采集到的全部歷史數據[a，b]中存在A、B和C三個缺失的歷史數據，將預設時間段內采集到的歷史數據在歷史數據C之后截斷；然后根據歷史數據C之后的歷史數據(C，b]進行預估。

第二、當預設時間段內采集到的歷史數據存在缺失時，先在各個缺失的歷史數據處進行插值，然后根據預設時間段內采集到的歷史數據和插值后的歷史數據進行預估。

在實現本發明的過程中，發明人發現現有技術中至少存在如下問題：

在現有第一種基于缺失數據的預估方法中，當最后一個缺失的歷史數據之后的歷史數據較少時，根據最后一個缺失的歷史數據之后的歷史數據進行預估會出現偏差；在現有第二種基于缺失數據的預估方法中，在各個缺失的歷史數據中直接進行插值，當預設時間段內采集到的歷史數據中缺失的歷史數據較多時，預估結果會產生嚴重的偏差現象。

發明內容

本發明實施例的目的在于提供一種基于缺失數據的預估方法及裝置，能夠有效地改善預估結果的偏差現象。

為達到上述目的，本發明實施例公開了一種基于缺失數據的預估方法，所述方法包括：

獲取預設時間段內采集到的全部歷史數據；

根據所述全部歷史數據與采集時間的對應關系，將預設時間段內所述全部歷史數據劃分到M個子時間段中，其中，所述M為大于或等于2的自然數；

在全部子時間段中選擇一個未被選擇過的子時間段作為當前子時間段；

計算所述當前子時間段中缺失的歷史數據的缺失密度；

判斷所述當前子時間段中歷史數據的缺失密度是否大于預設閾值；

如果否，返回所述在全部子時間段中選擇一個未被選擇過的子時間段作為當前子時間段的步驟；