[發明專利]一種數據處理方法及裝置

在審

• 申請號: 201810957006.6
• 申請日: 2018-08-21
• 公開（公告）號: CN108984798A
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 李明
• 申請（專利權）人: 北京睦合達信息技術股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明實施例公開了一種數據處理方法及裝置，所述方法包括：獲取具有特定排列順序的第一異常數據向量；獲取具有所述特定排列順序的至少兩個第一參考數據向量；利用所述至少兩個第一參考數據向量對所述第一異常數據向量進行修復。

技術領域

本發明涉及大數據分析技術領域，尤其涉及一種數據處理方法及裝置。

背景技術

目前各大數據服務平臺均圍繞數據采集、數據挖掘、數據應用及數據共享，在包括環保、安全、健康等眾多領域推出產品和服務。在以車輛網相關的大數據支持與應用服務為例來說，由于數據采集的準確性受諸多因素的影響，數據異常的情況時有發生。相關技術中，為了實現異常數據的修復，通常采用線性插值法或數據點平滑處理算法。

然而，相關技術中的數據修復算法存在如下明顯的缺陷：1)算法不夠成熟，修復準確性低；2)算法執行時間長，不穩定；3)很多異常數據不能識別或識別不準確。

發明內容

本發明實施例為了有效克服現有數據修復算法的缺陷，創造性地提供一種數據處理方法及裝置。

根據本發明的第一方面，提供一種數據處理方法，所述方法包括：獲取具有特定排列順序的第一異常數據向量；獲取具有所述特定排列順序的至少兩個第一參考數據向量；利用所述至少兩個第一參考數據向量對所述第一異常數據向量進行修復。

根據本發明一實施方式，其中，利用所述至少兩個第一參考數據向量對所述第一異常數據向量進行修復，包括：確定所述第一異常數據向量中至少一個異常數據位；根據所確定的所有異常數據位省略所述第一異常數據向量中的異常數據，得到第二異常數據向量；根據所確定的所有異常數據位分別省略所述至少兩個第一參考數據向量中對應數據位的數據，得到至少兩個第二參考數據向量；針對所述至少兩個第二參考數據向量中每一個第二參考數據向量，分別確定每一個第二參考數據向量與第二異常數據向量之間的相似度；基于每一個第二參考數據向量與第二異常數據向量之間的相似度，根據所述至少兩個第一參考數據向量對所述第一異常數據向量進行修復。

根據本發明一實施方式，其中，針對所述至少兩個第二參考數據向量中每一個第二參考數據向量，分別確定每一個第二參考數據向量與第二異常數據向量之間的相似度，包括：針對所述至少兩個第二參考數據向量中每一個第二參考數據向量，分別計算每一個第二參考數據向量與第二異常數據向量之間的余弦相似度。

根據本發明一實施方式，其中，針對所述至少兩個第二參考數據向量中每一個第二參考數據向量，分別確定每一個第二參考數據向量與第二異常數據向量之間的相似度，包括：針對所述至少兩個第二參考數據向量中每一個第二參考數據向量，分別確定每一個第二參考數據向量與第二異常數據向量之間的距離；根據所確定的每一個第二參考數據向量與第二異常數據向量之間的距離，進一步確定每一個第二參考數據向量與第二異常數據向量之間的相似度。

根據本發明一實施方式，其中，基于每一個第二參考數據向量與第二異常數據向量之間的相似度，根據所述至少兩個第一參考數據向量對所述第一異常數向量進行修復，包括：針對所述第一異常數據向量中任一異常數據位，分別采用如下方式進行數據修復：根據所述異常數據位分別從所述至少兩個第一參考數據向量中獲取對應異常數據位的數據；將每一個第二參考數據向量與第二異常數據向量之間的相似度對應作為從每一個第二參考數據向量所獲取的對應異常數據位的數據的加權因子，將所有獲取的對應異常數據位的數據進行加權平均，得到加權平均值；將所述加權平均值作為對應所述第一異常數據向量對應異常數據位的修復數據來修復所述第一異常數據向量中的異常數據。

根據本發明的第二方面，還提供一種數據處理裝置，所述裝置包括：第一獲取模塊，用于獲取具有特定排列順序的第一異常數據向量；第二獲取模塊，用于獲取具有所述特定排列順序的至少兩個第一參考數據向量；數據修復模塊，用于利用所述至少兩個第一參考數據向量對所述第一異常數據向量進行修復。