[發明專利]低頻數據連續性確定方法和裝置

在審

• 申請號: 202011182056.5
• 申請日: 2020-10-29
• 公開（公告）號: CN112286969A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 翟振威;郭和攀;王堅;楊玉昆
• 申請（專利權）人: 廣州汽車集團股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/2458;G06F16/23
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 譚果林

本發明公開了一種低頻數據連續性確定方法和裝置，可以判斷低頻數據的連續性，計算量較小，具有較強的實用性。方法部分包括：獲取目標數據收集場景下收集的預設時段內的低頻數據；按照所述低頻數據的時間戳信號對所述低頻數據進行排序，得到第一目標低頻數據段；通過創建新字段和數據頻率標識所述第一目標低頻數據段，以得到第二目標低頻數據段，所述第二目標低頻數據段中，時間間隔為相同目標時間間隔的數據劃分在一起；從所述第二目標低頻數據段的各劃分數據段中篩選出時間間隔小于預設閾值的目標數據段；將所述目標數據段對應的數據確定為連續數據，以確定所述低頻數據中的連續數據。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種低頻數據連續性確定方法和對應的裝置。

背景技術

在許多應用場景中，該應用場景下所產生的數據通常需要利用大數據工具對數據進行分析，從而獲取所需的信息，而數據連續性會影響數據的分析處理結果。例如，是近年來興起的汽車通信領域，在車聯網應用場景下，通常是在整車設備中添加通信設備，將汽車電子元件產生的信號收集并進行網絡傳輸，發送到網絡服務器里。由于帶寬和儲存空間的影響，車聯網收集的數據頻率比整車產生的信號頻率要低很多，為低頻數據。

現有技術中，提供了一種數據缺失多重估計新方法以確定低頻數據的連續性，該算法在數據模型構建階段，利用隨機采樣原理，將缺失數據隨機抽取生成數據子集，并用優化后的貝葉斯張量分解算法進行插補，將多個插補后的誤差結果進行分析排序，最后判斷數據連續性。可見，現有技術中，在面對低頻數據下且數據字段眾多，數據量巨大，若使用時間復雜度較大的方法去估計數據缺失值，再判斷數據連續性，判斷過程的時間復雜度非隨數據大小線性變化，而需取決于缺省值的補充時間，計算量較大，導致實用性較差。

發明內容

本發明提供一種低頻數據連續性確定方法和對應裝置，以解決現有技術中連續性判定方法過于復雜，導致計算量過大、從而實用性較差的問題。

一種低頻數據連續性確定方法，包括：

獲取目標數據收集場景下收集的預設時段內的低頻數據；

按照所述低頻數據的時間戳信號對所述低頻數據進行排序，得到第一目標低頻數據段；

通過創建新字段和數據頻率標識所述第一目標低頻數據段，以得到第二目標低頻數據段，所述第二目標低頻數據段中，時間間隔為相同目標時間間隔的數據劃分在一起；

從所述第二目標低頻數據段的各劃分數據段中篩選出時間間隔小于預設閾值的目標數據段；

將所述目標數據段對應的數據確定為連續數據，以確定所述低頻數據的連續性。

進一步地，所述通過創建的新字段和數據頻率標識所述第一目標低頻數據段，以得到第二目標低頻數據段，包括：

創建所述第一目標低頻數據段中各第一字段對應的第二字段，所述第二字段的取值為對應第一字段的排序序號和數據頻率的乘積，所述第一字段為所述第一目標低頻數據段中各時間戳對應的字段；

創建所述第一目標低頻數據段中各第一字段對應的第三字段，所述第三字段的取值為對應第一字段的時間戳與對應第二字段的差；

按照所述第三字段的取值大小對所述第一目標低頻數據段中各第一字段進行排序形成待劃分數據段；

將所述待劃分數據段中所述第三字段的取值相同的所述第一字段劃分在一起，以得到所述第二目標低頻數據段。

進一步地，所述從所述第二目標低頻數據段的各劃分數據段中篩選出時間間隔小于預設閾值的目標數據段，包括：

對取值相同的所述第三字段進行分類統計，并根據取值相同的所述第三字段的統計值創建第四字段；