[發(fā)明專利]時間序列數(shù)據(jù)的補(bǔ)全方法、裝置及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201811192133.8
• 申請日: 2018-10-12
• 公開（公告）號: CN109460398B
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計）人: 傅思穎;游延筠;夏天松;柳林;唐紅
• 申請（專利權(quán)）人: 深圳綠米聯(lián)創(chuàng)科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2458
• 代理公司: 深圳市智圈知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44351
• 代理人: 呂靜

本發(fā)明公開了一種時間序列數(shù)據(jù)的補(bǔ)全方法、裝置及電子設(shè)備，該方法包括：將采集的數(shù)據(jù)按照設(shè)定格式構(gòu)建數(shù)據(jù)集，所述數(shù)據(jù)集至少包含一個系列的數(shù)據(jù)；將每個系列需補(bǔ)全的時間點插入所述數(shù)據(jù)集中；將插入時間點的數(shù)據(jù)集按照系列進(jìn)行重新分區(qū)，將同一個系列的數(shù)據(jù)放入同一個分區(qū)內(nèi)；對分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行排序得到數(shù)據(jù)列表；分別對分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行遍歷，補(bǔ)全數(shù)據(jù)。本方法在分布式的計算框架下，對缺失的時間序列數(shù)據(jù)進(jìn)行向前補(bǔ)全或者是向后補(bǔ)全，在進(jìn)行數(shù)據(jù)補(bǔ)全的時候只需要少量的變量經(jīng)過一次遍歷就可以完成數(shù)據(jù)補(bǔ)全。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，更具體地，涉及一種時間序列數(shù)據(jù)的補(bǔ)全方法、裝置及電子設(shè)備。

背景技術(shù)

隨著計算機(jī)科學(xué)技術(shù)、互聯(lián)網(wǎng)技術(shù)以及物聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，出現(xiàn)信息量爆增的現(xiàn)象，從中找到有用信息的難度也日益增大，而在一臺服務(wù)器中處理所有需要的數(shù)據(jù)也變得越來越困難，分布式計算框架的出現(xiàn)恰好解決了這個問題，使得數(shù)據(jù)可以分布不同的服務(wù)器中，并行的進(jìn)行處理，如此解決了單臺服務(wù)器的性能瓶頸。

時間序列是指將同一指標(biāo)的數(shù)值按其發(fā)生的時間先后順序排列而成的數(shù)列，其大量存在于人類社會和自然界中，例如金融數(shù)據(jù)時間序列、交通時間序列以及物聯(lián)網(wǎng)中傳感器數(shù)據(jù)時間序列等。時間序列相似性能夠?qū)ふ彝愵I(lǐng)域諸多相似的時間序列，從而為物理現(xiàn)象和社會現(xiàn)象的分析提供極有利的數(shù)據(jù)。

目前的時間序列相似性方法主要針對沒有缺失數(shù)據(jù)的情況，但是在實際場景的應(yīng)用中，無法確保每個時刻都有數(shù)據(jù)。例如，在物聯(lián)網(wǎng)的應(yīng)用中，可能會存在多個設(shè)備，而每個設(shè)備的采樣時間不能確保完全相同，如果以其中一個設(shè)備的采樣時間為基準(zhǔn)來分析其他設(shè)備，會導(dǎo)致時間序列有大量的缺失值。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提出了一種時間序列數(shù)據(jù)的補(bǔ)全方法、裝置及電子設(shè)備，以解決上述問題。

第一方面，本發(fā)明實施例提供了一種時間序列數(shù)據(jù)的補(bǔ)全方法，該方法包括：將采集的數(shù)據(jù)按照設(shè)定的格式構(gòu)建數(shù)據(jù)集，且這個數(shù)據(jù)集中至少包括一個系列數(shù)據(jù)；將每個系列需補(bǔ)全的時間點插入到這個數(shù)據(jù)集中；將插入時間點的數(shù)據(jù)集按照系列進(jìn)行重新分區(qū)，將同一個系列的數(shù)據(jù)放入同一個分區(qū)內(nèi)；對各分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行排序得到數(shù)據(jù)列表；分別對分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行遍歷，補(bǔ)全數(shù)據(jù)。

第二方面，本發(fā)明實施例提供了一種基于時間序列的缺失數(shù)據(jù)補(bǔ)全方法的裝置，該裝置包括構(gòu)建模塊、插入模塊、分區(qū)模塊、排序模塊及遍歷模塊。其中構(gòu)建模塊，用于將采集的數(shù)據(jù)按照設(shè)定格式構(gòu)建數(shù)據(jù)集，所述數(shù)據(jù)集中至少包括一個系列的數(shù)據(jù)。插入模塊，用于將每個系列需補(bǔ)全的時間點插入所述數(shù)據(jù)集中。分區(qū)模塊，用于將插入時間點數(shù)據(jù)集按照系列進(jìn)行重新分區(qū)，將同一個系列的數(shù)據(jù)放入同一個分區(qū)內(nèi)。排序模塊，用于對分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行排序得到數(shù)據(jù)列表。遍歷模塊，用于分別對分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行遍歷，補(bǔ)全數(shù)據(jù)。

第三方面，本發(fā)明實施例提供了一種電子設(shè)備，該電子設(shè)備包括：一個或多個處理器；存儲器，用于存儲一個或多個程序；一個或多個應(yīng)用程序。其中所述一個或多個應(yīng)用程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執(zhí)行，所述一個或多個程序配置用于執(zhí)行本申請任意實施例提供的時間序列數(shù)據(jù)的補(bǔ)全的方法。

第四方面，本發(fā)明實施例提供了一種計算機(jī)可讀取存儲介質(zhì)，計算機(jī)可讀存儲介質(zhì)中存儲有程序代碼，所述程序代碼可被處理器調(diào)用執(zhí)行本申請任意實施例提供的時間序列數(shù)據(jù)的補(bǔ)全方法。

相對于現(xiàn)有技術(shù)，本發(fā)明實施例提供的一種時間序列數(shù)據(jù)的補(bǔ)全方法、裝置、電子設(shè)備及可讀取存儲介質(zhì)，通過將采集的數(shù)據(jù)按照設(shè)定的格式構(gòu)建數(shù)據(jù)集；將每個系列需補(bǔ)全的時間點插入到這個數(shù)據(jù)集中；將插入時間點的數(shù)據(jù)集按照系列進(jìn)行重新分區(qū)，將同一個系列的數(shù)據(jù)放入同一個分區(qū)內(nèi)；對各分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行排序得到數(shù)據(jù)列表；分別對分區(qū)內(nèi)的數(shù)據(jù)進(jìn)行遍歷，補(bǔ)全數(shù)據(jù)，這種方式下，人們通過遍歷數(shù)據(jù)集，可快速有效的獲取到分布式環(huán)境下所有需要補(bǔ)全的數(shù)據(jù)，同時在取得較好補(bǔ)全效果的時候，本方法的可解釋性較強(qiáng)，背后的物理含義較為清晰，因此還可以在該方法的基礎(chǔ)上進(jìn)行較多的擴(kuò)展。