[發(fā)明專利]一種數(shù)據(jù)清洗方法和裝置

在審

• 申請?zhí)枺?/td>: 202010905695.3
• 申請日: 2020-09-01
• 公開（公告）號: CN112069161A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設計）人: 葉楠;周羲和;惠新標
• 申請（專利權）人: 上海佰貝科技發(fā)展股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 謝緒寧;薛赟

本申請涉及一種數(shù)據(jù)清洗方法和裝置，方法包括獲取多個歸屬于同一場景下的第一數(shù)字信號信息，這些第一數(shù)字信號信息分別來自一個或者多個信息采集端的一個或者多個輪詢區(qū)間；對每第一數(shù)字信號信息進行解析，得到待清洗數(shù)據(jù)群信息，待清洗數(shù)據(jù)群信息中包含多個第二信號信息，至少有一個第二信號信息的頻率特征與其他第二信號信息的頻率特征是不同的；取根據(jù)場景構建的清洗規(guī)則信息以及根據(jù)清洗規(guī)則信息對待清洗數(shù)據(jù)群信息進行清洗，得到結(jié)果數(shù)據(jù)群信息，結(jié)果數(shù)據(jù)群信息中包含一個或者多個第二信號信息。本申請用于物聯(lián)網(wǎng)數(shù)據(jù)的清洗，有助于提高清洗效果。

技術領域

本申請涉及數(shù)據(jù)處理的技術領域，尤其是涉及一種數(shù)據(jù)清洗方法和裝置。

背景技術

傳統(tǒng)的大數(shù)據(jù)采集數(shù)據(jù)的時候，數(shù)據(jù)來自于人工數(shù)據(jù)，清洗時需要處理的問題主要是數(shù)據(jù)的失效和錯漏，而物聯(lián)網(wǎng)數(shù)據(jù)有數(shù)據(jù)采集于自然狀況，混合有噪聲及線性或非線性失真。傳統(tǒng)的數(shù)據(jù)清洗方法主要是基于統(tǒng)計模型，針對人工數(shù)據(jù)可行，但是并不適用于物聯(lián)網(wǎng)數(shù)據(jù)的清洗。

發(fā)明內(nèi)容

本申請?zhí)峁┮环N數(shù)據(jù)清洗方法和裝置，有助于提高對物聯(lián)網(wǎng)數(shù)據(jù)的清洗效果。

本申請的上述目的是通過以下技術方案得以實現(xiàn)的：

第一方面，本申請?zhí)峁┝艘环N數(shù)據(jù)清洗方法，包括：

獲取多個歸屬于同一場景下的第一數(shù)字信號信息，這些第一數(shù)字信號信息分別來自一個或者多個信息采集端的一個或者多個輪詢區(qū)間；

對每第一數(shù)字信號信息進行解析，得到待清洗數(shù)據(jù)群信息，待清洗數(shù)據(jù)群信息中包含多個第二信號信息，至少有一個第二信號信息的頻率特征與其他第二信號信息的頻率特征是不同的；

獲取根據(jù)場景構建的清洗規(guī)則信息；以及

根據(jù)清洗規(guī)則信息對待清洗數(shù)據(jù)群信息進行清洗，得到結(jié)果數(shù)據(jù)群信息，結(jié)果數(shù)據(jù)群信息中包含一個或者多個第二信號信息。

通過采用上述技術方案，將第一數(shù)字信號轉(zhuǎn)換為以頻率特征為基礎的第二信號，然后根據(jù)清洗規(guī)則進行清洗，相比于基于統(tǒng)計模型的篩選方式，這種篩選方式可以迅速確定所需要的數(shù)據(jù)。

在第一方面的一種可能的實現(xiàn)方式中，對清洗數(shù)據(jù)群信息進行多次清洗，每次使用的清洗規(guī)則信息是不同的。

通過采用上述技術方案，使用多次清洗的方式對獲取到第一數(shù)字信號信息進行清洗，這種清洗方式可以根據(jù)實際的清洗需求制定合適的清洗規(guī)則，得到所需要的數(shù)據(jù)。

在第一方面的一種可能的實現(xiàn)方式中，對于屬于同一場景下的來自不同信號采集端的第二信號信息，通過其在時間域、空間域和/或頻率域上的關聯(lián)性進行清洗。

通過采用上述技術方案，可以通過在時間、空間和頻率上的關聯(lián)性對第二信號信息進行清洗，清洗規(guī)則更加的多樣化，有助于提高清洗效果。

在第一方面的一種可能的實現(xiàn)方式中，對于屬于同一場景下的來自相同信號采集端的第二信號信息，通過其在時間域、空間域和/或頻率域上的關聯(lián)性進行清洗。

通過采用上述技術方案，可以通過在時間、空間和頻率上的關聯(lián)性對第二信號信息進行清洗，清洗規(guī)則更加的多樣化，有助于提高清洗效果。

在第一方面的一種可能的實現(xiàn)方式中，所述清洗的方式包括去除和/或范圍選擇。

通過采用上述技術方案，可以將需要的第二信號信息挑出來或者將不用的第二信號信息去除，清洗的方式更加靈活。

在第一方面的一種可能的實現(xiàn)方式中，所述清洗規(guī)則信息包括噪聲模型信息、干擾模型信息和/或期望信號模型信息。

通過采用上述技術方案，將清洗規(guī)則進行了模塊化處理，方便根據(jù)實際的需求進行定制。