[發(fā)明專利]一種水污染時(shí)序數(shù)據(jù)連續(xù)缺失值填補(bǔ)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111071555.1
• 申請(qǐng)日: 2021-09-14
• 公開（公告）號(hào): CN115809947A
• 公開（公告）日: 2023-03-17
• 發(fā)明（設(shè)計(jì)）人: 王寧;周曉磊;胡衍坤;郭思曉;康利滎;武暕;祁柏林;金繼鑫;宋春梅
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院沈陽(yáng)計(jì)算技術(shù)研究所有限公司
• 主分類號(hào): G06Q50/26
• 分類號(hào): G06Q50/26;G06N3/0442;G06N3/048;G06N3/08
• 代理公司: 沈陽(yáng)科苑專利商標(biāo)代理有限公司 21002
• 代理人: 王倩

本發(fā)明涉及一種水污染時(shí)序數(shù)據(jù)連續(xù)缺失值填補(bǔ)方法。該方法首先基于DTW算法計(jì)算存在缺失值的序列與其他完整序列之間的相似性，然后使用最相似完整序列訓(xùn)練基模型BLSA，BLSA模型融合了Bi?LSTM神經(jīng)網(wǎng)絡(luò)以及Self?attention機(jī)制，最后應(yīng)用遷移學(xué)習(xí)思想對(duì)BLSA模型進(jìn)行遷移，得到用以對(duì)缺失序列進(jìn)行填補(bǔ)的遷移模型BLSA_tr，從而實(shí)現(xiàn)水污染時(shí)序數(shù)據(jù)中連續(xù)缺失值的填補(bǔ)。該方法充分融合了Bi?LSTM模型學(xué)習(xí)時(shí)序數(shù)據(jù)的能力以及Self?attention機(jī)制突出重要特征的能力，同時(shí)DTW算法以及遷移學(xué)習(xí)為解決模型由于連續(xù)缺失值造成的學(xué)習(xí)不充分問題提供了可能。

技術(shù)領(lǐng)域

本發(fā)明屬于深度學(xué)習(xí)和遷移學(xué)習(xí)技術(shù)領(lǐng)域，具體地說是一種水污染時(shí)序數(shù)據(jù)連續(xù)缺失值填補(bǔ)方法。

背景技術(shù)

目前世界各國(guó)對(duì)于水污染問題越來越重視，如何更好的保護(hù)水環(huán)境，保障用水安全，成為亟待解決的重要問題。對(duì)于水污染相關(guān)數(shù)據(jù)進(jìn)行建模分析，在任何水環(huán)境系統(tǒng)中都具有重要意義，但是由于設(shè)備故障、日常維護(hù)、傳感器設(shè)置變化、采樣不足等原因，水污染數(shù)據(jù)中通常包含大量缺失數(shù)據(jù)，嚴(yán)重影響了相關(guān)研究的發(fā)展。因此為了確保在對(duì)水污染數(shù)據(jù)進(jìn)行建模分析中能夠達(dá)到更理想的效果，有必要對(duì)數(shù)據(jù)中存在的缺失值進(jìn)行處理，實(shí)踐證明，采用合適的方法對(duì)缺失值進(jìn)行填補(bǔ)是更有效的缺失值處理方式。

目前常用的缺失值填補(bǔ)方法主要有基于統(tǒng)計(jì)學(xué)的填補(bǔ)方法和基于算法的填補(bǔ)方法。基于統(tǒng)計(jì)學(xué)的填補(bǔ)方法主要可以分為均值填補(bǔ)，中值填補(bǔ)或者常用值填補(bǔ)，這類方法簡(jiǎn)單易行，但是往往建模效果不理性，因?yàn)榇祟惙椒ê雎粤藬?shù)據(jù)的時(shí)序和空間信息。傳統(tǒng)機(jī)器學(xué)習(xí)方法在缺失值填補(bǔ)中有著獨(dú)特的優(yōu)勢(shì)，易于建模和訓(xùn)練，并且能夠取得不錯(cuò)的效果，但是這類方法很少考慮不同但相關(guān)的數(shù)據(jù)集之間的依賴關(guān)系，因此在缺失值填補(bǔ)中會(huì)忽略掉一些重要的影響因素，從而無法達(dá)到更優(yōu)的效果。深度學(xué)習(xí)算法在實(shí)踐中取得了更好的填補(bǔ)效果，但是目前對(duì)于時(shí)序數(shù)據(jù)缺失值填補(bǔ)的研究大多是針對(duì)少量非連續(xù)缺失值的填補(bǔ)，事實(shí)上對(duì)于非連續(xù)缺失值的填補(bǔ)也更加容易，但在實(shí)際生產(chǎn)環(huán)境中，可能面臨著大量連續(xù)缺失值的情況，而當(dāng)水污染數(shù)據(jù)中存在大量連續(xù)缺失值時(shí)，目前大多數(shù)方法的填補(bǔ)效果會(huì)受到很大影響。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有水污染時(shí)序數(shù)據(jù)缺失值填補(bǔ)方法中存在的不足，本發(fā)明主要解決的技術(shù)問題是針對(duì)水污染時(shí)序數(shù)據(jù)中存在的大量連續(xù)缺失值進(jìn)行有效的填補(bǔ)。

本發(fā)明為實(shí)現(xiàn)上述目的所采用的技術(shù)方案是：

一種水污染時(shí)序數(shù)據(jù)連續(xù)缺失值填補(bǔ)方法，包括以下步驟：

1)從河流不同自動(dòng)監(jiān)測(cè)站分別獲取河流監(jiān)測(cè)數(shù)據(jù)，獲取的數(shù)據(jù)中包含連續(xù)缺失值的序列稱為目標(biāo)序列，完整序列稱為基序列；

2)對(duì)河流監(jiān)測(cè)數(shù)據(jù)進(jìn)行重采樣，并進(jìn)行歸一化處理；

3)采用DTW算法計(jì)算目標(biāo)序列與同一時(shí)間段其他基序列之間的相似性，得到與目標(biāo)序列最相似的基序列，所述最相似的基序列為經(jīng)過DTW算法計(jì)算得到的數(shù)值最小的基序列；

4)將步驟3)中得到的基序列劃分成訓(xùn)練集和測(cè)試集，并將訓(xùn)練集和測(cè)試集中的數(shù)據(jù)以滑動(dòng)窗口的方式構(gòu)造成輸入向量；

5)構(gòu)建BLSA模型，并使用輸入向量對(duì)其進(jìn)行訓(xùn)練；

6)將訓(xùn)練好的BLSA模型進(jìn)行模型遷移：凍結(jié)BLSA模型中的Bi-LSTM層，然后采用目標(biāo)序列對(duì)Self-attention層進(jìn)行二次訓(xùn)練，以對(duì)BLSA模型參數(shù)進(jìn)行調(diào)整，得到遷移后的模型BLSA_tr；

7)基于BLSA_tr模型對(duì)目標(biāo)序列中存在的連續(xù)缺失值進(jìn)行迭代估計(jì)并填補(bǔ)。

所述河流監(jiān)測(cè)數(shù)據(jù)，包括河流污染物濃度、河流水流量以及水溫?cái)?shù)據(jù)。

所述重采樣具體為：把每天不同時(shí)刻的數(shù)據(jù)按天取平均值。