[發明專利]一種基于低秩矩陣完備化的空氣質量數據恢復方法

在審

• 申請號: 201811405658.5
• 申請日: 2018-11-23
• 公開（公告）號: CN109684601A
• 公開（公告）日: 2019-04-26
• 發明（設計）人: 劉小峰;鄒朗;蔣愛民
• 申請（專利權）人: 河海大學常州校區
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06F16/215
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 丁濤

本發明公開了一種基于低秩矩陣完備化的空氣質量數據恢復方法，所述步驟如下：(1)大氣污染物時間序列數據清洗；(2)建立低秩矩陣恢復的數學最優化模型；(3)求解數學模型，恢復數據。本發明提供的空氣質量數據恢復方法，充分利用監測站節點之間數據的高相關性與局部差異性，可一次性高效恢復全部數據，尤其在連續缺失較多數據的條件下，恢復精度十分可觀。

技術領域

本發明涉及一種基于低秩矩陣完備化的空氣質量數據恢復方法，屬于城市大氣污染監測與防治技術領域。

背景技術

空氣質量數據恢復是將大氣污染物監測站采集過程中出現的缺失記錄、無效記錄的時間序列數據進行高精度填補，在大氣污染實時監測預測、重污染防治等環境工程中具有重要鋪墊作用。

城市大氣污染物時間序列數據的變化涉及到時空復雜的物理化學過程，針對由于監測設備的不可抗力因素而導致的部分數據丟失的問題，常用的填補恢復方法包括插值與填補，例如K近鄰、樣條插值、EM、譜方法等。插值方法難以應對數據的不平穩性，尤其缺失數據較多的情況表現較差；已有填補方法，大多具有計算復雜的特征，往往不被選取使用。

發明內容

發明目的：為了克服現有方法的不足，本發明利用城市間各個監測站具有很高的相關性，同時考慮到監測站之間具有一定的局部差異性，提供了一種基于低秩矩陣完備化的空氣質量數據填補恢復方法。通過建立矩陣分解的數學模型，將數據恢復轉化為帶約束的最小優化問題，使用交替方向梯度下降法迭代求解出需要恢復的數據。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種基于低秩矩陣完備化的空氣質量數據恢復方法，所述步驟如下：

(1)、大氣污染物時間序列數據清洗；

(2)、建立低秩矩陣恢復的數學最優化模型；

(3)、利用交替方向乘子法求解數學模型，恢復數據。

上述步驟(1)中的數據清洗包括如下步驟：

(a1)、對于每個監測節點的某污染物時間序列數據，將無效記錄與空記錄替換為None，作為缺失標記；

(a2)、將步驟(a1)中清洗完成的時間序列數據按行組成原始不完備二維矩陣D；

(a3)、構造一個標記數據缺失與否的矩陣M，缺失位置的值設為0，有效位置的值設為1，矩陣M的維度與矩陣D相同；

上述步驟(3)中建立低秩矩陣恢復的數學最優化模型包括如下步驟：

(b1)、將矩陣D中每個None值替換為所在行的非None值的算術均值μ，完成矩陣D的初始完備化。

(b2)、定義矩陣A、E、Y，維度均與矩陣D相同；A為低秩矩陣，E為稀疏矩陣，Y為拉格朗日矩陣乘子；

(b3)、建立如下數學模型:

argmin_A,E L(A,E,Y)＝||A||_*+λ·||MoE||₁+Yo(D-A-E)+ρ/2·||Mo(D-A-E)||_p²。

其中，λ為稀疏懲罰因子，ρ為增廣拉格朗日乘子，o表示內積，||||_*表示矩陣核范數，||||₁表示矩陣1范數，||||_p表示矩陣p范數。

上述步驟(3)中求解數學模型包括如下步驟：

(c1)、設定參數λ，ρ，初始化矩陣A，E，Y；

(c2)、保持E，Y變量不變，求解argmin_A L(A|E,Y),更新矩陣A；