[發(fā)明專(zhuān)利]一種輕量級(jí)的缺失時(shí)空數(shù)據(jù)的重構(gòu)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910135946.1
• 申請(qǐng)日: 2019-02-25
• 公開(kāi)（公告）號(hào): CN109902259B
• 公開(kāi)（公告）日: 2019-10-18
• 發(fā)明（設(shè)計(jì)）人: 陸鋒;程詩(shī)奮;彭澎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院地理科學(xué)與資源研究所
• 主分類(lèi)號(hào): G06F17/16
• 分類(lèi)號(hào): G06F17/16;G06F17/18;G06N3/04;G06N3/08
• 代理公司: 北京志霖恒遠(yuǎn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11435
• 代理人: 王雨桐

本發(fā)明公開(kāi)了一種輕量級(jí)的缺失時(shí)空數(shù)據(jù)的重構(gòu)方法，整體步驟為：1、時(shí)空數(shù)據(jù)表示；把靜態(tài)參考的點(diǎn)狀數(shù)據(jù)和網(wǎng)狀數(shù)據(jù)抽象為統(tǒng)一的時(shí)空狀態(tài)矩陣來(lái)表示；2、時(shí)間維度插值；引入平均相關(guān)系數(shù)來(lái)自動(dòng)選取時(shí)間窗口以提高SES算法建模時(shí)間依賴(lài)性的能力；3、空間維度插值；分別采用基于高斯函數(shù)的恒等距離和相關(guān)性距離為每個(gè)空間鄰居賦予權(quán)重來(lái)提高IDW算法建模空間依賴(lài)性的能力；4、時(shí)空整合；引入極限學(xué)習(xí)機(jī)作為神經(jīng)網(wǎng)絡(luò)模型的學(xué)習(xí)算法，整合時(shí)空維度的估計(jì)結(jié)果得到缺失數(shù)據(jù)最終的預(yù)測(cè)值。本發(fā)明通過(guò)集成多個(gè)改進(jìn)的輕量級(jí)模型，使得重構(gòu)算法在保證計(jì)算效率的前提下，進(jìn)一步提高海量缺失時(shí)空數(shù)據(jù)的重構(gòu)精度。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)重構(gòu)方法，尤其涉及一種輕量級(jí)的缺失時(shí)空數(shù)據(jù)的重構(gòu)方法，屬于時(shí)空數(shù)據(jù)挖掘技術(shù)領(lǐng)域。

背景技術(shù)

隨著傳感器網(wǎng)絡(luò)、移動(dòng)定位技術(shù)的不斷普及和發(fā)展，數(shù)據(jù)采集與計(jì)算單元的外延不斷擴(kuò)展，地球科學(xué)經(jīng)歷了一場(chǎng)從數(shù)據(jù)貧乏領(lǐng)域到數(shù)據(jù)豐富領(lǐng)域的重大革命。這些數(shù)據(jù)在時(shí)間和空間維度不斷增長(zhǎng)，從而產(chǎn)生了海量的時(shí)空數(shù)據(jù)。盡管數(shù)據(jù)規(guī)模的逐漸擴(kuò)大使得時(shí)空數(shù)據(jù)分析的輸入信息越來(lái)越豐富，分析的結(jié)果也相應(yīng)的更加準(zhǔn)確，然而時(shí)空數(shù)據(jù)缺失依然是當(dāng)前地理空間大數(shù)據(jù)采集與挖掘面臨的普遍問(wèn)題。

有多種原因可能導(dǎo)致時(shí)空數(shù)據(jù)的缺失問(wèn)題。面向靜態(tài)參考的點(diǎn)狀數(shù)據(jù)的缺失主要來(lái)源于技術(shù)故障，例如，許多傳感器連續(xù)監(jiān)測(cè)周?chē)目諝赓|(zhì)量、水質(zhì)情況，由于系統(tǒng)斷電或者通訊故障等外部因素，使得在某一時(shí)間段內(nèi)未采集到數(shù)據(jù)，從而導(dǎo)致數(shù)據(jù)缺失情況。面向靜態(tài)參考的網(wǎng)狀數(shù)據(jù)的缺失則與其時(shí)空分布密切相關(guān)。以城市交通數(shù)據(jù)為例，線圈傳感器通過(guò)對(duì)城市路網(wǎng)持續(xù)觀測(cè)，以獲取道路網(wǎng)絡(luò)的交通運(yùn)行狀態(tài)，例如道路片段的速度、流量；由于其設(shè)備昂貴，主要布設(shè)在城市主路(如高速公路)，使得較低級(jí)別的路段的交通條件數(shù)據(jù)無(wú)法獲取，從而導(dǎo)致數(shù)據(jù)缺失的問(wèn)題。

對(duì)于靜態(tài)參考的點(diǎn)狀數(shù)據(jù)和網(wǎng)狀數(shù)據(jù)的缺失問(wèn)題，目前存在的解決方案可以粗略的分為機(jī)器學(xué)習(xí)方法和統(tǒng)計(jì)方法。前者通常需要構(gòu)建求解的目標(biāo)函數(shù)，采用梯度下降等數(shù)值計(jì)算方法迭代訓(xùn)練模型以達(dá)到最優(yōu)的重構(gòu)精度；而后者通常也需要逐點(diǎn)求解偏微分方程組來(lái)計(jì)算插值樣本最優(yōu)權(quán)重。這些方法由于建模的復(fù)雜性使得計(jì)算效率難以得到保證，并且隨著時(shí)空數(shù)據(jù)不斷地積累，重構(gòu)精度和計(jì)算效率之間的矛盾會(huì)變得更加尖銳。因此，有必要探索新的策略來(lái)解決這一問(wèn)題。

針對(duì)模型計(jì)算效率的提升，可以有兩種改進(jìn)方式：1)針對(duì)模型本身的改進(jìn)，例如采用并行處理技術(shù)構(gòu)造局部的插值模型或在模型計(jì)算過(guò)程中增加優(yōu)化策略；2)構(gòu)造新的方法，即采用經(jīng)典的一個(gè)或多個(gè)輕量級(jí)的模型，例如經(jīng)典的反向距離權(quán)重和簡(jiǎn)單指數(shù)平滑算法。考慮到并行處理技術(shù)需要集群計(jì)算環(huán)境，普通用戶(hù)通常難以操作；而輕量級(jí)模型在插值過(guò)程中只需簡(jiǎn)單的確定權(quán)重函數(shù)，例如反向距離權(quán)重算法通過(guò)計(jì)算空間位置之間的反向距離來(lái)確定權(quán)重，其內(nèi)存和計(jì)算時(shí)間可以滿(mǎn)足實(shí)際應(yīng)用的需求。但是，現(xiàn)有的輕量級(jí)模型通常建模過(guò)于簡(jiǎn)單，無(wú)法刻畫(huà)復(fù)雜的地理過(guò)程，因此直接集成難以滿(mǎn)足重構(gòu)精度的要求。此外，集成策略的選取，對(duì)模型的訓(xùn)練時(shí)間和重構(gòu)精度也會(huì)帶來(lái)影響。下面將從空間插值算法、時(shí)間插值算法以及集成策略選擇方面進(jìn)一步分析。

在空間維度，反向距離權(quán)重算法的插值精度依賴(lài)合適的權(quán)重函數(shù)。它遵從地理學(xué)第一定律，利用觀測(cè)樣本空間位置之間的歐幾里得距離來(lái)度量空間相關(guān)性，距離越近則越相似。然而，由于空間異質(zhì)性的存在，不同的地理單元存在差異性的變化模式，因此單純使用距離難以精確的刻畫(huà)空間依賴(lài)性。此外，基于歐幾里得的度量方式，通常只適用于具有確切地理位置的空間對(duì)象，如靜態(tài)參考的點(diǎn)狀數(shù)據(jù)。而針對(duì)靜態(tài)參考的網(wǎng)狀數(shù)據(jù)，如道路網(wǎng)絡(luò)，由于每個(gè)道路片段的空間坐標(biāo)難以確定，直接采用道路片段中點(diǎn)位置之間的距離通常會(huì)造成空間距離的不合理估計(jì)。因此，現(xiàn)有方法通常采用多種策略改進(jìn)歐幾里得距離來(lái)刻畫(huà)空間相關(guān)性，例如采用道路網(wǎng)絡(luò)距離、引入道路的通行時(shí)間等。然而，這些方法更多的追求重構(gòu)精度上的提升，改進(jìn)的距離度量算法由于計(jì)算復(fù)雜性依然難以滿(mǎn)足效率方面的要求，并且距離的度量通常忽略了地理過(guò)程的時(shí)空模式的變化。