[發(fā)明專利]基于GIS的海量統(tǒng)計(jì)數(shù)據(jù)的空間奇異點(diǎn)發(fā)掘方法

有效

• 申請?zhí)枺?/td>: 201410020649.X
• 申請日: 2014-01-16
• 公開（公告）號: CN103853817A
• 公開（公告）日: 2014-06-11
• 發(fā)明（設(shè)計(jì)）人: 孫永華;李小娟;王彥兵;楊燦坤;連健
• 申請（專利權(quán)）人: 首都師范大學(xué)
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京市盛峰律師事務(wù)所 11337
• 代理人: 趙建剛

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及一種基于GIS的海量統(tǒng)計(jì)數(shù)據(jù)的空間奇異點(diǎn)發(fā)掘方法。

背景技術(shù)

近年來，隨著計(jì)算機(jī)技術(shù)的迅速發(fā)展以及廣泛應(yīng)用，人們積累的數(shù)據(jù)越來越多，海量統(tǒng)計(jì)數(shù)據(jù)是管理層越來越多面臨的問題，奇異點(diǎn)檢測更成為一大難題。

海量統(tǒng)計(jì)數(shù)據(jù)具有覆蓋面廣、信息量大的特點(diǎn)，傳統(tǒng)上，人們處理海量統(tǒng)計(jì)信息數(shù)據(jù)并從中挖掘有用的知識的技術(shù)和手段相對卻非常貧乏和軟弱。

奇異點(diǎn)是指樣本中的一個(gè)或幾個(gè)距離其他觀測值較遠(yuǎn)的觀測值，暗示這些奇異點(diǎn)可能來自不同的總體。奇異點(diǎn)不同于鄰近域?qū)傩灾档哪繕?biāo)對象是由某種特有的機(jī)制產(chǎn)生的，因此，奇異點(diǎn)的識別能夠?qū)е潞芏嘤幸饬x知識的發(fā)掘。從空間意義上來說，發(fā)現(xiàn)局部異常對象是極其重要的，空間奇異點(diǎn)就是在空間上非空間屬性顯著不同于空間鄰近域的目標(biāo)對象。有些情況下，空間奇異點(diǎn)在整個(gè)數(shù)據(jù)集合上并不是那么顯著地，但是對于局部而言就是一個(gè)非常不穩(wěn)定點(diǎn)，所以，及時(shí)準(zhǔn)確的查找空間奇異點(diǎn)具有重要意義。

傳統(tǒng)的空間奇異點(diǎn)查找方法主要有大量觀察法、統(tǒng)計(jì)分組法、綜合分析法、統(tǒng)計(jì)模型法和歸納推斷法等。但是，上述幾類查找方法普遍具有查找效率慢的不足，難以從海量空間數(shù)據(jù)中快速準(zhǔn)確的查找到空間奇異點(diǎn)數(shù)據(jù)。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)存在的缺陷，本發(fā)明提供一種基于GIS的海量統(tǒng)計(jì)數(shù)據(jù)的空間奇異點(diǎn)發(fā)掘方法，將GIS技術(shù)與空間統(tǒng)計(jì)分析方法結(jié)合起來，能夠從海量空間數(shù)據(jù)中快速準(zhǔn)確的查找到空間奇異點(diǎn)數(shù)據(jù)。

本發(fā)明采用的技術(shù)方案如下：

本發(fā)明提供一種基于GIS的海量統(tǒng)計(jì)數(shù)據(jù)的空間奇異點(diǎn)發(fā)掘方法，包括以下步驟：

S1，讀取GIS數(shù)據(jù)庫中已存儲的空間數(shù)據(jù)集；

S2，對所述空間數(shù)據(jù)集中各個(gè)空間數(shù)據(jù)的分布情況進(jìn)行分析，判斷所述各個(gè)空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求，如果判斷結(jié)果為否，則執(zhí)行S3；如果判斷結(jié)果為是，則直接執(zhí)行S4；

S3，將每一個(gè)所述空間數(shù)據(jù)分別進(jìn)行對數(shù)變換，得到變換后的空間數(shù)據(jù)；并進(jìn)一步判斷各個(gè)所述變換后的空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求，如果判斷結(jié)果為否，則丟棄各個(gè)所述變換后的空間數(shù)據(jù)，結(jié)束流程；如果判斷結(jié)果為是，則執(zhí)行S4；

S4，對各個(gè)所述空間數(shù)據(jù)進(jìn)行全局奇異點(diǎn)查找，直到符合查找結(jié)束條件時(shí)，結(jié)束流程；或，對各個(gè)所述空間數(shù)據(jù)進(jìn)行局部奇異點(diǎn)查找，直到符合查找結(jié)束條件時(shí)，結(jié)束流程。

優(yōu)選的，S1之前，還包括：利用相應(yīng)的GIS軟件對已有的地圖數(shù)據(jù)進(jìn)行數(shù)字化處理，制成一幅數(shù)字化地圖，然后通過讀取該數(shù)字化地圖，獲得所述空間數(shù)據(jù)集，再將所述空間數(shù)據(jù)集存儲到GIS數(shù)據(jù)庫中。

優(yōu)選的，S2中，判斷所述各個(gè)空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求具體為：

通過頻度直方圖和/或QQPlot圖驗(yàn)證所述各個(gè)空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求。

優(yōu)選的，通過頻度直方圖驗(yàn)證所述各個(gè)空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求具體為：

通過頻度直方圖描述空間數(shù)據(jù)的單變量的特征，通過分析頻度直方圖的形狀、分布、峰度因素，驗(yàn)證所述各個(gè)空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求；

通過QQPlot圖驗(yàn)證所述各個(gè)空間數(shù)據(jù)的分布情況是否符合正態(tài)分布要求具體為:

將待分析的空間數(shù)據(jù)集中各個(gè)空間數(shù)據(jù)排序后的累積分布圖經(jīng)過轉(zhuǎn)換后，得到QQPlot圖，如果QQPlot圖中各空間數(shù)據(jù)的連線趨于一條直線，則說明空間數(shù)據(jù)集中各個(gè)空間數(shù)據(jù)的分布情況符合正態(tài)分布要求。

優(yōu)選的，S4中，對各個(gè)所述空間數(shù)據(jù)進(jìn)行全局奇異點(diǎn)查找具體為：

通過頻度直方圖、熵值方法或聚類方法生成的Voronoi圖對各個(gè)所述空間數(shù)據(jù)進(jìn)行全局奇異點(diǎn)查找。

優(yōu)選的，S4中，對各個(gè)所述空間數(shù)據(jù)進(jìn)行局部奇異點(diǎn)查找具體為：

通過變異理論分析工具和/或正態(tài)QQPlot圖對各個(gè)所述空間數(shù)據(jù)進(jìn)行局部奇異點(diǎn)查找。

優(yōu)選的，所述變異理論分析工具為協(xié)方差點(diǎn)云圖或半變異點(diǎn)云圖。

本發(fā)明的有益效果如下：

本發(fā)明提供一種基于GIS的海量統(tǒng)計(jì)數(shù)據(jù)的空間奇異點(diǎn)發(fā)掘方法，將GIS技術(shù)與空間統(tǒng)計(jì)分析方法結(jié)合起來，能夠從海量空間數(shù)據(jù)中快速準(zhǔn)確的查找到空間奇異點(diǎn)數(shù)據(jù)。

附圖說明

圖1為本發(fā)明提供的基于GIS的海量統(tǒng)計(jì)數(shù)據(jù)的空間奇異點(diǎn)發(fā)掘方法的流程示意圖；

圖2為頻度直方圖展現(xiàn)的整個(gè)數(shù)據(jù)集值分布狀況的一個(gè)圖示意圖；