[發(fā)明專利]一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010599731.8
• 申請(qǐng)日: 2020-06-28
• 公開（公告）號(hào): CN111831657A
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計(jì)）人: 程寶銀;徐益峰;周醉;董召輝;王明輝;張蒙
• 申請(qǐng)（專利權(quán)）人: 蘇州市測(cè)繪院有限責(zé)任公司
• 主分類號(hào): G06F16/22
• 分類號(hào): G06F16/22;G06F16/2458;G06F16/28;G06N3/04;G01C5/00
• 代理公司: 合肥律眾知識(shí)產(chǎn)權(quán)代理有限公司 34147
• 代理人: 侯克邦

1.一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，包括以下步驟：

S1：對(duì)原始數(shù)據(jù)的獲取，獲取后的數(shù)據(jù)通過處理器寫入，通過存儲(chǔ)器進(jìn)行存儲(chǔ)；

S2：對(duì)獲取后的數(shù)據(jù)進(jìn)行自動(dòng)計(jì)算，獲取的數(shù)據(jù)進(jìn)行處理，按照時(shí)間節(jié)點(diǎn)進(jìn)行數(shù)據(jù)的篩選，設(shè)置檢索模塊，對(duì)數(shù)據(jù)進(jìn)行檢索，檢索后的數(shù)據(jù)進(jìn)行加工、變換和傳輸；

S3：通過錄入的檢測(cè)高程對(duì)比，進(jìn)行數(shù)據(jù)的實(shí)時(shí)分析，通過分布式計(jì)算架構(gòu)對(duì)獲取的數(shù)據(jù)進(jìn)行轉(zhuǎn)換，對(duì)轉(zhuǎn)換后的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析；

S4：對(duì)采集的水準(zhǔn)數(shù)據(jù)進(jìn)行正確性的預(yù)警，通過聚類的K-Means、用于統(tǒng)計(jì)學(xué)習(xí)的SVM和用于分類的Naive Bayes進(jìn)行數(shù)據(jù)分析，使用的工具有HadoopMahout，用于對(duì)數(shù)據(jù)的預(yù)測(cè)。

2.根據(jù)權(quán)利要求1所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：所述處理器與存儲(chǔ)器耦合，所述存儲(chǔ)器耦合有加速器，處理器用于對(duì)加速器的控制。

3.根據(jù)權(quán)利要求2所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：所述數(shù)據(jù)的采集和獲取是利用數(shù)據(jù)庫MySQL和Oracle存儲(chǔ)數(shù)據(jù)，且Redis和MongoDB的NoSQL數(shù)據(jù)庫用于數(shù)據(jù)的采集。

4.根據(jù)權(quán)利要求3所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：所述統(tǒng)計(jì)與分析利用分布式計(jì)算集群來對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總，在進(jìn)行實(shí)時(shí)分析時(shí)采用EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存儲(chǔ)Infobright。

5.根據(jù)權(quán)利要求4所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：對(duì)數(shù)據(jù)進(jìn)行離中趨勢(shì)分析，離中趨勢(shì)分析通過全距、四分差、平均差、方差、標(biāo)準(zhǔn)差統(tǒng)計(jì)指標(biāo)來研究水準(zhǔn)測(cè)量的數(shù)據(jù)的離中趨勢(shì)。

6.根據(jù)權(quán)利要求5所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：水準(zhǔn)測(cè)量數(shù)據(jù)要服從或近似服從正態(tài)分布，進(jìn)行數(shù)據(jù)的使用時(shí)進(jìn)行正態(tài)性檢驗(yàn)，通過動(dòng)差法進(jìn)行數(shù)據(jù)的正態(tài)性檢驗(yàn)。

7.根據(jù)權(quán)利要求6所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：設(shè)置水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)預(yù)警，通過對(duì)水準(zhǔn)測(cè)量數(shù)據(jù)的橫向縱向的比較、關(guān)聯(lián)數(shù)據(jù)分析、特定比例驗(yàn)證和設(shè)定閾值進(jìn)行例外標(biāo)注進(jìn)行預(yù)警，設(shè)置錯(cuò)誤數(shù)據(jù)報(bào)警和性能數(shù)據(jù)報(bào)警，性能數(shù)據(jù)報(bào)警包括水準(zhǔn)測(cè)量數(shù)據(jù)異常報(bào)警和錯(cuò)誤邏輯數(shù)據(jù)報(bào)警。

8.根據(jù)權(quán)利要求7所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：通過卷積神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)進(jìn)行深度學(xué)習(xí)，從輸入的水準(zhǔn)測(cè)量數(shù)據(jù)中提取高階特征，卷積神經(jīng)網(wǎng)絡(luò)中的卷積層和池化層能夠響應(yīng)輸入特征的平移不變性，能夠識(shí)別位于空間不同位置的相近特征。

9.根據(jù)權(quán)利要求8所述的一種水準(zhǔn)測(cè)量數(shù)據(jù)實(shí)時(shí)處理方法，其特征在于：卷積層的功能是對(duì)輸入數(shù)據(jù)進(jìn)行特征提取，內(nèi)部包含多個(gè)卷積核，組成卷積核的每個(gè)元素都對(duì)應(yīng)一個(gè)權(quán)重系數(shù)和一個(gè)偏差量，對(duì)水準(zhǔn)測(cè)量數(shù)據(jù)進(jìn)行特征提取，卷積核在工作時(shí)，輸入特征，對(duì)輸入特征做矩陣元素乘法求和并疊加偏差量：

(i，j)∈{0，1，...L_l+1}

式中b為偏差量，Z^l和Z^l+1表示第1+1層的卷積輸入和輸出，L_l+1為Z^l+1的尺寸，z(i,j)對(duì)應(yīng)特征圖的像素，K為特征圖的通道數(shù)，f、s₀和P是卷積參數(shù)層。