[發明專利]一種水準測量數據實時處理方法

在審

• 申請號: 202010599731.8
• 申請日: 2020-06-28
• 公開（公告）號: CN111831657A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 程寶銀;徐益峰;周醉;董召輝;王明輝;張蒙
• 申請（專利權）人: 蘇州市測繪院有限責任公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458;G06F16/28;G06N3/04;G01C5/00
• 代理公司: 合肥律眾知識產權代理有限公司 34147
• 代理人: 侯克邦

本發明公開了一種水準測量數據實時處理方法，包括對原始數據的獲取，獲取后的數據通過處理器寫入，通過存儲器進行存儲，對獲取后的數據進行自動計算，獲取的數據進行處理，按照時間節點進行數據的篩選，設置檢索模塊，對數據進行檢索，檢索后的數據進行加工、變換和傳輸，通過錄入的檢測高程對比，進行數據的實時分析，通過分布式計算架構對獲取的數據進行轉換，對轉換后的數據進行統計分析，對采集的水準數據進行正確性的預警。本發明設置水準測量數據實時預警，可以很好的對數據進行預警，統計與分析利用分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總，在進行統計和分析時，可以更加的準確，具有很好的邏輯性。

技術領域

本發明涉及數據處理領域，特別涉及一種水準測量數據實時處理方法。

背景技術

水準測量是利用一條水平視線，并借助水準尺，來測定地面兩點間的高差，這樣就可由已知點的高程推算出未知點的高程，通常由水準原點或任一已知高程點出發，沿選定的水準路線逐站測定各點的高程。由于不同高程的水準面不平行，沿不同路線測得的兩點間高差將有差異，所以在整理國家水準測量成果時，須按所采用的正常高系統加以必要的改正，以求得正確的高程，在進行數據處理時，非常的不及時，處理的數據不準確，在進行數據處理時也無法很好的進行監控和預警。

發明內容

本發明的目的在于提供一種水準測量數據實時處理方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一種水準測量數據實時處理方法，包括以下步驟：

S1：對原始數據的獲取，獲取后的數據通過處理器寫入，通過存儲器進行存儲；

S2：對獲取后的數據進行自動計算，獲取的數據進行處理，按照時間節點進行數據的篩選，設置檢索模塊，對數據進行檢索，檢索后的數據進行加工、變換和傳輸；

S3：通過錄入的檢測高程對比，進行數據的實時分析，通過分布式計算架構對獲取的數據進行轉換，對轉換后的數據進行統計分析；

S4：對采集的水準數據進行正確性的預警，通過聚類的K-Means、用于統計學習的SVM和用于分類的Naive Bayes進行數據分析，使用的工具有HadoopMahout，用于對數據的預測。

優選的，所述處理器與存儲器耦合，所述存儲器耦合有加速器，處理器用于對加速器的控制。

優選的，所述數據的采集和獲取是利用數據庫MySQL和Oracle存儲數據，且Redis和MongoDB的NoSQL數據庫用于數據的采集。

優選的，所述統計與分析利用分布式計算集群來對存儲于其內的海量數據進行普通的分析和分類匯總，在進行實時分析時采用EMC的GreenPlum、Oracle的Exadata，以及基MySQL的列式存儲Infobright。

優選的，對數據進行離中趨勢分析，離中趨勢分析通過全距、四分差、平均差、方差、標準差統計指標來研究水準測量的數據的離中趨勢。

優選的，水準測量數據要服從或近似服從正態分布，進行數據的使用時進行正態性檢驗，通過動差法進行數據的正態性檢驗。

優選的，設置水準測量數據實時預警，通過對水準測量數據的橫向縱向的比較、關聯數據分析、特定比例驗證和設定閾值進行例外標注進行預警，設置錯誤數據報警和性能數據報警，性能數據報警包括水準測量數據異常報警和錯誤邏輯數據報警。

優選的，通過卷積神經網絡對數據進行深度學習，從輸入的水準測量數據中提取高階特征，卷積神經網絡中的卷積層和池化層能夠響應輸入特征的平移不變性，能夠識別位于空間不同位置的相近特征。