[發明專利]海量GIS數據實時處理方法及系統

有效

• 申請號: 201410706943.6
• 申請日: 2014-12-01
• 公開（公告）號: CN104391947B
• 公開（公告）日: 2017-11-21
• 發明（設計）人: 蘇超;鐘世冠;莫東平;何海帆;賴兆基;陳少敏;李文航;潘世成
• 申請（專利權）人: 廣東電網有限責任公司清遠供電局;廣州粵能信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及電網數據處理領域，尤其涉及一種海量GIS數據實時處理方法及系統。

背景技術

電網GIS平臺是將電力企業的電力設備、變電站、輸配電網絡、電力用戶與電力負荷和生產及管理等核心業務連接形成電力信息化的生產管理的綜合信息系統，其需要管理維護電網設備的空間屬性、設備屬性、拓撲關系以及海量的地圖數據，支撐整個電網公司的業務需求。隨著公司業務信息化水平的不斷提高，系統需要管理的數據量及數據復雜程度持續上升。

目前GIS平臺共計維護121類電網設備，并且根據預計電網資源數據將以每年超過25%的速度急劇增長。GIS平臺實時渲染的設備數量，在每屏平均渲染2000個左右設備，加上平臺客戶端的平均在線數3000左右。這就使GIS平臺數據訪問量特別大、訪問頻次很密集。

隨著GIS平臺中的數據量大幅上漲，在大規模配用電網（特別是涵蓋400V低壓電網）的場景下，客戶端展示的電網數據量持續上升，不可避免的引發服務器查詢操作的頻繁進行和緩存數據的爆炸式增長。傳統的數據管理和處理方式是使用GIS渲染數據管理及處理方式，此方式服務端需要頻繁的與持久化數據庫進行電網數據交互，由此帶來了持久化數據庫并發訪問瓶頸以及巨大的網絡壓力，直到超出數據庫支持能力而拖慢整個系統的運行效率；另一方面，高并發、高頻次的客戶端訪問要求服務端生成大量數據緩存以應對頻繁的數據請求，但傳統的根據訪問需求實時生成的緩存數據由于分開管理、缺乏統一的調配合并，勢必帶來緩存空間的浪費和內存數據的反復擦寫，不能充分利用內存數據的高讀寫速度優勢。

隨著設備空間數據持續增長，設備的拓撲數據也隨之急劇增加，設備之間的拓撲關系也越來越復雜，拓撲計算需要處理的節點數量及權重權衡也隨之增加，拓撲計算的性能也在不斷下降。如果拓撲計算是直接處理的數據庫拓撲數據，更會因為與數據庫的交互延遲或數據庫性能的下降而使拓撲計算的效率變得更加不可忍受。

在大數據量壓力下，進行設備渲染、拓撲計算因為基礎數據量的增大而效率下降，如果再考慮用戶海量并發的因素，提升效率就會比較困難。

因此如何維持在海量數據和高并發用戶數量壓力下GIS平臺的實時響應速度，成為GIS平臺提升用戶友好性、增加平臺功能可用性急待解決的難題。

發明內容

本發明所要解決的技術問題在于，提供一種海量GIS數據實時處理方法及系統，可以對海量GIS數據實時處理，響應速度快，計算效率高。

為了解決上述技術問題，本發明提供了一種海量GIS數據實時處理方法，包括：

將若干通用內存存儲設備組合，并在GIS平臺啟動后，分批次將持久化數據庫中用戶需要用到的海量數據加載到所述通用內存存儲設備組合中，直至將所述持久化數據庫中的全部數據鏡像到所述通用內存存儲設備組合中；其中，在分批次加載的過程中同時對所述通用內存存儲設備組合中的空間數據構建空間索引，對拓撲數據重新建立拓撲圖，并為所述拓撲圖建立拓撲索引，從而完成內存集群的搭建；

當用戶編輯拓撲圖時，根據所述拓撲索引在所述內存集群中記錄用戶實時編輯狀態，并對用戶最終提交的拓撲圖，根據所述拓撲索引對內存集群中的拓撲數據進行更新；

當用戶需要渲染展示設備信息時，根據用戶所選擇的設備，采用所述空間索引從所述內存集群快速提取出對應的設備樣式數據和設備屬性數據，并根據所述設備樣式數據和設備屬性數據計算出設備渲染樣式，GIS平臺的渲染單元根據所述設備渲染樣式渲染所述用戶所選擇的設備。

本發明還提供了一種海量GIS數據實時處理系統，包括：

內存集群建立模塊，用于將若干通用內存存儲設備組合，并在GIS平臺啟動后，分批次將持久化數據庫中用戶需要用到的海量數據加載到所述通用內存存儲設備組合中，直至將所述持久化數據庫中的全部數據鏡像到所述通用內存存儲設備組合中；其中，在分批次加載的過程中同時對所述通用內存存儲設備組合中的空間數據構建空間索引，對拓撲數據重新建立拓撲圖，并為所述拓撲圖建立拓撲索引，從而完成內存集群的搭建；

拓撲數據處理模塊，用于當用戶編輯拓撲圖時，根據所述拓撲索引在所述內存集群中記錄用戶實時編輯狀態，并對用戶最終提交的拓撲圖，根據所述拓撲索引對內存集群中的拓撲數據進行更新；

渲染預處理模塊，用于當用戶需要渲染展示設備信息時，根據用戶所選擇的設備，采用所述空間索引從所述內存集群快速提取出對應的設備樣式數據和設備屬性數據，并根據所述設備樣式數據和設備屬性數據計算出設備渲染樣式；

設備渲染模塊，用于根據所述設備渲染樣式渲染所述用戶所選擇的設備。