[發明專利]一種地理空間大數據處理方法及裝置

在審

• 申請號: 202110184561.1
• 申請日: 2021-02-10
• 公開（公告）號: CN112527945A
• 公開（公告）日: 2021-03-19
• 發明（設計）人: 王琦;王恭華;白歡歡;王崟樂
• 申請（專利權）人: 中關村科學城城市大腦股份有限公司
• 主分類號: G06F16/29
• 分類號: G06F16/29;G06F16/28
• 代理公司: 北京勁創知識產權代理事務所(普通合伙) 11589
• 代理人: 王闖

本發明公開了一種地理空間大數據處理方法及裝置。該方法包括：將地理空間數據按類型分別存儲在文件系統和數據庫；建立實時數據倉庫；關聯空間數據和時間數據，建立時空數據模型。可見，本發明將地理空間數據按類型分別存儲在文件系統、數據庫中；建立實時數據倉庫，實現地理空間數據的實時處理、分析；通過關聯空間數據、時間數據，建立時空數據模型，實現歷史數據分析、數據推演預測。

技術領域

本發明涉及計算機領域，特別涉及一種地理空間大數據處理方法、裝置、電子設備、計算機可讀存儲介質。

背景技術

目前地理空間數據處理方式主要是通過搭建用于存儲地理信息系統（GeographicInformation System，GIS）數據的數據庫，根據數據被訪問的次數將GIS數據分為熱數據、溫數據和冷數據三個層次，并通過物理存儲架構實現GIS數據的冷熱均衡；通過人工定時物理備份的方式完成數據備份，防止數據丟失；另外數據分析主要基于專業的GIS軟件進行，分析結果以圖層形式展示在GIS平臺上。

目前智慧城市、城市大腦建設中城市級別的空間信息數據處理方式仍處于原始階段。現有技術的存儲方式在大數據背景下劣勢漸漸凸顯，主要有以下幾種缺陷：1、傳統數據庫數據量受限；2、數據維護方式復雜；3、實時分析能力差；4、時空分析能力差；5、海量數據檢索能力弱。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的地理空間大數據處理方法、裝置、電子設備、計算機可讀存儲介質。

本發明的一個實施例提供一種地理空間大數據處理方法，該方法包括：

將地理空間數據按類型分別存儲在文件系統和數據庫；

建立實時數據倉庫；

關聯空間數據和時間數據，建立時空數據模型。

可選地，所述將地理空間數據按類型分別存儲在文件系統和數據庫，包括：

將地圖、衛星影像、地形以及建筑模型數據存儲在文件系統；

將物聯網數據、公共交通記錄、電商物流數據存儲在數據庫。

可選地，所述建立實時數據倉庫，包括：

通過分布式平臺Debezium連接所述數據庫和開源流處理平臺kafka；

通過所述分布式平臺Debezium監控所述數據庫的變更并同步到所述開源流處理平臺kafka的消息隊列中；

通過數據引擎Flink拉取所述開源流處理平臺kafka的消息隊列中的數據，劃分數據倉庫層次，將數據處理流程分別在原始數據層、數據明細層、數據匯總層、應用層進行完成，建立實時數據倉庫。

可選地，所述方法還包括：

將指標分析結果、城市物聯網部件數據、人口數據、城市POI數據和矢量、柵格數據存儲在搜索服務器Elasticsearch中。

可選地，所述方法還包括：

采用組件Griffin對數據進行質量監控。

本發明的另一個實施例提供一種地理空間大數據處理裝置，包括：

數據分類存儲單元，用于將地理空間數據按類型分別存儲在文件系統和數據庫；

數據倉庫建立單元，用于建立實時數據倉庫；

時空數據模型建立單元，用于關聯空間數據和時間數據，建立時空數據模型。

可選地，所述數據分類存儲單元用于：

將地圖、衛星影像、地形以及建筑模型數據存儲在文件系統；

將物聯網數據、公共交通記錄、電商物流數據存儲在數據庫；

所述數據倉庫建立單元用于：

通過分布式平臺Debezium連接所述數據庫和開源流處理平臺kafka；