[發明專利]點云數據存儲、并行計算和實時檢索的方法及其系統

有效

• 申請號: 201710859626.1
• 申請日: 2017-09-21
• 公開（公告）號: CN107515952B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 李崢嶸
• 申請（專利權）人: 北京星閃世圖科技有限公司
• 主分類號: G06F16/13
• 分類號: G06F16/13;G06F16/182;G06F16/14;G06F16/29
• 代理公司: 浙江永鼎律師事務所 33233
• 代理人: 陸永強;張建

1.一種點云數據存儲、并行計算和實時檢索的方法，其特征在于，包括以下步驟：

S1：數據存儲，包括從客戶端(2)讀取點云數據并將點云數據寫入Hadoop HDFS分布式文件系統中；

S2：數據并行計算，包括通過數據劃分模塊將點云數據按照地理位置劃分為若干子區域數據后將每個子區域數據傳入Hadoop集群的計算節點(131)以對點云數據進行信息抽取；

S3：數據實時檢索，包括把Hadoop集群的點云數據導入至HBase數據庫中，并基于檢索條件采用HBase Endpoint機制的空間數據檢索方法在Hbase Region Server中進行并行檢索。

2.根據權利要求1所述的點云數據存儲、并行計算和實時檢索的方法，其特征在于，在步驟S1中，每份點云數據文件寫入Hadoop集群中的多個不同的數據節點(111)，且每個數據節點(111)對應有至少一個物理服務器。

3.根據權利要求1所述的點云數據存儲、并行計算和實時檢索的方法，其特征在于，在步驟S2中，在進行數據并行計算的過程中，還執行以下步驟：

通過通信模塊(14)分發不同編程語言的代碼到Hadoop集群的計算節點(131)用于信息提取；

所述的不同編程語言包括Python編程語言、C++編程語言、Shell編程語言、java編程語言和Matlab編程語言中的任意一種或多種語言的組合；且不同編程語言之間的進程通過采用二進制流數據格式的數據流接收模塊(15)進行通信。

4.根據權利要求1所述的點云數據存儲、并行計算和實時檢索的方法，其特征在于，在步驟S2中，所述的數據劃分模塊為基于Map Reduce的數據劃分模塊，且數據劃分模塊的劃分方法包括以下步驟：

S2.1：獲取包括需要劃分的區域和劃分后子區域大小的劃分請求，并根據劃分請求計算請求區域和請求區域對應的子區域；

S2.2：根據點云數據文件名中包含的地理區域頂點坐標判斷該區域是否和查詢區域相交，若相交則選為候選文件，否則過濾該文件；

S2.3：使用Hadoop缺省的文本數據分片機制，把候選文件按行拆分為若干數據片，每個數據片傳入一個Map，由Map對相應的數據片進行判斷，如果數據片中對應的點在查詢區域內，則進一步判斷該點屬于哪個子區域，對在查詢區域內的點以(Key，Value)的輸出格式進行輸出，其中，

Key：為所在子區域的多邊形定義；

Value：為點數據信息；

S2.4：使用Reduce把具有相同Key的點進行合并，以將在一個子區域的所有點合并到一個文件中。

5.根據權利要求1所述的點云數據存儲、并行計算和實時檢索的方法，其特征在于，在步驟S3中，將Hadoop集群的點云數據導入至HBase數據庫之前先采用GEOHASH算法將HBase數據庫中的地圖數據劃分為若干小柵格，點云數據根據其地理位置信息存放至相應的小柵格內；

進行并行檢索的方法包括：

S3.1：基于搜索區域生成該搜索區域覆蓋的所有小柵格；

S3.2：計算步驟S3.1中獲得的小柵格的GEOHASH碼，從而生成待搜索區域的RowKey列表，使用RowKey列表獲得候選行；

S3.3：對每個候選行中包含的點判斷是否在搜索區域內，并返回在搜索區域中的點。

6.一種基于權利要求1-5任意一項所述的點云數據存儲、并行計算和實時檢索的方法的點云數據存儲、并行計算和實時檢索的系統，其特征在于，包括內置有Hadoop分布式架構的服務器(1)和連接于服務器(1)的客戶端(2)和激光雷達(3)，所述的激光雷達(3)包括有數據采集設備(31)，所述的客戶端(2)包括輸入模塊(21)和輸出模塊(22)，所述的服務器(1)包括數據存儲器(11)、程序存儲器(12)和運算器(13)，其中，

數據采集設備(31,)，用于采集點云數據；

運算器(13)，用于運行包括將點云數據按照地理位置劃分為若干子區域數據的算術邏輯；

數據存儲器(11)，用于存儲海量點云數據、運行算術邏輯時所需的數據和算術邏輯的運行結果，且地理位置臨近的點保存在存儲器中相近的磁盤空間中；

程序存儲器(12)，用于存儲包括GEOHASH算法程序和Map Reduce計算程序的算術邏輯。