[發明專利]空間數據的分布方法

有效

• 申請號: 201710872387.3
• 申請日: 2017-09-25
• 公開（公告）號: CN107644086B
• 公開（公告）日: 2019-05-10
• 發明（設計）人: 李宗祥
• 申請（專利權）人: 咪咕文化科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/245
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 王姍姍;張穎玲

本發明公開了一種空間數據分布的方法，根據產生空間數據的空間區域，確定所述空間數據所在的葉節點關聯的數據塊，其中，所述數據塊中的空間數據產生于同一空間區域；根據所述葉節點的索引參數及所述葉節點對應的計算節點的數量，確定存儲所述數據塊中空間數據的計算節點的節點標識；根據所述節點標識，將所述數據塊中的空間數據存儲到所確定的計算節點，使產生于同一空間區域的不同數據塊的空間數據存儲在不同的計算節點中。本發明還同時公開了一種空間數據分布的裝置。

技術領域

本發明涉及互聯網信息領域中Hadoop技術，尤其涉及一種空間數據的分布方法和裝置。

背景技術

Hadoop是一個能夠對大量數據進行分布式處理的框架，是大數據處理的高效工具。隨著移動互聯網的發展，越來越多的數據都含有了空間位置信息，從而成為空間數據。Hadoop也成為處理海量空間數據的主流工具。海量數據會借助Hadoop中的分布式文件系統(Hadoop Distributed File System，HDFS)進行存儲。

利用Hadoop分布式計算的能力，可以并行地查詢索引，數據是按HDFS自身的策略進行分布存儲。但是，利用Hadoop進行數據查詢時，容易產生查詢熱點的問題，從而降低查詢的效率，此外，還會觸發HDFS的數據遷移機制，增大系統操作的開銷。

發明內容

為解決現有存在的技術問題，本發明實施例主要提供一種空間數據分布的方法和裝置，能夠解決由于空間位置相鄰的空間數據存儲在一起引起的查詢熱點的問題。

本發明實施例的技術方案是這樣實現的：

一種空間數據的分布方法，所述方法包括：

根據產生空間數據的空間區域，確定所述空間數據所在的葉節點關聯的數據塊，其中，所述數據塊中的空間數據產生于同一空間區域；

根據所述葉節點的索引參數及所述葉節點對應的計算節點的數量，確定存儲所述數據塊中空間數據的計算節點的節點標識；

根據所述節點標識，將所述數據塊中的空間數據存儲到所確定的計算節點，使產生于同一空間區域的不同數據塊的空間數據存儲在不同的計算節點中。

上述技術方案中，所述方法還包括：

當所述空間數據大于所述葉節點關聯的數據塊的容量時，增加所述葉節點的子葉子節點和所述子葉子節點關聯的數據塊；

將產生于所述空間區域的空間數據分配到所述子葉子節點關聯的數據塊中。

上述技術方案中，所述確定存儲所述數據塊中空間數據的計算節點的節點標識，包括：

根據所述索引參數中所述葉節點的排序值以及所述計算節點的數量，得到存儲所述葉節點關聯的第一數據塊中空間數據的第一節點標識；

根據所述索引參數中所述葉節點深度值以及所述第一節點標識，得到存儲所述葉節點關聯的第二數據塊中空間數據的第二節點標識。

上述技術方案中，所述得到存儲所述葉節點關聯的第一數據塊中空間數據的第一節點標識，包括：

將所述葉節點的排序值對所述計算節點的數量取模，得到所述第一節點標識。

上述技術方案中，所述得到存儲所述葉節點關聯的第二數據塊中空間數據的第二節點標識，包括：

根據所述葉節點深度值和集群中計算節點的數量，得到所述葉節點的哈希因子；

將所述第一節點標識與所述哈希因子求和；

將求和的結果對所述計算節點的數量取模，得到所述第二節點標識。

本發明實施例還提供了一種空間數據的分布裝置，所述裝置包括：確定模塊、計算模塊和調度模塊；其中，