[發明專利]一種空間數據緩存方法、裝置和存儲介質

有效

• 申請號: 201811191662.6
• 申請日: 2018-10-12
• 公開（公告）號: CN109446114B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 李宗祥;嚴國友;孫一波
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06F12/0895
• 分類號: G06F12/0895;G06F16/172
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 張榮;張穎玲

本發明公開了一種空間數據緩存方法，包括：接收操作請求；所述操作請求用于請求讀取數據塊或請求寫入數據塊；確定所述操作請求對應的數據塊，將所述數據塊加入緩存預寫入隊列；確定所述數據塊的優先級，根據所述數據塊的優先級確定所述數據塊獲得加入緩存隊列的權限時，將所述數據塊加入所述緩存隊列；所述優先級與所述數據塊和所述緩存隊列中的參考緩存塊的關聯程度相關。本發明還公開了一種空間數據緩存裝置和計算機可讀存儲介質。

技術領域

本發明涉及大數據存儲技術，尤其涉及一種空間數據緩存方法、裝置和計算機可讀存儲介質。

背景技術

隨著大數據處理技術地日漸成熟，海杜普(Hadoop)成為大數據處理的熱門工具。Hadoop將數據分散存儲在數據節點(DataNode)集群中，在運行映射歸約(MapReduce)任務時，根據數據的分布來決定將任務分配到哪臺機器上，實現高效的分布式計算。Hadoop本身是輸入/輸出(I/O，Input/Output)密集型的數據處理框架，I/O效率對其性能的影響至關重要，而緩存技術可以有效的減少I/O操作次數，提升I/O性能，優化Hadoop集群的性能。

Hadoop本身提供了一種緩存機制，可以允許用戶配置要緩存的文件，當一個文件被設置為要被緩存的文件后，DataNode將該文件涉及的數據塊加入堆外內存進行緩存，用以提升該文件的訪問效率。

Hadoop還可以采用基于索引的緩存機制，例如基于四叉樹的分布式空間數據索引；其用四叉樹劃分空間區域，每個四叉樹的葉節點存儲一定量的空間數據，將多個葉節點存儲在數據塊中，并通過Hadoop自身的分布式存儲機制分布地存儲在DataNode集群中。基于這種索引結構設計了兩級緩存：a.首先是DataNode端的緩存，在DataNode端設置對數據塊的緩存，使用頁面置換(LRU，Least Recently Used)算法進行緩存數據的管理，根據用戶對數據塊的訪問頻度進行緩存數據淘汰。b.客戶端的緩存，在客戶端建立面向四叉樹葉節點的緩存，將客戶端頻繁訪問的四叉樹葉節點緩存起來，緩存的管理也直接依據LRU算法。

Hadoop本身的緩存粒度一般只到文件級，且其緩存機制只是針對數據塊(Block)本身的，然而實際應用系統中Hadoop處理的數據往往是有關聯的，例如包含空間位置信息的微博數據、咪咕善跑用戶的跑步軌跡數據等。如果僅使用Hadoop自身的緩存機制，當用戶訪問相鄰區域時，如果相鄰的區域不在內存中，就需要到磁盤上讀取相應的數據，從而增加了磁盤I/O，可能會降低緩存的命中率，導致系統效率降低。

發明內容

有鑒于此，本發明的主要目的在于提供一種空間數據緩存方法、裝置和計算機可讀存儲介質。

為達到上述目的，本發明的技術方案是這樣實現的：

本發明實施例提供了一種空間數據緩存方法，應用于數據節點，所述方法包括：

接收操作請求；所述操作請求用于請求讀取數據塊或請求寫入數據塊；

確定所述操作請求對應的數據塊，將所述數據塊加入緩存預寫入隊列；

確定所述數據塊的優先級，根據所述數據塊的優先級確定所述數據塊獲得加入緩存隊列的權限時，將所述數據塊加入所述緩存隊列；所述優先級與所述數據塊和所述緩存隊列中的參考緩存塊的關聯程度相關。

上述方案中，所述確定所述數據塊的優先級，包括：

確定所述數據塊的訪問頻度，以及所述數據塊與所述參考緩存塊之間的空間距離；所述參考緩存塊表征所述緩存隊列中優先級最高的緩存塊；

獲取所述訪問頻度對應的第一權重和所述空間距離對應的第二權重；

根據所述訪問頻度、所述第一權重、所述空間距離和所述第二權重，確定所述數據塊的優先級。