[發明專利]基于混合存儲模式的分布式SPARQL查詢優化方法

有效

• 申請號: 202110086134.X
• 申請日: 2021-01-22
• 公開（公告）號: CN112835920B
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 馮鈞;鄧治國;陸佳民
• 申請（專利權）人: 河海大學
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2453;G06F16/2455;G06F16/2458
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 成立珍

本發明公開了基于混合存儲模式的分布式SPARQL查詢優化方法，屬于知識圖譜的應用，包括如下步驟：1)構建RDF數據存儲模塊，包括數據特征集的生成、前綴樹索引的構建以及RDF數據的存儲；2)構建SPARQL查詢模塊，包括查詢解析、查詢優化、查詢執行。本發明實現了基于混合存儲模式的分布式SPARQL查詢優化方法，根據RDF原始數據，通過邏輯劃分，以不同的關系形式對RDF數據進行存儲，然后基于存儲的模式構建了前綴樹索引和數據特征集，在執行SPARQL查詢的過程中基于索引和數據特征集對查詢匹配進行優化，從而更有效的獲取查詢結果。

技術領域

本發明屬于知識圖譜的應用，具體的涉及基于混合存儲模式的分布式SPARQL查詢優化方法。

背景技術

近年來，隨著知識圖譜相關技術的發展，知識圖譜數據呈現爆炸式增長，由此也引發了諸多問題。如何有效的管理大規模的知識圖譜數據，對于基于知識圖譜的智能問答、搜索、推薦等上層應用具有重要的影響。在語義網中主要以RDF(Resource DescriptionFramework)數據模型來表示知識圖譜數據，其主要形式為一個三元組主語，謂語，賓語,其中主語和賓語表示客觀世界的實體，謂語描述實體之間的關系。SPARQL是由W3C推薦的標準RDF數據查詢語言。通常情況下，SPARQL選擇語句主要包含兩部分：select子句和where子句，其中select部分包含待選擇的數據，where子句部分包含用于過濾和匹配數據的條件。對于SPARQL查詢而言，其本質是在知識圖譜中進行子圖匹配。

傳統的RDF數據管理方式主要是集中式管理，也就是往往以單節點的形式來存儲RDF數據，當遇到問題的時采用縱向擴展的方式，通過增大節點的內存容量等來提升節點對數據的處理能力。但隨著RDF數據的激增，集中式管理的方式往往不能滿足真實場景的需求，存在管理效率低、擴展性能差等問題。隨著大數據技術的發展，出現了眾多優秀的數據處理框架和模型，近些年興起的Spark是一款內存型引擎，其克服了傳統的MapReduce模型存在過多數據I/O導致效率低下的問題。在Spark基礎上存在很多優秀的模塊，其中包括Spark SQL可以通過簡單的編程模型，對數據進行交互式分析。

針對傳統RDF數據管理的性能瓶頸問題，越來越多的方法借助現有的大數據技術和框架，通過分布式的方式對RDF數據進行管理，通過在分布式環境下處理SPARQL查詢，提升數據管理效率和查詢性能，從而為基于知識圖譜的應用提供更好的支撐。

發明內容

發明目的：為克服傳統RDF數據管理中的不足，本發明目的是提供基于混合存儲模式的分布式SPARQL查詢優化方法，通過基于關系模式的數據模型并借助大數據技術，在分布式環境下更有效的管理RDF數據，并在前綴樹索引查詢優化策略的基礎上，提升分布式環境下SPARQL查詢的效率。

技術方案：為實現上述發明目的，本發明采用如下技術方案：基于混合存儲模式的分布式SPARQL查詢優化方法，包括以下步驟：

1)構建RDF數據存儲模塊，包括數據特征集的生成、前綴樹索引的構建以及RDF數據的存儲；

2)構建SPARQL查詢模塊，包括查詢解析、查詢優化、查詢執行。

進一步地，所述的步驟1)中，構建RDF數據存儲模塊包括以下步驟：

1.1)基于原始三元組表數據生成數據集的基本特征信息，包括三元組的數量、不同主語的數量、不同賓語的數量、不同謂語的數量；

1.2)構建前綴樹索引；

1.3)基于三元組表構建垂直劃分表和寬屬性表。

進一步地，所述的步驟1.2)中，前綴樹索引的構建是基于前綴樹的變種進行構建的，用于SPARQL查詢匹配過程中符合一定條件三元組的快速檢索，避免不必要的磁盤讀取操作。