[發明專利]資源描述框架分布式引擎及增量式更新方法

在審

• 申請號: 201510860272.3
• 申請日: 2015-11-30
• 公開（公告）號: CN105447156A
• 公開（公告）日: 2016-03-30
• 發明（設計）人: 胡春明;翟燁;李博;許程
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 馬爽;黃健

技術領域

本發明涉及語義網數據庫檢索技術，尤其涉及一種資源描述框架分布式引擎及增量式更新方法。

背景技術

語義網(SemanticWeb)通過給萬維網上的文檔，如超級文本標記語言(HyperTextMarkupLanguage，HTML)添加能夠被計算機所理解的語義(Metadata)，從而使整個互聯網成為一個通用的信息交換媒介。資源描述框架(ResourceDescriptionFramework，RDF)是描述萬維網資源的標準模型。

基于RDF數據進行語義網的研究過程中，通過搜索引擎，如分布式引擎TriAD對RDF數據進行存儲和查詢等。具體的，分布式搜索引擎TriAD采用關系型存儲模型進行數據存儲，對RDF數據模型進行優化，從而有自己的圖數據剪枝、查詢語言和數據獲取協議(SimpleProtocolandRDFQueryLanguage，SPARQL)語句預處理機制，具有較高的查詢效率。

然而，分布式引擎TriAD不支持動態數據源支持、并發請求處理、數據持久化策略等功能，無法滿足多樣化的RDF數據查詢需求。

發明內容

本發明提供一種資源描述框架分布式引擎及增量式更新方法，提供一種支持RDF數據查詢的同時，支持數據通過增量式方式更新到及數據持久化功能的資源描述框架分布式引擎，使其能夠支持動態數據源。

第一個方面，本發明實施例提供一種資源描述框架分布式引擎，所述資源描述框架RDF分布式引擎部署在計算機集群上，所述計算機集群包括一個主節點及N個從節點，N≥1且為整數，所述主節點包括：查詢服務器、查詢解析器、處理器、備份管理器，其中，

所述查詢服務器，用于接收查詢語言和數據獲取協議SPARQL語句，并將所述SPARQL語句發送至所述查詢解析器；

所述查詢解析器，用于對所述SPARQL語句進行解析，以將所述SPARQL語句轉換為查詢子圖；

所述處理器，用于根據所述查詢子圖生成操作日志及執行計劃，根據哈希映射規則，從所述N個從節點中確定所述SPARQL語句中RDF數據的對應從節點，并將所述SPARQL語句、所述執行計劃發送及所述操作日志發送至所述備份管理器；

所述備份管理器，用于根據所述操作日志，將所述SPARQL語句與所述執行計劃發送至所述對應節點，并對所述對應從節點上的數據進行備份；

所述對應從節點中的每一個從節點上設置內存，所述對應從節點用于根據所述執行計劃，更新所述內存。

可選的，所述處理器根據哈希映射規則，從所述N個從節點中確定所述SPARQL語句中RDF數據的對應從節點，包括：

所述處理器根據所述RDF數據確定出三元組中的三個元素，對所述三元組中的三個元素進行排列組合，形成六種不同的三元組格式，所述六種不同的三元組格式對應六個索引，根據所述六個索引，從所述N個從節點中為所述RDF數據確定出1個或2個從節點，作為所述對應從節點，其中，所述三個元素為主體S，謂詞P，客體O，所述六個索引分別為SPO，OPS，SOP，PSO，OSP，POS；

所述對應從節點具體用于將所述六個索引對應的數據更新到所述內存中。

可選的，所述對應節點中的每一個從節點還設置持久化存儲介質，

所述管理備份單元還用于將已經更新到所述內存中的所述六個索引對應的數據，其中兩個索引對應的數據通過增量式方式更新到所述持久化存儲介質，其中，所述兩個索引為所述SPO與所述OPS。

可選的，所述對應節點中的每一個從節點還具有一個持久化存儲介質，

所述處理器確定出所述操作日志對應的更新數據未通過增量式方式更新到所述對應節點的持久化存儲介質，則發送更新命令與所述更新數據至所述對應從節點；

所述對應從節點根據所述更新命令，將所述更新數據更新至所述持久化存儲介質。

可選的，所述對應從節點為編號為{SmodN}的從節點與所述編號為{OmodN}的從節點，其中，mod為求余操作，當所述SmodN與所述OmodN相同時，所述SPARQL語句的對應從節點為1個。

可選的，所述SPARQL語句包括：插入語句，和/或，刪除語句。

可選的，所述主節點與所述N個從節點通過消息傳遞接口MPI進行數據傳輸。

第二個方面，本發明實施例提供一種增量式更新方法，適用于部署在算機集群上的RFD分布式引擎，所述計算機集群包括一個主節點及N個從節點，N≥1且為整數，該方法包括：