[發明專利]基于Storm的RDF流式數據關鍵詞實時搜索方法

有效

• 申請號: 201710057433.4
• 申請日: 2017-01-23
• 公開（公告）號: CN106874426B
• 公開（公告）日: 2019-12-31
• 發明（設計）人: 汪璟玢;陳雙
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455;G06F16/2453;G06F16/2458
• 代理公司: 35100 福州元創專利商標代理有限公司
• 代理人: 蔡學俊

本發明涉及一種基于Storm的RDF流式數據關鍵詞實時搜索方法，其特征在于：包括Storm實時處理、Redis分布式存儲和Storm實時查詢；Storm實時處理的具體內容為：Storm的Spout組件接收并處理RDF本體和實例數據文件流，將處理后的RDF本體和實例數據文件流分布式存儲至Redis哈希表中；所述Storm實時查詢的具體內容為：客戶端發送實時查詢請求，服務端接收客戶端的查詢請求后，先檢查查詢緩存中是否已存在該查詢請求的查詢結果，若存在，則復用緩存歷史查詢結果，執行增量更新查詢算法，返回查詢結果；若不存在，則服務端對查詢請求進行實時計算，并返回查詢結果。本發明支持對連續RDF數據流的進行實時查詢，滿足用戶對RDF數據流實時查詢的應用需求。

技術領域

本發明涉及海量RDF數據檢索技術領域，尤其涉及一種基于Storm的RDF流式數據關鍵詞實時搜索方法。

背景技術

目前，國內外有關RDF語義網數據的關鍵詞搜索問題研究大都是針對靜態數據集的搜索，根據搜索處理方式的不同，可以分為兩類:關鍵詞構造結構化查詢方法和關鍵詞直接構造查詢結果方法。第一類，關鍵詞構造結構化查詢方法通常包括關鍵詞映射、構建查詢語句和對查詢排序。將關鍵詞翻譯成聯合查詢,再得到SPARQL查詢語句，通過索引這些關鍵詞可能分別對應到數據圖中的頂點或邊,在圖上定位包含這些頂點和邊的子圖后,將子圖映射為聯合查詢。Ladwing G等從RDF數據中抽取結構信息，構造查詢搜索圖生成結構化查詢，然后查詢得到結果。El-Roby等實現了一個Sapphire查詢系統，使用預測用戶模型，根據用戶的輸入關鍵詞間相似性幫助用戶構造結果化查詢SPARQL，使用戶通過輸入簡單關鍵詞就可以進行準確的SPARQL查詢。先通過在元組模式圖上定位包含用戶查詢關鍵詞的子圖，讓用戶在這些候選子圖中選擇最合適的子圖，映射成結構化查詢，進行查詢操作并返回結果。但該策略依賴于用戶的反饋和RDF模式信息的完整性。

第二類，關鍵詞直接構造查詢結果方法大都是在圖數據上直接匹配包含所有查詢關鍵詞的子圖，利用評分函數對候選答案排序，返回top-k查詢結果。李慧穎等人將RDF數據建模成頂點帶標簽的實體三元組關聯圖，構建結構索引，利用斯坦納樹近似算法實現了快速查詢響應。Le W等設計一個有效的圖摘要提取算法，從RDF數據圖中根據類型提取RDF數據結構的摘要信息，利用圖摘要剪枝從而加速搜索效率。Elbassuoni采用基于IR和統計概率的排序模型，對檢索到的包含查詢關鍵詞的子圖進行評分排序，返回評分值高匹配的結果。De Virgilio等提出一種新穎的完全分布式的RDF關鍵字搜索方法，以圖路徑的方式分布式存儲海量RDF數據，利用MapReduce對大規模圖數據進行分布式搜索。

以上RDF關鍵詞搜索方法都是針對靜態RDF數據集，無法對動態的RDF流式進行實時查詢。互聯網上產生各種各樣的流式數據，由于數據的異構性，RDF被廣泛用于在數據流中提供統一的元數據表示，RDF動態數據流在語義網絡社區中引起了相當大的興趣。D.F.Barbieri等提出了C-SPARQL和D.LeP等提出了CQELS，類似SPARQL的查詢語言和操作語義，通過在數據流管理系統中定義窗口化技術來實現連續查詢。Zhang Y等人提出一個流式RDF/SPARQL查詢基準SRBech，不僅能夠處理簡單的圖模式查詢，也能處理復雜的推理查詢。Jean Paul等人提出了一個生產者和消費者的角色模型實現RDF流式處理系統，角色間通過異步事件消息進行通信，實現了RDF流式SPARQL的查詢。Le-Phuoc D提出了一種新穎的操作感知數據結構，建立有效的評估算法，實現RDF流式數據查詢，并驗證該方法有效的減少執行查詢的時延。但他們都是處理結構化查詢SPARQL且大都被設計為單機運行的，不能被擴展處理大規模RDF數據流的分布式查詢。針對單機系統可擴展性的限制，人們將目光投向分布式流式處理框架，如S4和Storm。D.L.Phuoc等人提出了是第一個可擴展的RDF數據流分布式處理系統CQELS-Cloud，整體架構由一個執行協調器和多個操作容器組成，執行協調器負責分配要處理的任務，每個操作容器負責執行單個操作，如聯合、聚合等。