[發明專利]一種多維度數據查詢及緩存的優化方法

有效

• 申請號: 201811450642.6
• 申請日: 2018-11-30
• 公開（公告）號: CN110389965B
• 公開（公告）日: 2023-03-14
• 發明（設計）人: 張路;謝赟;尹淑平
• 申請（專利權）人: 上海德拓信息技術股份有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453
• 代理公司: 上海灣谷知識產權代理事務所(普通合伙) 31289
• 代理人: 張恒

本發明公開了一種多維度數據查詢及緩存的優化方法，在查詢模塊中：根據輸入的關鍵字，利用配對堆算法生成優先隊列；根據優先隊列不同的權重，在非關系型數據庫集群中進行匹配；在緩存模塊中：結合優先隊列，構建不相交集合的數據結構。本發明能極大地提升搜索性能。

技術領域

本發明涉及大數據技術領域，尤其涉及多維度數據查詢及緩存的優化方法。

背景技術

隨著社會信息化的快速推進，智能硬件的不斷發展，數據進入了海量倍增時代，各行業和個人數據量的需求增加，使得結構化和非結構化數據的數量日趨增大。是否能對海量的數據進行快速、有效的處理和分析，已經成為數據處理分析服務的重要考量依據。其中，公共安全領域隨著大數據技術的深度應用，開啟了新的紀元。通過有效地整合各類數據、構建多維分析模型等方式，提升了情報洞察、分析研判、偵查打擊以及指揮管理的能力。但是，針對非結構化數據可視化領域的相關技術還未成熟，隨著數據融合的不斷深入，業務建模的不斷整合，在公共安全方面基于可視化大數據的分析研判及數據動態化的需求變得更加迫切。

發明內容

本發明的目的在于提供一種多維度數據查詢及緩存的優化方法，能極大地提升搜索性能。

實現上述目的的技術方案是：

一種多維度數據查詢及緩存的優化方法，包括：

在查詢模塊中：

根據輸入的關鍵字，利用配對堆(Paring Heap)算法生成優先隊列；

根據優先隊列不同的權重，在非關系型數據庫集群中進行匹配；

在緩存模塊中：

結合優先隊列，構建不相交集合的數據結構。

優選的，根據關鍵字的使用頻度設置優先隊列各節點的權重。

優選的，不相交集合采用有根樹來實現：有根樹表示集合，樹中的每個節點包含集合的一個成員，每棵樹表示一個集合；每個樹的根包含了代表，并且是它自己的父節點。

優選的，不相交集合的數據結構引入有按秩合并策略和路徑壓縮策略。

優選的，通過訪問的歷史記錄，對優先隊列的節點的權重變動設置。

本發明的有益效果是：本發明通過對多維度數據查詢和緩存的優化，生成并利用優先隊列，在應用層首先顯示優先級高的數據查詢結果。相比較LRU(Least recentlyused)策略而言，這種方案一定程度上彌補了LRU帶來的緩存污染的問題。同時，引入“按秩合并”或者“路徑壓縮”策略，在后續的查詢中，緩存中多維度數據的深度將大大減小，查詢性能顯著提升。

附圖說明

圖1是本發明中多維度數據查詢優化的流程圖；

圖2是本發明中多維度數據緩存優化的流程圖。

具體實施方式

下面將結合附圖對本發明作進一步說明。

目前，在非結構化數據管理系統中，查詢處理模塊是其中一個重要的組成部分，針對非結構化數據的特性設計合理的查詢處理框架和查詢優化策略對于非結構數據的快速、有效訪問極為重要。查詢處理的主要操作包括選擇操作、連接操作、投影操作、聚合函數、排序等。查詢優化的方法包括基于代價估算的優化和基于啟發式規則的優化等。使用的數據包括但不限于文本、圖像、視頻等數據類型，以及三維造型等非結構化數據。