[發明專利]用于優化數據存儲上的查詢執行的方法

有效

• 申請號: 201480054764.7
• 申請日: 2014-05-06
• 公開（公告）號: CN105637506B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 拉溫德拉·佩塞萊;納加奈拉西姆哈·拉梅什·加拉;張勇
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F16/9535;G06F16/23;G06F16/242
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽

本發明的實施例涉及大數據。具體而言，本發明涉及一種優化數據存儲上的查詢執行的方法和服務器。通過將要求來自所述數據存儲的同一部分數據的一個或多個查詢分成一個或多個組優化本發明中的查詢執行。將所述一個或多個查詢分成所述一個或多個組從一個或多個元數據中實現，所述一個或多個元數據包含在用戶指定的一個或多個查詢中，所述用戶希望基于所述一個或多個元數據檢索結果。執行劃分在所述一個或多個分組下的所述一個或多個查詢僅涉及所述數據存儲的一次掃描。通過這種方式，以最小延遲返回每個查詢所需的來自所述數據存儲的結果。

技術領域

本發明涉及計算機領域中的數據庫技術。具體而言，本發明涉及一種用于優化數據存儲尤其是大數據存儲上的查詢執行的方法。

背景技術

通常，大數據包括保存在大數據存儲(稱為數據存儲)中的大型復雜數據的集合。大型復雜數據以數據塊的形式存儲，通常會對這些數據塊進行索引、分類和壓縮。數據存儲提供高效的工具用于瀏覽數據存儲中的數據以響應用戶指定的一個或多個查詢。高效工具的一個示例是聯機分析處理(OLAP)工具，其處理用戶請求的基于OLAP的查詢。該工具有助于訪問數據存儲中的數據，通常涉及從數據塊中讀取并解壓數據，通常稱為在數據存儲上進行掃描。通常，在數據存儲上進行掃描要求大量的磁盤操作、網絡輸入/輸出(I/O)操作和中央處理器(CPU)操作。此外，數據存儲的一個眾所周知的問題在于它們往往極其龐大，導致了嚴重的存儲和性能問題。因此，數據存儲的可擴展架構在大數據環境中至關重要。因此，以數據存儲上最少的掃描操作和最短的交互響應時間處理伴隨著處理用戶指定的一個或多個查詢而產生的大量數據非常困難。

通常，數據存儲上的掃描操作以兩種不同的方式執行來提供響應于用戶執行的一個或多個查詢的結果。第一種方式是完全掃描，第二種方式是基于篩選的掃描。圖1示出了描述現有技術的執行完全掃描的方法的示例性方框圖。該示例性方框圖包括搜索引擎，其接收來自用戶的一個或多個查詢并在數據存儲上執行接收到的一個或多個查詢。完全掃描包括訪問所有數據塊(數據塊1、數據塊2......數據塊n)并為一個或多個查詢(查詢1、查詢2......查詢n)中的每個查詢從數據塊中讀取記錄，這耗費了大量的時間去檢索與一個或多個用戶的查詢有關的準確結果。

圖2示出了描述執行基于篩選的掃描的方法的另一示例性方框圖。一個或多個查詢包括用戶指定的一個或多個篩選值或維度或索引值。例如，指定查詢1為：

Select{[Student]}ON COLUMNS

where([years].Student in{2003})

查詢1的篩選值是“2003”，即查詢1請求提取2003年以來的學生記錄。類似地，如圖2所示，查詢2具有篩選值“2003,2006”，即提取從2003年、2004年......到2006年的學生。查詢3的篩選值為空值，并且查詢n的篩選值為90，即提取分數為90的學生。基于篩選的掃描涉及基于用戶在一個或多個查詢中指定的一個或多個篩選值或維度或索引值掃描數據存儲。也就是說，分別基于篩選值“2003”、“2003,2006”等掃描數據存儲以分別處理查詢1、查詢2等。確切地說，僅基于篩選值掃描數據存儲的所需塊。因此，滿足一個或多個查詢的篩選值的記錄從數據存儲中提取出來。