[發明專利]優化查詢執行的方法和查詢處理服務器

在審

• 申請號: 201580048649.3
• 申請日: 2015-05-26
• 公開（公告）號: CN106716406A
• 公開（公告）日: 2017-05-24
• 發明（設計）人: 普尼特·古普塔;V·魏瑪·達斯·卡馬斯
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及數據庫領域，尤其涉及一種優化查詢執行的方法和查詢處理服務器。

背景技術

通常地，大數據包括存儲在大數據存儲器(稱為數據存儲器)中的大量復雜的數據集合。所述數據存儲器可以包括多個節點，每個節點可以包括存儲這些大量復雜數據的多個數據分區。另外，多個數據分區中的每個都可以包括存儲數據的子數據分區。根據存儲空間，多個數據分區中的每個都存儲部分數據和/或完整數據。這些大量復雜數據以數據塊的形式存儲，通常對這些數據塊進行索引、存儲和/或壓縮。通常，基于所有多個節點、多個數據分區和子分區中的存儲空間存儲所有多個節點、多個數據分區和子分區中的數據。數據存儲器提供有效工具利用數據存儲器中的數據提供對用戶指定的一個或多個查詢的響應，即，進行查詢執行。所述有效工具的示例是執行用戶定義的查詢的聯機分析處理(OLAP)工具。該工具有助于訪問數據，這通常涉及掃描多個節點、多個數據分區和子數據分區以進行查詢執行。尤其是，對于由用戶指定的查詢的查詢執行，在掃描多個節點、多個數據分區和子數據分區之后訪問與查詢有關的數據。

通常地，在完成查詢執行之后，將掃描所有多個節點和多個數據分區的結果提供給用戶界面以進行數據分析。掃描的結果以視覺趨勢的形式提供。視覺趨勢提供查詢執行的數據掃描進度的可視化。視覺趨勢可以包括但不限于，餅圖、條形圖、直方圖、盒形圖、運行圖、森林圖、扇形圖和控制圖。通常，多個節點和多個數據分區的視覺趨勢表示對應于完成多個節點和多個數據分區的數據掃描的最終執行結果。

一般地，對于更小數據集合中的查詢執行，在短時間內完成掃描。例如，可以在數秒內完成更小數據集合中的查詢執行的掃描。然后，將掃描的結果提供給用戶界面。例如，由用戶定義的查詢要求查看不同網絡設備的數據流量。例如，網絡設備為網關通用分組無線業務(GPRS)支撐節點(GGSN)設備。GGSN設備用于在GPRS網絡和外部分組交換網絡之間互聯。GGSN設備提供互聯網接入到一個或多個移動數據用戶。通常地，基于一個或多個移動數據用戶的互聯網瀏覽模式在網絡設備中生成數百萬的記錄。圖1所示為對不同網絡設備的數據流量進行掃描的結果，將結果以視覺趨勢的形式，例如條形圖，提供給用戶界面。這些直條表示不同網絡設備D1、D2、D3、D4和D5的數據流量，在查詢執行之后將其提供給用戶界面。然而，大數據環境中存在一個問題。也就是說，在大數據環境中，對于查詢執行的掃描可能需要花費一段時間，從幾分鐘到幾個小時不等。在此種情況下，該處理需要等待查詢執行完成。也就是說，用戶必須等待幾個小時查看掃描結果，修改查詢，直到完成查詢執行，這樣很繁重而且不交互。

傳統查詢處理技術的一種這樣的示例是批量調度掃描，其中調度和分批處理這些查詢以便執行。然而，執行分批查詢非常耗時、復雜，而且不能實時執行。在此種情況下，查看執行結果也非常耗時。另外，可以只在完成非常耗時的批量執行時對查詢執行修改。用戶無法在查詢執行狀態和結果之間交互。用戶必須等待查詢執行完成，直到提供查詢執行結果。

發明內容