[發明專利]一種數據查詢方法和裝置

有效

• 申請號: 201710522783.3
• 申請日: 2017-06-30
• 公開（公告）號: CN109213743B
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 楊澤森
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/14;G06F9/455
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;陸錦華

本發明公開了一種數據查詢方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：接收用戶的數據查詢任務，并將數據查詢任務提交到與用戶所屬的用戶群組對應的虛擬服務器；通過與用戶所屬的用戶群組對應的虛擬服務器從對應的多個預設的任務代理服務器中篩選出可用任務代理服務器，并將數據查詢任務分配到該可用任務代理服務器；通過可用任務代理服務器將數據查詢任務提交到分布式集群以執行數據查詢。該實施方式能夠有效避免了不同團隊平臺用戶對資源的爭搶情況，并避免了任務代理服務器資源飽和而影響其他查詢任務的情況，還可審計數據查詢的歷史軌跡。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據查詢方法和裝置。

背景技術

目前很多中大型企業基于Hadoop(一個由Apache基金會所開發的分布式系統基礎架構)技術生態系統建設了大數據平臺與云平臺，其最主要用途是實現大規模數據、多類數據源、大量數據計算，實現BI(Business Intelligence，即商務智能)數據統計分析，并提供企業決策支持與業務生產支持。如何在分布式集群中提供便捷、易用的數據查詢服務，以快速響應不同人群的業務統計分析、數據提取、數據查詢需求，是大數據平臺建設的重要內容。

目前的大數據查詢實現方案主要是在開源Hadoop集群架構中通過采用Hadoop集群客戶端提交Hive(基于Hadoop的一個數據倉庫工具)查詢命令，或者采用第三方廠商的大數據平臺產品實現大數據查詢。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

現有Hadoop原生架構中的集群客戶端命令界面不便于各類業務與技術人員快速使用，需要申請對應的客戶端權限，且現有Hadoop原生架構中的集群客戶端命令界面操作繁瑣，不便于快速上手使用；

采購第三方產品不利于進行功能擴展，且采購費用高昂，不適用與大中型企業規模化應用。

發明內容

有鑒于此，本發明實施例提供一種數據查詢方法和裝置，能夠實現了一種對平臺用戶集群資源隔離、提交任務的任務代理服務器隔離且能自動分配任務代理服務器來運行大數據查詢任務的簡單易用的可視化數據查詢機制，有效避免了不同團隊平臺用戶對資源的爭搶情況，并避免了任務代理服務器資源飽和而影響其他查詢任務的情況，還可審計數據查詢的歷史軌跡。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據查詢方法。

一種數據查詢方法，預先設置與各用戶群組一一對應的虛擬服務器，且每個虛擬服務器與分布式集群中的多個預設的任務代理服務器相對應，所述方法包括：接收用戶的數據查詢任務，并將所述數據查詢任務提交到與所述用戶所屬的用戶群組對應的虛擬服務器；通過與所述用戶所屬的用戶群組對應的虛擬服務器從對應的多個預設的任務代理服務器中篩選出可用任務代理服務器，并將所述數據查詢任務分配到該可用任務代理服務器；通過所述可用任務代理服務器將所述數據查詢任務提交到所述分布式集群以執行數據查詢。

可選地，接收用戶的數據查詢任務的步驟之前，包括：接收并保存查詢配置信息，所述查詢配置信息包括對各虛擬服務器的配置信息、對各任務代理服務器的配置信息、以及對用戶權限的配置信息。

可選地，通過Web可視化界面接收所述查詢配置信息和所述用戶的數據查詢任務。

可選地，將所述數據查詢任務提交到與所述用戶所屬的用戶群組對應的虛擬服務器的步驟，包括：判斷與所述用戶所屬的用戶群組對應的虛擬服務器的當前并發任務數是否小于預設的并發任務數上限值，若是，則將所述數據查詢任務立即提交到與所述用戶所屬的用戶群組對應的虛擬服務器，否則，等待所述當前并發任務數小于所述預設的并發任務數上限值時再將所述數據查詢任務提交到與所述用戶所屬的用戶群組對應的虛擬服務器。