[發明專利]數據查詢實現方法、裝置、介質及電子設備

在審

• 申請號: 201810402022.9
• 申請日: 2018-04-28
• 公開（公告）號: CN108563509A
• 公開（公告）日: 2018-09-21
• 發明（設計）人: 桂宇
• 申請（專利權）人: 北京京東金融科技控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F17/30
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 袁禮君;王衛忠

本發明實施例提供了一種數據查詢實現方法、裝置、介質及電子設備，該數據查詢實現方法包括：獲取數據查詢進程以及所述數據查詢進程的動態配置參數，并向節點管理器提交所述數據查詢進程；所述節點管理器對所述動態配置參數進行解析，確定出所述數據查詢進程所需的資源，基于所述資源實現數據查詢。本發明實施例的技術方案能夠穩定、安全地實現在分布式資源管理系統中部署快速的數據查詢和處理功能，并且可以根據配置策略，動態實現工作節點的啟停、釋放以及所占用得系統資源，實現集群資源的充分利用。

技術領域

本發明涉及計算機技術領域，具體而言，涉及一種數據查詢實現方法、裝置、介質及電子設備。

背景技術

隨著數據量的爆炸性增長，數據維度越來越多，數據之間的關聯關系也越來越復雜，如何快速攫取數據中隱藏的巨大價值，除了構建優秀的數據模型，還需要快速分析、處理的技術能力。

現有的技術方案主要包括兩種。第一種：獨立部署模式，該模式獨享硬件資源，例如中央處理器(CPU，Central Processing Unit、內存等系統資源，若要擴展和縮減資源，需要手動啟動和停止數據查詢工作節點；第二種：一種基于資源協調器(Yarn，Yet AnotherResource Negotiator)的第三方框架的插件，即需要引入第三方技術框架，同時實現該插件的接口協議才能基于Yarn統一控制。

目前的兩種模式都存在不足，第一種方案的不足是不夠靈活、高效，無法動態地根據忙閑程度和時機進行無縫調整，在集群閑時，資源無法被其他框架使用；第二種方案的不足是增加了額外的技術框架，不僅需要進行版本匹配，還需要基于該框架的接口進行實現，不利于維護、擴展和升級，同時引入了另一個不確定的因素，再則第三方插件幾近廢除，就更加不可靠。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本發明的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本發明實施例的目的在于提供一種數據查詢實現方法、裝置、介質及電子設備，進而至少在一定程度上克服相關技術中無法實現對數據快速分析和處理的問題。

本發明的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本發明的實踐而習得。

根據本發明實施例的第一方面，提供了一種數據查詢實現方法，包括：接收資源管理器發送的數據查詢進程以及所述數據查詢進程的系統資源分配信息；當接收到配置參數更新數據后，基于所述更新后的配置參數，對所述數據查詢進程所分配的系統資源進行調整；基于所述調整后的系統資源實現數據查詢。

在本發明的一些實施例中，基于前述方案，所述基于所述更新后的配置參數，對所述數據查詢進程所分配的系統資源進行調整，包括：

對所述數據查詢進程所占用的系統資源進行動態監控，并基于隊列資源狀態以及所述更新后的配置參數，對所述數據查詢進程進行調整。

在本發明的一些實施例中，基于前述方案，所述基于隊列資源狀態以及所述更新后的配置參數，對所述數據查詢進程進行調整，包括：

當數據查詢進程所占用的系統資源大于預設資源閾值時，關閉所述數據查詢進程，直至所述數據查詢進程所占用的資源小于等于所述預設資源閾值；

當數據查詢進程所占用的系統資源小于預設資源閾值時，啟動所述數據查詢進程，直至所述數據查詢進程所占用的資源大于等于所述預設資源閾值。

在本發明的一些實施例中，基于前述方案，所述基于所述調整后的系統資源實現數據查詢，包括：

接收數據查詢協調器發送的查詢子任務；

將所述查詢子任務轉換為物理執行計劃，基于所述物理執行計劃進行數據查詢，獲得查詢結果；

將所述查詢結果向數據查詢協調器上傳。