[發明專利]高并發數據查詢方法、裝置、系統、設備及可讀存儲介質

在審

• 申請號: 201910389924.8
• 申請日: 2019-05-10
• 公開（公告）號: CN110209693A
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 楊兆輝;汪金忠;徐根林;孫遷
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F16/2453
• 分類號: G06F16/2453;G06F9/50
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 趙然

本發明公開了一種高并發數據查詢方法、裝置、系統、設備及計算機可讀存儲介質，屬于大數據技術領域。所述方法包括：根據數據分片的查詢歷史數據獲取查詢并發數；根據所述查詢并發數計算得到寫入副本數；根據所述寫入副本數，按照寫入負載指數由低到高分別寫入到對應節點；根據數據分片的查詢請求，按照查詢負載指數由低到高到相應節點獲取查詢結果。本發明通過提供一種高并發數據查詢方案，使得在大數據高并發查詢場景下，用戶的查詢性能不會降低，查詢性能穩定，波動小。

技術領域

本發明涉及大數據技術領域，特別涉及一種高并發數據查詢方法、裝置、系統、設備及計算機可讀存儲介質。

背景技術

在大數據實時分析領域，需要在短時間內從海量數據中查詢數據并聚合為結果，具：數據量大、計算密集型、響應時間短(通常在5秒內)。為了提升查詢性能，通常會把數據按照一定的邏輯切成多個數據分片，分別存儲在多臺服務器上，用戶進行查詢時，從多個服務器上并行查詢數據，然后交給匯總服務器匯總結果返回給用戶。數據分片通常為主備兩個副本，分別存在不同的服務器上，這樣可以提高系統的容錯能力和可用性。

在少量用戶查詢情況下，上述的大數據實時分析可以在相對合理的時間內響應，當查詢并發量大時，由于對數據分片的讀寫(IO)、計算(CPU)出現爭搶的情況，導致查詢的響應時長急聚上升，例如：2個用戶并發查詢情況下，在1秒返回結果，20個用戶并發查詢，在10秒返回結果，高并發查詢情況下，用戶查詢等待時間變長。

發明內容

為了解決現有技術的問題，本發明實施例提供了一種高并發數據查詢方法、裝置、系統、設備及可讀存儲介質，在大數據高并發查詢場景下，使得用戶的查詢性能不會降低，查詢性能穩定，波動小。所述技術方案如下：

第一方面，提供了一種高并發數據查詢方法，所述方法包括：根據數據分片的查詢歷史數據獲取查詢并發數；根據所述查詢并發數計算得到寫入副本數；根據所述寫入副本數，按照寫入負載指數由低到高分別寫入到對應節點；根據數據分片的查詢請求，按照查詢負載指數由低到高到相應節點獲取查詢結果。

結合第一方面，在第一種可能的實現方式中，根據所述查詢并發數計算得到寫入副本數，包括：根據所述查詢并發數以及每個副本支持并發數計算得到寫入副本數。

結合第一方面，在第二種可能的實現方式中，根據所述寫入副本數，按照寫入負載指數由低到高分別寫入到對應節點，包括：根據每個節點當前的IO利用率、CPU利用率以及第一預設權重規則計算得到所有節點的寫入負載指數。

結合第一方面，在第三種可能的實現方式中，根據數據分片的查詢請求，按照查詢負載指數由低到高到相應節點獲取查詢結果，包括：根據每個節點當前的IO利用率、CPU利用率、網絡負荷利用率以及第二預設權重規則計算得到所有節點的查詢負載指數。

結合第一方面及第一方面的第一至三種可能實現方式的任一種，在第四至七種可能的實現方式中，所述方法還包括：根據所述數據分片的查詢歷史數據，利用ARIMA時間序列模型預測未來需要增加的增加副本數，根據所述增加副本數進行副本動態調整。

第二方面，提供了一種高并發數據查詢裝置，所述裝置包括：查詢并發數獲取模塊，用于根據數據分片的查詢歷史數據獲取查詢并發數；寫入副本數計算模塊，用于根據所述查詢并發數計算得到寫入副本數；副本寫入模塊，用于根據所述寫入副本數，按照寫入負載指數由低到高分別寫入到對應節點；查詢結果獲取模塊，用于根據數據分片的查詢請求，按照查詢負載指數由低到高到相應節點獲取查詢結果。

結合第二方面，在第一種可能的實現方式中，所述寫入副本數計算模塊用于：根據所述查詢并發數以及每個副本支持并發數計算得到寫入副本數。

結合第二方面，在第二種可能的實現方式中，所述副本寫入模塊包括第一計算子模塊，所述第一計算子模塊用于：根據每個節點當前的IO利用率、CPU利用率以及第一預設權重規則計算得到所有節點的寫入負載指數。