[發明專利]分布式數據查詢的方法和裝置

在審

• 申請號: 201810043476.1
• 申請日: 2018-01-17
• 公開（公告）號: CN110046178A
• 公開（公告）日: 2019-07-23
• 發明（設計）人: 秦營連
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;楊曉偉

本發明公開了分布式數據查詢的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：將數據查詢請求拆解成多個子請求；將所述子請求分配至對應的從服務器；獲取每個從服務器根據分配的子請求得到該子請求的查詢結果，并對所有子請求的查詢結果進行合并處理，得到數據查詢請求的查詢結果。該實施方式由現有技術中的單臺服務器處理轉變成分布式協同處理，數據處理分流，降低了處理期間CPU和內存高占用、磁盤讀寫量大等問題，同時大大減少了處理時間，加快查詢速度。有效減少了查詢過程中故障的發生，保障了其他業務的正常運行。

技術領域

本發明涉及計算機技術領域，尤其涉及一種分布式數據查詢的方法和裝置。

背景技術

隨著互聯網大數據時代的來臨，數據通常存儲在數據庫中，對于數據庫的數據導出、查詢工作目前通常使用Apache POI來實現。Apache POI是Apache軟件基金會的開放源碼函式庫，Apache POI提供對數據庫數據的讀寫的功能。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1.在大批量獲取數據查詢結果時，一系列獲取工作全部集中于單臺WEB服務器，CUP和內存、磁盤讀寫量同時激增，甚至會引起服務器系統崩潰。

2.每次處理大批量獲取數據查詢結果時，整個過程持續時間長，耗費大量的時間成本。

3.大批量獲取數據查詢結果時容易引起服務器故障，影響到其他業務的正常運行。

發明內容

有鑒于此，本發明實施例提供一種分布式數據查詢的方法和裝置，將數據查詢請求拆解后分配到各從服務器中處理，對從服務器處理后的查詢結果進行合并，由現有技術中的單臺服務器處理轉變成分布式協同處理，數據處理分流，降低了處理期間CPU和內存高占用、磁盤讀寫量大等問題，同時大大減少了處理時間，加快查詢速度。有效減少了查詢過程中故障的發生，保障了其他業務的正常運行。

為實現上述目的，根據本發明實施例的一個方面，提供了一種分布式數據查詢的方法，包括：將數據查詢請求拆解成多個子請求；將所述子請求分配至對應的從服務器；獲取每個從服務器根據分配的子請求得到該子請求的查詢結果，并對所有子請求的查詢結果進行合并處理，得到數據查詢請求的查詢結果。

可選地，所述分配至對應的從服務器，包括：確定與所述子請求對應的分片號列表，將所述子請求分配至與該分片號列表對應的從服務器；其中，每個從服務器對應一個分片號列表。

可選地，所述分片號列表中包括至少一個分片號，所述分片號為分布式存儲數據庫的分庫名；每個子請求的查詢結果是由所述子請求對應的從服務器，在該從服務器的分片號列表中的所述分庫名對應的分布式存儲數據庫的分庫中獲取的。

可選地，所述分片號列表中包括至少一個分片號，所述分片號為集中式存儲數據庫的數據標識；每個子請求的查詢結果是由所述子請求對應的從服務器，在該從服務器的分片號列表對應的數據集合中獲取的；其中，所述數據集合是由該分片號列表中的所述數據標識對應的集中式存儲數據庫的數據組成的集合。

可選地，所述將數據查詢請求拆解成多個子請求之前，包括：獲取從服務器的數量。子請求的數量、分片號列表的數量與從服務器的數量相等，且子請求、分片號列表、從服務器之間一一對應。

可選地，所述獲取從服務器的數量，包括：獲取未發生故障或未停止工作的從服務器的數量。

為實現上述目的，根據本發明實施例的另一個方面，提供了一種分布式數據查詢的裝置，包括：邏輯控制單元、分配單元和合并單元；所述邏輯控制單元，用于：將數據查詢請求拆解成多個子請求；所述分配單元，用于：將子請求分配至對應的從服務器；所述合并單元，用于：獲取每個從服務器根據分配的子請求得到該子請求的查詢結果，并對所有子請求的查詢結果進行合并處理，得到數據查詢請求的查詢結果。