[發明專利]一種數據查詢方法及數據查詢節點

有效

• 申請號: 201611249521.6
• 申請日: 2016-12-29
• 公開（公告）號: CN108255871B
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 張可力;赫彩鳳;王劍濤
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/957
• 分類號: G06F16/957
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本申請實施例提供一種數據查詢方法及數據查詢節點，其方法包括：按照獲取規則向多個數據緩存節點獲取多個數據切片，向每個數據緩存節點獲取一個數據切片；將多個數據切片中包含的對象劃分為第一對象和第二對象；若第一對象的數量大于或等于目標數量，則將滿足第二候選條件的第二對象確定為第一對象；向多個數據緩存節點獲取每個第一對象在每個數據緩存節點中的特征值，根據每個第一對象在每個數據緩存節點中的特征值，按照預設聚合函數計算每個第一對象的真實聚合值，并按照真實聚合值由大到小的順序，選取目標數量的第一對象確定為目標對象。采用本申請，能夠降低在一次網絡傳輸中數據的傳輸量，并減少網絡傳輸輪次，進而提高了數據查詢效率。

技術領域

本申請涉及互聯網技術領域，尤其涉及一種數據查詢方法及數據查詢節點。

背景技術

伴隨著計算機技術、通信技術、互聯網技術的發展，數據積累的越來越多。面對激增的數據，人們希望能夠挖掘出有價值的信息，從而可以更好地利用這些數據為人們服務，其中，Top-K查詢在搜索引擎、電子商務等領域有著廣泛的應用，而Top-K查詢是從海量數據中返回最符合需求的前K個結果。

由于數據量的急劇增長，實際應用中多采用分布式存儲系統，包括多個數據緩存節點和一個數據查詢節點，在進行分布式Top-K查詢的過程中，將各個數據緩存節點的數據傳輸至數據查詢節點，以便于數據查詢節點從中選出最符合需求的前K個結果。最簡單的方案是將各個數據緩存節點的數據全部發送至數據查詢節點，然而這樣使得傳輸的數據達到百萬級別，而數據緩存節點和數據查詢節點之間的傳輸帶寬是有一定限制的，在數據傳輸總量較大的情況下，數據傳輸效率較低，影響了數據查詢效率，而在另一種方案中，數據查詢節點以逐個數據的獲取方式從各個數據緩存節點獲取數據，通過漸進的方案構建最終的K個結果，然而采用這種方式獲得的K個結果會有大量的數據傳輸次數，也影響了數據查詢效率。

發明內容

本申請實施例提供一種數據查詢方法及數據查詢節點，能夠通過傳輸包含一定量數據的數據切片的方式，降低在一次網絡傳輸中數據的傳輸量，并減少網絡傳輸輪次，進而提高了數據查詢效率。

本申請實施例第一方面提供了一種數據查詢方法，包括：

按照獲取規則向多個數據緩存節點獲取多個數據切片，向每個數據緩存節點獲取一個數據切片，其中，所述獲取規則包括過濾門限和獲取數量，每個數據切片所包含對象的特征值大于所述過濾門限且所包含對象的數量不大于所述獲取數量；

將所述多個數據切片中包含的對象劃分為第一對象和第二對象，其中，所述第一對象為滿足第一候選條件的對象，所述第二對象為所述多個數據切片包含的對象中除所述第一對象之外的對象；

若所述第一對象的數量大于或等于目標數量，則將滿足第二候選條件的第二對象確定為第一對象；

向所述多個數據緩存節點獲取每個第一對象在每個數據緩存節點中的特征值，根據每個所述第一對象在所述每個數據緩存節點中的特征值，按照預設聚合函數計算每個所述第一對象的真實聚合值，并按照真實聚合值由大到小的順序，選取所述目標數量的第一對象確定為目標對象。

其中，一個數據緩存節點包含多個對象針對同一個特征的特征值，每個數據緩存節點的多個對象按照特征值降序排列，不同數據緩存節點之間存在相同的對象。

在本申請實施例的第一方面中，數據查詢節點能夠通過傳輸包含一定量數據的數據切片的方式，降低在一次網絡傳輸中數據的傳輸量，并減少網絡傳輸輪次，進而提高了數據查詢效率。

在一個可選的實施例中，所述將所述多個數據切片中包含的對象劃分為第一對象和第二對象，包括：

按照輪次訪問規則，將所述多個數據切片進行輪次查詢，并將所述多個數據切片中包含的對象劃分為第一對象和第二對象。