[發明專利]高速并行數據查找方法

有效

• 申請號: 201710320330.2
• 申請日: 2017-05-09
• 公開（公告）號: CN108874799B
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 叢楊;田冬英
• 申請（專利權）人: 中國科學院沈陽自動化研究所
• 主分類號: G06F16/2453
• 分類號: G06F16/2453
• 代理公司: 沈陽科苑專利商標代理有限公司 21002
• 代理人: 王倩

1.高速并行數據查找方法，其特征在于包括以下步驟：

離線階段：分割train集,并創建label集；

在線階段：通過多層并行查詢器查label集、train集的子集，實現數據查找；所述在線階段包括以下步驟：

步驟(1)：首先將query集分批，每批處理q_num個query；

步驟(2)：為每個label分配一個節點緩存leaf_buffer，大小為b_num＝q_num+b_thres，b_thres為設定值，用于存放query的索引；

步驟(3)：將每批query與label集應用上層的并行查詢器查找結果，并將結果推送到leaf_buffer內；

步驟(4)：查詢所有leaf_buffer；如果leaf_buffer內個數超過_thres，則執行步驟(5)，否則執行步驟(3)；

步驟(5)：對于每個leaf_buffer內個數超過b_thres的leaf_buffer，根據其內索引獲取到query的子集query_buffer，將其與train的子集train_leaf應用下層的并行查詢器查找KNN，將當前獲得的局部的結果更新到最終所需全局的結果內。

2.根據權利要求1所述的高速并行數據查找方法，其特征在于所述離線階段包括將train集劃分成多個節點，由每個節點內的數據子集train_leaf生成label集。

3.根據權利要求2所述的高速并行數據查找方法，其特征在于所述將train集劃分成多個節點具體為基于KD樹將train集劃分成多個leaf節點。

4.根據權利要求1所述的高速并行數據查找方法，其特征在于所述并行查詢器為基于brute force方法的并行查詢器。

5.根據權利要求1或4所述的高速并行數據查找方法，其特征在于所述并行查詢器的結果包括RNN和/或KNN的一個或多個。

6.根據權利要求1所述的高速并行數據查找方法，其特征在于所述在線階段：先用上層的并行查詢器查label集，結果緩存到節點緩存leaf_buffer，對已滿的leaf_buffer采用下層的并行查詢器查train集的子集。