[發(fā)明專利]一種面向海量向量庫的快速檢索系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202011269580.6
• 申請日: 2020-11-13
• 公開（公告）號: CN112364080A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 謝建
• 申請（專利權(quán)）人: 武漢長江通信智聯(lián)技術(shù)有限公司;武漢長江通信產(chǎn)業(yè)集團(tuán)股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/28
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 許蓮英

1.一種基于面向海量向量庫的快速檢索系統(tǒng)的檢索方法，其特征在于：

所述面向海量向量庫的快速檢索系統(tǒng)包括：中心控制單元以及多個子系統(tǒng)單元；

所述中心控制單元與所述多個子系統(tǒng)單元依次連接；

所述檢索方法包括以下步驟：

步驟1：中心控制單元提取原始信號的特征向量，人工標(biāo)記原始信號數(shù)據(jù)的標(biāo)簽，結(jié)合原始信號的特征向量構(gòu)建原始信號數(shù)據(jù)的樣本，根據(jù)原始信號數(shù)據(jù)的標(biāo)簽對原始信號數(shù)據(jù)的樣本排序得到排序后信號數(shù)據(jù)樣本，將相同的排序后信號數(shù)據(jù)樣本中標(biāo)簽對應(yīng)的排序后信號數(shù)據(jù)樣本進(jìn)行合并得到合并后信號數(shù)據(jù)樣本集合；

步驟2：中心控制單元為每個子系統(tǒng)單元分配數(shù)據(jù)樣本集合，各子系統(tǒng)單元將分配的數(shù)據(jù)樣本集合進(jìn)行重新組合，從重新組合后的樣本集合中挑選出待分裂樣本集合，從待分裂樣本集合中隨機(jī)挑選一個樣本作為分裂節(jié)點，計算待分裂樣本集合中所有樣本與分裂節(jié)點的相似度，利用相似度對待分裂樣本集合進(jìn)行排序，選擇中間樣本的相似度作為閾值，根據(jù)相似度與閾值之間的關(guān)系更新每個待分裂樣本的編碼，不斷重復(fù)對每個聚類進(jìn)行分裂，直至每個聚類所包含樣本數(shù)量小于指定數(shù)量，同時更新分裂節(jié)點，并將分裂節(jié)點加入到分裂節(jié)點集合；

步驟3：在中心控制單元提取待檢索目標(biāo)信號的特征向量，并封裝成包含特征向量與聚類編碼的形式，并將其分發(fā)給各子系統(tǒng)單元，從各子系統(tǒng)單元的分裂集合中找出聚類編碼為-1的節(jié)點開始，計算該分裂節(jié)點與待檢索樣本的相似度，根據(jù)相似度更新待檢索樣本編碼，重復(fù)上述步驟，直至在該子系統(tǒng)單元中找不到與待檢索樣本相同的分裂節(jié)點為止，取出此時該子系統(tǒng)單元中與待檢索樣本聚類編碼一致的所有樣本，將取出的所有樣本進(jìn)行相似度排序，選出相似度最大的m個樣本作為該子系統(tǒng)單元檢索結(jié)果上傳至中心控制單元；中心控制單元將各子系統(tǒng)單元上傳上來的檢索結(jié)果合并，并按照相似度進(jìn)行排序得到合并后的集合，剔除掉標(biāo)簽一致的樣本，選擇相似度最大的k個樣本作為最終輸出，即topK；

步驟4：中心控制單元提取將待插入樣本的原始信息的特征向量，人工標(biāo)記待插入樣本的標(biāo)簽，在中心控制單元數(shù)據(jù)集中對標(biāo)簽屬性采用二分查找法將待插入樣本按照標(biāo)簽順序插入到中心控制單元對應(yīng)的數(shù)據(jù)集合中；隨機(jī)選取一個子系統(tǒng)單元作為待插入子系統(tǒng)單元，根據(jù)步驟3更新待插入樣本聚類編碼，直至在該子系統(tǒng)單元中找不到對應(yīng)的分裂節(jié)點為止；遍歷待插入子系統(tǒng)單元中所有與待插入樣本聚類編碼相同樣本的數(shù)量，如果數(shù)量大于指定閾值，從該聚類中選取一個樣本作為分裂節(jié)點，計算該聚類中所有樣本與分裂節(jié)點的相似度，更新該聚類所有節(jié)點的聚類編碼，將分裂節(jié)點添加到分裂節(jié)點集合中；

步驟5：人工給出待刪除樣本的標(biāo)簽，在中心控制單元對標(biāo)簽采用二分查找法查找將待刪除樣本在中心控制單元對應(yīng)的數(shù)據(jù)集合中合并后的數(shù)據(jù)；若不存在，則直接返回，否則遍歷查找到合并后的數(shù)據(jù)的每個特征向量，將每個特征向量采用步驟3所述方法將每個待刪除數(shù)據(jù)的特征向量作為待檢索特征向量在各子系統(tǒng)單元中進(jìn)行檢索得到top1，如果檢索結(jié)果的標(biāo)簽與待刪除樣本標(biāo)簽相同，則刪除該子系統(tǒng)單元中的檢索結(jié)果樣本，遍歷待插入子系統(tǒng)單元中所有與檢索結(jié)果樣本聚類編碼相同樣本的數(shù)量，如果數(shù)量為零，則刪除掉該子系統(tǒng)單元分裂節(jié)點集合中與檢索結(jié)果樣本聚類編碼相同的分裂節(jié)點。