[發(fā)明專利]一種索引建立方法及裝置

有效

• 申請?zhí)枺?/td>: 201711069369.8
• 申請日: 2017-11-03
• 公開（公告）號: CN107784110B
• 公開（公告）日: 2020-07-03
• 發(fā)明（設(shè)計）人: 謝永恒;張俠;火一莽;萬月亮
• 申請（專利權(quán)）人: 北京銳安科技有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種索引建立方法，其特征在于，包括：

提取目標(biāo)文本的特征詞；

對所述特征詞進行排序得到特征字符串；

對所述特征字符串應(yīng)用MinHash算法，得到所述目標(biāo)文本對應(yīng)的哈希值；

查找映射緩存池中是否存在與所述哈希值匹配的索引映射桶，若存在，則在所述索引映射桶中建立所述哈希值與所述目標(biāo)文本之間的索引；

若所述映射緩存池中不存在與所述哈希值匹配的索引映射桶，建立與所述哈希值匹配的索引映射桶，并建立所述哈希值與所述目標(biāo)文本之間的索引；

所述方法還包括：

若所述映射緩存池中存在與所述哈希值匹配的索引映射桶，則將與所述哈希值對應(yīng)的文本數(shù)據(jù)作為與所述目標(biāo)文本相似的文本數(shù)據(jù)進行推薦；

所述方法還包括：

隨機確定N個哈希函數(shù)；

基于所述N個哈希函數(shù)對目標(biāo)文本的特征字符串分別進行哈希運算，得到N個哈希值；

統(tǒng)計所述N個哈希值位于映射緩存池中同一索引映射桶的相近哈希值的數(shù)量；

將所述相近哈希值的數(shù)量進行排序，并根據(jù)排序結(jié)果確定與所述目標(biāo)文本相似的推薦文本數(shù)據(jù)集；

通過計算目標(biāo)文本特征詞元素集合與推薦文本數(shù)據(jù)特征詞元素集合之間的相似度，得到所述目標(biāo)文本與所述推薦文本數(shù)據(jù)集中每個推薦文本數(shù)據(jù)之間的相似度；

將相似度滿足設(shè)定閾值的推薦文本數(shù)據(jù)進行推薦；

其中，N為正整數(shù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述索引映射桶中建立所述哈希值與所述目標(biāo)文本之間的索引，包括：

若所述索引映射桶中不存在與所述哈希值相同的索引哈希值，則將所述哈希值存入所述索引映射桶中，并建立所述哈希值與所述目標(biāo)文本之間的索引；

若所述索引映射桶中已經(jīng)存在與所述哈希值相同的索引哈希值，則不對所述哈希值進行再次保存，直接建立所述索引哈希值與所述目標(biāo)文本之間的索引。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述提取目標(biāo)文本的特征詞包括：

對目標(biāo)文本進行分詞；

根據(jù)各分詞的詞性和出現(xiàn)的頻率確定所述目標(biāo)文本的特征詞。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對目標(biāo)文本進行分詞包括：

基于大粒度或小粒度模式，結(jié)合詞頻以及詞性選擇對應(yīng)的分詞單元對所述目標(biāo)文本以單詞為單位進行劃分，并標(biāo)注每個單詞的詞性。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，在對目標(biāo)文本進行分詞之前，還包括：

對目標(biāo)文本中不能識別的字符進行過濾。

6.一種索引建立裝置，其特征在于，包括：

特征詞提取模塊，用于提取目標(biāo)文本的特征詞；

排序模塊，用于對所述特征詞進行排序得到特征字符串；

第一運算模塊，用于對所述特征字符串應(yīng)用MinHash算法，得到所述目標(biāo)文本對應(yīng)的哈希值；

第一建立模塊，用于查找映射緩存池中是否存在與所述哈希值匹配的索引映射桶，若存在，則在所述索引映射桶中建立所述哈希值與所述目標(biāo)文本之間的索引；

第二建立模塊，用于若所述映射緩存池中不存在與所述哈希值匹配的索引映射桶，建立與所述哈希值匹配的索引映射桶，并建立所述哈希值與所述目標(biāo)文本之間的索引；

所述裝置還包括：

推薦模塊，用于若所述映射緩存池中存在與所述哈希值匹配的索引映射桶，則將與所述哈希值對應(yīng)的文本數(shù)據(jù)作為與所述目標(biāo)文本相似的文本數(shù)據(jù)進行推薦；或者用于隨機確定N個哈希函數(shù)；基于所述N個哈希函數(shù)對目標(biāo)文本的特征字符串分別進行哈希運算，得到N個哈希值；統(tǒng)計所述N個哈希值位于映射緩存池中同一索引映射桶的相近哈希值的數(shù)量；將所述相近哈希值的數(shù)量進行排序，并根據(jù)排序結(jié)果確定與所述目標(biāo)文本相似的推薦文本數(shù)據(jù)集；通過計算目標(biāo)文本特征詞元素集合與推薦文本數(shù)據(jù)特征詞元素集合之間的相似度，得到所述目標(biāo)文本與所述推薦文本數(shù)據(jù)集中每個推薦文本數(shù)據(jù)之間的相似度；將相似度滿足設(shè)定閾值的推薦文本數(shù)據(jù)進行推薦；其中，N為正整數(shù)。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述第一建立模塊包括：

保存單元，用于若所述索引映射桶中不存在與所述哈希值相同的索引哈希值，則將所述哈希值存入所述索引映射桶中，并建立所述哈希值與所述目標(biāo)文本之間的索引；

建立單元，用于若所述索引映射桶中已經(jīng)存在與所述哈希值相同的索引哈希值，則不對所述哈希值進行再次保存，直接建立所述索引哈希值與所述目標(biāo)文本之間的索引。