[發明專利]一種多維度信息合并方法、裝置、設備及存儲介質

有效

• 申請號: 202011257378.1
• 申請日: 2020-11-12
• 公開（公告）號: CN112100318B
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 趙自波;李青龍;駱飛;趙沖
• 申請（專利權）人: 北京智慧星光信息技術有限公司
• 主分類號: G06F16/31
• 分類號: G06F16/31;G06F16/33;G06F40/216;G06F40/258
• 代理公司: 北京鴻元知識產權代理有限公司 11327
• 代理人: 董永輝;曹素云

1.一種多維度信息合并方法，其特征在于，包括：

提取文本的特征主題詞；

對所述特征主題詞分別進行哈希計算，從而得到包含多個哈希值的集合Set-H，對所述集合Set-H中的所有哈希值取和作為主指紋Hash_M；

對所述集合Set-H中的各哈希值進行組合取和作為從指紋集合Set_S，其中，n和m為正整數，mn；

將所述從指紋集合Set_S與主指紋Hash_M合并為并集，將所述并集作為Key、所述主指紋Hash_M作為Value構成鍵值對作為指紋特征子庫；

以所述指紋特征子庫到指紋特征總庫中匹配，若匹配成功，則將所述指紋特征子庫舍棄，若匹配失敗，則將所述特征主題詞的哈希值進行組合取和作為所述指紋特征子庫的Value，并將所述文本的指紋特征子庫添加到指紋特征總庫中，其中，在所述指紋特征總庫中包含有對應多篇文本的指紋特征子庫，

其中，所述從指紋集合Set_S還包括所述文本中字符數超過設定的長度閾值的k句話連接起來計算的哈希值；

所述從指紋集合Set_S還包括所述文本的原貼url計算的哈希值，

所述指紋特征總庫中的各指紋特征子庫在設定時間段內有效，且在有效期內，若有指紋特征子庫匹配上指紋特征總庫中的任一指紋特征子庫，并且所述任一指紋特征子庫的有效期小于設定的到期閾值，則將所述任一指紋特征子庫延長一段時間。

2.根據權利要求1所述的多維度信息合并方法，其特征在于，所述以所述指紋特征子庫到所述指紋特征總庫中匹配是指：

以所述指紋特征子庫中的Key與所述指紋特征總庫中的各指紋特征子庫的Key進行匹配。

3.根據權利要求1所述的多維度信息合并方法，其特征在于，

所述延長一段時間是指延長不少于一小時，且最多延長至有效期不超過72小時，所述到期閾值是不超過一小時。

4.根據權利要求1所述的多維度信息合并方法，其特征在于，

所述提取文本的特征主題詞包括：

采用TF-IDF進行特征主題詞提取。

5.根據權利要求1所述的多維度信息合并方法，其特征在于，

所述指紋特征總庫和指紋特征子庫是redis數據庫。

6.一種多維度信息合并裝置，其特征在于，包括：

主題詞提取模塊，用于提取文本的特征主題詞；

指紋特征子庫構建模塊，用于對所述特征主題詞分別進行哈希計算，從而得到包含多個哈希值的集合Set-H，對所述集合Set-H中的所有哈希值取和作為主指紋Hash_M；對所述集合Set-H中的各哈希值進行組合取和作為從指紋集合Set_S，其中，n和m為正整數，mn；將所述從指紋集合Set_S與主指紋Hash_M合并為并集，將所述并集作為Key、所述主指紋Hash_M作為Value構成鍵值對作為指紋特征子庫；

特征匹配模塊，用于以所述指紋特征子庫到指紋特征總庫中匹配，若匹配成功，則將所述指紋特征子庫舍棄，若匹配失敗，則將所述特征主題詞的哈希值進行組合取和作為所述指紋特征子庫的Value，并將所述文本的指紋特征子庫添加到指紋特征總庫中，其中，在所述指紋特征總庫中包含有對應多篇文本的指紋特征子庫，

其中，所述從指紋集合Set_S還包括所述文本中字符數超過設定的長度閾值的k句話連接起來計算的哈希值；

所述從指紋集合Set_S還包括所述文本的原貼url計算的哈希值，

所述指紋特征總庫中的各指紋特征子庫在設定時間段內有效，且在有效期內，若有指紋特征子庫匹配上指紋特征總庫中的任一指紋特征子庫，并且所述任一指紋特征子庫的有效期小于設定的到期閾值，則將所述任一指紋特征子庫延長一段時間。

7.一種電子設備，其特征在于，所述電子設備包括：

至少一個處理器；以及，

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1至5中任一所述的多維度信息合并方法。

8.一種計算機可讀存儲介質，存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1至5中任一所述的多維度信息合并方法。