[發明專利]實體相似匹配方法及系統

在審

• 申請號: 202011179405.8
• 申請日: 2020-10-29
• 公開（公告）號: CN112288005A
• 公開（公告）日: 2021-01-29
• 發明（設計）人: 周杰
• 申請（專利權）人: 四川長虹電器股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/335;G06F16/31;G06F16/338
• 代理公司: 成都虹橋專利事務所(普通合伙) 51124
• 代理人: 吳中偉

本發明涉及自然語言處理技術領域，本發明旨在解決現有的短文本相似度匹配方法存在的效率較低的問題，提出一種實體相似匹配方法及系統，方案概括為：初始化實體索引表、字索引表和停用字與高頻字表；接收輸入的字符串，過濾字符串中的停用字與高頻字后，將字符串分割為字符串序列；根據字符串序列在字索引表中進行檢索得到檢索結果，對檢索結果進行匯總排序，并從中選取前N個檢索結果；分別計算N個檢索結果的檢索相似度，從N個檢索結果中選取檢索相似度大于預設值的檢索結果；根據檢索相似度大于預設值的檢索結果在實體索引表中進行檢索得到對應的實體字符串，從實體字符串中確定出相似度最高的目標實體。本發明提高了實體相似匹配的效率。

技術領域

本發明涉及自然語言處理技術領域，具體來說涉及一種實體相似匹配方法及系統。

背景技術

長文本相似度算法和檢索算法目前已經有一些較為成熟的算法，比如谷歌的simhash算法，能夠從海量長文本中較為高效的找到與目標文本相似的文本，但是這種算法不適用于短文本。傳統的編輯距離算法、余弦相似度算法等能夠適用于短文本相似度匹配，但是隨著數據量增加，匹配效率逐漸降低，經過測試發現編輯距離算法在1000條短文本中查找相似文本效率較好，超過1000條則效率不高，原因在于編輯距離算法需要對輸入的短文本與數據庫中的所有短文本進行比較，計算量太大，但實際應用時其中大多數文本不必參與相似度計算。

發明內容

本發明旨在解決現有的短文本相似度匹配方法存在的效率較低的問題，提出一種實體相似匹配方法及系統。

本發明解決上述技術問題所采用的技術方案是：實體相似匹配方法，包括以下步驟：

步驟1、初始化實體索引表、字索引表和停用字與高頻字表，所述實體索引表用于存儲所有實體，所述字索引表用于存儲除開停用字與高頻字的所有字與實體的映射關系，所述停用字與高頻字表用于存儲實體中的停用字與高頻字；

步驟2、接收輸入的字符串，根據所述停用字與高頻字表過濾字符串中的停用字與高頻字后，將字符串分割為字符串序列；

步驟3、根據所述字符串序列在字索引表中進行檢索得到檢索結果，對所述檢索結果進行匯總排序，并從中選取前N個檢索結果，所述N為大于1的整數；

步驟4、分別計算選取的N個檢索結果的檢索相似度，從N個檢索結果中選取所述檢索相似度大于預設值的檢索結果；

步驟5、根據所述檢索相似度大于預設值的檢索結果在實體索引表中進行檢索得到對應的實體字符串，從所述實體字符串中確定出相似度最高的目標實體。

進一步的，步驟1中，所述實體索引表和字索引表使用哈希索引，實體索引表的hashkey為自增數字序列，實體索引表的hashvalue為實體；字索引表的hashkey為字，字索引表的hashvalue為實體索引表的hashvalue的長度。

進一步的，步驟1中，所述停用字與高頻字表中的停用字與高頻字通過人為經驗和統計方法得到。

進一步的，步驟3中，所述N為20。

進一步的，步驟4中，所述檢索相似度的計算方法包括：

設檢索結果為ENT1，L1為檢索到的ENT1的次數，L2為ENT1的長度，則檢索相似度FIND_SIM＝L1/L2。

進一步的，步驟4中，所述預設值為0.5。

進一步的，步驟5中，所述從實體字符串中確定出相似度最高的目標實體包括：

使用編輯距離算法或余弦相似度算法計算各實體字符串的相似度，從實體字符串中確定出所述相似度最高的目標實體。

本發明還提出一種實體相似匹配系統，包括：