[發明專利]用于提及檢測中的消歧的方法和系統

有效

• 申請號: 201410601824.4
• 申請日: 2014-10-31
• 公開（公告）號: CN105630763B
• 公開（公告）日: 2019-08-02
• 發明（設計）人: 祝慧佳;倪淵;許瓊愷;曹鋒;N·斯洛寧
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 王茂華

本公開內容涉及用于提及檢測中的消歧的方法和系統。一個實施例公開了一種用于提及檢測中的消歧的方法，包括：確定文本中的目標詞形在文本中出現的至少一個位置；基于目標詞形在每個位置處的詞袋上下文，獲取目標詞形在文本中的總體詞袋上下文，每個位置處的詞袋上下文包含位置的預定鄰域內的詞；基于目標詞形在每個位置處的資源上下文，獲取目標詞形在文本中的總體資源上下文，每個位置處的資源上下文包含位置的預定鄰域內的其他詞形所對應的資源；以及基于總體詞袋上下文和總體資源上下文來確定目標詞形與用于目標詞形的候選資源之間的相似度。還描述了相應的系統。

技術領域

本發明的實施例總體上涉及信息處理領域，并且特別涉及用于提及檢測中消歧的方法和系統。

背景技術

提及檢測(mention detection)是一類用于處理文本信息的方法。提及檢測被用于自動地檢測文本中對人名、地名、組織等各種實體的提及(mention)，并且將這些提及映射到與實體相關聯的資源。作為示例，提及檢測工具如果檢測到文本中存在了對“MichaelJordan”這一人名的提及，可以將該提及映射到例如網絡詞典中關于“Michael Jordan”的web頁面。在使用中，例如當用戶將光標置于這些提及之上或者附近時，可以以浮動提示的方式向用戶呈現相應資源的統一資源標識符(URI)。

提及檢測中的一個重要步驟是消歧(disambiguation)。對相同實體的提及可能具有不同的詞形(surface form)。例如，對“Michael Jordan”這一實體的提及可能是“Jordan”、“Michael”、“Air Jordan”、“MJ”，等等。而且，針對不同實體的提及可能具有相同的詞形。例如，對“Michael Jackson”的提及的詞形同樣可以是“MJ”。消歧操作的目的是確定文本的給定提及究竟應當被映射到哪個實體所對應的資源，例如，詞形“MJ”應當被鏈接到“Michael Jordan”還是“Michael Jackson”的資源。

在傳統的消歧算法中，通常只考慮詞形屬于候選概率的先驗概率和上下文得分。上下文得分是通過計算詞形周圍出現的詞與候選資源的提及周圍出現的詞之間的相似度得分。然而，在這種傳統方法中，文本中的大量有用信息并未被充分地加以利用。由此，消歧的準確性和效果有待提高。

發明內容

總體上，本發明的實施例提出一種用于在程序調試的變量跟蹤的技術方案。

在本發明的一個方面，提供一種用于提及檢測中的消歧的方法。所述方法包括：確定文本中的目標詞形在所述文本中出現的至少一個位置；基于所述目標詞形在每個所述位置處的詞袋上下文，獲取所述目標詞形在所述文本中的總體詞袋上下文，每個所述位置處的所述詞袋上下文包含所述位置的預定鄰域內的詞；基于所述目標詞形在每個所述位置處的資源上下文，獲取所述目標詞形在所述文本中的總體資源上下文，每個所述位置處的所述資源上下文包含所述位置的預定鄰域內的其他詞形所對應的資源；以及基于所述總體詞袋上下文和所述總體資源上下文來確定所述目標詞形與用于所述目標詞形的候選資源之間的相似度。

在另一方面，提供一種用于提及檢測中的消歧的系統。所述系統包括：詞形位置確定單元，被配置為確定文本中的目標詞形在所述文本中出現的至少一個位置；詞袋上下文獲取單元，被配置為基于所述目標詞形在每個所述位置處的詞袋上下文，獲取所述目標詞形在所述文本中的總體詞袋上下文，每個所述位置處的所述詞袋上下文包含所述位置的預定鄰域內的詞；資源上下文獲取單元，被配置為基于所述目標詞形在每個所述位置處的資源上下文，獲取所述目標詞形在所述文本中的總體資源上下文，每個所述位置處的所述資源上下文包含所述位置的預定鄰域內的其他詞形所對應的資源；以及消歧單元，被配置為基于所述總體詞袋上下文和所述總體資源上下文來確定所述目標詞形與用于所述目標詞形的候選資源之間的相似度。