[發明專利]基于記憶增強機制的詞義消歧方法和裝置

在審

• 申請號: 202210884187.0
• 申請日: 2022-07-25
• 公開（公告）號: CN115204112A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 鹿文鵬;闞保碩;張維玉;喬新曉;鄭超群;馬鳳英
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/169;G06F40/30;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

1.一種基于記憶增強機制的詞義消歧方法，其特征在于，該方法是通過構建并訓練由上下文編碼器模塊、詞義注釋編碼器模塊、記憶增強模塊、預測模塊組成的詞義消歧模型，實現對上下文編碼、對目標歧義詞的候選詞義注釋編碼，通過存儲同一上下文中其他歧義詞消歧后的詞義注釋并進行交互來增強當前目標歧義詞的表示，最后通過計算目標歧義詞與其候選詞義注釋的匹配度得分，以達到對歧義詞進行詞義消歧的目標；具體如下：

上下文編碼器模塊首先接收給定的上下文作為輸入，將其送入預訓練語言模型BERT中進行編碼，得到上下文的編碼表示；

詞義注釋編碼器模塊首先接收目標歧義詞對應的候選詞義注釋作為輸入，將其送入預訓練語言模型BERT中進行編碼，得到候選詞義注釋的編碼表示；

記憶增強模塊接收來自預測模塊的同一上下文的其他歧義詞消歧后的詞義注釋的編碼表示和來自上下文編碼器的上下文的編碼表示作為輸入，通過注意力機制等操作，得到的目標歧義詞的增強表示；

預測模塊將詞義注釋編碼器模塊得到的候選詞義注釋的編碼表示和記憶模塊得到的目標歧義詞的增強表示作為預測模塊的輸入，以此來預測目標歧義詞的詞義注釋，進而判斷歧義詞的正確詞義。

2.根據權利要求1所述的基于記憶增強機制的詞義消歧方法，其特征在于，所述上下文編碼器模塊的構建過程具體如下，包括：

將給定的上下文C＝{c₁,c₂,...,c_w,...,c_n}作為上下文編碼器模塊的輸入，其中c₁,c₂,c_n代表上下文中的單詞，c_w代表目標歧義詞；在上下文前后分別加入特定的開始符CLS和結束符SEP；將上下文送入BERT進行編碼，得到上下文的編碼表示，記為公式描述如下：

C＝{CLS,c₁,c₂,...,c_w,...,c_n,SEP} (1)

其中，公式(1)表示在上下文C前后分別加入特定的開始符CLS、結束符SEP；公式(2)表示利用BERT模型對上下文C進行編碼；表示上下文的編碼表示；表示上下文中的第i個單詞對應的編碼表示；為目標歧義詞的編碼表示。

3.根據權利要求2所述的基于記憶增強機制的詞義消歧方法，其特征在于，所述詞義注釋編碼器模塊的構建過程具體如下：

目標歧義詞c_w對應的候選詞義注釋為其中代表目標歧義詞c_w對應的第i個候選詞義注釋，每個候選詞義注釋都是一個完整的句子；在每個候選詞義注釋的前后分別加入特定的開始符CLS和結束符SEP，此操作與上下文編碼器模塊對上下文C的處理方式一致，在此不再做公式說明；在添加特定符號后，將每個候選詞義注釋送入BERT進行編碼，選擇特定的開始符號CLS位置的編碼表示作為候選詞義注釋的編碼表示，記為公式描述如下：

其中，公式(4)表示使用BERT模型對目標歧義詞c_w對應的第i個候選詞義注釋進行編碼；CLS表示對添加特定的開始符CLS和結束符SEP后的每個候選詞義注釋編碼后取CLS位置的編碼表示作為每個候選詞義注釋的編碼表示；表示候選詞義注釋的編碼表示。