[發明專利]基于記憶增強機制的詞義消歧方法和裝置

在審

• 申請號: 202210884187.0
• 申請日: 2022-07-25
• 公開（公告）號: CN115204112A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 鹿文鵬;闞保碩;張維玉;喬新曉;鄭超群;馬鳳英
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F40/169;G06F40/30;G06K9/62
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 孫園園

本發明公開了一種基于記憶增強機制的詞義消歧方法和裝置，屬于人工智能領域。本發明要解決的技術問題為如何對給定上下文中的歧義詞進行詞義消歧，采用的技術方案為：通過構建并訓練由上下文編碼器模塊、詞義注釋編碼器模塊、記憶增強模塊、預測模塊組成的詞義消歧模型，實現對上下文編碼、對目標歧義詞的候選詞義注釋編碼，通過存儲同一上下文中其他歧義詞消歧后的詞義注釋并進行交互來增強當前目標歧義詞的表示，最后通過計算目標歧義詞與其候選詞義注釋的匹配度得分，以達到對歧義詞進行詞義消歧的目標。該裝置包括上下文編碼器模塊構建單元、詞義注釋編碼器模塊構建單元、記憶增強模塊構建單元、預測模塊構建單元、詞義消歧模型訓練單元。

技術領域

本發明涉及人工智能、自然語言處理技術領域，具體涉及一種基于記憶增強機制的詞義消歧方法。

背景技術

智能翻譯系統是人機交互的核心技術之一，能夠根據用戶輸入的待翻譯的文本將其轉換為用戶需要的目標語言的文本，可以大大減輕人工翻譯的負擔。智能翻譯系統在自助服務、智能客服、出國旅游等領域有著廣泛的現實應用。對于用戶輸入的待翻譯的文本，如何快速確定待翻譯文本中所有詞的正確詞義，是智能翻譯系統的核心技術。

詞義消歧任務旨在判定在給定上下文中的歧義詞的正確詞義，這與許多自然語言處理任務的核心目標是一致的，如前所述智能翻譯系統。詞義消歧任務是一項極具挑戰的工作，現有方法還尚未能完善地解決這一問題。

現有的基于神經網絡的詞義消歧方法利用LSTM和Seq2Seq等神經序列模型來消除目標歧義詞的歧義，但它們只專注于學習歧義詞的詞義注釋與其上下文之間的交互關系，沒有考慮使用詞匯知識。針對這一缺陷，一些工作試圖利用詞匯知識來優化基于神經網絡的方法，它們將歧義詞的詞義注釋與上下文結合到神經網絡模型中。它們大多使用兩個獨立的編碼器對歧義詞的詞義注釋和上下文進行建模，所以無法捕捉到交互信息來加強彼此的表示。同時，它們只關注目標歧義詞的詞義注釋和上下文的學習，而忽略了同一個上下文中其他歧義詞消歧后的詞義注釋對目標歧義詞消歧的幫助。綜上所述，現有的詞義消歧方法對于處理目標歧義詞的詞義注釋與上下文之間的交互、目標歧義詞的詞義注釋與同一上下文中其他歧義詞消歧后的詞義注釋之間的交互均有所欠缺，有不可忽視的弊端。

發明內容

針對現有的詞義消歧方法的不足，本發明提出了一種基于記憶增強機制的詞義消歧方法。該方法，使用上下文編碼器模塊和詞義注釋編碼器模塊對給定的上下文和目標歧義詞的詞義注釋進行編碼來獲得目標歧義詞的編碼表示及其候選詞義注釋的編碼表示；使用記憶增強模塊存儲同一上下文中其他歧義詞消歧后的詞義注釋的編碼表示，并與目標歧義詞的的編碼表示進行交互來增強目標歧義詞的編碼表示，幫助模型判定目標歧義詞所對應的正確詞義注釋，從而提高模型在詞義消歧任務上整體性能。

本發明的技術任務是按以下方式實現的，基于記憶增強機制的詞義消歧方法，該方法是通過構建并訓練由上下文編碼器模塊、詞義注釋編碼器模塊、記憶增強模塊、預測模塊組成的詞義消歧模型，實現對上下文編碼、對目標歧義詞的候選詞義注釋編碼，通過存儲同一上下文中其他歧義詞消歧后的詞義注釋并進行交互來增強當前目標歧義詞的表示，最后通過計算目標歧義詞與其候選詞義注釋的匹配度得分，以達到對歧義詞進行詞義消歧的目標；具體如下：

上下文編碼器模塊首先接收給定的上下文作為輸入，將其送入預訓練語言模型BERT中進行編碼，得到上下文的編碼表示；

詞義注釋編碼器模塊首先接收目標歧義詞對應的候選詞義注釋作為輸入，將其送入預訓練語言模型BERT中進行編碼，得到候選詞義注釋的編碼表示；

記憶增強模塊接收來自預測模塊的同一上下文的其他歧義詞消歧后的詞義注釋的編碼表示和來自上下文編碼器的上下文的編碼表示作為輸入，通過注意力機制等操作，得到的目標歧義詞的增強表示；

預測模塊將詞義注釋編碼器模塊得到的候選詞義注釋的編碼表示和記憶模塊得到的目標歧義詞的增強表示作為預測模塊的輸入，以此來預測目標歧義詞的詞義注釋，進而判斷歧義詞的正確詞義。