[發明專利]一種基于注意力神經網絡的生物醫學文本詞義消岐方法

在審

• 申請號: 202110395920.8
• 申請日: 2021-04-13
• 公開（公告）號: CN113065350A
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 逄淑陽;張春祥;王明磊
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06N3/08;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于注意力機制(attention mechanism)，非對稱卷積神經網絡(Asymmetric Convolutional Neural Networks，ACNN)和雙向長短期記憶網絡(Bidirectional Long Short Term Memory，Bi?LSTM)的生物醫學文本詞義消岐方法。本發明首先對生物醫學MSH語料進行處理，對包含歧義詞匯的英文句子進行分詞、詞性標注和語義標注處理，得到處理好的訓練語料和測試語料；然后利用訓練語料對模型進行訓練，得到優化后的注意力神經網絡模型；在優化后的模型上，對測試語料進行消岐，得到歧義詞匯在每個語義類別下的概率分布；具有最大概率的語義類別即為歧義詞匯的語義類別。本發明對生物醫學歧義詞匯實現了很好的消岐，更準確地判斷生物醫學歧義詞匯的真實含義。

技術領域：

本發明涉及一種基于注意力神經網絡的生物醫學文本詞義消岐方法，該方法在自然語言處理領域中有著很好的應用。

背景技術：

生物醫學文本現在是如此之大，以至于需要自動化工具來有效地處理它們。但是，生物醫學文本的自動處理是一個難點。究其原因，是生物醫學領域中歧義詞較多。確定生物醫學詞語的語義類別有助于生物醫學文章的自動處理。目前，生物醫學詞義消歧已廣泛應用于生物醫學自然語言處理任務，如文本索引、文本分類、命名實體提取等。

生物醫學詞義消歧方法可分為三類：有監督方法、無監督方法和基于知識的方法。在有監督的方法中，使用標注的數據集以及上下文中的詞匯和句法信息來訓練分類器，以預測測試數據集中生物醫學單詞的正確詞義。在無監督方法中，未標記的生物醫學文本被用來為生物醫學詞匯提供意義選擇。在以知識為基礎的詞匯分類中，采用敘詞表和詞義表來確定生物醫學詞匯的語義類別。近年來，深度學習算法已被廣泛地應用到生物醫學詞義消歧，比如卷積神經網絡和循環神經網絡等等。在卷積神經網絡中，神經元的權值是共享的。這使得神經元可以共享資源，降低了網絡模型的復雜度，防止出現過擬合現象。循環神經網絡中對文本處理上有著非常好的效果。對于生物醫學歧義詞匯而言，可以很好地應用深度學習算法來進行消岐，實現語義的正確分類。

發明內容：

為了解決自然語言處理領域中的詞匯歧義問題，本發明公開了一種基于注意力神經網絡的生物醫學文本詞義消岐方法。

為此，本發明提供了如下技術方案：

1.一種基于注意力神經網絡的生物醫學文本詞義消岐方法，其特征在于，該方法包括以下步驟：

步驟1：對MSH語料所包含的所有生物醫學歧義詞句子進行分詞、詞性標注和語義信息標注，選取生物醫學歧義詞匯左右四個鄰接詞匯單元的詞形、詞性和語義信息作為消岐特征。

步驟2：提取生物醫學歧義詞匯左右四個鄰接詞匯單元的詞形、詞性和語義信息，使用Word2vec訓練處理好的語料生成相應的詞向量。選取一小部分生成的句子作為測試數據，其余的作為訓練數據。

步驟3：訓練包括前向傳播和反向傳播兩個過程。訓練數據作為注意力神經網絡模型訓練的輸入，經過注意力神經網絡模型的訓練，得到優化后的注意力神經網絡模型。

步驟4：測試過程為前向傳播過程，即語義分類過程。在優化后的注意力神經網絡模型上，輸入測試數據，計算生物醫學歧義詞匯在每個語義類別下的概率分布，其中，具有最大概率的語義類即為生物醫學歧義詞匯的語義類。

2.根據權利要求1所述的一種基于注意力神經網絡的生物醫學文本詞義消岐方法，其特征在于，所述步驟1中，對漢語句子進行分詞、詞性標注和語義信息標注，提取消岐特征，具體步驟為：

步驟1-1根據句子中的空格對英語句子進行詞匯切分；

步驟1-2利用詞性標注工具對已切分好的詞匯進行詞性標注；

步驟1-3利用語義標注工具對已切分好的詞匯進行語義標注；