[發明專利]基于transformer模型的漢語詞義消歧方法

在審

• 申請號: 202110305392.2
• 申請日: 2021-03-22
• 公開（公告）號: CN113051892A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 羅干;張春祥;李凱鵬
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06F40/216
• 分類號: G06F40/216;G06F40/284;G06F40/30;G06F40/232;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種基于transformer模型的漢語詞義消歧方法。本發明首先對漢語語料進行處理，對包含歧義詞匯的漢語句子進行分詞、詞性標注和語義類標注，然后用word2vec工具把語料處理成詞向量；然后把訓練數據傳入模型，計算消歧詞匯和歧義詞的注意力，通過獲得的注意力值來賦予消歧詞匯不同的權重，從而更新詞向量。消歧特征通過稀疏化，殘差連接，正則化后輸入全連接層進行加權處理，最后在softmax層輸出歧義詞的預測概率分布。用訓練好的模型對測試語料進行消歧，輸出歧義詞的預測概率分布，具有最大概率的語義類別即為歧義詞匯的語義類別。本發明對歧義詞匯實現了很好的消歧，消歧準確率較高。

技術領域：

本發明涉及一種基于transformer模型的漢語詞義消歧方法，該方法在自然語言處理領域中有著很好的應用。

背景技術：

歧義詞匯是指具有多種語義的詞匯，即在上下文中存在一詞多義的現象。詞義消歧(Word sense disambiguation，WSD)是對一詞多義現象的處理，從而確定歧義詞的真實語義。歧義詞匯在某個特定的上下文語境中只有一個語義，通過上下文進行消歧，采用一定的方法和算法，使得計算機能夠理解歧義詞匯的真實語義，這就是詞義消歧的過程。詞義消歧是自然語言處理任務的一個核心與難點，影響了幾乎所有任務的性能，比如搜索引擎、意見挖掘、文本理解與產生、推理等。

詞義消歧主要包括有監督的學習方法和無監督的學習方法，有監督的學習方法訓練模型學習速率更快，但是缺點是語料的通用性不強，實際運用中有大量非標準化語料，這樣就減弱了模型的泛化能力。當前常用的基于知識圖譜的詞義消歧方法和基于詞網的詞義消歧方法，訓練成本高，依賴大型詞典和數據集。針對上述問題，隨著深度學習模型在詞義消歧領域的應用逐漸增多，本文采用 transformer模型做詞義消歧任務。transformer模型作為詞義消歧的消歧模型，最大的特點是注意力機制，它通過計算消歧詞匯和歧義詞的注意力來抽取消歧特征，能夠很好的處理詞匯之間的相互關系，克服了傳統詞義消歧模型的數據處理能力差的問題，充分利用了transformer模型的學習能力，可以有效地提高詞義消歧的結果。

發明內容：

為了解決自然語言處理領域中的詞匯歧義問題，本發明公開了一種基于transformer模型的漢語句子詞義消歧方法。

為此，本發明提供了如下技術方案：

1.基于transformer模型的漢語詞義消歧方法，其特征在于，該方法包括以下步驟：

步驟1：對語料所包含的所有漢語句子進行分詞、詞性標注和語義類標注，用word2vec工具把語料處理成詞向量；

步驟2：選取歧義詞匯左右各三十個鄰接詞匯單元的詞形、詞性和語義類對應的詞向量作為消歧特征，不足三十個的用0填充，選取一小部分處理好的語料作為測試數據，其余的作為訓練數據；

步驟3：訓練包括前向傳播和反向傳播兩個過程，訓練數據作為transformer 模型訓練的輸入，經過transformer模型的訓練，得到優化后的transformer模型；

步驟4：測試過程為前向傳播過程，即語義分類過程，在優化后的transformer 模型上，輸入測試語料的詞向量，計算歧義詞匯在每個語義類別下的概率分布，其中，具有最大概率的語義類即為歧義詞匯的語義類。

2.根據權利要求1所述的基于transformer模型的漢語句子詞義消歧方法，其特征在于，所述步驟1中，對漢語句子進行分詞、詞性標注和語義類標注，提取消歧特征，具體步驟為：

步驟1-1利用漢語分詞工具對漢語句子進行詞匯切分；

步驟1-2利用漢語詞性標注工具對已切分好的詞匯進行詞性標注；

步驟1-3利用漢語語義標注工具對已切分好的詞匯進行語義類標注；