[發明專利]一種在深度語言模型中融入額外知識信息的方法

在審

• 申請號: 202010410674.4
• 申請日: 2020-05-15
• 公開（公告）號: CN111666374A
• 公開（公告）日: 2020-09-15
• 發明（設計）人: 楊燕;鄭淇;陳成才;賀樑
• 申請（專利權）人: 華東師范大學;上海智臻智能網絡科技股份有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F16/35;G06F40/211;G06F40/295;G06F40/30
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種在深度語言模型中融入額外知識信息的方法，其特點是采用將知識信息融入到深度語言模型中進行預訓練的方法，通過大規模自然語言語料上進行實體標注，并對自然語言文本進行實體級別的擾動構造負樣本用以強化和提升知識庫問答系統中關系匹配模塊的性能，模型的訓練和知識融入具體包括：構建詞表、識別實體信息、創建訓練所需的負樣本和預訓練深度語言模型步驟。本發明與現有技術相比具有將結構化知識信息引入深度語言模型的參數中，使得模型具備針對自然語言輸入文本進行包含事實性結構化信息的語義理解，在對應任務上獲得性能提升，方法簡便，效率高。

技術領域

本發明涉及計算機問答系統技術領域，尤其是一種基于知識圖譜在深度語言模型中融入額外知識信息的方法。

背景技術

自然語言處理旨在研究使用計算機自動處理、理解與生成自然語言的技術。問答系統是自然語言處理中的一個重要的子領域，旨在針對用戶輸入的問題通過計算機自動給出回答。問答系統分為多種類型，包括基于閱讀理解的問答系統，基于社區檢索的問答系統以及基于知識庫的問答系統；基于閱讀理解的問答系統通過在給定的文章片段中搜索潛在的答案來回答相關的問題；基于社區檢索的問答系統通過一個檢索系統查詢社區中可能相關的回答或者文本片段，并對所有的候選回答根據上下文與給定信息進行重排序來回答用戶輸入的問題；以及基于知識庫的問答系統通過在一個給定的知識庫中確定檢索子圖查詢范圍并且在子圖中搜索最為相關的實體，將這些候選實體作為針對問題的事實性回答返回給用戶。

知識庫是指將一系列事實等信息通過結構化存儲方法保存的數據庫。一般情況下，這些事實信息通過“實體-謂詞-實體”的三元組形式保存。不同的實體之間通過各種關系謂詞相互連接，形成了一種網狀的圖結構為知識圖譜。知識庫在多個領域有著廣泛的應用，在自然語言處理領域，常常通過引入知識庫來在編碼器階段引入額外的事實性信息，從而提高神經網絡在自然語言處理任務上的性能。

近年來，BERT、ELMo等深度語言模型極大地影響了自然語言處理領域的模型設計。這些深度語言模型的特點是擁有極大的參數量，同時有著數目龐大的預訓練語料，通過語言模型等無監督任務來自動編碼自然語言中潛藏的語法與語義信息。以BERT為例，BERT使用了12層768維度隱層的Transformer模型作為其編碼器，并通過從互聯網多個來源爬取的上千萬條篇章語料信息構建訓練集合。由深度學習獲得的詞語向量表示含有豐富的上下文信息于語義信息，有著強大的表示能力，而與之相對的傳統詞向量并沒有上下文信息以及龐大的語料信息，需要在對應數據集中輸入一個額外的編碼器進行微調才可獲得理想的性能。深度語言模型的應用極大地提升了自然語言處理中多個子任務的準確率，顯著改進了自然語言模型對語言的理解能力。

現有技術的深度語言模型大多使用自然語言語料作為其訓練集，存在著缺乏結構化知識庫信息的問題，當遇到需要事實性信息的任務時，這些深度語言模型會因為缺乏結構化知識信息而出現性能不佳的情形。

發明內容

本發明的目的是針對現有技術不足而提供的一種在深度語言模型中融入額外知識信息的方法，采用將結構化知識信息融入深度語言模型的預訓練方法，用以強化知識庫問答系統中關系匹配模塊性能，通過在大規模自然語言語料上進行實體標注，并對自然語言文本進行實體級別的擾動構造負樣本，將結構化知識信息引入深度語言模型的參數中，使得模型具備針對自然語言輸入文本進行包含事實性結構化信息的語義理解，在對應任務上獲得性能提升，方法簡便，效率高。

實現本發明目的具體技術方案是：一種在深度語言模型中融入額外知識信息的方法，其特點是采用將知識信息融入到深度語言模型中進行預訓練的方法，強化知識庫問答系統中關系匹配模塊的性能，其模型的具體訓練和知識融入包括以下步驟：

1)構建實體到指稱的詞表；

2)通過構建的詞表識別文本中的實體信息；

3)對自然語言文本進行擾動，創建訓練所需的負樣本；