[發明專利]基于Transformer的土木建筑信息領域自然語言問題生成方法

有效

• 申請號: 202011249217.8
• 申請日: 2020-11-10
• 公開（公告）號: CN112559702B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 朱磊;焦瑞;黑新宏;趙欽;楊明松;姚燕妮;彭偉;董林靖
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

本發明公開了基于Transformer的土木建筑信息領域自然語言問題生成方法，本模型通過分析Bert模型中每層學習到的信息分布，結合訓練數據的有限特性，對Transformer的不同模塊進行不同語料的訓練，提出低層網絡用于訓練句法語法特性，高層網絡用于訓練獲取語義特性的機制。然后，采用UniLM思想對Bert進行下游任務的微調，提升模型在土木建筑信息領域的自然語言文本生成能力。本方法提出的模型在土木建筑信息領域生成問題具有較高的可行性和有效性，并且達到了較高的自然語言問題生成水準。

技術領域

本發明屬于計算機人工神經網絡自然語言處理技術領域，具體涉及基于Transformer編碼解碼結構的土木建筑信息領域的自然語言問題生成方法。

背景技術

隨著人工智能和大數據技術的不斷發展，智能問答系統正在急速改變著人們的生活方式，也大大提升工作效率和使用體驗。問題生成QG(Question Generation)作為問答系統的基本任務，其目標是給定句子或段落，自動生成自然語言問題。該任務已經被廣泛應用到很多領域，例如，教育，醫療，物聯網等。在教育領域，通過對給定的句子和段落進行閱讀理解式的生成自然語言問題來輔助學習和教學任務[1]。針對土木建筑行業，問題生成可被用來構建對話機器人，輔助從業人員快速的查找和學習領域知識。此外，問答系統還可用來自動化構建問答數據集，從而大大降低人工標注工作量。對于問答系統，問題的提出是其核心步驟，有效的自然語言問題生成方法將幫助問答系統構建更為龐大且精準的領域自然語言問題。

發明內容

本發明的目的在于提供基于Transformer的土木建筑信息領域自然語言問題生成方法，降低了人工標注的工作量，解決了現有技術中存在的土木建筑信息領域自然語言問題生成難以自動化的問題。

本發明通過分析Bert模型中每層學習到的信息分布，結合訓練數據的有限特性，對Transformer的不同模塊進行不同語料的訓練，提出低層網絡用于訓練句法語法特性，高層網絡用于訓練獲取語義特性的機制。然后，采用UniLM思想對Bert進行下游任務的微調，提升模型在土木建筑信息領域的自然語言文本生成能力。

本發明所采用的技術方案是，基于Transformer的土木建筑信息領域自然語言問題生成方法，包括以下步驟：

步驟1：維基百科開放域文本的預訓練。構建基于Transformer的12層堆疊模塊，對中文維基百科文本公開語料進行人工預處理，形成上下句形式的統一結構，然后將處理好的維基百科語料輸入進入模型進行模型預訓練。

步驟2：土木建筑信息領域文本的預訓練。取出第一步預訓練的模型參數，然后對互聯網上獲取的800K條土木建筑信息文本語料進行二次預訓練，獲取領域知識。

步驟3：隨機采樣語料的編碼訓練。為了使得模型獲取一定的句法和語法生成能力，本方法采集了開放域問答文本數據，并設計了對開放域問答和土木建筑問答數據的隨機采樣機制；不同的采樣結果將通過嵌入方式輸入到Transformer的不同層次模塊中進行分層訓練；

步驟4：訓練優化與解碼文本生成。在訓練優化階段，對于不同類型的采樣數據，模型將取出不同層的Transformer模塊進行梯度計算并反傳優化；優化后的模型即可用于生成自然語言問題的推斷，推斷思路主要是采用了beam search技術。

步驟1和步驟2中，文本標記的方法，主要采用BERT模型的文本標記方法；預訓練階段采用同Bert相同的雙向遮蓋預訓練機制和下半句預測訓練機制。

步驟2中，所述雙向遮蓋詞預測訓練機制，允許token關注到其前后雙向的文本內容；對上下文信息，這種方式可以進行有效編碼，從而生成上下文的信息表示。