[發明專利]基于Transformer的土木建筑信息領域自然語言問題生成方法

有效

• 申請號: 202011249217.8
• 申請日: 2020-11-10
• 公開（公告）號: CN112559702B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 朱磊;焦瑞;黑新宏;趙欽;楊明松;姚燕妮;彭偉;董林靖
• 申請（專利權）人: 西安理工大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

1.基于Transformer的土木建筑信息領域自然語言問題生成方法，包括以下步驟：

步驟1：維基百科開放域文本的預訓練；構建基于Transformer的12層堆疊模塊，對中文維基百科文本公開語料進行人工預處理，形成上下句形式的統一結構，然后將處理好的維基百科語料輸入進入模型進行模型預訓練；

步驟2：土木建筑信息領域文本的預訓練；取出第一步預訓練的模型參數，然后對互聯網上獲取的土木建筑信息文本語料進行二次預訓練，獲取領域知識；

步驟3：隨機采樣語料的編碼訓練；為了使得模型獲取句法和語法生成能力，本方法采集了開放域問答文本數據，并設計了對開放域問答和土木建筑問答數據的隨機采樣機制；不同的采樣結果將通過嵌入方式輸入到Transformer的不同層次模塊中進行分層訓練；

步驟4：訓練優化與解碼文本生成；在訓練優化階段，對于不同類型的采樣數據，模型將取出不同層的Transformer模塊進行梯度計算并反傳優化；優化后的模型用于生成自然語言問題的推斷，推斷采用了beam search技術；

所述步驟3中，嵌入方式包括了Token詞嵌入、段嵌入和位置嵌入；在嵌入編碼時采用了UniLM的遮蓋詞策略，目的是提升模型的自然語言生成能力；

所述步驟3中，模型設計采用了12層UniLM思想的Transformer堆疊結構；

具體地，對給定輸入序列{x_i} (i=1, 2, ……, |X|)，其被打包成初始輸入序列H⁰ =[x₁, x₂, x₃, ……, x_|X|]，并將H⁰輸入到了編碼器結構的第一層編碼模塊；然后，Transformer每一層編碼模塊的輸入都來自上一層的輸出，即形式化描述為H^l =Transformer(H^l-1) (l =1, 2, …, L)，其中L=12層；

在模型的每一層中，前一層輸出為H^l-1W^Q，d_h為模型的嵌入維度；查詢矩陣Q，鍵值矩陣K和值矩陣V是通過三個參數矩陣W^Q，W^K，W^V(∈R^dh×dK)，經過對前一層的輸出進行線性變換得到。

2.根據權利要求1所述的基于Transformer的土木建筑信息領域自然語言問題生成方法，其特征在于，所述步驟1和步驟2中，文本標記的方法，采用BERT模型的文本標記方法；預訓練階段采用同Bert相同的雙向遮蓋預訓練機制和下半句預測訓練機制。