[發明專利]一種基于預訓練模型的自然語言理解方法

有效

• 申請號: 201910903004.3
• 申請日: 2019-09-24
• 公開（公告）號: CN110674639B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 王春輝;胡勇
• 申請（專利權）人: 識因智能科技有限公司
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/30;G06F16/332;G06N3/04;G06N3/08
• 代理公司: 北京中北知識產權代理有限公司 11253
• 代理人: 盧業強

1.一種基于預訓練模型的自然語言理解方法，其特征在于，包括以下步驟：

步驟1，建立基于雙向深度Transformer的預訓練模型，所述預訓練模型的輸入為一個句子經分詞處理并在其開始和結尾分別加入特殊標簽后得到的文本向量，輸出為所述句子的文本語義向量；

步驟2，對待理解語句進行分詞處理，并在待理解語句的開始和結尾分別加入所述特殊標簽，得到待理解語句的文本向量；

步驟3，以所述待理解語句的文本向量為輸入，調用所述預訓練模型，得到待理解語句的文本語義向量；

步驟4，將所述待理解語句的文本語義向量輸入第一多層感知機進行與意圖相關的語義特征提取，并由softmax層計算待理解語句針對每個預置的意圖類別的概率，概率最大的意圖類別為待理解語句的意圖類別；

步驟5，將所述待理解語句的文本語義向量輸入第二多層感知機進行與實體相關的語義特征提取，然后送入雙向長短期記憶網絡進行前向語義與后向語義的融合，最后由一個條件隨機場分別計算待理解語句的每個單詞取預置的每個實體類別時的概率P，P最大時的每個實體類別即為每個單詞的實體類別，進而得到識別的實體類別。

2.根據權利要求1所述的基于預訓練模型的自然語言理解方法，其特征在于，所述預訓練模型是在整個中文維基百科語料上進行預訓練得到的。

3.根據權利要求2所述的基于預訓練模型的自然語言理解方法，其特征在于，所述預訓練模型由12層Transformer結構堆疊而成，每層由一個自注意力網絡和一個通過殘差網絡、層歸一化網絡連接的前向傳播網絡組成，輸出768維的向量。

4.根據權利要求3所述的基于預訓練模型的自然語言理解方法，其特征在于，所述步驟3提取預訓練模型最后4層網絡的結果，并把結果相拼接，獲得每個單詞768×4＝3072維度的表示。

5.根據權利要求4所述的基于預訓練模型的自然語言理解方法，其特征在于，在句子開始和結尾加入的特殊標簽分別為[CLS]和[SEP]。

6.根據權利要求5所述的基于預訓練模型的自然語言理解方法，其特征在于，如果待理解語句中的某個單詞不在用于預訓練的預置詞表中，在所述單詞前標注特殊標簽[UNK]。

7.根據權利要求6所述的基于預訓練模型的自然語言理解方法，其特征在于，步驟5所述概率P的計算公式如下：

式中，A(y_i+1|y_i)表示分詞后待理解語句的第i個單詞的實體類別為y_i時第i+1個單詞的實體類別為y_i+1的概率，p_i(y_i)表示第i個單詞的實體類別為y_i的概率，n為分詞后待理解語句的單詞數量。