[發明專利]任務型對話模型預訓練方法、裝置、設備及存儲介質

有效

• 申請號: 202110583298.3
• 申請日: 2021-05-27
• 公開（公告）號: CN113177113B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 毛宇兆
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/35;G06F40/279;G06N3/09
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

本發明涉及人工智能領域，公開了一種任務型對話模型預訓練方法、裝置、設備及存儲介質。一種任務型對話模型預訓練方法包括：獲取歷史對話記錄中第一角色對話語句序列和第二角色對話語句序列，將所述第一角色對話語句序列、第二角色對話語句序列中的所有對話語句進行合并與重組，得到第一對話序列，并將所述第一對話序列中的所有對話語句進行隨機排序，得到第二對話序列，對所述第一對話序列、第二對話序列中的每一個單詞進行詞向量疊加，得到第一初始詞表達向量序列和第二初始詞表達向量序列并輸入預置BERT模型，進行預訓練。本預訓練方法同任務型對話中的變量有效結合，從而能夠提取到對話語句中的深層含義。

技術領域

本發明涉及人工智能領域，尤其涉及一種任務型對話模型預訓練方法、裝置、設備及存儲介質。

背景技術

具有自注意力編碼結構的預訓練模型已經被廣泛的應用到許多NLP領域中。這些模型是基于大規模的通用文本語料庫(如英語維基百科或書籍)進行自監督訓練。預訓練模型是一種遷移學習的應用，利用幾乎無限的文本，學習輸入句子的每一個成員的上下文相關的表示，它隱式地學習到了通用的語法語義知識。

目前已經提出的預訓練模型有BERT，RoBERTa，XLNet等。這些模型大多采用自監督的方式在開放領域數據中進行預訓練，包括兩種預訓練方法：一種是面向單句子任務(比如文本分類等)的mask?language?model自監督方式，另一種是基于句對任務(比如語義推論，句子匹配等)的next?sentence?prediction自監督方式，由于普通文本和任務型對話之間的語言模式的潛在差異，現有的預訓練方法無法同任務型對話系統中變量有效結合而難以提取對話中的深層含義。

發明內容

本發明的主要目的在于解決現有預訓練方法無法同任務型對話系統中變量有效結合而難以提取到對話中深層含義的問題。

本發明第一方面提供了一種任務型對話模型預訓練方法，包括：

獲取歷史對話記錄中第一角色對話語句序列，以及所述歷史對話記錄中的第二角色對話語句序列，其中，所述第一角色對話語句序列包括第一角色在多輪對話中的對話語句，所述第二角色對話語句序列包括第二角色在多輪對話中的對話語句；

將所述第一角色對話語句序列中的所有對話語句與所述第二角色對話語句序列中的所有對話語句進行合并與重組，得到第一對話序列，并將所述第一對話序列中的所有對話語句進行隨機排序，得到第二對話序列；

對所述第一對話序列的每一個單詞和所述第二對話序列的每一個單詞進行詞向量疊加，得到所述第一對話序列的第一初始詞表達向量序列和所述第二對話序列的第二初始詞表達向量序列；

將所述第一初始詞表達向量序列和所述第二初始詞表達向量序列輸入預置BERT模型，進行預訓練，其中，所述BERT模型用于預測對話屬于第一對話序列和第二對話序列的概率分布。

可選的，在本發明第一方面的第一種實現方式中，所述將所述第一角色對話語句序列中的所有對話語句與所述第二角色對話語句序列中的所有對話語句進行合并與重組，得到第一對話序列包括：

將所述第二角色對話語句序列中的所有對話語句合并到所述第一角色對話語句序列中，得到對話樣本序列；

按照對話角色順序、對話輪次順序，對所述對話樣本序列中的對話語句進行排列，并在各對話語句之間插入預置時間分割符，得到第一對話序列。

可選的，在本發明第一方面的第二種實現方式中，所述所述對所述第一對話序列的每一個單詞和所述第二對話序列的每一個單詞進行詞向量疊加，得到所述第一對話序列的第一初始詞表達向量序列和所述第二對話序列的第二初始詞表達向量序列包括：

基于預置分詞工具對所述第一對話序列中的語句和所述第二對話序列中的語句進行分詞，得到所述第一對話序列對應的第一分詞序列和所述第二對話序列對應的第二分詞序列；