[發明專利]一種對話模型的訓練方法及裝置、對話響應方法及裝置

有效

• 申請號: 202211441290.4
• 申請日: 2022-11-17
• 公開（公告）號: CN115495568B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 劉紅麗;李峰
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/289;G06F40/58;G06F18/214
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王華

1.一種對話模型的訓練方法，其特征在于，包括：

利用預獲取的通用對話數據集對原始對話模型進行訓練，得到通用對話模型；

獲取預設的專業關鍵詞組，并根據所述專業關鍵詞組對所述通用對話數據集進行數據篩選，將篩選得到的數據集確定為初始標注數據集；

利用所述初始標注數據集對所述通用對話模型進行訓練，得到初始專業對話模型；

利用驗證數據集和預設自然語言處理評價指標對所述初始專業對話模型進行驗證操作，得到驗證得分；

判斷所述驗證得分是否大于預設得分閾值；

若是，則將所述初始專業對話模型確定為目標專業對話模型；

當確定所述驗證得分小于等于所述預設得分閾值時，還包括：

利用所述初始專業對話模型針對預設未標記池中各樣本數據生成對應的響應數據；

分別計算各所述響應數據對應的自動評估得分；

對各所述自動評估得分進行大小排序，從得分較小的一端選取預設數量個自動評估得分；

輸出對選取得到的各所述自動評估得分對應的響應數據進行標注的標注提示信息；

根據標注結果對初始標注數據集進行更新，得到更新后標注數據集；

基于所述更新后標注數據集對所述初始專業對話模型進行訓練，得到更新后專業對話模型；

利用所述驗證數據集對所述更新后專業對話模型進行驗證操作，得到驗證得分，并重復執行所述判斷所述驗證得分是否大于預設得分閾值的步驟；

其中，根據PPL指標和Distinct指標計算各響應數據對應的自動評估得分，計算公式如下：

Score_PPL表示在PPL指標上的得分，Scoredistinct表示在Distinct指標上的得分。

2.根據權利要求1所述的對話模型的訓練方法，其特征在于，在得到更新后標注數據集之后，還包括：

根據所述更新后標注數據集對所述預設未標記池進行更新操作。

3.根據權利要求1所述的對話模型的訓練方法，其特征在于，利用驗證數據集和預設自然語言處理評價指標對所述初始專業對話模型進行驗證操作，包括：

通過以下公式結合所述驗證數據集、BLEU指標、ROUGE指標、PPL指標、DISTINCT指標對所述初始專業對話模型進行驗證操作：

其中，Score_BLEU為所述初始專業對話模型在BLEU指標上的得分，Score_ROUGE為所述初始專業對話模型在ROUGE指標上的得分，Score_PPL為所述初始專業對話模型在PPL指標上的得分，采用PPL指標得分的倒數形式，Score_distinct為所述初始專業對話模型在DISTINCT指標上的得分，Score_val為驗證得分。

4.根據權利要求3所述的對話模型的訓練方法，其特征在于，還包括所述初始專業對話模型在BLEU指標上的得分Score_BLEU的計算過程，所述初始專業對話模型在BLEU指標上的得分Score_BLEU的計算過程包括：

通過以下公式計算所述初始專業對話模型在BLEU指標上的得分Score_BLEU：

其中，lc為機器譯文的長度，lr為最短的參考翻譯句子的長度，P_n為n-gram的精確率，W_n為n-gram的權重，對于任意n都有W_n＝1/N，BP為懲罰因子。