[發明專利]訓練話術生成模型、生成應答話術的方法和裝置

有效

• 申請號: 202010130638.2
• 申請日: 2020-02-28
• 公開（公告）號: CN111339278B
• 公開（公告）日: 2023-03-31
• 發明（設計）人: 王子豪;劉佳;崔恒斌
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/126;G06F40/30
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 孫欣欣;周良玉

本說明書實施例提供一種訓練話術生成模型、生成應答話術的方法和裝置。訓練話術生成模型的方法包括：針對用戶與人工客服的第一歷史對話，得到第一意圖關鍵詞對應的第一應答話術；將第一意圖關鍵詞以字為單位按照各字的位置關系輸入待訓練的話術生成模型，話術生成模型包括編碼器和解碼器，編碼器根據位置關系以及第一意圖關鍵詞中的各字對第一意圖關鍵詞進行編碼，得到第一意圖關鍵詞對應的第一語義向量，并將第一語義向量輸入到解碼器進行多次迭代解碼，得到話術預測結果；根據第一應答話術和話術預測結果,對話術生成模型進行訓練。能夠在給定用戶意圖下生成應答話術，極大減輕了運營人員的工作量，提升運營效率。

技術領域

本說明書一個或多個實施例涉及計算機領域，尤其涉及訓練話術生成模型、生成應答話術的方法和裝置。

背景技術

隨著互聯網和服務業的發展，越來越多的公司需要通過在線或者熱線的方式服務自己的客戶群體，這就積累了大量的人工對話記錄。服務日志中含有很多有用的信息，例如用戶意圖、優質服務話術等。希望能夠從大量的人工對話記錄中挖掘出優質話術，供運營人員為機器人配置使用，但是運營人員在配置話術的時候并不一定清楚好的話術是什么樣子，并且運營人員從大量的人工對話記錄中篩選優質話術的工作量極大，運營效率低。

因此，希望能有改進的方案，能夠在給定用戶意圖下生成應答話術，極大減輕了運營人員的工作量，提升運營效率。

發明內容

本說明書一個或多個實施例描述了一種訓練話術生成模型、生成應答話術的方法和裝置，能夠在給定用戶意圖下生成應答話術，極大減輕了運營人員的工作量，提升運營效率。

第一方面，提供了一種訓練話術生成模型的方法，方法包括：

針對用戶與人工客服的第一歷史對話，對所述第一歷史對話中的用戶對話，進行關鍵詞抽取以得到所述第一歷史對話中的表征用戶意圖的第一意圖關鍵詞；

將所述第一歷史對話中的客服對話作為所述第一意圖關鍵詞對應的第一應答話術，以得到一組訓練樣本；

將一組訓練樣本中的所述第一意圖關鍵詞以字為單位按照各字的位置關系輸入待訓練的話術生成模型，所述話術生成模型包括編碼器和解碼器，所述編碼器根據所述位置關系以及所述第一意圖關鍵詞中的各字對所述第一意圖關鍵詞進行編碼，得到所述第一意圖關鍵詞對應的第一語義向量，并將所述第一語義向量輸入到所述解碼器進行多次迭代解碼，每次迭代解碼包括，根據本次迭代中輸入的所述第一應答話術中當前位置的字對應的向量，以及解碼器在上次迭代中針對之前位置的處理結果，確定針對下一位置的字的預測結果；針對各個位置的字的預測結果構成話術預測結果；

根據所述第一應答話術和所述話術預測結果,確定預測損失；

以最小化預測損失為目標對所述話術生成模型進行訓練。

在一種可能的實施方式中，所述對所述話術生成模型進行訓練，包括：

對所述話術生成模型進行分階段訓練，得到各階段分別對應的訓練后的話術生成模型；其中，各階段對應不同的訓練樣本集合；

依據所述話術生成模型在給定驗證集上面的困惑度指標，從各階段分別對應的訓練后的話術生成模型中選擇最優的話術生成模型，作為訓練后的話術生成模型。

在一種可能的實施方式中，所述多次迭代解碼包括初次迭代解碼，所述初次迭代解碼，包括：

將缺省向量作為初始位置對應的向量，將第一語義向量作為所述上次迭代中的輸出，確定所述話術預測結果中的第一個字。

在一種可能的實施方式中，所述編碼器基于轉換器(transformer)單元形成，所述編碼器根據所述位置關系以及所述第一意圖關鍵詞中的各字對所述第一意圖關鍵詞進行編碼，包括：

對所述第一意圖關鍵詞中各個字進行嵌入，得到各個字的嵌入向量；