[發(fā)明專利]應(yīng)用于多輪對(duì)話系統(tǒng)的對(duì)話生成方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210253749.1
• 申請(qǐng)日: 2022-03-15
• 公開（公告）號(hào): CN114579728A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 徐萬珺
• 申請(qǐng)（專利權(quán)）人: 四川新網(wǎng)銀行股份有限公司
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F40/289;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 成都行之專利代理事務(wù)所(普通合伙) 51220
• 代理人: 梁田

本發(fā)明公開了應(yīng)用于多輪對(duì)話系統(tǒng)的對(duì)話生成方法、裝置、設(shè)備及介質(zhì)，包括獲取用戶的第一輪對(duì)話，利用語義理解模型對(duì)第一輪對(duì)話進(jìn)行特征抽取，得到第一輪對(duì)話內(nèi)容的語義特征表示；利用編碼器對(duì)語義特征表示抽取深層次的語義信息，生成第一輪中間變量；利用意圖特征計(jì)算網(wǎng)絡(luò)對(duì)第一輪中間變量抽取得到意圖特征表示；將意圖特征表示和第一輪中間變量分別解碼，將解碼結(jié)果輸入生成網(wǎng)絡(luò)中，由生成網(wǎng)絡(luò)完成響應(yīng)，生成第一輪對(duì)話內(nèi)容的響應(yīng)文本并返回，完成第一輪對(duì)話生成；等待并獲取下一輪對(duì)話，重復(fù)上述步驟，直至用戶觸發(fā)結(jié)束條件，本次多輪對(duì)話結(jié)束。本發(fā)明適用于多輪交互的對(duì)話場(chǎng)景，基于當(dāng)前對(duì)話內(nèi)容和歷史對(duì)話記錄實(shí)現(xiàn)響應(yīng)生成，完成多輪交互。

技術(shù)領(lǐng)域

本發(fā)明涉及對(duì)話系統(tǒng)領(lǐng)域，屬于自然語言處理技術(shù)，具體涉及應(yīng)用于多輪對(duì)話系統(tǒng)的對(duì)話生成方法、裝置、設(shè)備及介質(zhì)。

背景技術(shù)

現(xiàn)有技術(shù)中基于對(duì)話系統(tǒng)主要包括以下兩類：

第一類是基于匹配或檢索的對(duì)話系統(tǒng)，專利申請(qǐng)?zhí)朇N113806509A、CN113901188A，基于匹配或檢索的方法：現(xiàn)有技術(shù)依賴于幾乎全封閉的領(lǐng)域知識(shí)庫，在識(shí)別到用戶對(duì)話意圖后，通過特定的機(jī)制在知識(shí)庫中匹配相似的候選句，最后通過相似度計(jì)算輸出相似度最高的候選句所對(duì)應(yīng)的答復(fù)句。該類方法雖然實(shí)現(xiàn)成本較低，可操作性強(qiáng)，但在實(shí)際應(yīng)用中容易受到知識(shí)庫的限制，在遭遇領(lǐng)域外的知識(shí)時(shí)，該類方法的可用性會(huì)大幅降低。

第二類是基于生成的對(duì)話系統(tǒng)，專利申請(qǐng)?zhí)朇N113792126A，基于生成的方法：這類方法利用生成對(duì)抗網(wǎng)絡(luò)、自編碼器等生成式模型直接進(jìn)行響應(yīng)文本的生成，相較于基于匹配和檢索的方法，生成類的方法模型更為復(fù)雜和不便于操控，但其在應(yīng)用中也更為靈活，能更好地適用于較為開放的知識(shí)領(lǐng)域。但是另一方面，受模型規(guī)模等的限制，現(xiàn)有的相關(guān)技術(shù)更多僅應(yīng)用在單輪的對(duì)話中，實(shí)際需求更大的多輪對(duì)話反而較少有實(shí)際應(yīng)用。

因此，現(xiàn)有基于匹配或檢索的方法對(duì)領(lǐng)域知識(shí)庫且通常是封閉型領(lǐng)域知識(shí)庫有強(qiáng)烈的依賴性，其局限點(diǎn)在于當(dāng)遭遇到領(lǐng)域外的知識(shí)時(shí)，系統(tǒng)給出的響應(yīng)文本質(zhì)量大幅下降，且其響應(yīng)庫相對(duì)固定，靈活性不足，在對(duì)話中無法扮演引導(dǎo)角色，難以完成任務(wù)型對(duì)話，因此大多僅用于單輪對(duì)話場(chǎng)景。而基于生成的方法盡管可以避免對(duì)知識(shí)庫的強(qiáng)依賴，但在開放的知識(shí)領(lǐng)域下模型的訓(xùn)練往往需要及其龐大的數(shù)據(jù)集，實(shí)現(xiàn)成本和速度相較于檢索式系統(tǒng)都要高出許多，另一方面，生成式系統(tǒng)其任務(wù)空間更大，對(duì)對(duì)話交互過程中的整體意圖和歷史信息把控不足，導(dǎo)致在交互中極易出現(xiàn)邏輯混亂，對(duì)話內(nèi)容不匹配等問題。

發(fā)明內(nèi)容

本發(fā)明目的在于提供應(yīng)用于多輪對(duì)話系統(tǒng)的對(duì)話生成方法、裝置、設(shè)備及介質(zhì)，本發(fā)明基于歷史對(duì)話信息抽取本輪對(duì)話意圖特征，控制生成響應(yīng)內(nèi)容的主題基調(diào)，保證多輪對(duì)話交互過程中的流暢性和邏輯性。本發(fā)明方法可結(jié)合特定領(lǐng)域背景，作為生成式任務(wù)型對(duì)話引導(dǎo)或問答系統(tǒng)，避免了現(xiàn)有該類系統(tǒng)對(duì)領(lǐng)域知識(shí)庫的強(qiáng)依賴性。

本發(fā)明通過下述技術(shù)方案實(shí)現(xiàn)：

第一方面，本發(fā)明提供了一種應(yīng)用于多輪對(duì)話系統(tǒng)的對(duì)話生成方法，該方法包括：

獲取用戶的第一輪對(duì)話，利用語義理解模型對(duì)所述第一輪對(duì)話進(jìn)行特征抽取，得到第一輪對(duì)話內(nèi)容的語義特征表示；

根據(jù)所述語義特征表示，利用編碼器對(duì)所述語義特征表示抽取更深層次的語義信息，生成第一輪中間變量；

根據(jù)所述第一輪中間變量，利用意圖特征計(jì)算網(wǎng)絡(luò)對(duì)所述第一輪中間變量抽取得到意圖特征表示；

將所述意圖特征表示和所述第一輪中間變量分別解碼，并將解碼結(jié)果輸入生成網(wǎng)絡(luò)中，由所述生成網(wǎng)絡(luò)完成響應(yīng)，生成第一輪對(duì)話內(nèi)容的響應(yīng)文本并返回，至此完成是第一輪對(duì)話生成；

等待并獲取下一輪對(duì)話，重復(fù)上述步驟，直至用戶觸發(fā)結(jié)束條件，本次多輪對(duì)話結(jié)束。

工作原理是：