[發(fā)明專利]一種多輪對(duì)話改寫方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110010037.2
• 申請(qǐng)日: 2021-01-05
• 公開（公告）號(hào): CN112597777A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計(jì)）人: 李鋒;鄒武合;張偉東
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06F40/35
• 分類號(hào): G06F40/35;G06F16/36;G06F16/38;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 吳文心

本發(fā)明實(shí)施例提供了一種多輪對(duì)話改寫方法及裝置，其中，所述的方法包括：獲取目標(biāo)多輪對(duì)話改寫模型，待改寫對(duì)話以及所述待改寫對(duì)話對(duì)應(yīng)的歷史對(duì)話；將所述待改寫對(duì)話和所述歷史對(duì)話輸入至所述目標(biāo)多輪對(duì)話改寫模型，以通過所述目標(biāo)多輪對(duì)話改寫模型預(yù)測(cè)所述待改寫對(duì)話中每個(gè)序列對(duì)應(yīng)的序列標(biāo)簽，并根據(jù)所述序列標(biāo)簽對(duì)所述待改寫對(duì)話進(jìn)行改寫得到目標(biāo)對(duì)話。使得可以結(jié)合序列標(biāo)注的優(yōu)勢(shì)和自回歸生成的優(yōu)勢(shì)來完成進(jìn)行多輪對(duì)話改寫，有效地提高改寫的質(zhì)量和生成的速度。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，特別是涉及一種多輪對(duì)話改寫方法和一種多輪對(duì)話改寫裝置。

背景技術(shù)

伴隨著深度學(xué)習(xí)和大數(shù)據(jù)技術(shù)的發(fā)展，開放域人機(jī)對(duì)話系統(tǒng)已經(jīng)是人工智能領(lǐng)域的一項(xiàng)重要研究工作，并已經(jīng)在智能客服、聊天機(jī)器人、虛擬助手等方面得到了廣泛應(yīng)用。根據(jù)人機(jī)交互的輪數(shù)，開放域?qū)υ捪到y(tǒng)分為：?jiǎn)屋嗛_放域?qū)υ捪到y(tǒng)和多輪開放域?qū)υ捪到y(tǒng)。通過海量單輪的社交對(duì)話數(shù)據(jù)和基于深度學(xué)習(xí)的檢索式或者生成式的建模方法，單輪開放領(lǐng)域?qū)υ捪到y(tǒng)已經(jīng)產(chǎn)生了一些不錯(cuò)的效果；但是，在多輪對(duì)話系統(tǒng)中，一般只有對(duì)話的2個(gè)人，為了交流的簡(jiǎn)潔、流暢和高效性，通常會(huì)根據(jù)上下文做一些省略或者指代的說法，所以不能直接套用單輪對(duì)話系統(tǒng)的做法，例如：

“你最喜歡什么電影？”

“泰坦尼克號(hào)。”

“為什么？”

如果是補(bǔ)全的語義對(duì)話應(yīng)該是這樣的：

“你最喜歡什么電影？”

“我最喜歡的電影是泰坦尼克號(hào)。”

“為什么你最喜歡的電影是泰坦尼克號(hào)？”

由于多輪對(duì)話系統(tǒng)中存在普遍的對(duì)話語義的缺失、省略、指代等不完整性，所以多輪開放域?qū)υ捪到y(tǒng)仍然存在很大的發(fā)展?jié)摿ΑＲ话愕淖龇ㄊ前讯噍唽?duì)話生成拆解成多輪對(duì)話改寫任務(wù)+單輪對(duì)話任務(wù)來進(jìn)行，也就是先根據(jù)上下文語義信息把缺失語義的句子改寫成獨(dú)立完整語義的句子，然后再按照單輪對(duì)話來做。所以，多輪對(duì)話改寫逐漸成為研究多輪對(duì)話系統(tǒng)的一個(gè)重要分支。

目前，多輪對(duì)話改寫主要有以下兩種方案：

方案一：結(jié)合transformer版本的seq2seq和指針生成網(wǎng)絡(luò)來做缺失語義句子的改寫模型(T-Ptr-λ)，而且為了區(qū)分上下文和當(dāng)前缺失句子的重要性，分別做attention解碼操作。但是，由于改寫模型(T-Ptr-λ)中只使用了6層的transformer分別做encoder和decoder，為了區(qū)別上下文和當(dāng)前缺失語義的句子的重要性，decoder分別做了2次。這就導(dǎo)致了模型不能加載一些已經(jīng)預(yù)訓(xùn)練好的BERT類的權(quán)重，而且一共串行的跑了18層transformer-block從頭開始解碼生成也是十分耗時(shí)的。

方案二：使用級(jí)聯(lián)模型(PAC)進(jìn)行改寫，先通過BERT模型找出需要修改的詞，再通過seq2seq模型生成改寫的句子。級(jí)聯(lián)模型(PAC)雖然使用了預(yù)訓(xùn)練BERT一定程度提高了改寫的質(zhì)量。但是作為級(jí)聯(lián)的方法，需要先完成查找修改詞的階段，然后再進(jìn)行改寫階段；這勢(shì)必導(dǎo)致第一階段的誤差會(huì)在第二階段被放大，而且整個(gè)模型是BERT+seq2seq形式從頭開始生成也是比較耗時(shí)的。

發(fā)明內(nèi)容

鑒于上述問題，提出了本發(fā)明實(shí)施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種多輪對(duì)話改寫方法和相應(yīng)的一種多輪對(duì)話改寫裝置。

本發(fā)明實(shí)施例公開了一種多輪對(duì)話改寫方法，包括：

獲取目標(biāo)多輪對(duì)話改寫模型，待改寫對(duì)話以及所述待改寫對(duì)話對(duì)應(yīng)的歷史對(duì)話；

將所述待改寫對(duì)話和所述歷史對(duì)話輸入至所述目標(biāo)多輪對(duì)話改寫模型，以通過所述目標(biāo)多輪對(duì)話改寫模型預(yù)測(cè)所述待改寫對(duì)話中每個(gè)序列對(duì)應(yīng)的序列標(biāo)簽，并根據(jù)所述序列標(biāo)簽對(duì)所述待改寫對(duì)話進(jìn)行改寫得到目標(biāo)對(duì)話。