[發(fā)明專利]一種基于強(qiáng)化學(xué)習(xí)的多輪對(duì)話答復(fù)選擇模型及其方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811319709.2
• 申請(qǐng)日: 2018-11-07
• 公開（公告）號(hào): CN109597876B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計(jì)）人: 林鍵;卓漢逵
• 申請(qǐng)（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06F16/332
• 分類號(hào): G06F16/332;G06F16/35
• 代理公司: 廣州容大知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44326
• 代理人: 劉新年

1.一種基于強(qiáng)化學(xué)習(xí)的多輪對(duì)話答復(fù)選擇方法，包括如下步驟：

步驟S1，利用策略網(wǎng)絡(luò)模塊采用隨機(jī)策略，在各個(gè)狀態(tài)空間下對(duì)上下文文本的各句子中的各個(gè)單詞采樣一個(gè)動(dòng)作，從而對(duì)整個(gè)上下文文本得到一個(gè)動(dòng)作序列；

步驟S2，利用上下文文本重構(gòu)網(wǎng)絡(luò)根據(jù)策略網(wǎng)絡(luò)模塊輸出的動(dòng)作序列，重構(gòu)出一個(gè)新的上下文文本；

步驟S3，利用分類網(wǎng)絡(luò)模塊將上下文文本重構(gòu)網(wǎng)絡(luò)重構(gòu)后的上下文文本與候選回答句子進(jìn)行匹配，最后得到分類結(jié)果，并根據(jù)分類結(jié)果計(jì)算得到一個(gè)損失值，將該損失值作為延遲獎(jiǎng)勵(lì)更新策略網(wǎng)絡(luò)模塊；

所述隨機(jī)策略為：

π(a_ts_t；θ)＝sigmod(W*[h_u,t-1；e_u,t；e'_u,t]+b)

其中π(a_ts_t；θ)表示選擇動(dòng)作a_t的概率，θ、W、b表示策略網(wǎng)絡(luò)的參數(shù)，且θ＝{W,b}，e_u,t為上下文句子u在t狀態(tài)下輸入的詞向量，h_u,t-1表示上一狀態(tài)下門循環(huán)網(wǎng)絡(luò)GRU的隱藏狀態(tài)向量，令候選回答其中e_r,i表示句子r中的第i個(gè)單詞，對(duì)有e_t,i建模了當(dāng)前狀態(tài)輸入的單詞和候選答復(fù)句子中各個(gè)單詞的相關(guān)性；

步驟S3進(jìn)一步包括：

步驟S300，將門循環(huán)單元的內(nèi)部隱藏狀態(tài)作為文本單詞的表示，將重構(gòu)后的上下文文本和候選回答句子，計(jì)算重構(gòu)后上下文文本單詞向量矩陣與候選回答句子單詞向量句子乘積，得到一個(gè)單詞-單詞的相似性矩陣；

步驟S301，利用卷積神經(jīng)網(wǎng)絡(luò)提取該相似性矩陣中的關(guān)鍵特征；

步驟S302，將該關(guān)鍵特征一個(gè)全連接層得到最后的分類結(jié)果，并根據(jù)分類結(jié)果計(jì)算得到一個(gè)損失值，將該損失值作為延遲獎(jiǎng)勵(lì)更新策略網(wǎng)絡(luò)模塊。

2.如權(quán)利要求1所述的一種基于強(qiáng)化學(xué)習(xí)的多輪對(duì)話答復(fù)選擇方法，其特征在于：于步驟S2中，利用所述上下文文本重構(gòu)網(wǎng)絡(luò)獲得所述策略網(wǎng)絡(luò)模塊得到的動(dòng)作序列，過(guò)濾掉冗余的單詞，并將過(guò)濾后的上下文文本拼接起來(lái)，得到重構(gòu)后的上下文文本。