[發(fā)明專利]基于強(qiáng)化學(xué)習(xí)的對話控制方法及裝置

有效

• 申請?zhí)枺?/td>: 201910400101.0
• 申請日: 2019-05-14
• 公開（公告）號: CN110211572B
• 公開（公告）日: 2021-12-10
• 發(fā)明（設(shè)計）人: 張原;胡一川;張海雷;汪冠春
• 申請（專利權(quán)）人: 北京來也網(wǎng)絡(luò)科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G10L17/04;G10L17/22;G06F16/332
• 代理公司: 北京知果之信知識產(chǎn)權(quán)代理有限公司 11541
• 代理人: 唐海力;李志剛

1.一種基于強(qiáng)化學(xué)習(xí)的對話控制方法，其特征在于，包括：

根據(jù)對話預(yù)設(shè)目標(biāo)，確定強(qiáng)化學(xué)習(xí)的訓(xùn)練環(huán)境，其中，所述訓(xùn)練環(huán)境中至少包括：輸入的狀態(tài)和輸出的動作；

通過將當(dāng)前強(qiáng)化學(xué)習(xí)模型中的所述狀態(tài)融合預(yù)設(shè)規(guī)則后得到候選動作集合，并輸入至強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型后從所述候選動作集合中選擇需要執(zhí)行的所述動作；

持續(xù)訓(xùn)練所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型至收斂；以及

接收用戶輸入對話內(nèi)容，通過所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型返回所述對話內(nèi)容的回復(fù)結(jié)果；

持續(xù)訓(xùn)練所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型至收斂包括：

根據(jù)所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型中現(xiàn)有的狀態(tài)融合預(yù)設(shè)對話規(guī)則后得到候選動作集合；

使用所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型中從所述候選動作集合中篩選出唯一需要執(zhí)行的動作，并根據(jù)回報函數(shù)訓(xùn)練所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型至收斂。

2.根據(jù)權(quán)利要求1所述的對話控制方法，其特征在于，接收用戶輸入對話內(nèi)容，通過所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型返回所述對話內(nèi)容的回復(fù)結(jié)果包括：

采用訓(xùn)練至收斂后的所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型中融合預(yù)設(shè)規(guī)則的決策模型返回所述對話內(nèi)容的回復(fù)結(jié)果。

3.根據(jù)權(quán)利要求1所述的對話控制方法，其特征在于，根據(jù)對話預(yù)設(shè)目標(biāo)，確定強(qiáng)化學(xué)習(xí)的訓(xùn)練環(huán)境還包括：

確定在輸入的狀態(tài)到輸出的動作的過程中，生成的累積回報，并使回報最大化。

4.根據(jù)權(quán)利要求1所述的對話控制方法，其特征在于，

持續(xù)訓(xùn)練所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型至收斂包括：

使用DQN模型并且融合預(yù)設(shè)規(guī)則后訓(xùn)練用于執(zhí)行最優(yōu)策略的智能體；

接收用戶輸入對話內(nèi)容，通過所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型返回所述對話內(nèi)容的回復(fù)結(jié)果包括：

接收用戶輸入對話內(nèi)容，使用所述智能體在與用戶的每輪對話中選擇預(yù)定的策略進(jìn)行對話，以使通過對話控制完成對話預(yù)設(shè)目標(biāo)的任務(wù)。

5.一種基于強(qiáng)化學(xué)習(xí)的對話控制裝置，其特征在于，包括：

訓(xùn)練環(huán)境模塊，用于根據(jù)對話預(yù)設(shè)目標(biāo)，確定強(qiáng)化學(xué)習(xí)的訓(xùn)練環(huán)境，其中，所述訓(xùn)練環(huán)境中至少包括：輸入的狀態(tài)和輸出的動作；

規(guī)則融合模塊，用于通過將當(dāng)前強(qiáng)化學(xué)習(xí)模型中的所述狀態(tài)融合預(yù)設(shè)規(guī)則后得到候選動作集合，并輸入至強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型后從所述候選動作集合中選擇需要執(zhí)行的所述動作；

訓(xùn)練模塊，用于持續(xù)訓(xùn)練所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型至收斂；以及

對話處理模塊，用于接收用戶輸入對話內(nèi)容，通過所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型返回所述對話內(nèi)容的回復(fù)結(jié)果；

所述訓(xùn)練模塊包括：

融合單元，用于根據(jù)所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型中現(xiàn)有的狀態(tài)融合預(yù)設(shè)對話規(guī)則后得到候選動作集合；

篩選單元，用于使用所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型中從所述候選動作集合中篩選出唯一需要執(zhí)行的動作，并根據(jù)回報函數(shù)訓(xùn)練所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型至收斂。

6.根據(jù)權(quán)利要求5所述的對話控制裝置，其特征在于，所述對話處理模塊，還用于

采用訓(xùn)練至收斂后的所述強(qiáng)化學(xué)習(xí)網(wǎng)絡(luò)模型中融合預(yù)設(shè)規(guī)則的決策模型返回所述對話內(nèi)容的回復(fù)結(jié)果。

7.根據(jù)權(quán)利要求5所述的對話控制裝置，其特征在于，所述訓(xùn)練環(huán)境模塊，還用于

確定在輸入的狀態(tài)到輸出的動作的過程中，生成的累積回報，并使回報最大化。

8.根據(jù)權(quán)利要求5所述的對話控制裝置，其特征在于，所述訓(xùn)練模塊包括：策略執(zhí)行單元，所述對話處理模塊包括：選擇單元，

策略執(zhí)行單元，用于使用DQN模型并且融合預(yù)設(shè)規(guī)則后訓(xùn)練用于執(zhí)行最優(yōu)策略的智能體；

選擇單元，用于接收用戶輸入對話內(nèi)容，使用所述智能體在與用戶的每輪對話中選擇預(yù)定的策略進(jìn)行對話，以使通過對話控制完成對話預(yù)設(shè)目標(biāo)的任務(wù)。