[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法

在審

• 申請?zhí)枺?/td>: 201911375183.4
• 申請日: 2019-12-27
• 公開（公告）號: CN111191015A
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計(jì)）人: 王璐;謝志峰;丁友東
• 申請（專利權(quán)）人: 上海大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/31;G06F40/126;G06N3/04
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 陸聰明

1.一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法，其特征在于，具體操作步驟如下：

1)將收集的電影數(shù)據(jù)，以三元組的形式存儲成電影知識庫，并構(gòu)建電影知識對話數(shù)據(jù)集；

2)用記憶神經(jīng)網(wǎng)絡(luò)編碼器將歷史對話編碼；

3)將門控循環(huán)單元GRU與記憶神經(jīng)網(wǎng)絡(luò)編碼器結(jié)合，用GRU的隱藏狀態(tài)作為記憶神經(jīng)網(wǎng)絡(luò)的動(dòng)態(tài)查詢向量，指導(dǎo)響應(yīng)生成。

2.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法，其特征在于，所述步驟1)先將收集到電影知識存儲成知識三元組的形式，再通過模板填充的方式構(gòu)建電影知識對話數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法，其特征在于，所述步驟2)中的編碼器是標(biāo)準(zhǔn)的相鄰權(quán)重復(fù)制模式的MemNN；編碼器的輸入是分詞后的歷史對話，嵌入矩陣將輸入的歷史對話編碼成兩個(gè)向量m_i，c_i，u是查詢向量q的嵌入表示，接著計(jì)算u和記憶向量m的匹配程度p_i：

p_i＝softmax(u^Tm_i) (1)

第k層輸出向量為o^k：

o^k＝∑_ip_ic_i (1)

下一層輸入u^k+1為當(dāng)前層的輸出o^k和當(dāng)前層查詢向量u^k的加和，如公式(3)所示：

u^k+1＝u^k+o^k (2)。

4.根據(jù)權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法，其特征在于，所述步驟3)中的解碼部分用了RNN的變體GRU和MemNN；因?yàn)橐蛇m當(dāng)?shù)捻憫?yīng)，既需要用到歷史對話的信息也要用到知識庫的信息，所以解碼器中MemNN存儲的信息為歷史對話和相關(guān)的知識三元組，GRU被用來作為MemNN的動(dòng)態(tài)查詢向量，對于每一步GRU的輸入為上一時(shí)刻的輸出和上一時(shí)刻生成的查詢向量，如公式(4)所示：

其中h_t作為查詢向量傳遞給MemNN，指導(dǎo)MemNN生成單詞，其中查詢向量h_t初始化為編碼器的輸出向量o，在每個(gè)時(shí)刻，都有兩個(gè)概率分布產(chǎn)生，一個(gè)是所有詞匯的概率分布(P_vocab)，另一個(gè)是包含歷史對話和知識三元組的所有記憶內(nèi)容的概率分布(P_ptr)，因?yàn)槲覀兏鼉A向于產(chǎn)生比較松散的詞匯表的概率分布，所以在第一跳的時(shí)候產(chǎn)生P_vocab，更具體的講，在第一跳的時(shí)候我們的注意力將放在檢索記憶內(nèi)容；由于我們傾向產(chǎn)生一個(gè)更加清晰明確的P_ptr概率分布，所以在第三跳的時(shí)候產(chǎn)生P_ptr的概率分布，具體來說，最后一跳會(huì)選擇受指針監(jiān)督的清晰具體的詞匯；具體的P_vocab的計(jì)算如公式(5)所示：

其中，w₁是訓(xùn)練的權(quán)重參數(shù)，P_ptr的計(jì)算如公式(6)所示：

解碼器通過指向MemNN中的輸入字來生成詞匯，這與指針網(wǎng)絡(luò)中使用的注意力類似；

控制門：若生成的詞匯不在記憶內(nèi)容中，P_ptr產(chǎn)生休止符‘#’，一旦休止符被選中，模型就會(huì)從P_vocab分布中生成詞匯，反之休止符沒有被選中，則產(chǎn)生的詞匯來源于記憶內(nèi)容中；所以休止符就相當(dāng)于一個(gè)硬門，控制著每一時(shí)刻輸出的詞匯應(yīng)該從詞匯表中產(chǎn)生還是從記憶內(nèi)容中產(chǎn)生；

鑒于電影數(shù)據(jù)一個(gè)屬性可能有多個(gè)屬性值的特點(diǎn)，Mem2Seq方法產(chǎn)生的響應(yīng)會(huì)出現(xiàn)實(shí)體被過度使用的情況，因此，如果知識庫中的某個(gè)詞被指針選中輸出后，就減小該詞出現(xiàn)的概率，我們提出一種解決方法：在解碼器輸出部分加上一個(gè)控制門，把已經(jīng)輸出過的知識庫中的實(shí)體的概率乘上一個(gè)非常小的系數(shù)來降低它的概率，以保證在前面出現(xiàn)過的實(shí)體詞，不會(huì)在后面出現(xiàn)，增加響應(yīng)的多樣性。