[發(fā)明專利]一種基于遞歸神經(jīng)網(wǎng)絡(luò)的摘要生成方法

在審

• 申請?zhí)枺?/td>: 201710099638.9
• 申請日: 2017-02-23
• 公開（公告）號: CN106933785A
• 公開（公告）日: 2017-07-07
• 發(fā)明（設(shè)計）人: 賈江龍;劉聰
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06F17/22
• 分類號: G06F17/22;G06N3/02
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 林麗明

1.一種基于遞歸神經(jīng)網(wǎng)絡(luò)的摘要生成方法，其特征在于：在當前時刻t，將遞歸神經(jīng)網(wǎng)絡(luò)解碼器的狀態(tài)向量s_t與遞歸神經(jīng)網(wǎng)絡(luò)編碼器的每個時刻的狀態(tài)向量進行對比，找出與狀態(tài)向量s_t關(guān)聯(lián)性最強的狀態(tài)向量H，然后利用狀態(tài)向量H及狀態(tài)向量H左右兩側(cè)的d個狀態(tài)向量計算得到狀態(tài)向量c_t，利用狀態(tài)向量c_t、狀態(tài)向量s_t計算得到新的狀態(tài)向量d_t，然后根據(jù)狀態(tài)向量d_t解碼得到輸出序列的下一個字或者詞，其中d為大于或等于1的整數(shù)。

2.根據(jù)權(quán)利要求1所述的基于遞歸神經(jīng)網(wǎng)絡(luò)的摘要生成方法，其特征在于：

所述找出與狀態(tài)向量s_t關(guān)聯(lián)性最強的狀態(tài)向量H的具體過程如下：

$p_t=n*sigmoid(v_p^T*\tanh (w_p*s_t\left)\right)$

其中p_t表示狀態(tài)向量H在遞歸神經(jīng)網(wǎng)絡(luò)編碼器狀態(tài)向量序列中的位置，n表示輸入序列的長度，w_p表示需要學習的參數(shù)，sigmoid函數(shù)具體表示如下：

sigmoid(x)＝1/(1+e^-x)

tanh函數(shù)表示如下：

$\tanh \left(x\right)=\left\{\begin{array}{c}-1,x\<-1\\ x,-1\≤x\≤1\\ 1,x\≥1\end{array}\right..$