[發(fā)明專利]一種基于遞歸神經(jīng)網(wǎng)絡(luò)的摘要生成方法

在審

• 申請?zhí)枺?/td>: 201710099638.9
• 申請日: 2017-02-23
• 公開（公告）號(hào): CN106933785A
• 公開（公告）日: 2017-07-07
• 發(fā)明（設(shè)計(jì)）人: 賈江龍;劉聰
• 申請（專利權(quán)）人: 中山大學(xué)
• 主分類號(hào): G06F17/22
• 分類號(hào): G06F17/22;G06N3/02
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司44102
• 代理人: 林麗明

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，更具體地，涉及一種基于遞歸神經(jīng)網(wǎng)絡(luò)的摘要生成方法。

背景技術(shù)

摘要生成是自然語言處理領(lǐng)域的一個(gè)重要問題，它主要有兩種不同的形式：一種是生成源文的主旨，另一種是生成源文的標(biāo)題。前者一般比較長，可能包括數(shù)十個(gè)字或者詞，而后者相對比較短，一般只有十個(gè)字左右。摘要是源文的高度性概括，它必須簡單明了的表達(dá)源文的意思。傳統(tǒng)的摘要生成方法可以分為三個(gè)步驟：一、根據(jù)某個(gè)標(biāo)準(zhǔn)(例如分詞)將源文分割成很多個(gè)小片斷；二、根據(jù)每個(gè)片斷的權(quán)重(例如tf-idf)，從中選擇出權(quán)重比較大的那些片斷；三、根據(jù)某種算法將那些權(quán)重較大的片斷組合成新的句子，作為源文的摘要。

現(xiàn)有技術(shù)提供了一種基于基于遞歸神經(jīng)網(wǎng)絡(luò)編碼器與解碼器的摘要生成方法，該方法實(shí)際上是一個(gè)序列到序列的機(jī)器學(xué)習(xí)過程，它的輸入可以是一個(gè)句子，一個(gè)段落或者一篇文章，它的輸出是相應(yīng)輸入的主旨或者標(biāo)題，因此輸入和輸出都可以看作是由字或者詞組成的時(shí)間序列。與傳統(tǒng)的摘要生成方法相比，這是一種抽象的摘要生成過程。其根據(jù)給定的輸入序列，方法通過在整個(gè)詞表中遞歸地搜索關(guān)鍵詞來從前向后組成一個(gè)新的句子作為輸出序列，即摘要信息。

其中遞歸神經(jīng)網(wǎng)絡(luò)編碼器的作用是利用遞歸神經(jīng)網(wǎng)絡(luò)將給定的輸入序列轉(zhuǎn)換或者映射成為一個(gè)中間表達(dá)式，即將輸入的段落或者文章轉(zhuǎn)換成一個(gè)向量表達(dá)式H。假設(shè)輸入序列為：X＝{x₁,x₂,…,x_n}，其中n表示輸入序列的長度。如圖1所示，編碼器的作用可以用以下表達(dá)式來表示：

h_t＝f(x_t,h_t-1)

其中，x_t表示輸入序列中第t個(gè)元素的相應(yīng)向量，h_t表示t時(shí)刻編碼器的狀態(tài)向量，f和表示非線性映射函數(shù)。H表示輸入序列的向量表達(dá)式，一般情況下取H＝h_n即可，即用遞歸神經(jīng)網(wǎng)絡(luò)編碼器的最后時(shí)刻的狀態(tài)向量作為輸入序列的中間向量表達(dá)式。eos是一個(gè)特殊標(biāo)記，表示著輸入序列的終止，以及編碼器工作的結(jié)束和解碼器工作的開始。

相應(yīng)的，遞歸神經(jīng)網(wǎng)絡(luò)解碼器的作用是利用編碼器生成的中間向量表達(dá)式H來生成輸出序列。假設(shè)輸出序列為：Y＝{y₁,y₂,…,y_m}，其中m表示輸出序列的長度。需要注意的是，解碼器并不是一次性生成整個(gè)輸出序列，而是按照從前往后的順序每個(gè)時(shí)刻生成輸出順序的一個(gè)字或者一個(gè)詞，直到生成整個(gè)輸出序列為止。如圖2所示，解碼器的作用可以用以下表達(dá)式來表示：

P(y_t|y₁，...,y_t-1,H)＝g(s_t,H)

s_t＝f(y_t-1，s_t-1)

其中，P(Y│X)表示根據(jù)輸入X得到輸入Y的概率；y_t表示輸出序列中第t時(shí)刻的解碼出的字或詞，s_t表示t時(shí)刻解碼器的狀態(tài)向量。f和g表示非線性轉(zhuǎn)換函數(shù)，這里g采用softmax函數(shù)。

上述方案中，基于遞歸神經(jīng)網(wǎng)絡(luò)編碼器與解碼器的摘要生成方法有一個(gè)不足，即輸出序列的生成只與編碼器的最后時(shí)刻的狀態(tài)向量有關(guān)，但與編碼器中的其它狀態(tài)向量無關(guān)。當(dāng)遞歸神經(jīng)網(wǎng)絡(luò)的長度增加的時(shí)候，遞歸神經(jīng)網(wǎng)絡(luò)抽取的特征向量往往與輸入序列后面的狀態(tài)關(guān)聯(lián)性增加，但與輸入序列前面的狀態(tài)關(guān)聯(lián)性減少，這就可能會(huì)造成信息的衰減。因此只根據(jù)編碼器的最后狀態(tài)來解碼會(huì)造成輸出序列與輸入序列之間的關(guān)聯(lián)性變?nèi)酢?/p>

發(fā)明內(nèi)容

本發(fā)明為解決以上現(xiàn)有技術(shù)在解碼的過程中會(huì)造成信息衰減的缺陷，提供了一種基于遞歸神經(jīng)網(wǎng)絡(luò)的摘要生成方法

為實(shí)現(xiàn)以上發(fā)明目的，采用的技術(shù)方案是：