[發(fā)明專利]一種基于seq2seq+attention的中文文本糾錯(cuò)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201811441697.0
• 申請(qǐng)日: 2018-11-29
• 公開（公告）號(hào): CN109614612A
• 公開（公告）日: 2019-04-12
• 發(fā)明（設(shè)計(jì)）人: 李石君;鄧永康;楊濟(jì)海;余偉;余放;李宇軒
• 申請(qǐng)（專利權(quán)）人: 武漢大學(xué)
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F17/22;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 魯力

1.一種基于seq2seq+attention的中文文本糾錯(cuò)方法，其特征在于，包括以下步驟：

步驟1，文本預(yù)處理：首先基于python讀取數(shù)據(jù)庫中的檢修記錄，提取文檔文件中的所有內(nèi)容，然后利用正則表達(dá)式進(jìn)行中文分句操作，將結(jié)果存入文本文件中，每一行對(duì)應(yīng)一個(gè)句子，同時(shí)將人工標(biāo)注的正確文本存入另一個(gè)文本文件中，和原始文件一一對(duì)應(yīng)；記錄下電力通信領(lǐng)域中的專有符號(hào)，和常見的漢字表共同組成字符表；

步驟2，構(gòu)建基于attention的seq2seq神經(jīng)網(wǎng)絡(luò)模型，具體包括：

步驟2.1，構(gòu)建Encoder模塊層，包括Embedding Layer和M層雙向LSTM，其中：

層一、Embedding Layer的輸入為當(dāng)前字符的one-hot編碼，one-hot編碼可以根據(jù)步驟1中形成的字符表得到；Embeddin_g Layer的輸出為當(dāng)前字符的字向量即：

e_t＝E^T·x_t

其中x_t是t時(shí)刻輸入字符的one-hot編碼，是v維列向量，v是步驟1得到的字符表中的字符總數(shù)；E是字符向量矩陣，是v×d維矩陣，在具體實(shí)現(xiàn)過程中，d取100-200之間的數(shù)字，d代表每一個(gè)字符向量的維度，矩陣E是模型的參數(shù)，通過訓(xùn)練得到；e_t是t時(shí)刻輸入字符的字向量；

在具體實(shí)現(xiàn)過程中，使用TensorFlow中tf.nn.embedding_lookup函數(shù)，得到字符向量；

層二、M層雙向LSTM中的基本單元是LSTM，第j層t時(shí)刻LSTM的隱藏狀態(tài)計(jì)算公式如下：

其中，初始化為零向量，函數(shù)σ(x)＝1/(1+e^-x)，函數(shù)tanh(x)＝(e^x-e^-x)/(e^x+e^-x)，均是模型參數(shù)，通過訓(xùn)練獲得，⊙表示對(duì)應(yīng)元素相乘；

基于LSTM的計(jì)算公式得到：從前往后傳播的隱藏狀態(tài)向量從后往前傳播的隱藏狀態(tài)向量則在第j層t時(shí)刻，Bi-LSTM的輸出為

在具體實(shí)現(xiàn)過程中，可以使用TensorFlow中的函數(shù)BasicLSTMCell來實(shí)現(xiàn)；

步驟2.2，構(gòu)建Decoder模塊層，Decoder模塊層是一個(gè)M層單向LSTM語言模型結(jié)構(gòu)，每一層初始狀態(tài)向量均來自Encoder；代表Decoder第M層的輸出，經(jīng)過softmax變換，得到每個(gè)字符的概率，計(jì)算公式如下：

計(jì)算損失函數(shù)：

其中，y_t是one-hot編碼，代表t時(shí)刻輸出的字符，P是輸出序列長(zhǎng)度；

步驟2.3，構(gòu)建attention模塊層：在Encoder模塊層中得到最后一層所有時(shí)刻的隱藏狀態(tài)向量Q為輸入字符的總數(shù)；在Decoder模塊中得到第一層t-1時(shí)刻的隱藏狀態(tài)向量attention向量的計(jì)算公式如下：

α＝softmax(w)

在計(jì)算Decoder模塊層中t時(shí)刻每一層的隱藏狀態(tài)向量時(shí)，加入β；

步驟3，采用Adam優(yōu)化方法進(jìn)行模型訓(xùn)練：神經(jīng)網(wǎng)絡(luò)模型構(gòu)建成功之后，數(shù)據(jù)從輸入到輸出的整個(gè)流程，以TensorFlow中計(jì)算圖的形式存在，直接利用tf.train.AdamOptimizer().minimize()進(jìn)行迭代訓(xùn)練，找到參數(shù)最優(yōu)值；

步驟4，進(jìn)行糾錯(cuò)任務(wù)，具體是：

在Decoder階段，采用beam search進(jìn)行推斷過程，beam size為2，每次挑選兩個(gè)概率最高的字符，作為下一次預(yù)測(cè)的輸入，遇見終止符<EOS>時(shí)，停止推斷，得到輸出序列。