[發(fā)明專利]一種文本填充方法及裝置

在審

• 申請?zhí)枺?/td>: 202010801195.5
• 申請日: 2020-08-11
• 公開（公告）號: CN112069810A
• 公開（公告）日: 2020-12-11
• 發(fā)明（設(shè)計）人: 蔡曉東;田文靖
• 申請（專利權(quán)）人: 桂林電子科技大學(xué)
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 北京輕創(chuàng)知識產(chǎn)權(quán)代理有限公司 11212
• 代理人: 尉保芳

1.一種文本填充方法，其特征在于，包括如下步驟：

S1:對輸入樣本進(jìn)行預(yù)處理，得到帶有多個空白位置的缺失樣本；

S2:對所述缺失樣本進(jìn)行編碼，得到編碼層語義向量；

S3:基于注意力機制算法對所述編碼層語義向量中的多個空白位置進(jìn)行填充，得到預(yù)測層語義向量和多個用于填充所述空白位置的填充詞，并分別對各個填充至所述空白位置的詞進(jìn)行標(biāo)記，得到多個標(biāo)記填充詞；

S4:根據(jù)多個所述標(biāo)記填充詞對所述編碼層語義向量和所述預(yù)測層語義向量進(jìn)行損失分析，得到填充文本。

2.根據(jù)權(quán)利要求1所述的文本填充方法，其特征在于，所述步驟S1的過程包括：

利用隨機屏蔽算法對所述輸入樣本進(jìn)行預(yù)處理，得到缺失樣本，具體為：

S11:通過預(yù)設(shè)第一占位符隨機對所述輸入樣本中的詞進(jìn)行替換，得到第一缺失樣本；

S12:將預(yù)設(shè)第二占位符添加至所述第一缺失樣本中所述預(yù)設(shè)第一占位符的開頭，得到第二缺失樣本；

S13:將預(yù)設(shè)第三占位符添加至所述第二缺失樣本中所述預(yù)設(shè)第一占位符的結(jié)尾，得到第三缺失樣本；

S14:將預(yù)設(shè)第四占位符添加至所述第三缺失樣本的開頭，得到第四缺失樣本；

S15:將預(yù)設(shè)第五占位符添加至所述第四缺失樣本的結(jié)尾，得到缺失樣本。

3.根據(jù)權(quán)利要求2所述的文本填充方法，其特征在于，所述步驟S2的過程包括：

S21:利用詞嵌入算法對所述缺失樣本進(jìn)行詞向量化處理，得到詞向量矩陣；

S22:將所述詞向量矩陣輸入至雙向LSTM網(wǎng)絡(luò)中，得到編碼層語義向量。

4.根據(jù)權(quán)利要求3所述的文本填充方法，其特征在于，所述步驟S22的過程包括：

通過第一方程組對所述詞向量矩陣進(jìn)行計算，得到編碼層語義向量，所述第一方程組包括第一式、第二式、第三式、第四式、第五式和第六式；

其中，通過第一式得到遺忘門輸出，所述第一式為：

f_t＝σ(W_fw_t+U_fh_t-1+b_f)，

通過第二式得到輸入門輸出，所述第二式為：

i_t＝σ(W_iw_t+U_ih_t-1+b_i)，

通過第三式得到輸出門輸出，所述第三式為：

o_t＝σ(W_ow_t+U_oh_t-1+b_o)，

通過第四式得到新的記憶信息，所述第四式為：

通過第五式得到更新的LSTM網(wǎng)絡(luò)單元的記憶信息，所述第五式為：

c_t＝f_t⊙c_t-1+i_t⊙c_t，

通過第六式得到編碼層語義向量，所述第六式為：

h_t＝o_ttanh(c_t)，

其中，f_t為遺忘門輸出，i_t為輸入門輸出，o_t為輸出門輸出，W_f為遺忘門權(quán)重矩陣，W_i為輸入門權(quán)重矩陣，W_o為輸出門權(quán)重矩陣，W_c為選擇門權(quán)重矩陣，b_f為遺忘門偏置向量，b_i為輸入門偏置向量，b_o為輸出門偏置向量，b_c為選擇門偏置向量，U_f為遺忘門權(quán)重矩陣，U_i為輸入門權(quán)重矩陣，U_o為輸出門權(quán)重矩陣，U_c為選擇門權(quán)重矩陣，為新的記憶信息，c_t為更新的LSTM網(wǎng)絡(luò)單元的記憶信息，c_t-1為上一時刻的LSTM網(wǎng)絡(luò)單元的記憶信息，tanh()為雙曲正切函數(shù)，σ為sigmoid激活函數(shù)，⊙為元素乘積，h_t-1為t-1時刻的隱藏層輸出，w_t為t時刻的輸入信息，h_t為編碼層語義向量。