[發明專利]基于考慮領域信息的標點預測方法

在審

• 申請號: 202010590707.8
• 申請日: 2020-06-24
• 公開（公告）號: CN111723584A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 王龍標;魏文青;黨建武
• 申請（專利權）人: 天津大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程小艷

1.基于考慮領域信息的標點預測方法，其特征在于，該方法主要步驟如下：

1)對文本的標標點符號進行預處理；

2)神經網絡前端特征的選擇：使用GloVe工具將單詞轉換成300維度詞向量；

3)模型構建：模型使用多任務學習的方法，同時預測標點和文本的領域分類，從而使模型融入領域信息；

4)評價指標的選取：為了評估標點符號預測任務的性能，我們中使用的評估指標是精確度(precision)，召回率(precision)和統計學中用來衡量類模型精確度的一種指標F₁；

所述步驟3)具體有兩種方法：

一種將領域標簽轉換成one-hot編碼結合詞向量作為輸入，從而使模型融入領域信息；

該模型主要包含一層雙向長短期記憶網絡(BILSTM)，使用單詞嵌入編碼單詞的序列X＝(x₁,…,x_t)和該句子的所屬領域標點的one-hot編碼D_tag結合，作為雙向長短期記憶層的輸入，

N_t＝{x_t，D_tag} (1)

雙向長短期記憶層由兩個LSTM層組成，其中正向LSTM層處理正向的值序列，反向LSTM層處理反向的值序列，兩個LSTM層使用帶權重的共享層來處理信息，前向LSTM層的是時間步長t處隱藏單元的

反向LSTM層的隱藏狀態的計算方法與前向LSTM層序列的方法相同；

BiLSTM層h_t的隱藏狀態然后通過在步驟時間t結合前向LSTM層的隱藏單元和后向LSTM層的隱藏單元的狀態來構造的：

因此，雙向LSTM可以利用前后的語句來學習每個輸入單詞的表達，識別經常依賴于語境的標點符號；然后輸出層在時間步t產生標點概率y_t，如下:

y_t＝Softmax(h_tW_y+b_y) (4)

另一種時使用多任務學習的方法，該模型中和上一個任務中有兩個任務一個是標點預測，另一個是文本的領域分類模型結構，在這個模型中和領域標簽的模型相似的網絡結構，使用單詞嵌入編碼單詞的序列X＝(x₁，...，x_t)作為輸入；

D_tag為文本領域分類任務的輸出，主要流程如下：

y_t＝Softmax(h_tW_y+b_y) (7)

f＝fltten{h₁，h₂，...，h_t} (8)

D_tag＝Sigmod(fW_D+d_tag) (9)

2.根據權利要求1所述的基于考慮領域信息的標點預測方法，其特征在于，所述步驟4)使用的評估指標是精確度，召回率和統計學中用來衡量類模型精確度的一種指標F₁，并在測試集中分別顯示逗號、句號、問號和感嘆號這四個標點符號的度量，方程式定義如下:

召回率：

準確率：

F₁值：