[發明專利]一種序列標注的訓練方法、裝置及計算機可讀存儲介質

在審

• 申請號: 201911253417.8
• 申請日: 2019-12-09
• 公開（公告）號: CN113033192A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 張永偉;童毅軒;丁磊;姜珊珊;董濱
• 申請（專利權）人: 株式會社理光
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 黃燦;姜精斌

1.一種序列標注的訓練方法，其特征在于，包括：

根據已標注標簽的訓練語句集，為訓練語句集中的字生成字向量；

按照正向序列方向和反向序列方向，將所述訓練語句中以當前字向量為邊界的多個字向量序列，輸入至兩層自注意力模型，生成當前字向量在不同序列方向上的詞邊界特征向量；

將當前字向量分別和當前字向量在不同序列方向上的詞邊界特征向量拼接后輸入至雙向長短期記憶Bi-LSTM模型，獲得所述Bi-LSTM模型的隱藏層狀態輸出；

根據所述Bi-LSTM模型的隱藏層狀態輸出，并利用條件隨機場模型進行標簽預測訓練。

2.如權利要求1所述的序列標注的訓練方法，其特征在于，

所述兩層自注意力模型包括P-1個第一層自注意力模型和1個第二層自注意力模型，其中：

所述P-1個第一層自注意力模型的輸入分別為長度2到P的字向量序列，所述字向量序列為從所述訓練語句中的第一字向量開始，截止到所述當前字向量的序列，所述第一字向量為按照序列方向位于當前字向量之前的字向量，所述P為大于或等于3的整數；

所述第二層自注意力模型的輸入為所述P-1個第一層自注意力模型的輸出，第二層自注意力模型的輸出作為當前字向量的詞邊界特征向量。

3.如權利要求1所述的序列標注的訓練方法，其特征在于，將當前字向量分別和當前字向量在不同序列方向上的詞邊界特征向量拼接后輸入至雙向長短期記憶Bi-LSTM模型，獲得所述Bi-LSTM模型的隱藏層狀態輸出的步驟，包括：

將當前字向量分別和當前字向量在不同序列方向上的詞邊界特征向量拼接，得到兩個拼接向量；

將所述兩個拼接向量，分別作為所述Bi-LSTM模型兩個方向上的輸入參數，輸入至所述Bi-LSTM模型；

對所述Bi-LSTM模型輸出的正向隱藏層狀態和反向隱藏層狀態進行拼接，得到所述Bi-LSTM模型的隱藏層狀態輸出。

4.如權利要求1所述的序列標注的訓練方法，其特征在于，根據已標注標簽的訓練語句集，為訓練語句集中的字生成字向量的步驟，包括：

根據已標注標簽的訓練語句集，構建包括多個字的字典，為字典中的每個字分配一個唯一的標識ID號；

對所述字典中的每個字所對應的ID號進行向量轉換，生成該字的向量。

5.如權利要求1所述的序列標注的訓練方法，其特征在于，根據所述Bi-LSTM模型的隱藏層狀態輸出，并利用條件隨機場模型進行標簽預測訓練的步驟，包括：

根據所述Bi-LSTM模型的隱藏層狀態輸出，在條件隨機場模型中計算標簽序列的最大似然估計，利用訓練數據中每個字對應的標簽，計算條件隨機場的損失，并將條件隨機場的損失作為Bi-LSTM模型的損失，進行聯合模型的訓練，所述聯合模型包括所述兩層自注意力模型、Bi-LSTM模型和條件隨機場模型。

6.如權利要求5所述的序列標注的訓練方法，其特征在于，還包括：

利用訓練得到的聯合模型，對待標注語句進行標注。

7.一種序列標注的訓練裝置，其特征在于，包括：

字向量生成模塊，用于根據已標注標簽的訓練語句集，為訓練語句集中的字生成字向量；

詞邊界特征生成模塊，用于按照正向序列方向和反向序列方向，將所述訓練語句中以當前字向量為邊界的多個字向量序列，輸入至兩層自注意力模型，生成當前字向量在不同序列方向上的詞邊界特征向量；

模型訓練模塊，用于將當前字向量分別和當前字向量在不同序列方向上的詞邊界特征向量拼接后輸入至雙向長短期記憶Bi-LSTM模型，獲得所述Bi-LSTM模型的隱藏層狀態輸出；以及，根據所述Bi-LSTM模型的隱藏層狀態輸出，并利用條件隨機場模型進行標簽預測訓練。