[發明專利]模型訓練、命名實體識別方法及裝置

有效

• 申請號: 202010631307.7
• 申請日: 2020-07-03
• 公開（公告）號: CN111523313B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 李揚名;李小龍;姚開盛
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/295;G06N3/04;G06N3/08
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種用于識別命名實體的模型訓練方法，通過計算機執行，包括：

獲取包含多個分詞的第一樣本序列，多個分詞包含命名實體和非命名實體；

將所述第一樣本序列中的第一命名實體替換為第一預設字符，得到第二樣本序列，并從所述第二樣本序列中確定包含所述第一預設字符的文本片段；所述第一命名實體從所述第一樣本序列的各個命名實體中確定；

采用第一遞歸神經網絡，以預設隱向量作為初始隱向量，遞歸地確定所述第二樣本序列中多個分詞的隱向量，使得所述第二樣本序列中后一個分詞的隱向量包含前面各個分詞的信息；基于所述第二樣本序列中多個分詞的隱向量，確定所述文本片段的表征向量；

通過變分自編碼器，基于所述表征向量構建高斯分布，基于所述高斯分布確定針對所述文本片段的全局隱向量；

采用所述第一遞歸神經網絡，以所述全局隱向量作為初始隱向量，遞歸地確定所述文本片段中分詞的隱向量，作為解碼隱向量，并基于所述解碼隱向量，確定所述文本片段中分詞的預測值；

基于所述文本片段中分詞與其預測值的差異，以及基于所述高斯分布確定的分布差異，確定預測損失值，向減小所述預測損失值的方向，更新所述第一遞歸神經網絡和所述變分自編碼器。

2.根據權利要求1所述的方法，所述將所述第一樣本序列中的第一命名實體替換為第一預設字符的步驟，包括：

從所述第一樣本序列中的至少一個命名實體中隨機確定第一數量個命名實體，作為第一命名實體，將所述第一命名實體替換為第一預設字符。

3.根據權利要求1所述的方法，所述從所述第二樣本序列中確定包含所述第一預設字符的文本片段的步驟，包括：

將所述第二樣本序列中，從所述第一預設字符開始，以所述第一預設字符之后的第一個命名實體結尾的序列，確定為文本片段；或者，將所述第二樣本序列中，以所述第一預設字符結尾，以所述第一預設字符之前的第一個命名實體開始的序列，確定為文本片段。

4.根據權利要求3所述的方法，所述基于所述第二樣本序列中多個分詞的隱向量，確定所述文本片段的表征向量的步驟，包括：

從所述第二樣本序列的多個分詞的隱向量中，確定所述文本片段的首分詞的隱向量和尾分詞的隱向量，并分別作為所述首分詞的初始隱向量和所述尾分詞的初始隱向量，基于所述尾分詞的初始隱向量與所述首分詞的初始隱向量的差值，確定所述文本片段的表征向量。

5.根據權利要求1所述的方法，所述基于所述表征向量構建高斯分布，基于所述高斯分布確定針對所述文本片段的全局隱向量的步驟，包括：

通過變分自編碼器，基于所述表征向量，確定高斯分布的均值和方差，基于所述高斯分布的均值和方差確定針對所述文本片段的全局隱向量。

6.根據權利要求1所述的方法，所述遞歸地確定所述文本片段中分詞的解碼隱向量的步驟，包括：

通過所述第一遞歸神經網絡，針對所述文本片段中首分詞和尾分詞之外的每個中間分詞，基于上一分詞的解碼隱向量確定該中間分詞的解碼隱向量，其中，第一個中間分詞的上一分詞的解碼隱向量為所述全局隱向量。