[發明專利]零指代消解方法、訓練零指代消解模型的方法及電子設備

在審

• 申請號: 202011069841.X
• 申請日: 2020-09-30
• 公開（公告）號: CN112256868A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張偉男;趙正宇;張家樂;劉挺;王家凱;陳開濟;丁勇
• 申請（專利權）人: 華為技術有限公司;哈爾濱工業大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/151;G06K9/62;G06N3/04
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 李木燕

1.一種訓練零指代消解模型的方法，其特征在于，適用于在電子設備中執行，所述方法包括：

將訓練文本中的所有詞轉換為第一向量；其中，所述訓練文本中包括多個先行詞和多個零代詞，所述第一向量包括與各個所述先行詞對應的第一先行詞向量和與各個所述零代詞對應的第一零代詞向量，所述第一零代詞向量中包含零代詞的位置信息；

將所述零代詞的位置信息融合到所述第一先行詞向量中，得到第二先行詞向量；

基于所述第一零代詞向量和所述第二先行詞向量，確定每個所述先行詞的理論類別標簽；其中，每個所述先行詞對應一個預設類別標簽；

根據每個所述先行詞的理論類別標簽與所述預設類別標簽，對所述零指代消解模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述零指代消解模型包括嵌入層、Transformer層、零代詞位置信息融入層、線性投影層和分類層；

所述將訓練文本中的所有詞轉換為第一向量，包括：

通過所述嵌入層將所述訓練文本中的所有詞轉換為第二向量；

通過所述Transformer層將所述第二向量轉換為所述第一向量。

3.根據權利要求2所述的方法，其特征在于，所述方法包括：

采用掩碼語言模型對所述訓練文本進行預訓練，得到所述Transformer層的預訓練參數；

所述通過所述Transformer層將所述第二向量轉換為所述第一向量，包括：

將所述Transformer層的預訓練參數帶入所述Transformer層；

通過所述Transformer層將所述第二向量轉換為所述第一向量。

4.根據權利要求3所述的方法，其特征在于，所述通過所述嵌入層將所述訓練文本中的所有詞轉換為第二向量，包括：

將待訓練文本中的零代詞的位置采用預設標記替換，得到所述訓練文本；

通過所述嵌入層將所述訓練文本中的所有詞轉換為第二向量。

5.根據權利要求2所述的方法，其特征在于，所述基于所述第一零代詞向量和所述第二先行詞向量，確定每個所述先行詞的理論類別標簽，包括：

將所述第一零代詞向量和所述第二先行詞向量，輸入到所述線性投影層和所述分類層，確定每個先行詞在多個預設類別標簽上對應的標簽值；

根據每個先行詞對應的多個標簽值，確定每個先行詞對應的理論類別標簽。

6.根據權利要求5所述的方法，其特征在于，所述根據每個先行詞對應的多個標簽值，確定每個先行詞對應的理論類別標簽，包括：

確定每個先行詞所包含的字在所述多個預設類別標簽上的第一標簽值；其中，所述第一標簽值為多個，多個所述第一標簽值與所述多個預設類別標簽一一對應；

根據每個字在所述多個預設類別標簽上的標簽值，計算每個先行詞在所述多個預設類別標簽上的第二標簽值；

根據每個先行詞的多個所述第二標簽值，確定每個先行詞對應的理論類別標簽。

7.根據權利要求6所述的方法，其特征在于，所述根據每個字在所述多個預設類別標簽上的標簽值，計算每個先行詞在所述多個預設類別標簽上的第二標簽值，包括：

對于每個先行詞，計算各個字與第一預設類別標簽對應的第一標簽值的平均值，得到每個先行詞與所述第一預設類別標簽對應的所述第二標簽值；其中，所述第一預設類別標簽為所述多個預設類別標簽中的任一預設類別標簽。

8.根據權利要求6所述的方法，其特征在于，所述根據每個先行詞的多個所述第二標簽值，確定每個先行詞對應的理論類別標簽，包括：

根據所述多個第二標簽值中的最大值，確定每個先行詞對應的理論類別標簽。