[發明專利]文本數據的標注方法和裝置、電子設備和存儲介質

在審

• 申請號: 202110181936.9
• 申請日: 2021-02-09
• 公開（公告）號: CN112906361A
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 朱志強
• 申請（專利權）人: 上海明略人工智能（集團）有限公司
• 主分類號: G06F40/169
• 分類號: G06F40/169;G06F40/126;G06F16/36
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 曾軍;李雪

1.一種文本數據的標注方法，其特征在于，所述方法包括：

獲取待標注的目標文本；

將所述目標文本輸入目標數據標注模型，確定所述目標文本的文本標注，其中，所述目標數據標注模型是使用文本編碼、知識編碼和訓練文本對初始數據標注模型的參數進行調整得到的，所述訓練文本攜帶有第一文本標注，所述文本編碼是對訓練文本進行編碼得到的，所述知識編碼是對訓練文本的知識信息進行編碼得到的。

2.根據權利要求1所述的方法，其特征在于，在所述獲取待標注文本數據之前，所述方法還包括：

獲取所述訓練文本；

利用實體鏈接和實體知識庫對所述訓練文本進行處理，得到概念實體數據；

利用目標詞處理方案和目標網絡模型對所述訓練文本進行處理，得到所述文本編碼；

利用目標詞處理方案和目標網絡模型對所述概念實體數據進行處理，得到所述知識編碼。

3.根據權利要求2所述的方法，其特征在于，所述利用實體鏈接和實體知識庫對所述訓練文本進行處理，得到概念實體數據包括：

利用所述實體鏈接對所述訓練文本進行實體鏈接操作，確定所述訓練文本的實體數據集，其中，所述實體鏈接操作用于將所述訓練文本映射到所述實體知識庫的實體上；

利用所述實體知識庫對所述實體數據集進行概念化操作，得到所述概念實體數據，其中，所述概念化操作用于獲取所述實體的屬性。

4.根據權利要求2所述的方法，其特征在于，所述利用目標詞處理方案和目標網絡模型對所述訓練文本進行處理，得到所述文本編碼包括：

利用所述目標詞處理方案將所述訓練文本映射為第一數字向量，其中，所述目標詞處理方案用于將詞語數據轉換為數字向量；

將所述第一數字向量輸入第一網絡模型，得到語義編碼，其中，所述目標網絡模型包括所述第一網絡模型，所述第一網絡模型用于獲取所述語義編碼；

將所述語義編碼輸入第二網絡模型，得到所述文本編碼，其中，所述目標網絡模型包括所述第二網絡模型，所述第二網絡模型用于獲取所述文本編碼。

5.根據權利要求4所述的方法，其特征在于，所述利用目標詞處理方案和目標網絡模型對所述概念實體數據進行處理，得到所述知識編碼包括：

利用所述目標詞處理方案將所述概念實體數據映射為第二數字向量；

將所述第二數字向量輸入所述第一網絡模型，得到語義編碼數據；

將所述語義編碼數據輸入所述第二網絡模型，得到所述知識編碼。

6.根據權利要求1所述的方法，其特征在于，在所述將所述目標文本輸入目標數據標注模型，確定所述目標文本的文本標注之前，所述方法還包括：

根據所述文本編碼和所述知識編碼，確定子概念實體數據，其中，所述概念實體數據包括所述子概念實體數據；

將所述訓練文本和所述子概念實體數據輸入全連接網絡層，得到所述訓練文本的第二文本標注；

根據所述第二文本標注、所述第一文本標注以及輸入所述初始數據標注模型的訓練文本，調整所述初始數據標注模型的參數，得到所述目標數據標注模型。

7.根據權利要求6所述的方法，其特征在于，所述根據所述文本編碼和所述知識編碼，確定子概念實體數據包括：

將所述文本編碼和所述知識編碼進行融合，得到融合后的編碼數據；

將所述融合后的編碼數據輸入第三網絡模型，得到所述訓練文本屬于每個所述概念實體數據的概率，其中，所述第三網絡模型用于獲取所述訓練文本屬于概念實體數據的概率；

將概率數值最大的概念實體數據，確定為所述子概念實體數據。

8.一種文本數據的標注裝置，其特征在于，所述裝置包括：

第一獲取單元，用于獲取待標注的目標文本；

第一確定單元，用于將所述目標文本輸入目標數據標注模型，確定所述目標文本的文本標注，其中，所述目標數據標注模型是使用文本編碼、知識編碼和訓練文本對初始數據標注模型的參數進行調整得到的，所述訓練文本攜帶有第一文本標注，所述文本編碼是對訓練文本進行編碼得到的，所述知識編碼是對訓練文本的知識信息進行編碼得到的。