[發明專利]一種基于反事實生成的命名實體識別增強方法

在審

• 申請號: 202010967301.7
• 申請日: 2020-09-15
• 公開（公告）號: CN112257441A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 張寅;曾祥極
• 申請（專利權）人: 浙江大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F16/35;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 傅朝棟;張法高

1.一種基于反事實生成的命名實體識別增強方法，其特征在于，包括如下步驟：

S1：依次遍歷已有標注數據的訓練集中的所有數據樣本x，抽取數據樣本x中的所有實體e，并按照實體類別進行分類，實體類別為t的所有數據樣本構成本地實體集合所有的本地實體集合為

S2：以訓練集中已有標注數據的數據樣本(x，y)作為觀測樣本，按照S21～S24生成反事實樣本：

S21：逐一遍歷訓練集中的所有觀測樣本(x，y)，針對每一個單獨的觀測樣本(x，y)，執行S22～S24：

S22：隨機從該觀測樣本的所有實體中選擇一個實體類別為t的實體e，用于實體替換；

S23：根據選中實體e對應的實體類型t，確定其對應的本地實體集合

S24：遍歷該本地實體集合針對本地實體集合中的每一個候選實體如果候選實體e′與用于替換的實體e不相同，則用候選實體e′替換掉觀測樣本(x，y)中的實體e，每一次替換都會產生一個新的反事實樣本(x_c，y_c)；針對每一個觀測樣本(x，y)，一共產生n-1個新的反事實樣本(x_c，y_c)，其中n為本地實體集合中的候選實體數量；

S3：使用判別器對S2中生成的反事實樣本進行判別，如果一個反事實樣本(x_c，y_c)中被替換后的實體e′能夠被判別器準確的識別出來，則將該反事實樣本判別為合理的；

所述判別器是一個由編碼器和序列標注器兩部分組成的命名實體識別模型；所述編碼器用于對觀測樣本的輸入句子x和反事實樣本的輸入句子x_c進行編碼，編碼后句子中的每個語義單元將會獲得一個d維的表示向量；所述序列標注器由多層感知機組成，用于對每個輸入的語義單元進行分類；所述判別器預先在已有標注數據的訓練集上進行訓練，從而獲得反事實樣本判別所需要的先驗知識；

S4：將S3中所有被判別為合理的反事實樣本和訓練集中的觀測樣本進行組合，形成一個增強的訓練數據集用于最終的命名實體識別模型的訓練。

2.如權利要求1所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述的編碼器為預訓練語言模型或者循環神經網絡模型。

3.如權利要求2所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述的編碼器為循環神經網絡模型時，需要額外的預訓練靜態詞向量進行語義單元的嵌入才可輸入到編碼器中。

4.如權利要求1所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述序列標注器中，序列標注的標注體系采用BIO標注體系。

5.如權利要求4所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述序列標注器的輸入大小與所述語義單元的表示向量的維度d相同；所述序列標注器的輸出層的大小為2m+1，其中m為數據集的實體類型個數。

6.如權利要求2所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述的預訓練語言模型包括ELMo或BERT。

7.如權利要求2所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述的循環神經網絡模型包括LSTM或GRU。

8.如權利要求1所述的基于反事實生成的命名實體識別增強方法，其特征在于，所述的語義單元是最小不可分割的輸入符號，包括字符、詞語或者短語。