[發(fā)明專利]一種生成古漢語標注模型的方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011617362.7
• 申請日: 2020-12-31
• 公開（公告）號: CN112613316B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計）人: 胡韌奮;李紳;諸雨辰
• 申請（專利權(quán)）人: 北京師范大學
• 主分類號: G06F40/295
• 分類號: G06F40/295;G06F40/30;G06N20/20;G06N3/084
• 代理公司: 北京京萬通知識產(chǎn)權(quán)代理有限公司 11440
• 代理人: 許天易

1.一種生成古漢語標注模型的方法，其特征在于，該方法包括：

S1、訓練生成能夠表征上下文語義的語言模型；

S2、構(gòu)建多任務(wù)聯(lián)合學習模型；

S3、同時訓練所述語言模型和多任務(wù)聯(lián)合學習模型，所述語言模型和多任務(wù)聯(lián)合學習模型組成古漢語標注模型；

所述步驟S2包括：

S21、構(gòu)建句讀標點分類器；

S22、構(gòu)建書名分類器；

S23、構(gòu)建引號分類器；

S24、構(gòu)建實體分類器；

其中，所述句讀標點分類器的輸入為所述語言模型的輸出向量；所述書名分類器、引號分類器和實體分類器的輸入為所述語言模型的輸出向量與所述句讀標點分類器的輸出向量的拼接。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟S1中，所述語言模型為BERT模型。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述句讀標點分類器包括標點全連接神經(jīng)網(wǎng)絡(luò)和標點softmax分類器；書名分類器為書名CRF分類器；引號分類器為引號CRF分類器；實體分類器包括實體全連接神經(jīng)網(wǎng)絡(luò)和實體softmax分類器。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述步驟S3中，多任務(wù)聯(lián)合學習模型的全局損失函數(shù)定義為：

Loss＝sign(y_punctuation)*Loss_punctuation+sign(y_book)*Loss_book+sign(y_quotation)*Loss_quotation+sign(y_entity)*Loss_entity

其中，sign(y)是符號函數(shù)，即如果y0，則輸出1，如果y＝0，則輸出0；y_punctuation是句讀標點的標準答案，Loss_punctuation是句讀標點的損失，y_quotation是引號的標準答案，Loss_quotation是引號的損失，y_book是書名的標準答案，Loss_book是書名的損失，y_entity是實體的標準答案，Loss_entity是實體的損失；y是標準答案對應(yīng)的標簽；是模型預測的標簽；y^*是實體的標準答案設(shè)置多種取值；Cross_entropy是交叉熵損失，OTHER表示未分類實體。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，訓練時，根據(jù)反向傳播算法更新多任務(wù)聯(lián)合學習模型的參數(shù)和所述語言模型的參數(shù)。

6.一種生成古漢語標注模型的系統(tǒng)，其特征在于，所述系統(tǒng)包括：語言模型構(gòu)建模塊、多任務(wù)聯(lián)合學習模型構(gòu)建模塊和古漢語標注模型訓練模塊，其中，

所述語言模型構(gòu)建模塊，用于訓練生成能夠表征上下文語義的語言模型；

所述多任務(wù)聯(lián)合學習模型構(gòu)建模塊，用于構(gòu)建多任務(wù)聯(lián)合學習模型，以識別標點、書名、引號和命名實體；多任務(wù)聯(lián)合學習模型包括句讀標點分類器、書名分類器、引號分類器和實體分類器；句讀標點分類器與語言模型相連接，接收語言模型輸出的向量，語言模型的輸出與句讀標點分類器的輸出拼接形成拼接向量，作為書名分類器、引號分類器和實體分類器的輸入；

所述古漢語標注模型訓練模塊，用于利用采集的帶標注數(shù)據(jù)，根據(jù)反向傳播算法對語言模型和多任務(wù)聯(lián)合學習模型同時進行訓練，訓練結(jié)束后所形成的語言模型和多任務(wù)聯(lián)合學習模型組成古漢語標注模型。