[發(fā)明專利]一種古漢語文本的一體化自動(dòng)詞法分析方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910085019.3
• 申請日: 2019-01-29
• 公開（公告）號: CN109829159B
• 公開（公告）日: 2020-02-18
• 發(fā)明（設(shè)計(jì)）人: 李斌;程寧;葛四嘉;李成名;郝星月;馮敏萱;許超
• 申請（專利權(quán)）人: 南京師范大學(xué)
• 主分類號: G06F40/284
• 分類號: G06F40/284;G06F40/295
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王恒靜

1.一種古漢語文本的一體化自動(dòng)詞法分析方法，其特征在于，該方法包括以下步驟：

(1)對選取的古漢語訓(xùn)練語料進(jìn)行預(yù)處理，所述預(yù)處理包括斷句、分詞和詞性的一體化標(biāo)注；

(2)采用Word2vec模型對所述古漢語訓(xùn)練語料進(jìn)行字向量的預(yù)訓(xùn)練，得到預(yù)訓(xùn)練字向量；

(3)將歷朝歷代文獻(xiàn)中出現(xiàn)過的人名、地名、書名、朝代、年號和官職信息數(shù)據(jù)加入到古籍專名數(shù)據(jù)庫中形成若干專有名詞詞條，篩選專有名詞詞條加入到古漢語訓(xùn)練語料中，得到最終訓(xùn)練語料；

所述步驟(3)還包括將所述專有名詞詞條與所述步驟(1)中已標(biāo)注語料進(jìn)行匹配計(jì)算，統(tǒng)計(jì)每個(gè)所述專有名詞詞條的置信度，并將置信度低的專有名詞詞條篩選出；

所述匹配計(jì)算具體包括：

(31)統(tǒng)計(jì)每個(gè)專有名詞詞條作為純字符串在所述已標(biāo)注語料中出現(xiàn)的次數(shù)，記為A；

(32)統(tǒng)計(jì)每個(gè)專有名詞詞條作為一個(gè)詞且標(biāo)注為專有名詞詞性的詞例在所述已標(biāo)注語料中出現(xiàn)的次數(shù)，記為B；

(33)統(tǒng)計(jì)每個(gè)專有名詞作為一個(gè)獨(dú)立運(yùn)用的詞且詞性不屬于專有名詞的詞例在所述已標(biāo)注語料中出現(xiàn)的次數(shù)，記為C；

(34)當(dāng)A＝B＝C＝0時(shí)，該專有名詞詞條的置信度為0，否則：

若該專有名詞詞長等于1且B/A＝1，則該專有名詞詞條的置信度為1，否則為-1；

若該專有名詞詞長大于1：如果B/A＝1，且C/B<1，則該專有名詞詞條的置信度為1；如果B/A<0.1或C/B>1，該專有名詞詞條的置信度為-1；如果0.1<B/A<1且C/B<1，則該專有名詞詞條的置信度為0；

(4)將所述最終訓(xùn)練語料加載到Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型中，并與加載到Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型中的所述預(yù)訓(xùn)練字向量進(jìn)行映射，調(diào)整Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型的各參數(shù)，不斷迭代學(xué)習(xí)，對測試語料的標(biāo)注結(jié)果進(jìn)行自動(dòng)評價(jià)，生成相關(guān)的日志文檔。

2.根據(jù)權(quán)利要求1所述的古漢語文本的一體化自動(dòng)詞法分析方法，其特征在于，所述步驟(2)采用Word2vec模型對大規(guī)模的古漢語生語料進(jìn)行字向量的預(yù)訓(xùn)練，得到與其他字向量具有語義相似程度的固定維度的字向量。

3.根據(jù)權(quán)利要求2所述的古漢語文本的一體化自動(dòng)詞法分析方法，其特征在于，所述步驟(1)中，一體化標(biāo)注是將詞性標(biāo)簽、分詞標(biāo)簽以及斷句標(biāo)簽融合，具體表示為每個(gè)字后標(biāo)記其對應(yīng)在詞中的位置、其所代表的詞的詞性或者實(shí)體信息以及詞性標(biāo)記后的所述字是否在斷句處的標(biāo)記。

4.根據(jù)權(quán)利要求3所述的古漢語文本的一體化自動(dòng)詞法分析方法，其特征在于，所述分詞標(biāo)簽包括B、I、E、S，其中，B代表當(dāng)前字占據(jù)一個(gè)多字詞的詞首，I代表當(dāng)前字占據(jù)一個(gè)多字詞的詞中，E代表當(dāng)前字占據(jù)一個(gè)多字詞的詞尾，S代表當(dāng)前字是一個(gè)單字詞。

5.根據(jù)權(quán)利要求4所述的古漢語文本的一體化自動(dòng)詞法分析方法，其特征在于，所述斷句標(biāo)簽包括L和O，其中，L代表當(dāng)前字處于斷句處，O代表當(dāng)前字不是處在斷句處。

6.一種根據(jù)權(quán)利要求1-5任一項(xiàng)所述的古漢語文本的一體化自動(dòng)詞法分析方法實(shí)現(xiàn)的古漢語文本的一體化自動(dòng)詞法分析系統(tǒng)，其特征在于，包括：

訓(xùn)練語料預(yù)處理模塊，用于對選取的古漢語訓(xùn)練語料進(jìn)行預(yù)處理，所述預(yù)處理包括斷句、分詞和詞性的一體化標(biāo)注；

字向量預(yù)訓(xùn)練模塊，用于采用Word2vec模型對所述古漢語訓(xùn)練語料進(jìn)行字向量的預(yù)訓(xùn)練，得到預(yù)訓(xùn)練字向量；

專名數(shù)據(jù)庫構(gòu)建模塊，用于將歷朝歷代文獻(xiàn)中出現(xiàn)過的人名、地名、書名、朝代、年號和官職信息數(shù)據(jù)加入到古籍專名數(shù)據(jù)庫中形成若干專有名詞詞條，將篩選后的專有名詞詞條加入到訓(xùn)練語料中，得到最終訓(xùn)練語料；

詞法分析模塊，用于將所述最終訓(xùn)練語料加載到Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型中，并與加載到所述Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型中的所述預(yù)訓(xùn)練字向量進(jìn)行映射，調(diào)整Bi-LSTM-CRF神經(jīng)網(wǎng)絡(luò)模型的各參數(shù)，不斷迭代學(xué)習(xí)，對測試語料的標(biāo)注結(jié)果進(jìn)行自動(dòng)評價(jià)，生成相關(guān)的日志文檔。