[發(fā)明專(zhuān)利]一種低資源文檔分類(lèi)方法及分類(lèi)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811365384.1
• 申請(qǐng)日: 2018-11-16
• 公開(kāi)（公告）號(hào): CN109522554B
• 公開(kāi)（公告）日: 2022-12-02
• 發(fā)明（設(shè)計(jì)）人: 周剛;邢昌帥;周艷芳;陳海勇;蘭明敬;南煜;張鳳娟
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍戰(zhàn)略支援部隊(duì)信息工程大學(xué)
• 主分類(lèi)號(hào): G06F40/289
• 分類(lèi)號(hào): G06F40/289;G06F16/35
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 駱宗力;王寶筠

1.一種低資源文檔分類(lèi)方法，其特征在于，包括：

構(gòu)建句子平行語(yǔ)料庫(kù)，所述句子平行語(yǔ)料庫(kù)中存儲(chǔ)有高資源語(yǔ)料和低資源語(yǔ)料的對(duì)應(yīng)關(guān)系；

將所述句子平行語(yǔ)料庫(kù)中的高資源語(yǔ)料和低資源語(yǔ)料表示在同一向量空間中，以獲得雙語(yǔ)詞向量；

獲取有標(biāo)記的高資源文檔，以所述高資源語(yǔ)言詞向量作為文檔特征表示，得到高資源訓(xùn)練樣本；

利用所述高資源訓(xùn)練樣本訓(xùn)練預(yù)設(shè)高資源文檔分類(lèi)模型，以獲得高資源語(yǔ)言文檔分類(lèi)模型；

獲取無(wú)標(biāo)記的低資源文檔，以所述低資源語(yǔ)言詞向量作為文檔特征表示，得到低資源訓(xùn)練樣本；

利用高資源語(yǔ)言文檔分類(lèi)模型對(duì)待分類(lèi)低資源樣本進(jìn)行分類(lèi)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建句子平行語(yǔ)料庫(kù)包括：

通過(guò)同一媒體高資源和低資源收集高資源句子和低資源句子的對(duì)應(yīng)關(guān)系；

對(duì)收集到的高資源句子和低資源句子分別進(jìn)行分詞處理，以獲得高資源語(yǔ)料和低資源語(yǔ)料；

將所述高資源語(yǔ)料和低資源語(yǔ)料的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)，以獲得所述句子平行語(yǔ)料庫(kù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述句子平行語(yǔ)料庫(kù)中的高資源語(yǔ)料和低資源語(yǔ)料表示在同一向量空間包括：

將高資源語(yǔ)料和低資源語(yǔ)料輸入雙語(yǔ)詞向量生成模型，以獲得表示在同一向量空間中的高資源詞向量和低資源詞向量。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取有標(biāo)記的高資源文檔，以所述高資源語(yǔ)言詞向量作為文檔特征表示，得到高資源訓(xùn)練樣本包括：

獲取待分詞高資源文檔，并對(duì)所述待分詞高資源文檔中的高資源句子進(jìn)行分詞處理，以獲得高資源語(yǔ)料表示的高資源文檔；

以所述高資源語(yǔ)言詞向量作為高資源語(yǔ)言文檔特征表示，將高資源語(yǔ)言文檔向量化，以獲得所述高資源訓(xùn)練樣本。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取無(wú)標(biāo)記的低資源文檔，以所述低資源語(yǔ)言詞向量作為文檔特征表示，得到低資源訓(xùn)練樣本包括：

獲取待分詞低資源文檔，并對(duì)所述待分詞低資源文檔中的低資源句子進(jìn)行分詞處理，獲得低資源語(yǔ)料表示的低資源文檔；

以所述低資源語(yǔ)言詞向量作為低資源語(yǔ)言文檔特征表示，將低資源語(yǔ)言文檔向量化，以獲得所述低資源訓(xùn)練樣本。

6.一種低資源文檔分類(lèi)系統(tǒng)，其特征在于，包括：

語(yǔ)料庫(kù)構(gòu)建模塊，用于構(gòu)建句子平行語(yǔ)料庫(kù)，所述句子平行語(yǔ)料庫(kù)中存儲(chǔ)有高資源語(yǔ)料和低資源語(yǔ)料的對(duì)應(yīng)關(guān)系；

詞向量表示模塊，用于將所述句子平行語(yǔ)料庫(kù)中的高資源語(yǔ)料和低資源語(yǔ)料表示在同一向量空間中，以獲得雙語(yǔ)詞向量；

訓(xùn)練樣本獲取模塊，用于獲取有標(biāo)記的高資源文檔，以所述高資源語(yǔ)言詞向量作為文檔特征表示，得到高資源訓(xùn)練樣本；

模型訓(xùn)練模塊，用于利用所述高資源訓(xùn)練樣本訓(xùn)練預(yù)設(shè)高資源文檔分類(lèi)模型，以獲得高資源語(yǔ)言文檔分類(lèi)模型；

低資源樣本獲取模塊，用于獲取無(wú)標(biāo)記的低資源文檔，以所述低資源語(yǔ)言詞向量作為文檔特征表示，得到低資源訓(xùn)練樣本；

分類(lèi)模塊，用于利用高資源語(yǔ)言文檔分類(lèi)模型對(duì)待分類(lèi)低資源樣本進(jìn)行分類(lèi)。

7.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述語(yǔ)料庫(kù)構(gòu)建模塊包括：

句子收集單元，用于通過(guò)同一媒體高資源和低資源收集高資源句子和低資源句子的對(duì)應(yīng)關(guān)系；

第一分詞單元，用于對(duì)收集到的高資源句子和低資源句子分別進(jìn)行分詞處理，以獲得高資源語(yǔ)料和低資源語(yǔ)料；

存儲(chǔ)單元，用于將所述高資源語(yǔ)料和低資源語(yǔ)料的對(duì)應(yīng)關(guān)系進(jìn)行存儲(chǔ)，以獲得所述句子平行語(yǔ)料庫(kù)。

8.根據(jù)權(quán)利要求6所述的系統(tǒng)，其特征在于，所述詞向量表示模塊將所述句子平行語(yǔ)料庫(kù)中的高資源語(yǔ)料和低資源語(yǔ)料表示在同一向量空間中具體用于，將高資源語(yǔ)料和低資源語(yǔ)料輸入雙語(yǔ)詞向量生成模型，以獲得表示在同一向量空間中的高資源詞向量和低資源詞向量。