[發(fā)明專利]一種基于文本內(nèi)容的信息源識(shí)別方法與裝置

有效

• 申請?zhí)枺?/td>: 201710499053.6
• 申請日: 2017-06-27
• 公開（公告）號(hào): CN107451433B
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計(jì)）人: 柳廳文;李全剛;李柢穎;亞靜;時(shí)金橋;譚建龍
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號(hào): G06F21/16
• 分類號(hào): G06F21/16;G06F40/211;G06F40/284;G06N3/04
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 邵可聲

1.一種基于文本內(nèi)容的信息源識(shí)別方法，包括以下步驟：

將輸入的文本按句子切分并分詞；

識(shí)別出各句子中包含的類型為信息源的實(shí)體，包括：

用基于百度百科訓(xùn)練word2vec得到的詞向量表示句子中的每個(gè)詞；

在模型訓(xùn)練和測試時(shí)，輸入為詞向量序列，輸出為與詞向量序列等長的標(biāo)簽序列；

標(biāo)簽采用2tag方法，若詞屬于媒體名稱指示詞，則對應(yīng)標(biāo)簽為‘1’，否則標(biāo)簽為‘0’；

網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層，雙向LSTM層和輸出層；

將多個(gè)標(biāo)簽為‘1’的詞拼接起來，得到所在句子的候選信息源實(shí)體；通過采用基于CNN的句子分類方法，判定類型為信息源的實(shí)體是否為其所在句子的信息源，如所述實(shí)體為其所在句子的信息源，則將其作為一信息源實(shí)體，判定類型為信息源的實(shí)體是否為其所在句子的信息源包括：

首先需要將識(shí)別出的候選信息源實(shí)體合并為一個(gè)詞，其次每個(gè)詞的向量包含n維的詞向量和m維的位置向量，每個(gè)詞的向量長度為n+m；

對每個(gè)詞的詞向量表示拼接位置向量，然后輸入到一卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中；

依據(jù)網(wǎng)絡(luò)輸出的分類結(jié)果，判定該實(shí)體是否為其所在句子的信息源；

整合各句子得到的信息源實(shí)體，作為文本信息識(shí)別結(jié)果。

2.如權(quán)利要求1所述的基于文本內(nèi)容的信息源識(shí)別方法，其特征在于，對輸入的文本按句子切分并分詞時(shí)，設(shè)定一預(yù)設(shè)句子長度，并通過截取或補(bǔ)充的方式使各句子長度與該預(yù)設(shè)句子長度一致。

3.如權(quán)利要求1所述的基于文本內(nèi)容的信息源識(shí)別方法，其特征在于，通過采用基于雙向LSTM的實(shí)體識(shí)別方法，各句子中包含的類型為信息源的實(shí)體。

4.如權(quán)利要求1所述的基于文本內(nèi)容的信息源識(shí)別方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括輸入層，卷積層，最大池化層，全連接層及輸出層，網(wǎng)絡(luò)的輸出為0或1的分類結(jié)果。

5.如權(quán)利要求1所述的基于文本內(nèi)容的信息源識(shí)別方法，其特征在于，依據(jù)預(yù)先設(shè)定的文本最大信息源個(gè)數(shù)整合各句子得到的信息源實(shí)體，若信息源實(shí)體數(shù)量超過所述文本最大信息源個(gè)數(shù)，優(yōu)先選取所在句子位置在前的信息源實(shí)體。