[發(fā)明專利]一種研報(bào)正文的文本分類方法

在審

• 申請?zhí)枺?/td>: 201910949643.3
• 申請日: 2019-10-08
• 公開（公告）號: CN110717044A
• 公開（公告）日: 2020-01-21
• 發(fā)明（設(shè)計(jì)）人: 張發(fā)恩;戴輝輝;龔才春
• 申請（專利權(quán)）人: 創(chuàng)新奇智(南京)科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/205;G06N3/08
• 代理公司: 44502 廣州鼎賢知識產(chǎn)權(quán)代理有限公司
• 代理人: 丁雨燕

本發(fā)明涉及一種研報(bào)正文的文本分類方法，過程為：首先收集一定數(shù)量的研報(bào)，對收集的研報(bào)段落進(jìn)行標(biāo)注形成樣本；然后將標(biāo)注好的樣本交給機(jī)器學(xué)習(xí)框架進(jìn)行訓(xùn)練、得到一個綜合的訓(xùn)練模型；最后將需要識別的原始研報(bào)文件經(jīng)過內(nèi)容提取、文本降噪處理后，由綜合訓(xùn)練模型完成對研報(bào)內(nèi)容的提取分類。本方法有效提高對研報(bào)段落進(jìn)行提取與分類的準(zhǔn)確度，提高對研報(bào)的文本分析能力。

技術(shù)領(lǐng)域

本專利申請屬于機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，更具體地說，是涉及一種研報(bào)正文的文本分類方法。

背景技術(shù)

目前現(xiàn)有成熟的自然語言處理技術(shù)能夠識別出研報(bào)中的實(shí)體，可以將研報(bào)進(jìn)行分類，比如分成個股研報(bào)、行業(yè)研報(bào)、期貨研報(bào)等等，但是如果需要對研報(bào)中的每個段落進(jìn)行分類的話，比如個股研報(bào)包括核心觀點(diǎn)、客觀論述、盈利預(yù)測、風(fēng)險(xiǎn)提示，那么現(xiàn)有的文本分類技術(shù)顯然是滿足不了需求的。

同時目前的深度學(xué)習(xí)模型主要包括TextCnn、LSTM、FastText等模型，這些模型都是基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)模型，擅長單文本分類，但是對段落提取與分類準(zhǔn)確度非常的低。

發(fā)明內(nèi)容

本發(fā)明需要解決的技術(shù)問題是提供一種研報(bào)正文的文本分類方法，有效提高對研報(bào)段落進(jìn)行提取與分類的準(zhǔn)確度。

為了解決上述問題，本發(fā)明所采用的技術(shù)方案是：

一種研報(bào)正文的文本分類方法，過程為：

a、收集一定數(shù)量的研報(bào)，對收集的研報(bào)段落進(jìn)行標(biāo)注形成樣本；

b、將標(biāo)注好的樣本交給機(jī)器學(xué)習(xí)框架進(jìn)行訓(xùn)練、從而得到綜合訓(xùn)練模型；

c、最后將需要識別的原始研報(bào)文件經(jīng)過內(nèi)容提取、文本降噪處理后，由綜合訓(xùn)練模型完成對研報(bào)內(nèi)容的提取分類。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：a中，對收集的研報(bào)段落通過手工進(jìn)行標(biāo)注。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：b中，綜合訓(xùn)練模型包括若干個神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型包括FastText、LSTM、TextCnn的一種或多種。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：c中，通過文本解析工具將需要識別的原始研報(bào)文件的內(nèi)容提取出來，文本解析工具為pdf解析工具。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：降噪處理包括文本文字格式統(tǒng)一、標(biāo)點(diǎn)符號全角半角統(tǒng)一、文本查漏補(bǔ)缺、灰度處理的一種或多種。

本發(fā)明技術(shù)方案的進(jìn)一步改進(jìn)在于：綜合訓(xùn)練模型通過文章段落規(guī)則對需要識別的原始研報(bào)文件進(jìn)行段落提取和分類，文章段落規(guī)則為按照段落內(nèi)容將段落分成若干個子內(nèi)容，子內(nèi)容包括摘要、核心觀點(diǎn)、客觀論述、盈利預(yù)測或風(fēng)險(xiǎn)提示的一種或多種。

由于采用了上述技術(shù)方案，本發(fā)明取得的有益效果是：本發(fā)明對段落提取與分類準(zhǔn)確度高，研報(bào)的解析效率較高，同時準(zhǔn)確率得到提升，進(jìn)而提高對研報(bào)的文本分析能力，為研報(bào)的深度解析處理提供依據(jù)。

附圖說明

圖1為本發(fā)明的流程示意圖。

具體實(shí)施方式

下面結(jié)合實(shí)施例對本發(fā)明做進(jìn)一步詳細(xì)說明。

如圖1所示，本發(fā)明公開了一種研報(bào)正文的文本分類方法，過程為：

a、收集一定數(shù)量的研報(bào)，對收集的研報(bào)段落進(jìn)行標(biāo)注形成樣本；

b、將標(biāo)注好的樣本交給機(jī)器學(xué)習(xí)框架進(jìn)行訓(xùn)練、從而得到綜合訓(xùn)練模型；

c、最后將需要識別的原始研報(bào)文件經(jīng)過內(nèi)容提取、文本降噪處理后，由綜合訓(xùn)練模型完成對研報(bào)內(nèi)容的提取分類。

a中，對收集的研報(bào)段落通過手工進(jìn)行標(biāo)注，工作量為幾千至上萬條。