[發(fā)明專利]一種火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的實(shí)體分類方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811311803.3
• 申請(qǐng)日: 2018-11-05
• 公開(kāi)（公告）號(hào): CN109582787B
• 公開(kāi)（公告）日: 2020-10-20
• 發(fā)明（設(shè)計(jì)）人: 唐靜;彭一軒;解來(lái)甲
• 申請(qǐng)（專利權(quán)）人: 遠(yuǎn)光軟件股份有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F16/36;G06F40/295
• 代理公司: 北京天達(dá)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11386
• 代理人: 李明里;龐許倩

本發(fā)明涉及一種火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的實(shí)體分類方法及裝置，屬于火力發(fā)電技術(shù)領(lǐng)域，方法包括，對(duì)包含火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的待分類文本集合S進(jìn)行初次分類，得到已成功分類文本集合S1和未成功分類文本集合S2；提取未成功分類文本集合S2中的實(shí)體新詞，建立實(shí)體新詞列表E；將實(shí)體新詞列表中的實(shí)體新詞逐一與已成功分類文本集合S1進(jìn)行實(shí)體對(duì)齊，確認(rèn)實(shí)體新詞的實(shí)體類別。本發(fā)明利用火力發(fā)電領(lǐng)域文本數(shù)據(jù)，綜合采用無(wú)監(jiān)督專業(yè)詞匯發(fā)現(xiàn)算法和文本分類算法，實(shí)現(xiàn)對(duì)發(fā)電語(yǔ)料數(shù)據(jù)的實(shí)體分類，其所構(gòu)建的火力發(fā)電專業(yè)詞庫(kù)也可用于該領(lǐng)域內(nèi)文本數(shù)據(jù)挖掘的語(yǔ)料支撐。

技術(shù)領(lǐng)域

本發(fā)明涉及火力發(fā)電技術(shù)領(lǐng)域，尤其是一種火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的實(shí)體分類方法及裝置。

背景技術(shù)

作為典型的非/半結(jié)構(gòu)化數(shù)據(jù)，對(duì)于文本數(shù)據(jù)的處理一直是數(shù)據(jù)挖掘的熱點(diǎn)之一。

對(duì)火力發(fā)電領(lǐng)域的文本數(shù)據(jù)分析挖掘?qū)τ诨鹆Πl(fā)電企業(yè)定期的缺陷盤(pán)點(diǎn)，以及企業(yè)長(zhǎng)遠(yuǎn)的信息化建設(shè)的企業(yè)知識(shí)圖譜的構(gòu)建，輔助企業(yè)從全局層面了解生產(chǎn)設(shè)備的運(yùn)行和健康狀況、進(jìn)行多維數(shù)據(jù)融合及深層知識(shí)的挖掘具有重要意義。

目前，對(duì)于火力發(fā)電領(lǐng)域的文本數(shù)據(jù)分析挖掘尚處于起步階段。主要原因在于，火力發(fā)電領(lǐng)域所積累的文檔數(shù)據(jù)尚未建立完備的語(yǔ)料庫(kù)，在語(yǔ)料庫(kù)不充分的情況下，許多統(tǒng)計(jì)機(jī)器學(xué)習(xí)的方法難奏效。利用自然語(yǔ)言處理的方法很難從文本中挖掘出具有顯著性意義的結(jié)果。

發(fā)電企業(yè)對(duì)日常操作記錄文檔主要有值班日志和缺陷記錄。在對(duì)發(fā)電語(yǔ)料數(shù)據(jù)進(jìn)行實(shí)體分類時(shí)，由于在日常記錄中設(shè)備的名稱可能由于個(gè)人用語(yǔ)習(xí)慣不同而有表述上的差異，使得利用標(biāo)準(zhǔn)的設(shè)備名稱進(jìn)行分類時(shí)無(wú)法將相應(yīng)的記錄進(jìn)行正確地歸類。

發(fā)明內(nèi)容

鑒于上述的分析，本發(fā)明旨在提供一種火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的實(shí)體分類方法及裝置，將基于統(tǒng)計(jì)的新詞識(shí)別方法和分類算法相結(jié)合，實(shí)現(xiàn)對(duì)發(fā)電文本語(yǔ)料數(shù)據(jù)的實(shí)體分類。

本發(fā)明的目的主要是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的實(shí)體分類方法，包括如下步驟：

對(duì)包含火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)的待分類文本集合S進(jìn)行初次分類，得到已成功分類文本集合S1和未成功分類文本集合S2；

通過(guò)建立的備選新詞庫(kù)，提取所述未成功分類文本集合S2中的實(shí)體新詞，建立實(shí)體新詞列表E；

將實(shí)體新詞列表E中的實(shí)體新詞逐一與所述已成功分類文本集合S1 進(jìn)行實(shí)體對(duì)齊，得到實(shí)體對(duì)齊結(jié)果；

根據(jù)得到的所述實(shí)體對(duì)齊結(jié)果，確定該實(shí)體新詞的實(shí)體類別。

進(jìn)一步地，所述備選新詞庫(kù)的構(gòu)建方法，包括：

建立領(lǐng)域詞庫(kù)候選詞集；

對(duì)所述領(lǐng)域詞庫(kù)候選詞集中的候選詞語(yǔ)進(jìn)行量化；

對(duì)量化后的候選詞語(yǔ)進(jìn)行閾值篩選后構(gòu)成領(lǐng)域詞庫(kù)；

剔除所述領(lǐng)域詞庫(kù)中的通用詞語(yǔ)后構(gòu)成備選新詞庫(kù)。

進(jìn)一步地，所述建立領(lǐng)域詞庫(kù)候選詞集，包括：

對(duì)火力發(fā)電領(lǐng)域語(yǔ)料數(shù)據(jù)進(jìn)行預(yù)處理；

將預(yù)處理后的語(yǔ)料數(shù)據(jù)進(jìn)行子串切分得到子串；

對(duì)得到的所述子串進(jìn)行詞語(yǔ)切分，構(gòu)成領(lǐng)域詞庫(kù)的候選詞集。

進(jìn)一步地，所述候選詞語(yǔ)的量化包括詞頻、內(nèi)部凝固度、自由度和位置成詞概率的量化。

進(jìn)一步地，所述閾值篩選中設(shè)置的閾值包括詞頻閾值、凝固度閾值和左、右連接詞信息熵閾值以及位置成詞概率閾值。

進(jìn)一步地，所述初次分類，包括，