[發(fā)明專利]基于深度神經(jīng)網(wǎng)絡(luò)的電力檢修文本挖掘方法

在審

• 申請?zhí)枺?/td>: 201811518919.4
• 申請日: 2018-12-12
• 公開（公告）號: CN109783637A
• 公開（公告）日: 2019-05-21
• 發(fā)明（設(shè)計）人: 祝春捷;夏霖;潘堅躍;陳超;徐曉華;向新宇;孔曉杭;泮莉莎;施婧;李雅;雷云;石佳;陳晨
• 申請（專利權(quán)）人: 國網(wǎng)浙江省電力有限公司杭州供電公司;浙江華云信息科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04
• 代理公司: 杭州華鼎知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33217
• 代理人: 項軍

本發(fā)明提供了基于深度神經(jīng)網(wǎng)絡(luò)的電力檢修文本挖掘方法，包括獲取由電力服務(wù)熱線服務(wù)系統(tǒng)生成的電力檢修文本；對獲取到的電力檢修文本進行由文本數(shù)據(jù)向數(shù)值型數(shù)據(jù)轉(zhuǎn)換的處理；對處理后的數(shù)據(jù)進行基于神經(jīng)網(wǎng)絡(luò)的語義分類，得到表明具體需求的分類結(jié)果。通過引入通用的大規(guī)模預(yù)訓(xùn)練詞向量，并沒有因為專業(yè)詞語覆蓋度降低而影響分類效果，反而使得分類準(zhǔn)確率大幅提升。這說明大規(guī)模外部詞向量的引入，對提升電力行業(yè)復(fù)雜文本挖掘任務(wù)的效果有重要意義。

技術(shù)領(lǐng)域

本發(fā)明屬于文字處理領(lǐng)域，特別涉及基于深度神經(jīng)網(wǎng)絡(luò)的電力檢修文本挖掘方法。

背景技術(shù)

隨著各種文本數(shù)據(jù)的不斷積累，電力行業(yè)中正在越來越多地使用文本挖掘技術(shù)。由于非結(jié)構(gòu)文本數(shù)據(jù)的復(fù)雜性，使用傳統(tǒng)文本挖掘方法已經(jīng)越來越不能滿足業(yè)務(wù)需求。在引入深度學(xué)習(xí)技術(shù)處理復(fù)雜文本的時，一種文本的分布式表示方法——詞向量，已經(jīng)成為文本挖掘任務(wù)中至關(guān)重要的一環(huán)。詞向量表達(dá)能力的強弱，往往會直接影響后續(xù)文本挖掘任務(wù)。

相比于傳統(tǒng)的one-hot、TF-IDF文本表示技術(shù)，詞向量在向量化文本的過程中可有效的保留部分語義信息，向量空間的距離對應(yīng)了相應(yīng)詞的語義相似度，這使得各種文本挖掘任務(wù)效果有了很大提升。以上研究中，使用的詞向量都是由本領(lǐng)域?qū)I(yè)語料庫訓(xùn)練而來。然而，詞向量的表達(dá)能力取決于訓(xùn)練語料庫的大小和質(zhì)量，由于電力行業(yè)語料庫的匱乏，單個系統(tǒng)積累的文本往往難以達(dá)到這個級別，使得訓(xùn)練的詞向量效果也相對較差。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的缺點和不足，本發(fā)明提供了基于深度神經(jīng)網(wǎng)絡(luò)的電力檢修文本挖掘方法，通過使用神經(jīng)網(wǎng)絡(luò)算法能夠提高文本識別的準(zhǔn)確性。

為了達(dá)到上述技術(shù)目的，本發(fā)明提供了基于深度神經(jīng)網(wǎng)絡(luò)的電力檢修文本挖掘方法，所述文本挖掘方法，包括：

獲取由電力服務(wù)熱線服務(wù)系統(tǒng)生成的電力檢修文本；

對獲取到的電力檢修文本進行由文本數(shù)據(jù)向數(shù)值型數(shù)據(jù)轉(zhuǎn)換的處理；

對處理后的數(shù)據(jù)進行基于神經(jīng)網(wǎng)絡(luò)的語義分類，得到表明具體需求的分類結(jié)果。

可選的，所述對獲取到的電力檢修文本進行由文本數(shù)據(jù)向數(shù)值型數(shù)據(jù)轉(zhuǎn)換的處理，包括：

使用Skip-gram模型的中word2vec分布式表示方法完成詞向量的訓(xùn)練過程，

變量X_k為輸入詞語，y_1j,y_2j...y_cj為X_k對應(yīng)的上下文詞語。h_i為隱層變量，詞向量即為模型訓(xùn)練完成后隱層的偏置矩陣。

可選的，所述對處理后的數(shù)據(jù)進行基于神經(jīng)網(wǎng)絡(luò)的語義分類，得到表明具體需求的分類結(jié)果，包括：

對處理后的數(shù)據(jù)進行包括數(shù)據(jù)清洗在內(nèi)的預(yù)處理操作；

為了對比不同的詞向量對算法的影響，模型會輸入不同預(yù)訓(xùn)練詞向量，然后將詞向量輸入到不同的神經(jīng)網(wǎng)絡(luò)模型中進行訓(xùn)練和分類。

本發(fā)明提供的技術(shù)方案帶來的有益效果是：

本文首先研究了電力行業(yè)文本挖掘技術(shù)，發(fā)現(xiàn)已有研究大多使用本行業(yè)小規(guī)模專業(yè)語料庫進行詞向量的訓(xùn)練。這種研究方式由于語料庫詞匯規(guī)模的限制，在一定程度上影響了詞向量的表達(dá)能力。本文以95598系統(tǒng)的檢修記錄作為研究對象，引入外部大規(guī)模通用預(yù)訓(xùn)練詞向量到電力行業(yè)文本挖掘中來。并通過基于深度神經(jīng)網(wǎng)絡(luò)的Text-CNN和BiLSTM分類模型來驗證不同詞向量對文本分類任務(wù)的影響。實驗證明，大規(guī)模外部通用預(yù)訓(xùn)練詞向量的引入可以大幅提升文本分類效果，這說明引入外部知識可以有效地提升電網(wǎng)行業(yè)文本挖掘任務(wù)的效果。

附圖說明