[發明專利]基于深度學習的輸變電設備缺陷文本分類方法及系統

在審

• 申請號: 202110279537.6
• 申請日: 2021-03-16
• 公開（公告）號: CN112699244A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 張葛祥;朱明;王茜;楊強;楊強
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06N3/04;G06N3/08
• 代理公司: 北京元本知識產權代理事務所(普通合伙) 11308
• 代理人: 王紅霞

本發明提供一種基于深度學習的輸變電設備缺陷文本分類方法及系統，方法包括步驟：S1：將獲取的輸變電設備缺陷文本預處理，然后進行詞嵌入得到帶電力語義特征的第一詞向量；S2：通過雙向長短時記憶網絡獲取輸變電設備缺陷文本前向和后向特征信息，輸出隱藏層狀態向量；S3：利用自注意力機制對隱藏層狀態向量進行加權變換，獲取深層語義特征，得到最終的待分類句向量；S4：將待分類向量經過全連接層輸出至Softmax分類器，獲得輸變電設備缺陷文本分類結果。該方法能解決現有的電力領域缺陷文本分類的人工成本高，分類結果易受分類技術人員經驗影響及傳統文本分類方法不適用于電力領域的技術性問題。

技術領域

本發明屬于自然語言處理技術領域，具體涉及一種基于深度學習的輸變電設備缺陷文本分類方法及系統。

背景技術

隨著智能電網的不斷發展，電網在日常運行和維護過程中，會產生大量的缺陷文本數據；而缺陷文本數據的分析匯總是電網設備缺陷故障處理并分析的原始依據。目前，電網輸變電設備缺陷文本分析主要依靠人工完成，成本高，效率低，且易受人工經驗差異的影響導致分類結果有偏差。人工智能和自然語言處理技術的發展為電力設備缺陷文本挖掘提供了可能?，F有的文本分類技術有樸素貝葉斯、支持向量機、決策樹等，但傳統的基于機器學習相關算法的文本分類器難以挖掘出文本的深層特征，不利于文本數據的進一步分析研究和應用，同時電力領域的文本包含大量的專業用語和特殊符號，專業性強，深度學習中通用的分類模型難以得到直接的遷移應用，而目前電力文本挖掘尚處于起步階段。

發明內容

有鑒于此，本發明的目的之一在于提供一種基于深度學習的輸變電設備缺陷文本分類方法，該方法能適用于電力領域缺陷文本分類。

為實現上述目的，本發明的技術方案為：一種基于深度學習的輸變電設備缺陷文本分類方法，包括以下步驟：

S1：將獲取的輸變電設備缺陷文本預處理，然后將預處理后的輸變電設備缺陷文本進行詞嵌入得到帶電力語義特征的第一詞向量；

S2：通過雙向長短時記憶網絡獲取輸變電設備缺陷文本前向和后向特征信息，輸出隱藏層狀態向量；

S3：利用自注意力機制對隱藏層狀態向量進行加權變換，獲取深層語義特征，得到最終的待分類句向量；

S4：將所述待分類句向量經過全連接層輸出至Softmax分類器，獲得輸變電設備缺陷文本分類結果。

進一步地，所述預處理包括對所述輸變電設備缺陷文本進行分詞、去除停用詞和統一化用語處理。

進一步地，所述步驟S1中將預處理后的輸變電設備缺陷文本進行詞嵌入得到帶電力語義特征的第一詞向量的步驟具體包括：

讀取預處理后的輸變電設備缺陷文本，統計詞頻信息；

構建詞典，并初始化哈夫曼樹以及隨機初始化詞向量；

以行為單位訓練模型，獲取當前行中一個輸入樣本；

累積上下文詞向量中每個維度的值并求平均得到投影層向量；

遍歷當前詞到根節點經過的每個中間節點；

計算中間節點對應梯度g*學習速率，刷新投影層到該中間節點的誤差向量，刷新中間節點向量，刷新上下文詞向量。

進一步地，所述步驟S2具體包括以下步驟：

定義前向LSTM結構和后向LSTM結構，采用動態RNN單元對網絡輸出的結果進行拼接，然后輸入到下一層雙向長短時記憶網絡，將最后一層Bi-LSTM輸出的結果通過split方法分割成前向和后向的輸出；

將前向和后向的輸出相加得到最后的隱藏層狀態。

進一步地，所述LSTM結構中每一時間狀態通過以下方式進行更新公式：