[發明專利]一種基于深度學習的變電檢修工作任務多標簽分類方法

有效

• 申請號: 202011119282.9
• 申請日: 2020-10-19
• 公開（公告）號: CN112256873B
• 公開（公告）日: 2023-10-24
• 發明（設計）人: 任偉;白東亞;陳立;姜昀芃;王旭;施開譯;辜旭煒;翁水;胡鎰鋼;朱小煒;翁利國;霍凱龍;史碧航
• 申請（專利權）人: 國網浙江杭州市蕭山區供電有限公司;浙江中新電力工程建設有限公司自動化分公司;浙江中新電力工程建設有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/126;G06F40/279;G06N3/0464;G06N3/08;G06Q10/0631;G06Q50/06
• 代理公司: 杭州融方專利代理事務所(普通合伙) 33266
• 代理人: 沈相權

1.一種基于深度學習的變電檢修工作任務多標簽分類方法，其特征在于按以下步驟進行：

步驟S100，采集并輸入變電檢修任務工作內容文本并進行格式預處理；

步驟S200，利用BERT語言訓練模型對檢修任務文本進行詞向量編碼轉化；

步驟S300，利用卷積神經網絡對輸入的文本詞向量進行多標簽識別及分類；

步驟S400，檢驗多標簽分類的正確性并進行輸出分類結果。

2.根據權利要求1所述的一種基于深度學習的變電檢修工作任務多標簽分類方法，其特征在于：所述的步驟S100，具體包括：

對變電站檢修工作任務的文本信息進行采集，其文本采集格式包括一般通用辦公文檔格式(.xls.doc.txt)；由于直接導入采集的文本可能存在符號錯亂、多處空格相關情況，例如“110kV長山1842線！！”，其中“”、“！！”均是變電檢修領域不常用字符；又如“2#主變”，在電力系統習慣用語中“2#”為“2號”的意思；這些都是會影響后續詞向量標簽的識別及分類過程，因此此處將對文本句進行簡單的文本預處理，自動刪除非變電檢修領域使用的符號和空格符等；需要注意的是，這里的文本預處理是基于變電檢修專業領域的，與下一步BERT分詞過程中的符號去處雖有重疊但并不重復。

3.根據權利要求1所述的一種基于深度學習的變電檢修工作任務多標簽分類方法，其特征在于：所述的步驟S200，具體包括：

通過BERT預訓練語言模型的預處理構建文本詞向量；BERT是通過encoder-decoder的框架對語言進行訓練的；而在語言訓練之前，BERT會對文本進行字詞的分詞，然后進行字符編碼得到給定的一條變電站檢修工作任務文本的編碼詞向量X(x₁,x₂,…,x_n-1,x_n)，其中x_i表示檢修工作任務文本的第i個字詞；

分詞過程BERT依賴于名為Basic Tokenizer的一個分詞器，其大致流程為①優先轉成unicode字符串；②去除各種奇怪字符；③處理中文；④空格分詞；⑤去除多余字符和標點分詞；⑥再次空格分詞，結束；

編碼過程中，編碼詞向量X包含了3個編碼信息單元向量，即根據每個字詞在文本中的位置順序生成位置嵌入向量單元X_w(x_w,1,x_w,2,…,x_w,n-1,x_w,n)，根據每個字詞的本義生成字義嵌入向量單元X_v(x_v,1,x_v,2,…,x_v,n-1,x_v,n)，根據每個字詞的上下文信息生成上下文分割嵌入向量單元X_q(x_q,1,x_q,2,…,x_q,n-1,x_q,n)，綜上就有了文本信息字詞向量表達：

X＝X_w+X_v+X_q\*MERGEFORMAT(1.1)

除變電檢修工作任務文本的字詞向量信息外，由于變電檢修領域屬于一個特有的工作領域存在大量特有的專業詞匯，所以對于相應字詞，還存在其在專業詞匯表中的向量表達E(e₁,e₂,…,e_n-1,e_n)，E∈U_{專業詞匯集}；將這些專業詞匯中的相應字詞做整體化處理，其專業詞匯向量可表征為：

E＝W_專業詞匯v_專業詞匯\*MERGEFORMAT(1.2)

式中，W_專業詞匯表示對應的每個詞都存在一個詞向量矩陣，W_專業詞匯∈R^{dw|v專業詞匯|}_電網領域；其中，v_專業詞匯是一個固定大小的變電檢修工作任務文本中不可拆分的詞匯構成的詞匯表；d^w是詞向量的維度，是一個自定義的超參量；

而最終文本的編碼向量表達為文本信息向量和專業詞匯向量的拼接向量矩陣，為一個大型數字向量矩陣S：

S＝X+E\*MERGEFORMAT(3)

然后進入下一步的識別分類過程。