[發明專利]基于深度學習的電力技術標準信息提取方法及提取系統

在審

• 申請號: 202211604427.3
• 申請日: 2022-12-13
• 公開（公告）號: CN116089564A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 胡維;劉晗;黃鑫;馮曉文;田建偉;向行;王康;劉亮
• 申請（專利權）人: 國網湖南省電力有限公司;國網湖南省電力有限公司信息通信分公司;國家電網有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06N3/047;G06N3/048;G06N3/08;G06F40/242
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

1.一種基于深度學習的電力技術標準信息提取方法，包括如下步驟：

S1.獲取歷史電力技術標準；

S2.將步驟S1獲取的電力技術標準，采用word2vec詞向量模型轉換為詞向量；

S3.構建電力技術標準信息提取初始模型；

S4.采用步驟S2得到的詞向量，對步驟S3構建的電力技術標準信息提取初始模型進行訓練，得到電力技術標準信息提取模型；

S5.將實際的電力技術標準輸入到步驟S4得到的電力技術標準信息提取模型，從而得到提取的電力技術標準信息。

2.根據權利要求1所述的基于深度學習的電力技術標準信息提取方法，其特征在于步驟S2所述的將步驟S1獲取的電力技術標準，采用word2vec詞向量模型轉換為詞向量，具體包括如下步驟：

A.根據步驟S1獲取的歷史電力技術標準，構建數據集：

設定滑動窗口大小，采用滑動窗口在各個歷史電力技術標準的文本上滑動，取中心詞作為輸入數據，取周邊詞作為輸出數據，構成數據集；

B.將步驟A得到的數據集中的詞，轉換為one-hot詞袋；

C.構建word2vec詞向量模型：模型包括輸入層、隱藏層和輸出層；

D.將步驟B得到的one-hot詞袋輸入到輸入層中，輸入層的維度為詞典的大小V；將輸入層的結果輸入到節點數為N的隱藏層中，N為詞向量的大小；將隱藏層的結果輸入到softmax激活函數中，得到每個周邊詞的概率；

E.通過最大化中心詞生成周邊詞的條件概率來對word2vec詞向量模型進行訓練。

3.根據權利要求2所述的基于深度學習的電力技術標準信息提取方法，其特征在于步驟E所述的訓練，具體為采用如下似然函數進行訓練：

式中P(w^(t+j)|w^(t))為由中心詞w^(t)生成周邊詞w^(t+j)的條件概率；T為詞庫中所有詞的總數；m為滑動窗口的大小；t為當前詞；j為當前詞相鄰近的詞。

4.根據權利要求3所述的基于深度學習的電力技術標準信息提取方法，其特征在于步驟S3所述的構建電力技術標準信息提取初始模型，具體包括如下步驟：

將步驟S2得到的詞向量經過embedding層，得到字向量；

電力技術標準信息提取初始模型接收每個字符的字向量，輸出為預測的每個字符所對應的標注標簽的概率；

電力技術標準信息提取初始模型包括遺忘門、輸入門、輸出門和條件隨機場CRF層：

遺忘門接收h_t-1和x_t，通過f_t＝σ(w_f·[h_t-1,x_t]+b_f)輸出一個0～1的數值f_t；f_t作用于上一個細胞的狀態C_t-1；h_t-1為前一個隱藏狀態；x_t為當前狀態；σ()為sigmoid函數；w_f為sigmoid函數的權重；[h_t-1,x_t]為遺忘門的輸入；b_f為sigmoid函數的偏差；f_t為遺忘值，且f_t＝1表示完全保留，f_t＝0表示完全遺忘；

輸入門接收h_t-1和x_t，通過i_t＝σ(W_i·[h_t-1,x_t]+b_i)輸出一個0～1的數值i_t，i_t用于控制當前候選狀態所保留的信息；再通過創建一個新的候選值根據上一個細胞狀態C_t-1、遺忘值f_t、新的細胞狀態C_t和輸入值i_t，采用算式更新細胞狀態C_t；i_t為輸入門；W_i為輸入門的權重；b_i為輸入門的偏差；W_C為tanh函數的權重；b_C為tanh函數的偏差；

輸出門接收h_t-1和x_t，通過o_t＝σ(W_o·[h_t-1,x_t]+b_o)輸出一個0～1之間的數值o_t，再通過h_t＝o_t·tanh(C_t)決定當前狀態C_t輸出的信息；W_o為sigmoid函數的權重；b_o為sigmoid函數的偏差；o_t為輸出門；

將輸出門輸出的數據通過全連接層，再通過softmax函數將向量映射為標注標簽的分布概率；

將得到的標注標簽的分布概率輸入到最后的條件隨機場CRF層，輸出最大可能的預測標注序列。