[發明專利]基于多分枝殘差注意力網絡的智能稽查建模方法

有效

• 申請號: 202011498663.2
• 申請日: 2020-12-18
• 公開（公告）號: CN112508625B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 張琳娟;武宏波;李翼銘;許長清;邱超;李奇;周楠;張平;盧丹;郭璞;鄭征;陳婧華;韓軍偉
• 申請（專利權）人: 國網河南省電力公司經濟技術研究院;國家電網有限公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06Q50/06;G06N3/04;G06N3/08
• 代理公司: 鄭州優盾知識產權代理有限公司 41125
• 代理人: 張真真

1.一種基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，其步驟如下：

步驟一：獲取稽查數據字段，并對稽查數據字段進行預處理得到訓練數據；

步驟二：構建多分枝殘差注意力網絡，并利用訓練數據對多分枝殘差注意力網絡進行訓練，得到多分枝殘差注意力網絡模型；

所述多分枝殘差注意力網絡的網絡結構為：輸入層-卷積層I-多分枝殘差注意力模塊I-下采樣層I-多分枝殘差注意力模塊II-下采樣層II-多分枝殘差注意力模塊III-下采樣層III-多分枝殘差注意力模塊IV-下采樣層IV-卷積層II-池化層-全連接層I-全連接層II-輸出層；

所述多分枝殘差注意力模塊I、多分枝殘差注意力模塊II、多分枝殘差注意力模塊III和多分枝殘差注意力模塊IV均包括多分枝殘差塊和高效注意力模塊，多分枝殘差塊的輸入側與卷積層I、下采樣層I、下采樣層II或下采樣層III相連接，多分枝殘差塊的輸出側與高效注意力模塊的輸入側相連接，高效注意力模塊的輸出側與下采樣層I、下采樣層II、下采樣層III或下采樣層IV相連接；所述多分枝殘差塊用于提取訓練數據的特征，高效注意力模塊用于優化訓練數據的特征；

步驟三：將稽查數據輸入多分枝殘差注意力網絡模型中，輸出稽查結果，完成對電力營銷業務中的異常問題的識別分類與自動排查。

2.根據權利要求1所述的基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，所述稽查數據字段包括:日期、線路或臺區ID、供電量、售電量、線路用戶電量、電流、電壓和功率因素。

3.根據權利要求1所述的基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，所述多分枝殘差塊包括多分枝殘差單元I、多分枝殘差單元II和多分枝殘差單元III，多分枝殘差單元I的輸入側與卷積層I、下采樣層I、下采樣層II或下采樣層III相連接，多分枝殘差單元I的輸出側與多分枝殘差單元II的輸入側相連接，多分枝殘差單元II的輸出側與多分枝殘差單元III的輸入側相連接，多分枝殘差單元III的輸出側與高效注意力模塊的輸入側相連接，多分枝殘差單元II的輸出側與高效注意力模塊的輸出側相連接。

4.根據權利要求3所述的基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，所述多分枝殘差單元I、多分枝殘差單元II和多分枝殘差單元III的網絡結構相同，均包括第一卷積層、第二卷積層、第三卷積層、第四卷積層和第五卷積層，第一卷積層分別與第五卷積層、第二卷積層、第三卷積層和第四卷積層相連接，第二卷積層分別與第三卷積層和第五卷積層相連接，第三卷積層分別與第四卷積層和第五卷積層相連接，第四卷積層與第五卷積層相連接；第一卷積層為多分枝殘差單元I、多分枝殘差單元II或多分枝殘差單元III的輸入卷積層，第五卷積層為多分枝殘差單元I、多分枝殘差單元II或多分枝殘差單元III的輸出卷積層。

5.根據權利要求3所述的基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，所述高效注意力模塊包括第一池化層、一維卷積層I、一維卷積層II、一維卷積層III、激活層和第二池化層，第一池化層分別與一維卷積層I和第二池化層相連接，一維卷積層I與一維卷積層II相連接，一維卷積層II與激活層相連接，激活層與一維卷積層III相連接，一維卷積層III與第二池化層相連接；所述第一池化層為高效注意力模塊的輸入層，第二池化層為高效注意力模塊的輸出層。

6.根據權利要求5所述的基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，高效注意力模塊優化訓練數據的特征的方法為：

對于大小為W×1×C的特征圖U，U＝[x₁，x₂，...，x_c]，對特征圖U進行一維化操作，得到一維化后的特征圖Z；

利用特征圖U的每個通道及其k近鄰構造快速一維卷積y，并將一維化后的特征圖Z與快速一維卷積y進行卷積運算，得到權重W_k；

利用激活函數對權重W_k進行歸一化，并對歸一化后的權重進行放大，得到最終的權重Fw；

利用最終的權重Fw加權到特征圖U上得到優化后的特征圖。

7.根據權利要求6所述的基于多分枝殘差注意力網絡的智能稽查建模方法，其特征在于，所述一維化后的特征圖Z的獲得方法為：

其中，z_c∈Z＝{z₁,z₂,…,z_c}，F_GAP(·)表示將特征通道c中的特征圖的線性運算，x_i表示特征通道c中第i個特征圖，W表示特征通道c中的特征圖個數；

所述權重W_k為：

其中，F_h(·)表示利用快速一維卷積特征通道c學習到的預權重，表示特征通道c對應的快速一維卷積，表示c個特征通道中的所有k個近鄰通道中非零數值的集合，其余位置由零填充，*表示卷積運算；

所述最終的權重Fw為：

Fw＝n·σ(W_k)

其中，n為權值放大系數，σ(·)為Sigmoid函數；

所述優化后的特征圖為：

U′＝Fw·U

其中，U′為優化后的特征圖。