[發明專利]一種用于電表終端故障識別的圖像識別方法

有效

• 申請號: 201910975688.8
• 申請日: 2019-10-15
• 公開（公告）號: CN110738170B
• 公開（公告）日: 2021-01-26
• 發明（設計）人: 丁超;張秋雁;歐家祥;張俊瑋;王藍苓;胡厚鵬;王揚;李航峰;李聰;葉左宣;關懷海
• 申請（專利權）人: 貴州電網有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 貴陽中新專利商標事務所 52100
• 代理人: 胡緒東

1.一種用于電表終端故障識別的圖像識別方法，其特征在于：該方法包括以下步驟：

(1)搭建深度學習分類網絡、電表終端檢測網絡、組態匹配和故障識別網絡；

(2)深度學習分類網絡輸入為圖像，輸出為電表終端設備的型號；

(3)電表終端檢測網絡用于識別電表終端和表盤四個角點所在區域；

(4)使用組態匹配檢測方法獲取每個電表終端面板信息特征；

組態匹配檢測方法為：在步驟(2)的深度學習分類網絡中，根據其分類結果，獲取廠家和型號信息，廠家和型號信息設置為目標1的位置，設目標1的位置信息為(x，y，w，h)，其中x，y表述目標1的中心位置，w，h分別表示框選的寬和高，對于每一個具體型號的電表終端，建立一個組態匹配信息，對于目標2，建立一個VariationX1，VariationY1，VariationW1，VariationH1的相對位置信息，建立一個VarationDetection的目標檢測算法信息，建立一個VariationLink＝1的組態信息，獲得目標2的檢測信息，在得到目標2的基礎上繼續檢測目標3和目標4的信息，依次獲得面板上其余檢測信息；

(5)根據面板信息特征進行故障識別：識別使用深度學習網絡；對于典型的“無故障”圖片和“有故障”圖片，利用步驟(3)的電表終端檢測網絡識別得到電表終端和表盤四個角點所在區域，使用透視變換技術獲取電表終端表盤區域的正面圖像，將正面圖像和對應的缺陷類別作為標記樣本，送入深度學習網絡進行訓練；識別時，將待識別的圖片送入深度學習網絡，深度學習網絡會輸出是否有故障的結果。

2.根據權利要求1所述的一種用于電表終端故障識別的圖像識別方法，其特征在于：若檢測的目標i為小目標，則建立一個VariationXi，VariationYi，VariationWi，VariationHi的相對位置信息，建立一個VarationClassify的算法信息，建立一個VariationLink＝i-1的組態信息；VariationLink＝i-1表述位置信息是相對于目標位置i的偏移，VarationClassify表述直接使用分類算法。

3.根據權利要求1所述的一種用于電表終端故障識別的圖像識別方法，其特征在于：深度學習網絡的訓練過程包括以下步驟：

(1)搭建深度學習網絡；

(2)使用透視變換技術豐富樣本，在相機只有旋轉變化的情況下，所有的圖片都由特定的透視變換矩陣得到，透視變換矩陣是3X3的矩陣，除去縮放因子，其有八個自由度，確定了變換前的坐標和變換后的坐標關系：

q＝H*p

式中，q表示變換后的坐標(x’,y’,z’)，H表示透視矩陣，p表示原坐標(x,y,z)，該式為標準的透視變換齊次矩陣公式；

(3)使用ISP技術調整圖像的亮度、對比度和顏色，豐富樣本；

(4)訓練電表終端檢測網絡，用于識別電表終端和表盤四個角點所在區域；

(5)使用圖像測量的算法，精確定位表盤區域的四個角點坐標；

(6)使用透視變換技術獲取電表終端表盤區域的正面圖像，生成樣本時，采用透視變換算法，生成仿真樣本，繞3個空間自由度的旋轉角度分別為a范圍為-5～15度，b范圍為-5～5度，v的范圍為-10～10度；

(7)將正面圖像和對應的缺陷類別作為標記樣本，根據電表終端特性，電表終端的標記區域算法自動調整標記框的長寬比，R＝W/H，R的范圍為1.2-1.5；送入深度學習網絡進行訓練時，根據標記的區域，如果標記區域長寬比不符合這個規則時，自動修改目標的長度，以便符合這個比例，再送入深度學習網絡進行訓練。

4.根據權利要求3所述的一種用于電表終端故障識別的圖像識別方法，其特征在于：在對圖像進行透視變換時，若已知相機的旋轉角度，由如下計算方法得出透視矩陣H，利用H矩陣對圖像進行變換：

在相機坐標系中設點的三維坐標為(xc,yc,zc)，對應的像點的像素坐標為(u,v,1)，

則由小孔成像模型知：

fx表示x方向縮放系數，fy表示y方向縮放系數，u0，v0表示平移；

在三維坐標系中，旋轉用旋轉矩陣表示，推導如下：

考慮二維坐標系xOy，點p(x,y)繞原點O逆時針旋轉角度θ后得到點q(x1,y1)，用矩陣表示如下：

標準公式，θ為繞z軸旋轉角度；

則在三維坐標系中，繞z軸的變換用如下旋轉矩陣Rz(θ)表示：

式中為公式擴展到標準齊次的寫法；

同理得，繞x軸變換的Rx(α)：

式中為公式擴展到標準齊次的寫法；

繞y軸變換的Ry(β):

式中為公式擴展到標準齊次的寫法；

所有三維空間的旋轉由三個基本旋轉矩陣組合得到：

R＝Rx(α)*Ry(β)*Rz(θ)

式中為公式擴展到標準齊次的寫法；

其中R為旋轉矩陣，是單位正交矩陣，表示三維空間中的任一旋轉；

在相機成像模型中，當相機旋轉后，投影矩陣為：

式中是將繞三個軸旋轉，小孔成像合并到一起的變換關系；

得到像點坐標為(u1,v1)，則對相機旋轉前后的像點進行逆變換得到：

式中為對矩陣求逆；

即得到了相機旋轉前后的像素點對應關系：

A是小孔成像矩陣，R是旋轉矩陣；其中H為透視變換矩陣，又稱單應性矩陣；

由于透視矩陣具有八個有效參數，而每一對對應點提供了兩組約束，則最少需四組對應點，任意三點不共線，即唯一確定一個透視變換；在對圖像進行恢復透視變換時，需要被測物體的表面正對相機，與光軸垂直，若不知道相機的旋轉矩陣，則最少需要某位置上的四組對應點，利用直接法求出對應的矩陣參數。