[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)的指針儀表讀數(shù)識別方法

有效

• 申請?zhí)枺?/td>: 201910724076.1
• 申請日: 2019-08-07
• 公開（公告）號: CN110543878B
• 公開（公告）日: 2022-03-29
• 發(fā)明（設(shè)計）人: 田聯(lián)房;郭月陽;杜啟亮
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/148;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

1.一種基于神經(jīng)網(wǎng)絡(luò)的指針儀表讀數(shù)識別方法，其特征在于，包括以下步驟：

1)表盤定位數(shù)據(jù)集的構(gòu)建與預(yù)處理；

2)針對識別對象及應(yīng)用場景的特點，設(shè)計匹配的神經(jīng)網(wǎng)絡(luò)模型，包括以下步驟：

2.1)構(gòu)建特征提取網(wǎng)絡(luò)

根據(jù)實時性和高精度要求構(gòu)建特征提取網(wǎng)絡(luò)，該特征提取網(wǎng)絡(luò)主要由多個組合卷積模塊組成，其結(jié)構(gòu)為：

第一層為組合卷積模塊A，它由一個零填充層、一個卷積層、一個批歸一化層和一個激活層組成；

第二層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第三層為組合卷積模塊C，它由一個零填充層、一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第四層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第五層為組合卷積模塊C，它由一個零填充層、一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第六層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第七層為組合卷積模塊C，它由一個零填充層、一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第八層為組合卷積模塊D，它由五個組合卷積模塊B組成；

第九層為組合卷積模塊C，它由一個零填充層、一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第十層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

2.2)構(gòu)建預(yù)測網(wǎng)絡(luò)

根據(jù)特征提取網(wǎng)絡(luò)不同層的輸出，構(gòu)建輸出預(yù)測不同尺寸目標的預(yù)測網(wǎng)絡(luò)，包括：

a、大尺寸目標預(yù)測網(wǎng)絡(luò)

輸入為特征提取網(wǎng)絡(luò)第十層輸出，大尺寸目標預(yù)測網(wǎng)絡(luò)主要由多種組合卷積模塊和卷積層組成，其結(jié)構(gòu)為：

第一層為組合卷積模塊D，它由五個組合卷積模塊B組成；

第二層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第三層為一個卷積層；

b、中等尺寸目標預(yù)測網(wǎng)絡(luò)

輸入為特征提取網(wǎng)絡(luò)第八層輸出和大尺寸目標預(yù)測網(wǎng)絡(luò)第一層輸出，中等尺寸目標預(yù)測網(wǎng)絡(luò)主要由多種組合卷積模塊和卷積層組成，其結(jié)構(gòu)為：

第一層為輸入融合模塊，它由一個組合卷積模塊B、一個上采樣層和一個張量拼接層組成；

第二層為組合卷積模塊D，它由五個組合卷積模塊B組成；

第三層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第四層為一個卷積層；

c、小尺寸目標預(yù)測網(wǎng)絡(luò)

輸入為特征提取網(wǎng)絡(luò)第六層輸出和中等尺寸目標預(yù)測網(wǎng)絡(luò)第二層輸出，小尺寸目標預(yù)測網(wǎng)絡(luò)主要由多種組合卷積模塊和卷積層組成，其結(jié)構(gòu)為：

第一層為輸入融合模塊，它由一個組合卷積模塊B、一個上采樣層和一個張量拼接層組成；

第二層為組合卷積模塊D，它由五個組合卷積模塊B組成；

第三層為組合卷積模塊B，它由一個深度可分離卷積層、兩個批歸一化層、兩個激活層和一個卷積層組成；

第四層為一個卷積層；

最后將大尺寸目標預(yù)測網(wǎng)絡(luò)、中等尺寸目標預(yù)測網(wǎng)絡(luò)和小尺寸目標預(yù)測網(wǎng)絡(luò)的輸出通過非極大值抑制層得到預(yù)測目標位置和類別；

2.3)設(shè)置損失函數(shù)

設(shè)置損失函數(shù)為中心坐標損失函數(shù)、寬高損失函數(shù)、置信度損失與類別損失函數(shù)的求和均值，損失函數(shù)公式如下：

Loss＝(Loss_xy+Loss_wh+Loss_confidence+Loss_cls)/numf

其中，Loss代表總損失，Loss_xy代表中心坐標損失，Loss_wh代表寬高損失，Loss_confidence代表置信度損失，Loss_cls代表類別損失，numf代表輸入總數(shù)的浮點數(shù)；各個損失函數(shù)公式如下：

Loss_xy＝mark_object*(2-w*h)*Loss_log(xy_true,xy_predict)

Loss_wh＝0.5*mark_object*(2-w*h)*(wh_true-wh_predict)²

Loss_confidence＝mark_object*Loss_log(mark_object,c_predict)+(1-mark_object)*Loss_log(mark_object,c_predict)*mark_ignore

Loss_cls＝mark_object*Loss_log(cls_true,cls_predict)

中心坐標損失函數(shù)公式如下：

Loss_xy＝mark_object*(2-w*h)*Loss_log(xy_true,xy_predict)

其中，mark_object代表錨點框否存在物體的標志位，w代表錨點框的寬，h代表錨點框的高，Loss_log代表二值交叉熵損失，xy_true代表真實中心坐標值，xy_predict代表預(yù)測中心坐標值，wh_true代表真實寬高值，wh_predict代表預(yù)測寬高值，c_predict代表預(yù)測框的置信度值，mark_ignore代表IOU小于閾值的錨點框的標志位，cls_true代表真實類別，cls_predict代表預(yù)測類別；

3)對設(shè)計的神經(jīng)網(wǎng)絡(luò)模型裝載訓(xùn)練參數(shù)進行訓(xùn)練，訓(xùn)練過程中進行在線數(shù)據(jù)增強，訓(xùn)練完畢后得到表盤定位模型；

4)將待識別圖像輸入已訓(xùn)練的表盤定位模型中，得到圖像中表盤的位置與類別，由表盤定位模型輸出構(gòu)建表盤信息提取數(shù)據(jù)集并預(yù)處理，對步驟2)中設(shè)計的神經(jīng)網(wǎng)絡(luò)模型裝載訓(xùn)練參數(shù)并在表盤信息提取數(shù)據(jù)集上進行訓(xùn)練，訓(xùn)練過程中使用在線數(shù)據(jù)增強，訓(xùn)練完畢后得到表盤信息提取模型；

5)將表盤定位模型輸出輸入已訓(xùn)練的表盤信息提取模型中，得到表盤量程信息；

6)由表盤定位模型輸出和表盤信息提取模型輸出通過圖像處理技術(shù)獲得指針位置和表盤中心位置；

7)由表盤信息提取模型輸出中得最大量程位置和最小量程位置，進而獲得總量程角度，再由指針位置和最小量程位置獲得讀數(shù)角度，由同比例關(guān)系即角度法，獲得儀表讀數(shù)；其中，角度法公式為：

式中，num為指針儀表讀數(shù)，angle1為最大量程與最小量程之間的角度，angle2為最小量程與指針位置之間的角度，max為最大量程讀數(shù)，min為最小量程讀數(shù)。