[發(fā)明專利]基于字符圖像智能識別獲得礦山井下設(shè)備位置的方法

在審

• 申請?zhí)枺?/td>: 202010114364.8
• 申請日: 2020-02-25
• 公開（公告）號: CN111401139A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計）人: 巫喬順;陳甫剛;尹業(yè)華;李云財;許斌;梁偉
• 申請（專利權(quán)）人: 云南昆鋼電子信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F16/29;G06N3/04;G06N3/08
• 代理公司: 昆明正原專利商標代理有限公司 53100
• 代理人: 徐玲菊;蔣文睿

1.一種基于字符圖像智能識別獲得礦山井下設(shè)備位置的方法，其特征在于包括下列步驟：

1）在礦山井下鐵軌旁，間隔安裝若干個字符牌，每個字符牌上標注多個字符，將每個字符編號所對應(yīng)的鐵軌位置記錄在生產(chǎn)調(diào)度中心的數(shù)據(jù)庫中；

2）在礦井下的無人機車上安裝圖像采集設(shè)備，行駛中采集對應(yīng)字符牌上標注的所有字符圖像；

3）用開源圖像處理庫OpenCV中的VideoCapture類讀取所采集的字符圖像數(shù)據(jù)，幀率為每秒15幀，像素格式RGB三通道圖像，原始像素為1024900；

4）對每幀圖像數(shù)據(jù)進行常規(guī)的縮放和濾波預(yù)處理，其中：縮放處理是將圖像尺寸進行縮或放，以減少深度學(xué)習(xí)網(wǎng)絡(luò)模型數(shù)據(jù)處理量，加速每幀圖像分割和識別速度，使用Lanczos算法將圖像壓縮成800600的像素，像素格式為RGB的彩色圖像；圖像數(shù)據(jù)濾波處理是對壓縮后的圖像存在的毛刺進行平滑處理，減少圖像邊緣特征毛刺，使圖像更加清晰易于識別；

5）將預(yù)處理后的800600像素的圖像交由U-Net網(wǎng)絡(luò)進行檢測，檢測到圖像中有8個字符的圖像后，將該圖像分割為8個不重疊的子圖像，每個子圖像中應(yīng)含有1個字符；

所述U-Net網(wǎng)絡(luò)為Encoder-Decoder網(wǎng)絡(luò)結(jié)構(gòu)，其中：Encoder網(wǎng)絡(luò)用于卷積操作，Decoder網(wǎng)絡(luò)用于上采樣操作，Encoder網(wǎng)絡(luò)為五層卷積網(wǎng)絡(luò)結(jié)構(gòu)，每層卷積網(wǎng)絡(luò)結(jié)構(gòu)的卷積核為 55，padding 為 0 ，striding 為 1，Decoder網(wǎng)絡(luò)為五層卷積網(wǎng)絡(luò)結(jié)構(gòu)，每層卷積網(wǎng)絡(luò)的卷積核為11，步長為1；

采用下列算法進行卷積操作和下采樣操作：

5-1）卷積操作如下：將800600像素的圖像經(jīng)過五層卷積操作處理成780580的像素，用22的卷積核進行步長為2的池化操作成390290的像素；如此進行三次重復(fù)操作，得到圖像為6045的像素；卷積操作公式如下：

式中X是圖像數(shù)據(jù)， i和j是圖像的大小，分別為800和600，W是卷積核，m和n是卷積核的大小，這里分別是5和5，s（i,j）是經(jīng)過卷積操作后的新圖像數(shù)據(jù)；

每做一次卷積操作后，都要使用激活函數(shù)進行非線性化計算，整個網(wǎng)絡(luò)的激活函數(shù)使用Maxout激活函數(shù)，激活函數(shù)公式為：，其中，式中x^T是網(wǎng)絡(luò)神經(jīng)元數(shù)值，W_ij是卷積核值，i和j為卷積核中的坐標位置，k是圖像的通道數(shù)，該圖像是RGB彩色圖像，k值為3，bij是每個神經(jīng)元對應(yīng)的常數(shù)，c是激活計算后的一個經(jīng)驗常數(shù)，初始值0， j是下標，是max Z_ij；

因卷積操作是線性操作，需使用損失函數(shù)進行非線性化處理，損失函數(shù)使用pixel-wise softmax，像素對應(yīng)的輸出單獨做softmax，公式為：

，

式中x為二維平面上的像素位置，a為學(xué)習(xí)系數(shù)，初始值為1，w(x)是交叉熵中的權(quán)重項，pl(x) 表示x在真實label所在通道上的輸出概率，c為常數(shù)項，初始值為0；

5-2）下采樣操作如下：將卷積操作得到的像素為6045的圖像送入Decoder網(wǎng)絡(luò)，經(jīng)過上采樣操作后使圖像長和寬均增加二倍成為12090的像素，重復(fù)Decoder網(wǎng)絡(luò)上采樣操作二次，圖像成為480360的像素，再使用55 的卷積核進行卷積操作，得到圖像為420300的像素，再用51的卷積核進行一次卷積操作，得到圖像為400300的橡素，之后在進行一次上采樣操作，恢復(fù)得到與原始圖像相同的800600橡素；

5-3）對恢復(fù)的800600橡素圖像進行全連接運算，得到單個字符在原始圖像中的具體位置，將該位置用子圖像的左上角坐標和右下角坐標表示；

所述全連接運算如下：全連接主要輸出8個字符圖像的位置，每個圖像坐標由左上角和右下角共4個值組成，8個圖像共32個輸出值；圖像是800600的二維數(shù)組，按行轉(zhuǎn)成一位數(shù)組，長度480000，然后用32組長度為48000的一維數(shù)組參數(shù)與圖像一位數(shù)組像素值相乘求和，在加一個截距參數(shù)，得到的32個值就是8個字符的坐標位置；

全連接計算公式：

式中x_i是32個坐標值，i取值從1到32，a_nm是圖像一維數(shù)組，w_i是一維數(shù)組參數(shù)，長度n*m，c_i是截距參數(shù)，w_i和c_i都是可學(xué)習(xí)參數(shù)，n和m分別是源圖像的長和寬，即n是800，m是600；

6）分類識別：對步驟5）分割出的含有單個字符的子圖像，分別交由卷積神經(jīng)網(wǎng)絡(luò)依次進行分類識別，每個子圖像識別一次，得到一個字符值和可信值，共進行8次分類識別，得到8個字符值和8個對應(yīng)的可信值，且每個可信值均大于90%；

所述卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)共8層，其中：1-3層網(wǎng)絡(luò)使用9類卷積核提取9種特征，每類卷積核為33，4-6層網(wǎng)絡(luò)使用12類卷積核，每個卷積核為33，第7層卷積核使用1024類卷積核，每個卷積核為11，第8層是全連接層，輸出62個可信值，可信值最大的位置對應(yīng)的字符就是識別出來的字符值；

每個卷積操作后都要使用激活函數(shù)進行非線性操作，激活函數(shù)使用指數(shù)線性單元ELU函數(shù)；

7）將得到的8個字符值通過無線網(wǎng)絡(luò)實時傳輸給生產(chǎn)調(diào)度中心，以字符編號為查詢條件，在數(shù)據(jù)庫系統(tǒng)里面查閱出具體位置，即可確定該無人機車在井下的位置，實現(xiàn)礦井下無人機車定位，同時自動保存識別結(jié)果概率值低的圖像數(shù)據(jù)，每月將保存的圖像進行針對性訓(xùn)練，訓(xùn)練達到99.89%的準確率在更新生產(chǎn)上的網(wǎng)絡(luò)模型，達到持續(xù)學(xué)習(xí)的目的。