[發(fā)明專利]一種基于卷積循環(huán)神經(jīng)網(wǎng)絡的集裝箱箱號識別方法

有效

• 申請?zhí)枺?/td>: 202010188543.6
• 申請日: 2020-03-17
• 公開（公告）號: CN111414844B
• 公開（公告）日: 2023-08-29
• 發(fā)明（設計）人: 張聰;靳松直;周斌;張輝;王浩;韋海萍;鄭文娟;高仕博;鄭智輝;郝夢茜;叢龍劍;劉嚴羊碩;李少軍;劉燕欣;高琪;張藝明
• 申請（專利權）人: 北京航天自動控制研究所
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/764;G06V10/82;G06N3/0464;G06N3/0442;G06N3/047;G06N3/08
• 代理公司: 中國航天科技專利中心 11009
• 代理人: 高志瑞

1.一種基于卷積循環(huán)神經(jīng)網(wǎng)絡的集裝箱箱號識別方法，其特征在于，所述方法包括如下步驟：

步驟1：采集集裝箱樣本圖像，根據(jù)集裝箱樣本圖像構建循環(huán)卷積神經(jīng)網(wǎng)絡模型，對循環(huán)卷積神經(jīng)網(wǎng)絡模型訓練后得到分類器；

步驟2：計算圖像透視變換矩陣；

步驟3：利用步驟2得到的圖像透視變換矩陣對待檢測集裝箱圖像進行透視變換得到視變換后的圖像；

步驟4：使用步驟1的分類器對透視變換后的圖像進行字符識別得到字符識別結果；

步驟5：利用集裝箱箱號規(guī)則對字符識別結果進行核對校驗，輸出最終的箱號檢測結果；

在步驟1中，采集集裝箱樣本圖像，根據(jù)集裝箱樣本圖像構建循環(huán)卷積神經(jīng)網(wǎng)絡模型，對循環(huán)卷積神經(jīng)網(wǎng)絡模型訓練后得到分類器包括如下步驟：

(11)采集集裝箱樣本圖像；

(12)將集裝箱樣本圖像縮放至高度32像素和寬度160像素的第二樣本圖像；將第二樣本圖像輸入卷積神經(jīng)網(wǎng)絡，卷積神經(jīng)網(wǎng)絡輸出512個特征圖；

(13)從步驟(12)得到的特征圖中提取特征向量；

(14)循環(huán)神經(jīng)網(wǎng)絡采用兩層各256單元的雙向長短型網(wǎng)絡，在雙向長短型網(wǎng)絡的每個時間步傳入一個特征向量，其中，時間步的數(shù)量為40個，每個時間步輸出40個長度為37的向量，40個向量構成后驗概率矩陣；

(15)由后驗概率矩陣計算損失函數(shù)；

(16)通過損失函數(shù)對卷積循環(huán)神經(jīng)網(wǎng)絡進行訓練，達到設定的學習次數(shù)100000和精度0.0001時完成訓練，得到分類器；

在步驟2中，計算圖像透視變換矩陣包括如下步驟：

(21)在待檢測集裝箱圖像中選取4個點(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)，其中，4個點構成的區(qū)域包含箱號區(qū)域，并在真實空間中為矩形；

(22)根據(jù)(x₁,y₁),(x₂,y₂),(x₃,y₃),(x₄,y₄)得到待變換后圖像上對應點坐標(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)、(X₄,Y₄)；

(23)將待變換后圖像上對應點坐標(X₁,Y₁)、(X₂,Y₂)、(X₃,Y₃)、(X₄,Y₄)帶入透視變換矩陣計算公式得到透視變換矩陣；

在步驟3中，利用步驟2得到的圖像透視變換矩陣對待檢測集裝箱圖像進行透視變換得到視變換后的圖像包括如下步驟：

(31)根據(jù)步驟(23)中的透視變換矩陣對待檢測集裝箱圖像進行透視變換得到透視變換后的圖像；

(32)將透視變換后的圖像縮放至高度32像素、寬度160像素得到32*160的圖像；

在步驟(15)中，損失函數(shù)為：

其中，O為損失函數(shù)，x為樣本，l為可能的字符，S為樣本集，p(l|x)表示后驗概率矩陣中x為字符l的后驗概率；

在步驟(22)中，(X₁,Y₁)＝(min(x₁,x₃),min(y₁,y₂))(X₂,Y₂)＝(max(x₂,x₄),Y₁)(X₃,Y₃)＝(X₁,max(y₃,y₄))(X₄,Y₄)＝(X₂,Y₃)；

在步驟(23)中，透視變換矩陣計算公式為：

其中，x為透視變換前圖像某點的橫坐標，y為透視變換前圖像某點的縱坐標，X為透視變換后圖像對應點的橫坐標，Y為透視變換后圖像對應點的縱坐標，a₁₁、a₁₂…a₃₂均為透視變換矩陣系數(shù)。