[發明專利]一種基于深度神經網絡的出入境驗訖章識別方法及裝置

在審

• 申請號: 202111139047.2
• 申請日: 2021-09-27
• 公開（公告）號: CN113971745A
• 公開（公告）日: 2022-01-25
• 發明（設計）人: 郭志昌;董剛;姚文娟;李爻;孫杰寶
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V30/41;G06V30/416;G06V30/194;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 孫莉莉

本發明提出一種基于深度神經網絡的出入境驗訖章識別方法及裝置，所述方法首先采集圖像，并對圖像進行標注，然后通過回歸網絡對采集好的數據進行回歸剪裁，對于剪裁下來的印章，再應用基于注意力機制的網絡進行對國別的圖像識別，之后應用參數化的Bezier曲線進行對日期的文本識別，最后再將信息整合。最終搭建前端，設計了出入境驗訖章識別平臺，使用十分方便。

技術領域

本發明屬于圖像識別技術領域，特別是涉及一種基于深度神經網絡的出入境驗訖章識別方法及裝置。

背景技術

細粒度圖像識別是計算機科學技術領域中的一項重要工作，旨在識別同一類別下的不同子類物體。細粒度圖像識別問題的難點在于識別對象來自于同一大類，具有大量的相同特征以及有細微差別的部分特征。這要求模型的特征提取能力十分靈敏且具有魯棒性。至今為止仍沒有一種通用且可靠的細粒度圖像識別算法被廣泛應用。因此，細粒度圖像識別領域具有極大的研究價值和意義。

近年來，隨著深度學習領域的飛速發展，細粒度識別技術的準確率也有了大幅提升。目前細粒度圖像識別的主流方法有：基于端到端的特征編碼方法、基于定位-分類子網絡的方法、利用外部輔助信息的方法。其中，基于端到端的特征編碼方法受到人們最廣泛的關注。其主要思想是通過設計細粒度特征提取能力更強大的模型，挖掘更具有區分性的細粒度特征表示，并依據此特征表示進行細粒度圖像識別。現有的深度學習與印章識別相結合的研究大多集中于文字識別，提取印章中的文字部分。然而這類提取方法大多對印章形狀有所要求，難以應對大量的形狀差異較大的印章識別。但是在出入境印章日期識別中，存在諸多方向任意和文字模糊的問題。故而難以將其應用到具有多種類印章的機場安檢領域。目前，尚未有研究者提出將分類識別方法與出入境驗訖章結合起來，以提升機場安檢效率的方法。

因此，本發明針對細粒度圖像識別問題，提出了一種實現速度快、識別效果好的基于深度神經網絡的出入境驗訖章識別方法及裝置，具有重要的實際應用價值。

發明內容

本發明為了解決現有印章檢測及日期檢測識別困難的問題，提出了一種基于深度神經網絡的出入境驗訖章識別方法及裝置。

本發明是通過以下技術方案實現的，本發明提出一種基于深度神經網絡的出入境驗訖章識別方法，所述方法包括：

對目標印章進行回歸剪裁，即設計回歸剪裁網絡，來檢測印章圖片中包含的國家和日期信息，并將其定位；

對于國家檢測部分：通過搭建細粒度識別分類網絡將檢測出的國家進行識別分類；

對于日期檢測識別部分：定位一張完整的印章圖片中所有的日期信息并且進行剪裁，分成若干個時間信息塊進行日期檢測，將檢測出的日期信息進行識別，給出準確的日期，從而可以判斷出入境人員在境外國家的活動時間。

進一步地，所述對目標印章進行回歸剪裁，即設計回歸剪裁網絡，來檢測印章圖片中包含的國家和日期信息，并將其定位；具體為：

步驟一：搭建由卷積和殘差網絡堆疊而成的主干網絡，該主干網絡由五個使用CSP網絡的分塊組成；

步驟二：搭建池化網絡；所述池化網絡分為四支線，前三支線對池化網絡的輸入特征分別進行5*5、9*9、13*13步長為1的最大池化，第四支線不對池化網絡的輸入特征進行池化，最后把四條支線的池化結果進行route相加；

步驟三：搭建上采樣網絡，共上采樣兩次：首先對池化網絡的輸出特征進行卷積，而后進行上采樣操作，對所得到的輸出特征再次進行卷積，并將卷積后的特征再次進行上采樣；

步驟四：搭建頭部網絡；共有三個頭部作為輸出：前兩個頭部網絡分別進行2次1步長卷積，第三個頭部網絡進行1次1步長卷積；

步驟五：輸入圖片數據通過步驟一至步驟四搭建的網絡進行特征提取，對提取后的特征應用特征金字塔，采用三個尺度再次提取特征，得到印章的特征圖，對得到的印章的特征圖進行國家檢測和日期檢測識別。