[發明專利]基于深度神經網絡的端到端的圖像多字符定位和匹配方法

在審

• 申請號: 201711025494.9
• 申請日: 2017-10-27
• 公開（公告）號: CN107657256A
• 公開（公告）日: 2018-02-02
• 發明（設計）人: 費行健;潘嶸
• 申請（專利權）人: 中山大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標代理有限公司44102
• 代理人: 林麗明

技術領域

本發明涉及人工智能技術領域，更具體地，涉及一種基于深度神經網絡的端到端的圖像多字符定位和匹配方法。

背景技術

對于兩張包含有相同字符的圖片，查詢圖x和被查詢圖y，現有技術主要通過以下方法對查詢圖x中的字符在被查詢圖y中的位置進行定位及匹配：

S1.首先基于卷積神經網絡識別出查詢圖x中從左到右出現的字符內容;

S2.基于DBSCAN算法定位被查詢圖y中的所有字符，并將它們從被查詢圖y中切割出來；

S3.基于卷積神經網絡識別切割出來的所有字符內容；

S4.將步驟S1中識別出的字符內容與步驟S3中識別出的字符內容進行匹配，即可得到查詢圖x中的字符在被查詢圖y中的位置。

但是上述方案在進行定位和匹配的時候是將整個流程劃分為四個步驟的，每個流程步驟在執行的時候均需要花費不少時間，這導致方法的運行效率較低，且最終定位和匹配的準確率依賴于每個流程步驟的準確率，若其中某一流程步驟的準確率不高，將會導致方法的準確率不高。

發明內容

本發明為解決以上現有技術的缺陷，提供了一種基于深度神經網絡的端到端的圖像多字符定位和匹配方法。

為實現以上發明目的，采用的技術方案是：

基于深度神經網絡的端到端的圖像多字符定位和匹配方法，包括有以下步驟：

S1.令查詢圖片與對應的被查詢圖片為一對圖片對，收集大量的圖片對作為數據集，并對圖片對中查詢圖片中的字符在被查詢圖片中的位置進行標注；

S2.將數據集按照一定比例劃分為三部分，分別為訓練集、驗證集和測試集；

S3.搭建深度神經網絡，利用訓練集中的圖片對作為輸入對深度神經網絡進行訓練，并利用Adam算法對深度神經網絡進行優化；

S4.使用驗證集中的圖片對作為輸入對優化后的深度神經網絡進行驗證，深度神經網絡輸出圖片對中查詢圖片中的字符在被查詢圖片中的定位及匹配結果，由于步驟S1已經對圖片對中查詢圖片中的字符在被查詢圖片中的位置進行標注，因此可計算深度神經網絡在驗證集上的準確率；

S5.重復步驟S3~S4直至深度神經網絡在驗證集上的準確率滿足設定的條件；

S6.將測試集中的圖片對作為輸入對步驟S5訓練好的深度神經網絡進行測試，并根據深度神經網絡輸出的測試結果對深度神經網絡的在測試集上的準確率進行統計，作為對深度神經網絡的評估結果；

S7.對于新的一對圖片對，將其作為深度神經網絡的輸入，即可通過深度神經網絡得到圖片對中查詢圖片中的字符在被查詢圖片中的定位及匹配結果。

與現有技術相比，本發明的有益效果是：

1）方法的運行效率更高，整個方法流程在深度神經網絡訓練好之后，每次使用，只需要經過一次深度神經網絡的前向傳播計算，而不像現有方法有多個神經網絡需計算多次，還有用聚類算法做字符提取等比較耗時的步驟。

2）方法的準確率更高。整個方法流程就是直接優化最終目標的準確率，通過深度神經網絡可以很好的做到這一點。而現有技術，最終目標的準確率依賴于各個步驟流程的準確率，由于只能分別優化各個步驟的準確率，沒法直接優化最終目標，導致準確率較低，也很難改進。

附圖說明

圖1為方法的原理示意圖。

圖2為深度神經網絡的結構示意圖。

具體實施方式

附圖僅用于示例性說明，不能理解為對本專利的限制；

以下結合附圖和實施例對本發明做進一步的闡述。

實施例1

本發明提供的方法具體包括有以下步驟：

S1.令查詢圖片與對應的被查詢圖片為一對圖片對，收集大量的圖片對作為數據集，并對圖片對中查詢圖片中的字符在被查詢圖片中的位置進行標注；

S2.將數據集按照7:2:1的比例劃分為三部分，分別為訓練集、驗證集和測試集；

S3.搭建深度神經網絡，利用訓練集中的圖片對作為輸入對深度神經網絡進行訓練，并利用Adam算法（考慮動量和梯度歷史大小的梯度下降法）對深度神經網絡進行優化，調整學習率等參數；訓練過程中，如果發現深度神經網絡的偏差較高，方差較低，則應當繼續使用Adam算法，迭代多輪；如果發現偏差較低，方差較高，此時應收集更多數據作為訓練集，或者減少梯度優化算法迭代的輪數；