[發明專利]一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法

在審

• 申請號: 202010576688.3
• 申請日: 2020-06-22
• 公開（公告）號: CN111967488A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 劉麗;胡煜鑫;邱桃榮
• 申請（專利權）人: 南昌大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南昌金軒知識產權代理有限公司 36129
• 代理人: 李楠

1.一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，其特征在于，包括如下兩個步驟：

步驟一：提取圖像特征，使得其對手機拍攝文本圖像經常存在的光照不均勻、失焦模糊以及投影變換等問題具有良好的魯棒性。

步驟二：基于所提取的圖像特征，利用歐式距離計算兩個圖像的相似度。

2.如權利要求1所述的一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，其特征在于：所述步驟一的特征提取通過訓練一個孿生卷積神經網絡來實現，該網絡有兩個分支，每個分支由GhostNet構成，兩個分支共享權重。

3.根據權利要求2所述的一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，其特征在于：訓練時，每次輸入網絡兩個文本圖像，每個圖像經過一個分支，采用對比損失作為網絡的損失函數，定義如下：

其中，N為訓練樣本數目，y為訓練樣本的標簽，若輸入的兩個圖像為正樣本，則y＝1；反之，若輸入的兩個圖像為負樣本，則y＝0，m為閾值，設置為1.5；

d代表兩個圖像I₁和I₂經過網絡的輸出S₁和S₂之間的歐式距離，具體定義如下：

d＝||s₁-s₂||₂

利用訓練好的孿生卷積神經網絡，可以提取任意文本圖像的特征；具體來說，將圖像輸入訓練好的孿生卷積神經網絡的任意一個分支中，以GhostNet的最后一層輸出作為該圖像的特征。

4.如權利要求1所述的一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，其特征在于：所述步驟一為了提取對手機拍攝文本圖像具有良好魯棒性的特征，提高了訓練集中樣本的多樣性；具體來說，構成正樣本的兩個圖像來自同一個文本，其中一個圖像用手機拍攝得到，另一個圖像通過其它方式獲得，兩個圖像之間在光照、視角、亮度以及分辨率等方面均具有明顯差異；構成負樣本的兩個圖像來自不同文本。

5.如權利要求4所述的一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，其特征在于：所述另外一個圖像的獲得方式通過掃描儀掃描。