[發明專利]一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法

在審

• 申請號: 202010576688.3
• 申請日: 2020-06-22
• 公開（公告）號: CN111967488A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 劉麗;胡煜鑫;邱桃榮
• 申請（專利權）人: 南昌大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南昌金軒知識產權代理有限公司 36129
• 代理人: 李楠

本發明公開了一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法。主要包括：圖像特征提取與圖像相似度計算。本發明訓練一個孿生卷積神經網絡用于提取手機拍攝文本圖像特征，該網絡有兩個分支，每個分支由GhostNet構成，兩個分支共享權重。訓練時每次輸入網絡兩個文本圖像，每個圖像經過一個分支，采用對比損失作為網絡的損失函數。通過提高訓練樣本的多樣性使得提取的圖像特征對上述手機拍攝圖像存在的光照不均勻、失焦以及投影變換等問題具有良好的魯棒性。接下來，任給一個文本圖像，將其輸入訓練好的孿生卷積神經網絡的任意一個分支中，令GhostNet的最后一層輸出作為該圖像的特征。為了獲得兩個圖像的相似度，采用歐式距離進行計算。

技術領域

本發明屬于圖像處理領域，特別涉及一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法。

背景技術

隨著智能手機的普及，人們經常對現實物理世界中感興趣的文本拍照，并且利用該圖像在因特網或者數字圖書館中進一步查找和該圖像相關的信息，因此急需一種有效的手機拍攝文本圖像匹配方法。

手機拍攝圖像容易受到光照不均勻、失焦模糊等因素影響，另一方面，由于拍攝角度不同，手機拍攝圖像一般具有比較嚴重的投影變換，給后續的匹配帶來很大的挑戰。傳統手機拍攝文本圖像匹配方法首先將圖像中的一個個詞分割出來，接下來利用詞之間的空間位置關系來描述圖像，并將一個圖像用多個特征向量表示出來。然而，文本圖像中的詞分割本身就是一個難題，由于手機拍攝文本圖像的質量一般比較差，經常導致過分割或者多個詞粘連，給后續匹配帶來負面影響。

為了解決該問題，本發明提出一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，訓練一個孿生卷積神經網絡用于提取圖像特征，通過提高訓練集中正負樣本的多樣性，使得提取的特征對上述圖像光照不均勻、失焦以及投影變換等問題具有較強的魯棒性，有效地避免了傳統方法中由于分割文本圖像中的詞所帶來的問題。

發明內容

本發明提出了一種基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法，包括如下步驟：

訓練一個孿生卷積神經網絡用于提取圖像特征，該網絡有兩個分支，每個分支由GhostNet構成，兩個分支共享權重。訓練時，每次輸入網絡兩個文本圖像，每個圖像經過一個分支，采用對比損失作為網絡的損失函數。

為了提取對手機拍攝文本圖像所存在的光照不均勻、失焦模糊以及投影變換等問題具有良好魯棒性的特征，提高了訓練集中樣本的多樣性。具體來說，構成正樣本的兩個圖像來自同一個文本，其中一個圖像用手機拍攝得到，另一個圖像通過其它方式獲得，比如用掃描儀掃描。兩個圖像之間在光照、視角、亮度以及分辨率等方面均具有明顯差異；構成負樣本的兩個圖像來自不同文本。

利用訓練好的孿生卷積神經網絡，可以提取任意文本圖像的特征。具體來說，將圖像輸入訓練好的孿生卷積神經網絡的任意一個分支中，以GhostNet 的最后一層輸出作為該圖像的特征。

基于所提取的圖像特征，利用歐式距離計算兩個圖像的相似度。

本發明的有益效果在于：

本發明所提出的基于孿生卷積神經網絡的手機拍攝文本圖像匹配方法對手機拍攝圖像存在的光照不均勻、視角變換以及失焦模糊等問題均具有良好的魯棒性。

附圖說明

圖1是本發明的流程圖；

圖2是本發明提出的孿生卷積神經網絡的結構圖；

圖3是本發明提出的利用訓練好的孿生卷積神經網絡提取圖像特征流程圖。

具體實施方式

結合以下具體實施例和附圖，對本發明作進一步的詳細說明。實施本發明的過程、條件、實驗方法等，除以下專門提及的內容之外，均為本領域的普遍知識和公知常識，本發明沒有特別限制內容。