[發明專利]店鋪招牌識別方法及裝置、存儲介質和計算機設備

在審

• 申請號: 202011639439.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112733830A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 毛小明;陳新澤;姬東飛;包敏豪;黃冠;都大龍
• 申請（專利權）人: 上海芯翌智能科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/46;G06K9/62;G06F40/194
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍

1.一種店鋪招牌識別方法，其特征在于，所述方法包括：

獲取目標圖片，所述目標圖片通過對待識別招牌進行圖像采集得到；

對所述目標圖片進行文本區域檢測，以得到所述待識別招牌中包含的一個或多個文本區域；

對各個文本區域進行文本識別，以得到各個文本區域的文本內容；

將所述待識別招牌的所有文本內容與招牌信息庫中存儲的招牌信息相匹配，并輸出匹配結果。

2.根據權利要求1所述的方法，其特征在于，所述對所述目標圖片進行文本區域檢測，以得到所述待識別招牌中包含的一個或多個文本區域，包括：

提取所述目標圖片的具有不同分辨率的若干個第一特征圖；

對所述若干個第一特征圖進行特征增強，并將若干個增強的第一特征圖進行特征融合，得到第二特征圖；

根據所述第二特征圖得到所述待識別招牌中包含的一個或多個文本區域。

3.根據權利要求2所述的方法，其特征在于，所述將若干個增強的第一特征圖進行特征融合，得到第二特征圖，還包括：

對若干個增強的第一特征圖分別卷積，以得到各個增強的第一特征圖對應的第三特征圖；

經雙線性差值處理將各個第三特征圖放大/縮小到相同的分辨率，并對放大/縮小后的若干個第三特征圖進行特征融合，得到所述第二特征圖。

4.根據權利要求2或3所述的方法，其特征在于，所述根據所述第二特征圖得到所述待識別招牌中包含的一個或多個文本區域，包括：

將所述第二特征圖分別進行多次卷積處理，在所述第二特征圖中標注所述文本區域、所述文本區域的核以及所述文本區域的相似向量；

結合所述第二特征圖中標注的文本區域、核和相似向量，從所述第二特征圖中分割出一個或多個所述文本區域。

5.根據權利要求1所述的方法，其特征在于，所述對各個文本區域進行文本識別，以得到各個文本區域的文本內容，包括：

針對每一文本區域，通過特征提取網絡提取該文本區域的若干個不同分辨率的文本特征圖；

將若干個所述文本特征圖經卷積對準模塊，得到各個文本特征圖的注意力權重矩陣；

根據各個文本特征圖及其注意力權重矩陣，得到待識別招牌中包含的文本對應的特征注意力結果；

使用解碼器對所述特征注意力結果進行解碼，以得到該文本區域的文本內容。

6.根據權利要求5所述的方法，其特征在于，所述根據各個文本特征圖及其注意力權重矩陣，得到待識別招牌中包含的文本對應的特征注意力結果，包括：

計算各個文本特征圖與其注意力權重矩陣之間的點積之和，所述和為所述特征注意力結果。

7.根據權利要求5或6所述的方法，其特征在于，所述文本內容包括若干個字符，所述解碼器在解碼過程中，將當前字符的前一字符的解碼結果引入所述當前字符的解碼過程中。

8.根據權利要求1所述的方法，其特征在于，所述招牌信息庫中還存儲各個招牌信息對應的位置信息，所述方法還包括：

獲取所述待識別招牌的地理位置信息；

結合所述待識別招牌的地理位置信息，將所述待識別招牌的所有文本內容與招牌信息庫中存儲的招牌信息相匹配。

9.根據權利要求8所述的方法，其特征在于，所述將所述待識別招牌的所有文本內容與招牌信息庫中存儲的招牌信息相匹配，包括：

若匹配不成功，則將所述待識別招牌的所有文本內容作為新增招牌信息存入所述招牌信息庫，并將所述待識別招牌的位置信息對應存入所述招牌信息庫。