[發明專利]店鋪招牌識別方法及裝置、存儲介質和計算機設備

在審

• 申請號: 202011639439.0
• 申請日: 2020-12-31
• 公開（公告）號: CN112733830A
• 公開（公告）日: 2021-04-30
• 發明（設計）人: 毛小明;陳新澤;姬東飛;包敏豪;黃冠;都大龍
• 申請（專利權）人: 上海芯翌智能科技有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/32;G06K9/46;G06K9/62;G06F40/194
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張振軍

一種店鋪招牌識別方法及裝置、存儲介質和計算機設備，所述方法包括：獲取目標圖片，所述目標圖片通過對待識別招牌進行圖像采集得到；對所述目標圖片進行文本區域檢測，以得到所述待識別招牌中包含的一個或多個文本區域；對各個文本區域進行文本識別，以得到各個文本區域的文本內容；將所述待識別招牌的所有文本內容與招牌信息庫中存儲的招牌信息相匹配，并輸出匹配結果。由此，能夠提高對店鋪招牌識別的效果。

技術領域

本發明涉及計算機技術領域，具體地涉及一種店鋪招牌識別方法及裝置、存儲介質和計算機設備。

背景技術

自然場景圖像的文本檢測識別作為機器理解圖像的關鍵步驟，具有重要的現實意義和應用價值，廣泛應用于機器翻譯、助盲導航、自動駕駛等領域。

傳統地對招牌進行檢測時，傳統的方法是采用字符分割方法將招牌中的各個文字分割出來，再進行單字符識別。然而該方法主要適用一些背景簡單的場景，比如對單據的內容識別等。在針對招牌對應的自然場景時，由于圖片中的背景等噪聲影響，使得字符分割難度加大，導致招牌識別的效果較差。

由此，亟需一種店鋪招牌方法以提高招牌識別的效果。

發明內容

本發明解決的技術問題是如何提高店鋪招牌識別的效果。

為解決上述技術問題，本發明實施例提供一種店鋪招牌識別方法，所述方法包括：獲取目標圖片，所述目標圖片通過對待識別招牌進行圖像采集得到；對所述目標圖片進行文本區域檢測，以得到所述待識別招牌中包含的一個或多個文本區域；對各個文本區域進行文本識別，以得到各個文本區域的文本內容；將所述待識別招牌的所有文本內容與招牌信息庫中存儲的招牌信息相匹配，并輸出匹配結果。

可選的，所述對所述目標圖片進行文本區域檢測，以得到所述待識別招牌中包含的一個或多個文本區域，包括：提取所述目標圖片的具有不同分辨率的若干個第一特征圖；對所述若干個第一特征圖進行特征增強，并將若干個增強的第一特征圖進行特征融合，得到第二特征圖；根據所述第二特征圖得到所述待識別招牌中包含的一個或多個文本區域。

可選的，所述將若干個增強的第一特征圖進行特征融合，得到第二特征圖，還包括：對若干個增強的第一特征圖分別卷積，以得到各個增強的第一特征圖對應的第三特征圖；經雙線性差值處理將各個第三特征圖放大/縮小到相同的分辨率，并對放大/縮小后的若干個第三特征圖進行特征融合，得到所述第二特征圖。

可選的，所述根據所述第二特征圖得到所述待識別招牌中包含的一個或多個文本區域，包括：將所述第二特征圖分別進行多次卷積處理，在所述第二特征圖中標注所述文本區域、所述文本區域的核以及所述文本區域的相似向量；結合所述第二特征圖中標注的文本區域、核和相似向量，從所述第二特征圖中分割出一個或多個所述文本區域。

可選的，所述對各個文本區域進行文本識別，以得到各個文本區域的文本內容，包括：針對每一文本區域，通過特征提取網絡提取該文本區域的若干個不同分辨率的文本特征圖；將若干個所述文本特征圖經卷積對準模塊，得到各個文本特征圖的注意力權重矩陣；根據各個文本特征圖及其注意力權重矩陣，得到待識別招牌中包含的文本對應的特征注意力結果；使用解碼器對所述特征注意力結果進行解碼，以得到該文本區域的文本內容。

可選的，所述根據各個文本特征圖及其注意力權重矩陣，得到待識別招牌中包含的文本對應的特征注意力結果，包括：計算各個文本特征圖與其注意力權重矩陣之間的點積之和，所述和為所述特征注意力結果。

可選的，所述文本內容包括若干個字符，所述解碼器在解碼過程中，將當前字符的前一字符的解碼結果引入所述當前字符的解碼過程中。

可選的，所述招牌信息庫中還存儲各個招牌信息對應的位置信息，所述方法還包括：獲取所述待識別招牌的地理位置信息；結合所述待識別招牌的地理位置信息，將所述待識別招牌的所有文本內容與招牌信息庫中存儲的招牌信息相匹配。