[發明專利]一種基于深度學習的路牌文本檢測與識別算法

在審

• 申請號: 202010463634.6
• 申請日: 2020-05-27
• 公開（公告）號: CN111738255A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 王卓曜;金城;葛國勝
• 申請（專利權）人: 復旦大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 王潔平

本發明公開了一種基于深度學習的路牌文本檢測與識別算法。本算法分為文本區域檢測階段和文本識別兩階段。文本區域檢測階段將文本區域檢測作為實例分割問題，采用改進的VGG網絡進行特征提取，經特征融合獲取實例分割結果，然后基于分割結果再處理得到文本區域；文本識別階段，將文本區域檢測階段的結果作為輸入，經卷積階段、循環階段和轉錄階段識別文本，卷積階段利用卷積神經網絡提取圖像的特征圖，循環階段利用雙向LSTM預測特征圖中的特征序列，轉錄階段整合循環階段預測的文本并翻譯成文本識別結果；最后進一步處理得到最終的文本識別結果。該算法能夠很好的處理自然場景下的路牌圖像，在公開數據集上取得了較好的結果。

技術領域

本發明屬于計算機視覺技術領域，具體涉及一種基于深度學習的路牌文本檢測與識別 算法。

背景技術

路牌作為道路信息的載體和生活中常見的標識，對汽車駕駛員來說至關重要。現代化 城市的飛速發展使得各種不同類型的道路數量大幅上升，各種帶有文字信息的路牌也越來 越多。隨著科技進步，有著廣闊前景的智能交通系統應運而生，路牌文本檢測與識別是智 能交通系統的重要一環。一個效果好的路牌文本檢測與識別方法可以幫助汽車駕駛員提前 關注路況信息，這樣可以大大提高交通運輸效率，降低交通事故的發生率。

深度學習作為人工智能領域一個重要的分支和研究熱點，最近越來越多地受到學者和 研究人員們的青睞，深度學習技術在計算機視覺、自然語言處理、語音識別和跨模態等領 域已經有了突破性的進展。

自然場景中的文本檢測與文本識別作為計算機視覺領域的重要子問題，近些年來得到 了廣泛地發展。目前大多數自然場景下的文本檢測和文本識別方法都是基于深度學習技術 的，但是針對路牌文本檢測與識別的研究卻不多，并且也缺乏公開數據集。有學者和研究 人員提出了一些多階段的方法，該類方法首先使用顏色空間轉換和閾值法等算法提取路牌 區域，然后經過二值化算法提取路牌中的文本區域。但是這些方法只能處理簡單場景下的 路牌圖像，比如路牌顏色單一或者光照條件良好的情況，在面對復雜自然場景下的路牌圖 像時效果不佳。另外，多階段的處理過程會使整個流程變得繁瑣，并且每個階段的結果高 度依賴與前一階段的處理結果，最終結果的穩定性也較差。

發明內容

針對以上問題，本發明提出了一種基于深度學習的路牌文本檢測與識別算法，該算法 不對路牌區域進行提取而是直接對輸入圖像進行路牌文本檢測，然后再對檢測到的文本區 域進行文本識別。該算法能夠很好的處理自然場景下的路牌圖像，提升了路牌文本檢測與 識別的性能。

本發明的技術方案具體介紹如下。

本發明提供一種基于深度學習的路牌文本檢測與識別算法，其分為兩個處理階段： 文本區域檢測階段和文本識別階段；其中：

文本區域檢測階段，首先將文本區域檢測作為一個實例分割問題來解決，一個文本區 域就是一個文本實例，利用改進的VGG16網絡提取輸入圖像的圖像特征，然后將提取的 圖像特征經過多個步驟的特征融合得到實例分割結果，最后對分割結果進行處理得到檢測 的文本區域；

文本識別階段，首先將文本區域檢測階段的結果作為輸入，經過文本識別網絡獲取文 本識別結果，然后再基于規則對文本識別的結果進行過濾，得到最終的文本識別結果；所 述文本識別網絡由三個子階段組成，分別是卷積階段、循環階段和轉錄階段，卷積階段利 用卷積神經網絡CNN來提取輸入圖像的特征序列，循環階段利用雙向LSTM網絡根據特征序列預測文本概率分布，轉錄階段對文本概率分布進行整合并翻譯成文本識別結果。

優選的，文本區域檢測階段中，特征融合包括上采樣和融合兩個過程，上采樣過程采 用雙線性插值的方式，融合過程采用加和的方式；在特征融合之后輸出實例分割結果，實 例分割結果包括文本/非文本預測結果和連接關系預測結果。

優選的，文本區域檢測階段中，對分割結果進行處理得到檢測的文本區域的具體步驟 如下：