[發明專利]自然場景文字識別方法及裝置

有效

• 申請號: 201811272122.0
• 申請日: 2018-10-30
• 公開（公告）號: CN109522900B
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 鞠海玲;張默
• 申請（專利權）人: 北京陌上花科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06K9/62
• 代理公司: 北京卓唐知識產權代理有限公司 11541
• 代理人: 唐海力;李志剛

本申請公開了一種自然場景文字識別方法及裝置。該方法包括：將獲取的自然場景圖輸入實例分割網絡得到掩碼圖和像素圖；根據所述掩碼圖確定空間變換網絡的控制參數；通過設置所述控制參數的空間變換網絡將所述像素圖變換成糾形圖；以及，采用文字識別網絡識別出所述糾形圖中的文字序列。該裝置包括：輸入單元、確定單元、變換單元及識別單元。本申請解決了由于自然場景圖中文字以外的信息會干擾變換效果造成的文字序列識別準確率低的技術問題。

技術領域

本申請涉及圖像識別技術領域，具體而言，涉及一種自然場景文字識別方法及裝置。

背景技術

在當前的科技發展潮流下，借助圖像識別文字的技術較為常見。主要可以分為光學文字識別、自然場景中的文字識別等。

光學文字識別(OCR)主要面向高清的文檔圖像，此類技術假設輸入圖像背景干凈、字體簡單且文字排布整齊。在符合此前提要求的情況下，訓練好的網絡模型能夠達到很高的識別準確率，并且訓練過程較快。

自然場景中的文字識別(STR)主要面向包含文字的自然場景圖像，此類技術假設圖像背景復雜、字體多樣、存在文字區域變形等情況。為了從此類圖像中識別文字，當前流行使用基于深度學習網絡的技術方法。為了保證所訓練網絡模型的健壯性，訓練數據集中需要大量在各種拍攝角度下采集的變形文字圖像，這就間接地導致圖像標注工作量很大、并且網絡模型訓練周期很長。

目前的自然場景文字識別方法中，通常涉及文字檢測和文字識別兩個模塊。其中，文字檢測模塊負責在原始圖像中找到文字區域，文字識別模塊負責從文字區域中識別出文字序列。在某些文字識別方法中，還在文字檢測和文字識別兩個模塊中間加入空間變換的模塊，該模塊負責將檢測出的文字區域進行變換，圖像被變換后才可以送入識別模塊。如果文字區域經過變換后其文字變形程度變小，識別模塊中可以更容易得到準確的文字序列識別結果。如果圖像變換模塊達成預期變換效果，訓練集中需要的變形文字圖像數量以及對應標注工作量將可以變少，文字識別模塊的訓練周期也可以變短。

在包含圖像變換模塊的自然場景文字識別方法中，往往先要在原始文字區域特征圖上計算出變換模塊的控制參數，然后根據控制參數在文字區域特征圖上采樣計算出新文字區域特征圖。由于原始文字區域特征圖中還包含文字塊背景信息、以及文字筆畫分解等豐富信息，這類信息能一定程度上干擾圖像變換模塊找到合適的控制參數，從而難以輸出變形程度較低的文字區域特征圖，進而導致不理想的文字序列識別結果。

針對相關技術中自然場景圖中文字以外的信息會干擾變換效果造成的文字序列識別準確率低的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種自然場景文字識別方法及裝置，以解決自然場景圖中文字以外的信息會干擾變換效果造成的文字序列識別準確率低的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種自然場景文字識別方法。

根據本申請的自然場景文字識別方法包括：將獲取的自然場景圖輸入實例分割網絡得到掩碼圖和像素圖；根據所述掩碼圖確定空間變換網絡的控制參數；通過設置所述控制參數的空間變換網絡將所述像素圖變換成糾形圖；以及，采用文字識別網絡識別出所述糾形圖中的文字序列。

進一步的，將獲取的自然場景圖輸入實例分割網絡得到掩碼圖和像素圖包括：獲取自然場景圖；實例分割網絡檢測得到讀入的所述自然場景圖的文本行實例的位置，并輸出掩碼圖；根據所述文本行實例的位置計算出矩形邊界框；裁減出所述矩形邊界框作為所述像素圖。

進一步的，根據所述掩碼圖確定空間變換網絡的控制參數包括：空間變換網絡接收所述掩碼圖，并預測出文本行實例的關鍵點列表；根據關鍵點列表計算所述空間變換網絡的控制參數。