[發明專利]一種基于Faster Rcnn的自然場景圖像中的文本檢測方法

有效

• 申請號: 201811468492.1
• 申請日: 2018-12-03
• 公開（公告）號: CN109711401B
• 公開（公告）日: 2023-05-26
• 發明（設計）人: 李衛軍;沈偉生
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/774;G06V10/82;G06N3/044
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

本發明公開了一種基于Faster?Rcnn的自然場景圖像中的文本檢測方法，應用于計算機視覺領域中的文本檢測方向，這種方法包括將訓練集首先進行進行縮放處理；再將縮放處理后的圖像輸入到特征金字塔網絡中進行處理并將其輸出結果輸入到RPN中選取文本目標候選區域，同時增加網絡模型SSN用于選取候選區域；將兩者候選區域進行合成，并將合成結果輸入到Fast網絡中得到目標候選區域框。這種方法使得文本目標的位置更準確，語義信息更加豐富，并且算法的精確率和召回率也得到大大提高。

技術領域

本發明涉及計算機視覺領域，更具體地，涉及一種基于Faster?Rcnn的自然場景圖像中的文本檢測方法。

背景技術

文本檢測技術是文本識別的一個核心的前端模塊，文本檢測技術的水平直接影響著后續的文本識別效果的好壞。自然場景圖像是我們現實所處的生活環境，圖像中存在著大量的文本信息，這些信息可以作為為場景理解提供有價值的幫助，因此研究一種全自動文本檢測技術，對場景圖像的檢索，分析及場景理解具有重要的意義。但是自然場景圖像的分辨率以及其中的不均勻光照，遮擋，模糊，透視變換等客觀因素使得自然場景圖像中的文本檢測問題變得極為困難，高效的文本檢測具有很大挑戰。

現有技術中存在的Faster?Rcnn的文本檢測方法，其得到文本目標的框候選框(Proposals)是由RPN在特征網絡最后一層Feature?maps上進行操作的。最后一層特征圖Feature?maps特征語義信息比較豐富，但是目標位置比較粗略，往往會將小文本目標忽略，因此無法將自然場景圖像中所有文本目標的Proposals找出，導致該方法精確率和召回率低的結果。雖然可以通過RPN來尋找文本目標的候選框Proposals，但是還是受RPN中參數的影響，每給一組參數，找尋到的Proposals也有所不同。

發明內容

本發明為克服上述現有技術所述的找尋的目標位置比較粗略，無法將所有文本目標的候選框Proposals找出的缺陷，提供一種基于Faster?Rcnn的自然場景圖像中的文本檢測方法。

為解決上述技術問題，本發明的技術方案如下：

一種基于Faster?Rcnn的自然場景圖像中的文本檢測方法，包括以下步驟：

S1：從數據集中分別選取訓練集、驗證集以及測試集。

S2：將訓練集中的圖像輸入到預訓練的網絡模型中進行縮放處理。

S3：將縮放處理后的圖像輸入到特征金字塔網絡FPN中進行處理，并將預訓練的網絡模型的第一層輸出輸入到預訓練的網絡模型SSN中進行處理。

S4：將FPN的輸出結果輸入到RPN中選取文本目標候選區域，并將其與SSN中選取的候選區域進行合成，并將合成結果輸入到Fast網絡中。

S5：從Fast網絡中輸出最終的結果得到文本中目標候選區域框。

S6：步驟S1到S5進行迭代直至訓練次數達到預設的迭代次數結束訓練。

優選地，步驟S2的具體步驟為：將訓練圖像輸入到預訓練的網絡模型中，依次經過P1、P2、P3，其中P1表示將特征圖縮放N1倍，P2表示將特征圖縮放N2倍，P3表示將特征圖縮放N3倍，其中N1N2N3。

優選地，所述N1為4，N2為16，N3為64。

優選地，步驟S3中的將縮放處理后的圖像輸入到特征金字塔網絡FPN中具體步驟為：

S31：FPN中包括P4、P5、P6，其中P3的輸出特征圖作為P4的特征圖。

S32：對P4特征圖進行上采樣操作，并采用1*1的卷積對P2的輸出特征圖進行降維處理，將經過上采樣的特征圖與降維處理后的特征圖相加作為P5的特征圖。