[發明專利]一種基于關聯性層級殘差的多實例自然場景文本檢測方法

有效

• 申請號: 202010464099.6
• 申請日: 2020-05-27
• 公開（公告）號: CN111723798B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 田智強;王春暉;杜少毅;蘭旭光
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/22;G06V10/80;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

1.基于關聯性層級殘差的多實例自然場景文本檢測方法，其特征在于，包括以下步驟：

步驟一，采用基于關聯性層級殘差的特征提取網絡對原始輸入圖像進行特征提取，從而得到從低級到高級的包含豐富文本信息的不同尺度特征圖；其中，關聯性層級殘差為，Conv2-Conv5構成為1×1卷積、3×3卷積組和1×1卷積，并附帶殘差連接以便簡化深度神經網絡的學習目標和難度，其中3×3卷積組是實現細粒度特征提取的關鍵，它首先將1x1卷積生成的特征圖沿通道維度平均分為4個子特征圖，第1個子特征圖x₁直接被輸出作為y₁；之后的每個子特征圖x_i在經過一個3×3卷積操作K_i后才得到輸出y_i；而且從第3個子特征圖開始，x_i會加上前一個子特征圖的輸出y_i-1，然后再進行3×3卷積操作；最后將4個子特征圖的輸出沿通道維度合并即得到總輸出y；

步驟二，對步驟一中提取的不同尺度特征圖進行反向逐級特征融合，從而得到多尺度融合特征圖；

步驟三，對步驟二輸出的多尺度融合特征圖采用特征映射進行文本區域檢測，輸出一個像素級的文本分數特征圖以及一個文本區域幾何特征圖，以此可以表征候選預測文本區域；

步驟四，對步驟三中生成的所有候選預測文本區域，根據每個候選預測文本區域的分數先預先進行簡單的篩選和剔除，分數閾值設定為0.5；

步驟五，使用局部感知非極大值抑制算法對步驟四剩余候選預測文本區域進行合并和篩選，從而得到準預測文本區域；

步驟六，對步驟五得到的所有準預測文本區域計算其區域平均分數，對區域平均分數低于閾值為0.1的區域進行剔除，從而得到最終的預測文本區域，及檢測結果；

并且包含一個訓練過程，使用若干公開的常用文本檢測數據集對應用了步驟一至步驟五多實例自然場景文本檢測模型進行訓練；

訓練過程中使用反向傳播，不斷更新模型參數，直到損失收斂，保存模型的參數；

步驟七，使用步驟六中保存的模型參數和結構構成多實例自然場景文本檢測模型。

2.根據權利要求1所述的基于關聯性層級殘差的多實例自然場景文本檢測方法，其特征在于，步驟一中，基于關聯性層級殘差的特征提取網絡基于ResNet-50的骨干網絡引入了關聯性層級殘差結構，這樣能夠提取粗粒度與細粒度相結合的精確且完備的多尺度文本特征，在特征提取環節，原始輸入圖像通過5個卷積層Conv1-Conv5逐步獲取了從低級到高級的不同尺度的粗粒度特征信息，經過每個卷積層之后的特征圖尺寸依次變為原圖的1/2、1/4、1/8、1/16和1/32；另外Conv2-Conv5中引入了關聯性層級殘差結構用于相鄰不同尺度特征圖之間的細粒度特征提取；這樣提取過程中生成的不同尺度特征圖f1、f2、f3、f4就同時包含了粗粒度與細粒度相結合的多尺度特征信息。

3.根據權利要求1所述的基于關聯性層級殘差的多實例自然場景文本檢測方法，其特征在于，步驟二中，反向逐級特征融合從Conv5生成的特征圖f₁開始，先對f₁進行上采樣并輸出尺寸為原特征圖2倍的特征圖，這樣輸出后的特征圖尺寸和Conv4生成的特征圖f₂一致，可以直接沿通道維度將兩者進行合并；另外在特征圖合并之后，還附加了1×1，3×3的兩個卷積操作用于降低通道維度和減少參數計算量；這樣按此方式依次進行，最終不同尺度的特征圖f₁、f₂、f₃和f₄逐級融合完成，融合后的特征圖尺寸為1/4原始輸入圖像大小；此外還添加了一個3×3的卷積層來生成最終的多尺度特征融合圖。

4.根據權利要求1所述的基于關聯性層級殘差的多實例自然場景文本檢測方法，其特征在于，步驟三中，對多尺度特征融合圖進行特征映射采用的是1×1卷積操作；然后輸出的像素級的文本分數特征圖以及文本區域幾何特征圖分別表示特征圖中每個像素點是否在文本區域內，以及每個像素點到所屬文本區域的邊界距離和像素點所屬文本區域傾斜角度，以此可以表征候選預測文本區域。