[發(fā)明專利]基于無錨框和提議框的場景文字檢測方法

有效

• 申請?zhí)枺?/td>: 202110237052.0
• 申請日: 2021-03-03
• 公開（公告）號: CN112966690B
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計）人: 黃燃東;王方圓;徐波
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V10/80;G06V10/82;G06V10/26;G06V10/42;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于無錨框和提議框的場景文字檢測方法，其特征在于，該方法包括：

步驟S10，構(gòu)建場景文字檢測模型；所述場景文字檢測模型包括ResNet50主干網(wǎng)絡(luò)、升采樣和串聯(lián)操作模塊、無損失文字注意力機制模塊以及檢測輸出模塊；

步驟S20，通過所述ResNet50主干網(wǎng)絡(luò)進行場景文字待檢測區(qū)域的特征提取，獲得ResNet50主干網(wǎng)絡(luò)各層輸出的卷積特征集；所述場景文字待檢測區(qū)域為包含任意形狀的文字區(qū)域的圖像；

步驟S30，通過所述升采樣和串聯(lián)操作模塊進行所述卷積特征集中各卷積特征的高層至低層的特征遞歸融合，獲得卷積融合特征；

步驟S40，通過所述無損失文字注意力機制模塊將所述卷積特征集中的最高層卷積特征嵌入所述卷積融合特征，獲得LTAM卷積融合特征；

步驟S50，基于所述LTAM卷積融合特征，通過所述檢測輸出模塊的分類圖分支、矩形框分支和文字中心性分支分別獲取場景文字待檢測區(qū)域的文字與背景分類圖、文字區(qū)域外接水平方向矩形框三維張量表示和文字中心性圖；

步驟S60，基于所述文字與背景分類圖、文字區(qū)域外接水平方向矩形框三維張量表示和文字中心性圖進行冗余矩形框去除，將剩余矩形框投影到所述文字與背景分類圖上，以分割區(qū)域內(nèi)部最大面積輪廓的最小面積外接矩形的四個頂點作為多方向文字的檢測輸出結(jié)果或以分割區(qū)域內(nèi)部最大面積輪廓的頂點作為彎曲文字的檢測輸出結(jié)果；

所述檢測輸出模塊，其訓(xùn)練中的總損失為：

L_det＝L_s+λ_gL_g+L_cs

其中，L_det代表檢測輸出模塊的總損失，L_s代表檢測輸出模塊的分類圖分支的損失，L_g代表檢測輸出模塊的矩形框分支的損失，L_cs代表檢測輸出模塊的文字中心性分支的損失，λ_g代表衡量檢測輸出模塊的矩形框分支與分類圖分支、文字中心性分支的相對重要性的權(quán)重參數(shù)；

所述檢測輸出模塊的矩形框分支的損失，其表示為：

其中，表示矩形框分支預(yù)測的四個距離，R^*表示對應(yīng)的距離真值，表示和R^*交集矩形框的面積，表示和R^*并集矩形框的面積；

所述和R^*交集矩形框，其寬度w和高度h分別為：

其中，和分別表示從參考像素到文字區(qū)域外接水平方向矩形框的上邊界、右邊界、下邊界和左邊界的預(yù)測距離，和分別表示從參考像素到文字區(qū)域外接水平方向矩形框的上邊界、右邊界、下邊界和左邊界的距離真值，min代表求最小值操作；

所述和R^*并集矩形框的面積，其表示為：

所述檢測輸出模塊的文字中心性分支的損失，其表示為：

其中，表示預(yù)測的文字中心性圖，centerness^*表示文字中心性圖的真值；

所述文字中心性圖的真值centerness^*，其計算方法為：

其中，和分別表示從參考像素到文字區(qū)域外接水平方向矩形框的上邊界、右邊界、下邊界和左邊界的預(yù)測距離，min代表求最小值操作，max代表求最大值操作。

2.根據(jù)權(quán)利要求1所述的基于無錨框和提議框的場景文字檢測方法，其特征在于，所述升采樣和串聯(lián)操作模塊包括一個2倍的升采樣層、一個串聯(lián)高層卷積特征和低層卷積特征的串聯(lián)層、一個卷積核為1×1的卷積層和一個卷積和為3×3的卷積層。

3.根據(jù)權(quán)利要求1所述的基于無錨框和提議框的場景文字檢測方法，其特征在于，步驟S40包括：

步驟S41，通過所述無損失文字注意力機制模塊的一個卷積核為1×1、通道數(shù)為64的卷積層進行所述卷積特征集中的最高層卷積特征的卷積；

步驟S42，通過所述無損失文字注意力機制模塊的一個全局平均池化層進行卷積后的特征的全局平均池化；

步驟S43，將全局平均池化后的特征與所述卷積融合特征進行相乘操作，獲得LTAM卷積融合特征。

4.根據(jù)權(quán)利要求1所述的基于無錨框和提議框的場景文字檢測方法，其特征在于，所述檢測輸出模塊的分類圖分支的損失，其表示為：

其中，表示預(yù)測的分類圖，Y^*∈{1，０}表示分類圖的真值。