[發明專利]基于傅里葉級數編碼的任意形狀文本的檢測與矯正方法及應用

在審

• 申請號: 202211078512.0
• 申請日: 2022-09-05
• 公開（公告）號: CN115393879A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 汪增福;姜飛
• 申請（專利權）人: 中國科學院合肥物質科學研究院
• 主分類號: G06V30/412
• 分類號: G06V30/412;G06N3/04;G06N3/08;G06V10/764;G06V10/774;G06V10/82;G06V30/413
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于傅里葉級數編碼的任意形狀文本的檢測與矯正方法，其特征在于，包括以下步驟：

步驟1：構建訓練數據集，包括數據的獲取以及預處理：

步驟1.1：獲取文本圖像數據集記為I＝{I₁,I₂,...,I_p,...,I_u}，I_p表示文本圖像數據集I中第p張文本圖像，u表示文本圖像數據集I中文本圖像的總數目；

步驟1.2：提取第p張文本圖像I_p中的文本區域，得到相對應的文本區域邊界點集合記為并形成文本區域邊界，其中，表示第p張文本圖像I_p中文本區域的第q個邊界點坐標，l表示文本區域的邊界點數目；

步驟1.3：獲取第p張文本圖像I_p中文本區域tr_p的文本中心線區域tcrgt_p、文本頭部區域thrgt_p、文本尾部區域ttrgt_p、文本上下邊界區域tbrgt_p；從而得到文本圖像數據集I的文本中心線區域集合記為tcrgt＝{tcrgt₁,tcrgt₂,...,tcrgt_p,...tcrgt_u}；文本頭部區域集合記為thrgt＝{thrgt₁,thrgt₂,...,thrgt_p,...,thrgt_u}，文本尾部區域集合記為ttrgt＝{ttrgt₁,ttrgt₂,...,ttrgt_p,...ttrgt_u}，文本上下邊界區域集合記為tbr＝{tbrgt₁,tbrgt₂,...,tbrgt_p,...,tbrgt_u}；

步驟1.4：在極坐標系下對第p張文本圖像I_p進行建模，得到相對應的文本圖像從而得到極坐標系下的文本圖像集合為

步驟1.5：獲取第p張文本圖像內文本區域的中心點(x_p,y_p)，且以文本區域的中心點(x_p,y_p)為發射點，按照相同的角度間隔發射k條射線，并與所述文本區域邊界相交，得到文本區域中心點到文本區域邊界點之間的距離集合記為其中，表示第p張文本圖像內文本區域的中心點(x_p,y_p)到文本區域的第s個邊界點間的距離，從而得到文本圖像集合的距離集合記為reggt＝{reggt₁,reggt₂,...,reggt_p,...,reggt_u}；

步驟2：構建任意形狀文本檢測網絡，包括：特征提取器、編碼器和解碼器；并將所述的文本圖像集合輸入所述任意形狀文本檢測網絡中；

步驟2.1所述特征提取器由ResNet50網絡，反卷積網絡和特征金字塔網絡組成；

所述第p張文本圖像依次經過RestNet50網絡、反卷積網絡和特征金字塔網絡后輸出第p個特征圖result_p；從而由特征提取網絡輸出文本圖像集合的特征圖集合result＝{result₁,result₂,...,result_p,...,result_u}；

步驟2.2所述編碼器，包括：分類編碼器和回歸編碼器；其中，所述分類編碼器由r個卷積核為e×e的二維卷積層和r個ReLU非線性激活層交替連接而成；所述回歸編碼器由v個卷積核為c×c的二維卷積層和v個ReLU非線性激活層交替連接而成；

所述特征圖result_p經過分類編碼器的處理后，輸出第p個分類特征圖cls_p；

所述特征圖result_p經過回歸編碼器的處理后，輸出第p個回歸特征圖reg_p；

步驟2.3所述解碼器，包括：分類解碼器和回歸解碼器；其中，所述分類解碼器依次由1個卷積核為f×f的二維卷積層，1個softmax函數組成；所述回歸解碼器依次由1個卷積核為w×w的二維卷積層，1個反傅里葉變換函數組成；

所述第p個分類特征圖cls_p經過分類解碼器的處理后，輸出預測的第p個文本中心線區域tcrpred_p，預測的第p個文本頭部區域thrpred_p、預測的第p個文本尾部區域ttrpred_p、預測的第p個文本上下邊界區域tbrpred_p；從而由分類解碼器輸出文本圖像集合預測的文本中心線區域集合tcrpred＝{tcrpred₁,tcrpred₂,...,tcrpred_p,...,tcrpred_u}，預測的文本頭部區域集合thrpred＝{thrpred₁,thrpred₂,...,thrpred_p,...,thrpred_u}，預測的文本尾部區域集合ttrpred＝{ttrpred₁,ttrpred₂,...,ttrpred_p,...,ttrpred_u}，預測的文本上下邊界區域集合tbrpred＝{tbrpred₁,tbrpred₂,...,tbrpred_p,...,tbrpred_u}；

所述第p個回歸特征圖reg_p經過回歸解碼器的處理后，輸出預測的第p個距離集合其中，表示由任意形狀文本檢測網絡預測的第p張文本圖像內文本區域中心點(x_p,y_p)到文本區域的第g個邊界點的距離；從而由回歸解碼器輸出文本圖像集合預測的距離集合記為：

regpred＝{regpred₁,regpred₂,...,regpred_p,...,regpred_u}；

步驟2.4使用式(1)建立反向傳播的損失函數L：

L＝L_tcr+L_thr+L_ttr+L_tbr+L_reg (1)

式(1)中，L_tcr，L_thr，L_ttr，L_tbr均為交叉熵損失，并分別由式(2)，式(3)，式(4)，式(5)得到；

式(1)中，L_reg是smoothl1損失，并由式(6)得到；

步驟2.5：基于所述文本圖像集合利用梯度下降法對任意形狀文本檢測網絡進行訓練，并計算損失函數L，當訓練迭代次數達到設定的次數或者損失誤差小于設定的閾值時，訓練停止，從而得到最優的任意形狀文本檢測網絡；

步驟3：檢測結果后處理，包括：雙線性插值矯正處理；

步驟3.1利用最優的任意形狀文本檢測網絡對文本圖像數據集合進行處理并輸出相應的文本區域邊界集合記為txt＝{txt₁,txt₂,...,txt_p,...,txt_u}，其中，txt_p表示第p張文本圖像中的文本區域邊界；

步驟3.2利用雙線性插值對所述文本區域邊界集合txt進行矯正處理后，得到矯正后的文本集合記為txt′＝{txt₁′,txt′₂,...,txt′_p,...,txt′_u}；其中，txt′_p表示p張文本圖像中的矯正后的文本區域邊界。