[發明專利]基于字符分割的多方向自然場景文本檢測方法

有效

• 申請號: 202010579227.1
• 申請日: 2020-06-23
• 公開（公告）號: CN111753714B
• 公開（公告）日: 2023-09-01
• 發明（設計）人: 劉姝;鄒北驥;楊文君;姜靈子
• 申請（專利權）人: 中南大學
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V30/148;G06V30/19;G06V10/82;G06N3/0464;G06N3/0442;G06N3/049
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

1.一種基于字符分割的多方向自然場景文本檢測方法，包括如下步驟：

S1.獲取訓練數據集，并對訓練數據集進行標定；

S2.建立基于字符分割的多方向自然場景文本檢測初步模型；所述基于字符分割的多方向自然場景文本檢測初步模型為金字塔網絡框架+雙向長短期記憶網絡的檢測模型；具體為金字塔網絡框架的第一階段到第五階段的卷積層為ResNet50網絡，在每一個階段均設置一個上采樣操作；同時在金字塔網絡后，再連接一個雙向長短期記憶網絡；

S3.用步驟S1標定的訓練數據對步驟S2建立的基于字符分割的多方向自然場景文本檢測初步模型進行訓練，從而得到基于字符分割的多方向自然場景文本檢測模型；具體為采用如下步驟進行訓練并得到檢測模型：

A.將訓練數據中的原始圖像分為RGB三個通道，并輸入到金字塔網絡框架中；

B.將原始圖像輸入到第一卷積層后得到第一卷積結果；將第一卷積結果輸入到第二卷積層得到第二卷積結果；將第二卷積結果輸入到第三卷積層得到第三卷積結果；將第三卷積結果輸入到第四卷積層得到第四卷積結果；將第四卷積結果輸入到第五卷積層得到第五卷積結果；

C.將第五卷積結果與第五卷積結果自身按位相加后，再進行一次上采樣得到第五卷積圖像；將第五卷積圖像與第四卷積結果按位相加后，再進行一次上采樣得到第四卷積圖像；將第四卷積圖像與第三卷積結果按位相加后，再進行一次上采樣得到第三卷積圖像；將第三卷積圖像與第二卷積結果按位相加后，再進行一次上采樣得到第二卷積圖像；

D.將步驟C得到的第二卷積圖像輸入到全連接層中，經過實例平衡交叉熵損失函數后，得到文字字符實例預測概率圖；

E.將步驟C得到的第二卷積圖像輸入到雙向長短期記憶網絡中，再經過連接損失函數后，得到字符間親和度的特征圖；

F.將步驟E得到的字符間親和度的特征圖和步驟D得到的文字字符實例預測概率圖相加，得到文本行預測概率圖；

G.將步驟F中得到的文本行預測概率圖中，概率大于設定值的區域設定為文本行，并輸出最終的預測結果，從而得到基于字符分割的多方向自然場景文本檢測模型；

S4.采用步驟S3得到的基于字符分割的多方向自然場景文本檢測模型，對自然場景的文本進行檢測。

2.根據權利要求1所述的基于字符分割的多方向自然場景文本檢測方法，其特征在于步驟S1所述的獲取訓練數據集，并對訓練數據集進行標定，具體為在公共數據集ICDAR2013與ICDAR2015上進行標定；標定字符和字符間的親和度；在各字符中心的中點為字符間親和度的中點，寬高分別為兩字符寬高之和的一半。

3.根據權利要求1所述的基于字符分割的多方向自然場景文本檢測方法，其特征在于步驟D所述的實例平衡交叉熵損失函數，具體為采用如下算式作為實例平衡交叉熵損失函數：

L_class＝L_{cross-entropy}

式中L_{cross-entropy}為交叉熵損失。

4.根據權利要求3所述的基于字符分割的多方向自然場景文本檢測方法，其特征在于步驟E所述的連接損失函數，具體為采用如下算式作為連接損失函數：

式中為標定的置信度；S_P為預測的置信度；R(c)表示標定的字符c所在的區域；P表示當前像素。

5.根據權利要求4所述的基于字符分割的多方向自然場景文本檢測方法，其特征在于步驟S3所述的訓練，具體為模型預訓練時，初始學習率為3×10^-5，并且每2萬次迭代學習率下降0.6×10^-5，批處理大小設置為128，所有的訓練圖片均歸一化為768×768大小；模型在訓練5萬步后，再進行真實場景數據進行訓練和微調。