[發明專利]基于邊界預測的多方向文本區域檢測方法和裝置

有效

• 申請號: 202011295447.8
• 申請日: 2020-11-18
• 公開（公告）號: CN112580624B
• 公開（公告）日: 2023-08-04
• 發明（設計）人: 劉超;喻民;梁小霞;姜建國;劉超超;黃偉慶
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06V20/30
• 分類號: G06V20/30;G06V30/18;G06V30/24;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 李文清

1.一種基于邊界預測的多方向文本區域檢測方法，其特征在于，包括：

確定待測圖像；

將所述待測圖像輸入檢測模型，輸出所述待測圖像對應的文本分數圖、上邊界分數圖、下邊界分數圖、左邊界分數圖和右邊界分數圖；

其中，所述檢測模型是基于樣本文本圖像和對應的文本區域標注框標簽、上邊界標注框標簽、下邊界標注框標簽、左邊界標注框標簽和右邊界標注框標簽進行訓練得到的；

基于預設的文本分數閾值、上邊界分數閾值、下邊界分數閾值、左邊界分數閾值、右邊界分數閾值、所述文本分數圖、上邊界分數圖、下邊界分數圖、左邊界分數圖和右邊界分數圖確定待測圖像中的文本區域；

所述基于預設的文本分數閾值、上邊界分數閾值、下邊界分數閾值、左邊界分數閾值、右邊界分數閾值、所述文本分數圖、所述上邊界分數圖、所述下邊界分數圖、所述左邊界分數圖和所述右邊界分數圖確定待測圖像中的文本區域，具體包括：

基于預設的文本分數閾值、上邊界分數閾值、下邊界分數閾值、左邊界分數閾值、右邊界分數閾值、所述文本分數圖、所述上邊界分數圖、所述下邊界分數圖、所述左邊界分數圖和所述右邊界分數圖確定候選文本區域、候選左邊界區域、候選右邊界區域、候選上邊界區域和候選下邊界區域；

若任一候選文本區域中包含的候選左邊界區域或候選右邊界區域或候選上邊界區域或候選下邊界區域的個數至少有一個超過1，則將所述任一候選文本區域按照個數超過1的邊界區域進行分離確定待測圖像中的文本區域；

基于預設的文本分數閾值、上邊界分數閾值、下邊界分數閾值、左邊界分數閾值、右邊界分數閾值、所述文本分數圖、所述上邊界分數圖、所述下邊界分數圖、所述左邊界分數圖和所述右邊界分數圖確定候選文本區域、候選左邊界區域、候選右邊界區域、候選上邊界區域和候選下邊界區域，具體包括：

基于預設的文本分數閾值和所述文本分數圖確定有效文本像素，根據連通域算法確定所述有效文本像素構成的候選文本區域；

基于預設的上邊界分數閾值和所述上邊界分數圖確定有效上邊界像素，根據連通域算法確定所述有效上邊界像素構成的候選上邊界區域；

基于預設的下邊界分數閾值和所述下邊界分數圖確定有效下邊界像素，根據連通域算法確定所述有效下邊界像素構成的候選下邊界區域；

基于預設的左邊界分數閾值和所述左邊界分數圖確定有效左邊界像素，根據連通域算法確定所述有效左邊界像素構成的候選左邊界區域；

基于預設的右邊界分數閾值和所述右邊界分數圖確定有效右邊界像素，根據連通域算法確定所述有效右邊界像素構成的候選右邊界區域。

2.根據權利要求1所述的基于邊界預測的多方向文本區域檢測方法，其特征在于，還包括：所述檢測模型訓練時使用的神經網絡包括特征提取網絡、特征融合網絡和分數預測網絡；

所述特征提取網絡由兩個均含有兩個卷積層和一個池化層的局部網絡和三個均含三個卷積層和一個池化層的局部網絡依次連接構成；

所述特征提取網絡的5個局部網絡依次輸出樣本文本圖像的下采樣2倍特征圖、下采樣4倍特征圖、下采樣8倍特征圖、下采樣16倍特征圖和下采樣32倍特征圖。

3.根據權利要求2所述的基于邊界預測的多方向文本區域檢測方法，其特征在于，所述特征融合網絡由三個階段網絡依次連接組成，任一所述階段網絡以預設連接規則將一個反卷積層、一個融合層、一個標準化層、一個卷積層、一個標準化層和一個卷積層進行連接；

上述三個階段網絡按照預設規則進行特征圖融合后依次輸出特征融合后的下采樣8倍特征圖、下采樣16倍特征圖和下采樣32倍特征圖。

4.根據權利要求3所述的基于邊界預測的多方向文本區域檢測方法，其特征在于，所述特征融合網絡中的融合規則通過如下公式表示：

其中，f_i為所述特征提取網絡中的第i個局部網絡輸出的特征圖，u_i表示所述特征融合網絡中第i階段網絡的特征融合結果輸出，[a；b]表示將特征圖a和特征圖b沿著通道軸進行連接；UpSampling_×2表示上采樣2倍操作。