[發(fā)明專利]一種用于文字檢測(cè)的神經(jīng)網(wǎng)絡(luò)模型及其文字檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111050408.6
• 申請(qǐng)日: 2021-09-08
• 公開(kāi)（公告）號(hào): CN113762476A
• 公開(kāi)（公告）日: 2021-12-07
• 發(fā)明（設(shè)計(jì)）人: 周沖浩;曾山華;巫浩;薛利
• 申請(qǐng)（專利權(quán)）人: 中科院成都信息技術(shù)股份有限公司
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06K9/32;G06K9/62
• 代理公司: 深圳市科進(jìn)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44316
• 代理人: 曹衛(wèi)良

1.一種用于文字檢測(cè)的神經(jīng)網(wǎng)絡(luò)模型，包括輸入原圖的特征提取網(wǎng)絡(luò)和輸出預(yù)測(cè)結(jié)果的特征融合網(wǎng)絡(luò)；其特征在于，所述特征提取網(wǎng)絡(luò)采用卷積層為5個(gè)階段的殘差網(wǎng)絡(luò)結(jié)構(gòu)；

所述殘差網(wǎng)絡(luò)結(jié)構(gòu)的階段1以原圖作為輸入，輸出二分之一原圖大小的第一提取特征圖；階段2至5依次以前一階段輸出的特征圖為輸入，并依次按照原圖大小的四分之一、八分之一、十六分之一和十六分之一輸出第二至第五提取特征圖：

所述殘差網(wǎng)絡(luò)結(jié)構(gòu)的階段5采用空洞卷積進(jìn)行特征提取；還包括一個(gè)密集連接型金字塔池化模塊，對(duì)所述第五提取特征圖采用進(jìn)行由不同擴(kuò)張率的空洞卷積采樣處理，輸出第五融合特征圖。

2.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述特征融合網(wǎng)絡(luò)采用特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)；所述特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)包括：

1×1的卷積層，設(shè)置為四層連續(xù)的上采樣結(jié)構(gòu)；分別將輸入的融合特征圖與上一階段的提取特征圖都?xì)w一為256個(gè)通道的特征圖進(jìn)行融合，輸出上一個(gè)階段的融合特征圖；

所述1×1的卷積層基于第五融合特征圖與第四提取特征圖進(jìn)行融合，得到第四融合特征圖；

所述1×1的卷積層基于第四融合特征圖通過(guò)雙線性插值的方式進(jìn)行上采樣之后與第三提取特征圖進(jìn)行融合，得到第三融合特征圖；

所述1×1的卷積層基于第三融合特征圖通過(guò)雙線性插值的方式進(jìn)行上采樣之后與第二提取特征圖進(jìn)行融合，得到第二融合特征圖。

3.如權(quán)利要求2所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)還包括依次連接的Concat層、兩個(gè)卷積層和上采樣輸出層；

所述Concat層將所述第五融合特征圖、所述第四融合特征圖、所述第三融合特征圖和所述第二融合特征圖進(jìn)行Concat操作，合并后得到最終融合特征圖；所述兩個(gè)卷積層再對(duì)所述最終融合特征圖進(jìn)行兩次卷積得到7個(gè)原圖1/4大小的特征圖；最后所述上采樣輸出層基于所述原圖1/4大小的特征圖輸出7個(gè)原圖大小的預(yù)測(cè)結(jié)果。

4.如權(quán)利要求1所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述階段5采用的空洞卷積，其擴(kuò)張率設(shè)置為2，特征提取過(guò)程中保持輸出的特征尺寸與階段4相同。

5.如權(quán)利要求3所述的神經(jīng)網(wǎng)絡(luò)模型，其特征在于，所述1×1的卷積層與所述Concat層之間還設(shè)置有注意力機(jī)制模塊；所述注意力機(jī)制模塊的數(shù)量與融合特征圖的數(shù)量對(duì)應(yīng)。

6.一種文字檢測(cè)方法，包括針對(duì)輸入原圖的特征提取步驟和輸出預(yù)測(cè)結(jié)果的特征融合步驟；其特征在于，所述特征提取步驟采用卷積層為5個(gè)階段的殘差網(wǎng)絡(luò)；階段1以原圖作為輸入，輸出二分之一原圖大小的第一提取特征圖；階段2至5依次以前一階段輸出的特征圖為輸入，并依次按照原圖大小的四分之一、八分之一、十六分之一和十六分之一輸出第二至第五提取特征圖：

所述特征提取步驟的階段5采用空洞卷積進(jìn)行特征提取，并對(duì)輸出的第五提取特征圖采用密集連接型金字塔池化模塊進(jìn)行由不同擴(kuò)張率的空洞卷積采樣處理，輸出第五融合特征圖。

7.如權(quán)利要求6所述的文字檢測(cè)方法，其特征在于，所述特征融合步驟采用1×1的卷積層將輸入的融合特征圖與上一階段的提取特征圖都?xì)w一為256個(gè)通道的特征圖進(jìn)行融合，輸出上一個(gè)階段的融合特征圖；

其中，基于第五融合特征圖與第四提取特征圖進(jìn)行融合，得到第四融合特征圖；

基于第四融合特征圖通過(guò)雙線性插值的方式進(jìn)行上采樣之后與第三提取特征圖進(jìn)行融合，得到第三融合特征圖；

基于第三融合特征圖通過(guò)雙線性插值的方式進(jìn)行上采樣之后與第二提取特征圖進(jìn)行融合，得到第二融合特征圖。

8.如權(quán)利要求7所述的文字檢測(cè)方法，其特征在于，所述特征融合步驟將所述第五融合特征圖、所述第四融合特征圖、所述第三融合特征圖和所述第二融合特征圖進(jìn)行Concat操作，合并后得到最終融合特征圖；再對(duì)所述最終融合特征圖進(jìn)行兩次卷積得到7個(gè)原圖1/4大小的特征圖，最后通過(guò)上采樣輸出7個(gè)原圖大小的預(yù)測(cè)結(jié)果。