[發(fā)明專利]基于全卷積神經(jīng)網(wǎng)絡(luò)的候選文本框生成和文本檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201611070587.9
• 申請(qǐng)日: 2016-11-29
• 公開（公告）號(hào): CN106650725B
• 公開（公告）日: 2020-06-26
• 發(fā)明（設(shè)計(jì)）人: 馬景法;金連文;鐘卓耀
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06N3/04;G06N3/08
• 代理公司: 廣東廣信君達(dá)律師事務(wù)所 44329
• 代理人: 楊曉松

本發(fā)明公開了基于全卷積神經(jīng)網(wǎng)絡(luò)的候選文本框生成和文本檢測(cè)方法，包括步驟：生成文本區(qū)域候選框，inception?RPN以自然場(chǎng)景圖片和一套標(biāo)記文本區(qū)域的真實(shí)邊界框作為輸入，產(chǎn)生可控?cái)?shù)量的單詞區(qū)域候選框，在VGG16模型的卷積特征響應(yīng)圖上滑動(dòng)一個(gè)inception網(wǎng)絡(luò)，并在每個(gè)滑動(dòng)位置輔助一套文本特征先驗(yàn)框；并入容易引起歧義的文本類別監(jiān)督信息，融入多層次的區(qū)域下采樣信息，進(jìn)行文本檢測(cè)；通過反向傳播和隨機(jī)梯度下降，以一種端到端的方式訓(xùn)練inception候選框生成網(wǎng)絡(luò)和文本檢測(cè)網(wǎng)絡(luò)；候選框迭代投票以一種補(bǔ)充的方式獲得更高的文本召回率，使用候選框過濾算法，移除過剩的檢測(cè)框。本發(fā)明在ICDAR 2011和2013robust文本檢測(cè)標(biāo)準(zhǔn)數(shù)據(jù)庫上分別獲得0.83和0.85的準(zhǔn)確率，優(yōu)于先前最好的結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及自然場(chǎng)景圖片中文本候選框生成和文本檢測(cè)的技術(shù)，尤其涉及基于全卷積神經(jīng)網(wǎng)絡(luò)的候選文本框生成和文本檢測(cè)方法。

背景技術(shù)

圖像中的文本提供了豐富和精確的高水平的語義信息，這些信息對(duì)于場(chǎng)景理解，圖像和食品檢索，基于內(nèi)容的推薦系統(tǒng)等大量潛在應(yīng)用至關(guān)重要。自然場(chǎng)景圖片的文本檢測(cè)在計(jì)算機(jī)視覺和圖像理解社區(qū)吸引了大量的關(guān)注。然而，自然場(chǎng)景的文本檢測(cè)仍然是一個(gè)充滿挑戰(zhàn)和未解決的問題。首先，文本圖片的背景是很復(fù)雜的，并且符號(hào)、標(biāo)記、磚塊和草地等區(qū)域組成是非常難于和文本區(qū)分的。此外，不均勻的光照條件、強(qiáng)曝光、低對(duì)比度、模糊和低分辨率等超級(jí)混合因素對(duì)文字檢測(cè)任務(wù)增添了巨大的挑戰(zhàn)

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，本發(fā)明提出基于全卷積神經(jīng)網(wǎng)絡(luò)的候選文本框生成和文本檢測(cè)方法。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的：

基于全卷積神經(jīng)網(wǎng)絡(luò)的候選文本框生成和文本檢測(cè)方法，包括步驟

S1：生成文本區(qū)域候選框，inception-RPN以自然場(chǎng)景圖片和一套標(biāo)記文本區(qū)域的真實(shí)邊界框作為輸入，產(chǎn)生可控?cái)?shù)量的單詞區(qū)域候選框，在VGG16模型的卷積特征響應(yīng)圖上滑動(dòng)一個(gè)inception網(wǎng)絡(luò)，并在每個(gè)滑動(dòng)位置輔助一套文本特征先驗(yàn)框；

S2：并入容易引起歧義的文本類別監(jiān)督信息，融入多層次的區(qū)域下采樣信息，進(jìn)行文本檢測(cè)；

S3：通過反向傳播和隨機(jī)梯度下降，以一種端到端的方式訓(xùn)練inception候選框生成網(wǎng)絡(luò)和文本檢測(cè)網(wǎng)絡(luò)；

S4：候選框迭代投票以一種補(bǔ)充的方式獲得更高的文本召回率，使用候選框過濾算法，移除過剩的檢測(cè)框。

進(jìn)一步地，步驟S1包括步驟

S11：文本特征先驗(yàn)框設(shè)計(jì)；

S12：構(gòu)建Inception候選框生成網(wǎng)絡(luò)。

更進(jìn)一步地，步驟S11中文本特征先驗(yàn)框共24種，其中每個(gè)滑動(dòng)位置滑動(dòng)窗的寬設(shè)為32，48，64和80，長(zhǎng)寬比例為0.2，0.5，0.8，1.0，1.2和1.5。

更進(jìn)一步地，步驟S12中inception候選框生成網(wǎng)絡(luò)由一個(gè)3*3的卷積層，5*5的卷積層和3*3的最大池化層連接到一個(gè)作為輸入的Conv5_3的特征響應(yīng)圖的相應(yīng)的空間接受域上。

進(jìn)一步地，步驟S2中文本類別監(jiān)督信息為：候選框IoU重疊大于等于0.5的指定為存在文本，把候選框IoU重疊大于等于0.2小于0.5的指定為“模糊文本”，其他指定為不包含文本信息。

進(jìn)一步地，步驟S2中多層次的區(qū)域下采樣信息為：在VGG16網(wǎng)絡(luò)的Conv4_3和Conv5_3的卷積特征響應(yīng)圖都執(zhí)行多層次的區(qū)域下采樣，并得到兩個(gè)512*H*W的采樣特征，然后以一個(gè)512*1*1的卷積層解碼連接在一起的特征。