[發(fā)明專(zhuān)利]一種基于全卷積網(wǎng)絡(luò)的場(chǎng)景文本定位與識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010340617.3
• 申請(qǐng)日: 2020-04-26
• 公開(kāi)（公告）號(hào): CN111553349B
• 公開(kāi)（公告）日: 2023-04-18
• 發(fā)明（設(shè)計(jì)）人: 楊海東;黃坤山;巴姍姍;彭文瑜;林玉山
• 申請(qǐng)（專(zhuān)利權(quán)）人: 佛山市南海區(qū)廣工大數(shù)控裝備協(xié)同創(chuàng)新研究院;佛山市廣工大數(shù)控裝備技術(shù)發(fā)展有限公司
• 主分類(lèi)號(hào): G06V20/62
• 分類(lèi)號(hào): G06V20/62;G06V10/774;G06V10/82;G06N3/0464
• 代理公司: 廣州科沃園專(zhuān)利代理有限公司 44416
• 代理人: 徐莉

1.一種基于全卷積網(wǎng)絡(luò)的場(chǎng)景文本定位與識(shí)別方法，其特征在于，包括以下步驟：

S1、獲取包含數(shù)張已標(biāo)記出文本位置的訓(xùn)練圖片的訓(xùn)練集；

S2、構(gòu)建一個(gè)基于文本定位的全卷積神經(jīng)網(wǎng)絡(luò)模型，所述全卷積神經(jīng)網(wǎng)絡(luò)模型包括特征提取網(wǎng)絡(luò)、特征融合網(wǎng)絡(luò)和文本候選框篩選層，將所述訓(xùn)練集輸入到所述基于文本定位的全卷積神經(jīng)網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，迭代模型參數(shù)后得到收斂的文本定位網(wǎng)絡(luò)模型Model1；

S3、構(gòu)建文本識(shí)別網(wǎng)絡(luò)模型，所述文本識(shí)別網(wǎng)絡(luò)中包括卷積神經(jīng)網(wǎng)絡(luò)層、注意力機(jī)制層、循環(huán)神經(jīng)網(wǎng)絡(luò)層和翻譯層，將所述訓(xùn)練集輸入到所述文本識(shí)別網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，迭代模型參數(shù)后得到收斂的文本識(shí)別網(wǎng)絡(luò)模型Model2；

S4、將待文本定位與識(shí)別的場(chǎng)景圖像輸入到所述文本定位網(wǎng)絡(luò)模型Model1中得到文本存在置信度及文本區(qū)域位置，經(jīng)過(guò)篩選后處理輸出最佳文本候選框；

所述步驟S4中預(yù)測(cè)文本區(qū)域位置的過(guò)程為：

S41、在輸入多特征預(yù)測(cè)層的特征圖上預(yù)置默認(rèn)框，回歸出一系列多角度文本框，有用四個(gè)點(diǎn)表示的四邊形和用左上角、右上角點(diǎn)和高表示的旋轉(zhuǎn)矩形兩種形式；

S42、將特征融合網(wǎng)絡(luò)輸出的文本存在置信度和文本區(qū)域位置候選框坐標(biāo)偏移量表示為四邊形或旋轉(zhuǎn)矩形的關(guān)聯(lián)默認(rèn)框；

S43、根據(jù)文本候選框和候選框外接水平矩形回歸出四邊形或旋轉(zhuǎn)矩形的真實(shí)邊界框，回歸計(jì)算公式為：

d_i＝|b₁-q_i|+|b₂-q_(i+1)|+|b₃-q_(i+2)|+|b₄-q_(i+3)|，i＝1

d_i＝|b₁-q_i|+|b₂-q_(i+1)％4|+|b₃-q_(i+2)％4|+|b₄-q_(i+3)％4|，i＝2，3，4

其中，b_i、q_i，i＝1，2，3，4分別為外界水平矩形框和回歸四邊形或旋轉(zhuǎn)矩形的四個(gè)頂點(diǎn)，％表示取余；

S44、通過(guò)文本候選框篩選獲得最佳文本區(qū)域候選框；

S5、將含有最佳文本候選框的圖像輸入到所述文本識(shí)別網(wǎng)絡(luò)模型ModeI2中，得到文本識(shí)別結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種基于全卷積網(wǎng)絡(luò)的場(chǎng)景文本定位與識(shí)別方法，其特征在于，所述特征提取網(wǎng)絡(luò)由卷積層和池化層組成，用于提取出輸入圖像的卷積特征圖；所述特征融合網(wǎng)絡(luò)是將多特征預(yù)測(cè)層與不同階段的特征層進(jìn)行卷積，預(yù)測(cè)出文本存在置信度和文本區(qū)域位置；所述文本候選框篩選層作用是對(duì)不同文本區(qū)域候選框后處理，得到最佳文本候選框位置。

3.根據(jù)權(quán)利要求1-2所述的一種基于全卷積網(wǎng)絡(luò)的場(chǎng)景文本定位與識(shí)別方法，其特征在于，所述步驟S2中基于文本定位的全卷積神經(jīng)網(wǎng)絡(luò)模型的構(gòu)建過(guò)程為：

S21、通過(guò)特征提取網(wǎng)絡(luò)提取多尺度特征；

S22、通過(guò)特征融合網(wǎng)絡(luò)進(jìn)行多尺度特征融合；

S23、通過(guò)文本候選框篩選輸出含有最佳文本候選框的圖像。