[發(fā)明專利]一種基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210375908.5
• 申請(qǐng)日: 2022-04-11
• 公開(kāi)（公告）號(hào): CN114581905A
• 公開(kāi)（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 廖倩穎;梁凌宇;金連文
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V20/62
• 分類號(hào): G06V20/62;G06F40/30;G06N3/04;G06N3/08;G06V30/19
• 代理公司: 北京盛詢知識(shí)產(chǎn)權(quán)代理有限公司 11901
• 代理人: 陳巍

1.一種基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法，其特征在于，包括：

獲取場(chǎng)景文本圖像，對(duì)場(chǎng)景文本圖像進(jìn)行校正，對(duì)校正后的場(chǎng)景文本圖像進(jìn)行特征提取，獲取視覺(jué)特征，基于視覺(jué)特征提取全局語(yǔ)義信息，基于全局語(yǔ)義信息，對(duì)視覺(jué)特征進(jìn)行解碼轉(zhuǎn)錄，得到場(chǎng)景文本識(shí)別字符串結(jié)果。

2.根據(jù)權(quán)利要求1所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法，其特征在于：

對(duì)所述場(chǎng)景文本圖像進(jìn)行校正的過(guò)程包括：

對(duì)所述場(chǎng)景文本圖像進(jìn)行預(yù)測(cè)，獲取場(chǎng)景文本圖像對(duì)應(yīng)的仿射變換矩陣；

基于所述仿射變換矩陣，對(duì)場(chǎng)景文本圖像進(jìn)行空間變換，得到采樣網(wǎng)格，基于采樣網(wǎng)格，對(duì)場(chǎng)景文本圖像進(jìn)行采樣，得到校正后的場(chǎng)景文本圖像，其中空間變換包括旋轉(zhuǎn)、縮放和平移。

3.根據(jù)權(quán)利要求1所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法，其特征在于：

對(duì)校正后的場(chǎng)景文本圖像進(jìn)行特征提取的過(guò)程包括：

將所述校正后的場(chǎng)景文本圖像進(jìn)行二維視覺(jué)特征提取，并對(duì)二維視覺(jué)特征提取結(jié)果進(jìn)行上下文建模，獲取視覺(jué)特征。

4.根據(jù)權(quán)利要求1所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法，其特征在于：

所述全局語(yǔ)義信息的提取過(guò)程包括：

將所述視覺(jué)特征從視覺(jué)空間映射到語(yǔ)言空間，對(duì)語(yǔ)音空間中的視覺(jué)特征進(jìn)行預(yù)測(cè)，得到全局語(yǔ)義信息。

5.根據(jù)權(quán)利要求1所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法，其特征在于：

對(duì)視覺(jué)特征進(jìn)行解碼轉(zhuǎn)錄的過(guò)程包括：

將所述全局語(yǔ)義信息作為初始向量，基于初始向量，對(duì)所述視覺(jué)特征進(jìn)行逐步解碼獲取字符向量，將所述字符向量進(jìn)行轉(zhuǎn)錄，得到場(chǎng)景文本識(shí)別字符串結(jié)果。

6.根據(jù)權(quán)利要求1-5任一項(xiàng)所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別方法的識(shí)別系統(tǒng)，其特征在于，包括：文本校正器、特征編碼器、語(yǔ)義增強(qiáng)器、序列解碼器；

所述文本矯正器用于獲取場(chǎng)景文本圖像，對(duì)場(chǎng)景文本圖像進(jìn)行校正，

所述特征編碼器用于對(duì)校正后的場(chǎng)景文本圖像進(jìn)行特征提取，獲取視覺(jué)特征，

所述語(yǔ)義增強(qiáng)器基于視覺(jué)特征提取全局語(yǔ)義信息，

所述序列解碼器基于全局語(yǔ)義信息，對(duì)視覺(jué)特征進(jìn)行解碼轉(zhuǎn)錄，得到場(chǎng)景文本識(shí)別字符串結(jié)果。

7.根據(jù)權(quán)利要求6所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別系統(tǒng)，其特征在于：

所述文本矯正器包括定位網(wǎng)絡(luò)、網(wǎng)格生成器及采樣器；

所述定位網(wǎng)絡(luò)用于對(duì)所述場(chǎng)景文本圖像進(jìn)行預(yù)測(cè)，獲取場(chǎng)景文本圖像對(duì)應(yīng)的仿射變換矩陣；

所述網(wǎng)格生成器基于所述仿射變換矩陣，對(duì)場(chǎng)景文本圖像進(jìn)行空間變換，生成采樣網(wǎng)格；

所述采樣器基于采樣網(wǎng)絡(luò)，對(duì)場(chǎng)景文本圖像進(jìn)行采樣，得到校正后的場(chǎng)景文本圖像。

8.根據(jù)權(quán)利要求6所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別系統(tǒng)，其特征在于：

所述特征編碼器采用卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及基于自注意力的網(wǎng)絡(luò)結(jié)構(gòu)；

所述卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于將所述校正后的場(chǎng)景文本圖像進(jìn)行二維視覺(jué)特征提取；

基于自注意力的網(wǎng)絡(luò)結(jié)構(gòu)用于對(duì)二維視覺(jué)特征提取結(jié)果進(jìn)行上下文建模，獲取視覺(jué)特征。

9.根據(jù)權(quán)利要求6所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別系統(tǒng)，其特征在于：

所述語(yǔ)義增強(qiáng)器采用卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)；

所述卷積和循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)用于將所述視覺(jué)特征從視覺(jué)空間映射到語(yǔ)言空間，對(duì)語(yǔ)音空間中的視覺(jué)特征進(jìn)行預(yù)測(cè)，得到全局語(yǔ)義信息。

10.根據(jù)權(quán)利要求6所述基于語(yǔ)義增強(qiáng)機(jī)制的場(chǎng)景文本識(shí)別系統(tǒng)，其特征在于：

所述序列解碼器采用Transformer結(jié)構(gòu)的解碼器；

采用Transformer結(jié)構(gòu)的解碼器用于將所述全局語(yǔ)義信息作為初始向量，基于初始向量，對(duì)所述視覺(jué)特征進(jìn)行逐步解碼獲取字符向量，將所述字符向量進(jìn)行轉(zhuǎn)錄，得到場(chǎng)景文本識(shí)別字符串結(jié)果。