[發(fā)明專利]文本圖像矯正方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911117254.0
• 申請(qǐng)日: 2019-11-15
• 公開(kāi)（公告）號(hào): CN110866871A
• 公開(kāi)（公告）日: 2020-03-06
• 發(fā)明（設(shè)計(jì)）人: 王鑫;溫凱雯;呂仲琪;顧正
• 申請(qǐng)（專利權(quán)）人: 深圳市華云中盛科技股份有限公司
• 主分類號(hào): G06T3/60
• 分類號(hào): G06T3/60;G06T7/13;G06T7/181
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 劉萍

1.文本圖像矯正方法，其特征在于，包括：

獲取需要矯正的文本圖像；

將需要矯正的文本圖像輸入至邊緣檢測(cè)模型進(jìn)行深度學(xué)習(xí)，以得到二值邊緣圖像；其中，所述邊緣檢測(cè)模型是通過(guò)若干帶有邊緣信息的文本圖像對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練所得的；

對(duì)所述二值邊緣圖像進(jìn)行文本精細(xì)定位，以得到文本邊界框及文本邊界框的頂點(diǎn)坐標(biāo)；

根據(jù)所述文本邊界框的頂點(diǎn)坐標(biāo)計(jì)算透視變換矩陣；

根據(jù)透視變換矩陣對(duì)所述文本邊界框內(nèi)的圖像及文本邊界框的頂點(diǎn)坐標(biāo)進(jìn)行透視變換，以得到矯正后的文本圖像；

將矯正后的文本圖像發(fā)送至終端，以供終端查閱和調(diào)用。

2.根據(jù)權(quán)利要求1所述的文本圖像矯正方法，其特征在于，所述邊緣檢測(cè)模型是通過(guò)若干帶有邊緣信息的文本圖像對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行訓(xùn)練所得的，包括：

構(gòu)建深度學(xué)習(xí)網(wǎng)絡(luò)及損失函數(shù)，其中，所述深度學(xué)習(xí)網(wǎng)絡(luò)包括順次連接的第一層網(wǎng)絡(luò)、第二層網(wǎng)絡(luò)、第三層網(wǎng)絡(luò)、第四層網(wǎng)絡(luò)以及三層空洞卷積層，第一層網(wǎng)絡(luò)、第二層網(wǎng)絡(luò)、第三層網(wǎng)絡(luò)以及第四層網(wǎng)絡(luò)的參數(shù)分別與VGG16網(wǎng)絡(luò)對(duì)應(yīng)層參數(shù)一致；

獲取若干帶有邊緣信息的文本圖像，以得到樣本集；

將樣本集輸入深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)進(jìn)行卷積處理，以得到處理結(jié)果；

采用損失函數(shù)計(jì)算處理結(jié)果與邊緣信息計(jì)算損失值；

判斷所述損失值是否滿足預(yù)設(shè)條件；

若所述損失值滿足預(yù)設(shè)條件，則將當(dāng)前的深度學(xué)習(xí)網(wǎng)絡(luò)作為邊緣檢測(cè)模型；

若所述損失值不滿足預(yù)設(shè)條件，則調(diào)整深度學(xué)習(xí)網(wǎng)絡(luò)各個(gè)層對(duì)應(yīng)的參數(shù)，并返回所述將樣本集輸入深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)進(jìn)行卷積處理，以得到處理結(jié)果。

3.根據(jù)權(quán)利要求2所述的文本圖像矯正方法，其特征在于，所述損失函數(shù)為加權(quán)的交叉熵分類損失函數(shù)。

4.根據(jù)權(quán)利要求2所述的文本圖像矯正方法，其特征在于，所述將樣本集輸入深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)進(jìn)行卷積處理，以得到處理結(jié)果，包括：

將樣本集輸入深度學(xué)習(xí)網(wǎng)絡(luò)內(nèi)，并從自底向上方向以及自頂向下方向?qū)Φ诙泳W(wǎng)絡(luò)至第五層網(wǎng)絡(luò)輸出的特征圖進(jìn)行逐層融合形成融合結(jié)果，將兩路的融合結(jié)果進(jìn)行融合，并輸入最后一個(gè)的空洞卷積層進(jìn)行卷積，以得到處理結(jié)果。

5.根據(jù)權(quán)利要求4所述的文本圖像矯正方法，其特征在于，所述特征圖是通過(guò)對(duì)深度學(xué)習(xí)網(wǎng)絡(luò)的各層進(jìn)行上采樣操作所得的。

6.根據(jù)權(quán)利要求1至5任一項(xiàng)所述的文本圖像矯正方法，其特征在于，所述對(duì)所述二值邊緣圖像進(jìn)行文本精細(xì)定位，以得到文本邊界框及文本邊界框的頂點(diǎn)坐標(biāo)，包括：

對(duì)所述二值化邊緣圖像進(jìn)行二值化處理，并采用形態(tài)學(xué)操作消除二值化處理后的圖像中的邊緣，以得到二值邊緣掩模圖像；

采用直線檢測(cè)算法對(duì)所述二值邊緣掩模圖像提取水平近似直線以及垂直近似直線，并消除所述水平近似直線以及所述垂直近似直線中靠近所述二值化邊緣掩模圖像的邊界區(qū)域的直線和長(zhǎng)度較短的線段，以形成水平直線集合以及垂直直線集合；

計(jì)算水平直線集合以及垂直直線集合中兩個(gè)直線的交點(diǎn)，以得到線段交點(diǎn)集合；

過(guò)濾所述線段交點(diǎn)集合中在二值化邊緣掩模圖像的邊界區(qū)域外的加點(diǎn)和距離不滿足預(yù)設(shè)要求的交點(diǎn)，以得到頂點(diǎn)集合；

對(duì)頂點(diǎn)集合進(jìn)行遍歷，以得到多邊形集合；

計(jì)算多邊形集合對(duì)應(yīng)的多邊形面積，并提取多邊形面積最大的多邊形作為文本邊界框，以得到文本邊界框及文本邊界框的頂點(diǎn)坐標(biāo)。

7.根據(jù)權(quán)利要求6所述的文本圖像矯正方法，其特征在于，所述根據(jù)所述文本邊界框的頂點(diǎn)坐標(biāo)計(jì)算透視變換矩陣，包括：

根據(jù)所述文本邊界框的頂點(diǎn)坐標(biāo)計(jì)算文本區(qū)域的長(zhǎng)和寬；

根據(jù)文本區(qū)域的長(zhǎng)和寬生成目標(biāo)平面的四個(gè)坐標(biāo)點(diǎn)；

根據(jù)所述文本邊界框的頂點(diǎn)坐標(biāo)以及所述目標(biāo)平面的四個(gè)坐標(biāo)點(diǎn)求解透視變換矩陣。