[發(fā)明專(zhuān)利]圖像文檔校正方法、系統(tǒng)、終端及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110901444.2
• 申請(qǐng)日: 2021-08-06
• 公開(kāi)（公告）號(hào): CN113808033A
• 公開(kāi)（公告）日: 2021-12-17
• 發(fā)明（設(shè)計(jì)）人: 韋建;周異;陳凱;黃征;周曲
• 申請(qǐng)（專(zhuān)利權(quán)）人: 上海深杳智能科技有限公司;廈門(mén)商集網(wǎng)絡(luò)科技有限責(zé)任公司
• 主分類(lèi)號(hào): G06T5/00
• 分類(lèi)號(hào): G06T5/00;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 上海恒慧知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 31317
• 代理人: 劉翠

1.一種圖像文檔校正方法，其特征在于，包括：

基于原始圖像預(yù)設(shè)多個(gè)位置參考點(diǎn)；

構(gòu)建圖像特征提取模型，將所述原始圖像輸入至所述圖像特征提取模型提取圖像特征；

構(gòu)建基于透視變換的圖像校正模型，將所述圖像特征輸入至所述圖像校正模型，預(yù)測(cè)得到每一個(gè)所述位置參考點(diǎn)在校正后圖像上的相對(duì)位置坐標(biāo)變化；

根據(jù)所述位置參考點(diǎn)在所述原始圖像中的位置和所述位置參考點(diǎn)在校正后圖像上的位置的相對(duì)位置坐標(biāo)變化，計(jì)算形變校正矩陣，并將所述形變校正矩陣作用到所述原始圖像，對(duì)所述原始圖像進(jìn)行校正。

2.根據(jù)權(quán)利要求1所述的圖像文檔校正方法，其特征在于，所述基于原始圖像預(yù)設(shè)多個(gè)位置參考點(diǎn)，包括：

將所述原始圖像分成mⅹn個(gè)區(qū)域塊，其中，m≥1，n≥1；

將每個(gè)區(qū)域塊的一個(gè)頂點(diǎn)作為一個(gè)參考點(diǎn)，則所述位置參考點(diǎn)的總數(shù)量為：(m+1)ⅹ(n+1)。

3.根據(jù)權(quán)利要求1所述的圖像文檔校正方法，其特征在于，所述構(gòu)建圖像特征提取模型，將所述原始圖像輸入至所述圖像特征提取模型提取圖像特征，包括：

獲取多張訓(xùn)練圖像，根據(jù)需要提取的目標(biāo)特征，對(duì)所述訓(xùn)練圖像中目標(biāo)特征所屬的像素區(qū)域進(jìn)行標(biāo)注，構(gòu)建訓(xùn)練樣本；

獲取一個(gè)或多個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)模型，利用所述訓(xùn)練樣本對(duì)每一個(gè)所述深度學(xué)習(xí)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到用于提取不同目標(biāo)特征的特征提取網(wǎng)絡(luò)，構(gòu)建圖像特征提取模型；

利用所述圖像特征提取模型，將所述原始圖像分別作為每一個(gè)特征提取網(wǎng)絡(luò)的輸入，輸出相應(yīng)的初始圖像特征；

對(duì)所述初始圖像特征進(jìn)行組合，得到最終所需的圖像特征。

4.根據(jù)權(quán)利要求3所述的圖像文檔校正方法，其特征在于，還包括如下任意一項(xiàng)或任意多項(xiàng)：

-所述深度學(xué)習(xí)網(wǎng)絡(luò)模型采用語(yǔ)義分割模型；

-所述初始圖像特征包括如下任意一個(gè)或任意多個(gè)：

原圖特征，所述原圖特征為基于整張?jiān)紙D像提取的特征；

文字分布特征：所述文字分布特征為文字位置分布的概率圖或二值化圖；

線(xiàn)分布特征：所述線(xiàn)分布特征為線(xiàn)位置分布的概率圖或二值化圖；

分隔區(qū)域特征：所述分隔區(qū)域特征為分隔行或分隔列的位置分布概率圖或二值化圖；

-所述對(duì)所述初始圖像特征進(jìn)行組合，包括：帶權(quán)重的逐位相加、相乘、連接、堆疊中的任意一種或任意多種的組合。

5.根據(jù)權(quán)利要求1所述的圖像文檔校正方法，其特征在于，所述構(gòu)建圖像校正模型，將所述圖像特征輸入至所述圖像校正模型，預(yù)測(cè)得到每一個(gè)所述位置參考點(diǎn)在校正后圖像上的相對(duì)位置坐標(biāo)變化，包括：

構(gòu)建深度校正模型網(wǎng)絡(luò)，并對(duì)所述深度校正模型網(wǎng)絡(luò)進(jìn)行透視變換訓(xùn)練，得到圖像校正模型；

將所述圖像特征作為所述圖像校正模型的輸入，輸出所述位置參考點(diǎn)在圖像校正前后的相對(duì)位置坐標(biāo)變化值。

6.根據(jù)權(quán)利要求5所述的圖像文檔校正方法，其特征在于，所述深度校正模型網(wǎng)絡(luò)，包括：卷積層、池化層和全連接層，所述圖像特征經(jīng)過(guò)卷積層、池化層、全連接層的前向傳播得到輸出值；其中：

所述池化層采用金字塔分層池化；所述全連接層的輸出維度為所述位置參考點(diǎn)的總數(shù)量ⅹ2(x，y)，其中，(x，y)表示位置參考點(diǎn)在校正后圖像上的x軸和y軸的坐標(biāo)。

7.根據(jù)權(quán)利要求6所述的圖像文檔校正方法，其特征在于，所述透視變換訓(xùn)練，包括：

對(duì)所述深度校正模型網(wǎng)絡(luò)的各網(wǎng)絡(luò)層權(quán)值初始化；

采用透視變換方法，構(gòu)建訓(xùn)練樣本，所述訓(xùn)練樣本包括訓(xùn)練樣本圖像及其透視變換后的位置參考點(diǎn)坐標(biāo)標(biāo)注值；

利用所述訓(xùn)練樣本對(duì)所述深度校正模型網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

計(jì)算根據(jù)所述深度校正模型網(wǎng)絡(luò)輸出值得到的位置參考點(diǎn)坐標(biāo)與所述訓(xùn)練樣本的標(biāo)注值之間的損失，即根據(jù)所述輸出值校正后的位置參考點(diǎn)坐標(biāo)與標(biāo)注值之間的距離誤差；

當(dāng)所述損失大于設(shè)定的閾值時(shí)，將所述距離誤差反饋至所述深度校正模型網(wǎng)絡(luò)，對(duì)所述深度校正模型網(wǎng)絡(luò)的各網(wǎng)絡(luò)層權(quán)值進(jìn)行更新，并重新對(duì)所述深度校正模型網(wǎng)絡(luò)進(jìn)行訓(xùn)練和計(jì)算損失；

當(dāng)所述損失小于等于設(shè)定閾值時(shí)，訓(xùn)練結(jié)束。