[發(fā)明專利]一種文檔曲面校正方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010172453.8
• 申請(qǐng)日: 2020-03-12
• 公開（公告）號(hào): CN111353961A
• 公開（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 郭豐俊;李亞東;龍騰
• 申請(qǐng)（專利權(quán)）人: 上海合合信息科技發(fā)展有限公司
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06T7/13;G06K9/32;G06K9/38
• 代理公司: 上海恒銳佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 31286
• 代理人: 殷曉雪

本申請(qǐng)公開了一種文檔曲面校正方法，包括如下步驟。步驟S10：對(duì)文檔圖像進(jìn)行角點(diǎn)定位及透視校正。步驟S20：在文檔圖像中檢測(cè)文字行。步驟S30：提取文字行特征，由分類器將文檔圖像分為I類版式和II類版式兩類。步驟S40：對(duì)I類版式的文檔圖像采用I類校正方法。步驟S50：對(duì)II類版式的文檔圖像采用II類校正方法。本申請(qǐng)將文檔圖像根據(jù)版式分類，并自適應(yīng)地采用不同的校正方法處理，這樣可以提高文檔曲面校正的魯棒性以及最終校正質(zhì)量。

技術(shù)領(lǐng)域

本申請(qǐng)涉及一種數(shù)字圖像處理方法，特別是涉及一種文檔圖像的校正方法。

背景技術(shù)

隨著高質(zhì)量攝像頭在手機(jī)等移動(dòng)設(shè)備上的普及，利用移動(dòng)設(shè)備對(duì)文檔進(jìn)行數(shù)字化采集已經(jīng)非常普遍。通過圖像校正技術(shù)，移動(dòng)設(shè)備采集的文檔圖像質(zhì)量甚至可以與專用的文檔掃描儀相當(dāng)。然而，一些文檔(例如書頁)中存在的形變無法通過簡(jiǎn)單的透視變換進(jìn)行校正。

為提升存在曲面形變文檔的校正質(zhì)量，現(xiàn)在普遍采用的方法可以大致分為兩類。

第一類是利用多目相機(jī)、結(jié)構(gòu)光或者激光雷達(dá)等專用設(shè)備對(duì)文檔進(jìn)行掃描，獲得文檔表面的3D結(jié)構(gòu)信息，進(jìn)而對(duì)文檔校正展平。授權(quán)公告號(hào)為CN102592124B、授權(quán)公告日為2013年11月27日的中國(guó)發(fā)明專利《文本圖像的幾何校正方法、裝置和雙目立體視覺系統(tǒng)》公開了一種利用雙目立體視覺系統(tǒng)對(duì)文本圖像進(jìn)行校正的方法。授權(quán)公告號(hào)為CN102801894B、授權(quán)公告日為2014年10月1日的中國(guó)發(fā)明專利《一種變形書頁展平方法》公開了一種利用左右兩臺(tái)相機(jī)對(duì)變形書頁進(jìn)行展平校正的方法。這類方法一般可以得到比較好的校正效果，但依賴專用設(shè)備的特點(diǎn)限制了其使用場(chǎng)景。

第二類是完全依靠圖像信息以及文檔形變的先驗(yàn)知識(shí)對(duì)圖像進(jìn)行校正。授權(quán)公告號(hào)為CN102208025B、授權(quán)公告日為2013年2月27日的中國(guó)發(fā)明專利《一種文本圖像幾何畸變的矯正方法》公開了一種利用擬合的文本行曲線對(duì)文本圖像進(jìn)行幾何畸變的校正方法。申請(qǐng)公布號(hào)為CN102254171A、申請(qǐng)公布日為2011年11月23日的中國(guó)發(fā)明專利申請(qǐng)《一種基于文本邊界的中文文檔圖像畸變校正方法》公開了一種利用上下文本邊界線進(jìn)行文檔圖像畸變校正的方法。這類方法一般需要進(jìn)行文字行或者表格線的檢測(cè)，并假設(shè)曲面符合特定的幾何約束，如曲面是柱面。這類方法可以在普通的移動(dòng)設(shè)備上實(shí)現(xiàn)，但是其校正效果受文字行檢測(cè)準(zhǔn)確度的限制，對(duì)文檔版式比較敏感，無法處理存在大量圖表的文檔，且誤檢的文字行有可能會(huì)對(duì)校正造成嚴(yán)重干擾。

發(fā)明內(nèi)容

本申請(qǐng)所要解決的技術(shù)問題是提出一種基于機(jī)器學(xué)習(xí)的自適應(yīng)文檔曲面校正方法，屬于前述的第二類文檔曲面校正方法。本申請(qǐng)只依賴采集的圖像信息，利用機(jī)器學(xué)習(xí)的方法自適應(yīng)地對(duì)不同版式文檔采取不同的校正策略，提高了對(duì)復(fù)雜版式文檔(例如多欄排版文檔以及存在大量圖標(biāo)的文檔等)的曲面校正質(zhì)量與魯棒性(robustness)。

為解決上述技術(shù)問題，本申請(qǐng)?zhí)峁┝艘环N文檔曲面校正方法，包括如下步驟。步驟S10：對(duì)文檔圖像進(jìn)行角點(diǎn)定位及透視校正。步驟S20：在文檔圖像中檢測(cè)文字行。步驟S30：提取文字行特征，由分類器將文檔圖像分為I類版式和II類版式兩類。I類版式的文檔圖像進(jìn)入步驟S40，II類版式的文檔圖像進(jìn)入步驟S50。步驟S40：對(duì)I類版式的文檔圖像采用I類校正方法。步驟S50：對(duì)II類版式的文檔圖像采用II類校正方法。上述方法將文檔圖像根據(jù)版式分類，并自適應(yīng)地采用不同的校正方法處理，這樣可以提高文檔曲面校正的魯棒性以及最終校正質(zhì)量。

進(jìn)一步地，所述步驟S10中，文檔角點(diǎn)定位方法包括基于直線檢測(cè)、基于輪廓提取、基于跳變點(diǎn)檢測(cè)的任一種。這些角點(diǎn)定位方法均可用于本申請(qǐng)。

優(yōu)選地，所述步驟S10中，采用基于直線檢測(cè)的角點(diǎn)定位方法，具體包括如下步驟。步驟S11：檢測(cè)文檔圖像的邊緣，得到文檔圖像的邊緣圖。步驟S12：在邊緣圖上做直線檢測(cè)。步驟S13：組合四條直線形成四邊形，對(duì)所有四條直線組合根據(jù)邊緣響應(yīng)強(qiáng)度、角度、邊長(zhǎng)中的一項(xiàng)或多項(xiàng)進(jìn)行篩選，最終得到文檔的角點(diǎn)。這是步驟S10中的角點(diǎn)定位的一種優(yōu)選實(shí)現(xiàn)方式。