[發(fā)明專利]一種文本矯正的方法、裝置、電子設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010517203.3
• 申請日: 2020-06-09
• 公開（公告）號: CN111695554B
• 公開（公告）日: 2023-02-21
• 發(fā)明（設(shè)計）人: 韋文杰;許多;鄧小兵
• 申請（專利權(quán)）人: 廣東小天才科技有限公司
• 主分類號: G06V30/14
• 分類號: G06V30/14;G06V30/146;G06V30/148;G06V10/82;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 廣州智斧知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44649
• 代理人: 孔德超

1.一種文本矯正的方法，其特征在于，包括：

獲取目標文本圖像；

將所述目標文本圖像輸入基于深度學(xué)習(xí)的文本行檢測網(wǎng)絡(luò)模型，得到所述目標文本圖像對應(yīng)的掩碼圖；利用所述掩碼圖確定文本行輪廓及每個文本行輪廓對應(yīng)的文本中線；

利用所述掩碼圖設(shè)置對應(yīng)目標文本圖像的第一控制點；所述第一控制點包括文本采樣點和邊框采樣點，在所述文本中線上選取多個文本采樣點，構(gòu)建每個文本中線的文本采樣點集合；在所述掩碼圖中距離掩碼圖邊緣最近距離為預(yù)設(shè)距離的位置設(shè)置多個邊框采樣點，形成邊框采樣點集合；

根據(jù)所述第一控制點設(shè)置第二控制點；所述第二控制點包括第一源點集合和第二源點集合，所述第一源點集合包括多個文本源點子集合，且所述文本源點子集合和文本采樣點集合一一對應(yīng)，每個文本源點子集合中文本源點的個數(shù)與對應(yīng)文本采樣點集合中的文本采樣點的個數(shù)相同，所述第二源點集合中源點個數(shù)與所述邊框采樣點集合中的邊框采樣點的個數(shù)相同；

將所述目標文本圖像、以及第一控制點和第二控制點輸入圖像矯正網(wǎng)絡(luò)，得到矯正圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述目標文本圖像輸入基于深度學(xué)習(xí)的文本行檢測網(wǎng)絡(luò)模型，得到所述目標文本圖像對應(yīng)的掩碼圖；利用所述掩碼圖確定文本行輪廓及每個文本行輪廓對應(yīng)的文本中線，包括：

將所述目標文本圖像輸入預(yù)先訓(xùn)練的基于深度學(xué)習(xí)的文本行檢測網(wǎng)絡(luò)模型，輸出所述目標文本圖像對應(yīng)的掩碼圖；所述掩碼圖與所述目標文本圖像的尺寸相同，且所述掩碼圖中包括多個文本區(qū)域掩碼；

利用所述文本區(qū)域掩碼得到對應(yīng)的文本行輪廓；

利用輪廓收縮的方式確定每個文本行輪廓對應(yīng)的文本中線。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述文本中線上選取多個文本采樣點，構(gòu)建每個文本中線的文本采樣點集合，包括：

在所述文本中線上選取多個像素點作為文本采樣點，同一文本中線任意兩個相鄰的文本采樣點之間間隔相同；

利用同一文本中線中所有文本采樣點構(gòu)建文本采樣點集合，利用文本采樣點集合中所有文本采樣點的坐標構(gòu)建文本采樣點矩陣。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述第一源點集合包括多個文本源點子集合，且所述文本源點子集合和文本采樣點集合一一對應(yīng)，每個文本源點子集合中文本源點的個數(shù)與對應(yīng)文本采樣點集合中的文本采樣點的個數(shù)相同，包括：

創(chuàng)建一張空白掩碼圖，所述空白掩碼圖與掩碼圖的尺寸相同；

在所述空白掩碼圖中構(gòu)建每個文本采樣點集合對應(yīng)的文本源點子集合；所述文本源點子集合中的文本源點數(shù)量與對應(yīng)文本采樣點集合中的文本采樣點的個數(shù)相同；同一文本源點子集合中的文本源點之間的連線與空白掩碼圖的水平方向平行，且同一文本源點子集合中的相鄰文本源點之間的間隔相同；

確定同一文本源點子集合中所有文本源點的坐標，并利用所述同一文本源點子集合中的所有文本源點的坐標構(gòu)建文本源點矩陣。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述第二源點集合中源點個數(shù)與所述邊框采樣點集合中的邊框采樣點的個數(shù)相同，包括：

在所述空白掩碼圖中構(gòu)建所述邊框采樣點集合對應(yīng)的第二源點集合，第二源點集合中源點個數(shù)與所述邊框采樣點集合中的邊框采樣點的個數(shù)相同，且所述第二源點集合中的源點位于所述空白掩碼圖的邊緣；

利用所述第二源點集合中所有源點的坐標構(gòu)建第二源點矩陣。

6.根據(jù)權(quán)利要求1-5任一項所述的方法，其特征在于，將所述目標文本圖像、以及第一控制點和第二控制點輸入圖像矯正網(wǎng)絡(luò)，得到矯正圖像，包括：

將所述目標文本圖像、以及第一控制點和第二控制點輸入TPS矯正網(wǎng)絡(luò)中；

所述TPS矯正網(wǎng)絡(luò)根據(jù)第一控制點和第二控制點的坐標信息確定TPS變換矩陣；

創(chuàng)建一個空白圖像，所述空白圖像和目標文本圖像的尺寸相同，且目標文本圖像和空白圖像分別對應(yīng)第一控制點和第二控制點；

利用所述TPS變換矩陣確定所述空白圖像的每一個位置點在所述目標文本圖像中的坐標點，并利用所述目標文本圖像中的坐標點附近像素點的像素值插值得到矯正像素值，將所述矯正像素值填充至所述空白圖像中，得到矯正圖像。