[發明專利]基于語義分割的表格重建方法、裝置、設備及存儲介質

在審

• 申請號: 202110433642.0
• 申請日: 2021-04-21
• 公開（公告）號: CN113052181A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 朱錦祥;臧磊
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06F40/166
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種基于語義分割的表格重建方法，其特征在于，包括：

獲取待重建圖像，所述待重建圖像中存在待重建表格；

對所述待重建圖像進行語義分割，得到多個掩碼圖，其中，所述多個掩碼圖與多個預設分割類別一一對應，所述多個掩碼圖中的每個掩碼圖用于表示所述待重建圖像中的各個像素點屬于與所述每個掩碼圖對應的預設分割類別的概率；

根據所述多個掩碼圖構建待重建表格；

從所述待重建圖像中提取與所述待重建表格對應的文字內容；

將所述文字內容填入所述待重建表格，得到重建好的表格。

2.根據權利要求1所述的方法，其特征在于，所述對所述待重建圖像進行語義分割，得到多個掩碼圖，包括：

對所述待重建圖像進行特征提取，得到多個第一特征圖；

對所述多個第一特征圖進行卷積處理，得到多個第一語義分割結果，其中，所述多個第一語義分割結果與所述多個預設分割類別一一對應；

將所述待重建圖像中每個像素點分別在所述多個第一語義分割結果中的取值進行sigmoid激活處理，得到所述多個掩碼圖，其中，所述多個第一語義分割結果與所述多個掩碼圖一一對應。

3.根據權利要求1或2所述的方法，其特征在于，所述根據所述多個掩碼圖構建待重建表格，包括：

對所述多個掩碼圖中的每個掩碼圖進行二值化處理，得到多個二值圖；

針對所述多個二值圖中的每個二值圖，確定所述每個二值圖中的目標像素點組成的M個連通域，其中，所述目標像素點為所述每個二值圖像素值為1的像素點；

將所述每個二值圖中的M個連通域中的每個連通域進行直線擬合，得到與所述每個二值圖對應的N條第一直線段；

對所述每個連通域對應的第一直線段進行合并，得到與所述每個二值圖對應的目標直線段；

根據所述多個二值圖中的每個二值圖對應的目標直線段，構建待重建表格。

4.根據權利要求3所述的方法，其特征在于，所述將所述每個二值圖中的M個連通域中的每個連通域進行直線擬合，得到與所述每個連通域對應的第一直線段，包括：

對所述每個二值圖中的M個連通域中的每個連通域進行直線擬合，得到M條第二直線段，其中，所述M條第二直線段與所述M個連通域一一對應；

確定所述M條第二直線段中的每條第二直線段在圖像坐標下與X軸的夾角，所述X軸為圖像坐標系下的X軸；

根據所述M條第二直線段中的每條第二直線段與X軸的夾角，從所述M條第二直線段中選取K條第二直線段，其中，所述K條第二直線段中的每條第二直線段與所述X軸的夾角小于與所述每個二值圖對應的預設分割類別對應的第一閾值或者大于第二閾值，K小于或等于M；

確定所述K條第二直線段與所述X軸的夾角的均值和標準差，并確定所述K條第二直線段中的每條第二直線段與所述X軸的夾角與所述均值之間的差值；

根據所述K條第二直線段中的每條第二直線段對應的差值，以及目標閾值，從所述K條第二直線段中選取出N條第二直線段，并將所述N條第二直線段作為與所述每個連通域對應的N條第一直線段，其中，所述N條第二直線段中的每條第二直線段對應的差值小于所述目標閾值，所述目標閾值是根據所述標準差確定的，其中，N小于或等于M。

5.根據權利要求3或4所述的方法，其特征在于，所述對所述每個連通域對應的N條第一直線段進行合并，得到與所述每個連通域對應的目標直線段，包括：

獲取所述N條第一直線段中相鄰兩條第一直線段之間的夾角，以及所述相鄰兩條第一直線段之間的目標距離，所述目標距離為所述相鄰兩條第一直線段中一條第一直線段的目標端點到另外一條第一直線段的距離，所述目標端點為所述一條第一直線段的兩個端點中距離所述另外一條第一直線距離最近的端點；

在所述相鄰兩條第一直線段之間的夾角小于第三閾值，且所述目標距離小于第四閾值的情況下，將所述相鄰兩條第一直線段中距離最遠的兩個端點進行連接，以將所述相鄰兩條第一直線段合并為一條直線段；

將所述N條第一直線段中合并得到的直線段，以及未合并的第一直線段作為所述每個二值圖對應的目標直線段。