[發明專利]一種基于深度學習網絡的發票照片位置矯正方法

有效

• 申請號: 202010620221.4
• 申請日: 2020-06-30
• 公開（公告）號: CN111784587B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 劉澤豪;羅天任
• 申請（專利權）人: 杭州師范大學
• 主分類號: G06T3/60
• 分類號: G06T3/60;G06T3/00;G06T7/194;G06T7/90;G06T7/64;G06N3/04;G06N3/08;G06F7/78
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于深度學習網絡的發票照片位置矯正方法，其特征在于，步驟如下：

步驟一：訓練FCN網絡；

收集發票并進行標注，標注方式為分割標注，分別標注發票框內的主體部分和發票的標題部分；然后使用FCN網絡進行訓練，將原圖和對應的標注數據放到FCN網絡中訓練，使FCN網絡輸出主體部分，發票標題以及無關背景；FCN網絡輸出大小為448*448的灰度圖；輸出灰度圖之中，標題部分的灰度值為50，主體部分灰度值為100，背景部分灰度值為255；

步驟二：圖像分割；

將待矯正的發票輸入訓練好的FCN網絡中，分割出發票的主體部分、發票標題以及無關背景；將輸出灰度圖按照灰度值差異生成為兩張圖，一張包含發票的主體部分和背景，一張包含發票標題和背景；

步驟三：計算發票主體部分的四個角點的像素值；

步驟四：確定發票的方向；

遍歷包含標題的灰度圖，找到發票的標題位置，以發票區域中任意一個點x0作為標題的位置；

根據x0來標注步驟三獲得的四個角點；設標題x0所在的位置為發票正相位，以逆時針方向，標記發票的四個角點為別為p1,p2,p3,p4；

步驟五：通過透視變換矯正發票的方向。

2.根據權利要求1所述的一種基于深度學習網絡的發票照片位置矯正方法，其特征在于，所述的步驟三具體方法如下：

對包含主體部分的灰度圖進行處理：

3.1采用opencv中findContours進行輪廓檢測，找到圖像中可能包含發票主體的部分；

3.2采用opencv中convexHull進行凸包檢測；

3.3采用opencv中approxPolyDP找到凸包的頂點；

3.4篩選出有四個頂點的四邊形；

3.5計算四邊形的面積，其中面積大于閾值的為發票主體部分；

3.6篩選出的四個頂點為所求發票主體的四個角點。

3.根據權利要求2所述的一種基于深度學習網絡的發票照片位置矯正方法，其特征在于，進一步的，步驟三所述的閾值設置為60。

4.根據權利要求2所述的一種基于深度學習網絡的發票照片位置矯正方法，其特征在于，所述的步驟五具體方法如下：

求出四個角點在原圖中的坐標；公式如下：

其中，X為原圖的寬，Y為原圖的長；px,py為點在原圖中的x,y坐標，px′為步驟三中求出的角點的x坐標，py′為角點的y坐標；

根據四個角點在原圖中的坐標，找到其中x坐標的最大值設為Xmax,找到x坐標的最小值設為Xmin；找到其中y坐標的最大值設為Ymax,找到最小值設為Ymin；將變換后的圖像長度和寬度分別設置為L＝Xmax-Xmin,W＝Ymax-Ymin；對應變換之后的四個角點p1,p2,p3,p4的坐標值(PX，PY)分別為(0，0)，(0，L)(W,L),(0,W)；

根據獲得的四個角點在原圖中的坐標計算圖像的變換矩陣，公式如下：

其中，PX，PY為變換后對應點的坐標，采用opencv中GetPerspectiveTransform求解a矩陣，由于是二維變換w設為1；

根據獲得的圖像的變換矩陣進行透視變換，公式如下：

其中x_n,y_n為原圖像中每一個像素點n的坐標值，x′_n,y′_n為透視變換之后像素點n的坐標值；采用上述公式，利用opencv中warpPerspective將原圖每一個像素點乘于變換矩陣就可以得到正向的發票圖片。