[發明專利]一種基于手機平臺的圖像實時校正改進方法

有效

• 申請號: 201811085387.X
• 申請日: 2018-09-18
• 公開（公告）號: CN109360144B
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 季曉勇;陳磊;金偉旗;谷宇
• 申請（專利權）人: 南京大學
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 胡建華;于瀚文

1.一種基于手機平臺的圖像實時校正改進方法，其特征在于，包括以下步驟：

步驟1，調整手機攝像頭的高度和角度，拍攝標準小正方形方格圖板的測試圖像；

步驟2，對步驟1中的測試圖像進行角點提取；

步驟3，對步驟2中提取出的角點進行篩選，得到圖像上最大畸變正方形的四個頂點坐標，并計算出標準正方形的四個頂點坐標；

步驟4，根據步驟4中得到的頂點坐標，進行空間變換，計算得出校正系數，根據校正系數對手機實時拍攝的圖像進行校正；

步驟5，對步驟4校正得到的圖像進行ROI區域自適應放大和灰度插值計算，得到校正圖像；

步驟1包括如下步驟：

步驟1-1：準備一張畫滿標準小正方形方格的圖板，用于拍攝標準測試圖像；

步驟1-2：手機攝像頭的高度和角度調整范圍：以手機機身左下角為坐標系原點，以機身長邊為Y軸，短邊為X軸，手機平放時垂直于屏幕且向上為Z軸方向；俯仰角為手機Y軸繞X軸旋轉的角度，即機身與拍攝平面之間的夾角，也就是攝像頭光軸與拍攝平面的垂線之間的夾角，所在的范圍分布在10度到45度；傾斜角為X軸繞Y軸旋轉的角度，即右手持手機時X軸繞Y軸旋轉的角度，分布在0到10度；左手持手機時X軸繞Y軸旋轉的角度分布在-10度到0度；手機攝像頭的高度范圍為1.1m到1.4m；

步驟1-3：手機攝像頭的高度和角度調整規則：將手機固定在三角支架上，調整攝像頭至1.1m，以1cm為高度調整間隔，同時以1度為角度間隔調整X軸和Y軸的旋轉角度，確定手機攝像頭所處的高度、手機Y軸繞X軸的旋轉角和X軸繞Y軸的旋轉角；

步驟1-4：實時采集一幀標準測試圖像；

步驟2包括：

步驟2-1：圖像預處理：對采集到的標準測試圖像灰度化后，進行高斯平滑濾波；

步驟2-2：將標準測試圖像上每個點的灰度值與其8領域內的點的灰度值進行比較，灰度值之差在20以內的判定為相似點，如果一個中心點周圍8個點中有7個或8個點灰度值與之相似，判定該中心點處于平坦區域，不是角點，排除該中心點；如果一個中心點周圍只有1個點或者沒有點與之相似，判定該中心點不是角點，排除該中心點；

步驟2-3：使用橫向Prewitt差分模板計算圖像每個像素I(x，y)在X方向的梯度I_x和Y方向的梯度I_y；

步驟2-4：通過如下公式計算梯度方向的乘積：

I_xy＝I_x·I_y，

其中，表示X方向的梯度乘積，表示Y方向的梯度乘積，I_xy表示X方向和Y方向的梯度乘積；

步驟2-5：使用高斯窗口對I_xy進行濾波，并構造自相關矩陣M，高斯核函數為ω(x，y)＝exp(-(x²+y²)/σ²)，則自相關矩陣M中的元素M₁，M₂，M₃為：

自相關矩陣M為：

步驟2-6：構造角點響應函數R＝detM-k(traceM)^2，k為常數系數，對步驟2-2中篩選出的每一點，計算出其R值，選出其中的最大值R_max，設定閾值為Q*R_max，Q為常數系數，當一個點的R值大于閾值時，判定該點是候選角點；

步驟2-7：對候選角點進行局部極大值抑制，通過一個3*3的窗口來進行篩選，判定在8鄰域內角點響應值R是最大值的點是角點；

步驟3包括如下步驟：

步驟3-1：在步驟2提取出的角點中，將距離在10個像素以內的點判斷為相似點，對它們取平均值作為角點坐標保存在h數組中；

步驟3-2：從h數組中選出縱坐標最大橫坐標最小的那個點，即圖像中左下角的角點A，其坐標為(x_a，y_a)，將與其縱坐標相差30以內的角點全部提取出來，視為在同一水平直線上，最右側的點為D，其坐標為(x_d，y_d)，直線AD長為L，其上共N個角點；

步驟3-3：在余下的角點中提取縱坐標最大的點，再次將與其縱坐標相差30以內的點全部提取出來，視為在同一水平直線上，計算其中每個點與A點的斜率為負且最大的那條直線，即為畸變正方形左邊的邊所在的直線，與A點構成這條直線的那個點記為A’；

步驟3-4：重復步驟3-3，直到畸變正方形左邊的邊所在的直線上的角點數目為N，將最上方的點記為B；

步驟3-5：在與B點縱坐標相差30以內的點中提取橫坐標大于B點的N-1個點，橫坐標最大的那個點記為C，則直線BC上也具有N個角點，此時ABCD即為畸變正方形的四個頂點，將四個頂點保存在d數組中；

步驟3-6：直線AD同時為標準正方形的底邊，標準正方形另外2個頂點分別是B′和C′，B′坐標為(x_a,y_a-L)，C′坐標為(x_d，y_d-L)，將B′和C′保存在n數組中；

步驟4包括如下步驟：

步驟4-1：使用MATLAB的maketform函數創建變換結構體TFORM，參數為希望執行變換的類型'projective'和步驟3中得到的2個數組d和n，結構體會輸出一個變換系數，即校正系數；

步驟4-2執行變換：將要變換的圖像和校正系數傳遞給MATLAB自帶的imtransform函數實現變換，imtransform函數將返回變換后的圖像，此函數將在輸入圖像上插值計算輸出圖像的像素值；

步驟4-3：指定填充值：填充值默認像素為0，顯示為黑色；

步驟5包括如下步驟：

步驟5-1：校正完成后，在校正后圖像中測量手機拍攝者正前方2m距離內路面占整體圖像的長度比例，建立一張數據表，在數據表中存儲手機拍攝高度和俯仰角的角度信息以及對應情況下的有效區域占整體圖像的比例t，以高度和俯仰角的大小作為數據表中每條記錄的索引；

步驟5-2：以圖像最下方中間點為中心，對圖像進行放大，放大倍數為1/t，使圖像后續處理的是前方2m以內的路面信息；

步驟5-3：放大完成后，超出圖像范圍的區域被刪除，再對圖像插值運算，得到拍攝前方2m以內路面的校正圖像。