[發明專利]圖像變形方法、裝置及系統

在審

• 申請號: 202011490524.5
• 申請日: 2020-12-16
• 公開（公告）號: CN112669200A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 劉建;毛妤;王云;許譯
• 申請（專利權）人: 中國科學院微電子研究所
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/00;G06T7/11
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 王文思

本公開提出一種圖像變形方法、裝置及系統，該方法包括：根據輸出圖像的尺寸以及由輸出圖像坐標到輸入圖像坐標的原變換關系對所述輸出圖像進行分塊處理，得到對應的多個子塊；在每個所述子塊內擬合一個簡單變換關系近似替代所述子塊坐標到所述輸入圖像坐標的所述原變換關系；針對每個所述子塊，根據所述簡單變換關系對所述輸入圖像進行擬合，得到至少兩個子塊范圍和對應的擬合參數；將所述擬合參數量化為整數，將量化后的擬合參數和所述子塊范圍壓縮存儲；以最近鄰先計算原則對所述子塊范圍及所述對應的擬合參數進行重新排序。

技術領域

本公開涉及圖像變形處理，具體是一種圖像變形方法、裝置及系統。

背景技術

由于攝像頭分辨率的提高以及深度學習的發展，我們能從圖像中提取到的信息越來越多，同時也越來越精確。因此，圖像處理技術目前被廣泛地應用于各行各業。

由于攝像機鏡頭畸變以及攝像機角度、物體角度和雨水等因素的干擾，采集到的原始圖像常常是扭曲的。因此通常圖像處理程序會采用圖像變形運算對扭曲的原圖像進行復原。此外，圖像變形也廣泛應用于深度學習訓練中對數據進行增強。但目前大部分圖像變形運算都較為復雜，包含指數、對數等復雜數學運算，并且往往是浮點運算，這不僅會使整個圖像處理程序速度降低，更會浪費大量的計算資源。這兩點在對實時性有一定要求并且存儲資源及運算資源較少的邊緣式設備上體現地更加明顯。

發明內容

有鑒于此，本公開的一個方面提供了一種圖像變形方法，包括：根據輸出圖像的尺寸以及由輸出圖像坐標到輸入圖像坐標的原變換關系對輸出圖像進行分塊處理，得到對應的多個子塊；在每個子塊內擬合一個簡單變換關系近似替代子塊坐標到輸入圖像坐標的原變換關系；針對每個子塊，根據簡單變換關系對輸入圖像進行擬合，得到至少兩個子塊范圍和對應的擬合參數；將擬合參數量化為整數，將量化后的擬合參數和子塊范圍壓縮存儲；以最近鄰先計算原則對子塊范圍及對應的擬合參數進行重新排序。

可選地，上述方法還包括：將輸出圖像劃分為與輸入圖像相同的多個子塊；根據簡單變換關系求得每個輸出圖像的子塊映射到輸入圖像中的范圍，得到輸入圖像中對應的子塊范圍；按照子塊范圍排列的順序對輸出圖像的子塊進行重新排序；對每個輸出圖像的子塊在參數表中查找量化為整數的擬合參數；根據量化為整數的擬合參數進行圖像變形運算，以獲取轉換后的坐標對應的像素位置。

可選地，將擬合參數量化為整數，將量化后的擬合參數和子塊范圍壓縮存儲，包括：將原本為浮點數的擬合參數乘以2的n次冪進行放大，然后將放大后的浮點數四舍五入得到定點數，將定點數壓縮存儲于參數表中。

可選地，以最近鄰先計算原則對子塊范圍及對應的擬合參數進行重新排序，包括：排序策略以輸出圖像映射到輸入圖像中子塊范圍內最小的縱坐標值為排序鍵，由小到大對輸入圖像子塊范圍進行排序，以使最小縱坐標最接近的子塊總是相鄰。

可選地，簡單變換關系僅包含乘法和加法；其中，每個簡單變換關系都有對應局部區域，在對應局部區域中簡單變換關系可以近似替代原變換關系，以提升運算效率。

可選地，根據量化為整數的擬合參數進行圖像變形運算，以獲取轉換后的坐標對應的像素位置，包括：根據量化為整數的擬合參數進行圖形變形運算并輸出計算結果，對計算結果除以2的n次冪，將結果恢復為有n位小數位的定點數，以得到轉換后的坐標；獲取轉換后的坐標鄰近的像素值進行插值，得到轉換后的坐標的近似像素值，并將近似像素值存儲到輸出圖像坐標對應像素位置。

可選地，在針對每個子塊，根據簡單變換關系對輸入圖像進行擬合，得到至少兩個子塊范圍和對應的擬合參數的操作中，使用貪心算法和最小二乘法進行擬合，進而得到子塊范圍和對應的擬合參數。

本公開的另一個方面提供了一種圖像變形裝置，包括：