[發明專利]一種鋼琴鍵盤圖像的形變恢復方法及系統

在審

• 申請號: 202011109924.7
• 申請日: 2020-10-16
• 公開（公告）號: CN112184835A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 羅秋明;沙士豪;溫志偉
• 申請（專利權）人: 深圳阿圖科技有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/13;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 王月松

本發明公開了一種鋼琴鍵盤圖像的形變恢復方法及系統。該方法包括：以樣本圖像為輸入，以樣本圖像中黑鍵的像素坐標以及設定白鍵的角點的像素坐標為標簽，訓練神經網絡，得到角點檢測模型；將標定圖像輸入角點檢測模型，得到輸出結果，標定圖像為與待恢復形變圖像同一攝像機拍攝的、已知設定白鍵的角點的現實坐標的圖像；刪除輸出結果中識別錯誤的白鍵角點的像素坐標；根據白鍵角點的像素坐標以及標定圖像中設定白鍵的角點的現實坐標，求解攝像機的內外參數和畸變參數；根據待恢復形變圖像上各像素點的像素坐標，結合攝像機的內外參數和畸變參數，計算待恢復形變圖像上各像素點的現實坐標。本發明能夠簡便快捷的實現對鋼琴鍵盤圖像的形變恢復。

技術領域

本發明涉及圖像處理技術領域，特別是涉及一種鋼琴鍵盤圖像的形變恢復方法及系統。

背景技術

廣角攝像機能夠捕捉到大視角的景物圖像信息，可應用于較近距離錄制鋼琴教學視頻。然而，廣角攝像機成像后的圖像存在畸變，不利于視頻的視覺體驗，所以需要通過攝像機標定技術，對圖像的幾何畸變進行修正。傳統廣角攝像機的修正，需要依賴特定材料的圖像(如黑白棋盤紙的畸變圖像)，檢測出其中的網格角點，方可進一步計算出攝像機的內外參數及畸變參數并進行畸形圖像修正。但是，特定材料的圖像這一要求對于修正鋼琴教學視頻的圖像畸變是極其不便的。

發明內容

本發明的目的是提供一種簡便的鋼琴鍵盤圖像形變恢復方法及系統。

為實現上述目的，本發明提供了如下方案：

一種鋼琴鍵盤圖像的形變恢復方法，包括：

以樣本圖像為輸入，以樣本圖像中黑鍵的像素坐標以及設定白鍵的角點的像素坐標為標簽，訓練神經網絡，得到角點檢測模型，所述樣本圖像為鋼琴鍵盤圖像，所述設定白鍵為與黑鍵具有設定位置關系的白鍵；

將標定圖像輸入所述角點檢測模型，得到輸出結果，所述標定圖像為與待恢復形變圖像同一攝像機拍攝的、已知設定白鍵的角點的現實坐標的圖像；

根據所述輸出結果中的黑鍵的像素坐標以及黑鍵與設定白鍵的所述設定位置關系，刪除所述輸出結果中識別錯誤的白鍵角點的像素坐標，得到去誤差后的白鍵角點的像素坐標；

根據去誤差后的白鍵角點的像素坐標以及標定圖像中設定白鍵的角點的現實坐標，求解拍攝所述標定圖像的攝像機的內外參數和畸變參數；

根據所述待恢復形變圖像上各像素點的像素坐標，結合所述攝像機的內外參數和畸變參數，計算待恢復形變圖像上各像素點的現實坐標。

可選的，所述內外參數包括體現像素坐標系與相機坐標系變換的內參數和體現相機坐標系與世界坐標系變換的外參數；所述畸變參數包括徑向畸變參數和切向畸變參數。

可選的，所述根據去誤差后的白鍵角點的像素坐標以及標定圖像中設定白鍵的角點的現實坐標，求解拍攝所述標定圖像的攝像機的內外參數和畸變參數，具體包括：

對去誤差后的白鍵角點的像素坐標進行線性回歸，得到線性回歸線；

從所述線性回歸線的一端到另一端，結合黑鍵與白鍵的位置關系，依次確定去誤差后的白鍵角點對應的所述現實坐標；

根據像素坐標、現實坐標以及攝像機內外參數、畸變參數之間的關系式以及白鍵角點的像素坐標和現實坐標，計算所述攝像機的內外參數、畸變參數。

可選的，所述根據所述待恢復形變圖像上各像素點的像素坐標，結合所述攝像機的內外參數和畸變參數，計算待恢復形變圖像上各像素點的現實坐標，具體包括：

將所述待恢復形變圖像上像素點的像素坐標以及所述攝像機的內外參數和畸變參數代入像素坐標、現實坐標以及攝像機內外參數、畸變參數之間的關系式，得到待恢復形變圖像上像素點的現實坐標。

可選的，所述設定白鍵為相鄰兩組黑鍵之間的白鍵。