[發(fā)明專(zhuān)利]一種鋼琴鍵盤(pán)圖像的形變恢復(fù)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011109924.7
• 申請(qǐng)日: 2020-10-16
• 公開(kāi)（公告）號(hào): CN112184835A
• 公開(kāi)（公告）日: 2021-01-05
• 發(fā)明（設(shè)計(jì)）人: 羅秋明;沙士豪;溫志偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳阿圖科技有限公司
• 主分類(lèi)號(hào): G06T7/80
• 分類(lèi)號(hào): G06T7/80;G06T7/13;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京方圓嘉禾知識(shí)產(chǎn)權(quán)代理有限公司 11385
• 代理人: 王月松

1.一種鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，包括：

以樣本圖像為輸入，以樣本圖像中黑鍵的像素坐標(biāo)以及設(shè)定白鍵的角點(diǎn)的像素坐標(biāo)為標(biāo)簽，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到角點(diǎn)檢測(cè)模型，所述樣本圖像為鋼琴鍵盤(pán)圖像，所述設(shè)定白鍵為與黑鍵具有設(shè)定位置關(guān)系的白鍵；

將標(biāo)定圖像輸入所述角點(diǎn)檢測(cè)模型，得到輸出結(jié)果，所述標(biāo)定圖像為與待恢復(fù)形變圖像同一攝像機(jī)拍攝的、已知設(shè)定白鍵的角點(diǎn)的現(xiàn)實(shí)坐標(biāo)的圖像；

根據(jù)所述輸出結(jié)果中的黑鍵的像素坐標(biāo)以及黑鍵與設(shè)定白鍵的所述設(shè)定位置關(guān)系，刪除所述輸出結(jié)果中識(shí)別錯(cuò)誤的白鍵角點(diǎn)的像素坐標(biāo)，得到去誤差后的白鍵角點(diǎn)的像素坐標(biāo)；

根據(jù)去誤差后的白鍵角點(diǎn)的像素坐標(biāo)以及標(biāo)定圖像中設(shè)定白鍵的角點(diǎn)的現(xiàn)實(shí)坐標(biāo)，求解拍攝所述標(biāo)定圖像的攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)；

根據(jù)所述待恢復(fù)形變圖像上各像素點(diǎn)的像素坐標(biāo)，結(jié)合所述攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)，計(jì)算待恢復(fù)形變圖像上各像素點(diǎn)的現(xiàn)實(shí)坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，所述內(nèi)外參數(shù)包括體現(xiàn)像素坐標(biāo)系與相機(jī)坐標(biāo)系變換的內(nèi)參數(shù)和體現(xiàn)相機(jī)坐標(biāo)系與世界坐標(biāo)系變換的外參數(shù)；所述畸變參數(shù)包括徑向畸變參數(shù)和切向畸變參數(shù)。

3.根據(jù)權(quán)利要求1所述的鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，所述根據(jù)去誤差后的白鍵角點(diǎn)的像素坐標(biāo)以及標(biāo)定圖像中設(shè)定白鍵的角點(diǎn)的現(xiàn)實(shí)坐標(biāo)，求解拍攝所述標(biāo)定圖像的攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)，具體包括：

對(duì)去誤差后的白鍵角點(diǎn)的像素坐標(biāo)進(jìn)行線性回歸，得到線性回歸線；

從所述線性回歸線的一端到另一端，結(jié)合黑鍵與白鍵的位置關(guān)系，依次確定去誤差后的白鍵角點(diǎn)對(duì)應(yīng)的所述現(xiàn)實(shí)坐標(biāo)；

根據(jù)像素坐標(biāo)、現(xiàn)實(shí)坐標(biāo)以及攝像機(jī)內(nèi)外參數(shù)、畸變參數(shù)之間的關(guān)系式以及白鍵角點(diǎn)的像素坐標(biāo)和現(xiàn)實(shí)坐標(biāo)，計(jì)算所述攝像機(jī)的內(nèi)外參數(shù)、畸變參數(shù)。

4.根據(jù)權(quán)利要求1所述的鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，所述根據(jù)所述待恢復(fù)形變圖像上各像素點(diǎn)的像素坐標(biāo)，結(jié)合所述攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)，計(jì)算待恢復(fù)形變圖像上各像素點(diǎn)的現(xiàn)實(shí)坐標(biāo)，具體包括：

將所述待恢復(fù)形變圖像上像素點(diǎn)的像素坐標(biāo)以及所述攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)代入像素坐標(biāo)、現(xiàn)實(shí)坐標(biāo)以及攝像機(jī)內(nèi)外參數(shù)、畸變參數(shù)之間的關(guān)系式，得到待恢復(fù)形變圖像上像素點(diǎn)的現(xiàn)實(shí)坐標(biāo)。

5.根據(jù)權(quán)利要求1所述的鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，所述設(shè)定白鍵為相鄰兩組黑鍵之間的白鍵。

6.根據(jù)權(quán)利要求5所述的鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，相鄰兩組黑鍵之間有兩個(gè)白鍵，所述設(shè)定白鍵的角點(diǎn)為兩個(gè)白鍵中某一白鍵與另一白鍵的相鄰邊的上下兩個(gè)角點(diǎn)。

7.根據(jù)權(quán)利要求6所述的鋼琴鍵盤(pán)圖像的形變恢復(fù)方法，其特征在于，所述黑鍵的像素坐標(biāo)為黑鍵四個(gè)角點(diǎn)的像素坐標(biāo)。

8.一種鋼琴鍵盤(pán)圖像的形變恢復(fù)系統(tǒng)，其特征在于，包括：

角點(diǎn)檢測(cè)模型訓(xùn)練模塊，用于以樣本圖像為輸入，以樣本圖像中黑鍵的像素坐標(biāo)以及設(shè)定白鍵的角點(diǎn)的像素坐標(biāo)為標(biāo)簽，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，得到角點(diǎn)檢測(cè)模型，所述樣本圖像為鋼琴鍵盤(pán)圖像，所述設(shè)定白鍵為與黑鍵具有設(shè)定位置關(guān)系的白鍵；

角點(diǎn)檢測(cè)模塊，用于將標(biāo)定圖像輸入所述角點(diǎn)檢測(cè)模型，得到輸出結(jié)果，所述標(biāo)定圖像為與待恢復(fù)形變圖像同一攝像機(jī)拍攝的、已知設(shè)定白鍵的角點(diǎn)的現(xiàn)實(shí)坐標(biāo)的圖像；

去誤差模塊，用于根據(jù)所述輸出結(jié)果中的黑鍵的像素坐標(biāo)以及黑鍵與設(shè)定白鍵的所述設(shè)定位置關(guān)系，刪除所述輸出結(jié)果中識(shí)別錯(cuò)誤的白鍵角點(diǎn)的像素坐標(biāo)，得到去誤差后的白鍵角點(diǎn)的像素坐標(biāo)；

相機(jī)參數(shù)求取模塊，用于根據(jù)去誤差后的白鍵角點(diǎn)的像素坐標(biāo)以及標(biāo)定圖像中設(shè)定白鍵的角點(diǎn)的現(xiàn)實(shí)坐標(biāo)，求解拍攝所述標(biāo)定圖像的攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)；

形變恢復(fù)模塊，用于根據(jù)所述待恢復(fù)形變圖像上各像素點(diǎn)的像素坐標(biāo)，結(jié)合所述攝像機(jī)的內(nèi)外參數(shù)和畸變參數(shù)，計(jì)算待恢復(fù)形變圖像上各像素點(diǎn)的現(xiàn)實(shí)坐標(biāo)。