[發明專利]一種實現無標記增強現實鋼琴教學系統的方法

無效

• 申請號: 201110092086.1
• 申請日: 2011-04-13
• 公開（公告）號: CN102737534A
• 公開（公告）日: 2012-10-17
• 發明（設計）人: 都思丹;周余;于耀;黃鋒;王自強;袁杰;李楊;趙康鏈;孔令紅;許斌鋒;楊瑜;狄海進
• 申請（專利權）人: 南京大學
• 主分類號: G09B15/00
• 分類號: G09B15/00;G09B5/06;G06T17/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種實現無標記增強現實鋼琴教學系統的方法，其特征包含以下幾個步驟：

A：系統直接追蹤識別真實的鋼琴鍵盤，并且計算鋼琴的幾何特征信息，包括頂點坐標和邊的直線方程；

B：利用這些幾何特征信息計算從鋼琴坐標系坐標到攝像機坐標系坐標的轉換矩陣，建立基于鋼琴鍵盤的三維坐標系；

C：從3D模型軟件中導入三維手指模型，虛擬手指根據譜子彈奏真實的鍵盤，并且用計算機模擬彈奏出的音樂；

2.根據權利要求1所述的系統直接追蹤識別真實的鋼琴鍵盤并且計算鋼琴的幾何特征信息的方法，其特征在于，所述步驟A進一步包括步驟：

A1：圖像預處理，用閾值對原始圖像二值化，然后對圖像做閉運算，去除圖像中因為鋼琴鍵盤的鍵空隙造成的比較細的黑色線條；

A2：提取圖像中所有輪廓并分析，首先提義圖像的輪廓，然后求出所有輪廓的凸包，用Douglas-Peuker(DP)多邊形逼近算法逼近所有凸包，只有包逼近四邊形的輪廓被保留做進一步的處理；

A3：鍵盤識別，對A2保留下來的輪廓做進一步處理，找出凸包的凸缺陷所依賴的邊作為輪廓的頂邊，靠近頂邊找一條平行于頂邊的直線，沿著直線在A1預處理后的二值化圖像中取像素值構成一個數組，統計數組中連續黑色條帶數，黑色條帶數目應該跟鍵盤的黑色鍵數目相同，否則輪廓不是鍵盤輪廓；根據權利要求1所述的實現利用這些幾何特征信息計算從鋼琴坐標系坐標到攝像機坐標系坐標的轉換矩陣，建立基于鋼琴鍵盤的三維坐標系的方法，其特征在于，所述步驟B進一步包括步驟：

B1：根據A3中識別出的鋼琴鍵盤的四條邊和四個頂點，需要求出從鍵盤坐標系到攝像頭坐標系的轉換矩陣，轉換矩陣包括旋轉部分和平移部分，首先根據鋼琴的兩對平行邊在圖像中的方程計算轉換矩陣中的旋轉矩陣；

B2：利用鋼琴鍵盤的四個頂點在鍵盤坐標系下的坐標和在圖像中的坐標，使用最小二乘法計算轉換矩陣的平移部分；

B3：根據轉換矩陣建立基于鋼琴鍵盤的三維坐標系。?