[發明專利]一種基于計算機視覺技術的輔助二胡練習者弓法檢測方法

在審

• 申請號: 201811248461.5
• 申請日: 2018-10-25
• 公開（公告）號: CN109543543A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 鄧宏平;陳波
• 申請（專利權）人: 深圳市象形字科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06T5/40;G06T7/136;G06T7/168;G06T7/194
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 陳娟

1.一種基于計算機視覺技術的輔助二胡練習者弓法檢測方法，其特征在于包括以下步驟：

SS01利用深度傳感器采集信息：位于練習者正前方和側面的深度傳感器從不同角度采集二胡練習者的圖像；

SS02深度信息的利用和初步分割：對深度傳感器獲取的圖像進行初步分割，提取出練習者所在的區域圖像，即包含背景墻面信息；

SS03弓和弦的定位：可見光相機和深度傳感器同時啟用，獲取練習者區域的實際圖像，并進一步提取出弓的位置、弦的位置；

SS04可見光相機檢測弓的位置與弓法分析：利用上述SS03獲取到的弓和弦的位置，判斷運弓的準確性、弓擺放的角度以及弓與弦接觸的位置是否準確，以此來輔助練習者進行練習。

2.根據權利要求1所述的一種基于計算機視覺技術的輔助二胡練習者弓法檢測方法，其特征在于，所述深度傳感器包括第一深度傳感器和第二深度傳感器，所述可見光相機包括第一可見光相機和第二可見光相機，所述第一深度傳感器位于練習者前方1米的距離，距離地面高度0.5米，正對著練習者；所述第二深度傳感器位于練習者左側1米距離，距離地面高度0.5米，正對著練習者；所述第一可見光相機位于練習者前方1米的距離，距離地面高度0.5米，正對著練習者；所述第二可見光相機位于練習者右側1米的距離，距離地面高度0.8米，正對著練習者。

3.根據權利要求1所述的一種基于計算機視覺技術的輔助二胡練習者弓法檢測方法，其特征在于，包括以下步驟：

SS021獲取灰度值范圍：將深度傳感器獲取的圖像設為M，獲取該圖像像素值的最大值M_max和最小值M_min，直方圖的橫坐標范圍為[M_min,M_max]，即為像素值的分布范圍；

SS022繪制灰度直方圖：遍歷當前深度圖像的每一個像素，繪制該圖像對應的灰度直方圖；

SS023尋找閾值：分析該灰度直方圖，尋找豎坐標陡升陡降的點所對應的橫坐標，作為分割的閾值k；

SS024圖像分割：將上述SS023得到的閾值k進行分割，逐像素點遍歷當前圖像，若像素值大于閾值k，則像素值屬于背景區域，并將像素值置為0，反之，則像素值屬于前景區域；

SS025獲取分割圖像：上述步驟完成后，獲得圖像M'，重復上述步驟N次，獲得圖像N'。

4.根據權利要求1所述的一種基于計算機視覺技術的輔助二胡練習者弓法檢測方法，其特征在于，包括以下步驟：

SS031圖像灰度化：結合深度傳感器和可見光相機所獲取的圖像T，將其灰度化標記為T'；

SS032背景過濾；結合深度傳感器以及可見光相機所得圖像，分割背景；

SS033檢測弓和弦：采用基于霍夫變換的直線檢測方法來檢測弓和弦；

SS034角度檢測：檢測所有線段與豎直方向的角度，若某一條線段與豎直方向的夾角大于10度，則對應的是弓，記為F，而另外兩條線段是對應著弦，分別記為Z¹和Z²；

SS035實時檢測：記錄某一時刻練習者正前方傳感器采集到的圖像記為M_i和T_i，則首先對M_i執行上述SS021-SS024步驟，得到圖像M_i'；獲取當前時刻的弓和弦位置，對于圖像T_i和M_i'執行上述SS031-SS033步驟，得到時刻為i的弓線段F_i以及弦和

5.根據權利要求1所述的一種基于計算機視覺技術的輔助二胡練習者弓法檢測方法，其特征在于，包括以下步驟：

SS041弓速計算：在時刻i+1000重復步驟SS03得到弓線段F_i+1000，分別獲取F_i與F_i+1000的中心點，記為C_i和C_i+1000；按照以下公式計算：

其中v_i表示位于時刻i到時刻i+1000的弓的平均速度，F_i^x表示位于時刻i弓中心的x坐標，表示位于時刻i+1000弓中心的x坐標，F_i^y表示位于時刻i弓中心的y坐標，表示位于時刻i+1000弓中心的y坐標；

SS042檢測接觸位置：在時刻j重復上述SS03步驟，得到時刻j的F_j、和判斷當前時刻與F_j是否交叉，若交叉則弓與弦接觸，反之，繼續分析下一時刻與F_j+1000是否交叉，直到某一時刻的與F_a交叉；獲取當前交叉點的位置，記為P(x',y')；判斷改點是否在弓的中間位置，獲取當前弓的中間位置，記為Q(x”,y”)，計算兩者之間的距離d，計算公式如下：

若d小于閾值10，則表示在中間位置左右，符合規范，否則不符合規范。

SS043判斷方位角：獲取二胡練習者練習使其位于時刻的i的弦線段和弓線段F_i，并計算獲取其夾角θ_i，若夾角θ_i滿足角度范圍，則符合要求，反之不符合要求；每隔1000幀分析一次夾角，判斷夾角是否滿足要求；

SS044內外弦正確性：獲取內弦和外弦對應的線段，確定左邊的線段為內弦，確定右邊的線段為外弦，若左邊的線段出現交叉情況，則弓毛與內弦接觸，若右邊的線段出現交叉情況，則弓毛與外弦接觸；

SS045運弓的直線性：每隔1000幀深度傳感器和可見光相機采集一次圖像，并按照上述SS03步驟，獲取當前時刻的弓F_i和其中點位置C_i；獲取上次采集到的圖像中弓F_i-1000和其中點位置C_i-1000；連接C_i和C_i-1000，可得一條線段，記為B_i；B_i和F_i-1000可形成一個夾角α，通過該夾角判斷相鄰兩次采集的圖像中，弓的運動是否在一條直線上；若α小于10度，則該練習者相鄰兩次的運弓在一條直線上，反之偏移角度過大，運弓不在一條直線上。