[發明專利]一種面向簡譜圖像的音高及對應歌詞提取方法及系統

有效

• 申請號: 202010036491.0
• 申請日: 2020-01-14
• 公開（公告）號: CN111274891B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 尹學淵;祁松茂;江天宇
• 申請（專利權）人: 成都潛在人工智能科技有限公司
• 主分類號: G06V30/40
• 分類號: G06V30/40;G06V30/18;G06V30/148
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 賀理興

1.一種面向簡譜圖像的音高及對應歌詞提取方法，其特征在于：包括如下步驟：

S1：簡譜圖像預處理，將待識別的簡譜圖像轉化為灰度圖，并對圖像進行矯正；

S2：將處理后的簡譜圖像輸入訓練好的字符識別模型，識別得到簡譜圖像的字符及字符的位置信息的集合；

S3：根據字符的位置信息對字符進行排序分行，得到每行字符的字符集合；

S4：根據字符集合進行字符篩選，篩除無關信息，并將多個字符行的集合分為音高行和歌詞行兩個集合；

S5：根據識別得到的字符及字符的位置信息，將歌詞行內的字符逐一與音高行內的字符進行距離計算；

S6：根據計算得到的距離以及單個字符的位置信息對音高字符和歌詞字符進行匹配；所述的對音高字符和歌詞字符進行匹配的依據是：當且僅當音高字符和歌詞字符中，音高字符y坐標大于歌詞字符y坐標并且兩個字符的曼哈頓距離最小時，兩個字符相匹配；

S7：根據音高字符的位置信息，從簡譜圖像中剪切出音高字符圖像；

S8：分析剪切圖像中浮點的存在性及位置占比，判斷音高；具體為采用輪廓跟蹤算法檢測剪切圖像的音高浮點；S801：若檢測到不存在浮點，則判定音高字符對應著本音，不存在高低八度；S802：若檢測到浮點，則判斷音高字符屬于哪種音高；A.若音高字符的剪切圖像的上方α*height部分存在浮點，則該音高字符為高八度的音高字符，α是(0,0.5)區間的某值；B.若音高字符的剪切圖像的下方β*height部分存在浮點，則該音高字符為低八度的音高字符，β是(0.5,1)區間的某值；C.若音高字符剪切圖像其余位置出現浮點，音高字符保持原音；

S9：根據判斷的音高更新歌詞與對應音高的匹配結果。

2.根據權利要求1所述的面向簡譜圖像的音高及對應歌詞提取方法，其特征在于：所述的圖像預處理具體包括：

S101：將簡譜圖像轉換為單通道的灰度圖，采用如下公式：

Gray＝(R*a+G*b+B*c)/d，其中Gray為灰度通道，R為原圖像紅色通道值，G為綠色通道值，B為藍色通道值，a、b、c、d是各個系數且均為正整數；

S102：采用透視變換對灰度圖進行矯正，通過二值化和圖像開閉運算獲取灰度圖的四角作為初始點坐標，指定變換后的四角坐標，根據矯正變換公式求出變換矩陣a，再按照變換矩陣對圖像進行插值，完成圖像矯正，矯正變換公式為：

其中，[x',y',w']是變換后的坐標點，[u,v,w]是初始的點坐標，由于初始點坐標源于二維圖像，所以初始坐標的w恒為1；a矩陣是變換矩陣。

3.根據權利要求1所述的面向簡譜圖像的音高及對應歌詞提取方法，其特征在于：所述的字符識別模型包括兩個，一個是CTPN模型，另一個是DenseNet與CTC的組合模型。

4.根據權利要求1所述的面向簡譜圖像的音高及對應歌詞提取方法，其特征在于：所述的步驟S3具體包括：

S301：按將字符照y軸坐標升序排序；

S302：將所有的字符分類成一行一行的字符行，分類標準為：若兩個字符的y軸坐標相差不超過m個像素單位，則這兩個字符屬于同一行，m為一個正整數；

S303：將每一個字符行內的字符按照x軸坐標升序排序，得到以字符行為單位，每行字符行都按照x坐標升序排序的字符集合。

5.根據權利要求1所述的面向簡譜圖像的音高及對應歌詞提取方法，其特征在于：所述的步驟S4包括：

S401：根據字符集合，以字符行為單位，判斷字符集合與所有篩選信息的集合是否存在交集，若不存在交集，則跳過該字符集合，若存在交集，則刪除字符集合；

S402：根據每行字符的類型以及其相鄰字符行的類型判斷出音高行和歌詞行，將篩選后的字符集合進一步分為音高行和歌詞行兩個集合。