[發明專利]一種基于簡譜識別和基頻提取的人聲旋律提取方法及系統

有效

• 申請號: 202010059062.5
• 申請日: 2020-01-19
• 公開（公告）號: CN111326171B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 尹學淵;劉鑫忠;江天宇
• 申請（專利權）人: 成都潛在人工智能科技有限公司
• 主分類號: G10L25/48
• 分類號: G10L25/48;G10L25/51
• 代理公司: 成都睿道專利代理事務所(普通合伙) 51217
• 代理人: 賀理興

1.一種基于簡譜識別和基頻提取的人聲旋律提取方法，其特征在于：包括如下步驟：

S1：數據預處理，將待處理歌曲對應的簡譜文件進行二值化處理，將歌曲原始音頻文件處理為降采樣后的單聲道音頻，從降采樣后的單聲道音頻中分離出人聲波形；

S2：簡譜識別，識別簡譜中的音符與歌詞對，得到歌詞與音符的列表；

S3：人聲波形的唱詞與簡譜識別結果對齊，根據唱詞文件，檢索歌詞與音符的列表，得到行歌詞與音符的匹配結果序列；

S4：基頻提取，選擇一個音符，根據分離得到的人聲波形計算音符的基頻頻率，根據計算得到的基頻頻率及各音符的相對關系，計算各音符的頻率，并將各音符的頻率轉換為midi音高；

S5：音高平移，平移行歌詞與音符的匹配結果序列，得到音高與各音符的midi音高相匹配的行歌詞與音符的匹配結果序列；

所述的基頻提取具體包括：

S401：選定一個音符；

S402：遍歷唱詞與音高對齊之后的序列，找到選定的音符對應的人聲波形片段；

S403：剪裁所有找到的人聲波形片段；

S404：識別所有剪裁的片段的基頻；

S405：統計所有剪裁片段的基頻，以數量最多的頻率作為選定音符的基礎頻率；

S406：根據選定音符與各音符的相對關系，計算各音符的頻率；

S407：將各音符的頻率轉換為midi音高；

所述的音符為do、re、mi、fa、so、la、si中的任意一個。

2.根據權利要求1所述的基于簡譜識別和基頻提取的人聲旋律提取方法，其特征在于：所述的數據預處理具體包括：

S101：將歌曲原始音頻文件解碼為wave格式，并歸一化至-1～1；

S102：將wave格式的音頻通過平均得到單聲道的音頻；

S103：將單聲道音頻降采樣至8000～44100之間；

S104：將歌曲對應的簡譜文件做二值化處理；

S105：從降采樣后的單聲道音頻中分離出人聲波形。

3.根據權利要求2所述的基于簡譜識別和基頻提取的人聲旋律提取方法，其特征在于：所述的數據預處理還包括：S106：根據歌詞文件將人聲波形按句分割成多個波形文件。

4.根據權利要求1所述的基于簡譜識別和基頻提取的人聲旋律提取方法，其特征在于：所述的簡譜識別采用OCR?api或者開源OCR。

5.根據權利要求1所述的基于簡譜識別和基頻提取的人聲旋律提取方法，其特征在于：所述的歌詞與簡譜識別結果對齊具體包括：

S301：解析唱詞文件，按句獲得唱詞文件中的所有唱詞序列；

S302：在簡譜識別得到的歌詞與音符的列表中檢索每一句唱詞的文字序列；

S303：將歌詞與音符對按唱詞序列進行排序，實現人聲波形的唱詞與音高對齊。

6.根據權利要求1所述的基于簡譜識別和基頻提取的人聲旋律提取方法，其特征在于：所述的音符為do音。

7.應用權利要求1-6中任意一項所述的基于簡譜識別和基頻提取的人聲旋律提取方法的系統，其特征在于：包括數據處理模塊、簡譜識別模塊、唱詞與音符對齊模塊、基頻模塊和音高平移模塊；

所述的數據處理模塊將待處理歌曲對應的簡譜文件進行二值化處理，將歌曲原始音頻文件處理為降采樣后的單聲道音頻，從降采樣后的單聲道音頻中分離出人聲波形；

所述的簡譜識別模塊用于識別簡譜中的音符與歌詞對，得到歌詞與音符的列表；

所述的人聲波形的唱詞與音符對齊模塊用于根據唱詞文件，檢索歌詞與音符的列表，得到行歌詞與音符的匹配結果序列；

所述的基頻模塊用于選擇一個音符計算音符的基頻頻率，根據計算得到的基頻頻率及各音符的相對關系，計算各音符的頻率，并將各音符的頻率轉換為midi音高；

所述的音高平移模塊用于平移行歌詞與音符的匹配結果序列，得到音高與各音符的midi音高相匹配的行歌詞與音符的匹配結果序列。