[發明專利]樂譜識別方法、裝置、設備及存儲介質

在審

• 申請號: 202110322920.5
• 申請日: 2021-03-26
• 公開（公告）號: CN112926603A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 梅亞琦;韓寶強;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京市京大律師事務所 11321
• 代理人: 姚維

1.一種樂譜識別方法，其特征在于，所述樂譜識別方法包括：

獲取待識別手寫樂譜圖像；

根據預設尺寸，對所述待識別手寫樂譜圖像進行調整，并基于調整后的手寫樂譜圖像提取待識別圖像集；

將所述待識別圖像集輸入預置的特征提取模型進行特征提取，得到所述待識別圖像集的樂譜特征矩陣；

將所述樂譜特征矩陣輸入預置的特征識別模型中進行識別，得到初始識別結果矩陣；

調用損失函數對所述初始識別結果矩陣進行優化，得到手寫樂譜識別結果。

2.根據權利要求1所述的樂譜識別方法，其特征在于，所述根據預設尺寸，對所述待識別手寫樂譜圖像進行調整，并基于調整后的手寫樂譜圖像提取待識別圖像集包括：

根據所述待識別手寫樂譜圖像中的內容位置，將所述待識別手寫樂譜圖像分割成多個切分圖像片；

在保持所述切分圖像片的長寬比例不變的前提下，將所述多個切分圖像片中每個切分圖像片像素高度調整為預設像素高度，得到多個調整圖像片；

將所述調整圖像片按原順序進行排列，得到待識別圖像集。

3.根據權利要求2所述的樂譜識別方法，其特征在于，所述特征提取模型包括卷積層和池化層，所述將所述待識別圖像集輸入預置的特征提取模型進行特征提取，得到所述待識別圖像集的樂譜特征矩陣包括：

將所述待識別圖像集輸入至所述卷積層進行樂譜特征提取，得到樂譜特征圖像集；

將樂譜特征圖像集輸入至所述池化層進行池化操作，將所述樂譜特征圖像集中的手寫樂譜圖像按所述預設尺寸輸出，得到所述待識別圖像集的樂譜特征矩陣。

4.根據權利要求3所述的樂譜識別方法，其特征在于，所述特征識別模型包括雙向長短期記憶網絡層和密集層，所述將所述樂譜特征矩陣輸入預置的特征識別模型中進行識別，得到初始識別結果矩陣包括：

將所述樂譜特征矩陣輸入至所述雙向長短期記憶網絡層中進行節奏和音調的識別，得到節奏輸出矩陣和音調輸出矩陣；

將所述節奏輸出矩陣和音調輸出矩陣輸入至所述密集層進行合成，得到初始識別結果矩陣。

5.根據權利要求4所述的樂譜識別方法，其特征在于，所述將所述樂譜特征矩陣輸入至所述雙向長短期記憶網絡層中進行節奏和音調的識別，得到節奏輸出矩陣和音調輸出矩陣包括：

調用所述雙向長短期記憶網絡層對所述樂譜特征矩陣進行前向識別，得到前向識別結果，其中，所述前向識別結果包括前向節奏識別矩陣和前向音調識別矩陣；

調用雙向長短期記憶網絡對所述樂譜特征矩陣進行后向識別，得到后向識別結果，其中，所述后向識別結果包括后向節奏識別矩陣和后向音調識別矩陣；

將所述前向節奏識別矩陣和所述后向節奏識別矩陣進行合成，得到節奏輸出矩陣；

將所述前向音調識別矩陣和所述后向音調識別矩陣進行合成，得到音調輸出矩陣。

6.根據權利要求1-5中任一項所述的樂譜識別方法，其特征在于，在所述將所述待識別圖像集輸入預置的特征提取模型進行特征提取，得到所述待識別圖像集的樂譜特征矩陣之前，還包括：

收集若干手寫樂譜圖像，對所述手寫樂譜圖像中包含的樂譜信息進行標記，得到標記手寫樂譜圖像；

將所述標記手寫樂譜圖像進行隨機模糊、扭曲形變處理，得到處理標記手寫樂譜圖像，并基于所述處理手寫樂譜圖像確定手寫樂譜圖像樣本集；

根據所述手寫樂譜圖像樣本集對所述卷積神經網絡進行訓練，得到特征提取模型。

7.根據權利要求6所述的樂譜識別方法，其特征在于，在所述將所述樂譜特征矩陣輸入預置的特征識別模型中進行識別，得到初始識別結果矩陣之前，還包括；

獲取所述手寫樂譜圖像樣本集；

調用所述特征提取模型對所述手寫樂譜圖像樣本集進行特征提取，得到手寫樂譜特征樣本集；

根據所述手寫樂譜特征樣本集對特征識別算法進行訓練，得到特征識別模型。