[發明專利]一種基于殘差注意力Transformer的光學樂譜圖像識別方法

在審

• 申請號: 202111522531.3
• 申請日: 2021-12-14
• 公開（公告）號: CN114359946A
• 公開（公告）日: 2022-04-15
• 發明（設計）人: 溫翠紅;朱龍嬌;劉嘉怡
• 申請（專利權）人: 湖南師范大學
• 主分類號: G06V30/42
• 分類號: G06V30/42;G06V30/413;G06V10/82;G06V10/764;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于殘差注意力Transformer的光學樂譜圖像識別方法，其特征是，所述方法包括以下步驟：

S1：獲取待識別的光學樂譜圖像并預處理；

所述步驟S1對待識別的樂譜圖像預處理具體包括以下步驟：

S1-1：獲取待識別樂譜圖像的列像素和；

S1-2：根據上述所求列像素和，去除圖像中非音符范圍的像素，只保留所有的音符像素并將其按原順序拼接成預處理后的樂譜圖像；

S2：通過預先訓練好的基于殘差注意力Transformer的光學樂譜圖像識別模型，提取所述待識別樂譜圖像中的音符序列特征；

所述步驟S2具體包括以下步驟：

S2-1：基于殘差注意力Transformer的光學樂譜圖像識別模型由一個編碼器層、一個解碼器層和一個注意力層構成；

S2-2：預處理后的樂譜圖像首先被輸入到編碼器層，編碼器層由淺層的預訓練Resnet網絡和兩層雙向的LSTM神經網絡組成，并且在Resnet網絡的輸出與最后一層LSTM網絡的輸出之間建立一個殘差連接，然后得到編碼器層的輸出特征圖 Enc∈R^B×Lˊ×Cˊ；其中Resnet網絡提取音符的基本特征，而LSTM網絡提取音符序列上下文信息；在解碼器層，標簽序列先被Embedding，再經過兩層LSTM神經網絡進行信息提取，得到解碼器層的輸出特征圖 Dec∈R^B×Lˊ×Cˊ；

S2-3：將編碼器層與解碼器層的輸出特征圖進行維度拼接，再加上對其PositionalEncoding后的值，共同作為注意力層的輸入；在注意力層中，利用殘差注意力機制學習權重分布系數，對重點關注區域加強關注，抑制無關區域的關注，進一步捕獲音符序列的特征信息；同時采用并行計算的統一掩碼語言模型防止泄露未來信息和加快模型訓練；最后，注意力層的最后一層輸出特征信息向量；

S3：根據獲得的音符序列特征，利用所述識別模型對所述待識別的光學樂譜圖像內容進行分析與識別，得到數字化音符序列。