[發明專利]一種鋼琴演奏的視頻特征提取方法及系統

在審

• 申請號: 201611019710.4
• 申請日: 2016-11-18
• 公開（公告）號: CN108073867A
• 公開（公告）日: 2018-05-25
• 發明（設計）人: 王輝
• 申請（專利權）人: 北京酷我科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京億騰知識產權代理事務所 11309
• 代理人: 陳霽

本發明涉及一種鋼琴演奏的視頻特征提取方法及系統，其中，鋼琴演奏的視頻特征提取方法包括以下步驟：利用深度相機錄制演奏者參照曲譜進行鋼琴彈奏的視頻；逐幀提取所述視頻中的所有圖片，從每幀圖片中獲取演奏者在進行鋼琴彈奏時的按鍵信息，所述按鍵信息包括：演奏者的手指所按下的琴鍵位置，以及該琴鍵被按下時的深度和保持的時長；根據所述按鍵信息提取視頻特征信息，并將所述視頻特征信息記錄在所述曲譜對應的視頻特征文件中。本發明能夠快速提取鋼琴演奏的視頻特征，用以對演奏者的演奏進行分析。

技術領域

本發明涉及鋼琴演奏智能陪練技術領域，尤其涉及一種鋼琴演奏的視頻特征提取方法及系統。

背景技術

現有技術往往利用相機錄制演奏者進行鋼琴彈奏的視頻，再針對錄制的視頻進行分析，以判斷鋼琴彈奏的水平。但目前還沒有一種有效的鋼琴演奏的視頻特征提取方法。

發明內容

本發明的目的在于，解決現有技術中鋼琴演奏的視頻特征提取的技術問題。

為實現上述目的，一方面，本發明提供了一種鋼琴演奏的視頻特征提取方法，該方法包括以下步驟：利用深度相機錄制演奏者參照曲譜進行鋼琴彈奏的視頻；逐幀提取所述視頻中的所有圖片，從每幀圖片中獲取演奏者在進行鋼琴彈奏時的按鍵信息，所述按鍵信息包括：演奏者的手指所按下的琴鍵位置，以及該琴鍵被按下時的深度和保持的時長；根據所述按鍵信息提取視頻特征信息，并將所述視頻特征信息記錄在所述曲譜對應的視頻特征文件中。

優選地，視頻特征信息包括：演奏者彈奏的每個音符的音高和時值、按鍵力度、彈奏方式以及節奏的快慢中的一種或多種信息。

優選地，演奏者的手指按鍵時的琴鍵位置通過以下步驟獲取：將提取到的圖片中的鋼琴鍵盤區域和手的位置進行對比，得到演奏者的手指按鍵時的琴鍵位置。

優選地，琴鍵被按下時的保持的時長通過以下步驟獲取：將逐幀提取的多張圖片進行對比，獲得琴鍵被按下時的保持的時長。

優選地，琴鍵被按下時的深度由深度相機參數獲得。

另一方面，本發明提供了一種鋼琴演奏的視頻特征提取系統，該系統包括：第一獲取模塊、第二獲取模塊和處理模塊；其中，第一獲取模塊用于利用深度相機錄制演奏者參照曲譜進行鋼琴彈奏的視頻；第二獲取模塊用于逐幀提取所述視頻中的所有圖片，從每幀圖片中獲取演奏者在進行鋼琴彈奏時的按鍵信息，所述按鍵信息包括：演奏者的手指所按下的琴鍵位置，以及該琴鍵被按下時的深度和保持的時長；處理模塊用于根據所述按鍵信息提取視頻特征信息，并將所述視頻特征信息記錄在所述曲譜對應的視頻特征文件中。

優選地，第二獲取模塊具體用于：將提取到的圖片中的鋼琴鍵盤區域和手的位置進行對比，得到演奏者的手指按鍵時的琴鍵位置。

優選地，第二獲取模塊，具體用于：將逐幀提取的多張圖片進行對比，獲得琴鍵被按下時的保持的時長。

本發明利用深度相機錄制演奏者參照曲譜進行鋼琴彈奏的視頻，再逐幀提取所述視頻中的所有圖片，從每幀圖片中獲取演奏者在進行鋼琴彈奏時的按鍵信息，再根據所述按鍵信息提取視頻特征信息，并將所述視頻特征信息記錄在所述曲譜對應的視頻特征文件中。通過上述步驟能夠快速提取鋼琴演奏的視頻特征，用以對演奏者的演奏進行分析。

附圖說明

為了更清楚地說明本發明實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹。顯而易見地，下面描述中的附圖僅僅是本發明的一些實施例。

圖1為本發明實施例提供的一種鋼琴演奏的視頻特征提取方法流程示意圖；

圖2為本發明實施例提供的一種鋼琴演奏的視頻特征提取系統結構示意圖。

具體實施方式