[發明專利]一種基于動作捕捉的古琴體驗學習系統及實現方法

有效

• 申請號: 202110441819.1
• 申請日: 2021-04-23
• 公開（公告）號: CN113158906B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 余旻婧;蔡明旭;張萌;張加萬
• 申請（專利權）人: 天津大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V20/52;G06Q50/20
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

1.一種基于動作捕捉的古琴體驗學習系統，其特征在于：所述系統包括：信息采集模塊，信息處理模塊，反饋顯示模塊，

所述的信息采集模塊，捕捉當前用戶演奏時的場景數據，包括彩色圖像及深度數據，并將采集到的圖像發送到信息處理模塊；

所述的信息處理模塊，根據信息采集模塊輸入的場景數據進行處理，并將結果傳至反饋顯示模塊，其功能包括：從采集到的場景信息中提取用戶身材數據；在用戶正前方區域劃定符合用戶身材數據的虛擬古琴區域，并計算得到虛擬古琴各琴弦的岳山及徽位所對應的空間坐標；計算用戶手部位置所對應的琴弦序號，并與用戶當前學習減字譜字符在系統中預存的對應琴弦序號進行比對；

所述的反饋顯示模塊，具有視覺反饋和音頻反饋功能，視覺反饋體現在系統具有顯示界面，顯示內容根據信息處理結果而確定，音頻反饋體現在根據信息處理結果播放對應的音調；

信息采集模塊使用Kinect設備捕捉當前用戶演奏時的場景數據，信息處理模塊使用Kinect官方SDK識別用戶的髖部、肩部、手部關節位置，計算得到用戶髖部高度，肩部寬度，從而獲得用戶身材數據；

視覺反饋顯示界面包含用戶使用系統的實時場景畫面、虛擬古琴三維模型、虛擬古琴平面示意圖、用戶手部位置在虛擬古琴上的投影、用戶演奏評分和用于輔助用戶演奏的指導性信息；

輔助用戶演奏的指導性信息包括：當前演奏的減字譜字符及其指法解釋、演奏當前減字譜字符應使用的手指、在琴弦上的彈撥或按壓位置與方向提示。

2.一種基于動作捕捉的古琴體驗學習系統的實現方法，其特征在于包括以下步驟：

(1)設置：提示用戶選擇待學習的樂曲，并根據用戶選擇的樂曲在預設數據庫中檢索其對應的輔助用戶演奏的指導性信息；

(2)循環工作：循環執行信息采集、信息處理、顯示反饋的步驟，直至樂曲結束，返回設置；其中，

循環工作中的信息采集步驟，實時捕捉當前用戶演奏虛擬古琴的場景數據，包括場景彩色圖像及深度數據；

循環工作中的信息處理，方法為：

(1)從采集到的場景信息中提取用戶身材數據；

(2)在用戶正前方區域劃定符合用戶身材數據的虛擬古琴區域，并計算得到虛擬古琴各琴弦的岳山及徽位所對應的空間坐標；

(3)計算用戶手部位置所對應的琴弦序號，并與用戶當前學習減字譜字符在系統中預存的對應琴弦序號進行比對；

信息采集步驟使用Kinect設備捕捉當前用戶演奏時的場景數據，信息處理步驟使用Kinect官方SDK識別用戶的髖部、肩部、手部關節位置，計算得到用戶髖部高度，肩部寬度，從而獲得用戶身材數據；

所述的輔助用戶演奏的指導性信息，包括當前演奏的減字譜字符及其指法解釋、演奏當前減字譜字符應使用的手指、在琴弦上的彈撥或按壓位置與方向提示，預先存儲于數據庫中；減字譜字符及對應指法解釋以圖片的形式儲存，按照其在樂曲中的出現順序命名。

3.根據權利要求2所述的實現方法，其特征在于，演奏當前減字譜字符應使用的手指以數字的形式進行表示，左手大拇指至無名指順序對應整數數字1-4，右手大拇指至無名指指順序對應整數數字6-9，按照其對應的減字譜字符在樂曲中的出現順序存儲為數組。

4.根據權利要求2所述的實現方法，其特征在于，所述的方向提示分為左手和右手，左手的方向提示用于指導演奏滑音，整數數字1代表上滑音，即從左至右按壓琴弦，整數數字2代表下滑音，即從右至左按壓琴弦，按照其對應的減字譜字符在樂曲中的出現順序存儲為數組；右手的方向提示用于標識演奏當前音時手指的撥弦方向，整數數字1代表由近身側向遠身側撥弦，整數數字2代表表示由遠身側向近身側撥弦，按照其對應的減字譜字符在樂曲中的出現順序存儲為數組。

5.根據權利要求4所述的實現方法，其特征在于，琴弦上的彈撥或按壓位置包括右手演奏位置和左手演奏位置，右手演奏位置由整數數字表示，取值范圍為[1,7]，分別對應1-7弦的岳山位置；左手演奏位置由具有一位小數點的float型浮點數表示，取值范圍為[1,13]，分別對應與右手相同琴弦上1-13徽之間的區域；按照其對應的減字譜字符在樂曲中的出現順序存儲為數組。