[發明專利]一種基于動作捕捉的古琴體驗學習系統及實現方法

有效

• 申請號: 202110441819.1
• 申請日: 2021-04-23
• 公開（公告）號: CN113158906B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 余旻婧;蔡明旭;張萌;張加萬
• 申請（專利權）人: 天津大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V20/52;G06Q50/20
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 程毓英

本發明涉及一種基于動作捕捉的古琴體驗學習系統，并給出實現方法。所述系統包括：信息采集模塊，信息處理模塊，反饋顯示模塊，所述的信息采集模塊，捕捉當前用戶演奏時的場景數據，包括彩色圖像及深度數據，并將采集到的圖像發送到信息處理模塊。所述的信息處理模塊，根據信息采集模塊輸入的場景數據進行處理，并將結果傳至反饋顯示模塊，其功能包括：從采集到的場景信息中提取用戶身材數據；在用戶正前方區域劃定符合用戶身材數據的虛擬古琴區域，并計算得到虛擬古琴各琴弦的岳山及徽位所對應的空間坐標；計算用戶手部位置所對應的琴弦序號，并與用戶當前學習減字譜字符在系統中預存的對應琴弦序號進行比對。

技術領域

本發明涉及人機交互領域，具體涉及一種基于動作捕捉的古琴體驗學習系統及實現方法。

背景技術

古琴是世界上最古老的彈撥樂器之一，已有超過3000年的歷史，是首項入選世界非物質文化遺產的中國樂器。然而，古琴及其文化在現代社會的傳承卻面臨著危機。其制作工藝復雜，價格昂貴，普通民眾難以負擔。不同于其他主流樂器使用五線譜或簡譜作為樂譜，古琴具有其專屬樂譜“減字譜”，其字符用于標識演奏應使用的指法及彈奏位置。這類樂譜識讀較為困難，初學者難以在短時間內掌握。

發明內容

本發明針對古琴文化在推廣過程中遇到的問題，提供了一種基于動作捕捉的古琴體驗學習系統及實現方法，通過低成本的動作捕捉設備取代價格昂貴的實體古琴供用戶體驗學習古琴，提供指法指導、練習效果反饋等功能，有效解決了古琴及其文化在推廣過程中實體古琴難以獲取、減字譜識讀困難的問題，降低了古琴學習的難度，有利于古琴這項傳統文化的傳承與推廣。本發明采用如下的技術方案：

一種基于動作捕捉的古琴體驗學習系統，其特征在于：所述系統包括：信息采集模塊，信息處理模塊，反饋顯示模塊，

所述的信息采集模塊，捕捉當前用戶演奏時的場景數據，包括彩色圖像及深度數據，并將采集到的圖像發送到信息處理模塊。

所述的信息處理模塊，根據信息采集模塊輸入的場景數據進行處理，并將結果傳至反饋顯示模塊，其功能包括：從采集到的場景信息中提取用戶身材數據；在用戶正前方區域劃定符合用戶身材數據的虛擬古琴區域，并計算得到虛擬古琴各琴弦的岳山及徽位所對應的空間坐標；計算用戶手部位置所對應的琴弦序號，并與用戶當前學習減字譜字符在系統中預存的對應琴弦序號進行比對。

所述的反饋顯示模塊，具有視覺反饋和音頻反饋功能，視覺反饋體現在系統具有顯示界面，顯示內容根據信息處理結果而確定，音頻反饋體現在根據信息處理結果播放對應的音調。

進一步地：信息采集模塊使用Kinect設備捕捉當前用戶演奏時的場景數據，信息處理模塊使用Kinect官方SDK識別用戶的髖部、肩部、手部關節位置，計算得到用戶髖部高度，肩部寬度，從而獲得用戶身材數據。

進一步地：其視覺反饋顯示界面包含用戶使用系統的實時場景畫面、虛擬古琴三維模型、虛擬古琴平面示意圖、用戶手部位置在虛擬古琴上的投影、用戶演奏評分和用于輔助用戶演奏的指導性信息。

進一步地：所述的輔助用戶演奏的指導性信息包括：當前演奏的減字譜字符及其指法解釋、演奏當前減字譜字符應使用的手指、在琴弦上的彈撥或按壓位置與方向提示。

本發明同時提供一種基于動作捕捉的古琴體驗學習系統的實現方法，其特征在于包括以下步驟：

(1)設置：提示用戶選擇待學習的樂曲，并根據用戶選擇的樂曲在預設數據庫中檢索其對應的輔助用戶演奏的指導性信息；

(2)循環工作：循環執行信息采集、信息處理、顯示反饋的步驟，直至樂曲結束，返回設置；其中，

循環工作中的信息采集步驟，捕捉當前用戶演奏虛擬古琴的場景數據，包括場景彩色圖像及深度數據；

循環工作中的信息處理，方法為：