[發明專利]一種多模態發音數據采集方法與系統

有效

• 申請號: 202011423644.3
• 申請日: 2020-12-08
• 公開（公告）號: CN114615450B
• 公開（公告）日: 2023-02-17
• 發明（設計）人: 劉娟;蘇榮鋒;王嵐;燕楠
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: H04N5/76
• 分類號: H04N5/76;G10L25/03;G10L25/51;G11B20/10;G06F9/48;A61B5/00
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 范盈

1.一種多模態發音數據采集方法，其特征在于包括以下步驟：

步驟1）、建立漢語發聲文本材料及任務，根據不同群體的語言癥狀及漢語發音特征設計包括音節、單字、詞語、句子和會話內容的發聲文本采集材料及任務；

步驟2）、采集多維度信息，被采集人員根據發聲文本采集材料發音時采用音頻采集設備、視頻采集設備和呼吸帶設備同步采集人員的語音、視頻和呼吸數據；

步驟3）、多維度信息采集結果的同步處理，數據采集結束后進行自動存儲命名，通過兩個線程的語音數據為導向實現呼吸信號與音視頻數據的精準同步；

步驟4）、發音特征提取及分析，對同步后的多維度信息進行聲學、運動、圖像特征參數的提取，對不同群體的發聲特性和言語癥狀進行深入計算和分析，得到采集人員的發音數據；

其中，步驟3）呼吸信號與音視頻數據的同步過程為：

（3.1）音頻與視頻同步啟動采集：采用音頻和視頻兩個線程進行錄制，在采集任務開始時，同步開啟兩個線程，只有在兩個線程都開啟時，開始數據的寫入；

（3.2）呼吸帶與音視頻同步啟動采集：呼吸帶采集設備同步多通道采集語音、胸腹呼吸信號，在確定音視頻數據同步啟動錄入的同時，保證呼吸帶采集設備的同步啟動，實現呼吸信號和音視頻信號在采集階段的同步寫入與錄制。

2.根據權利要求1所述的多模態發音數據采集方法，其特征在于：所述步驟1）建立漢語發聲文本材料及任務時，將音節、單字、詞語、句子和會話設置為不同任務模塊，每個任務模塊設置具有不同難易程度的等級，不同群體根據實際語言癥狀特征和身體狀態能夠選擇不同的任務模塊組合及不同難易程度，不同群體還能夠根據身體狀態及語言癥狀調整每個任務模塊的發音時間和休息時間。

3.根據權利要求2所述的多模態發音數據采集方法，其特征在于：所述任務模塊包括音節模塊，所述音節模塊包括元音、輔音、高頻音節、低頻音節和易混音節內容，呈現方式為漢字加音節，根據不同群體的身體狀態能夠調節每個音節的呈現時間和發音時間，發音后自動切換到下一個音節。

4.根據權利要求2所述的多模態發音數據采集方法，其特征在于：所述步驟2）采集多維度信息，數據采集得到的原始數據集包括3個目錄：視頻數據avi、語音數據wav、呼吸數據wav，每位參與者的每份數據一一對應，自動匹配命名。

5.根據權利要求2所述的多模態發音數據采集方法，其特征在于：所述步驟2）采集多維度信息時設置有自動化采集流程。

6.一種多模態發音數據采集系統，其特征在于包括：

漢語發聲文本材料及任務建立模塊，用于根據不同群體的語言癥狀及漢語發音特征設計包括音節、單字、詞語、句子和會話內容的發聲文本采集材料及任務；

多維度信息采集模塊，用于采集被采集人員根據發聲文本采集材料發音時的語音、視頻和呼吸數據；

多維度信息采集結果同步處理模塊，用于實現采集的語音、視頻和呼吸數據的精準同步；

所述多維度信息采集結果同步處理模塊還用于：

音頻與視頻同步啟動采集：采用音頻和視頻兩個線程進行錄制，在采集任務開始時，同步開啟兩個線程，只有在兩個線程都開啟時，開始數據的寫入；

呼吸帶與音視頻同步啟動采集：呼吸帶采集設備同步多通道采集語音、胸腹呼吸信號，在確定音視頻數據同步啟動錄入的同時，保證呼吸帶采集設備的同步啟動，實現呼吸信號和音視頻信號在采集階段的同步寫入與錄制；

發音特征提取及分析模塊，用于對同步后的多維度信息進行聲學、運動、圖像特征參數的提取，對不同群體的發聲特性和言語癥狀進行深入計算和分析，得到采集人員的發音數據。

7.根據權利要求6所述的多模態發音數據采集系統，其特征在于：所述多維度信息采集模塊采用包括呼吸設備、語音設備、視頻設備的多模態數據采集平臺。

8.根據權利要求7所述的多模態發音數據采集系統，其特征在于：所述呼吸設備為呼吸帶設備、語音設備為麥克風、視頻設備為攝像頭。