[發明專利]基于人體動作控制聽覺、視覺效果的實時控制方法及系統

在審

• 申請號: 202210224237.2
• 申請日: 2022-03-09
• 公開（公告）號: CN114625250A
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 楊燦
• 申請（專利權）人: 影通光電（廣州）有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;H05B47/10;B05B12/12;B05B17/08
• 代理公司: 北京卓嵐智財知識產權代理事務所(特殊普通合伙) 11624
• 代理人: 蔡永波

1.一種基于人體動作控制聽覺、視覺效果的實時控制方法，其特征在于，包括：

實時獲取當前人體動作信息，所述當前人體動作信息存儲在含時間量的動作張量數據流表內；

根據該動作張量數據流表內的數據判定當前人體動作是否與數據庫中預設動作數據之一相匹配；

當該動作張量數據流表內的數據與數據庫中某預設動作數據相匹配時，根據效果控制模塊協議將當前人體動作轉化成為與當前人體動作相應的控制信號，所述控制信號信號用于對產生視覺效果、和/或、聽覺效果的裝置進行控制；

通過與當前人體動作相應的控制信號控制具有聽覺效果、和/或、視覺效果裝置內相應的聽覺內容和/或、視覺內容，從而產生相應的聽覺效果、和/或、視覺效果。

2.根據權利要求1所述的基于人體動作控制聽覺、視覺效果的實時控制方法，其特征在于，在所述實時獲取當前人體動作信息之前，還包括：

通過視頻采集設備實時采集當前人體動作，自所采集的當前人體動作內提取多個幀畫面；其中，所述視頻采集設備包括：臺式電腦、平板電腦、手機設備；

針對每個幀畫面，自該幀畫面內提取人體關鍵節點的位置信息，所述人體關鍵節點的位置信息包括：X、Y、Z，通過X、Y共同表示該幀畫面在處理分辨率下相應的人體節點的像素位置；其中，X表示該幀畫面內人體關鍵節點的橫坐標，Y表示該幀畫面內人體關鍵節點的縱坐標，Z為可信度；

通過第一數量的人體關鍵節點位置信息組成當前人體動作信息，將當前人體動作信息存儲在含時間量的動作張量數據流表內；所述含時間量的動作張量數據流表包含：當前人體動作的采集時間點、當前人體動作信息。

3.根據權利要求2所述的基于人體動作控制聽覺、視覺效果的實時控制方法，其特征在于，所述人體關鍵節點包括：左眼、右眼、左耳、右耳、鼻子、左手腕、右手腕、左手肘、右手肘、左肩、右肩、髖部左側、髖部右側、左膝蓋、右膝蓋、左腳腕、右腳腕。

4.根據權利要求2所述的基于人體動作控制聽覺、視覺效果的實時控制方法，其特征在于，所述針對每個幀畫面，自該幀畫面內提取人體關鍵節點的位置信息，人體關鍵節點的位置信息包括：X、Y、Z，通過X、Y共同表示該幀畫面在處理分辨率下相應的人體節點的像素位置，具體包括：

針對每個幀畫面，自該幀畫面內提取人體關鍵節點的位置信息，人體關鍵節點的位置信息包括：X、Y、Z，采用與幀畫面分辨率相匹配的線性轉換對X、Y進行線性轉換，使得線性轉變后的X、Y適應不同顯示分辨率的輸入設備或輸出設備；將線性轉換后的位置信息X、Y、Z作為最終的人體關鍵節點的位置信息；所述第一數量的線性轉換后的位置信息X、Y、Z用于組成當前人體動作信息。

5.根據權利要求2所述的基于人體動作控制聽覺、視覺效果的實時控制方法，其特征在于，所述根據該動作張量數據流表內的數據判定當前人體動作是否與數據庫中預設動作數據之一相匹配；具體包括：

將第一數量的人體關鍵節點位置信息與數據庫中每個預設動作的位置信息分別進行比較；

將最接近某預設動作的位置信息、并且與某預設動作的位置信息之間的誤差小于預定誤差閾值的某預設動作判定為當前人體動作；

所述基于人體動作控制聽覺、視覺效果的實時控制方法，還包括：

將所判定的當前人體動作存儲在含時間量的動作張量數據流表中動作序列最新位，最新位的當前人體動作用于被轉換成與當前人體動作相應的控制信號。