[發明專利]一種基于音頻的實時聯動顯示方法及存儲設備

有效

• 申請號: 201710398985.1
• 申請日: 2017-05-31
• 公開（公告）號: CN107329980B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 方鴻亮;馮皓;王子亮;林鎏娟
• 申請（專利權）人: 福建星網視易信息系統有限公司
• 主分類號: G06F16/64
• 分類號: G06F16/64;G06F16/783;G06F16/74;G06F3/14;G06F3/16;H04N7/18
• 代理公司: 福州市景弘專利代理事務所(普通合伙) 35219
• 代理人: 林祥翔;徐劍兵

1.一種基于音頻的實時聯動顯示方法，其特征在于，所述基于音頻的實時聯動顯示方法用于改善數字視聽場所中電視端的視頻顯示效果，包括以下步驟：

預設或實時生成包含有3D動態元素的顯示場景，所述顯示場景通過顯示終端顯示；所述顯示場景為通過3D引擎制作的3D場景，所述3D動態元素具有三維立體顯示效果；

實時獲取輸入的音頻數據，并提取音頻數據的特征，所述音頻數據的特征包括有重音、鼓點、能量和頻譜；其中，至少一個所述3D動態元素的屬性與所述音頻數據的特征關聯，包括：將音頻數據的連續特征與3D動態元素的連續屬性關聯，將音頻數據的非連續特征與3D動態元素的非連續屬性關聯；所述3D動態元素的屬性可改變3D動態元素顯示效果，包括：3D動態元素的大小、位置和角度；

根據所述音頻數據的特征實時調整顯示場景中3D動態元素的屬性參數，并對3D動態元素進行更新顯示，可實現顯示場景中的顯示元素隨音頻數據進行互動；所述“根據所述音頻數據的特征實時調整顯示場景中3D動態元素的屬性參數”包括：

根據音頻數據的連續特征實時調整3D動態元素的連續屬性參數，根據音頻數據的非連續特征實時調整3D動態元素的非連續屬性參數。

2.根據權利要求1所述的基于音頻的實時聯動顯示方法，其特征在于，所述“實時生成包含有3D動態元素的顯示場景”包括以下步驟：

在檢測到音頻數據輸入時，在3D空間中實時生成3D動態元素；以及

根據3D動態元素自帶的動態屬性，實時更新3D動態元素顯示效果，所述動態屬性包括生命周期、亮度值和移動軌跡。

3.根據權利要求1所述的基于音頻的實時聯動顯示方法，其特征在于，所述步驟“提取音頻數據的特征”包括：

計算左聲道和右聲道的能量值；

所述“根據所述音頻數據的特征實時調整顯示場景中3D動態元素的屬性參數”包括：

根據所述左聲道與右聲道的能量值之和，實時調整3D動態元素的大小。

4.根據權利要求1所述的基于音頻的實時聯動顯示方法，其特征在于，所述步驟“提取音頻數據的特征”包括：

對所述音頻數據進行傅里葉變換，得到頻域數組；

分析所述頻域數組內高頻、中頻、低頻不同頻段數組的能量值，得到能量值大于預設閾值的重音頻段；

分析所述頻域數組內所包含的不同樂器頻段的數據量，得到數據量大于預設閾值的樂器頻段；

根據所述重音頻段和樂器頻段，得到音頻數據中對應的重音特征和樂器特征；

在所述“根據所述音頻數據的特征實時調整顯示場景中3D動態元素的屬性參數”之后還包括：

在所述音頻數據中提取到重音特征時，則在顯示場景中觸發粒子特效；

在所述音頻數據中提取到樂器特征時，則根據音頻數據中對應樂器的節奏在顯示場景中觸發全屏特效，所述全屏特效包括水波紋特效和裂屏特效。

5.根據權利要求4所述的基于音頻的實時聯動顯示方法，其特征在于，所述全屏特效的實現包括以下步驟：

通過3D引擎的攝像機對象提供回調方法，獲取所述攝像機對象預輸出畫面的紋理；

將所述紋理與能實現水波紋特效、裂屏特效的shader程序綁定到同一個材質球上，并利用GPU進行快速紋理轉換，獲取帶特效的紋理；以及

將所述帶特效的紋理返回給所述攝像機對象輸出。