[發(fā)明專(zhuān)利]音頻數(shù)據(jù)可視化方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201611183228.4
• 申請(qǐng)日: 2016-12-20
• 公開(kāi)（公告）號(hào): CN106649703B
• 公開(kāi)（公告）日: 2019-11-19
• 發(fā)明（設(shè)計(jì)）人: 謝旭榮;王嵐
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類(lèi)號(hào): G06F16/783
• 分類(lèi)號(hào): G06F16/783;G06F16/738
• 代理公司: 44237 深圳中一專(zhuān)利商標(biāo)事務(wù)所
• 代理人: 陽(yáng)開(kāi)亮<國(guó)際申請(qǐng)>=<國(guó)際公布>=<進(jìn)入

本發(fā)明適用于信號(hào)處理技術(shù)領(lǐng)域，提供了一種音頻數(shù)據(jù)可視化方法及裝置，所述方法包括：接收音頻數(shù)據(jù)并提取所述音頻數(shù)據(jù)的聲學(xué)特征；通過(guò)情感分類(lèi)模型得出所述音頻數(shù)據(jù)的與所述聲學(xué)特征時(shí)序上對(duì)應(yīng)的情感特征；通過(guò)模式特征生成模型生成所述音頻數(shù)據(jù)的與所述情感特征時(shí)序上對(duì)應(yīng)的模式特征；通過(guò)預(yù)設(shè)數(shù)據(jù)庫(kù)獲取與所述模式特征對(duì)應(yīng)的預(yù)設(shè)可視化信息并展示，所述預(yù)設(shè)數(shù)據(jù)庫(kù)中存儲(chǔ)有多對(duì)一一對(duì)應(yīng)的模式特征和預(yù)設(shè)可視化信息。上述方法可根據(jù)任意音頻數(shù)據(jù)生成對(duì)應(yīng)的模式特征并予以顯示，而且相對(duì)于現(xiàn)有技術(shù)，音頻數(shù)據(jù)與可視化信息之間具有更好的一致性和匹配度。

技術(shù)領(lǐng)域

本發(fā)明屬于信號(hào)處理技術(shù)領(lǐng)域，尤其涉及一種音頻數(shù)據(jù)可視化方法及裝置。

背景技術(shù)

現(xiàn)有的部分音樂(lè)軟件帶有可視化功能，例如形狀、圖形、顏色等的變換。而這些變換都是根據(jù)能量簡(jiǎn)單地生成的，并不具有情感表達(dá)能力和娛樂(lè)性。類(lèi)似的可視化地表達(dá)音樂(lè)情感的方法是根據(jù)音樂(lè)段落尋找相匹配的視頻，或使用直接的音樂(lè)聲學(xué)特征與視頻特征的匹配。

在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在如下問(wèn)題：現(xiàn)有技術(shù)采用視頻的搜索與匹配技術(shù)，即根據(jù)給定的音樂(lè)段落，在特定的視頻數(shù)據(jù)庫(kù)里找尋在時(shí)序上最匹配的視頻。然而對(duì)于任意音樂(lè)段落，不一定能找出與之在時(shí)序上足夠匹配的視頻。同時(shí)，針對(duì)不同的特定模式，例如舞蹈、音樂(lè)噴泉、煙火等，視頻尋找的方法更是沒(méi)法滿(mǎn)足匹配的一致性。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實(shí)施例提供了一種音頻數(shù)據(jù)可視化方法及裝置，以解決現(xiàn)有技術(shù)中對(duì)于任一音頻數(shù)據(jù)不能搜索出在時(shí)序上足夠匹配的視頻的問(wèn)題。

本發(fā)明實(shí)施例的第一方面，提供了一種音頻數(shù)據(jù)可視化方法，包括：

接收音頻數(shù)據(jù)并提取所述音頻數(shù)據(jù)的聲學(xué)特征；

通過(guò)情感分類(lèi)模型得出所述音頻數(shù)據(jù)的與所述聲學(xué)特征時(shí)序上對(duì)應(yīng)的情感特征；

通過(guò)模式特征生成模型生成所述音頻數(shù)據(jù)的與所述情感特征時(shí)序上對(duì)應(yīng)的模式特征；

通過(guò)預(yù)設(shè)數(shù)據(jù)庫(kù)獲取與所述模式特征對(duì)應(yīng)的預(yù)設(shè)可視化信息并展示，所述預(yù)設(shè)數(shù)據(jù)庫(kù)中存儲(chǔ)有多對(duì)一一對(duì)應(yīng)的模式特征和預(yù)設(shè)可視化信息。

本發(fā)明實(shí)施例的第二方面，提供了一種音頻數(shù)據(jù)可視化裝置，包括：

聲學(xué)特征提取模塊，用于接收音頻數(shù)據(jù)并提取所述音頻數(shù)據(jù)的聲學(xué)特征；

情感特征獲取模塊，用于通過(guò)情感分類(lèi)模型得出與所述聲學(xué)特征時(shí)序上對(duì)應(yīng)的情感特征；

模式生成模塊，用于通過(guò)模式特征生成模型生成與所述情感特征時(shí)序上對(duì)應(yīng)的模式特征；

可視化模塊，用于通過(guò)預(yù)設(shè)數(shù)據(jù)庫(kù)獲取與所述模式特征對(duì)應(yīng)的預(yù)設(shè)可視化信息并展示；所述預(yù)設(shè)數(shù)據(jù)庫(kù)中存儲(chǔ)有多對(duì)一一對(duì)應(yīng)的模式特征和預(yù)設(shè)可視化信息。

本發(fā)明實(shí)施例相對(duì)于現(xiàn)有技術(shù)所具有的有益效果：提取所述音頻數(shù)據(jù)的聲學(xué)特征，通過(guò)情感分類(lèi)模型得出所述音頻數(shù)據(jù)的與所述聲學(xué)特征時(shí)序上對(duì)應(yīng)的情感特征，通過(guò)模式特征生成模型生成所述音頻數(shù)據(jù)的與所述情感特征時(shí)序上對(duì)應(yīng)的模式特征，通過(guò)預(yù)設(shè)數(shù)據(jù)庫(kù)獲取與所述模式特征對(duì)應(yīng)的預(yù)設(shè)可視化信息并展示，只需預(yù)先定義模式特征的組合，即可根據(jù)任意音頻數(shù)據(jù)生成對(duì)應(yīng)的模式特征并予以顯示，而且聲學(xué)特征、情感特征和模式特征之間在時(shí)序上相對(duì)應(yīng)，因此相對(duì)于現(xiàn)有技術(shù)，音頻數(shù)據(jù)與可視化信息之間具有更好的一致性和匹配度。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對(duì)實(shí)施例或現(xiàn)有技術(shù)描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1是本發(fā)明實(shí)施例提供的音頻數(shù)據(jù)可視化方法的流程圖；