[發(fā)明專利]一種現(xiàn)有圖像與卡拉OK旋律實時匹配的方法

在審

• 申請?zhí)枺?/td>: 201010214111.4
• 申請日: 2010-07-01
• 公開（公告）號: CN101859562A
• 公開（公告）日: 2010-10-13
• 發(fā)明（設(shè)計）人: 馬勇;袁存鼎
• 申請（專利權(quán)）人: 無錫駿聿科技有限公司
• 主分類號: G10H1/36
• 分類號: G10H1/36
• 代理公司: 無錫盛陽專利商標(biāo)事務(wù)所(普通合伙) 32227
• 代理人: 劉瑞平

1.一種現(xiàn)有圖像與卡拉OK旋律實時匹配的方法，其特征在于：收集大量的卡拉OK的歌曲及其MTV，同時建立場景圖片庫，通過機器學(xué)習(xí)算法學(xué)習(xí)不同旋律類型的卡拉OK歌曲具有的旋律特征，并區(qū)分出不同旋律特征所對應(yīng)的MTV的視頻圖像庫，將所述場景圖片庫中的圖片與所述MTV的視頻圖像庫對比關(guān)聯(lián)度，從而建立與旋律類型對應(yīng)的需要播放的圖片庫，在播放歌曲的過程中，根據(jù)播放歌曲所具有的旋律特征，實時隨機播放對應(yīng)旋律特征的所述需要播放的圖片庫中的圖片。

2.根據(jù)權(quán)利要求1所述的一種現(xiàn)有圖像與卡拉OK旋律實時匹配的方法，其特征在于：

其實施步驟如下：

a、建立樣本庫，收集大量的歌曲及其MTV，與此同時建立特定的場景圖片庫；

b、以句子為單位分析歌曲的音頻語氣，根據(jù)歌曲音頻的基頻特征將歌曲的每句語氣按照情緒分類；

c、建立與各音頻語氣相對應(yīng)的視頻圖像庫，以句子為單位劃分與其對應(yīng)的MTV視頻圖片，根據(jù)步驟b所確定的情緒分類分別鏈接其對應(yīng)的MTV視頻圖片，形成樣本圖片庫；

d、確定歌曲中的句子語氣所對應(yīng)情緒的樣本圖片庫與特定的場景圖片庫中的圖片間的關(guān)聯(lián)度，使用典型相關(guān)性分析算法（CCA），計算得到各種音頻語氣所對應(yīng)情緒的樣本圖片庫中的視頻圖片與特定的場景圖片庫中的圖片的相關(guān)性系數(shù)值；

e、確定需要播放的圖片庫，在歌曲播放的過程中，獲取到的歌曲的當(dāng)前句子音頻，通過當(dāng)前句子音頻的語氣得到其對應(yīng)的情緒，然后匹配到對應(yīng)的樣本圖片庫，人工設(shè)定相關(guān)性系數(shù)閾值，將相關(guān)性系數(shù)值高于人工設(shè)定的相關(guān)性系數(shù)閾值的圖片放入需要播放的圖片庫；

f、從需要播放的圖片庫中隨機抽取圖片，實時播放。

3.根據(jù)權(quán)利要求2所述的一種現(xiàn)有圖像與卡拉OK旋律實時匹配的方法，其特征在于：所述根據(jù)歌曲音頻的基頻特征將歌曲的每句語氣按照情緒分類具體為：利用基頻特征的情緒語音識別技術(shù)，從語音的基頻特征出發(fā)，統(tǒng)計不同情緒下語音基頻的變化規(guī)律，確定了基于基頻的情緒語音特征，建立高斯混合模型（GMM）進(jìn)行識別，獲得當(dāng)前句子的情緒分類。