[發(fā)明專利]用于捕獲的視聽(tīng)表演的增強(qiáng)現(xiàn)實(shí)過(guò)濾器

在審

• 申請(qǐng)?zhí)枺?/td>: 201980089530.9
• 申請(qǐng)日: 2019-12-03
• 公開(kāi)（公告）號(hào): CN113302945A
• 公開(kāi)（公告）日: 2021-08-24
• 發(fā)明（設(shè)計(jì)）人: 大衛(wèi)·施坦維爾;安東·霍姆伯格;哈維爾·維勒加斯;保羅·T·池;大衛(wèi)·楊;佩里·R·庫(kù)克
• 申請(qǐng)（專利權(quán)）人: 思妙公司
• 主分類號(hào): H04N21/43
• 分類號(hào): H04N21/43;H04N21/431;H04N21/434;H04N21/236;H04N21/2368;H04N21/81
• 代理公司: 北京東方億思知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11258
• 代理人: 楊佳婧

視覺(jué)效果，包括增強(qiáng)現(xiàn)實(shí)類型的視覺(jué)效果，被應(yīng)用于視聽(tīng)表演，該視聽(tīng)表演具有根據(jù)以計(jì)算方式確定的音頻特征或編碼在經(jīng)時(shí)間同步的音軌中的音樂(lè)結(jié)構(gòu)元素或從其計(jì)算確定的音樂(lè)結(jié)構(gòu)元素而應(yīng)用的不同的視覺(jué)效果和/或其參數(shù)。應(yīng)用于一個(gè)或多個(gè)音頻音軌(例如，人聲或背景音軌)的分段技術(shù)用于計(jì)算音樂(lè)結(jié)構(gòu)的一些組成部分。在一些情況下，應(yīng)用視覺(jué)效果基于從所捕獲的視聽(tīng)表演或與其時(shí)間同步的音頻音軌中以計(jì)算方式提取的音頻特征。

技術(shù)領(lǐng)域

本發(fā)明總體涉及人聲音頻表演的捕獲和/或處理，尤其涉及適用于以與從音頻、視頻或視聽(tīng)編碼中以計(jì)算方式提取的音頻或視覺(jué)特征一致的方式、或與表演的音樂(lè)結(jié)構(gòu)或基本結(jié)構(gòu)一致的方式將所選增強(qiáng)現(xiàn)實(shí)類型的視覺(jué)效果應(yīng)用于表演同步的視頻的技術(shù)。

背景技術(shù)

移動(dòng)電話和便攜式計(jì)算設(shè)備的安裝基數(shù)在絕對(duì)數(shù)量和計(jì)算能力上每天都在增長(zhǎng)。它們無(wú)處不在，深深扎根于世界各地人們的生活方式中，幾乎跨越了每一個(gè)文化和經(jīng)濟(jì)障礙。從計(jì)算上講，當(dāng)前的移動(dòng)電話提供的速度和存儲(chǔ)能力可與不到十年前的臺(tái)式電腦相比，使它們非常適合實(shí)時(shí)聲音合成和其他音樂(lè)應(yīng)用。結(jié)果之一是，一些現(xiàn)代移動(dòng)電話(例如，蘋果公司(Apple Inc.)推出的如手持?jǐn)?shù)字設(shè)備)能夠相當(dāng)好地支持音頻和視頻播放。

類似于傳統(tǒng)的聲學(xué)儀器，移動(dòng)電話可以作為私人的聲音產(chǎn)生和捕獲設(shè)備。然而，與大多數(shù)傳統(tǒng)儀器相比，它們的聲學(xué)帶寬和功率被限制。盡管如此，盡管存在這些缺點(diǎn)，但移動(dòng)電話確實(shí)具有普遍性、數(shù)量?jī)?yōu)勢(shì)和超移動(dòng)性的優(yōu)勢(shì)，這使得(至少在理論上)幾乎可以隨時(shí)隨地將藝術(shù)家聚集在一起進(jìn)行表演。已經(jīng)在多個(gè)研究機(jī)構(gòu)中對(duì)移動(dòng)音樂(lè)領(lǐng)域進(jìn)行了探索。實(shí)際上，最近關(guān)于諸如Smule Ocarina^TM、Smule Magic Piano、以及Smule Sing！Karaoke^TM(均可從Smule,Inc.獲得)等應(yīng)用的經(jīng)驗(yàn)顯示了可以以提供引人入勝的用戶體驗(yàn)的方式提供先進(jìn)的數(shù)字聲學(xué)技術(shù)。

隨著數(shù)字聲學(xué)研究人員尋求將他們的創(chuàng)新轉(zhuǎn)化到可部署到現(xiàn)代手持設(shè)備的商業(yè)應(yīng)用中，呈現(xiàn)了重大的實(shí)際挑戰(zhàn)，所述現(xiàn)代手持設(shè)備為例如可以在現(xiàn)實(shí)世界約束(由處理器、存儲(chǔ)器和它們的其他受限的計(jì)算資源導(dǎo)致)中或在典型為無(wú)限網(wǎng)絡(luò)的通信帶寬和傳輸延遲約束中進(jìn)行操作的手持設(shè)備和其他平臺(tái)。期望改進(jìn)的技術(shù)和功能性性能，特別是對(duì)于視頻和增強(qiáng)現(xiàn)實(shí)而言。

發(fā)明內(nèi)容

已發(fā)現(xiàn)，盡管移動(dòng)設(shè)備平臺(tái)和應(yīng)用程序執(zhí)行環(huán)境施加了許多實(shí)際限制，但仍可以捕獲或操縱視聽(tīng)表演(包括聲樂(lè)音樂(lè))，并且(在一些情況下)視聽(tīng)表演可以與其他用戶的視聽(tīng)表演進(jìn)行協(xié)調(diào)，以創(chuàng)造引人入勝的用戶體驗(yàn)。在一些情況下，在與背景音軌的可聽(tīng)渲染相對(duì)應(yīng)的卡拉OK式歌詞呈現(xiàn)的情境下，在移動(dòng)設(shè)備上或使用機(jī)頂盒式設(shè)備捕獲個(gè)人用戶的聲樂(lè)表演(以及表演同步視頻)。在一些情況下，可以結(jié)合卡拉OK式歌詞呈現(xiàn)向演唱者呈現(xiàn)音調(diào)提示，以及，可選地，可以提供連續(xù)的自動(dòng)音調(diào)校正(或?qū)⒁粽{(diào)轉(zhuǎn)換為和聲)。

在一些情況或?qū)嵤├校脩舻穆晿?lè)音頻以及表演同步視頻被捕獲并與其他用的視聽(tīng)貢獻(xiàn)進(jìn)行協(xié)調(diào)以形成復(fù)合的二重唱式或合唱團(tuán)式或玻璃窗音樂(lè)視頻式的視聽(tīng)表演。在一些情況下，在與背景音軌的可聽(tīng)渲染相對(duì)應(yīng)的與卡拉OK式歌詞呈現(xiàn)的情境下，在移動(dòng)設(shè)備、電視式顯示器和/或機(jī)頂盒設(shè)備上捕獲個(gè)人用戶的聲樂(lè)表演(以及表演同步視頻)。多個(gè)演唱者的貢獻(xiàn)可以以在給定表演時(shí)間線上的任何給定時(shí)間處選擇貢獻(xiàn)者中的一個(gè)或多個(gè)的表演同步視頻用于呈現(xiàn)的方式被協(xié)調(diào)和混音。選擇提供了視覺(jué)布局序列，該視覺(jué)布局序列與表演樂(lè)譜的其他編碼的方面相對(duì)應(yīng)，該其他方面為例如音調(diào)音軌、背景音頻、歌詞、片段和/或聲樂(lè)部分。

視覺(jué)效果時(shí)間表(schedule)(包括增強(qiáng)現(xiàn)實(shí)類型(AR類型)被應(yīng)用于視聽(tīng)表演，其中與音樂(lè)結(jié)構(gòu)的不同元素相對(duì)應(yīng)地應(yīng)用不同的視覺(jué)效果。在一些情況下，應(yīng)用于一個(gè)或多個(gè)音軌(例如，聲樂(lè)或背景音軌)的分段技術(shù)被用于計(jì)算音樂(lè)結(jié)構(gòu)的一些成分。在一些情況下，所應(yīng)用的視覺(jué)效果時(shí)間表是以情緒命名的，并且其可以由表演者選擇作為他或她的視覺(jué)表情的成分或者可以使用機(jī)器學(xué)習(xí)技術(shù)從視聽(tīng)表演中確定。