[發明專利]基于音頻的模型控制方法、裝置、介質及電子設備

在審

• 申請號: 202010464031.8
• 申請日: 2020-05-27
• 公開（公告）號: CN111540032A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 單九龍
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06T13/20
• 分類號: G06T13/20;G06T15/04;A63F13/60
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開涉及計算機技術領域，具體涉及一種基于音頻的模型控制方法、基于音頻的模型控制裝置、計算機可讀介質及電子設備，該方法包括：對目標音頻進行處理，得到所述目標音頻對應的目標紋理圖像；獲取目標模型，以及獲取針對所述目標模型的材質信息；根據所述目標紋理圖像和所述材質信息對所述目標模型進行渲染，獲得與所述目標音頻匹配的目標模型動畫。本公開實施例的技術方案可以根據目標音頻對目標模型的進行渲染，得到的動畫效果變化豐富，并且能夠與目標音頻相互匹配。

技術領域

本公開涉及計算機技術領域，具體而言，涉及一種基于音頻的模型控制方法、基于音頻的模型控制裝置、計算機可讀介質及電子設備。

背景技術

在計算機技術發展迅速的大背景下，通過建模軟件制作三維模型成為很多產品制作必不可少的步驟。例如，在進行游戲制作時，需要通過建模軟件建立很多三維模型，進而通過對三維模型進行組合形成游戲的虛擬場景。

在相關技術中，開發者通常會通過編寫用于控制模型的腳本來實現模型的動畫效果。然而，這種通過腳本控制模型的方法，通常只能對模型進行整體控制，例如控制整個模型進行縮小、放大，或者上下位移等。因此，在通過腳本進行模型的控制時，模型的變化始終是簡單的幾何變化，對應得到的動畫效果也較為死板、單一；同時，由于腳本控制是通過人為設定的，效果比較單一固定。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種基于音頻的模型控制方法、基于音頻的模型控制裝置、計算機可讀介質及電子設備，進而至少在一定程度上提高目標模型動畫的多樣性，同時避免動畫效果與音頻不匹配的問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開的第一方面，提供了一種基于音頻的模型控制方法，包括：對目標音頻進行處理，得到目標音頻對應的目標紋理圖像；獲取目標模型，以及獲取針對目標模型的材質信息；根據目標紋理圖像和材質信息對目標模型進行渲染，獲得與目標音頻匹配的目標模型動畫。

可選的，基于前述方案，獲取針對目標模型的材質信息，包括：根據目標紋理圖像獲取針對目標模型的材質信息。

可選的，基于前述方案，對目標音頻進行處理，得到目標音頻對應的目標紋理圖像，包括：對目標音頻進行預處理，獲得第一紋理圖像；對第一紋理圖像進行去色處理，獲得第一灰度圖像；以預設規則對第一灰度圖像進行馬賽克處理，獲得目標音頻對應的目標紋理圖像。

可選的，基于前述方案，對目標音頻進行預處理，獲得第一紋理圖像，包括：對目標音頻的頻率和振幅進行預處理，獲得第一紋理圖像。

可選的，基于前述方案，預設規則包括：每個圖像色塊的預設大小。

可選的，基于前述方案，以預設規則對第一灰度圖像進行馬賽克處理，獲得目標音頻對應的目標紋理圖像，包括：以預設規則對第一灰度圖像進行馬賽克處理，獲得第二灰度圖像；復制第二灰度圖像，并將兩個第二灰度圖像以預設偏移方式進行重疊，得到第三灰度圖像；根據目標音頻，獲得代表目標音頻強弱的強度紋理圖像；根據第二灰度圖像、第三灰度圖像和強度紋理圖像，得到目標音頻對應的目標紋理圖像。

可選的，基于前述方案，預設偏移方式的偏移量為第二灰度圖的一個像素值。

可選的，基于前述方案，預設偏移方式的的偏移方向包括橫向和/或縱向。

根據本公開的第二方面，提供了一種基于音頻的模型控制裝置，包括：音頻處理模塊，用于對目標音頻進行處理，得到目標音頻對應的目標紋理圖像；信息獲取模塊，用于獲取目標模型，以及獲取針對目標模型的材質信息；模型渲染模塊，用于根據目標紋理圖像和材質信息對目標模型進行渲染，獲得與目標音頻匹配的目標模型動畫。