[發明專利]增強現實特效的渲染方法、裝置、介質及設備

在審

• 申請號: 202111283354.8
• 申請日: 2021-11-01
• 公開（公告）號: CN114025219A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 黃業龍;楊爽
• 申請（專利權）人: 廣州博冠信息科技有限公司
• 主分類號: H04N21/431
• 分類號: H04N21/431;H04N21/439;H04N21/44;H04N21/4402;G06V40/10;G06V40/16;G06V20/20
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開的實施例提供了一種增強現實特效的渲染方法、裝置、計算機可讀介質及終端設備，涉及計算機技術領域；包括：獲取主播直播視頻流，根據直播視頻流識別得到主播的人體特征數據，同時提取視頻流畫面參數；基于人體特征數據和觸發增強現實特效時產生的特效數據，得到觸發場景數據，其中所述特效數據至少包括特效類型和特效觸發時間；根據觸發場景數據和人體特征數據，預測增強現實特效在直播視頻流中的渲染位置；根據人體特征數據、視頻流畫面參數和渲染位置，在顯示界面上渲染增強現實特效。實施本公開實施例的技術方案，可以提高增強現實渲染的準確度和渲染效率。

技術領域

本公開涉及計算機技術領域，具體而言，涉及一種增強現實特效的渲染方法、增強現實特效的渲染裝置、計算機可讀介質及終端設備。

背景技術

隨著計算機技術的發展，人們開始使用增強現實技術，通過在真實畫面的上疊加虛擬對象，令視頻畫面信息可以更加豐富。

以直播為例，直播中存在大量增強現實特效，如贈送虛擬禮物。在增強現實特效的疊加中，應將特效渲染到畫面的合適位置。目前的方案，通過獲取直播視頻，對當前視頻畫面進行視覺識別得到適于當前視頻畫面的渲染位置，再渲染特效。由于存在識別響應延遲導致渲染時間不同步和渲染位置不準確，影響特效渲染質量和效率。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開實施例的目的在于提供一種增強現實特效的渲染方法、增強現實特效的渲染裝置、計算機可讀介質及終端設備，可以提高增強現實渲染的準確度和渲染效率。

本公開實施例的第一方面提供了一種增強現實特效的渲染方法，包括：

獲取主播直播視頻流，根據所述直播視頻流識別得到主播的人體特征數據，同時提取視頻流畫面參數；

基于所述人體特征數據和觸發增強現實特效時產生的特效數據，得到觸發場景數據，其中所述特效數據至少包括特效類型和特效觸發時間；

根據所述觸發場景數據和所述人體特征數據，預測所述增強現實特效在所述直播視頻流中的渲染位置；

根據所述人體特征數據、所述視頻流畫面參數和所述渲染位置，在所述顯示界面上渲染增強現實特效。

在本公開的一種示例性實施例中，根據所述觸發場景數據和所述人體特征數據，預測所述增強現實特效在所述直播視頻流中的渲染位置，包括：

將所述觸發場景數據和所述人體特征數據輸入預設算法，得到所述增強現實特效的預測渲染位置權值，根據所述權值確定在所述直播視頻流中的渲染位置。

在本公開的一種示例性實施例中，在將所述觸發場景數據和所述人體特征數據輸入預設算法，得到所述增強現實特效的預測渲染位置權值步驟之后，還包括：

根據所述特效類型，對所述預測渲染位置權值進行調節。

在本公開的一種示例性實施例中，獲取主播直播視頻流，根據所述直播視頻流識別得到主播的人體特征數據，同時提取視頻流畫面參數，包括：

對直播視頻流畫面進行人臉識別和人體識別，得到人體特征數據包括人臉數據和遮罩數據，讀取所述直播視頻流得到視頻流畫面參數.

在本公開的一種示例性實施例中，將所述觸發場景數據和所述人體特征數據輸入預設算法，得到所述增強現實特效的預測渲染位置權值，包括：

將觸發增強現實特征時的觸發場景數據和人體特征數據輸入評價函數，計算所對應的預測渲染位置權值；

通過強化學習算法更新所述預測渲染位置權值，輸出所述更新后的預測渲染位置權值。