[發明專利]對視頻中指定對象添加視頻特效的方法、裝置及移動端

有效

• 申請號: 202110086911.0
• 申請日: 2021-01-22
• 公開（公告）號: CN112929743B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 林青山
• 申請（專利權）人: 廣州光錐元信息科技有限公司
• 主分類號: H04N21/44
• 分類號: H04N21/44;H04N21/4402;H04N5/262
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 牛晴

1.一種對視頻中指定對象添加視頻特效的方法，其特征在于，包括：

獲取待處理視頻以及所述待處理視頻的視頻時間軸；

利用所述視頻時間軸暫停所述待處理視頻，確認所述待處理視頻中待添加特效的對象所在的幀圖像作為參考幀，將所述參考幀解碼后的參考幀圖像數據進行處理后輸入到訓練好的交互式圖像網絡模型，輸出參考幀摳圖結果灰度圖；

繼續播放所述待處理視頻，多次獲取當前播放的幀圖像作為跟蹤幀，獲取所述跟蹤幀解碼后的跟蹤幀圖像數據，將所述參考幀圖像數據、參考幀摳圖結果灰度圖、跟蹤幀圖像數據進行處理后輸入半監督視頻圖像分割網絡模型中，輸出跟蹤幀摳圖結果灰度圖；當所述跟蹤幀摳圖結果灰度圖的數量達到預設的參考幀替換閾值時，將當前跟蹤幀圖像數據和跟蹤幀摳圖結果灰度圖作為新的參考幀圖像數據和參考幀摳圖結果灰度圖；

將所有得到的參考幀摳圖結果灰度圖和跟蹤幀摳圖結果灰度圖進行噪聲消除，得到所有的摳圖結果灰度圖；

結合所有的摳圖結果灰度圖，對待處理視頻中的待添加特效的對象進行特效渲染，得到特效渲染后的圖像數據和原始音頻數據；

利用視頻硬編碼器對特效渲染后的圖像數據進行處理，利用音頻硬編碼器對原始音頻數據進行處理，將處理后的圖像數據和音頻數據合成為視頻文件；

所述將所述參考幀解碼后的參考幀圖像數據進行處理后輸入到訓練好的交互式圖像網絡模型，輸出參考幀摳圖結果灰度圖，包括：

獲取所述參考幀解碼后的參考幀圖像數據；

確定所述待添加特效的對象在所述幀圖像中的位置坐標；

將參考幀圖像數據與所述位置坐標的數據整合后進行歸一化，將歸一化后得到的圖像數據輸入到訓練好的交互式圖像分割網絡模型中進行計算，得到參考幀摳圖結果灰度圖；

所述將所述參考幀圖像數據、參考幀摳圖結果灰度圖、跟蹤幀圖像數據進行處理后輸入半監督視頻圖像分割網絡模型中，輸出跟蹤幀摳圖結果灰度圖，包括：

將參考幀圖像數據，參考幀摳圖結果灰度圖，跟蹤幀圖像數據整合并歸一化；

將歸一化后得到的圖像數據輸入到訓練好的半監督視頻圖像分割網絡模型中進行計算，得到跟蹤幀摳圖結果灰度圖。

2.根據權利要求1所述的方法，其特征在于，所述獲取待處理視頻以及所述待處理視頻的視頻時間軸，包括：

獲取待處理視頻；

對所述待處理視頻以預設時間段進行抽幀并生成當前幀圖像對應的縮略圖；

根據所述縮略圖以及其對應的時間點生成視頻時間軸。

3.根據權利要求1所述的方法，其特征在于，所述將所有得到的參考幀摳圖結果灰度圖和跟蹤幀摳圖結果灰度圖進行噪聲消除，得到所有的摳圖結果灰度圖，包括：

采用OSTU大津法對所有的參考幀摳圖結果灰度圖和跟蹤幀摳圖結果灰度圖進行自適應閾值二值化處理，得到二值化圖像；

對所述二值化圖像進行膨脹腐蝕處理，得到所有的摳圖結果灰度圖。

4.根據權利要求1所述的方法，其特征在于，所述利用視頻硬編碼器對特效渲染后的圖像數據進行處理，利用音頻硬編碼器對原始音頻數據進行處理，將處理后的圖像數據和音頻數據合成為視頻文件，包括：

初始化視頻硬編碼器和音頻硬編碼器；

啟動編碼時鐘控制器；

創建編碼視頻數據的緩沖區和編碼音頻數據的緩沖區；

根據所述編碼時鐘控制器，獲取特效渲染后的圖像數據和視頻原始音頻數據；

將所述特效渲染后的圖像數據和原始音視頻數據分別輸入到視頻硬編碼部件的數據輸入區和音頻硬編碼部件的數據輸入區，所述視頻硬編碼部件和音頻硬編碼部件分別對所述特效渲染后的圖像數據和視頻原始音頻數據進行壓縮編碼；

將壓縮編碼后的視頻數據和音頻數據分別輸出到編碼視頻緩沖區和編碼音頻緩沖區；

獲取編碼視頻緩沖區和編碼音頻緩沖區中的視頻數據和音頻數據，使用CPU模塊將兩者以公開格式的算法進行合成，生成視頻文件。

5.根據權利要求1所述的方法，其特征在于，

所述參考幀圖像數據為RGBA格式；

所述跟蹤幀圖像數據為RGBA格式。

6.根據權利要求1所述的方法，其特征在于，

所述視頻文件采用MP4格式。