[發明專利]一種融合人像和語音的屏幕視頻生成方法

在審

• 申請號: 201410337865.7
• 申請日: 2014-07-16
• 公開（公告）號: CN104092957A
• 公開（公告）日: 2014-10-08
• 發明（設計）人: 陸成剛;洪榛;田茂利;杜煥強;俞珊珊;黃蒙
• 申請（專利權）人: 浙江航天長峰科技發展有限公司
• 主分類號: H04N5/265
• 分類號: H04N5/265;G06F9/46
• 代理公司: 紹興市越興專利事務所 33220
• 代理人: 蔣衛東

1.一種融合人像和語音的屏幕視頻生成方法，其特征在于包括如下步驟：

1)開啟圖像抓取線程：按照預定幀率時間間隔捕獲屏幕圖像，然后通過視頻編解碼庫進行編碼，最后把視頻碼流存入視頻文件；

2)在開啟圖像抓取線程的同時啟動一個錄音線程：抓取音頻數據，然后通過音頻編解碼庫進行編碼，最后把音頻碼流寫入視頻文件；

3)音視頻同步以音頻為基準，錄音線程每向視頻文件寫入一塊音頻數據的碼流時，根據音頻采樣頻率以及音頻數據塊錄音塊長度計算得到該視頻文件的絕對時間T，所述絕對時間T即為視頻文件播放時從文件開始到當前音頻數據段的累計播放時間；

4)基于視頻文件的絕對時間T，根據預設的視頻幀率參數，計算得到截止到當前時刻的圖像幀的數目a，a即為保持同步的幀數的理想值；然后從圖像抓取線程里查詢得到該線程到目前為止往視頻文件寫入的圖像幀數目b，倘若a<b，則表示目前寫入文件的圖像幀過多，應在圖像抓取線程中暫停往視頻文件里寫一次圖像；倘若a≥b，則圖像抓取線程正常執行往視頻文中件寫入一幀圖像碼流，實現音頻和視頻的同步，步驟3)和4)所述的處理過程伴隨圖像抓取線程和錄音線程這兩個線程的生命期全程。

5)啟動人臉抓取線程：開啟攝像頭并捕獲屏幕正前方的環境圖像，對該圖像調用人臉檢測函數得到用戶人臉的包圍盒，提取出包圍盒內的人臉圖像數據；

6)確定步驟5)提取的人臉圖像加入到屏幕圖像的具體位置，通過替換法或者疊加法將人臉圖像數據加入到當前幀屏幕圖像中，生成融合了人像和語音的屏幕視頻。

2.如權利要求1所述的一種融合人像和語音的屏幕視頻生成方法，其特征在于：上述步驟3)

所述的絕對時間T(秒)是通過音頻采集來計算的：

T＝BlkNum*BlkLen/SR，

其中，BlkLen是每一次抓取的錄音數據塊的長度，BlkNum是迄今為止抓取錄音數據塊的次數，SR是音頻采樣率。

3.如權利要求2所述的一種融合人像和語音的屏幕視頻生成方法，其特征在于：上述步驟4)

所述的圖像幀的數目a＝T/fps，

其中，fps是幀率。

4.如權利要求1所述的一種融合人像和語音的屏幕視頻生成方法，其特征在于：步驟5)人臉抓取的時機應該選擇在有語音活動的時段，這個機制稱為語音驅動的人臉檢測，在步驟2)開啟錄音線程后，同時啟動語音活動檢測，具體過程為：通過語音活動檢測對錄音線程中的錄音進行檢查，當檢測到有語音時，則先向人臉抓取線程發出人臉抓取通知，再進行音頻編碼，如果沒有檢測到有語音，則直接進行音頻編碼。

5.如權利要求1所述的一種融合人像和語音的屏幕視頻生成方法，其特征在于：上述步驟6)通過固定位置法確定人臉圖像加入到屏幕圖像的具體位置：選用屏幕的左上、右上、左下、右下四個位置中的其中一個地方加入人臉圖像。

6.如權利要求1所述的一種融合人像和語音的屏幕視頻生成方法，其特征在于：上述步驟6)通過距離鼠標位置最遠法確定人臉圖像加入到屏幕圖像的具體位置，距離鼠標位置最遠法即：在屏幕上取到當前幀鼠標位置最遠的點加入人臉圖像，在圖像抓取線程、錄音線程和人臉抓取線程啟動的同時，鼠標位置查詢線程也隨之開啟，捕獲鼠標或指觸點的位置，并把位置實時通知給視頻編輯模塊。

7.如權利要求1所述的一種融合人像和語音的屏幕視頻生成方法，其特征在于：上述步驟6)所述的替換法是用人臉數據取代在屏幕圖像對應位置的像素值；疊加法采用加權系數對給定的位置上一對人臉和屏幕數據進行加權求和，用和值替換該位置上的屏幕圖像的數據，加權系數通常被稱為阿爾法透明系數。