[發明專利]交互式視頻播放的方法和系統

有效

• 申請號: 202010901425.5
• 申請日: 2020-08-31
• 公開（公告）號: CN111970568B
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 樊星
• 申請（專利權）人: 上海松鼠課堂人工智能科技有限公司
• 主分類號: H04N21/442
• 分類號: H04N21/442;H04N21/472;H04N21/485;H04N13/239;G10L21/0208;G10L17/00;G06F3/01
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.交互式視頻播放的方法，其特征在于，其包括如下步驟：

步驟S1，對用戶進行拍攝和錄音，從而獲得所述用戶在觀看視頻過程中的動態影像信息和聲音信息，并對所述動態影像信息和所述聲音信息進行降噪預處理；

步驟S2，從經過所述降噪預處理后的動態影像信息和聲音信息中分別提取得到所述用戶的動作特征信息和語音特征信息，并根據所述動作特征信息或所述語音特征信息，生成相應的視頻播放控制指令；

步驟S3，根據所述視頻播放控制指令，調整當前視頻的播放參數，同時向所述用戶反饋當前視頻的播放參數實時調整狀態；

其中，在所述步驟S1中，對所述動態影像信息和所述聲音信息進行降噪預處理具體包括，

第一、將所述動態影像信息切分為N段等時長的子影像信息；

第二、獲取所述N段等時長的子影像信息中的每一段子影像信息對應的圖像信號，并根據下面公式(1)確定每一段子影像信息的圖像信號中的噪聲信號權值，

在上述公式(1)中，ω_i表示第i段子影像信息的圖像信號中的噪聲信號權值，表示第i段子影像信息的圖像信號中的噪聲信號方差，N表示子影像信息的總數量，S_i表示第i段子影像信息的圖像信號的圖像亮度值，ε表示預設常數、且其取值范圍為[0.1，0.2]，M表示每一個圖像信號包含的干擾信號的數量，G_j表示第j個干擾信號對應的干擾系數、且其取值為[0.05，0.1]、其隨著干擾信號自身的信號強度增大而增大；第三、根據每一段子影像信息的圖像信號中的噪聲信號權值，提取得到所述圖像信號包含的噪聲信號，并將所述噪聲信號刪除；

第四、將所述聲音信息轉換為聲音信號，并對所述聲音信號進行傅里葉轉換，以此獲得實際信號頻率特征序列；

第五、對預設無背景噪聲的聲音信號進行傅里葉轉換，以此獲得標準信號頻率特征序列；

第六、根據下面公式(2)，確定所述實際信號頻率特征序列與所述標準信號頻率特征序列之間的相似度值simY

在上述公式(2)中，H表示所述標準信號頻率特征序列的序列特征頻率參數數量，U_n表示所述標準信號頻率特征序列中第n個序列特征頻率參數，T表示所述實際信號頻率特征序列的序列特征頻率參數數量，P_d表示所述實際信號頻率特征序列中第d個序列特征頻率參數，θ₁表示第一預設權重值、且其取值為0.4，K_n表示所述標準信號頻率特征序列中第n個序列特征頻率參數的誤差值，Q_d表示所述實際信號頻率特征序列中第d個序列特征頻率參數的誤差值，θ₂表示第二預設權重值、且其取值為0.6；

第七、將所述相似度值simY與預設相似度閾值B進行比對，若simY等于B，則確定所述聲音信息包含噪聲成分，若simY不等于B，則確定所述聲音信息不包含噪聲成分；

第八、當確定所述聲音信息不包含噪聲成分，則不需要對所述聲音信息進行降噪預處理，當確定所述聲音信息包含噪聲成分，則將所述實際信號頻率特征序列中具有最大值的序列特征頻率參數去除后，再對剩余的實際信號頻率特征序列進行逆傅里葉轉換，從而實現對所述聲音信息的降噪預處理。

2.如權利要求1所述的交互式視頻播放的方法，其特征在于：

在所述步驟S1中，對用戶進行拍攝和錄音，從而獲得所述用戶在觀看視頻過程中的動態影像信息和聲音信息，并對所述動態影像信息和所述聲音信息進行降噪預處理具體包括，

步驟S101，對所述用戶進行雙目拍攝，從而獲得所述用戶在觀看視頻過程中的第一視角影像和第二視角影像，并根據所述第一視角影像和所述第二視角影像之間的視差信息，生成關于所述用戶在觀看視頻過程中三維動態影像；

步驟S102，采用麥克風陣列在不同方位對所述用戶進行聲音采集，從而獲得所述用戶在觀看視頻過程中的立體環繞聲音信息；

步驟S103，對所述三維動態影像進行環境背景圖像像素虛化處理，從而降低所述三維動態影像的環境背景圖像噪聲成分，以及對所述立體環繞聲音信息進行背景雜散噪聲過濾處理，從而提高所述立體環繞聲音信息的信噪比。