[發明專利]視頻播放過程中的信息推送方法和裝置

有效

• 申請號: 201910597924.7
• 申請日: 2019-07-04
• 公開（公告）號: CN110324702B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 姜紅亮
• 申請（專利權）人: 三星電子（中國）研發中心;三星電子株式會社
• 主分類號: H04N21/439
• 分類號: H04N21/439;H04N21/435;H04N21/81;G10L25/57;G10L25/54;G10L25/30
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 孟旸;王麗琴

本發明公開了一種視頻播放過程中的信息推送方法和裝置，包括：從正在播放的視頻文件中提取正在播放的音頻數據；從音頻數據中分離出背景聲音；對背景聲音進行識別，獲得背景聲音的類別；將與背景聲音的類別相匹配的文字信息和/或圖像信息推送至正在播放的視頻區域中顯示。本發明實現了對視頻背景聲音的文字形式和圖像形式的可視信息的展示，從而使得人們能夠在無需聽到視頻中的聲音情況下獲得視頻中的聲音所表達的信息，同時本發明降低了聽障人士對視頻中聲音信息的獲取難度。

技術領域

本發明涉及計算機多媒體技術領域，特別涉及一種視頻播放過程中的信息推送方法和裝置。

背景技術

隨著互聯網技術和移動通信技術的發展以及通信資費的不斷下降，基于互聯網和移動通信的視頻播放方式已經成為了人們日常生活中所常用的視頻觀看形式。人們可在任何具有互聯網的場所使用相應的終端設備觀看視頻。但是，受到人們觀看視頻場所環境變化的影響，導致了視頻觀看體驗的不同，例如在諸如地鐵、公交車、火車、飛機等噪音較大的場所中，視頻中的聲音信息受到環境影響而無法聽清，如果將音量開得較大將影響人的聽力，長此以往將造成聽力下降，又如在諸如圖書館、以及各種安靜場所中，需要將視頻聲音調降到極低甚至靜音狀態，這種情況下，雖然某些視頻中同時提供有字幕信息，但是用戶也無法獲得除字幕信息以外的視頻中的其他聲音信息。另外，對于聽障人士而言，無論在何種情況下，都難以獲得所觀看視頻中多數聲音信息，可見現有的視頻播放方式對于聽障人士而言造成了一種技術性的歧視。

因此，如何使得人們能夠在無需聽到視頻中的聲音情況下獲得視頻中的聲音所表達的信息，便成為了需要解決的技術問題。

發明內容

有鑒于此，本發明提供一種視頻播放過程中的信息推送方法和裝置，以將視頻中除說話聲音以外的背景聲音信息所表達的內容同步推送至視頻前端顯示，使得人們能夠在無需聽到視頻中的聲音情況下獲得視頻中的聲音所表達的信息，并降低聽障人士對視頻中聲音信息的獲取難度。

本發明的技術方案是這樣實現的：

一種視頻播放過程中的信息推送方法，包括：

從當前正在播放的視頻文件中提取當前正在播放的音頻數據；

從所述音頻數據中分離出背景聲音；

對所述背景聲音進行識別，獲得所述背景聲音的類別；

將與所述背景聲音的類別相匹配的文字信息和/或圖像信息推送至當前正在播放的視頻區域中顯示。

優選地，所述的從當前正在播放的視頻文件中提取當前正在播放的音頻數據，包括：

將當前正在播放的視頻文件中的正在播放的音頻數據從所述視頻文件中提取出來。

優選地，所述的從所述音頻數據中分離出背景聲音，包括：

利用神經網絡將所述音頻數據中的說話聲音和背景聲音進行分離。

優選地，利用神經網絡將所述音頻數據中的說話聲音和背景聲音進行分離，包括：

對所述音頻數據進行短時傅里葉變換得到混合音頻的振幅譜和相位譜；

所述混合音頻的振幅譜經過所述神經網絡分離出說話聲音振幅譜和背景聲音振幅譜；

將所述背景聲音振幅譜與所述混合音頻的相位譜進行短時逆傅里葉變換，得到所述背景聲音的波形譜，從而完成所述背景聲音的分離。

優選地，所述的對所述背景聲音進行識別，獲得所述背景聲音的類別，是利用聲音判別模型實現的。

優選地，所述聲音判別模型通過如下方法獲得：

采用特征提取器從背景聲音數據中提取特征向量；