[發明專利]一種實現聲音與圖像同位的方法、裝置、設備及介質

有效

• 申請號: 201811043120.4
• 申請日: 2018-09-07
• 公開（公告）號: CN109194999B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 趙新科
• 申請（專利權）人: 深圳創維-RGB電子有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/439;H04N21/44;H04N21/4402;H04N21/442
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種實現聲音與圖像同位的方法、裝置、設備及介質，所述方法包括：對當前播放視頻分別進行圖像識別以及聲音識別，以獲取當前播放視頻對應的圖像特征和聲音特征；基于所述圖像特征判斷當前播放視頻是否存在發聲源；若存在，則獲取當前播放視頻的發聲源在當前視頻顯示屏的位置信息；基于所述聲音特征判斷當前播放視頻是否存在與所述發聲源匹配的音源，若存在，則根據所述發聲源在當前視頻顯示屏的位置信息生成控制信號，以控制與所述位置信息對應的聲音還原元件發聲；其中，所述預設圖像特征數據庫依據所述當前播放視頻預先構建。通過采用上述技術方案，可提高視頻的播放效果，給觀看者帶來較強的臨場感。

技術領域

本發明實施例涉及智能電視技術領域，尤其涉及一種實現聲音與圖像同位的方法、裝置、設備及介質。

背景技術

現在的電子顯示類產品，如大尺寸液晶電視，在播放視頻的時候，視頻圖像是通過顯示屏呈現出來，而視頻聲音則是通過設置在電視其它位置的揚聲器發聲，由于視頻聲音與對應的視頻圖像不在同一個位置，導致視頻的播放效果不佳，用戶觀看視頻時的臨場感不強。

發明內容

本發明提供一種實現聲音與圖像同位的方法、裝置、設備及介質，通過所述方法有效實現聲音與圖像的同位置呈現，提高視頻的播放效果。

為實現上述目的，本發明實施例采用如下技術方案：

第一方面，本發明實施例提供了一種實現聲音與圖像同位的方法，所述方法包括：

對當前播放視頻分別進行圖像識別以及聲音識別，以獲取所述當前播放視頻對應的圖像特征和聲音特征；

基于所述圖像特征判斷所述當前播放視頻是否存在發聲源；

若所述當前播放視頻存在發聲源，則基于所述圖像特征從預設圖像特征數據庫中獲取所述當前播放視頻的發聲源在當前視頻顯示屏的位置信息；

基于所述聲音特征判斷所述當前播放視頻是否存在與所述發聲源匹配的音源，若存在，則根據所述發聲源在當前視頻顯示屏的位置信息生成控制信號，以控制與所述位置信息對應的聲音還原元件發聲；

其中，所述預設圖像特征數據庫依據所述當前播放視頻預先構建。

進一步的，所述對當前播放視頻分別進行圖像識別以及聲音識別，以獲取所述當前播放視頻對應的圖像特征和聲音特征，包括：

對當前播放視頻進行解碼，分別得到當前播放視頻對應的圖像數據和聲音數據；

基于所述圖像數據調用圖像識別接口進行圖像識別，得到對應的圖像特征，并基于所述聲音數據調用聲音識別接口進行聲音識別，得到對應的聲音特征。

進一步的，所述聲音還原元件包括揚聲器，所述聲音還原元件依據所述當前視頻顯示屏預先劃分的分區獨立設置；

所述分區的數量依據顯示屏的大小進行設定。

進一步的，所述根據所述發聲源在當前視頻顯示屏的位置信息生成控制信號，以控制與所述位置信息對應的聲音還原元件發聲包括；

將所述聲音數據通過ATMOS解碼，得到IIS音頻信號；

根據所述IIS音頻信號以及所述控制信號控制與所述位置信息對應的功率放大器工作以驅動對應的揚聲器發聲。

進一步的，所述基于所述圖像特征判斷所述當前播放視頻是否存在發聲源，包括：

將所述圖像特征與預設圖像特征數據庫中的圖像特征進行相似度匹配；

當匹配相似度達到設定閾值時，則確定所述當前播放視頻存在發聲源；

其中，所述預設圖像特征數據庫中的圖像特征包括人體形態特征和/或動物形態特征。