[發(fā)明專利]一種基于虛擬全景的多方會議的方法及設備

有效

• 申請?zhí)枺?/td>: 201710419372.1
• 申請日: 2017-06-06
• 公開（公告）號: CN107426524B
• 公開（公告）日: 2020-07-28
• 發(fā)明（設計）人: 代云僧;張廣東;潘劍
• 申請（專利權）人: 微鯨科技有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04L29/06;H04L12/18
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 甘章乖;鄂艷濤

本申請的目的是提供一種基于虛擬全景的多方會議的方法及設備，本申請通過預置每個參會方在虛擬全景中的虛擬位置和虛擬全景的虛擬背景，并獲取每個參會方的多路視頻圖像；基于每個參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到每個參會方對應的其他各參會方的插值視頻圖像；將每個參會方對應的其他各參會方的插值視頻圖像和虛擬背景進行圖像拼接融合，得到每個參會方對應的全景視頻圖像；將全景視頻圖像發(fā)送給對應的參會方的顯示設備顯示，通過插值計算還原出每個參會方的空間感，為每個參會方提供全視角的其他各參會方的全景視頻圖像，以增加每個參會方在多方視頻會議過程中的空間方位感、帶入感和沉浸感。

技術領域

本申請涉及計算機領域，尤其涉及一種基于虛擬全景的多方會議的方法及設備。

背景技術

隨著因特網帶寬的提高，在線會議逐漸普及。在線會議使相距遙遠的人能夠通過電話、電子郵件或即時消息等的方式進行長距離的通信，且允許模擬面對面通信。然而，由于現有技術中的在線視頻會議中不能直觀地反應參會人員的空間位置，同時在多人進行在線視頻會議時，容易導致參會人員被遮擋住，不能實時看見并看見其他各個參會人員的會議過程等，因此如何解決在線會議中的空間方位感和實時呈現成為業(yè)界研究的主要題。

發(fā)明內容

本申請的一個目的是提供一種基于虛擬全景的多方會議的方法及設備，解決現有視頻會議中的空間感錯位及參會人員容易被遮擋的問題。

根據本申請的一個方面，提供了一種基于虛擬全景的多方會議的方法，其中，所述方法包括：

預置每個參會方在虛擬全景中的虛擬位置和所述虛擬全景的虛擬背景，并獲取每個所述參會方的多路視頻圖像；

基于每個所述參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到每個所述參會方對應的其他各參會方的插值視頻圖像；

將每個所述參會方對應的其他各參會方的插值視頻圖像和所述虛擬背景進行圖像拼接融合，得到每個所述參會方對應的全景視頻圖像；

將所述全景視頻圖像發(fā)送給對應的參會方的顯示設備顯示。

進一步地，上述方法中，所述基于每個所述參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到每個所述參會方對應的其他各參會方的插值視頻圖像，包括：

從所有所述參會方中選出一目標參會方；

基于所述目標參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到所述目標參會方對應的其他各參會方的插值視頻圖像；

重復上述步驟，直至得到每個所述參會方對應的其他各參會方的插值視頻圖像。

進一步地，上述方法中，所述基于所述目標參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到所述目標參會方對應的其他各參會方的插值視頻圖像，包括：

遍歷從所述目標參會方對應的其他參會方中任選一插值參會方，重復如下步驟，直至得到所述目標參會方對應的其他各參會方的插值視頻圖像：

獲取所述插值參會方的各攝像裝置的分布位置；

遍歷選取所述插值參會方的實際會議場景中的圖像點，并確定所述圖像點在所述插值參會方的各攝像裝置上的成像位置；

基于所述分布位置和所述成像位置，確定所述圖像點相對于所述插值參會方的各攝像裝置的相對位置；

基于所述目標參會方與插值參會方的虛擬位置及所述相對位置，得到所述圖像點對應的插值視頻圖像點；

基于所有所述圖像點對應的插值視頻圖像點，得到所述目標參會方對應的插值參會方的插值視頻圖像。