[發明專利]一種基于虛擬全景的多方會議的方法及設備

有效

• 申請號: 201710419372.1
• 申請日: 2017-06-06
• 公開（公告）號: CN107426524B
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 代云僧;張廣東;潘劍
• 申請（專利權）人: 微鯨科技有限公司
• 主分類號: H04N7/15
• 分類號: H04N7/15;H04L29/06;H04L12/18
• 代理公司: 上海百一領御專利代理事務所(普通合伙) 31243
• 代理人: 甘章乖;鄂艷濤

1.一種基于虛擬全景的多方會議的方法，其中，所述方法包括：

預置每個參會方在虛擬全景中的虛擬位置和所述虛擬全景的虛擬背景，并獲取每個所述參會方的多路視頻圖像；

基于每個所述參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到每個所述參會方對應的其他各參會方的插值視頻圖像，包括：從所有所述參會方中選出一目標參會方；遍歷從所述目標參會方對應的其他參會方中任選一插值參會方，重復如下步驟，直至得到所述目標參會方對應的其他各參會方的插值視頻圖像，獲取所述插值參會方的各攝像裝置的分布位置，遍歷選取所述插值參會方的實際會議場景中的圖像點，并確定所述圖像點在所述插值參會方的各攝像裝置上的成像位置，基于所述分布位置和所述成像位置，確定所述圖像點相對于所述插值參會方的各攝像裝置的相對位置，基于所述目標參會方與插值參會方的虛擬位置及所述相對位置，得到所述圖像點對應的插值視頻圖像點，基于所有所述圖像點對應的插值視頻圖像點，得到所述目標參會方對應的插值參會方的插值視頻圖像；重復上述步驟，直至得到每個所述參會方對應的其他各參會方的插值視頻圖像；

將每個所述參會方對應的其他各參會方的插值視頻圖像和所述虛擬背景進行圖像拼接融合，得到每個所述參會方對應的全景視頻圖像；

將所述全景視頻圖像發送給對應的參會方的顯示設備顯示；

所述顯示設備包括至少一個顯示屏幕，

其中，所述將所述全景視頻圖像發送給對應的參會方的顯示設備顯示，包括：

基于預設的所述顯示屏幕的相對位置，對所述全景視頻圖像進行投影分割，并將分割后的全景視頻圖像對應地發送給所述顯示屏幕顯示。

2.根據權利要求1所述的方法，其中，所述基于每個所述參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到每個所述參會方對應的其他各參會方的插值視頻圖像，包括：

從所有所述參會方中選出一目標參會方；

基于所述目標參會方的虛擬位置分別對其他各參會方的多路視頻圖像進行插值計算，得到所述目標參會方對應的其他各參會方的插值視頻圖像；

重復上述步驟，直至得到每個所述參會方對應的其他各參會方的插值視頻圖像。

3.根據權利要求1所述的方法，其中，所述基于所述目標參會方與插值參會方的虛擬位置及所述相對位置，得到所述圖像點對應的插值視頻圖像點，包括：

基于所述目標參會方與插值參會方的虛擬位置，確定所述插值參會方相對于所述目標參會方的虛擬視角；

基于所述虛擬視角和所述相對位置，對所述圖像點進行虛擬投影，得到所述圖像點對應的插值視頻圖像點。

4.根據權利要求1所述的方法，其中，所述將每個所述參會方對應的其他各參會方的插值視頻圖像和所述虛擬背景進行圖像拼接融合，得到每個所述參會方對應的全景視頻圖像，包括：

按照每個參會方在所述虛擬全景中的虛擬位置，將每個所述參會方對應的其他各參會方的插值視頻圖像進行圖像拼接并對應融合至所述虛擬背景中，得到每個所述參會方對應的全景視頻圖像。

5.根據權利要求1所述的方法，其中，所述獲取每個所述參會方的多路視頻圖像的同時，還包括:

獲取每個所述參會方的音頻數據及其對應的音頻時間；

所述將每個所述參會方對應的其他各參會方的插值視頻圖像和所述虛擬背景進行圖像拼接融合，得到每個所述參會方對應的全景視頻圖像的同時，還包括：

按照所述音頻時間將每個所述參會方的音頻數據進行混合，得到每個所述參會方對應的全景音頻數據；

所述將所述全景視頻圖像發送給對應的參會方的顯示設備顯示的同時，還包括：

將所述全景音頻數據發送給對應的參會方的播放設備播放。

6.根據權利要求5所述的方法，其中，按照所述音頻時間將每個所述參會方的音頻數據進行混合，得到每個所述參會方對應的全景音頻數據，包括：

從所有所述參會方中選出一目標參會方；

按照所述音頻時間將所述目標參會方對應的其他各參會方的音頻數據進行混合，得到所述目標參會方對應的包含其他各參會方的音頻數據的全景音頻數據；

重復上述步驟，直至得到每個所述參會方對應的全景音頻數據。