[發明專利]基于混合現實技術的視頻通信方法、終端及存儲介質

在審

• 申請號: 202210210401.4
• 申請日: 2022-03-04
• 公開（公告）號: CN114661150A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 王少博;王巍;賀鵬;李輝業;王淇鋒;徐剛;王鑫;劉保安;韓楠;王杉杉;杜中華;穆文喆;張濤;王彥紅;鄧光磊
• 申請（專利權）人: 國網河北省電力有限公司石家莊供電分公司;國家電網有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;H04N13/194;H04N13/275;G06V10/44
• 代理公司: 石家莊新世紀專利商標事務所有限公司 13100
• 代理人: 齊蘭君

1.一種基于混合現實技術的視頻通信方法，其特征在于，包括：

獲取虛擬模型，并發送所述虛擬模型，所述虛擬模型為用于表征互動目標聲像的模型；

獲取對象的圖像特征、聲音特征以及交互特征；

根據預設模板以及所述對象的圖像特征，獲取所述對象的主體以及所述對象的位置；

根據所述交互特征，獲取操縱所述虛擬模型的命令；

發送所述聲音特征、所述對象的主體、所述對象的位置以及操縱所述虛擬模型的命令。

2.根據權利要求1所述的基于混合現實技術的視頻通信方法，其特征在于，所述預設模板為顏色模板，所述根據預設模板，獲取所述對象的主體，包括：

根據所述對象的圖像特征，獲取所述對象的各像素點的顏色；

根據所述顏色模板以及所述對象的各像素點的顏色，去除所述對象的背景色，獲得所述對象的主體。

3.根據權利要求1所述的基于混合現實技術的視頻通信方法，其特征在于，所述虛擬模型包括操縱所述虛擬模型的動作映射，所述根據所述交互特征，獲取操縱所述虛擬模型的命令，包括：

根據所述交互特征以及所述虛擬模型的動作映射，獲取操縱所述虛擬模型的命令。

4.根據權利要求1所述的基于混合現實技術的視頻通信方法，其特征在于，所述虛擬模型包括以下至少之一：三維立體模型、圖文以及音視頻。

5.根據權利要求1所述的基于混合現實技術的視頻通信方法，其特征在于，所述交互特征包括以下至少之一：眼動以及手勢傳感。

6.根據權利要求1-5任一項所述的基于混合現實技術的視頻通信方法，其特征在于，所述基于混合現實技術的視頻通信方法還包括圖像再現步驟，所述圖像再現步驟包括：

獲取所述虛擬模型；

根據所述對象的位置、所述對象的主體以及所述虛擬模型，將所述對象的主體與所述虛擬模型進行疊加，生成視頻圖像；

根據所述操縱所述虛擬模型的命令，更新所述虛擬模型的圖像；

根據所述聲音特征以及所述虛擬模型進行疊加，生成視頻聲音。

7.一種基于混合現實技術的視頻通信裝置，其特征在于，包括：

模型獲取模塊，用于獲取虛擬模型，并發送所述虛擬模型；

特征獲取模塊，用于獲取對象的圖像特征、聲音特征以及交互特征；

主體提取模塊，用于根據預設模板以及所述對象的圖像特征，獲取所述對象的主體以及所述對象的位置；

命令生成模塊，用于根據所述交互特征，獲取操縱所述虛擬模型的命令；

以及，

信息輸出模塊，用于發送所述聲音特征、所述對象的主體、所述對象的位置以及操縱所述虛擬模型的命令。

8.一種終端，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現如上的權利要求1至6中任一項所述方法的步驟。

9.根據權利要求8所述的終端，其特征在于，所述終端還包括：交互傳感器，所述交互傳感器與所述處理器電連接，所述交互傳感器用于獲取交互特征。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如上的權利要求1至6中任一項所述方法的步驟。