[發(fā)明專利]視頻圖像傳輸方法、裝置、交互智能平板和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910063004.7
• 申請(qǐng)日: 2019-01-23
• 公開（公告）號(hào): CN109831638B
• 公開（公告）日: 2021-01-08
• 發(fā)明（設(shè)計(jì)）人: 楊銘
• 申請(qǐng)（專利權(quán)）人: 廣州視源電子科技股份有限公司;廣州視臻信息科技有限公司
• 主分類號(hào): H04N7/15
• 分類號(hào): H04N7/15;H04N7/14;H04N21/4788;H04N21/4402;H04N19/42;H04N19/44;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 馮右明

1.一種視頻圖像傳輸方法，其特征在于，包括：

在會(huì)議場(chǎng)景中，獲取第一視頻通信端拍攝的視頻圖像；

向第二視頻通信端發(fā)送參考圖像，所述參考圖像屬于所述第一視頻通信端拍攝的視頻圖像；

通過預(yù)先訓(xùn)練好的編碼器提取所述視頻圖像的語(yǔ)義信息，所述語(yǔ)義信息為設(shè)定對(duì)象的語(yǔ)義信息，所述語(yǔ)義信息包括參與會(huì)議的人物的面部神態(tài)特征信息或肢體行為特征信息；所述語(yǔ)義信息的數(shù)據(jù)量小于所述視頻圖像的全部數(shù)據(jù)量；

向所述第二視頻通信端發(fā)送所述語(yǔ)義信息；

所述參考圖像和語(yǔ)義信息用于使得所述第二視頻通信端重構(gòu)出設(shè)定對(duì)象的重構(gòu)子圖像，并將所述設(shè)定對(duì)象的重構(gòu)子圖像與所述參考圖像融合，得到所述第一視頻通信端的視頻圖像的重構(gòu)圖像。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述編碼器用于識(shí)別圖像語(yǔ)義信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述編碼器的輸入為圖像，輸出為輸入圖像對(duì)應(yīng)的低維向量，作為輸入圖像的語(yǔ)義信息。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述編碼器為卷積神經(jīng)網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，提取所述視頻圖像中設(shè)定對(duì)象的語(yǔ)義信息的步驟，包括：

識(shí)別所述視頻圖像中的設(shè)定對(duì)象，得到所述設(shè)定對(duì)象的子圖像；

將所述設(shè)定對(duì)象的子圖像輸入經(jīng)過訓(xùn)練的編碼器；

獲取所述編碼器的輸出，得到所述視頻圖像中所述設(shè)定對(duì)象的語(yǔ)義信息。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述設(shè)定對(duì)象包括人臉或者人體。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，如果所述設(shè)定對(duì)象為人臉，所述提取所述視頻圖像中設(shè)定對(duì)象的語(yǔ)義信息的步驟，包括：

識(shí)別所述視頻圖像中的人臉區(qū)域，得到人臉子圖像；

將所述人臉子圖像輸入經(jīng)過訓(xùn)練的編碼器；

獲取所述編碼器的輸出，得到所述視頻圖像中的人臉語(yǔ)義信息。

8.根據(jù)權(quán)利要求6所述的方法，其特征在于，如果所述設(shè)定對(duì)象為人體，所述提取所述視頻圖像中設(shè)定對(duì)象的語(yǔ)義信息的步驟，包括：

識(shí)別所述視頻圖像中的人體區(qū)域，得到人體子圖像；

將所述人體子圖像輸入經(jīng)過訓(xùn)練的編碼器；

獲取所述編碼器的輸出，得到所述視頻圖像中的人體語(yǔ)義信息。

9.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述參考圖像包括第一參考圖像，所述方法還包括：

每間隔N幀采用設(shè)定的圖像傳輸模式向第二視頻通信端發(fā)送所述第一參考圖像；在設(shè)定的圖像傳輸模式下傳輸?shù)乃龅谝粎⒖紙D像的數(shù)據(jù)量，大于所述語(yǔ)義信息的數(shù)據(jù)量； N大于1；

所述第一參考圖像屬于所述第一視頻通信端拍攝的視頻圖像；所述第一參考圖像，用于使所述第二視頻通信端根據(jù)所述語(yǔ)義信息以及所述第一參考圖像，重構(gòu)出所述視頻圖像的重構(gòu)圖像。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，所述第一參考圖像，用于使所述第二視頻通信端根據(jù)接收到的語(yǔ)義信息得到所述設(shè)定對(duì)象的重構(gòu)子圖像，將所述重構(gòu)子圖像與所述第一參考圖像融合，得到所述視頻圖像的重構(gòu)圖像。

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述方法還包括：

獲取所述視頻圖像中設(shè)定對(duì)象的位置信息；

向所述第二視頻通信端發(fā)送所述位置信息；所述位置信息用于使所述第二視頻通信端根據(jù)所述位置信息將所述設(shè)定對(duì)象的重構(gòu)子圖像與所述第一參考圖像融合，得到所述視頻圖像的重構(gòu)圖像。