[發(fā)明專利]一種低帶寬人工智能人像視頻傳輸方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011229316.X
• 申請(qǐng)日: 2020-11-06
• 公開（公告）號(hào): CN112367492A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 金闐
• 申請(qǐng)（專利權(quán)）人: 江西經(jīng)濟(jì)管理干部學(xué)院
• 主分類號(hào): H04N7/14
• 分類號(hào): H04N7/14;G06T7/11;G06T7/194
• 代理公司: 南昌青遠(yuǎn)專利代理事務(wù)所(普通合伙) 36123
• 代理人: 涂志剛

本發(fā)明涉及視頻傳輸技術(shù)領(lǐng)域，尤其涉及一種低帶寬人工智能人像視頻傳輸方法，包括如下步驟：輸出客戶端打開攝像頭，采集短時(shí)長(zhǎng)視頻流發(fā)送給服務(wù)端；服務(wù)端對(duì)接收的原始視頻流中的圖像進(jìn)行分析，更新維護(hù)分離背景和分割人像特征的人工智能算法并下發(fā)給輸出客戶端；輸出客戶端獲取最新的人工智能圖像分割算法后，實(shí)時(shí)對(duì)采集到的視頻圖像進(jìn)行分割運(yùn)算，運(yùn)算的結(jié)果是分離出背景圖像，人像各特征節(jié)點(diǎn)的坐標(biāo)和填充在節(jié)點(diǎn)中多邊形的貼圖；接收客戶端獲取背景圖像并直接顯示；獲取特征節(jié)點(diǎn)左邊，獲取人像多邊形貼圖，顯示人像圖像。本發(fā)明占用帶寬與流視頻傳輸方法相比減小數(shù)個(gè)數(shù)量級(jí)，將大幅提升網(wǎng)絡(luò)人像視頻實(shí)時(shí)傳輸?shù)男屎湍芰Α?/p>

技術(shù)領(lǐng)域

本發(fā)明涉及視頻傳輸領(lǐng)域，尤其涉及一種低帶寬人工智能人像視頻傳輸方法。

背景技術(shù)

當(dāng)前的視頻傳輸方法主要基于無(wú)損位圖和有損壓縮圖像的傳輸。視頻傳輸需要占用大量帶寬，因此視頻清晰度和幀率很難提高。以典型的720p清晰度30fps幀率的視頻傳輸為例，無(wú)損模式下網(wǎng)絡(luò)需要承載每秒27兆字節(jié)的數(shù)據(jù)內(nèi)容，常用的有損壓縮模式下也需要2Mbps的帶寬占用。當(dāng)視頻清晰度和幀率需求進(jìn)一步提高，網(wǎng)絡(luò)帶寬占用容易超過(guò)網(wǎng)絡(luò)基礎(chǔ)設(shè)施的承載上限。當(dāng)前多路視頻會(huì)議和高清遠(yuǎn)距實(shí)時(shí)視頻通信的需求迅速增長(zhǎng)，急需一種占用帶寬更低，更適合網(wǎng)絡(luò)會(huì)議使用的人像視頻傳輸方法。

如何進(jìn)行三維人像視頻傳輸是虛擬現(xiàn)實(shí)發(fā)展過(guò)程中遇到的問(wèn)題。一種可行的方案是使用雙目攝像頭或視頻攝像頭配合紅外景深攝像頭，實(shí)時(shí)虛擬現(xiàn)實(shí)視頻通信時(shí)網(wǎng)絡(luò)需要承載多攝像頭輸出的視頻流。這種方案對(duì)網(wǎng)絡(luò)帶寬的傳輸能力提出了更大的挑戰(zhàn)。

相對(duì)于網(wǎng)絡(luò)帶寬對(duì)視頻傳輸造成的瓶頸，本地硬件設(shè)備的計(jì)算能力特別是當(dāng)前硬件設(shè)備中的圖形加速計(jì)算能力沒有得到充分的運(yùn)用。本發(fā)明通過(guò)人工智能算法，將背景圖像與人像圖像剝離，并對(duì)人像進(jìn)行特征點(diǎn)分割，充分調(diào)用本地硬件圖像運(yùn)算能力，對(duì)人像數(shù)據(jù)進(jìn)行分割、傳輸和解析

正是基于上述原因，本發(fā)明提供了一種低帶寬人工智能人像視頻傳輸方法。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)的不足，提供一種低帶寬人工智能人像視頻傳輸方法，占用帶寬與流視頻傳輸方法相比減小數(shù)個(gè)數(shù)量級(jí)，將大幅提升網(wǎng)絡(luò)人像視頻實(shí)時(shí)傳輸?shù)男屎湍芰Α?/p>

本發(fā)明公開了一種低帶寬人工智能人像視頻傳輸方法，包括如下步驟：

步驟1，輸出客戶端打開攝像頭，采集短時(shí)長(zhǎng)視頻流發(fā)送給服務(wù)端；

步驟2，服務(wù)端對(duì)接收的原始視頻流中的圖像進(jìn)行分析，更新維護(hù)分離背景和分割人像特征的人工智能算法；

步驟3，將人工智能圖像分割算法下發(fā)給輸出客戶端；

步驟4，輸出客戶端打開網(wǎng)絡(luò)傳輸通道，獲取最新的人工智能圖像分割算法后，實(shí)時(shí)對(duì)采集到的視頻圖像進(jìn)行分割運(yùn)算，運(yùn)算的結(jié)果是分離出背景圖像，人像各特征節(jié)點(diǎn)的坐標(biāo)和填充在節(jié)點(diǎn)中多邊形的貼圖；

步驟5，輸出客戶端判斷背景圖像與上一次的運(yùn)算結(jié)果是否相同，如發(fā)生變化則將背景圖像發(fā)送出去；發(fā)送每次運(yùn)算得到的特征節(jié)點(diǎn)坐標(biāo)；判斷人像多邊形貼圖與上一次的運(yùn)算結(jié)果是否相同，如發(fā)生變化則將發(fā)生變化的貼圖發(fā)送出去；

步驟6，接收客戶端打開網(wǎng)絡(luò)傳輸通道；獲取背景圖像并直接顯示；獲取特征節(jié)點(diǎn)左邊，獲取人像多邊形貼圖，使用本機(jī)圖像運(yùn)算能力將貼圖渲染在人像多邊形上，顯示人像圖像。

還包括如下步驟：

輸出客戶端和接收客戶端注冊(cè)地址和狀態(tài)，服務(wù)端維護(hù)在線客戶端的地址和狀態(tài)；

輸出客戶端提出獲取接收客戶端的地址和狀態(tài)，接收客戶端應(yīng)答輸出客戶端的視頻傳輸請(qǐng)求，服務(wù)端應(yīng)答輸出客戶端和接收客戶端的地址和狀態(tài)。

在所述步驟6中，還包括接收客戶端對(duì)整個(gè)圖像進(jìn)行美化渲染。