[發(fā)明專利]一種基于RFB協(xié)議的音頻視頻的傳輸方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110458636.0
• 申請(qǐng)日: 2021-04-27
• 公開(kāi)（公告）號(hào): CN113286169A
• 公開(kāi)（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 孫龍飛;劉莉;黃遠(yuǎn)鵬
• 申請(qǐng)（專利權(quán)）人: 上海全云互聯(lián)網(wǎng)科技有限公司
• 主分類號(hào): H04N21/231
• 分類號(hào): H04N21/231;H04N21/233;H04N21/2343;H04N21/242;H04N21/61;H04N19/423;H04L29/06
• 代理公司: 上海國(guó)瓴律師事務(wù)所 31363
• 代理人: 傅耀

本發(fā)明提供了一種基于RFB協(xié)議的音頻視頻的傳輸方法，包括RFB客戶端音頻視頻傳輸方法和RFB服務(wù)端音頻視頻傳輸方法，所述RFB服務(wù)端音頻視頻傳輸方法包括處理RFB客戶端發(fā)送的事件以及將音頻視頻傳輸至RFB客戶端，所述RFB客戶端音頻視頻傳輸方法包括向RFB服務(wù)端發(fā)送事件以及接收RFB服務(wù)端的音頻視頻信號(hào)，所述RFB服務(wù)端音頻視頻傳輸方法包括Section?1音頻視頻的抓取方法和Section?2音頻視頻的傳輸方法，所述Section?1音頻視頻的抓取方法和所述Section?2音頻視頻的傳輸方法同步進(jìn)行，實(shí)現(xiàn)了自動(dòng)的將音頻視頻數(shù)據(jù)發(fā)送至RFB客戶端。其中本發(fā)明的有益效果是：提升了程序的運(yùn)行效率，提高了顯示幀率可以進(jìn)行音頻視頻信號(hào)的傳輸。

技術(shù)領(lǐng)域

本發(fā)明涉及信號(hào)傳輸技術(shù)領(lǐng)域，特別涉及一種基于RFB協(xié)議的音頻視頻的傳輸方法。

背景技術(shù)

RFB(Remote?Frame?Buffer遠(yuǎn)程幀緩沖)協(xié)議是一個(gè)用于遠(yuǎn)程訪問(wèn)圖形用戶界面的簡(jiǎn)單協(xié)議。由于RFB協(xié)議工作在幀緩沖層，因此它適用于所有的窗口系統(tǒng)和應(yīng)用程序，如Android、X11、Windows和Macintosh等。用戶使用的遠(yuǎn)程終端(一般包括顯示器、鍵盤和鼠標(biāo))稱為RFB客戶端，引起幀緩沖改變的終端(如窗口系統(tǒng)或應(yīng)用程序)稱為RFB服務(wù)器端。RFB協(xié)議是一個(gè)真正的瘦客戶端協(xié)議，RFB協(xié)議設(shè)計(jì)時(shí)主要考慮的是盡量減少對(duì)客戶端的需求，在這種情況下，瘦客戶端能夠運(yùn)行在大量廣泛的硬件平臺(tái)上，這樣實(shí)現(xiàn)客戶端的任務(wù)就盡可能的得到了簡(jiǎn)化，但目前RFB協(xié)議主要用于圖片的傳輸，特別是在Android系統(tǒng)中，由于受限于Android設(shè)備JPEG圖片壓縮的算法，采用RFB協(xié)議的傳輸幀率較低(RK3399設(shè)備上實(shí)測(cè)不足10幀/秒)，還不支持音頻視頻信號(hào)的傳輸，使得用戶的體驗(yàn)感較差。現(xiàn)有的基于RFB協(xié)議的圖像傳輸如圖1所示，需要客戶端發(fā)出請(qǐng)求或者操作系統(tǒng)顯示通知之后才會(huì)觸發(fā)圖像抓取函數(shù)，并對(duì)圖片數(shù)據(jù)進(jìn)行壓縮，其方法為：

S1：RFB初始化：初始化RFB服務(wù)端Socket，初始化運(yùn)行環(huán)境；

S2：初始化圖像抓取方法：根據(jù)Android系統(tǒng)版本不通，加載不同的動(dòng)態(tài)庫(kù)，初始化圖像抓取函數(shù)；

S3：初始化輸入設(shè)備：創(chuàng)建虛擬輸入設(shè)備，獲取設(shè)備句柄；

S4：等待RFB客戶端事件：等待從通信Socket讀取的客戶端事件；

S5：是否發(fā)送圖像顯示更新：是否發(fā)送圖像更新給客戶端，當(dāng)客戶端請(qǐng)求更新圖像事件或者Android系統(tǒng)通知顯示的圖像有更新，會(huì)觸發(fā)步驟S7；

S6：處理其它RFB事件：處理其它RFB客戶端事件，比如點(diǎn)擊、滑動(dòng)、按鍵事件等；

S7：抓取顯示圖像：調(diào)用根據(jù)步驟B初始化的圖像抓取函數(shù)；

S8：對(duì)圖像進(jìn)行JPEG壓縮：壓縮圖像數(shù)據(jù)為JPEG圖片數(shù)據(jù)；

S9：發(fā)送給RFB客戶端：發(fā)送JPEG圖片數(shù)據(jù)給RFB客戶端。

因此需要一種基于RFB協(xié)議的可以主動(dòng)進(jìn)行音頻和視頻傳輸，且不會(huì)影響圖像的幀率的方法。

發(fā)明內(nèi)容

為了解決上述技術(shù)問(wèn)題，本發(fā)明中披露了一種可以基于RFB協(xié)議進(jìn)行音頻和視頻信號(hào)傳輸以及可以提高圖片傳輸幀率的方法，本發(fā)明的技術(shù)方案是這樣實(shí)施的：

一種基于RFB協(xié)議的音頻視頻傳輸方法，包括RFB客戶端音頻視頻傳輸方法和RFB服務(wù)端音頻視頻傳輸方法，RFB服務(wù)端音頻視頻傳輸方法包括處理RFB客戶端發(fā)送的事件以及將音頻視頻傳輸至RFB客戶端，所述RFB客戶端音頻視頻傳輸方法包括向RFB服務(wù)端發(fā)送事件以及接收RFB服務(wù)端的音頻視頻信號(hào)，其特征在于，RFB服務(wù)端音頻視頻傳輸方法包括Section?1音頻視頻的抓取方法和Section?2音頻視頻的傳輸方法，Section?1音頻視頻的抓取方法和Section?2音頻視頻的傳輸方法同步進(jìn)行，其中，Section?1音頻視頻的抓取方法，包括如下步驟：