[發明專利]一種基于幀同步的多路遠程直播視頻解說方法

有效

• 申請號: 201910035693.0
• 申請日: 2019-01-15
• 公開（公告）號: CN109769132B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 孫劍;趙松;劉逸男
• 申請（專利權）人: 北京中視廣信科技有限公司
• 主分類號: H04N21/43
• 分類號: H04N21/43;H04N21/44;H04N21/439;H04N21/434;H04L29/06
• 代理公司: 北京市盛峰律師事務所 11337
• 代理人: 席小東

1.一種基于幀同步的多路遠程直播視頻解說方法，其特征在于，包括以下步驟：

步驟1，現場采集終端實時采集現場的直播音視頻流；其中，所述直播音視頻流包括同步的直播音頻流和直播視頻流；

所述現場采集終端實時將采集到的所述直播音視頻流發送到切換設備；

步驟2，所述切換設備設有直播音視頻流緩存區域；當所述切換設備接收到所述直播音視頻流時，所述切換設備實時將所述直播音視頻流分解為直播音頻流和直播視頻流，并將所述直播音頻流和所述直播視頻流分別存儲到所述直播音視頻流緩存區域；

當所述直播音視頻流緩存區域中緩存的直播視頻流達到M個直播視頻幀時，所述切換設備在所述M個直播視頻幀的前面添加計時序列，并在所述計時序列的最后一個計時幀上面添加同步標記，所述計時序列和所述M個直播視頻幀形成帶計時序列的直播視頻流；其中，對于M個直播視頻幀，每個所述直播視頻幀均具有在本次完整直播過程中唯一的直播視頻幀號；

所述帶計時序列的直播視頻流緩存于所述直播音視頻流緩存區域；同時，所述切換設備將所述帶計時序列的直播視頻流和對應的所述直播音頻流合成為帶計時序列的直播音視頻流；并將所述帶計時序列的直播音視頻流發送到云平臺；

步驟3，所述云平臺將所述帶計時序列的直播音視頻流同時發送給各個位于不同位置的遠程的解說終端；對于每個所述解說終端，均執行步驟4-步驟5；

步驟4，所述解說終端接收到所述帶計時序列的直播音視頻流時，所述解說終端同時具有播放模塊和解說采集模塊，所述播放模塊播放所述帶計時序列的直播音視頻流；并且，從所述帶計時序列的直播音視頻流開始播放開始，所述解說采集模塊即同步開始采集解說音頻流和解說視頻流，直到所述帶計時序列的直播音視頻流播放結束；因此，所述解說終端獲得解說音頻流和同步的解說視頻流；

所述解說終端對所述解說視頻流進行掩膜處理，得到解說掩膜視頻流，所述解說掩膜視頻流包括M個解說掩膜視頻幀；

所述解說終端解析所述帶計時序列的直播音視頻流，獲得帶計時序列的直播視頻流；然后，識別出所述帶計時序列的直播視頻流的同步標記，將帶所述同步標記的計時幀作為第0號幀，從而確定下一幀為本次視頻處理周期的第1個直播視頻幀，并將定位到的第1個直播視頻幀的直播視頻幀號寫入到解說掩膜視頻流的第1個解說掩膜視頻幀上面；然后，再將第1個直播視頻幀下一位的第2個直播視頻幀的直播視頻幀號寫入到解說掩膜視頻流的第2個解說掩膜視頻幀上面；依此類推，由于共有M個直播視頻幀，因此，直到將第M個直播視頻幀的直播視頻幀號寫入到解說掩膜視頻流的第M個解說掩膜視頻幀上面；由此得到寫入直播視頻幀號的解說掩膜視頻流；

然后，所述解說終端將所述寫入直播視頻幀號的解說掩膜視頻流和對應的解說音頻流合成為解說音視頻流，并將所述解說音視頻流回傳給所述云平臺；

步驟5，所述云平臺將接收到的所述解說音視頻流回傳到所述切換設備；

步驟6，由于存在多個解說終端，因此，所述切換設備接收到多個所述解說音視頻流；

對于每個所述解說音視頻流，所述切換設備首先解析所述解說音視頻流，得到解說音頻流和寫入直播視頻幀號的解說掩膜視頻流；

然后，所述切換設備對所述寫入直播視頻幀號的解說掩膜視頻流進行直播視頻幀號的識別，由此識別到每個解說掩膜視頻幀上被寫入的直播視頻幀號；

然后，所述切換設備讀取所述直播音視頻流緩存區域，得到直播視頻流，并將解說掩膜視頻流和所述直播視頻流對齊，對齊方式為：具有相同直播視頻幀號的解說掩膜視頻幀和直播視頻幀對齊，從而實現直播視頻和解說視頻的同步；然后，將對齊的解說掩膜視頻流和直播視頻流合成為帶解說掩膜視頻的直播視頻流；

然后，所述切換設備再將所述帶解說掩膜視頻的直播視頻流、所述直播音頻流和所述解說音頻流合成為最終的與解說終端對應的帶解說音視頻的直播音視頻流；

步驟7，然后，所述切換設備對下一個視頻處理周期的音視頻數據進行處理；同時，所述切換設備將最近視頻處理周期處理得到的與各個解說終端分別對應的帶解說音視頻的直播音視頻流發送給所述云平臺；

所述云平臺存儲與各個解說終端分別對應的帶解說音視頻的直播音視頻流；當所述云平臺接收到來自于某個播放終端的對特定解說終端的觀看直播請求時，所述云平臺即將對應特定解說終端的帶解說音視頻的直播音視頻流發送給所述播放終端。

2.根據權利要求1所述的一種基于幀同步的多路遠程直播視頻解說方法，其特征在于，步驟4中，所述解說終端采用以下方法，將直播視頻幀號寫入到對應的解說掩膜視頻幀上面：

步驟4.1，需要寫入的直播視頻幀號為1~999999之間的任意自然數；

將本次需要寫入的直播視頻幀號轉換為6位數，表示為：A₆A₅A₄A₃A₂A₁；其中，A₁ 表示個位數字；A₂ 表示十位數字；A₃表示百位數字；A₄表示千位數字；A₅表示萬位數字；A₆表示十萬位數字；轉換方式為：如果需要寫入的直播視頻幀號為六位數字，則直接表示為A₆A₅A₄A₃A₂A₁；如果需要寫入的直播視頻幀號為1位~5位數字，則將高位補0，轉換為6位數字；

步驟4.2，所述解說掩膜視頻幀為四通道視頻幀，分別包括R通道、G通道、B通道和α通道；

所述解說終端以行優先掃描α通道，從α通道的第1行第1列的像素點開始掃描，即：首先掃描第1行第1列的像素點，然后掃描第1行第2列的像素點，依此類推，直到掃描到第1行最后列的像素點；然后掃描第2行第1列的像素點，然后掃描第2行第2列的像素點，依此類推進行掃描；當掃描到α通道值為0的像素點時，表明該像素點為有用像素點，繼續掃描；當首次掃描到α通道值為1的像素點時，表明該像素點為無用像素點，將該像素點記為像素點R₀，此時，將該像素點R₀的B通道的灰度值調整為直播視頻幀號個位數字A₁對應的灰度值，將該像素點R₀的G通道的灰度值調整為直播視頻幀號十位數字A₂對應的灰度值，將該像素點R₀的R通道的灰度值調整為直播視頻幀號百位數字A₃對應的灰度值；

然后繼續掃描，當掃描到下一個α通道值為1的像素點時，將該像素點記為像素點R₁，此時，將該像素點R₁的B通道的灰度值調整為直播視頻幀號千位數字A₄對應的灰度值，將該像素點R₁的G通道的灰度值調整為直播視頻幀號萬位數字A₅對應的灰度值，將該像素點R₁的R通道的灰度值調整為直播視頻幀號十萬位數字A₆對應的灰度值；至此完成直播視頻幀號寫入到對應的解說掩膜視頻幀上面的過程。