[發明專利]一種基于分布式的視頻轉碼方法

有效

• 申請號: 201510367471.0
• 申請日: 2015-06-29
• 公開（公告）號: CN104935951B
• 公開（公告）日: 2018-08-21
• 發明（設計）人: 董樂;張寧
• 申請（專利權）人: 電子科技大學
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N19/40;H04N21/2343;H04N19/30
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 李明光

本發明提供了一種基于分布式的大規模視頻轉碼系統，屬于大數據與視頻處理技術領域。本發明方法在大數據處理平臺Hadoop上采用分布式的方法最終實現大規模的視頻轉碼，該方法利用HDFS文件系統對大規模視頻數據進行儲存，利用MapReduce編程模型進行分布式處理，借助多媒體庫Xuggler實現對視頻的處理。本發明利用分布式文件系統的擴展性和穩定性特點實現對大規模視頻數據的儲存與轉碼，解決傳統集中式儲存對硬件要求高、維護困難、不易擴展等缺點，動態地適應日益增長的大規模視頻數據的儲存和轉碼需求。

技術領域

本發明屬于大數據與視頻處理技術領域，涉及分布式平臺上的海量視頻的轉碼處理，尤其涉及一種基于分布式的大規模視頻轉碼方法。

背景技術

由于互聯網及手機網絡的不斷發展，涌現出越來越多的媒體傳播的平臺，加之手機普遍都具備攝像功能，便攜式的攝像機的使用也變得很普遍，視頻的制作和發布變得非常簡單，人們每天都會制作出大量的視頻數據并分享到互聯網上，同時低功率的攝像傳感器網絡及視頻監控網絡也得到了大量應用，使得每天新產生的視頻數據出于持續增長的狀態。由于網絡的異構性和終端播放設備的多樣性，往往需要將視頻文件進行格式轉換，以滿足不同的應用需求，轉換內容包括改變視頻的編碼格式、分辨率、比特率等屬性。視頻轉換工作十分消耗計算資源，CPU占用率很高，在進行格式轉換任務時，其他的任務很難得到處理，因此有必要將視頻轉碼作業從單機系統中脫離出來進行處理。傳統的視頻轉碼是集中式的，在處理大量的視頻數據的時候有很大的局限性，其計算能力很難隨著數據量變大而線性增長。分布式計算技術的發展為解決這個問題提供了可能。

發明內容

本發明要解決大規模視頻的轉碼問題，針對視頻轉碼的效率，提出一種基于分布式的大規模視頻轉碼方法，實現在大數據處理平臺Hadoop的基礎上，完成分布式的大規模視頻轉碼過程。

為了實現上述目的本發明采用以下技術方案：

一種基于分布式的視頻轉碼方法，其流程如圖1所示，具體包括以下步驟：

步驟1.上傳視頻文件：將需要轉碼的大量源視頻數據上傳至Hadoop平臺的HDFS文件系統上；

步驟2.對已上傳至HDFS的源視頻數據進行預處理：通過Hadoop平臺提供的InputFormat接口，將每個源視頻文件解析成一個相應的鍵值對<key,value>，其中，key為視頻文件名，value為轉碼參數信息，其包括視頻的保存位置、源視頻格式信息及轉碼的目標視頻格式信息；

步驟3.將源視頻文件進行分割：在Hadoop平臺上啟動第一MapReduce任務作業，利用Xuggler多媒體處理庫對每一個源視頻進行分割，其中Map函數的輸入為通過步驟2預處理得到的鍵值對<key,value>，通過讀取每個鍵值對包含的視頻信息，對相應的視頻數據進行分割操作；該MapReduce作業輸出通過分割而得的視頻分塊及相應的鍵值對信息，該鍵值對信息包括每個視頻分塊的源視頻文件信息及該視頻分塊在源視頻中的位置；分割得到的視頻分塊可進行單獨的轉碼操作；

步驟4.對步驟3經分割得到的視頻分塊按目標視頻格式進行轉碼：在Hadoop平臺上啟動第二MapReduce作業，利用Xuggler多媒體處理庫對每一個視頻分塊進行轉碼，其中，該作業的Map函數的輸入為處理步驟3得到視頻分塊的鍵值對信息，得到轉碼后的視頻分塊及相應的鍵值對信息，該鍵值對信息包括每個視頻分塊的源視頻文件信息及該視頻分塊在源視頻中的位置；完成轉碼后，第二MapReduce作業的Reduce函數通過讀取本步驟所得的鍵值對信息，將同屬于一個源視頻文件的轉碼后的視頻分塊按時間位置順序進行組合獲得相應的轉碼后目標視頻，由此完成源視頻到目標視頻的轉碼過程。