[發明專利]用于處理視頻文件的方法和設備

在審

• 申請號: 201210055213.5
• 申請日: 2012-03-05
• 公開（公告）號: CN103294726A
• 公開（公告）日: 2013-09-11
• 發明（設計）人: 羅彥林;黃權
• 申請（專利權）人: 日電（中國）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 王瑋

技術領域

本發明涉及文件的分布式處理，具體涉及一種用于處理視頻文件的方法和設備。

背景技術

隨著計算機系統的發展，數據處理的規模變得越來越大。通常，大規模數據處理的開銷是非常大的，這體現在要么計算時間很長，要么需要大量的計算資源。

Google公司針對大規模數據處理設計并開發了專用的分布式計算框架：映射-化簡(Map-Reduce)。映射-化簡框架在處理大規模并行任務方面性能卓越，很快在分布式計算領域流行起來。

為了在分布式平臺上處理大的視頻文件，該視頻文件需要先被切分成小的文件。文件切分的具體方法將會直接影響并行處理的整體性能。已經提出了一種被稱為切分-匯聚(Split-Merge)的分布式視頻文件處理的系統結構。在該系統結構中，視頻文件將首先被切分成多個塊，其中塊的大小是由編碼方式和編碼參數共同決定的。然后，將不同的塊分發到不同的計算節點上進行處理。最后，在所有處理完成后，將各個塊的處理結果匯聚起來形成最終完整的結果。

圖1示出了一種切分-匯聚式視頻文件處理系統的框圖。如圖1所示，該系統包括控制節點10和計算節點20。需要說明的是，盡管圖1中僅示出了一個計算節點20，然而這僅僅是示意性的；本領域技術人員可以理解，在實際情況中可能存在多個計算節點20。

如圖1所示，控制節點10包括文件信息分析單元110、塊大小計算單元120、切分調度單元130和調度信息發送單元140。計算節點20包括調度信息讀取單元210、文件定位單元220、處理單元230和輸出收集單元240。

具體地，控制節點10在接收到用戶提交的視頻文件后，首先利用文件信息分析單元110對該視頻文件進行分析，獲得包括文件大小、編碼方法和參數等信息。然后，塊大小計算單元120根據上述信息計算視頻分塊的大小。在獲得塊大小后，切分調度單元130將各個分塊調度到不同的計算節點20，并且調度信息發送單元140向計算節點20發送包括分塊相對于文件頭的偏移量和分塊大小的調度信息。

另一方面，計算節點20在收到調度信息后，首先利用調度信息讀取單元210讀入調度信息。然后，文件定位單元220根據調度信息來獲得視頻文件的相應部分。接下來，處理單元230對該部分進行處理。最后，輸出收集單元240收集該計算節點20的計算結果，以用于匯總得到整個文件的計算結果。

可以看出，在上述視頻文件處理系統中，首先要計算整個文件的大小和每個分塊的大小，然后以此為基礎來產生每個計算節點需要處理的分塊的信息(包括每個分塊相對于文件頭的偏移量以及分塊的大小)。然而，計算整個文件的大小和每個分塊的大小的過程會消耗相當多的計算資源，從而給控制節點造成很大的處理開銷。另一方面，如果用戶提交的視頻文件處理請求較多，則控制節點難以及時處理用戶的請求，從而可能造成延遲。

發明內容

因此，需要一種更加靈活的視頻文件切分方法和設備，其能夠減輕控制節點的處理開銷，并使視頻文件的分布式處理過程更加靈活。

根據本發明的一個方面，提供了一種控制節點，包括：分塊個數計算單元，被配置為計算視頻文件的分塊個數；分塊調度單元，被配置為將視頻文件中每一幀的幀號對所述分塊個數進行模運算，以產生包括分塊個數和模運算的特定余數的調度信息；以及調度信息發送單元，被配置為向計算節點發送所述調度信息。

優選地，分塊個數計算單元被配置為：計算可用計算節點的個數，并以此作為視頻文件的分塊個數。

優選地，分塊個數計算單元被配置為：計算可用計算節點的個數，并且把視頻文件的大小除以可用計算節點的個數；以及如果該除法的結果大于最小分塊大小，則將可用計算節點的個數作為所述分塊個數；否則，將視頻文件的大小除以最小分塊大小的商作為所述分塊個數，其中，所述最小分塊大小是根據歷史統計數據而預先確定的。

優選地，分塊個數計算單元被配置為：計算視頻文件的個數、最小視頻文件的大小和可用計算節點的個數；以及如果視頻文件的個數小于可用計算節點的個數，則把視頻文件的大小除以最小視頻文件的大小的商作為所述分塊個數；否則，將視頻文件的大小除以最小分塊大小的商作為所述分塊個數，其中，所述最小分塊大小是根據歷史統計數據而預先確定的。

優選地，分塊調度單元被配置為：將模運算的余數集合在計算節點之間平均分配，從而產生包括分塊個數和模運算的余數子集的調度信息。

優選地，分塊調度單元被配置為：根據計算節點的計算能力，將模運算的余數集合在計算節點之間進行分配，從而產生包括分塊個數和模運算的余數子集的調度信息。