[發(fā)明專利]分布式轉(zhuǎn)碼系統(tǒng)、方法及其裝置

有效

• 申請?zhí)枺?/td>: 201710010242.2
• 申請日: 2017-01-06
• 公開（公告）號: CN106791932B
• 公開（公告）日: 2019-08-30
• 發(fā)明（設(shè)計）人: 鄧敏;伍錦盤
• 申請（專利權(quán)）人: 廣州亦云信息技術(shù)股份有限公司
• 主分類號: H04N21/2343
• 分類號: H04N21/2343;H04N21/4402
• 代理公司: 廣州市越秀區(qū)哲力專利商標(biāo)事務(wù)所(普通合伙) 44288
• 代理人: 羅晶;高淑怡

技術(shù)領(lǐng)域

本發(fā)明涉及分布式轉(zhuǎn)碼系統(tǒng)、方法及其裝置。

背景技術(shù)

目前有一些為企業(yè)提供視頻托管服務(wù)的業(yè)務(wù)，其中有一項服務(wù)便是將企業(yè)提供的高清視頻轉(zhuǎn)碼為適合互聯(lián)網(wǎng)進(jìn)行傳播的視頻流，在這個過程當(dāng)中就涉及到用戶在平臺上傳的視頻進(jìn)行轉(zhuǎn)碼的操作，由于涉及到的用戶和用戶視頻會非常的多，我們不可能使用單臺機(jī)器進(jìn)行轉(zhuǎn)碼，必須使用分布式的方式對用戶上傳的視頻進(jìn)行轉(zhuǎn)碼。

一般的框架設(shè)計，通常會有一個任務(wù)中央任務(wù)調(diào)配系統(tǒng)，配多個任務(wù)處理機(jī)器來進(jìn)行轉(zhuǎn)碼作業(yè)，這種設(shè)計完全依賴中央任務(wù)調(diào)配系統(tǒng)，這個系統(tǒng)可能會被過渡設(shè)計，除了任務(wù)分配的調(diào)度，還需要實(shí)時對所有的工作機(jī)器進(jìn)行監(jiān)控來判斷是否分配任務(wù)到該工作機(jī)；并且這個調(diào)度系統(tǒng)是非常重要，必須保證其高可用以確保該調(diào)度系統(tǒng)沒有單點(diǎn)故障風(fēng)險；而當(dāng)該中央調(diào)度系統(tǒng)作集群，本身就需要多臺機(jī)器部署，從而增加機(jī)器成本。

發(fā)明內(nèi)容

為了克服現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供分布式轉(zhuǎn)碼系統(tǒng)、方法及其裝置，其能實(shí)現(xiàn)轉(zhuǎn)碼機(jī)器自身自行調(diào)度的分布式轉(zhuǎn)碼。

本發(fā)明的目的采用以下技術(shù)方案實(shí)現(xiàn)：

分布式轉(zhuǎn)碼系統(tǒng)，包括轉(zhuǎn)碼模塊、數(shù)據(jù)庫、共享文件系統(tǒng)；

共享文件系統(tǒng)用于接收外部的請求端發(fā)送來的源文件并存儲；

數(shù)據(jù)庫用于接收外部的請求端發(fā)送來的任務(wù)數(shù)據(jù)包并存儲；

轉(zhuǎn)碼模塊用于從數(shù)據(jù)庫中獲取任務(wù)數(shù)據(jù)包，以及根據(jù)任務(wù)數(shù)據(jù)包從共享文件系統(tǒng)中獲取對應(yīng)的源文件，并對源文件進(jìn)行轉(zhuǎn)碼；將轉(zhuǎn)碼后的轉(zhuǎn)碼文件存儲至共享文件系統(tǒng)中。

分布式轉(zhuǎn)碼方法，應(yīng)用于分布式轉(zhuǎn)碼系統(tǒng)，包括如下步驟：

S1、共享文件系統(tǒng)接收源文件并存儲；數(shù)據(jù)庫接收任務(wù)數(shù)據(jù)包并存儲；

S2、轉(zhuǎn)碼模塊的守護(hù)線程從數(shù)據(jù)庫中獲取任務(wù)數(shù)據(jù)包，并在轉(zhuǎn)碼模塊的工作池中創(chuàng)建一個轉(zhuǎn)碼進(jìn)程；工作池根據(jù)任務(wù)數(shù)據(jù)包中的轉(zhuǎn)碼源文件路徑從共享文件夾系統(tǒng)中獲取對應(yīng)的源文件；

S3、工作池對源文件進(jìn)行轉(zhuǎn)碼，將轉(zhuǎn)碼成功的轉(zhuǎn)碼文件存儲至共享文件系統(tǒng)中。

作為優(yōu)選，工作池包括心跳單元和轉(zhuǎn)碼單元；

S2具體為：守護(hù)線程從數(shù)據(jù)庫中獲取任務(wù)數(shù)據(jù)包，并在工作池中創(chuàng)建一個轉(zhuǎn)碼進(jìn)程；心跳單元定時發(fā)送心跳數(shù)據(jù)至數(shù)據(jù)庫中的任務(wù)數(shù)據(jù)包中，以使任務(wù)數(shù)據(jù)包中的心跳時間更新為接收到該心跳數(shù)據(jù)的時間；轉(zhuǎn)碼單元根據(jù)轉(zhuǎn)碼源文件路徑從共享文件夾系統(tǒng)中獲取對應(yīng)的源文件。

作為優(yōu)選，S2中的守護(hù)線程從數(shù)據(jù)庫中獲取待轉(zhuǎn)碼的任務(wù)數(shù)據(jù)包；以及從數(shù)據(jù)庫中獲取運(yùn)行中且心跳時間距離當(dāng)前時間超過預(yù)定時間的任務(wù)數(shù)據(jù)包。

作為優(yōu)選，守護(hù)線程還用于檢測工作池中的容量，并在工作池的容量有盈余時，守護(hù)線程再次從數(shù)據(jù)庫中獲取任務(wù)數(shù)據(jù)包，并在工作池中創(chuàng)建另一個轉(zhuǎn)碼進(jìn)程。

作為優(yōu)選，S2還包括：工作池將獲取到的源文件存儲至緩存目錄中。

作為優(yōu)選，S3還包括：守護(hù)線程在轉(zhuǎn)碼單元轉(zhuǎn)碼成功后，發(fā)送轉(zhuǎn)碼成功信號至對應(yīng)的任務(wù)數(shù)據(jù)包中，并更新該任務(wù)數(shù)據(jù)包的狀態(tài)信息為完成。

作為優(yōu)選，守護(hù)線程還用于在轉(zhuǎn)碼單元轉(zhuǎn)碼失敗后，發(fā)送轉(zhuǎn)碼失敗信號至對應(yīng)的任務(wù)數(shù)據(jù)包中，更新該任務(wù)數(shù)據(jù)包的狀態(tài)信息為失敗。

作為優(yōu)選，S3中，工作池根據(jù)任務(wù)數(shù)據(jù)包中的轉(zhuǎn)碼需求對源文件進(jìn)行轉(zhuǎn)碼。

分布式轉(zhuǎn)碼裝置，應(yīng)用于分布式轉(zhuǎn)碼系統(tǒng)，包括：

第一存儲模塊，應(yīng)用于共享文件系統(tǒng)，用于接收源文件并存儲；第二存儲模塊，應(yīng)用于數(shù)據(jù)庫，用于接收任務(wù)數(shù)據(jù)包并存儲；

創(chuàng)建模塊，應(yīng)用于轉(zhuǎn)碼模塊的守護(hù)線程，用于從數(shù)據(jù)庫中獲取任務(wù)數(shù)據(jù)包，并在轉(zhuǎn)碼模塊的工作池中創(chuàng)建一個轉(zhuǎn)碼進(jìn)程；

獲取模塊，應(yīng)用于工作池，用于根據(jù)任務(wù)數(shù)據(jù)包中的轉(zhuǎn)碼源文件路徑從共享文件夾系統(tǒng)中獲取對應(yīng)的源文件；

運(yùn)行模塊，應(yīng)用于工作池，對源文件進(jìn)行轉(zhuǎn)碼，將轉(zhuǎn)碼成功的轉(zhuǎn)碼文件存儲至共享文件系統(tǒng)中。

相比現(xiàn)有技術(shù)，本發(fā)明的有益效果在于：將中央任務(wù)調(diào)配系統(tǒng)去除，由各個轉(zhuǎn)碼機(jī)器本身來實(shí)現(xiàn)自行調(diào)度，從而減少了發(fā)生故障的風(fēng)險，節(jié)省機(jī)器成本的投入，降低后期維護(hù)的難度。

附圖說明

圖1為本發(fā)明的分布式轉(zhuǎn)碼系統(tǒng)的模塊連接圖；

圖2為本發(fā)明的分布式轉(zhuǎn)碼方法的流程圖；

圖3為本發(fā)明的分布式轉(zhuǎn)碼裝置的模塊連接圖。

具體實(shí)施方式

下面，結(jié)合附圖以及具體實(shí)施方式，對本發(fā)明做進(jìn)一步描述：

分布式轉(zhuǎn)碼系統(tǒng)，如圖1所示，包括轉(zhuǎn)碼機(jī)器、數(shù)據(jù)庫、共享文件系統(tǒng)和傳輸組件；