[發(fā)明專利]一種分布式文檔轉(zhuǎn)碼系統(tǒng)

無效

• 申請(qǐng)?zhí)枺?/td>: 201310002550.2
• 申請(qǐng)日: 2013-01-06
• 公開（公告）號(hào): CN103092932A
• 公開（公告）日: 2013-05-08
• 發(fā)明（設(shè)計(jì)）人: 潘旻琦;劉理博
• 申請(qǐng)（專利權(quán)）人: 潘旻琦;劉理博
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30;H04L29/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及分布式轉(zhuǎn)碼和任務(wù)調(diào)度技術(shù)，屬于多格式數(shù)字文檔處理領(lǐng)域。

背景技術(shù)

隨著辦公電子化的發(fā)展，文檔在線閱讀、在線文檔分享已經(jīng)逐漸成為在線辦公的必不可少的服務(wù)和技術(shù)。文檔轉(zhuǎn)碼使得不同格式的電子文檔能夠在網(wǎng)頁、不同移動(dòng)設(shè)備上顯示、閱讀，目前傳統(tǒng)的解決方案是使用Flash作為播放器，如常見的百度文庫、豆丁以及道客巴巴，用戶可以將自己的各種格式的電子文檔上傳到服務(wù)器，服務(wù)器通過轉(zhuǎn)碼及轉(zhuǎn)存，轉(zhuǎn)變成Flash播放器可以識(shí)別的格式。但是Flash是以第三方插件，導(dǎo)致在載入速度慢、兼容性差。有些直接使用Linux下的開源轉(zhuǎn)碼器導(dǎo)致很大一部分轉(zhuǎn)碼結(jié)果失真。

傳統(tǒng)的轉(zhuǎn)碼任務(wù)都是由專門的任務(wù)調(diào)度服務(wù)器來調(diào)度、分配和管理，在待轉(zhuǎn)碼任務(wù)繁多而且轉(zhuǎn)碼服務(wù)器群有限的情況下，任務(wù)調(diào)度會(huì)導(dǎo)致大量的系統(tǒng)資源浪費(fèi)，同時(shí)轉(zhuǎn)碼服務(wù)器自身狀態(tài)變化也會(huì)對(duì)系統(tǒng)資源利用率大大降低。

發(fā)明內(nèi)容

為解決上述技術(shù)問題，本發(fā)明公開了一種分布式實(shí)時(shí)文檔轉(zhuǎn)碼系統(tǒng)，能夠?qū)⒏黝愇臋n轉(zhuǎn)碼為所有設(shè)備兼容的圖片格式。

在所述文檔轉(zhuǎn)碼系統(tǒng)中，包括公共服務(wù)器、任務(wù)隊(duì)列服務(wù)器、轉(zhuǎn)碼服務(wù)器群，

所述公共服務(wù)接收上傳數(shù)據(jù)，并且為每個(gè)文件提供一個(gè)加密的下載地址。

所述任務(wù)隊(duì)列服務(wù)器生成一個(gè)全局的任務(wù)編號(hào)，并將文檔下載地址和其他相關(guān)任務(wù)參數(shù)作為值存入內(nèi)存中的消息隊(duì)列。同時(shí)為所有的轉(zhuǎn)碼服務(wù)器提供一個(gè)端口用于接收任務(wù)參數(shù)。其中任務(wù)參數(shù)包括文檔或者轉(zhuǎn)碼中間產(chǎn)物的下載地址、任務(wù)的種類和不同任務(wù)種類可能需要的其他參數(shù)，其中任務(wù)種類包括任務(wù)類型和任務(wù)優(yōu)先級(jí)。

所述消息隊(duì)列分為不同的優(yōu)先級(jí)，優(yōu)先級(jí)不同的任務(wù)到達(dá)不同優(yōu)先級(jí)的消息隊(duì)列排隊(duì)，等待執(zhí)行。

為保證轉(zhuǎn)碼的質(zhì)量，轉(zhuǎn)碼服務(wù)器群分為兩類，一類為Linux服務(wù)器群，另一類為Windows服務(wù)器群。

所述Linux服務(wù)器負(fù)責(zé)解壓壓縮文件，以及將PDF(或Djvu)文件轉(zhuǎn)碼成圖片格式。

所述Windows服務(wù)器負(fù)責(zé)將常見的doc、docx、ppt、pptx、pps、ppsx等電子文檔格式轉(zhuǎn)碼成PDF文件；以及將生成的PDF文件傳至公共服務(wù)器，同時(shí)向任務(wù)隊(duì)列服務(wù)器的特定的端口發(fā)送建立PDF轉(zhuǎn)碼任務(wù)的參數(shù)，根據(jù)需要進(jìn)入不同優(yōu)先級(jí)的轉(zhuǎn)碼隊(duì)列。

本發(fā)明還公布了一種任務(wù)調(diào)度方法，以便更加充分的利用系統(tǒng)資源，尤其在任務(wù)數(shù)量遠(yuǎn)遠(yuǎn)大于轉(zhuǎn)碼服務(wù)器時(shí)，需要盡可能的提高處理效率，所述任務(wù)調(diào)度方法包括任務(wù)隊(duì)列服務(wù)器的多優(yōu)先級(jí)消息隊(duì)列、任務(wù)隊(duì)列服務(wù)器啟動(dòng)信號(hào)、轉(zhuǎn)碼服務(wù)器請(qǐng)求信號(hào)、轉(zhuǎn)碼服務(wù)器自適應(yīng)、多次重試的策略，來處理所有的任務(wù)。

所述任務(wù)隊(duì)列服務(wù)器啟動(dòng)信號(hào)為向空閑狀態(tài)停止監(jiān)聽的轉(zhuǎn)碼服務(wù)群發(fā)送的啟動(dòng)信號(hào)，即向轉(zhuǎn)碼服務(wù)群某個(gè)端口發(fā)送認(rèn)證秘鑰，來啟動(dòng)停止請(qǐng)求任務(wù)的轉(zhuǎn)碼服務(wù)群。

所述轉(zhuǎn)碼服務(wù)器請(qǐng)求信號(hào)，即收到啟動(dòng)信號(hào)時(shí)，每隔一段時(shí)間請(qǐng)求一次任務(wù)，在空閑時(shí)自動(dòng)停止請(qǐng)求，并監(jiān)聽任務(wù)隊(duì)列服務(wù)器的啟動(dòng)信號(hào)。

所述轉(zhuǎn)碼服務(wù)器自適應(yīng)，是指本發(fā)明只需要每臺(tái)轉(zhuǎn)碼服務(wù)器各自計(jì)算各自的運(yùn)行狀態(tài)，并依據(jù)自己的剩余系統(tǒng)資源的多少來決定請(qǐng)求任務(wù)的種類和數(shù)量。

所述多次重試策略，是指本發(fā)明在試圖將所有的功能專有化的同時(shí)，并沒有保證數(shù)據(jù)傳遞的可靠性，因此任務(wù)隊(duì)列服務(wù)器會(huì)記錄分配出去的任務(wù)的執(zhí)行時(shí)間和其反饋的狀態(tài)，根據(jù)超時(shí)時(shí)間、反饋狀態(tài)及任務(wù)錯(cuò)誤信息決定是否重試，每次重試時(shí)，超時(shí)時(shí)間會(huì)加長。達(dá)到一定重試次數(shù)后不再重試，將該任務(wù)列為失敗任務(wù)。

附圖說明

圖1是本發(fā)明Linux轉(zhuǎn)碼服務(wù)器處理PDF文件的過程的流程圖

圖2是本發(fā)明整個(gè)分布式轉(zhuǎn)碼系統(tǒng)的組成及其基本任務(wù)數(shù)據(jù)流，用于表述任務(wù)調(diào)度系統(tǒng)方法的一個(gè)示意性實(shí)例

具體實(shí)施方式

本發(fā)明所述轉(zhuǎn)碼是將復(fù)雜文檔格式到統(tǒng)一兼容性圖片格式的一種轉(zhuǎn)換，同時(shí)保證無失真的轉(zhuǎn)碼結(jié)果。例如PDF文件，轉(zhuǎn)碼過程就是將PDF格式的文件提取出每頁的數(shù)據(jù)來，然后將每一頁的數(shù)據(jù)寫入圖片文件(下面以JPG圖片文件為例)，得到需要的文件；對(duì)于Word及PowerPoint文件，考慮到現(xiàn)有開源轉(zhuǎn)碼器的對(duì)這種文件編碼格式識(shí)別結(jié)果太過于粗糙，影響閱讀，所以本發(fā)明采取直接利用Windows自身的優(yōu)勢(shì)，使用微軟公司對(duì)自己文檔格式的優(yōu)秀的識(shí)別能力，將這種文件無失真的轉(zhuǎn)存為PDF文件，再進(jìn)行PDF轉(zhuǎn)碼。

所述無失真的含義是指輸入文件和輸出文件的內(nèi)容、版式無區(qū)別。所指輸入文件的內(nèi)容版式以原作者想表述的內(nèi)容為準(zhǔn)。