[發明專利]針對可執行程序的分布式云計算系統及針對可執行程序的分布式云計算方法

在審

• 申請號: 201410068059.4
• 申請日: 2014-02-26
• 公開（公告）號: CN103823719A
• 公開（公告）日: 2014-05-28
• 發明（設計）人: 陸兵斌;劉嘉睿;陳蓉艷;蔣啟翔
• 申請（專利權）人: 杭州群核信息技術有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;H04L29/08
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 徐關壽

技術領域

????本發明涉及分布式云計算領域，具體來說，涉及在分布式環境下，利用云存儲在各節點之間完成數據交換、對任務進行調度和自動調用可執行程序來自動化處理任務的方法，尤其涉及針對可執行程序的分布式云計算系統及針對可執行程序的分布式云計算方法。

背景技術

傳統計算機程序的執行需要用戶在程序所在的機器上輸入命令或通過圖形界面來完成，其中很多程序的任務都是處理文件系統中的文件。這種方式被廣泛地運用于企業和科研機構，他們出于自己的業務需求或研究需要，要經常運行相同的程序。這些程序的處理流程基本都是相同的，即讀取文件、處理數據、最后以文件形式將結果輸出。然而，這種方式在擴展性上有很大的問題。當數據量增大，處理時間變長時，一臺機器將沒有足夠的性能來完成任務，那么勢必要增加新的機器來分攤任務。而當機器變得很多的時候，在每臺機器上都要人工執行及其相似的操作。這樣的工作繁瑣而機械，并且很不利于管理，將大大增加人力成本，另外容易出現某臺機器處于任務飽和狀態，和其他機器處于空閑狀態，其整體的計算機性能無法進行優化。而通過分布式計算方式，將一個任務進行分配，然后讓多臺機器對同一個任務進行計算，最后由一臺計算機進行對任務處理結果的整合，優先該處理方式需要解決任務處理的算法問題，另外，當任務處理中某臺機器出現無法響應亦或者某臺機器出現問題時，則后續的任務無法進行處理，即容易出現一個任務的執行失敗，導致整個工程的執行失敗，以及后續任務執行的推延。

發明內容

?????針對上述技術缺陷，本發明提出針對可執行程序的分布式云計算系統及針對可執行程序的分布式云計算方法。

????為了解決上述技術問題，?本發明的技術方案如下：

針對可執行程序的分布式云計算系統，包括調度服務器、計算服務器和云存儲服務器；

所述調度服務器用于創建工程及該工程包含的任務，并將該任務分配至計算服務器；

所述計算服務器用于接受調度服務器分配的任務，并自動調用事先配置的可執行程序對該任務進行執行處理；

所述云存儲服務器用于所述調度服務器創建工程及任務分配時資源文件的存儲、所述計算服務器獲取執行任務需要的資源文件的存儲、所述計算服務器上傳執行任務后的結果文件。

????進一步的，所述調度服務器根據工程的優先級以及工程中任務的優先級進行分配，所述調度服務器實時監控計算服務器，根據計算服務器的請求，將任務分配至空閑的計算機服務器中。

????進一步的，當計算服務器出現執行任務出錯時，如果出現的出錯是可恢復的，則調度服務器重置該任務，并分配該任務至其他空閑的計算服務器執行該任務；如果出現的出錯是不可恢復的，則所述計算服務器停止執行該任務，所述調度服務器則停止分配該任務；當計算服務器執行任務的時間超過閾值，調度服務器將重置該任務，并分配該任務至其他空閑的計算服務器；如果調度服務器監控得到計算服務器出現問題無法執行分配的任務，則重置該任務，并分配該任務至其他空閑的計算服務器。對于一個任務，重置次數有限制，超過這個限制則所述調度服務器則停止重置和分配該任務

通用的分布式云計算方法，包括如下步驟：

41）調度服務器接受用戶創建工程的請求，創建出新的工程和與該工程關聯的若干個任務，并設定該工程以及任務的優先級，從而得到任務及工程的排隊執行列表；

42）調度服務器根據計算服務器的請求，根據優先級從調度服務器領取任務，此時調度服務器將該被領取的任務標記為進行中；

43）計算服務器從云存儲服務器上獲取執行此任務需要的資源文件；

44）計算服務器運行配置的可執行程序，執行此任務；

45）完成此任務后，計算服務器向調度服務器請求將任務狀態標為完成中，請求被調度服務器接受則上傳運行結果到云存儲服務器；

46）運行結果上傳完畢，任務狀態標為完成。

????進一步的，所述步驟41）中的優先級可進行干預，調度服務器可根據優先級的高低，插入或者暫緩排隊執行列表中的任務或者工程。

????進一步的，在所述步驟45）中，為了防止同一個任務被多次提交，只有當任務的狀態不為完成或不為完成中時，調度服務器才接受把狀態標為完成中的請求。

????進一步的，當計算服務器執行任務時發生不可恢復的錯誤，調度服務器將任務的狀態會被直接標為失敗，此任務將不再被執行；而當計算服務器執行任務時發生可恢復錯誤，則調度服務器將任務重置為開始，此任務將分配給其他的計算服務器執行。