[發明專利]基于插件執行任務分解的通用分布式動態運算技術

無效

• 申請號: 201010173157.6
• 申請日: 2010-05-10
• 公開（公告）號: CN101853179A
• 公開（公告）日: 2010-10-06
• 發明（設計）人: 賴洪昌
• 申請（專利權）人: 深圳市極限網絡科技有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及一種基于插件執行任務分解的通用分布式動態運算技術，屬于計算機應用技術領域。

背景技術

隨著計算機網絡，特別是Internet的迅猛發展，傳統的信息系統概念發生了巨大的變化，這些變化突出地表現在信息的存儲、傳遞、發布以及獲取方式所發生的革命性變革。與此同時，基于網絡的分布式信息系統在各個領域都得到了廣泛的應用，在整個社會生活中亦正發揮著日益突出的作用。然而隨著高性能技術應用需求的迅猛發展，傳統的分布式運算，僅單純地把所有的計算機組合起來共同解決一個大型的應用問題，已經不再能夠很好地滿足人們的需求。

隨著協作網絡的加快應用，有效的資源共享技術也變成非常重要的問題。于是，一種新型的分布式運算技術應運而生，它在傳統的分布式運算基礎上實現了在全球Internet范圍內所有資源的有效聚合和廣泛共享。正如Web標準和技術能夠實現全球范圍內文檔的透明存取一樣，新型分布式運算技術能夠實現計算資料的透明存取。

盡管如此，在實現本發明的過程中，我們還是發現目前現有的技術中存在著不足之處：

新型分布式運算在動態、跨機構的虛擬組織中給人們提供了協調資源共享和協同解決問題的能力；然而以上的優勢對于一名網絡技術工作者來說，卻是遠遠不夠的。至此，為了能夠更好地為網絡技術工作者服務，我們發明了“基于插件執行任務分解的通用分布式動態運算技術”。

發明內容

為了減低網絡技術工作者在分布式運算過程中的代碼工作量，減少由各種算法所引起的重復工作量，。本發明實施例提供了一種基于插件執行任務分解的通用分布式動態運算技術。以此大力提高分布式運算技術的工作效率所述技術方案如下：

基于插件執行任務分解的通用分布式動態運算技術，其特征主要表現在分布式運算的核心過程，任務是基于插件模式運行的：(1)通過控制臺插件管理模塊運行任務插件，并接收用戶輸入的大型運算數據，經過分塊處理，得出多個大小相等的數據塊；(2)將處理完成的數據塊進行分組傳送至分布任務調度模塊，并通過建立中間介質‘控制數據集’來判斷數據塊個數和服務端插件管理模塊個數的變化，同時也確定數據塊組的數目和服務端插件管理模塊組的數目；進而分布任務調度模塊把M組服務端插件管理模塊上傳到遠節點計算機；(3)根據控制臺插件管理模塊和服務端插件管理模塊間相互通信的關系，進行小組數據塊的傳輸工作及運算工作；(4)組合并整理多個運算結果；(5)在控制臺終端顯示最終運算結果。其具體操作步驟如下：

(1)數據分塊處理

①運行任務插件：控制臺插件管理模塊運行任務插件；

②接收源數據：控制臺插件管理模塊接收用戶請求處理的源數據；

③數據分塊處理：控制臺插件管理模塊針對獲取的源數據進行原始信息提取、源數據包大小、時間和幀頭信息分塊；

④數據塊組數目：控制臺插件管理模塊將分割后的數據塊分成N組，N為大于等于1的自然數；每一組至少包含一個數據塊，而且每組中的數據塊數量相等(最后一組除外)；

⑤數據塊傳送：控制臺插件管理模塊將數據塊逐個傳送至分布任務調度模塊。

(2)數據塊分配

①判斷服務端插件管理模塊的通信狀況：為了清楚了解數據塊從分布任務調度模塊到服務端插件管理模塊的傳輸進度以及分布式運算的工作進度，需要實時準確判斷分布任務調度模塊與服務端插件管理模塊是否處于正常通信中；

②控制數據集的建立：服務端插件管理模塊建立控制數據集以便更好地傳輸數據塊；

③控制數據集的變更：分布任務調度模塊實時監測每個服務端插件管理模塊是否處于正常通信，隨時準備變更控制數據集、重新標記控制數據集，并將變更后的控制數據集傳送至已成功通信的每個服務端插件管理模塊；

④服務端插件管理模塊分組：分布任務調度模塊將所有的服務端插件管理模塊分成多個小組；

⑤服務端插件管理模塊組數目：服務端插件管理模塊組數目為M，每一組至少包含一個服務端插件管理模塊，而且每組中服務端插件管理模塊數目相等(最后一個除外)；

⑥數據塊的分配：分布任務調度模塊分配N組數據塊至M組服務端插件管理模塊，每個服務端插件管理模塊中分配的數據塊數目相等(最后一個除外)；

⑦上傳插件：分布任務調度模塊把M組服務端插件管理模塊上傳到遠節點計算機。

(3)執行數據運算命令

①服務端插件管理模塊與控制臺插件管理模塊的通信；服務端插件管理模塊通過網絡與控制臺插件管理模塊通信；