[發(fā)明專利]基于多態(tài)進程重組協處理矩陣的多個子任務云異步協同處理方法

無效

• 申請?zhí)枺?/td>: 201010263559.5
• 申請日: 2010-08-26
• 公開（公告）號: CN102156657A
• 公開（公告）日: 2011-08-17
• 發(fā)明（設計）人: 高瞻;孫希律
• 申請（專利權）人: 高瞻
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/52
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發(fā)明涉及一種計算機數據處理方法，特別是涉及一種協處理矩陣的多個子任務云異步協同處理方法。

背景技術

對于一個需要大量計算和存儲IO的任務，如何將任務拆解成多條子任務，分別發(fā)送到后端批量計算機中分別運行。各機器運算完畢后，把結果匯總上來，再進行結果集的合并和篩選，最后得出計算準確結果。整個過程中，需要解決如下幾個技術點：

1、任務拆分；2、子任務發(fā)送；3、子任務并發(fā)運行；4、子結果返回；5、子結果篩選；6、子結果合并；7、結果返回。

現有的技術方案：

1、計算機集群技術——這是一種將多臺同構或異構的計算機連接起來協同完成特定的任務就構成了集群系統，能夠顯著地提高基于TCP/IP協議的多種網絡服務質量的高可用性集群系統，通過將物理上分離的多個集群連接在一起使多個同構或異構的計算機能夠通過局域網或廣域網共享計算資源，并能夠為用戶提供對資源的透明訪問。

2、高可用性集群——主要功能就是提供不間斷的服務，有許多應用程序都必須一天二十四小時不停運轉，如所有的web服務器、工業(yè)控制器、ATM、遠程通訊連接器、醫(yī)學與軍事監(jiān)測儀以及股票處理機等。對這些應用程序而言，暫時的停機都會導致數據的丟失和災難性的后果。

3、高性能集群——通過將多臺機器連接起來同時處理復雜的計算問題，模擬星球附近的磁場、預測龍卷風的出現、定位石油資源的儲藏地等情況都需要對大量的數據進行處理，傳統的處理方法是使用超級計算機來完成計算工作，但是超級計算機的價格比較昂貴，而且可用性和可擴展性不夠強，因此集群成為了高性能計算領域矚目的焦點。

集群系統采用的操作系統主要有VMS、UNIX、WindowsNT和Linux。

現有技術集群的缺點：

1、實施和配置的復雜性——建立集群框架、管理主機間的連通性、配置共享存儲都不是簡單的任務，可能涉及到組織內部多個團隊，在很大程度上，都是技術性的工作，隨著復雜度的增加，可能會遺漏某些東西從而影響系統的穩(wěn)定性。

2、更新和升級的不利因素——升級到更新版本的產品和硬件組件也可能引起困難。因此，虛擬主機集群連接多個系統，各組件間發(fā)生著大量的、復雜的交互。以更新主機上的多路徑I/O(MPIO)以驅動為例，該操作會影響整個集群。首先，它影響節(jié)點轉移邏輯單元號(LUN)到其他節(jié)點的效率。同時，在更新MPIO驅動之前，集群中所有主機的HBA卡的Firmware都需要升級。如果FW不用升級，那也必須首先安裝HBA卡的驅動。如果是單機，這可以通過1～2次重啟解決。在集群環(huán)境中，協調多個虛擬主機服務器則較為困難。升級實際的虛擬主機軟件一定是一個具有挑戰(zhàn)性的任務，因為集群節(jié)點的交互以及不同軟件版本支持(比如：SCVMM/Protection?Manager等)。

3、集群成本因素——要實現一個虛擬主機集群環(huán)境，需要復制部分基礎架構并同時保持虛擬機與主機的比例。此外，大部分廠商都需要一個SAN或者獨立的磁盤子系統。開源ISCSI或者廉價的磁盤陣列可能是個精明的選擇，但這?些選項可能存在性能和穩(wěn)定性的問題。

在重要的基礎架構組件上選擇廉價的路線會產生問題，造成絆腳石。就因為選擇了一個特殊的配置能夠工作并不意味著就滿足了項目目標。如果管理部門對成本感到擔憂，可以解釋給他們虛擬主機集群環(huán)境可以提高正常運行時間、提供更好的服務。

4、并不是所有業(yè)務都適合使用集群——要判斷虛擬主機集群環(huán)境是否適合自己業(yè)務系統模式，雖然虛擬主機集群環(huán)境引入配置的復雜度、升級問題和潛在的額外成本，并不是所有業(yè)務都適合使用集群。

現有技術對以上整個流程處理過程耗時較長，尤其對于一些比較復雜的事物邏輯，現在技術基本上都是在同一個云系統上處理，占用和浪費了大量的系統資源，導致目前云集算整體規(guī)模龐大，投資巨大，無法應用于一些投入規(guī)模較小的行業(yè)，從而使相關技術無法廣泛應用，無法產生規(guī)模化效益。因此，現有技術的缺點：成本高、效率低且耗時間。

本技術主要致力于提供一種廉價高效的方案，實現復雜業(yè)務高效拆分處理，從而分解到不同的異步云計算系統上，為云計算集成的方案推廣提供了良好的技術前景。

發(fā)明內容

本發(fā)明所要解決的技術問題是，提供一種廉價高效的基于多態(tài)進程重組(Worker-Reduce)協處理矩陣的多個子任務云異步協同處理方法。