[發明專利]分布式系統計算任務處理方法、裝置及控制器

在審

• 申請號: 201711117402.X
• 申請日: 2017-11-13
• 公開（公告）號: CN107888684A
• 公開（公告）日: 2018-04-06
• 發明（設計）人: 王星星;秦鋒劍
• 申請（專利權）人: 小草數語（北京）科技有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙)11201
• 代理人: 張潤

技術領域

本發明涉及互聯網技術領域，特別涉及一種分布式系統計算任務處理方法、裝置及控制器。

背景技術

目前，分布式系統進行計算任務時，通常是將計算數據預先加載到各分布式節點內存中。運算時，由各運算節點從內存中加載運算數據進行計算。

運算過程中，運算節點采用“就近計算”調度策略，從內存中加載運算數據。“就近計算”調度策略包括：(1)需要運算的數據正好在本節點內存中，則會直接從內存讀取，并進行運算；(2)如果本節點內存中沒有該運算數據，則會從分布式系統的其它節點內存中獲取運算數據。

上述調度策略中，各節點從分布式系統中的其它節點獲取運算數據時，都需要經過：數據序列化、網絡傳輸、反序列化的過程，上述過程不僅需要占用節點資源、網絡資源，還會帶來較大的時間開銷，顯著增加整個計算任務的時間。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的第一方面提出一種分布式系統計算任務處理方法。實現了各節點在完成子任務時，無需從其它節點獲取待運算數據，降低了分布式系統計算任務的時間和資源開銷，提高了計算任務的處理速度。

本發明的第二方面提出一種分布式系統計算任務處理裝置。

本發明的第三方面提出一種分布式系統處理器。

本發明的第四方面提出一種計算機可讀存儲介質。

本發明第一方面實施例提出了一種分布式系統計算任務處理方法，該方法，包括：

在頁面顯示過程中，根據頁面中包含的網絡測試配置信息向服務器發送第一訪問請求；

獲取與所述第一訪問請求對應的各時間信息；

根據所述第一訪問請求對應的各時間信息，確定當前的網絡狀態。

本實施例提供的分布式系統計算任務處理方法中，通過根據計算任務中各待運算數據的存儲位置，將計算任務拆分為多個子任務，以使每個子任務中包括的待運算數據存儲在同一節點中，然后將各子任務分別分配給對應的節點，并在獲取到各節點返回的計算結果后，確定當前計算任務對應的結果。由此，實現了各節點在完成子任務時，無需從其它節點獲取待運算數據，降低了分布式系統計算任務的時間和資源開銷，提高了計算任務的處理速度。

另外，本發明上述實施例提出的網絡狀態監控方法還可以具有如下附加的技術特征：

在本發明的一個實施例中，所述向服務器發送第一訪問請求，包括：

獲取計算任務，所述計算任務中包括待運算數據的標識；

根據所述待運算數據的標識、及分布式系統中各節點存儲的運算數據標識，確定各節點對應的子任務，其中，每個子任務中包括的待運算數據存儲在同一節點中；

將所述各子任務分別分配給對應的各節點。

本實施例提供的分布式系統計算任務處理方法，通過根據計算任務中各待運算數據的存儲位置，將計算任務拆分為多個子任務，以使每個子任務中包括的待運算數據存儲在同一節點中，然后將各子任務分別分配給對應的節點，并在獲取到各節點返回的計算結果后，確定當前計算任務對應的結果。由此，實現了各節點在完成子任務時，無需從其它節點獲取待運算數據，降低了分布式系統計算任務的時間和資源開銷，提高了計算任務的處理速度。

本發明第二方面實施例提出了一種分布式系統計算任務處理裝置，該裝置包括：

獲取模塊，用于獲取計算任務，所述計算任務中包括待運算數據的標識；

處理模塊，用于根據所述待運算數據的標識、及分布式系統中各節點存儲的運算數據標識，確定各節點對應的子任務，其中，每個子任務中包括的待運算數據存儲在同一節點中；

分配模塊，用于將所述各子任務分別分配給對應的各節點。

本實施例提供的分布式系統計算任務處理裝置，通過根據計算任務中各待運算數據的存儲位置，將計算任務拆分為多個子任務，以使每個子任務中包括的待運算數據存儲在同一節點中，然后將各子任務分別分配給對應的節點，并在獲取到各節點返回的計算結果后，確定當前計算任務對應的結果。由此，實現了各節點在完成子任務時，無需從其它節點獲取待運算數據，降低了分布式系統計算任務的時間和資源開銷，提高了計算任務的處理速度。

本發明第三方面實施例提出了一種分布式系統控制器，包括：

存儲器、處理器及通信接口；

所述存儲器，用于存儲可執行程序代碼；

所述通信接口，用于與各節點進行通信連接；