[發明專利]一種分布式運算方法、系統、裝置及存儲介質

在審

• 申請號: 202110551894.3
• 申請日: 2021-05-20
• 公開（公告）號: CN113342267A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 蔣信;劉瑞盛;喻濤
• 申請（專利權）人: 普賽微科技（杭州）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F16/172;G06F16/182
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 戴文儀

本發明公開了一種分布式運算方法、系統、裝置及存儲介質，其分布式運算方法包括步驟S1：獲取初始數據，對初始數據進行迭代運算處理；步驟S2：獲取當前迭代運算的結果并將其存儲于非易失存儲器中；步驟S3：讀取已存儲的當前迭代運算結果并將其作為下一次迭代運算的初始數據，返回步驟S1執行下一次迭代運算處理，直至滿足迭代終止條件，才輸出迭代終止結果。本發明將每次迭代運算所獲得的中間結果存入非易失存儲器中，在計算機發生宕機的時候，存儲在非易失內存中的計算中間結果不會丟失，因而在計算機重啟后可以繼續使用，不需要重新進行相應的計算和數據操作、傳輸過程，從而提高了系統的效率和可靠性。

技術領域

本發明涉及分布式文件系統技術領域，尤其涉及一種分布式運算方法、系統、裝置及存儲介質。

背景技術

大數據是信息產業發展的最重要的技術方向之一。隨著海量數據的產生，傳統的集中式計算及存儲系統難以滿足對大數據存儲和處理的要求，分布式存儲和計算系統得到了廣泛的應用。

現有的分布式計算平臺會通過迭代方式對輸入數據進行多次運算，運算結束后才會將最終運算結果存儲在本地存儲中。但是，若計算平臺在運算過程中出現計算機宕機或斷電等故障情況時，計算平臺的運算數據會發生丟失，導致重啟系統時無法還原最新的運算數據，需要計算平臺重新執行運算任務，重復系統故障前的每一步計算過程和數據操作、傳輸過程，導致延長程序執行時間，造成資源的浪費。

發明內容

為了克服現有技術的不足，本發明的目的之一在于提供一種分布式運算方法，可確保運算中間結果不會丟失，提高系統可靠性和系統重啟效率。

本發明的目的之二在于提供一種執行上述運算方法的運算系統。

本發明的目的之三在于提供一種執行上述運算方法的電子設備。

本發明的目的之四在于提供一種執行上述運算方法的存儲介質。

本發明的目的之一采用如下技術方案實現：

一種分布式運算方法，包括：

步驟S1：獲取初始數據，對初始數據進行迭代運算處理；

步驟S2：獲取當前迭代運算的結果并將其存儲于非易失存儲器中；

步驟S3：讀取已存儲的當前迭代運算結果并將其作為下一次迭代運算的初始數據，返回步驟S1執行下一次迭代運算處理，直至滿足迭代終止條件，才輸出迭代終止結果。

進一步地，所述步驟S1中獲取初始數據后，還包括：

判斷所述初始數據是否從所述非易失存儲器中讀取獲得，若不是，則將獲取的所述初始數據寫入所述非易失存儲器中。

進一步地，所述非易失存儲器采用讀寫時間小于50ns，且耐擦寫次數大于10¹⁰的存儲器。

進一步地，所述非易失存儲器包括但不限于自旋轉移扭矩磁性隨機存儲器、自旋軌道扭矩磁性隨機存儲器、磁性賽道存儲器或鐵電隨機存儲器。

進一步地，所述獲取當前迭代運算的結果并將其寫入非易失存儲器中的方法為：

獲取易失內存地址，將當前迭代運算的結果預先寫入易失內存地址所對應的易失存儲器中；

再獲取非易失內存地址，將易失存儲器中存儲的當前迭代運算的結果轉存入非易失內存地址所對應的非易失存儲器中。

進一步地，所述步驟S3中滿足迭代終止條件，包括：

判斷是否完成所有迭代運算，若已完成所有迭代運算，則迭代運算終止；或，

判斷迭代運算是否已收斂，若已收斂，則迭代運算終止；或，