[發明專利]一種基于區塊鏈的深度學習分布式計算方法及系統

在審

• 申請號: 202011255057.8
• 申請日: 2020-11-11
• 公開（公告）號: CN112346826A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 汪禮君
• 申請（專利權）人: 汪禮君
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F21/64;G06N3/04;G06N3/08
• 代理公司: 長沙正務聯合知識產權代理事務所(普通合伙) 43252
• 代理人: 鄭雋;吳婷

本發明涉及一種區塊鏈的技術領域，揭露了一種基于區塊鏈的深度學習分布式計算方法，包括：將所述深度學習計算任務分成若干子計算任務，并將所述若干子計算任務存儲到不同的區塊鏈節點中；利用基于環簽名的排序算法對區塊鏈節點進行排序；利用基于區塊鏈節點排序結果的共識算法進行深度學習子計算任務的共識，將達成共識的子任務計算結果存儲到存儲節點中；利用基于區塊鏈數據篡改機制的容錯校驗算法對存儲節點所存儲的子任務計算結果進行容錯校驗；計算存儲節點中所存儲的子任務計算結果的哈希值，并將哈希值作為深度學習任務的計算結果。本發明還提供了一種基于區塊鏈的深度學習分布式計算系統。本發明實現了基于區塊鏈的深度學習計算。

技術領域

本發明涉及區塊鏈的技術領域，尤其涉及一種基于區塊鏈的深度學習分布式計算方法及系統。

背景技術

隨著互聯網技術的發展，互聯網中存在的數據量也在急劇增加，工業界對海量計算和深度學習任務處理的需求也越來越多。傳統的互聯網工業主要采用集中式系統來處理大量數據，但是這種系統結構復雜、擴展性差、容錯率低、不易維護，因此難以滿足互聯網技術的需求，利用分布式系統進行深度學習任務的處理成為當前研究的熱門話題。

針對搭建分布式集群的價格非常昂貴，且集群中不能出現惡意節點，節點之間必須完全信任，所以節點之間通常只能使用局域網進行通信，現有技術提出了一種基于區塊鏈的分布式集群搭建技術，雖然現有區塊鏈技術具有不可篡改和可溯源的特點，但也存在一些財產分配不公、計算資源浪費、占用存儲空間過大、規則不夠靈活的缺點。

同時，區塊鏈中以工作量證明為代表的公有鏈算法面臨著吞吐量低下、交易延遲過高等問題，難以在商業中應用；以拜占庭容錯為代表的聯盟鏈共識算法存在擴展性不足、難以抵抗自適應攻擊等問題，實用性不強。

鑒于此，如何在避免區塊鏈存在的一些問題的情況下，利用區塊鏈技術構建分布式集群，并利用所構建的分布式集群實現深度學習任務的計算，成為本領域技術人員亟待解決的問題。

發明內容

通過對現有區塊鏈技術的公有鏈共識算法進行改進，解決了傳統聯盟鏈共識算法存在的擴展性不足、難以抵抗自適應攻擊等問題，并利用改進后的公有鏈共識算法建立分布式集群，從而利用所建立的分布式集群實現深度學習任務的分布式計算。

為實現上述目的，本發明提供的一種基于區塊鏈的深度學習分布式計算方法，包括：

獲取待處理的深度學習計算任務，將所述深度學習計算任務分成若干子計算任務，并將所述若干子計算任務以及完成對應子計算任務所需的數據存儲到不同的區塊鏈節點中；

各區塊鏈節點進行所存儲的子計算任務的計算，并利用基于環簽名的排序算法對區塊鏈節點進行排序；

利用基于區塊鏈節點排序結果的共識算法進行深度學習子計算任務的共識，將達成共識的子任務計算結果存儲到存儲節點中；

利用基于區塊鏈數據篡改機制的容錯校驗算法對存儲節點所存儲的子任務計算結果進行容錯校驗；

計算存儲節點中所存儲的子任務計算結果的哈希值，并將哈希值作為深度學習任務的計算結果，實現深度學習任務的分布式計算。

可選地，所述將所述深度學習計算任務分成若干子計算任務，包括：

獲取待處理的深度學習計算任務，其中深度學習計算任務數據集X的大小為N，并且每條樣本記錄中都有M個特征變量和一個深度學習目標變量，即y₁～y_M為輸入特征變量，y_A為目標變量；