[發明專利]輕量級分布式多任務協同框架

在審

• 申請號: 202010891060.2
• 申請日: 2020-08-30
• 公開（公告）號: CN112101536A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 黃劉;楊露;崔瑩;代翔
• 申請（專利權）人: 西南電子技術研究所(中國電子科技集團公司第十研究所)
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/04;G06N3/08
• 代理公司: 成飛(集團)公司專利中心 51121
• 代理人: 郭純武

本發明公開的一種輕量級分布式多任務協同框架，旨在提供一種訓練效率高，迭代計算量小的多任務協同框架。本發明通過下述技術方案予以實現：以多機輕量級方式構建分布式神經網絡訓練框架，用戶通過接口對框架進行數據讀寫和運行控制，各對象將自身的描述信息寫入對象信息記錄數據庫，將自身的運行狀態信息寫入對象狀態記錄數據庫；對象信息記錄數據庫、對象狀態記錄數據庫相互之間通過RESTful接口進行通信和協同控制；啟動任務對象描述的訓練任務，調度工廠對象生成一個班長對象，從對象信息記錄數據庫中再次讀取任務對象的描述信息，調度工廠對象生成多個工人對象，班長對象調度生成的多個工人對象分布式協同完成任務對象描述的訓練任務。

技術領域

本發明屬于信息系統領域，具體涉及一種深度學習領域輕量級分布式多任務協同框架，尤其是分布式訓練領域涉及的輕量級分布式多任務協同作業框架。

背景技術

神經網絡(NeuralNetwork，NN)是由大量的、簡單的處理單元(簡稱為神經元)經廣泛互連而形成的一個復雜網絡系統，反映了人腦功能的許多基本特征，是一個高度復雜化的非線性動力學系統。神經網絡具有大規模并行、分布式存儲和處理、自組織、自適應和自學習等能力，特別適合處理需要同時考慮眾多因素和條件的、含不精確和模糊信息的實際問題。神經網絡的發展與神經科學、數理科學、認知科學、計算機科學、人工智能、控制論、機器人學、心理學、分子生物學等諸多學科有關，是一門新興的邊緣交叉學科。神經網絡經過多年的研究和發展，已經形成了幾十種類型不同并各具特點的神經網絡模型。但是訓練這些神經網絡模型在計算上有嚴格要求。盡管近些年來GPU硬件、網絡架構和訓練方法上均取得了重大的進步，但事實是在單一機器上，網絡訓練所需要的時間仍然長得不切實際。雖然在大數據集上訓練的現代神經網絡模型在許許多多領域都取得了顯著的效果，從語音和圖像識別到自然語言處理，再到工業界的應用，比如欺詐檢測和推薦系統。但是這些神經網絡的訓練過程非常耗時。訓練這些神經網絡模型在計算上有嚴格要求。盡管近些年來計算芯片GPU硬件、網絡架構和訓練方法上均取得了重大的進步，但事實是在單一機器上，網絡訓練所需要的時間仍然長得不切實際。分布式神經網絡訓練算法的研究，對于提高神經網絡訓練效率具有舉足輕重的作用。基于海量數據的分布式神經網絡訓練已成為人工智能技術研究和應用的常態。研究分布式神經網絡訓練算法，需要一種輕量級、可配置、支持多任務協同的分布式系統框架。

發明內容

本發明針對分布式神經網絡訓練需要一種輕量級、可配置、支持多任務協同的分布式系統框架這一問題和現有神經網絡分布式訓練技術存在的不足，提供一種訓練效率高，訓練速度快、迭代計算量小的輕量級分布式多任務協同框架的設計方案，以提高分布式訓練神經網絡的效率。

本發明的上述目的可以通過以下技術方案予以實現，一種輕量級分布式多任務協同框架，包括：一個或多個表征物理或虛擬機上守護進程的車間工廠(Factory)對象，工廠(Factory)對象實例化一個或多個表征分布式訓練任務協同管理進程的班長(Monitor)對象，或表征分布式訓練任務執行進程的工人(Worker)對象，表征分布式訓練任務的任務(Task)對象，其特征在于：以多機輕量級方式構建分布式神經網絡訓練框架，用戶通過RESTful接口對框架進行數據讀寫和運行控制，工廠(Factory)對象、任務(Task)對象、工人(Worker)對象和班長(Monitor)監控對象將自身的描述信息寫入對象信息記錄數據庫，工廠(Factory)對象、班長(Monitor)對象和工人(Worker)對象將自身的運行狀態信息寫入對象狀態記錄數據庫，同時工人(Worker)對象將自身對象狀態信息實時記錄到對象狀態記錄數據庫中；工廠(Factory)對象、班長(Monitor)對象、工人(Worker)對象、任務(Task)對象、對象信息記錄數據庫、對象狀態記錄數據庫相互之間通過RESTful接口進行通信和協同控制；