[發明專利]邏輯節點的分布式簽名決策系統及其方法

有效

• 申請號: 202010090335.2
• 申請日: 2020-02-13
• 公開（公告）號: CN110955734B
• 公開（公告）日: 2020-08-21
• 發明（設計）人: 李新奇;柳俊丞;袁進輝
• 申請（專利權）人: 北京一流科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06N3/04;H04L12/24;H04L29/08
• 代理公司: 北京金訊知識產權代理事務所(特殊普通合伙) 11554
• 代理人: 黃劍飛

本發明公開了一種用于分布式數據處理系統的邏輯節點分布式簽名決策系統，包括：初始邏輯節點生成組件，接收用戶輸入的任務配置數據，生成用于初始邏輯節點拓撲圖，其中源邏輯節點具有指定的邏輯分布式簽名以及每個初始邏輯節點基于所述任務配置數據附有候選邏輯分布式簽名集合；以及邏輯分布式簽名選擇組件，根據已經確定邏輯分布式簽名的上游邏輯節點的輸出端的分布式描述符，針對當前邏輯節點的每一個候選邏輯分布式簽名，計算將每個上游邏輯節點輸出端的張量的分布式描述符變換為當前邏輯節點的對應輸入端的的張量的分布式描述符所需的傳輸數據的代價，并選擇與代價最小值所對應候選邏輯分布式簽名作為所述當前邏輯節點的確定邏輯分布式簽名。

技術領域

本公開涉及一種數據處理技術。更具體地說，本公開涉及一種用于分布式數據處理系統的邏輯節點的分布式簽名決策系統及其方法。

背景技術

隨著分布式計算的普及，大型的作業或大張量會通過分割而將不同部分的數據部署到不同的分布式數據處理系統的各個計算設備上進行處理，并在各個部分計算過程需要進行中間參數的交互。這樣，在具體作業的處理過程中，部署在一個計算設備上的計算中間參數或結果會稱為另一個計算設備上的計算任務的輸入數據，這會引起計算設備之間的數據傳輸開銷。在作業數據很大的情況下，這種不同計算設備之間的傳輸開銷對于分布式數據處理系統而言將造成極大的計算負擔。因此，在支持數據并行、模型并行和混合并行、流式并行的分布式數據處理系統中，如何降低這種不同計算設備之間的數據傳輸開銷是人們所需要面對的一個問題。

發明內容

本發明的目的在于提供一種本發明的一個目的是解決至少上述問題，具體而言，本公開提供一種在神經網絡中為配置一種邏輯節點以減少作業數據的中間參數在不同分布式數據處理系統的不同計算設備之間傳輸的數據量提供指引的解決方案。具體而言，根據本公開的一個方面，提供了一種用于分布式數據處理系統的邏輯節點分布式簽名決策系統，包括：初始邏輯節點生成組件，接收用戶輸入的任務配置數據，生成用于所述分布式數據處理系統的初始邏輯節點拓撲圖，其中源邏輯節點具有指定的唯一邏輯分布式簽名以及每個初始邏輯節點基于所述任務配置數據附有候選邏輯分布式簽名集合，所述候選邏輯分布式簽名集合中的每個邏輯分布式簽名指定了其所屬的初始邏輯節點的每個輸入張量的分布式描述符以及每個輸出張量的分布式描述符；以及邏輯分布式簽名選擇組件，根據每個已經唯一確定邏輯分布式簽名的上游邏輯節點的輸出端的分布式描述符，針對當前邏輯節點的每一個候選邏輯分布式簽名，基于每個上游邏輯節點將要并行分布的設備集的數據量、當前邏輯節點將要并行分布的設備集的數據量以及每個上游邏輯節點分布在每個設備上的邏輯數據塊的大小，計算將每個上游邏輯節點輸出端的張量的分布式描述符變換為當前邏輯節點的對應輸入端的張量的分布式描述符所需的傳輸數據的代價，并選擇與代價最小值所對應候選邏輯分布式簽名作為所述當前邏輯節點的唯一確定邏輯分布式簽名。

根據本公開的用于分布式數據處理系統的邏輯節點分布式簽名決策系統，其中所述邏輯分布式簽名選擇組件對具有多個輸入端的邏輯節點的每個輸入端計算所需傳輸數據的代價并將所有輸入端的所需傳輸數據的代價的總和作為該當前邏輯節點使用對應候選邏輯分布簽名時的傳輸數據的總代價。

根據本公開的用于分布式數據處理系統的邏輯節點分布式簽名決策系統，其中所唯一確定的邏輯分布式簽名確定了當前邏輯節點的所有輸入端的輸入張量的分布方式。

根據本公開的用于分布式數據處理系統的邏輯節點分布式簽名決策系統，其中所述分布式描述符包括分割張量描述符、廣播張量分布描述符以及部分和張量描述符。

根據本公開的用于分布式數據處理系統的邏輯節點分布式簽名決策系統，其中所述分割張量描述符指明了張量的分割方式。