[發明專利]非標量數據的大數據集的約簡和廣播操作的并行處理

有效

• 申請號: 201810153965.2
• 申請日: 2018-02-22
• 公開（公告）號: CN108537341B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 伊恩·莫里·麥克拉倫;諾曼·保羅·約皮;趙翔;格雷戈里·米歇爾·索爾森;比亞克·哈默肖特·魯納
• 申請（專利權）人: 谷歌有限責任公司
• 主分類號: G06N20/00
• 分類號: G06N20/00
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 周亞榮;安翔

本申請涉及非標量數據的大數據集的約簡和廣播操作的并行處理的方法、系統和裝置，包括編碼在存儲介質上的指令，用于執行梯度向量和類似結構化數據的約簡，所述梯度向量和類似結構化數據例如在以由節點之間的至少兩個維度上的連接定義的網格或環面拓撲組織的節點上并行生成。所述方法提供了拓撲中的節點之間的并行計算和通信。

技術領域

本說明書涉及并行處理非標量數據的大數據集。

背景技術

機器學習模型接收輸入并基于接收到的輸入和模型參數的值而生成輸出。這些模型通常需要使用接收到的輸入來訓練，所述輸入是非常大的數據集。

發明內容

本說明書描述了大體涉及大數據集的并行處理，并且具體涉及用于更快地約簡、映射、和廣播操作的各種拓撲中的大數據集的并行處理的技術。

一般而言，本說明書中描述的主題的一個創新方面可以實施在用于處理訓練數據的方法中。所述方法包括在以包括節點的行和列的環面(torus)拓撲組織的多個節點中的每個節點上訓練機器學習模型的相應副本，其中，每個節點是在相應訓練數據批次上并行訓練的，由此在訓練之后每個節點保持由訓練產生的相應梯度向量。節點中的各個梯度向量可以通過執行操作來組合以生成最終梯度向量，所述操作包括：通過在節點上執行的代碼，對環面的行并行地執行改進的旋轉鉗式算法而不進行廣播，以在每一行中生成梯度向量的每個相應不相交場的組合數據，由此當該行處理完成時，每一列包含梯度向量數據的相應相同不相交場的所有組合數據；并且然后通過在節點上執行的代碼，在環面中的列中的每一列中執行第二環形算法，包括向每一列中的所有節點廣播該列中的相應最終列結果；并且然后跨環面的每一行復制最終列結果，由此環面的每個節點保持最終梯度向量。

這些和其它實施例可以可選地包括以下特征中的一個或多個。第二環形算法可以是改進的旋轉鉗式算法。多個節點可以在單個模塊上實現。每個節點可以在單獨的集成電路上實現。模塊可以是集成電路。執行改進的旋轉鉗式算法可以包括執行改進的旋轉鉗式算法以生成梯度向量的每個相應不相交場的求和數據。環面可以由節點的行和列組成。環面拓撲還可以包括節點層，每一層由節點的相應行和列組成。對每一行執行改進的旋轉鉗式算法可以包括：對于每一行中的每個節點，使用所述節點作為改進的鉗式算法的實例化的開始節點，所述改進的鉗式算法將所述節點的不相交場的一半發送到該行的環中的兩個相鄰節點中的每一個；以及從該節點開始執行改進的鉗式算法。

對于該行中的每個起始節點，與起始節點相對的每個結束節點可以向該行中的其它節點廣播由該結束節點確定的最終場梯度向量。所述組合可以與沿著環面的行進行的組合并行地沿著列執行，其中每一行中的每個節點是該行中的起始節點，并且每一列中的每個節點是該列中的起始節點，并且每個起始節點處理該梯度向量的不同的相應不相交場。

在一些實施方式中，一種用于處理訓練數據的方法可以包括：在以包括節點的行和列的環面拓撲組織的多個節點中的每個節點上訓練機器學習模型的相應副本，其中，每個節點是在相應訓練數據批次上并行訓練的，由此在所述訓練之后每個節點保持由所述訓練得到的相應梯度向量；通過執行操作來組合節點中的相應梯度向量以生成最終梯度向量，所述操作包括：通過在節點上執行的代碼沿著環面的每一行來執行相應環形約簡，使得每一行中的每一節點對于最初在該行的節點中的每一梯度向量具有約簡的向量；以及通過在節點上執行的代碼，沿著環面的每一列執行相應的環形約簡，在所述環形約簡結束時每個節點保持相同的最終梯度向量。

這些和其它實施例可任選地包括以下特征中的一個或多個。所述環形約簡可以使用旋轉鉗式算法來執行。