[發明專利]控制數據使用順序的分布式機器學習系統及其方法

在審

• 申請號: 201710310856.2
• 申請日: 2017-05-05
• 公開（公告）號: CN107169513A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 戴文淵;楊強;陳雨強;焦英翔;石光川;涂威威
• 申請（專利權）人: 第四范式（北京）技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京銘碩知識產權代理有限公司11286
• 代理人: 曾世驍,張云珠

提供了一種控制數據使用順序的分布式機器學習系統及其方法。所述分布式機器學習系統，包括：多個節點裝置，其中，每個節點裝置用于執行機器學習分布式訓練處理并向服務器提供通過執行機器學習分布式訓練處理所獲得的訓練結果，以及服務器，用于收集由所述多個節點裝置提供的訓練結果，并基于收集到的訓練結果來得到機器學習模型，其中，與所有數據對應的一輪迭代過程被劃分為多個保序訓練階段，所述多個節點裝置在執行每一輪迭代過程時，針對相同保序訓練階段使用同樣的數據來執行機器學習分布式訓練處理，并按照保序訓練階段向服務器提供訓練結果。相應地，能夠在保持訓練系統通用性的同時，通過數據保序使用而改善模型收斂過程。

技術領域

本發明的示例性實施例總體說來涉及人工智能領域，更具體地說，涉及一種在機器學習模型的訓練過程中控制數據使用順序的分布式機器學習系統以及一種利用所述分布式機器學習系統在機器學習模型的訓練過程中控制數據使用順序的方法。

背景技術

在機器學習模型的訓練過程中，數據(例如，訓練樣本)需要被多次使用，通常，每一次使用全部數據的過程可稱為一輪迭代過程，機器學習模型會隨著迭代過程增加而不斷收斂到一個較好的結果。

在當前的分布式機器學習系統中，為了加快收斂速度，并不考慮每一輪迭代過程中數據被使用的順序，也就是說，數據一般都是按照打亂的順序來使用，這里，除了數據自身的順序常常被打亂(例如，洗牌(shuffle))之外，分布式設計本身也會帶來一定的順序隨機效果。

然而，數據亂序使用會在某種程度上影響機器學習模型的收斂穩定性，相應地，現有技術中存在針對分類問題，基于流形判斷分析的全局保序學習機，然而，由于分布式機器學習系統中，網絡傳輸和處理延遲本身都會帶來數據順序隨機的問題，因此難以在分布式機器學習模型的訓練過程中有效地控制數據的全局使用順序。

發明內容

本發明的示例性實施例旨在克服現有的分布式機器學習系統難以在模型的訓練過程中有效地控制數據的全局使用順序的缺陷。

根據本發明的示例性實施例，提供一種在機器學習模型的訓練過程中控制數據使用順序的分布式機器學習系統，包括：多個節點裝置，其中，每個節點裝置用于執行機器學習分布式訓練處理并向服務器提供通過執行機器學習分布式訓練處理所獲得的訓練結果，以及服務器，用于收集由所述多個節點裝置提供的訓練結果，并基于收集到的訓練結果來得到機器學習模型，其中，與所有數據對應的一輪迭代過程被劃分為多個保序訓練階段，所述多個節點裝置在執行每一輪迭代過程時，針對相同保序訓練階段使用同樣的數據來執行機器學習分布式訓練處理，并按照保序訓練階段向服務器提供訓練結果。

可選地，在所述分布式機器學習系統中，每個節點裝置包括：存儲模塊，用于存儲至少一個數據塊，其中，每個數據塊包括預定數量的數據；訓練模塊，用于使用數據塊來執行機器學習分布式訓練處理；數據管理模塊，用于針對相同保序訓練階段，從存儲模塊讀取同樣的數據塊以提供給訓練模塊使用；結果提供模塊，用于按照保序訓練階段向服務器提供訓練結果。

可選地，所述分布式機器學習系統還包括：數據管理服務器，用于從所述多個節點裝置的數據管理模塊分別接收指示數據塊被使用的使用報告，基于接收到的使用報告來產生用于在所述多個節點裝置之中的卡頓節點裝置與空閑節點裝置之間調度數據塊的使用的調度信號，并將產生的調度信號發送到卡頓節點裝置的數據管理模塊和/或空閑節點裝置的數據管理模塊。

可選地，在所述分布式機器學習系統中，所有數據被分布地存儲在所述多個節點裝置中，并且，所述調度信號用于控制向空閑節點裝置的數據管理模塊提供卡頓節點裝置的未使用的數據塊，使得空閑節點裝置的數據管理模塊將所述未使用的數據塊提供給空閑節點裝置的訓練模塊使用。