[發明專利]一種模型的訓練方法和裝置

在審

• 申請號: 201610201951.4
• 申請日: 2016-03-31
• 公開（公告）號: CN107292326A
• 公開（公告）日: 2017-10-24
• 發明（設計）人: 丁軼;余晉;熊懷東;陳緒
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京潤澤恒知識產權代理有限公司11319
• 代理人: 趙娟

技術領域

本申請涉及計算機處理的技術領域，特別是涉及一種模型的訓練方法和一種模型的訓練裝置。

背景技術

隨著互聯網的快速發展，人們生活的方方面面都與互聯網產生了聯系，在人們使用互聯網的相關功能時，產生了海量的數據。

目前，經常使用機器學習中的模型訓練對這些海量的數據進行挖掘處理，從而進行分類、推薦等操作。

在模型學習中，由于參與訓練的樣本數據量巨大，使得模型巨大，動輒數億甚至數十億的浮點數組成模型，加大了訓練的存儲難度和計算時間，造成訓練困難。

目前，分布式機器學習提供了通過大規模計算機集群進行機器學習、訓練模型的方法，其通常構建在由數量龐大的計算機組成的計算機集群之上，通過分布式操作系統進行集群調度、資源管理和任務控制。

通常情況下，大規模的機器學習需要面對兩個重要的參數：

1、模型參數。

在機器學習的過程中，模型參數會由于訓練算法的計算而更新，不斷發生變化。同時，為了得到最后的模型參數結果，訓練算法往往需要多個長度不一的向量參與計算，由于訓練過程中的模型參數的數量通常上億甚至上百億個浮點數，這些模型參數都需要使用計算機集群的存儲資源進行存儲。

2、樣本數據。

樣本數據的多少往往直接影響到機器學習算法的效果，沒有大量的樣本數據達不到需要的模型訓練效果，為了得到合理的模型，可能需要多達數百億個樣本數據。

由于機器學習的訓練過程需要經歷次數繁多的迭代過程，所有參與模型訓練的樣本數據都會反復的被使用，為最小化訓練得到模型的時間，一般將 樣本數據存儲到計算機內存中，這樣就需要龐大的計算機內存。

然而，存儲資源在計算機集群中是不可能無限增長的，如果將這些樣本數據都放入內部存儲，訪問效率可以得到保證，但是，單獨一臺計算機的內存無疑是有限的，在面對海量的樣本數據時，往往需要大大數量的計算機主機，這又帶來網絡、集群管理等多方面的問題。

如果將樣本數據存放在外部存儲器中，由于存儲介質較慢的訪問速度和時間延遲，訓練工作無法保證高速、高效率地行。

發明內容

鑒于上述問題，提出了本申請實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種模型的訓練方法和相應的一種模型的訓練裝置。

為了解決上述問題，本申請公開了一種模型的訓練方法，包括：

讀取樣本全集中的部分樣本數據，組合成樣本子集；

將所述部分樣本數據相關的模型參數，從針對所述樣本全集的第一特征分量映射為針對所述樣本子集的第二特征分量；

根據具有所述部分第二特征分量的樣本數據訓練模型。

優選地，所述讀取樣本全集中的部分樣本數據，組合成樣本子集的步驟包括：

從文件存儲系統中讀取樣本全集中的部分樣本數據；

將所述部分樣本數據寫入所述文件存儲系統中指定的區域，以組合成樣本子集。

優選地，所述將所述部分樣本數據相關的模型參數，從針對所述樣本全集的第一特征分量映射為針對所述樣本子集的第二特征分量的步驟包括：

對所述部分樣本數據相關的模型參數，建立針對所述樣本全集的第一特征分量與針對所述樣本子集的第二特征分量之間的映射關系向量；

將所述部分樣本數據相關的模型參數，按照所述映射向量關系從針對所述樣本全集的第一特征分量映射為針對所述樣本子集的第二特征分量。

優選地，所述根據具有所述部分第二特征分量的樣本數據訓練模型的步驟包括：

在每一輪迭代中，讀取所述部分樣本數據；

采用所述部分樣本數據進行訓練，獲得訓練結果；

將所述部分樣本數據相關的模型參數，從針對所述樣本子集的第二特征分量映射為針對所述樣本全集的第一特征分量；

將所述第一特征分量對應的訓練結果發送至向量計算機，以更模型中所述第一特征分量對應的模型參數。

優選地，所述讀取所述樣本子集中的樣本數據的步驟包括：

讀取當前樣本計算機在先存儲的樣本子集中的樣本數據；

或者，

當接收到其他樣本計算機的樣本轉移消息時，讀取其他樣本計算機在先存儲的樣本子集中的樣本數據。

優選地，所述將所述部分樣本數據相關的模型參數，從針對所述樣本子集的第二特征分量映射為針對所述樣本全集的第一特征分量的步驟包括：

讀取預設的映射關系向量；