[發明專利]一種網絡訓練的數據集緩存方法、裝置、設備及存儲介質

在審

• 申請號: 202011357904.1
• 申請日: 2020-11-27
• 公開（公告）號: CN112446490A
• 公開（公告）日: 2021-03-05
• 發明（設計）人: 趙仁明;陳培
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 丁曼曼

本申請公開了一種網絡訓練的數據集緩存方法、裝置、設備及存儲介質。該方法的步驟包括：統計網絡訓練集群中未緩存待訓練數據集的訓練節點在緩存待訓練數據集的過程中所需的磁盤性能開銷；監控未緩存待訓練數據集的訓練節點的當前性能參數；基于當前性能參數在網絡訓練集群中選取滿足磁盤性能開銷的目的節點；利用目的節點緩存由源節點傳入的待訓練數據集，以基于目的節點對待訓練數據集執行網絡訓練。本方法確保了訓練節點緩存待訓練數據集的可靠性，進而確保了網絡訓練的整體可靠性。此外，本申請還提供一種網絡訓練的數據集緩存裝置、設備及存儲介質，有益效果同上所述。

技術領域

本申請涉及深度學習領域，特別是涉及一種網絡訓練的數據集緩存方法、裝置、設備及存儲介質。

背景技術

深度學習在當前得到了廣泛的運用，深度學習指的是通過大量數據對神經網絡進行特征訓練，產生具有識別相應數據能力的網絡模型。

由于神經網絡訓練的過程中所使用的樣本數據集的多少，直接影響深度學習的效果，因此當前往往以包含有多個訓練節點以及數據集存儲節點的集群方式，采用多個訓練節點共同利用數據集存儲節點中的數據集對神經網絡進行訓練。在訓練過程中，不同訓練節點中緩存的數據集可能存在差異，并且當前往往存在需要使用多個訓練節點基于相同數據集進行神經網絡訓練的情況，而神經網絡訓練的整體可靠性也是當前本領域所關注的重點。

由此可見，提供一種網絡訓練的數據集緩存方法，以確保訓練節點緩存待訓練數據集的可靠性，進而確保網絡訓練的整體可靠性，是本領域技術人員需要解決的問題。

發明內容

本申請的目的是提供一種網絡訓練的數據集緩存方法、裝置、設備及存儲介質，以確保訓練節點緩存待訓練數據集的可靠性，進而確保網絡訓練的整體可靠性。

為解決上述技術問題，本申請提供一種網絡訓練的數據集緩存方法，包括：

統計網絡訓練集群中未緩存待訓練數據集的訓練節點在緩存待訓練數據集的過程中所需的磁盤性能開銷；

監控未緩存待訓練數據集的訓練節點的當前性能參數；

基于當前性能參數在網絡訓練集群中選取滿足磁盤性能開銷的目的節點；

利用目的節點緩存由源節點傳入的待訓練數據集，以基于目的節點對待訓練數據集執行網絡訓練。

優選地，在利用目的節點緩存由源節點傳入的待訓練數據集之前，方法還包括：

判斷網絡訓練集群中是否存在緩存有待訓練數據集的源訓練節點；

若網絡訓練集群中存在緩存有待訓練數據集的源訓練節點，則在源訓練節點中選取與目的節點之間的空閑網絡帶寬最大的目標源訓練節點；

相應的，利用目的節點緩存由源節點傳入的待訓練數據集，包括：

利用目的節點緩存由目標源訓練節點傳入的待訓練數據集。

優選地，當網絡訓練集群中不存在緩存有待訓練數據集的源訓練節點時，利用目的節點緩存由源節點傳入的待訓練數據集，包括：

利用目的節點緩存由網絡訓練集群中的數據集存儲節點傳入的待訓練數據集。

優選地，統計網絡訓練集群中未緩存待訓練數據集的訓練節點在緩存待訓練數據集的過程中所需的磁盤性能開銷，包括：

基于未緩存待訓練數據集的訓練節點的硬件性能參數以及待訓練數據集的數據屬性參數統計得到磁盤性能開銷。

優選地，硬件性能參數包括磁盤轉速、磁盤平均巡道時間以及磁盤最大傳輸速率；

待訓練數據集的數據屬性參數包括平均文件大小；平均文件大小基于待訓練數據集的數據總量以及文件總量運算得到。