[發(fā)明專利]一種基于固態(tài)盤擴展內(nèi)存的大規(guī)模深度學習方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201910308466.0
• 申請日: 2019-04-17
• 公開（公告）號: CN110032450B
• 公開（公告）日: 2021-04-20
• 發(fā)明（設計）人: 陳曉鋒;陳志廣;盧宇彤;肖儂
• 申請（專利權(quán)）人: 中山大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/52;G06N3/04;G06N3/08
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發(fā)明公開了一種基于固態(tài)盤擴展內(nèi)存的大規(guī)模深度學習方法及系統(tǒng)，本發(fā)明首先確定深度神經(jīng)網(wǎng)絡的計算及數(shù)據(jù)依賴關系；建立訓練線程及內(nèi)存管理調(diào)度線程；通過訓練線程訓練深度神經(jīng)網(wǎng)絡，且在訓練過程中通過內(nèi)存管理調(diào)度線程檢測深度神經(jīng)網(wǎng)絡的訓練情況，每完成一個層的訓練則針對后續(xù)訓練需要的控制參數(shù)數(shù)據(jù)執(zhí)行從固態(tài)盤的預取、針對后續(xù)訓練不需要的控制參數(shù)數(shù)據(jù)執(zhí)行到固態(tài)盤的寫回，相關控制參數(shù)數(shù)據(jù)根據(jù)深度神經(jīng)網(wǎng)絡的計算及數(shù)據(jù)依賴關系確定。本發(fā)明利用預取和寫回機制實現(xiàn)內(nèi)存和固態(tài)盤的協(xié)作，能夠有效緩解深度神經(jīng)網(wǎng)絡的訓練過程中內(nèi)存不足的問題，從而提高內(nèi)存利用效率的方法，使得訓練更深更廣的深度網(wǎng)絡變得更容易。

技術領域

本發(fā)明涉及面向深度學習應用的運行支撐系統(tǒng)領域，具體涉及一種基于固態(tài)盤（SSD）擴展內(nèi)存的大規(guī)模深度學習方法及系統(tǒng)，用于在深度學習應用運行過程中將部分暫時不用的數(shù)據(jù)寫回SSD、在數(shù)據(jù)即將使用時及時地從SSD預取到內(nèi)存，從而借助SSD擴展內(nèi)存的實現(xiàn)對大規(guī)模深度學習的加速。

背景技術

近幾年來，人工智能研究十分熱門，深度學習是其中的一種核心技術，其基本模型是深度神經(jīng)網(wǎng)絡。隨著深度學習研究的日趨深入，人工神經(jīng)網(wǎng)絡的層數(shù)不斷增加，從AlexNet的8層，到VGG的19層和GoogLeNet的22層，甚至ResNet更是深達152層。更深的網(wǎng)絡意味著訓練網(wǎng)絡模型需要用到更大的內(nèi)存。另外，深度神經(jīng)網(wǎng)絡訓練時的批次大小（BatchSize）對深度學習模型的優(yōu)化程度和訓練速度也有較大的影響，較大的批尺寸有利于加快深度網(wǎng)絡訓練的收斂速度。批次大小是深度網(wǎng)絡的超參數(shù)，被稱為網(wǎng)絡的寬度，訓練更寬的網(wǎng)絡同樣意味著需要用到更大的內(nèi)存。

由于總體上更深更廣的網(wǎng)絡對深度學習的精度提高有顯著的作用，深度神經(jīng)網(wǎng)絡有朝著更深更廣的方向發(fā)展，其面臨的一個問題便是內(nèi)存的不足。一般計算機的內(nèi)存大小非常有限，因此如何利用有限的內(nèi)存構(gòu)建更深更廣的網(wǎng)絡便成為一個迫切的問題。

目前深度學習支撐技術領域的內(nèi)存管理尚處于初步研究的階段。深度學習的研究一般是以深度學習框架為載體的，主流深度學習框架包括Caffe、TensorFlow和MXNet等，它們的內(nèi)存管理方案代表了最常用的內(nèi)存管理策略。Caffe是較為早期的深度學習框架，它是在網(wǎng)絡層數(shù)較少的背景下出現(xiàn)的，更多地注重性能，因此忽視了內(nèi)存管理策略。TensorFlow是比較新的深度學習框架，它使用靜態(tài)計算圖模型構(gòu)建深度神經(jīng)網(wǎng)絡，其內(nèi)存管理采用了有效內(nèi)存存活時間分析和將部分參數(shù)從GPU顯存寫到CPU內(nèi)存的策略等。MXNet同樣分析了有效內(nèi)存的存活時間，并且還采用了重計算的內(nèi)存管理策略。

有效內(nèi)存存活時間分析，是通過分析深度神經(jīng)網(wǎng)絡結(jié)構(gòu)的圖模型中各結(jié)點在時間上的依賴，當某一內(nèi)存塊不再需要被用到的時候釋放掉，達到節(jié)省內(nèi)存的目的。這一方案對于節(jié)省內(nèi)存的作用有限，最優(yōu)的情況下節(jié)省一半的內(nèi)存，內(nèi)存占用會維持在同一量級。部分參數(shù)從GPU顯存寫到CPU內(nèi)存的策略則是將CPU內(nèi)存作為GPU顯存的擴展，將短時間內(nèi)不需使用的內(nèi)存數(shù)據(jù)通過通信轉(zhuǎn)移的方法，并在需要用到的時候再將數(shù)據(jù)取回。這一方案需要額外的通信開銷，并且同樣會受限于CPU內(nèi)存。重計算策略是，對于內(nèi)存數(shù)據(jù)中容易計算得到的暫時不存放在內(nèi)存中，等待需要用到的時候重新計算得到這一部分數(shù)據(jù)。這一方案則是需要付出額外的計算開銷。總的來講，現(xiàn)有方案存在幾個問題，如通信時間與計算時間不充分重疊、后備存儲空間有限等。本發(fā)明從新的角度出發(fā)，試圖利用低延遲高帶寬的固態(tài)硬盤（SSD，Solid State Drive）擴充內(nèi)存，提出一種提高深度學習應用內(nèi)存使用效率的方法。