[發(fā)明專利]基于圖形處理器的數(shù)據(jù)處理方法和裝置

有效

• 申請?zhí)枺?/td>: 201510876116.6
• 申請日: 2015-12-02
• 公開（公告）號: CN105389772B
• 公開（公告）日: 2018-09-07
• 發(fā)明（設(shè)計）人: 胡娜;付曉寅;王桂彬
• 申請（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司
• 主分類號: G06T1/20
• 分類號: G06T1/20;G06F9/38
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 宋合成

本發(fā)明提出一種基于圖形處理器的數(shù)據(jù)處理方法和裝置。其中，該數(shù)據(jù)處理方法包括：在中央處理器CPU內(nèi)創(chuàng)建用于分別控制圖形處理器GPU的第一線程和第二線程，其中，所述第一線程用于調(diào)用雙向LSTM算法的前向?qū)覭ernel序列，所述第二線程用于調(diào)用雙向LSTM算法的反向?qū)覭ernel序列；通過所述第一線程和所述第二線程控制所述GPU進(jìn)行并行數(shù)據(jù)處理。本發(fā)明實(shí)施例的數(shù)據(jù)處理方法，有效的提高了GPU的執(zhí)行效率，縮短了LSTM的計算過程的執(zhí)行時間。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種基于圖形處理器的數(shù)據(jù)處理方法和裝置。

背景技術(shù)

長短期記憶人工神經(jīng)網(wǎng)絡(luò)(Long-Short Term Memory,LSTM)是一種時間遞歸神經(jīng)網(wǎng)絡(luò)，適于處理和預(yù)測時間序列中間隔和延遲非常長的重要事件。雙向LSTM從歷史和未來兩個方向?qū)W習(xí)輸入特征，具有更高的識別精度，然而雙向LSTM引入了更大的計算量，增大了模型訓(xùn)練的時間。

當(dāng)前，GPU(Graphics Processing Unit，圖形處理器)已經(jīng)成為深度學(xué)習(xí)平臺廣泛使用的加速部件，支持GPU加速計算典型的深度學(xué)習(xí)平臺有MXNet、Kaldi、TensorFlow、Nervana等。其中，MXNet、Kaldi、TensorFlow都提供了雙向LSTM的算法實(shí)現(xiàn)，其GPU線性代數(shù)庫大多采用NVidia提供的cuBLAS庫。而與前三者不同的是，Nervana的目的是構(gòu)建一套跨平臺的線性代數(shù)庫。

然而，目前存在的問題是，采用逐幀遞推方式的雙向LSTM的算法包含大量細(xì)粒度計算過程，而GPU在細(xì)粒度計算中難以充分發(fā)揮其海量計算資源優(yōu)勢，而且GPU的調(diào)用具有不可忽略的運(yùn)行開銷，因此存在GPU利用率低的問題。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的第一個目的在于提出一種基于圖形處理器的數(shù)據(jù)處理方法，該數(shù)據(jù)處理方法有效的提高了GPU的執(zhí)行效率，縮短了LSTM的計算過程的執(zhí)行時間。

本發(fā)明的第二個目的在于提出一種基于圖形處理器的數(shù)據(jù)處理裝置。

為達(dá)上述目的，本發(fā)明第一方面實(shí)施例提出了一種基于圖形處理器的數(shù)據(jù)處理方法，包括：在中央處理器CPU內(nèi)創(chuàng)建用于分別控制圖形處理器GPU的第一線程和第二線程，其中，所述第一線程用于調(diào)用雙向LSTM的前向?qū)覭ernel序列，所述第二線程用于調(diào)用雙向LSTM算法的反向?qū)覭ernel序列；通過所述第一線程和所述第二線程控制所述GPU進(jìn)行并行數(shù)據(jù)處理。

本發(fā)明實(shí)施例的基于圖形處理器的數(shù)據(jù)處理方法，通過將雙向LSTM的前向?qū)雍头聪驅(qū)拥挠嬎氵^程分派在GPU的兩條數(shù)據(jù)流中，結(jié)合GPU體系的結(jié)構(gòu)特點(diǎn)對雙向LSTM的計算過程進(jìn)行加速優(yōu)化，從而有效的提高了GPU的執(zhí)行效率，縮短了LSTM的計算過程的執(zhí)行時間。

為達(dá)上述目的，本發(fā)明第二方面實(shí)施例提出了一種基于圖形處理器的數(shù)據(jù)處理裝置，包括：創(chuàng)建模塊，用于在中央處理器CPU內(nèi)創(chuàng)建用于分別控制圖形處理器GPU的第一線程和第二線程，其中，所述第一線程用于調(diào)用雙向LSTM的前向?qū)覭ernel序列，所述第二線程用于調(diào)用雙向LSTM算法的反向?qū)覭ernel序列；第一處理模塊，用于通過所述第一線程和所述第二線程控制所述GPU進(jìn)行并行數(shù)據(jù)處理。

本發(fā)明實(shí)施例的基于圖形處理器的數(shù)據(jù)處理裝置，通過將雙向LSTM的前向?qū)雍头聪驅(qū)拥挠嬎氵^程分派在GPU的兩條數(shù)據(jù)流中，結(jié)合GPU體系的結(jié)構(gòu)特點(diǎn)對雙向LSTM的計算過程進(jìn)行加速優(yōu)化，從而有效的提高了GPU的執(zhí)行效率，縮短了LSTM的計算過程的執(zhí)行時間。

本發(fā)明附加的方面和優(yōu)點(diǎn)將在下面的描述中部分給出，部分將從下面的描述中變得明顯，或通過本發(fā)明的實(shí)踐了解到。

附圖說明