[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置、運算芯片及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010529663.8
• 申請日: 2020-06-11
• 公開（公告）號: CN111756650A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計）人: 王江為;劉鈞鍇;闞宏偉
• 申請（專利權(quán)）人: 廣東浪潮大數(shù)據(jù)研究有限公司
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L12/801;G06F15/163;H04L29/08;G06F15/76
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 丁曼曼

本申請公開了一種數(shù)據(jù)處理方法、裝置、運算芯片及存儲介質(zhì)。該方法應(yīng)用于對多個上游運算芯片傳入的數(shù)據(jù)進行數(shù)據(jù)處理的當(dāng)前運算芯片，步驟包括：獲取緩存區(qū)的數(shù)據(jù)占用量；判斷數(shù)據(jù)占用量是否達到控流閾值；如果是，則獲取各上游運算芯片之間的優(yōu)先級，并按照優(yōu)先級的順序向各上游運算芯片發(fā)送流量控制信息，以控制上游運算芯片停止傳入待處理數(shù)據(jù)；對緩存區(qū)中的待處理數(shù)據(jù)進行數(shù)據(jù)處理；否則，接收上游運算芯片傳入的待處理數(shù)據(jù)，并寫入緩存區(qū)；對緩存區(qū)中的待處理數(shù)據(jù)進行數(shù)據(jù)處理。本方法相對保證了云計算平臺通過多個運算芯片實現(xiàn)數(shù)據(jù)加速處理過程的穩(wěn)定性。此外，本申請還提供一種數(shù)據(jù)處理裝置、運算芯片及存儲介質(zhì)，有益效果同上所述。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理領(lǐng)域，特別是涉及一種數(shù)據(jù)處理方法、裝置、運算芯片及存儲介質(zhì)。

背景技術(shù)

當(dāng)前的云計算平臺往往通過多個運算芯片共同構(gòu)成，云計算平臺把運算芯片作為云計算平臺中的加速單元，即加速卡，多個運算芯片通過網(wǎng)絡(luò)接口，如MAC(MultipleAccess Control，多路訪問控制)協(xié)議的網(wǎng)絡(luò)接口，連接到交換機，共同形成加速資源池。

當(dāng)有待處理的數(shù)據(jù)到達云計算平臺時，待處理的數(shù)據(jù)往往會基于網(wǎng)口傳輸?shù)姆绞巾樞蚪?jīng)過加速資源池中的多個運算芯片，加速資源池中的每個運算芯片接收到待處理的數(shù)據(jù)時，均以自身既定的處理邏輯對數(shù)據(jù)進行相應(yīng)的數(shù)據(jù)處理，并將處理得到的數(shù)據(jù)進一步傳入到下一個運算芯片以做進一步的數(shù)據(jù)處理，待處理的數(shù)據(jù)經(jīng)過加速資源池中多個運算芯片的順序處理后得到數(shù)據(jù)處理結(jié)果，通過在運算芯片之間被流水處理的方式，達到對數(shù)據(jù)處理過程的加速效果。由于待處理的數(shù)據(jù)在到達云計算平臺后，需要順序經(jīng)過加速資源池中多個運算芯片的數(shù)據(jù)處理，更進一步的，如圖1所示，當(dāng)前進一步存在由多個運算芯片向一個運算芯片提供數(shù)據(jù)以供該運算芯片進行處理的場景下，即存在當(dāng)前運算芯片需要接收并處理多個上游運算芯片傳入的數(shù)據(jù)的場景，在此場景下，確保數(shù)據(jù)在運算芯片之間傳輸?shù)目煽啃裕潜ＷC云計算平臺進行數(shù)據(jù)加速處理時穩(wěn)定性的重要因素。

由此可見，提供一種數(shù)據(jù)處理方法，以相對確保數(shù)據(jù)在運算芯片之間傳輸?shù)目煽啃裕M而保證云計算平臺通過多個運算芯片實現(xiàn)數(shù)據(jù)加速處理過程的穩(wěn)定性，是本領(lǐng)域技術(shù)人員需要解決的問題。

發(fā)明內(nèi)容

本申請的目的是提供一種數(shù)據(jù)處理方法、裝置、運算芯片及存儲介質(zhì)，以相對確保數(shù)據(jù)在運算芯片之間傳輸?shù)目煽啃裕M而保證云計算平臺通過多個運算芯片實現(xiàn)數(shù)據(jù)加速處理過程的穩(wěn)定性。

為解決上述技術(shù)問題，本申請?zhí)峁┮环N數(shù)據(jù)處理方法，應(yīng)用于對多個上游運算芯片傳入的數(shù)據(jù)進行數(shù)據(jù)處理的當(dāng)前運算芯片，包括：

獲取緩存區(qū)的數(shù)據(jù)占用量；

判斷數(shù)據(jù)占用量是否達到控流閾值；

如果是，則獲取各上游運算芯片之間的優(yōu)先級，并按照優(yōu)先級的順序向各上游運算芯片發(fā)送流量控制信息，以控制上游運算芯片停止傳入待處理數(shù)據(jù)；

對緩存區(qū)中的待處理數(shù)據(jù)進行數(shù)據(jù)處理；

否則，接收上游運算芯片傳入的待處理數(shù)據(jù)，并寫入緩存區(qū)；

對緩存區(qū)中的待處理數(shù)據(jù)進行數(shù)據(jù)處理。

優(yōu)選地，當(dāng)按照優(yōu)先級的順序向各上游運算芯片發(fā)送流量控制信息時，在對緩存區(qū)中的待處理數(shù)據(jù)進行數(shù)據(jù)處理之后，方法還包括：

監(jiān)控緩存區(qū)的數(shù)據(jù)占用量；

當(dāng)緩存區(qū)的數(shù)據(jù)占用量小于控流閾值時，停止發(fā)送流量控制信息，并向上游運算芯片發(fā)送流量通行信息，以控制上游運算芯片繼續(xù)傳入待處理數(shù)據(jù)。

優(yōu)選地，當(dāng)存在與當(dāng)前運算芯片相鄰，且對當(dāng)前運算芯片生成的結(jié)果數(shù)據(jù)進行數(shù)據(jù)處理的下游運算芯片時，在對緩存區(qū)中的待處理數(shù)據(jù)進行數(shù)據(jù)處理之后，方法還包括：

將對待處理數(shù)據(jù)進行數(shù)據(jù)處理生成的結(jié)果數(shù)據(jù)傳輸至下游運算芯片；