[發(fā)明專利]數(shù)據(jù)處理方法和系統(tǒng)、電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201610972718.6
• 申請(qǐng)日: 2016-10-28
• 公開（公告）號(hào): CN108009008B
• 公開（公告）日: 2022-08-09
• 發(fā)明（設(shè)計(jì)）人: 謝瑞桃;孫鵬;顏深根
• 申請(qǐng)（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號(hào): G06F9/48
• 分類號(hào): G06F9/48;G06F12/0844
• 代理公司: 北京金闕華進(jìn)專利事務(wù)所(普通合伙) 11224
• 代理人: 陳建春

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

接收由至少一處理器進(jìn)程向數(shù)據(jù)緩存系統(tǒng)發(fā)起的緩存數(shù)據(jù)讀取請(qǐng)求，所述數(shù)據(jù)緩存系統(tǒng)包括多種緩存元件，所述多種緩存元件包括GPU顯存、內(nèi)存和硬盤，且所述多種緩存元件的傳輸速率和/或存儲(chǔ)空間不同、并根據(jù)各自的傳輸速率和/或存儲(chǔ)空間被預(yù)先設(shè)置有不同的查找優(yōu)先級(jí)；

響應(yīng)接收到的緩存數(shù)據(jù)讀取請(qǐng)求，從發(fā)起所述緩存數(shù)據(jù)讀取請(qǐng)求的進(jìn)程對(duì)應(yīng)的處理器的緩存元件開始按照所述查找優(yōu)先級(jí)從高到低的順序依次向所述多種緩存元件查找相應(yīng)緩存數(shù)據(jù)；

響應(yīng)查找到緩存有所述相應(yīng)緩存數(shù)據(jù)的緩存元件，從查找到的緩存元件處向相應(yīng)處理器進(jìn)程返回所述相應(yīng)緩存數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：

響應(yīng)未查找到緩存有所述相應(yīng)緩存數(shù)據(jù)的緩存元件，向與所述數(shù)據(jù)緩存系統(tǒng)通信連接的分布式文件系統(tǒng)查找所述相應(yīng)緩存數(shù)據(jù)、并將所述相應(yīng)緩存數(shù)據(jù)向相應(yīng)處理器進(jìn)程返回。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述GPU顯存的查找優(yōu)先級(jí)高于所述內(nèi)存的查找優(yōu)先級(jí)，所述內(nèi)存的查找優(yōu)先級(jí)高于所述硬盤的查找優(yōu)先級(jí)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述硬盤包括固態(tài)硬盤和機(jī)械硬盤，所述固態(tài)硬盤的查找優(yōu)先級(jí)高于所述機(jī)械硬盤的查找優(yōu)先級(jí)。

5.根據(jù)權(quán)利要求1-4任一所述的方法，其特征在于，所述至少一處理器進(jìn)程包括：至少一GPU進(jìn)程，和/或，至少一CPU進(jìn)程。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，響應(yīng)所述緩存數(shù)據(jù)讀取請(qǐng)求，從發(fā)起所述緩存數(shù)據(jù)讀取請(qǐng)求的進(jìn)程對(duì)應(yīng)的處理器的緩存元件開始按照所述查找優(yōu)先級(jí)從高到低的順序依次向所述多種緩存元件查找相應(yīng)緩存數(shù)據(jù)，包括：

響應(yīng)接收到的由GPU進(jìn)程發(fā)起的緩存數(shù)據(jù)讀取請(qǐng)求，按照所述查找優(yōu)先級(jí)從高到低的順序依次向GPU顯存、內(nèi)存和硬盤查找相應(yīng)緩存數(shù)據(jù)。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，響應(yīng)所述緩存數(shù)據(jù)讀取請(qǐng)求，從發(fā)起所述緩存數(shù)據(jù)讀取請(qǐng)求的進(jìn)程對(duì)應(yīng)的處理器的緩存元件開始按照所述查找優(yōu)先級(jí)從高到低的順序依次向所述多種緩存元件查找相應(yīng)緩存數(shù)據(jù)，包括：

響應(yīng)接收到的由CPU進(jìn)程發(fā)起的緩存數(shù)據(jù)讀取請(qǐng)求，按照所述查找優(yōu)先級(jí)從高到低的順序依次向內(nèi)存和硬盤查找相應(yīng)緩存數(shù)據(jù)。

8.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：

如果查找到緩存有所述相應(yīng)緩存數(shù)據(jù)的緩存元件為硬盤，則將所述相應(yīng)緩存數(shù)據(jù)緩存到GPU顯存和/或內(nèi)存中。

9.根據(jù)權(quán)利要求3所述的方法，其特征在于，還包括：

如果未查找到緩存有所述相應(yīng)緩存數(shù)據(jù)的緩存元件，則將所述相應(yīng)緩存數(shù)據(jù)新增緩存到所述內(nèi)存。

10.根據(jù)權(quán)利要求9所述的方法，其特征在于，還包括：

響應(yīng)新增緩存到所述內(nèi)存的所述相應(yīng)緩存數(shù)據(jù)的數(shù)據(jù)構(gòu)成預(yù)定大小的文件塊，創(chuàng)建新的線程將所述文件塊寫入所述硬盤的緩存地址空間。

11.根據(jù)權(quán)利要求10所述的方法，其特征在于，所述硬盤包括固態(tài)硬盤；所述響應(yīng)新增緩存到所述內(nèi)存的所述相應(yīng)緩存數(shù)據(jù)的數(shù)據(jù)構(gòu)成預(yù)定大小的文件塊，創(chuàng)建新的線程將所述文件塊寫入所述硬盤，包括：響應(yīng)新增緩存到所述內(nèi)存的所述相應(yīng)緩存數(shù)據(jù)的數(shù)據(jù)構(gòu)成預(yù)定大小的文件塊，創(chuàng)建新的第一線程將所述文件塊寫入所述固態(tài)硬盤的緩存空間。