[發(fā)明專利]一種數(shù)據(jù)處理方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811054274.3
• 申請(qǐng)日: 2018-09-11
• 公開(kāi)（公告）號(hào): CN109308170B
• 公開(kāi)（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 林皓;曲金羽
• 申請(qǐng)（專利權(quán)）人: 北京北信源信息安全技術(shù)有限公司
• 主分類號(hào): G06F3/06
• 分類號(hào): G06F3/06
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

獲取待傳輸數(shù)據(jù)的邏輯日志類型；

根據(jù)預(yù)設(shè)映射關(guān)系，將所述待傳輸數(shù)據(jù)拷貝至與所述邏輯日志類型對(duì)應(yīng)的目標(biāo)分區(qū)中；其中，所述預(yù)設(shè)映射關(guān)系是預(yù)設(shè)邏輯日志類型和預(yù)設(shè)分區(qū)之間的對(duì)應(yīng)關(guān)系；

監(jiān)測(cè)所述目標(biāo)分區(qū)中的所述待傳輸數(shù)據(jù)的數(shù)據(jù)信息，若判斷獲知所述數(shù)據(jù)信息達(dá)到預(yù)設(shè)條件，則利用磁盤順序讀寫和代理服務(wù)器的零拷貝技術(shù)，將所述待傳輸數(shù)據(jù)寫入磁盤，以供所述待傳輸數(shù)據(jù)的接收方從所述磁盤中讀取所述待傳輸數(shù)據(jù)；

獲取若干個(gè)任務(wù)處理線程，每個(gè)任務(wù)處理線程可分別同時(shí)將所述待傳輸數(shù)據(jù)拷貝至多個(gè)所述目標(biāo)分區(qū)中；

并行執(zhí)行所述若干個(gè)任務(wù)處理線程。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)信息包括數(shù)據(jù)量或數(shù)據(jù)傳輸時(shí)長(zhǎng)；相應(yīng)的，所述若判斷獲知所述數(shù)據(jù)信息達(dá)到預(yù)設(shè)條件，則將所述待傳輸數(shù)據(jù)寫入磁盤，包括：

若判斷獲知所述數(shù)據(jù)量達(dá)到預(yù)設(shè)數(shù)據(jù)量，則將所述待傳輸數(shù)據(jù)寫入磁盤；

或，

若判斷獲知所述數(shù)據(jù)傳輸時(shí)長(zhǎng)達(dá)到預(yù)設(shè)時(shí)長(zhǎng)，則將所述待傳輸數(shù)據(jù)寫入磁盤。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，每個(gè)預(yù)設(shè)分區(qū)還還劃分有按寫入時(shí)間先后順序排列的若干個(gè)預(yù)設(shè)分段文件；相應(yīng)的，所述將所述待傳輸數(shù)據(jù)拷貝至與所述邏輯日志類型對(duì)應(yīng)的目標(biāo)分區(qū)中，包括：

將所述待傳輸數(shù)據(jù)拷貝至所述目標(biāo)分區(qū)中的最后一個(gè)目標(biāo)分段文件中。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

監(jiān)測(cè)所述最后一個(gè)目標(biāo)分段文件中的所述待傳輸數(shù)據(jù)的數(shù)據(jù)信息。

5.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，所述方法還包括：

根據(jù)預(yù)設(shè)關(guān)系，獲取所述目標(biāo)分區(qū)對(duì)應(yīng)的目標(biāo)主題類型；其中，所述預(yù)設(shè)關(guān)系是所述預(yù)設(shè)分區(qū)與預(yù)設(shè)主題類型之間的對(duì)應(yīng)關(guān)系。

6.根據(jù)權(quán)利要求1至4任一所述的方法，其特征在于，所述待傳輸數(shù)據(jù)為多源數(shù)據(jù)。

7.一種數(shù)據(jù)處理裝置，其特征在于，包括：

獲取單元，用于獲取待傳輸數(shù)據(jù)的邏輯日志類型；

拷貝單元，用于根據(jù)預(yù)設(shè)映射關(guān)系，將所述待傳輸數(shù)據(jù)拷貝至與所述邏輯日志類型對(duì)應(yīng)的目標(biāo)分區(qū)中；其中，所述預(yù)設(shè)映射關(guān)系是預(yù)設(shè)邏輯日志類型和預(yù)設(shè)分區(qū)之間的對(duì)應(yīng)關(guān)系；

寫入單元，用于監(jiān)測(cè)所述目標(biāo)分區(qū)中的所述待傳輸數(shù)據(jù)的數(shù)據(jù)信息，若判斷獲知所述數(shù)據(jù)信息達(dá)到預(yù)設(shè)條件，則利用磁盤順序讀寫和代理服務(wù)器的零拷貝技術(shù)，將所述待傳輸數(shù)據(jù)寫入磁盤，以供所述待傳輸數(shù)據(jù)的接收方從所述磁盤中讀取所述待傳輸數(shù)據(jù)；

線程獲取單元，用于獲取若干個(gè)任務(wù)處理線程，每個(gè)任務(wù)處理線程可分別同時(shí)將所述待傳輸數(shù)據(jù)拷貝至多個(gè)所述目標(biāo)分區(qū)中；

執(zhí)行單元，用于并行執(zhí)行所述若干個(gè)任務(wù)處理線程。

8.一種電子設(shè)備，其特征在于，包括：處理器、存儲(chǔ)器和總線，其中，

所述處理器和所述存儲(chǔ)器通過(guò)所述總線完成相互間的通信；

所述存儲(chǔ)器存儲(chǔ)有可被所述處理器執(zhí)行的程序指令，所述處理器調(diào)用所述程序指令能夠執(zhí)行如權(quán)利要求1至6任一所述的方法。

9.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)計(jì)算機(jī)指令，所述計(jì)算機(jī)指令使所述計(jì)算機(jī)執(zhí)行如權(quán)利要求1至6任一所述的方法。