[發(fā)明專利]高效遍歷較大數(shù)據(jù)量集合的方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910734331.0
• 申請(qǐng)日: 2019-08-09
• 公開(kāi)（公告）號(hào): CN110554917A
• 公開(kāi)（公告）日: 2019-12-10
• 發(fā)明（設(shè)計(jì)）人: 馮立曉
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50;G06F9/48;G06F16/24
• 代理公司: 37205 濟(jì)南舜源專利事務(wù)所有限公司
• 代理人: 劉雪萍

本發(fā)明提供一種高效遍歷較大數(shù)據(jù)量集合的方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，獲取當(dāng)前服務(wù)器CPU核心數(shù)量；根據(jù)所述CPU核心數(shù)量將大數(shù)據(jù)集合平均拆分為同等數(shù)量的子集合；為每個(gè)子集合創(chuàng)建唯一對(duì)應(yīng)的子線程，控制所述子線程執(zhí)行對(duì)應(yīng)子集合的處理任務(wù)；采集所有子線程的計(jì)算結(jié)果，將所有計(jì)算結(jié)果合并后輸出至主線程。本發(fā)明能夠快速處理大數(shù)據(jù)集合，且處理步驟簡(jiǎn)單，能夠充分利用計(jì)算資源，適用于常規(guī)應(yīng)用程序。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)處理技術(shù)領(lǐng)域，具體涉及一種高效遍歷較大數(shù)據(jù)量集合的方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，軟件程序?qū)崿F(xiàn)中，經(jīng)常遇到需要處理較大數(shù)據(jù)量集合的場(chǎng)景，傳統(tǒng)的實(shí)現(xiàn)方法如Java語(yǔ)言中的ArrayList使用for循環(huán)以單線程的方式進(jìn)行遍歷處理，無(wú)法發(fā)揮多核CPU的并發(fā)執(zhí)行優(yōu)勢(shì)，導(dǎo)致整個(gè)任務(wù)執(zhí)行效率較低。

大數(shù)據(jù)技術(shù)(如Hadoop)使用了與本案類似的分而治之的方案，將一個(gè)大任務(wù)拆分為多個(gè)小任務(wù)，最后將計(jì)算結(jié)果進(jìn)行合并，以完成整個(gè)任務(wù)。但其適用的場(chǎng)景為海量數(shù)據(jù)、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，且應(yīng)用復(fù)雜，在常規(guī)的應(yīng)用程序中難以使用。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)的上述不足，本發(fā)明提供一種高效遍歷較大數(shù)據(jù)量集合的方法、系統(tǒng)、終端及存儲(chǔ)介質(zhì)，以解決上述技術(shù)問(wèn)題。

第一方面，本發(fā)明提供一種高效遍歷較大數(shù)據(jù)量集合的方法，包括：

獲取當(dāng)前服務(wù)器CPU核心數(shù)量；

根據(jù)所述CPU核心數(shù)量將大數(shù)據(jù)集合平均拆分為同等數(shù)量的子集合；

為每個(gè)子集合創(chuàng)建唯一對(duì)應(yīng)的子線程，控制所述子線程執(zhí)行對(duì)應(yīng)子集合的處理任務(wù)；

采集所有子線程的計(jì)算結(jié)果，將所有計(jì)算結(jié)果合并后輸出至主線程。

進(jìn)一步的，所述采集所有子線程的計(jì)算結(jié)果，包括：

獲取所有子線程執(zhí)行進(jìn)度；

若獲取到所有子線程均執(zhí)行完成，則采集所有子線程的計(jì)算結(jié)果；

若獲取到子線程執(zhí)行失敗信息，則返回主線程執(zhí)行失敗提示。

進(jìn)一步的，在采集所有子線程的計(jì)算結(jié)果之前，所述方法還包括：

確定所有子線程執(zhí)行進(jìn)度中存在執(zhí)行完成的子線程，篩選出未執(zhí)行完成的子線程中進(jìn)度最少的子線程作為待均衡子線程；

將待均衡子線程的執(zhí)行任務(wù)均分，并將均分后的執(zhí)行任務(wù)分別下發(fā)至待均衡子線程和所述執(zhí)行完成的子線程。

第二方面，本發(fā)明提供一種高效遍歷較大數(shù)據(jù)量集合的系統(tǒng)，包括：

數(shù)量獲取單元，配置用于獲取當(dāng)前服務(wù)器CPU核心數(shù)量；

集合拆分單元，配置用于根據(jù)所述CPU核心數(shù)量將大數(shù)據(jù)集合平均拆分為同等數(shù)量的子集合；

線程創(chuàng)建單元，配置用于為每個(gè)子集合創(chuàng)建唯一對(duì)應(yīng)的子線程，控制所述子線程執(zhí)行對(duì)應(yīng)子集合的處理任務(wù)；

結(jié)果輸出單元，配置用于采集所有子線程的計(jì)算結(jié)果，將所有計(jì)算結(jié)果合并后輸出至主線程。

進(jìn)一步的，所述結(jié)果輸出單元包括：

進(jìn)度獲取模塊，配置用于獲取所有子線程執(zhí)行進(jìn)度；

完成判定模塊，配置用于若獲取到所有子線程均執(zhí)行完成，則采集所有子線程的計(jì)算結(jié)果；

失敗提示模塊，配置用于若獲取到子線程執(zhí)行失敗信息，則返回主線程執(zhí)行失敗提示。

進(jìn)一步的，所述系統(tǒng)包括：