[發(fā)明專利]一種大數(shù)據(jù)智能分析系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202210675105.1
• 申請(qǐng)日: 2022-06-15
• 公開（公告）號(hào): CN114780253B
• 公開（公告）日: 2022-08-30
• 發(fā)明（設(shè)計(jì)）人: 林立磐;彭子非;潘仲毅;劉智國;李偉;陳朝暉;嚴(yán)偉雄
• 申請(qǐng)（專利權(quán)）人: 廣東省信息工程有限公司
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 廣東省中源正拓專利代理事務(wù)所(普通合伙) 44748
• 代理人: 朱靖華

本發(fā)明公開了一種大數(shù)據(jù)智能分析系統(tǒng)，涉及大數(shù)據(jù)技術(shù)領(lǐng)域，包括計(jì)算機(jī)設(shè)備、數(shù)據(jù)收集模塊、數(shù)據(jù)處理模塊以及任務(wù)隊(duì)列模塊；通過綜合了每個(gè)數(shù)據(jù)處理任務(wù)占用的內(nèi)存、算力以及執(zhí)行時(shí)間，獲得每個(gè)數(shù)據(jù)處理任務(wù)的優(yōu)先級(jí)；進(jìn)一步的，將多個(gè)數(shù)據(jù)處理任務(wù)作為一組，綜合考慮每組數(shù)據(jù)處理任務(wù)需要的內(nèi)存、算力大小以及每個(gè)任務(wù)的優(yōu)先級(jí)，計(jì)算每組數(shù)據(jù)處理任務(wù)的綜合優(yōu)先級(jí)；解決了處理大數(shù)據(jù)任務(wù)時(shí)，服務(wù)器的內(nèi)存、處理器的效率最大化以及任務(wù)隊(duì)列分配不均衡的問題。

技術(shù)領(lǐng)域

本發(fā)明屬于大數(shù)據(jù)領(lǐng)域，涉及內(nèi)存管理技術(shù)，具體是一種大數(shù)據(jù)智能分析系統(tǒng)。

背景技術(shù)

大數(shù)據(jù)(big data)，或稱巨量資料，指的是所涉及的資料量規(guī)模巨大到無法透過主流軟件工具，在合理時(shí)間內(nèi)達(dá)到擷取、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策更積極目的的資訊；

大數(shù)據(jù)的處理往往依賴于具有良好存儲(chǔ)及運(yùn)算能力的計(jì)算機(jī)服務(wù)器，但在大數(shù)據(jù)任務(wù)量巨大的情況下，計(jì)算機(jī)服務(wù)器的運(yùn)算及存儲(chǔ)能力依然是不足夠的；而現(xiàn)有的在大數(shù)據(jù)智能分析系統(tǒng)搭建方案往往存在以下問題：

1、對(duì)于計(jì)算機(jī)的內(nèi)存以及算力分配并未考慮到利用效率的問題；

2、對(duì)于任務(wù)隊(duì)列中的數(shù)據(jù)處理任務(wù)運(yùn)行優(yōu)先級(jí)往往采用簡單的先進(jìn)先出或最短時(shí)間優(yōu)先的方式，導(dǎo)致內(nèi)存以及算力使用效率低下或出現(xiàn)部分?jǐn)?shù)據(jù)處理任務(wù)無限等待的問題；

因此，提出一種大數(shù)據(jù)智能分析系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)中存在的技術(shù)問題之一。為此，本發(fā)明提出一種大數(shù)據(jù)智能分析系統(tǒng)，該一種大數(shù)據(jù)智能分析系統(tǒng)通過綜合了每個(gè)數(shù)據(jù)處理任務(wù)占用的內(nèi)存、算力以及執(zhí)行時(shí)間，獲得每個(gè)數(shù)據(jù)處理任務(wù)的優(yōu)先級(jí)；進(jìn)一步的，將多個(gè)數(shù)據(jù)處理任務(wù)作為一組，綜合考慮每組數(shù)據(jù)處理任務(wù)需要的內(nèi)存、算力大小以及每個(gè)任務(wù)的優(yōu)先級(jí)，計(jì)算每組數(shù)據(jù)處理任務(wù)的綜合優(yōu)先級(jí)；解決了大數(shù)據(jù)處理中，服務(wù)器的內(nèi)存、處理器的效率最大化以及任務(wù)隊(duì)列分配不均衡的問題。

為實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明的第一方面的實(shí)施例提出一種大數(shù)據(jù)智能分析系統(tǒng)，包括計(jì)算機(jī)設(shè)備、數(shù)據(jù)收集模塊、數(shù)據(jù)處理模塊以及任務(wù)隊(duì)列模塊；

所述計(jì)算機(jī)設(shè)備主要為計(jì)算機(jī)硬件設(shè)備，包括但不限于主板、處理器、內(nèi)存條、硬盤、顯示屏、GPU以及電源等；

所述計(jì)算機(jī)設(shè)備與數(shù)據(jù)收集模塊以電氣方式連接；

所述數(shù)據(jù)收集模塊主要用于收集待處理數(shù)據(jù)；

數(shù)據(jù)處理模塊主要用于對(duì)數(shù)據(jù)進(jìn)行處理；

數(shù)據(jù)處理模塊可以是安裝在計(jì)算機(jī)設(shè)備中操作系統(tǒng)中的一款軟件；所述軟件具有對(duì)收集的數(shù)據(jù)進(jìn)行處理的能力；

根據(jù)用戶收集的數(shù)據(jù)類型不同，處理目的的不同，所述數(shù)據(jù)處理模塊對(duì)數(shù)據(jù)的處理方式也不同；具體的，對(duì)于圖片智能分析任務(wù)，可以使用CNN模型進(jìn)行處理；對(duì)于語音文字智能分析，可以使用RNN模型進(jìn)行處理；對(duì)于大量數(shù)據(jù)的計(jì)算任務(wù)，可以使用Spark系統(tǒng)進(jìn)行處理；

可以理解的是，根據(jù)數(shù)據(jù)處理任務(wù)需處理的數(shù)據(jù)量以及處理任務(wù)類型，可估算出數(shù)據(jù)處理任務(wù)需要占用的內(nèi)存空間大小、處理器算力大小以及處理時(shí)長；

數(shù)據(jù)處理模塊與任務(wù)隊(duì)列模塊以電氣方式連接；

數(shù)據(jù)處理模塊實(shí)時(shí)發(fā)送當(dāng)前正在處理的數(shù)據(jù)處理任務(wù)占用的內(nèi)存、處理器算力大小以及預(yù)計(jì)剩余時(shí)長，以及正在任務(wù)隊(duì)列中的數(shù)據(jù)處理任務(wù)估算的占用內(nèi)存、處理器算力大小以及估算處理時(shí)長至任務(wù)隊(duì)列模塊；其中，預(yù)計(jì)剩余時(shí)長為預(yù)估處理時(shí)長減去已處理時(shí)長；

其中，任務(wù)隊(duì)列模塊主要用于對(duì)處于任務(wù)隊(duì)列中的數(shù)據(jù)處理任務(wù)進(jìn)行分配。

與現(xiàn)有技術(shù)相比，本發(fā)明的有益效果是：