[發明專利]大數據處理方法、裝置、服務器及可讀存儲介質

有效

• 申請號: 201810343986.0
• 申請日: 2018-04-17
• 公開（公告）號: CN108549583B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 姜光植;嚴雪楓;謝川;黃瀚林
• 申請（專利權）人: 致云科技有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 曹瑞敏

1.一種大數據處理方法，應用于服務器，其特征在于，所述方法包括：

獲取待處理的大數據處理任務；

根據大數據的采集設備的設備類型確定所述大數據處理任務的任務類型，所述任務類型包括串行任務和并行任務；

按照所述任務類型的處理順序，建立大數據處理列表；

基于所述大數據處理列表，將每個串行任務通過主線程進行串行處理，將同一并行任務分配到所述服務器的各個處理器核心上進行并行處理，并將并行處理后的任務數據串行應用于下一處理順序的串行任務中；

所述服務器中預先配置有每個任務的處理策略，所述處理策略包括并行處理策略和串行處理策略，其中，所述并行處理策略表征該任務只與上個處理順序的任務相關，所述串行處理策略表征該任務與其它采集設備的任務相關，所述根據大數據的采集設備的設備類型確定所述大數據處理任務的任務類型的步驟，包括：

獲取每個大數據處理任務的處理策略；

根據所述處理策略確定每個大數據處理任務的任務類型。

2.根據權利要求1所述的大數據處理方法，其特征在于，所述將同一并行任務分配到所述服務器的各個處理器核心上進行并行處理，包括：

獲取各個處理器核心的空閑率；

根據每個處理器核心的空閑率，確定分配給每個處理器核心的同一并行任務的任務數量；

將所述同一并行任務按照確定的任務數量分別分配給對應的處理器核心進行并行處理。

3.根據權利要求2所述的大數據處理方法，其特征在于，所述根據每個處理器核心的占用率，確定分配給每個處理器核心的同一并行任務的任務數量，包括：

計算每個處理器核心的空閑參數，其中，所述空閑參數為每個處理器核心的空閑率和所有處理器核心的總空閑率的比值；

根據每個處理器核心的空閑參數和同一并行任務的任務總數量，確定分配給每個處理器核心的同一并行任務的任務數量。

4.根據權利要求2所述的大數據處理方法，其特征在于，所述服務器中還配置有每個并行任務的任務級別與處理器核心的頻率之間的對應關系，所述將所述同一并行任務按照確定的任務數量分別分配給對應的處理器核心進行并行處理，包括：

將所述同一并行任務按照確定的任務數量分別分配給對應的處理器核心；

獲取所述并行任務的任務級別；

根據所述任務級別對應調整所述處理器核心的頻率，并控制每個所述處理器核心基于調整后的頻率對分配的所述并行任務進行處理。

5.一種大數據處理裝置，應用于服務器，其特征在于，所述裝置包括：

獲取模塊，用于獲取待處理的大數據處理任務；

確定模塊，用于根據大數據的采集設備的設備類型確定所述大數據處理任務的任務類型，所述任務類型包括串行任務和并行任務；

建立模塊，用于按照所述任務類型的處理順序，建立大數據處理列表；

任務處理模塊，用于基于所述大數據處理列表，將每個串行任務通過主線程進行串行處理，將同一并行任務分配到所述服務器的各個處理器核心上進行并行處理，并將并行處理后的任務數據串行應用于下一處理順序的串行任務中；

所述服務器中預先配置有每個任務的處理策略，所述處理策略包括并行處理策略和串行處理策略，其中，所述并行處理策略表征該任務只與上個處理順序的任務相關，所述串行處理策略表征該任務與其它采集設備的任務相關，所述根據大數據的采集設備的設備類型確定所述大數據處理任務的任務類型的方式，包括：

獲取每個大數據處理任務的處理策略；

根據所述處理策略確定每個大數據處理任務的任務類型。

6.根據權利要求5所述的大數據處理裝置，其特征在于，所述將同一并行任務分配到所述服務器的各個處理器核心上進行并行處理的方式，包括：

獲取各個處理器核心的空閑率；

根據每個處理器核心的空閑率，確定分配給每個處理器核心的同一并行任務的任務數量；

將所述同一并行任務按照確定的任務數量分別分配給對應的處理器核心進行并行處理。