[發(fā)明專利]一種基于大數據處理框架的任務分類處理方法

有效

• 申請?zhí)枺?/td>: 202310005310.1
• 申請日: 2023-01-04
• 公開（公告）號: CN115688054B
• 公開（公告）日: 2023-07-11
• 發(fā)明（設計）人: 唐泰可;王威;廖峪;林仁輝;蘇茂才
• 申請（專利權）人: 成都中軌軌道設備有限公司
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06N3/0464;G06N3/08
• 代理公司: 成都正德明志知識產權代理有限公司 51360
• 代理人: 雷正

本發(fā)明公開了一種基于大數據處理框架的任務分類處理方法，包括以下步驟：大數據處理框架接收目標任務；依據預建立的任務分類模型對所述目標任務進行分類識別得到目標任務的類別標簽；大數據處理框架依據目標任務的類別標簽調取對應的類別處理模塊對目標任務進行定向處理。本發(fā)明在主線任務的分類中引入了副線任務的信息，并通過設計合理的神經網絡模型將這些主線任務信息和副線任務信息引入了分類分支，從而提高了任務分類模型的判別能力，更好地區(qū)分相似度較高的任務類別，降低信息量上的局限性，提高目標任務類別的識別準確，提高分類精度。

技術領域

本發(fā)明涉及大數據處理技術領域，具體涉及一種基于大數據處理框架的任務分類處理方法。

背景技術

大數據處理框架負責對大數據系統(tǒng)中的數據進行計算(管理和處理)的框架系統(tǒng)。數據包括從持久存儲中讀取的數據或通過消息隊列等方式接入到系統(tǒng)中的數據，而計算則是從數據中提取信息的過程。現在每種大數據計算框架都支持多種的大數據計算類型，例如支持Query的SQL運算基本每個大數據計算框架都支持，就是沒有直接支持的也可以使用間接的方式實現。那么也就意味著一種類型的大數據計算請求是可以把請求發(fā)送到多個大數據處理框架進行執(zhí)行，只是每個框架執(zhí)行的效率及方式不同，此時大家基本都是通過輸入、輸出、性能、使用資源等全盤考慮，擇優(yōu)選擇。其他類型的大數據處理也是如此例如OLAP、流計算、搜索查詢、圖計算、機器學習等。在大數據平臺上每個大數據處理框架往往背后都帶有一個默認指定的兼容較好的大數據存儲框架，那么在大數據平臺上實現不同類型的大數據處理運算，把任務提交到某個框架上，往往需要的數據源一部分來自持久存儲的大數據存儲框架或者其他存儲框架或者消息隊列方式接入的流數據，其他的數據源都是來至大數據處理框架，因為其背后都帶有存儲框架，此時大數據處理框架就成了數據源。正如前面提到的每個任務具體使用哪個框架是通過輸入、輸出、性能、使用資源等全盤考慮，擇優(yōu)選擇。如果要在一個應用程序系統(tǒng)中可以針對相同類型的任務使用不同的處理框架，需要對每個處理框架逐一實現，而且當提交任務的時候需要涉及大量關于執(zhí)行框架的信息，如果需要對每個大數據處理框架的支持，這樣客戶端就比較龐大臃腫，為此可用任務分類處理方法來解決以上問題。

現有技術中使用機器學習模型對目標任務的任務類別進行識別，但目前用于目標任務類別識別的機器學習模型受目標任務信息量的限制，存在識別不準確，分類精度較低的問題。

發(fā)明內容

本發(fā)明的目的在于提供一種基于大數據處理框架的任務分類處理方法，以解決現有技術中目標任務類別識別的機器學習模型受目標任務信息量的限制，存在識別不準確，分類精度較低的技術問題。

為解決上述技術問題，本發(fā)明具體提供下述技術方案：

一種基于大數據處理框架的任務分類處理方法，包括以下步驟：

大數據處理框架接收目標任務；

依據預建立的任務分類模型對所述目標任務進行分類識別得到目標任務的類別標簽；

大數據處理框架依據目標任務的類別標簽調取對應的類別處理模塊對目標任務進行定向處理；

類別處理模塊對目標任務的執(zhí)行過程進行監(jiān)測，并實時反饋至大數據處理框架直至目標任務處理完成。

作為本發(fā)明的一種優(yōu)選方案，所述任務分類模型的構建包括：

獲取大數據框架中多個已處理的歷史任務，標記出歷史任務中主線任務類別和副線任務類別，并對各個所述歷史任務進行卷積特征提取得到歷史任務的卷積特征圖；

對所述歷史任務的卷積特征圖分別進行主線任務分類全局特征的提取以及副線任務分類全局特征的提取得到適用于主線任務分類的全局向量以及適用于副線任務分類的全局向量；