[發(fā)明專利]一種多域數(shù)據(jù)融合的方法、裝置和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210573368.1
• 申請日: 2022-05-25
• 公開（公告）號: CN115033590A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: 林文楷;周成祖;魏超;吳文;朱海勇
• 申請（專利權(quán)）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242;G06F16/2455;G06F16/25
• 代理公司: 廈門市精誠新創(chuàng)知識產(chǎn)權(quán)代理有限公司 35218
• 代理人: 汪萬龍

本發(fā)明提供了一種多域數(shù)據(jù)融合的方法、裝置和存儲介質(zhì)，該方法包括：S1，在預(yù)先設(shè)置的多域調(diào)度融合區(qū)建立任務(wù)規(guī)則庫；S2，提取任務(wù)規(guī)則庫中選定的所有任務(wù)，針對選定的每一任務(wù)確定對應(yīng)的數(shù)據(jù)域組及對應(yīng)的執(zhí)行引擎組，并獲得與同一數(shù)據(jù)域相關(guān)的任務(wù)集合；S3，根據(jù)預(yù)先設(shè)置的任務(wù)優(yōu)先級對與同一數(shù)據(jù)域相關(guān)的任務(wù)集合中的任務(wù)進行調(diào)度，優(yōu)先調(diào)用與優(yōu)先級較高的任務(wù)對應(yīng)的執(zhí)行引擎；S4，針對每一任務(wù)，將對應(yīng)的執(zhí)行引擎組中的各執(zhí)行引擎從對應(yīng)數(shù)據(jù)域返回的任務(wù)結(jié)果存儲到多域調(diào)度融合區(qū)，并在多域調(diào)度融合區(qū)進行融合，獲得融合結(jié)果。利用上述技術(shù)方案，可以實現(xiàn)高效的跨域數(shù)據(jù)融合。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)處理領(lǐng)域，特別是涉及一種多域數(shù)據(jù)融合的方法、裝置和存儲介質(zhì)。

背景技術(shù)

在當(dāng)今時代，大數(shù)據(jù)已成為寶貴的資源。現(xiàn)有的大數(shù)據(jù)項目常常采用傳統(tǒng)的“標(biāo)準(zhǔn)+集中”的融合方法。這種融合方法要求將各域的數(shù)據(jù)都轉(zhuǎn)化成統(tǒng)一的標(biāo)準(zhǔn)格式，并集中存儲在某一特定的域內(nèi)。對于數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜的大數(shù)據(jù)項目而言，這種處理方法存在以下不足：集中存儲會導(dǎo)致很大的數(shù)據(jù)體量重復(fù)轉(zhuǎn)換和存儲，這會導(dǎo)致較高的項目建設(shè)成本；由于各域的業(yè)務(wù)變化頻繁，這會導(dǎo)致產(chǎn)生的業(yè)務(wù)數(shù)據(jù)也會經(jīng)常性地變化，而按照一定的標(biāo)準(zhǔn)集中存儲的方式，往往難以及時匹配變化的數(shù)據(jù)格式及兼容舊的數(shù)據(jù)格式，這將導(dǎo)致對外賦能能力的下降。

發(fā)明內(nèi)容

本發(fā)明的實施例提供了一種多域數(shù)據(jù)融合的方法、裝置及存儲介質(zhì)，通過設(shè)置多域調(diào)度融合區(qū)、任務(wù)歸一化和任務(wù)調(diào)度，實現(xiàn)了高效的跨域數(shù)據(jù)融合。

一方面，提供了一種多域數(shù)據(jù)融合的方法，用于使用多個域的數(shù)據(jù)來執(zhí)行處理任務(wù)，包括：

S1，在預(yù)先設(shè)置的多域調(diào)度融合區(qū)建立任務(wù)規(guī)則庫，任務(wù)規(guī)則庫包括：待處理任務(wù)的標(biāo)識、與待處理任務(wù)相關(guān)的數(shù)據(jù)源、與數(shù)據(jù)源相關(guān)的多個數(shù)據(jù)域、與各數(shù)據(jù)域?qū)?yīng)的執(zhí)行引擎；

S2，提取任務(wù)規(guī)則庫中選定的所有任務(wù)，針對選定的每一任務(wù)確定對應(yīng)的數(shù)據(jù)域組及對應(yīng)的執(zhí)行引擎組，并獲得與同一數(shù)據(jù)域相關(guān)的任務(wù)集合；

S3，根據(jù)預(yù)先設(shè)置的任務(wù)優(yōu)先級對與同一數(shù)據(jù)域相關(guān)的任務(wù)集合中的任務(wù)進行調(diào)度，優(yōu)先調(diào)用與優(yōu)先級較高的任務(wù)對應(yīng)的執(zhí)行引擎；

S4，針對選定每一任務(wù)，將對應(yīng)的執(zhí)行引擎組中的各執(zhí)行引擎從對應(yīng)數(shù)據(jù)域返回的任務(wù)結(jié)果存儲到多域調(diào)度融合區(qū)，并在多域調(diào)度融合區(qū)進行融合，獲得融合結(jié)果。

進一步地，該方法中，步驟S2包括：

提取任務(wù)規(guī)則庫中選定的所有任務(wù)，形成待處理任務(wù)數(shù)據(jù)集Sn，并新建歸一任務(wù)數(shù)據(jù)集合Tn；

遍歷Sn，獲得與各任務(wù)相關(guān)的數(shù)據(jù)源所對應(yīng)的數(shù)據(jù)域組及對應(yīng)的執(zhí)行引擎組list(clyc)，并根據(jù)執(zhí)行引擎組list(clyc)將Sn拆分存儲到Tn，其中Tn＝{Sn, list(clyc)}；

遍歷Tn，根據(jù)執(zhí)行引擎對Tn中的記錄進行聚合，將同一數(shù)據(jù)域的任務(wù)進行合并，獲得與同一數(shù)據(jù)域相關(guān)的任務(wù)集合。

進一步地，該方法中，S3包括：

根據(jù)多域調(diào)度融合區(qū)分配的硬件資源確定最大的處理線程數(shù)m，m為大于 0的自然數(shù)；

根據(jù)預(yù)先設(shè)置的優(yōu)先級，對與同一數(shù)據(jù)域相關(guān)的任務(wù)集合中的任務(wù)進行排序，依次取優(yōu)先級較高的m條任務(wù)；

調(diào)用與m條任務(wù)對應(yīng)的執(zhí)行引擎進行數(shù)據(jù)處理。

進一步地，該方法中，在S2之后、S3之前，還包括：

對與同一數(shù)據(jù)域相關(guān)的任務(wù)集合中的任務(wù)進行驗證；如果驗證通過，將對應(yīng)任務(wù)的任務(wù)狀態(tài)設(shè)置為可用；否則，將對應(yīng)任務(wù)的任務(wù)狀態(tài)設(shè)置為不可用；

S3中，參與任務(wù)調(diào)度的任務(wù)為與同一數(shù)據(jù)域相關(guān)的任務(wù)集合中任務(wù)狀態(tài)可用的任務(wù)。