[發(fā)明專利]數(shù)據(jù)的清洗方法、裝置、系統(tǒng)及計(jì)算機(jī)可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110629498.8
• 申請日: 2021-06-04
• 公開（公告）號: CN113377752B
• 公開（公告）日: 2023-03-14
• 發(fā)明（設(shè)計(jì)）人: 唐積益;蔡利芹;侯騰蛟
• 申請（專利權(quán)）人: 深圳力維智聯(lián)技術(shù)有限公司;南京中興力維軟件有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 深圳市恒程創(chuàng)新知識產(chǎn)權(quán)代理有限公司 44542
• 代理人: 孔德丞

1.一種數(shù)據(jù)的清洗方法，其特征在于，所述數(shù)據(jù)的清洗方法包括：

接收到終端設(shè)備發(fā)送的原始事件數(shù)據(jù)后，確定所述原始事件數(shù)據(jù)有效性；

若確定所述原始事件數(shù)據(jù)有效，則基于所述原始事件數(shù)據(jù)生成對應(yīng)的數(shù)據(jù)清洗請求；

根據(jù)所述數(shù)據(jù)清洗請求中的參數(shù)信息確定對應(yīng)的待執(zhí)行清洗腳本，并基于所述待執(zhí)行清洗腳本對所述原始事件數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗；其中，所述數(shù)據(jù)清洗為根據(jù)業(yè)務(wù)需求對所述原始事件數(shù)據(jù)中的數(shù)據(jù)內(nèi)容進(jìn)行二次處理；

其中，所述若確定所述原始事件數(shù)據(jù)有效，則基于所述原始事件數(shù)據(jù)生成對應(yīng)的數(shù)據(jù)清洗請求的步驟之后，還包括：

根據(jù)所述參數(shù)信息中的設(shè)備標(biāo)識信息，確定所述數(shù)據(jù)清洗請求對應(yīng)的消息隊(duì)列分區(qū)；

將所述數(shù)據(jù)清洗請求插入到所述消息隊(duì)列分區(qū)中最先執(zhí)行的空閑位置，并根據(jù)從前到后的順序依次執(zhí)行所述消息隊(duì)列分區(qū)中的數(shù)據(jù)清洗請求；

其中，所述確定所述原始事件數(shù)據(jù)有效性的步驟包括：

獲取原始事件數(shù)據(jù)的數(shù)據(jù)類型和數(shù)據(jù)格式，并根據(jù)所述數(shù)據(jù)類型和所述數(shù)據(jù)格式，確定所述原始事件數(shù)據(jù)有效性；

其中，所述接收到終端設(shè)備發(fā)送的原始事件數(shù)據(jù)后，確定所述原始事件數(shù)據(jù)有效性的步驟之后，還包括：

若確定所述原始事件數(shù)據(jù)無效，則發(fā)送對應(yīng)的提示信息提示終端設(shè)備重新發(fā)送原始數(shù)據(jù)；

其中，所述根據(jù)所述數(shù)據(jù)清洗請求中的參數(shù)信息確定對應(yīng)的待執(zhí)行清洗腳本的步驟包括：

確定所述參數(shù)信息中的腳本標(biāo)識信息，并根據(jù)所述腳本標(biāo)識信息在腳本緩存庫中查詢是否存在對應(yīng)的編譯腳本；

若在所述腳本緩存庫中查詢到不存在所述編譯腳本，則根據(jù)所述參數(shù)信息中的腳本內(nèi)容信息確定對應(yīng)的數(shù)據(jù)清洗函數(shù)代碼；

編譯所述數(shù)據(jù)清洗函數(shù)代碼，得到對應(yīng)的目標(biāo)編譯腳本，并將所述目標(biāo)編譯腳本確定為所述待執(zhí)行清洗腳本。

2.如權(quán)利要求1所述的數(shù)據(jù)的清洗方法，其特征在于，所述基于所述待執(zhí)行清洗腳本對所述原始事件數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的步驟包括：

創(chuàng)建所述待執(zhí)行清洗腳本的上下文運(yùn)行對象，并將所述原始事件數(shù)據(jù)傳入至所述上下文運(yùn)行對象中；

通過超時(shí)參數(shù)以及傳入所述原始事件數(shù)據(jù)后的上下文運(yùn)行對象，異步執(zhí)行所述待執(zhí)行清洗腳本，對所述原始事件數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗。

3.如權(quán)利要求1所述的數(shù)據(jù)的清洗方法，其特征在于，所述根據(jù)所述腳本標(biāo)識信息在腳本緩存庫中查詢是否存在對應(yīng)的編譯腳本的步驟之后，還包括：

若在所述腳本緩存庫中查詢到存在對應(yīng)的編譯腳本，則將編譯腳本確定為所述待執(zhí)行清洗腳本。

4.如權(quán)利要求1至3任一項(xiàng)所述的數(shù)據(jù)的清洗方法，其特征在于，所述根據(jù)所述數(shù)據(jù)清洗請求中的參數(shù)信息確定對應(yīng)的待執(zhí)行清洗腳本，并基于所述待執(zhí)行清洗腳本對所述原始事件數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗的步驟之后：

確定所述待執(zhí)行清洗腳本在執(zhí)行過程中是否返回異常提示信息；

若確定所述待執(zhí)行清洗腳本在執(zhí)行過程中沒有返回所述異常提示信息，則確定所述待執(zhí)行清洗腳本執(zhí)行后的數(shù)據(jù)清洗結(jié)果，并將所述數(shù)據(jù)清洗結(jié)果存儲至對應(yīng)的消息隊(duì)列分區(qū)。

5.如權(quán)利要求1所述的數(shù)據(jù)的清洗方法，其特征在于，所述待執(zhí)行清洗腳本為JavaScript清洗腳本。