[發(fā)明專利]一種數(shù)據(jù)的獲取方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110761412.7
• 申請日: 2021-07-06
• 公開（公告）號: CN113342553A
• 公開（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 王玉東;廖東升;劉洋
• 申請（專利權(quán)）人: 陽光保險(xiǎn)集團(tuán)股份有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 劉鳳

本申請?zhí)峁┝艘环N數(shù)據(jù)的獲取方法、裝置、電子設(shè)備及存儲介質(zhì)，所述獲取方法包括：獲取待處理數(shù)據(jù)；調(diào)用第一處理程序中的第一預(yù)設(shè)處理規(guī)則對所述待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第一處理數(shù)據(jù)；檢測所述第一處理數(shù)據(jù)是否滿足數(shù)據(jù)處理需求，若第一處理數(shù)據(jù)不滿足所述數(shù)據(jù)處理需求，基于調(diào)用接口調(diào)用第二處理程序?qū)λ龃幚頂?shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第二處理數(shù)據(jù)；基于第一處理數(shù)據(jù)以及所述第二處理數(shù)據(jù)，得到滿足數(shù)據(jù)處理需求的目標(biāo)處理數(shù)據(jù)。這樣，當(dāng)無法通過第一處理程序?qū)?shù)據(jù)進(jìn)行處理時，則利用調(diào)用接口調(diào)用第二處理程序?qū)?shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)了利用調(diào)用接口分布式調(diào)用數(shù)據(jù)處理程序快速實(shí)現(xiàn)對待處理數(shù)據(jù)進(jìn)行處理，提高數(shù)據(jù)處理的準(zhǔn)確率以及效率。

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)的獲取技術(shù)領(lǐng)域，尤其是涉及一種數(shù)據(jù)的獲取方法、裝置、電子設(shè)備及存儲介質(zhì)。

背景技術(shù)

審計(jì)日志數(shù)據(jù)處理功能大多依賴于計(jì)算機(jī)編程語言(java)軟件和解釋器(python)腳本，基本采用流式處理模式，從最開始的數(shù)據(jù)接收，到數(shù)據(jù)處理，再到數(shù)據(jù)存儲。Java程序和python腳本的處理模式缺點(diǎn)是在橫向部署的時候配置文件和處理規(guī)則的統(tǒng)一和更新麻煩，且該多段處理模式需要在開源流處理平臺(kafka)內(nèi)暫存大于1次，多段處理流程程序出問題的幾率也會增加，任何一個階段的異常都導(dǎo)致最終數(shù)據(jù)異常。在數(shù)據(jù)處理中，因涉及到多個功能點(diǎn)和處理步驟，由多個多段處理程序進(jìn)行分部進(jìn)行處理，直到達(dá)到數(shù)據(jù)格式和內(nèi)容要求后進(jìn)入下一階段。

但是，現(xiàn)階段中在數(shù)據(jù)處理過程中采用流程性處理步驟，當(dāng)流程處理步驟中任一處理步驟發(fā)生錯誤時，則會導(dǎo)致整個數(shù)據(jù)處理過程出現(xiàn)錯誤，無法進(jìn)行下一步的處理步驟，因?yàn)槿绾螠p少流程步驟保證數(shù)據(jù)處理流程的流暢度是亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

有鑒于此，本申請的目的在于提供一種數(shù)據(jù)的獲取方法、裝置、電子設(shè)備及存儲介質(zhì)，這樣，通過第一處理程序和第二處理程序?qū)Υ幚頂?shù)據(jù)共同處理，當(dāng)無法通過第一處理程序?qū)?shù)據(jù)進(jìn)行處理時，則利用調(diào)用接口調(diào)用第二處理程序?qū)?shù)據(jù)進(jìn)行處理，實(shí)現(xiàn)了利用調(diào)用接口分布式調(diào)用數(shù)據(jù)處理程序，在保證滿足數(shù)據(jù)處理需求的同時，快速實(shí)現(xiàn)對待處理數(shù)據(jù)進(jìn)行處理，有助于提高數(shù)據(jù)處理的準(zhǔn)確率以及效率。

本申請實(shí)施例提供了一種數(shù)據(jù)的獲取方法，所述獲取方法包括：

獲取待處理數(shù)據(jù)；

調(diào)用第一處理程序中的第一預(yù)設(shè)處理規(guī)則對所述待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第一處理數(shù)據(jù)；

檢測所述第一處理數(shù)據(jù)是否滿足數(shù)據(jù)處理需求，若所述第一處理數(shù)據(jù)不滿足所述數(shù)據(jù)處理需求，基于調(diào)用接口調(diào)用第二處理程序?qū)λ龃幚頂?shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第二處理數(shù)據(jù)；

基于所述第一處理數(shù)據(jù)以及所述第二處理數(shù)據(jù)，得到滿足數(shù)據(jù)處理需求的目標(biāo)處理數(shù)據(jù)。

進(jìn)一步的，所述若所述第一處理數(shù)據(jù)不滿足所述數(shù)據(jù)處理需求，基于調(diào)用接口調(diào)用第二處理程序?qū)λ龃幚頂?shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第二處理數(shù)據(jù)，包括：

將所述待處理數(shù)據(jù)基于所述調(diào)用接口傳輸至所述第二處理程序中，調(diào)用第二處理程序中的第二預(yù)設(shè)處理規(guī)則對所述待處理數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，得到第二處理數(shù)據(jù)。

進(jìn)一步的，所述基于所述第一處理數(shù)據(jù)以及所述第二處理數(shù)據(jù)，得到滿足數(shù)據(jù)處理需求的目標(biāo)處理數(shù)據(jù)，包括：

控制第一處理程序?qū)⑺龅谝惶幚頂?shù)據(jù)以及所述第二處理數(shù)據(jù)進(jìn)行數(shù)據(jù)拼接處理，獲得所述目標(biāo)處理數(shù)據(jù)。

進(jìn)一步的，所述獲取方法還包括：

將所述目標(biāo)處理數(shù)據(jù)與對應(yīng)的數(shù)據(jù)處理需求進(jìn)行關(guān)聯(lián)設(shè)置，并將所述目標(biāo)處理數(shù)據(jù)以及對應(yīng)的數(shù)據(jù)處理需求進(jìn)行存儲。

進(jìn)一步的，所述獲取方法還包括：