[發(fā)明專利]一種數(shù)據(jù)接入方法及裝置

有效

• 申請?zhí)枺?/td>: 202010102307.8
• 申請日: 2020-02-19
• 公開（公告）號: CN111353276B
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計）人: 謝韶光;陳天立;李適季;秦偉
• 申請（專利權(quán)）人: 深圳市優(yōu)網(wǎng)科技有限公司
• 主分類號: G06F40/126
• 分類號: G06F40/126;G06F16/25
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 劉曉菲

本申請公開了一種數(shù)據(jù)接入方法及裝置，該方法包括：在獲取到待接入的目標(biāo)數(shù)據(jù)后，可以先確定出目標(biāo)數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識，然后，再調(diào)用預(yù)先構(gòu)建的數(shù)據(jù)解碼樹，對目標(biāo)數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識進(jìn)行解碼，獲得目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)格式的數(shù)據(jù)。可見，本申請是統(tǒng)一利用預(yù)先構(gòu)建的數(shù)據(jù)解碼樹對確定出的各個類型目標(biāo)數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識進(jìn)行解碼，從而可以將接入的不同類型的目標(biāo)數(shù)據(jù)均輸出為標(biāo)準(zhǔn)數(shù)據(jù)格式的數(shù)據(jù)，而不再針對不同類型的數(shù)據(jù)設(shè)計對應(yīng)不同的程序代碼，減少了代碼量的同時，也降低了接入成本，提高了接入效率。

技術(shù)領(lǐng)域

本發(fā)明涉及通信技術(shù)領(lǐng)域，具體涉及一種數(shù)據(jù)接入方法及裝置。

背景技術(shù)

隨著通信網(wǎng)絡(luò)技術(shù)的快速發(fā)展，在目前的網(wǎng)絡(luò)技術(shù)應(yīng)用中，通過接入不同類型的數(shù)據(jù)，以對各種類型數(shù)據(jù)進(jìn)行大數(shù)據(jù)分析，實現(xiàn)各種指數(shù)和數(shù)據(jù)的運算，已經(jīng)是網(wǎng)絡(luò)應(yīng)用中的一項重要內(nèi)容。為了能夠進(jìn)行大數(shù)據(jù)分析，從各個產(chǎn)品接入不用類型的基礎(chǔ)數(shù)據(jù)，成為其中的一項重要內(nèi)容，而接入數(shù)據(jù)的效率和質(zhì)量，直接影響到后續(xù)的分析處理等過程的效率和質(zhì)量。

目前的接入各產(chǎn)品的各種類型數(shù)據(jù)的方式，通常是針對各產(chǎn)品的各種類型數(shù)據(jù)源分別接入，即針對各數(shù)據(jù)源，分別編寫對應(yīng)的程序代碼，對各數(shù)據(jù)源分別采用其對應(yīng)的程序代碼進(jìn)行各種編解碼分析處理過程。但是，這種數(shù)據(jù)接入方式，對于每個類型的數(shù)據(jù)源都需要有對應(yīng)的程序代碼，不僅需要增加很多重復(fù)性的工作，導(dǎo)致開發(fā)、測試等成本高，而且隨著接入的數(shù)據(jù)源或者數(shù)據(jù)量的加大，代碼量會持續(xù)增大，維護(hù)困難。并且，對于新類型的數(shù)據(jù)源，也存在接入難、開發(fā)周期長的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種數(shù)據(jù)接入方法及裝置，以解決現(xiàn)有技術(shù)中各種類型數(shù)據(jù)接入難、接入成本高以及接入效率低的技術(shù)問題。

為解決上述問題，本發(fā)明提供的技術(shù)方案如下：

第一方面，本申請實施例提供了一種數(shù)據(jù)接入方法，包括：

獲取待接入的目標(biāo)數(shù)據(jù)；

確定所述目標(biāo)數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識；

調(diào)用預(yù)先構(gòu)建的數(shù)據(jù)解碼樹，對所述目標(biāo)數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識進(jìn)行解碼，獲得所述目標(biāo)數(shù)據(jù)對應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)格式的數(shù)據(jù)。

可選的，所述確定所述目標(biāo)數(shù)據(jù)的數(shù)據(jù)包解析順序和產(chǎn)品標(biāo)識，包括：

確定所述目標(biāo)數(shù)據(jù)對應(yīng)的數(shù)據(jù)包格式；

根據(jù)所述數(shù)據(jù)包格式，確定所述目標(biāo)數(shù)據(jù)對應(yīng)的數(shù)據(jù)包解析順序和產(chǎn)品標(biāo)識。

可選的，構(gòu)建所述數(shù)據(jù)解碼樹，包括：

獲取訓(xùn)練數(shù)據(jù)；

確定所述訓(xùn)練數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識；

根據(jù)所述訓(xùn)練數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識以及所述訓(xùn)練數(shù)據(jù)對應(yīng)的接入數(shù)據(jù)標(biāo)簽對初始數(shù)據(jù)解碼樹進(jìn)行訓(xùn)練，生成所述數(shù)據(jù)解碼樹。

可選的，所述初始數(shù)據(jù)解碼樹的文件組成結(jié)構(gòu)為JSON文件結(jié)構(gòu)。

可選的，所述方法還包括：

獲取驗證數(shù)據(jù)；

確定所述驗證數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識；

調(diào)用所述數(shù)據(jù)解碼樹，對所述驗證數(shù)據(jù)的解析順序和產(chǎn)品標(biāo)識進(jìn)行解碼，獲得所述驗證數(shù)據(jù)對應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)格式的數(shù)據(jù)；

當(dāng)所述驗證數(shù)據(jù)對應(yīng)的標(biāo)準(zhǔn)數(shù)據(jù)格式的數(shù)據(jù)與所述驗證數(shù)據(jù)對應(yīng)的接入數(shù)據(jù)標(biāo)記結(jié)果不一致時，將所述驗證數(shù)據(jù)重新作為所述訓(xùn)練數(shù)據(jù)，對所述數(shù)據(jù)解碼樹進(jìn)行更新。

第二方面，本申請?zhí)峁┮环N數(shù)據(jù)接入裝置，包括：

第一獲取單元，用于獲取待接入的目標(biāo)數(shù)據(jù)；