[發(fā)明專利]數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控方法及裝置、存儲(chǔ)介質(zhì)、服務(wù)器

在審

• 申請?zhí)枺?/td>: 202010153378.0
• 申請日: 2020-03-06
• 公開（公告）號: CN111400370A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 湯奇峰;周偉
• 申請（專利權(quán)）人: 上海數(shù)據(jù)交易中心有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215;G06Q40/04
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張振軍

一種數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控方法及裝置、存儲(chǔ)介質(zhì)、服務(wù)器，所述數(shù)據(jù)監(jiān)控方法包括：接收多個(gè)需方各自的數(shù)據(jù)，所述數(shù)據(jù)包括數(shù)據(jù)標(biāo)識；對所述多個(gè)需方的全部數(shù)據(jù)標(biāo)識進(jìn)行統(tǒng)計(jì)，以得到總查詢數(shù)據(jù)量；對所述多個(gè)需方的全部數(shù)據(jù)標(biāo)識中的重復(fù)數(shù)據(jù)標(biāo)識進(jìn)行濾除，以得到去重后數(shù)據(jù)標(biāo)識；對所述去重后數(shù)據(jù)標(biāo)識進(jìn)行統(tǒng)計(jì)，以得到去重后查詢數(shù)據(jù)量；根據(jù)所述總查詢數(shù)據(jù)量和去重后查詢數(shù)據(jù)量，判斷數(shù)據(jù)是否存在異常。本發(fā)明提供的技術(shù)方案可以監(jiān)控?cái)?shù)據(jù)接力配送過程，有助于優(yōu)化數(shù)據(jù)流通。

技術(shù)領(lǐng)域

本發(fā)明涉及大數(shù)據(jù)技術(shù)領(lǐng)域，具體地涉及一種數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控方法及裝置、存儲(chǔ)介質(zhì)、服務(wù)器。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，各行各業(yè)都沉淀海量數(shù)據(jù)，不同行業(yè)所需的數(shù)據(jù)類型和數(shù)據(jù)量也隨之增加，數(shù)據(jù)配送量巨大，數(shù)量級達(dá)到億級數(shù)量，數(shù)據(jù)流通已成為必然趨勢。

在數(shù)據(jù)交易平臺的中國視聽群體(China Audience Profile，簡稱CAP)產(chǎn)品訂單交易過程中，存在著一種特殊的數(shù)據(jù)配送模式：接力配送。這個(gè)模式的出現(xiàn)是由于隨著訂單的增長，粗略的統(tǒng)計(jì)多家需方查詢數(shù)據(jù)后發(fā)現(xiàn)同一種類的查詢標(biāo)簽重復(fù)率非常高，數(shù)據(jù)交易平臺通過溝通各個(gè)需方后確立了一種特殊的配送模式，使用聚合購買并配送的方式，稱為接力配送。

在整個(gè)配送流程中存在兩個(gè)階段：不同的需方在數(shù)據(jù)學(xué)習(xí)和共享平臺(Datalearning and sharing Platform，簡稱DLS)對偽供方下訂單，偽供方接收訂單數(shù)據(jù)并發(fā)送給偽需方，偽需方對實(shí)際供方下訂單，此階段稱為上游階段；實(shí)際供方將數(shù)據(jù)進(jìn)行處理后返回給偽需方，再由偽需方將數(shù)據(jù)拆分處理后返回給偽供方，再由偽供方傳輸給實(shí)際需方，此階段稱為下游階段。

在上述接力配送流程中，至少存在以下問題：(1)不同需方需要查詢的標(biāo)簽自身大量重復(fù)。不同的需方在將訂單數(shù)據(jù)傳送至偽供方的時(shí)候，自身就存在大量重復(fù)數(shù)據(jù)。同一個(gè)數(shù)據(jù)標(biāo)識(亦稱標(biāo)簽)購買的數(shù)據(jù)屬性存在大量重復(fù)。通常，在相同時(shí)間區(qū)間內(nèi)，能夠提供這些數(shù)據(jù)屬性的供方向不同需方返回的數(shù)據(jù)屬性是相同的。(2)多個(gè)需方之間存在著大量重復(fù)的標(biāo)簽。多個(gè)不同的需方的同一類別的訂單中彼此存在著大量的重復(fù)標(biāo)簽，這將浪費(fèi)大量傳輸資源，也會(huì)增加時(shí)間成本。

發(fā)明內(nèi)容

本發(fā)明解決的技術(shù)問題是如何監(jiān)控?cái)?shù)據(jù)接力配送過程，以優(yōu)化數(shù)據(jù)流通。

為解決上述技術(shù)問題，本發(fā)明實(shí)施例提供一種數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控方法，包括：接收多個(gè)需方各自的數(shù)據(jù)，所述數(shù)據(jù)包括數(shù)據(jù)標(biāo)識；對所述多個(gè)需方的全部數(shù)據(jù)標(biāo)識進(jìn)行統(tǒng)計(jì)，以得到總查詢數(shù)據(jù)量；對所述多個(gè)需方的全部數(shù)據(jù)標(biāo)識中的重復(fù)數(shù)據(jù)標(biāo)識進(jìn)行濾除，以得到去重后數(shù)據(jù)標(biāo)識；對所述去重后數(shù)據(jù)標(biāo)識進(jìn)行統(tǒng)計(jì)，以得到去重后查詢數(shù)據(jù)量；根據(jù)所述總查詢數(shù)據(jù)量和去重后查詢數(shù)據(jù)量，判斷數(shù)據(jù)是否存在異常。

可選的，所述對所述去重后數(shù)據(jù)標(biāo)識進(jìn)行統(tǒng)計(jì)包括：對于所述多個(gè)需方中的每一需方，統(tǒng)計(jì)所述需方的去重后數(shù)據(jù)標(biāo)識的數(shù)據(jù)數(shù)量；統(tǒng)計(jì)所述需方的數(shù)據(jù)重復(fù)率，所述數(shù)據(jù)重復(fù)率等于所述需方的去重?cái)?shù)據(jù)數(shù)量與所述需方的數(shù)據(jù)標(biāo)識查詢數(shù)據(jù)量之比，所述去重?cái)?shù)據(jù)數(shù)量等于所述需方的數(shù)據(jù)標(biāo)識查詢數(shù)據(jù)量與所述需方的數(shù)據(jù)數(shù)量之差。

可選的，在對所述多個(gè)需方的全部數(shù)據(jù)標(biāo)識中的重復(fù)數(shù)據(jù)標(biāo)識進(jìn)行濾除之前，所述數(shù)據(jù)監(jiān)控方法還包括：對于所述多個(gè)需方中的任意兩個(gè)需方，統(tǒng)計(jì)所述任意兩個(gè)需方的數(shù)據(jù)重復(fù)數(shù)量，所述數(shù)據(jù)重復(fù)數(shù)量等于所述任意兩個(gè)需方之間的去重后數(shù)據(jù)標(biāo)識的交集的數(shù)據(jù)量。

可選的，所述的數(shù)據(jù)監(jiān)控方法還包括：向供方發(fā)送所述去重后數(shù)據(jù)標(biāo)識，并接收所述供方返回的數(shù)據(jù)查詢結(jié)果；對所述數(shù)據(jù)查詢結(jié)果進(jìn)行統(tǒng)計(jì)，并計(jì)算各個(gè)所述需方的數(shù)據(jù)匹配率，所述數(shù)據(jù)匹配率等于每一所述需方的數(shù)據(jù)查詢結(jié)果的數(shù)據(jù)量與該需方的數(shù)據(jù)標(biāo)識的數(shù)量之比，每一所述需方的去重后的數(shù)據(jù)標(biāo)識是對該需方的全部數(shù)據(jù)標(biāo)識中的相同數(shù)據(jù)標(biāo)識進(jìn)行濾除得到的；其中，所述需方的數(shù)據(jù)查詢結(jié)果是對所述供方返回的數(shù)據(jù)查詢結(jié)果進(jìn)行拆分、整合得到的。