[發(fā)明專利]數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控方法及裝置、存儲介質(zhì)、服務(wù)器

在審

• 申請?zhí)枺?/td>: 202010153378.0
• 申請日: 2020-03-06
• 公開（公告）號: CN111400370A
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計）人: 湯奇峰;周偉
• 申請（專利權(quán)）人: 上海數(shù)據(jù)交易中心有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215;G06Q40/04
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張振軍

1.一種數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控方法，其特征在于，包括：

接收多個需方各自的數(shù)據(jù)，所述數(shù)據(jù)包括數(shù)據(jù)標識；

對所述多個需方的全部數(shù)據(jù)標識進行統(tǒng)計，以得到總查詢數(shù)據(jù)量；

對所述多個需方的全部數(shù)據(jù)標識中的重復(fù)數(shù)據(jù)標識進行濾除，以得到去重后數(shù)據(jù)標識；

對所述去重后數(shù)據(jù)標識進行統(tǒng)計，以得到去重后查詢數(shù)據(jù)量；

根據(jù)所述總查詢數(shù)據(jù)量和去重后查詢數(shù)據(jù)量，判斷數(shù)據(jù)是否存在異常。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，所述對所述去重后數(shù)據(jù)標識進行統(tǒng)計包括：

對于所述多個需方中的每一需方，統(tǒng)計所述需方去重后的數(shù)據(jù)標識的數(shù)據(jù)量；

統(tǒng)計所述需方的數(shù)據(jù)重復(fù)率，所述數(shù)據(jù)重復(fù)率等于所述需方的去重數(shù)據(jù)數(shù)量與所述需方去重前的數(shù)據(jù)標識的數(shù)據(jù)量之比，所述需方的去重數(shù)據(jù)數(shù)量等于所述需方去重前的數(shù)據(jù)標識的數(shù)據(jù)量與所述需方去重后的數(shù)據(jù)標識的數(shù)據(jù)量之差。

3.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，在對所述多個需方的全部數(shù)據(jù)標識中的重復(fù)數(shù)據(jù)標識進行濾除之前，所述數(shù)據(jù)監(jiān)控方法還包括：

對于所述多個需方中的任意兩個需方，統(tǒng)計所述任意兩個需方的數(shù)據(jù)重復(fù)數(shù)量，所述數(shù)據(jù)重復(fù)數(shù)量等于所述任意兩個需方之間去重后的數(shù)據(jù)標識的交集的數(shù)據(jù)量，每一所述需方的去重后的數(shù)據(jù)標識是對該需方的全部數(shù)據(jù)標識中的相同數(shù)據(jù)標識進行濾除得到的。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，還包括：

向供方發(fā)送所述去重后數(shù)據(jù)標識，并接收所述供方返回的數(shù)據(jù)查詢結(jié)果；

對所述數(shù)據(jù)查詢結(jié)果進行統(tǒng)計，并計算各個所述需方的數(shù)據(jù)匹配率，所述數(shù)據(jù)匹配率等于每一所述需方的數(shù)據(jù)查詢結(jié)果的數(shù)據(jù)量與該需方去重后的數(shù)據(jù)標識的數(shù)據(jù)量之比，每一所述需方的去重后的數(shù)據(jù)標識是對該需方的全部數(shù)據(jù)標識中的相同數(shù)據(jù)標識進行濾除得到的；

其中，所述需方的數(shù)據(jù)查詢結(jié)果是對所述供方返回的數(shù)據(jù)查詢結(jié)果進行拆分、整合得到的。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)監(jiān)控方法，其特征在于，所述數(shù)據(jù)標識關(guān)聯(lián)的數(shù)據(jù)查詢結(jié)果具有預(yù)設(shè)業(yè)務(wù)規(guī)則，所述數(shù)據(jù)監(jiān)控方法還包括：

從所述供方返回的數(shù)據(jù)查詢結(jié)果中，選取不滿足所述預(yù)設(shè)業(yè)務(wù)規(guī)則的數(shù)據(jù)查詢結(jié)果，以得到選取后數(shù)據(jù)；

統(tǒng)計所述選取后數(shù)據(jù)的數(shù)據(jù)量。

6.根據(jù)權(quán)利要求4所述的數(shù)據(jù)監(jiān)控方法，其特征在于，還包括：

在對接收到的多個需方的全部數(shù)據(jù)標識進行統(tǒng)計之前，將所述多個需方的全部數(shù)據(jù)標識存儲于數(shù)據(jù)倉庫中；和/或，

在接收所述供方返回的數(shù)據(jù)查詢結(jié)果之后，將所述供方返回的數(shù)據(jù)查詢結(jié)果存儲于數(shù)據(jù)倉庫中。

7.根據(jù)權(quán)利要求1所述的數(shù)據(jù)監(jiān)控方法，其特征在于，所述對所述去重后數(shù)據(jù)標識進行統(tǒng)計包括：

采用計算引擎Spark對所述去重后數(shù)據(jù)標識進行統(tǒng)計。

8.根據(jù)權(quán)利要求1至7任一項所述的數(shù)據(jù)監(jiān)控方法，其特征在于，還包括：

將各個統(tǒng)計結(jié)果記錄在Cassandra數(shù)據(jù)庫。

9.一種數(shù)據(jù)流通中的數(shù)據(jù)監(jiān)控裝置，其特征在于，包括：

接收模塊，用于接收多個需方各自的數(shù)據(jù)，所述數(shù)據(jù)包括數(shù)據(jù)標識；

第一統(tǒng)計模塊，用于對所述多個需方的全部數(shù)據(jù)標識進行統(tǒng)計，以得到總查詢數(shù)據(jù)量；

去重模塊，用于對所述多個需方的全部數(shù)據(jù)標識中的重復(fù)數(shù)據(jù)標識進行濾除，以得到去重后數(shù)據(jù)標識；

第二統(tǒng)計模塊，用于對所述去重后數(shù)據(jù)標識進行統(tǒng)計，以得到去重后查詢數(shù)據(jù)量；

判斷模塊，用于根據(jù)所述總查詢數(shù)據(jù)量和去重后查詢數(shù)據(jù)量，判斷數(shù)據(jù)是否存在異常。

10.一種存儲介質(zhì)，其上存儲有計算機指令，其特征在于，所述計算機指令運行時執(zhí)行權(quán)利要求1至8任一項所述的方法的步驟。

11.一種服務(wù)器，包括存儲器和處理器，所述存儲器上存儲有可在所述處理器上運行的計算機指令，其特征在于，所述處理器運行所述計算機指令時執(zhí)行權(quán)利要求1至8中任一項所述的方法的步驟。